Moonshot AIは、同社の最先端の人工知能モデルであるKimi K3の完全な重みと技術レポートを公開しました。この取り組みにより、技術コミュニティによるシステムのアーキテクチャへのアクセスが拡大します。
重みはHugging Faceで公開され、技術文書は同社のGitHub公式リポジトリで提供されました。コードと重みはKimi K3ライセンスの下で利用可能です。
この公開は、Moonshot AIが7月初旬に発表したスケジュールを履行するものです。当時、同社は完全なファイルと追加仕様を27 de julhoまでに公開すると伝えていました。
Kimi K3は2,8兆のパラメータを備えていますが、推論時に有効化されるのは1040億のみです。この特徴は、計算能力とタスク処理における効率のバランスを取ることを目指しています。
このモデルは、Mixture of Experts (MoE)として知られる専門家混合アーキテクチャを採用しています。利用可能な専門家は896で、実行中に各トークンを処理するために16が選択されます。
もう1つの注目点は、1 milhãoを超えるトークンのコンテキストウィンドウです。この機能により、単一の対話で大量の情報を扱うことが可能になり、人工知能アプリケーションの可能性が広がります。
技術レポートでは、KimiのDelta Attention、Attention Residuals、ネイティブ量子化システムについての詳細も紹介されています。Moonshot AIによると、これらのアーキテクチャ上の変更により、Kimi K2と比較してスケーラビリティ効率が約2,5倍向上します。
ファイルが公開されたことで、開発者はTransformers、vLLM、SGLangなどのツールを使ってKimi K3をダウンロードし、実装できます。この公開により、テスト、研究、カスタマイズされたアプリケーションが容易になります。
モデルの規模のため、Moonshot AIは大規模スーパーノード構成の使用を推奨しています。必要なインフラは、Kimi K3をローカルで実行したいチームにとって主要な技術的ポイントの1つです。
重みの公開により、研究者はモデルの構造を直接分析できるようになり、開発者はさまざまな計算環境や人工知能アプリケーションにおけるその性能を評価できます。
