← すべてのモデル

Moonlight-16B-A3B

公開日 提供元 Moonshot AI

モデルの位置付け

Moonlight-16B-A3B は Moonshot AI が公開した事前学習済みの基盤言語モデルで、混合エキスパート(MoE)アーキテクチャを採用し、総パラメータ数は約 160 億、各 token で有効化されるパラメータ数は約 30 億です。Muon オプティマイザを使用し、5.7 兆 token で学習されています。この基盤モデルは、別途公開された指示チューニング版 Moonlight-16B-A3B-Instruct とは異なります。(huggingface.co)

能力と用途

  • テキスト生成に対応し、公式に示されたコンテキスト長は 8K token です。
  • 公式評価には英語の知識、中国語、コード、数学のタスクが含まれます。例えば、報告された MMLU は 70.0、HumanEval は 48.1 です。評価結果は、個別の用途での性能を保証するものではありません。(huggingface.co)
  • 言語モデルや学習最適化の研究、テキスト生成の実験、自己デプロイに利用できます。公式は Transformers の使用例を提供し、vLLM、SGLang などの推論エンジンを使用できると説明しています。(github.com)
  • 公式がモデルの重みを公開しており、モデルカードには MIT ライセンスと記載されています。(huggingface.co)

制限

これは事前学習済みの基盤モデルであり、指示チューニング版と同一視すべきではありません。8K は公式に記載されたコンテキスト長であり、独立した最大出力長を示すものではありません。知識のカットオフ日と独立した最大出力長は未確認です。自己デプロイには、引き続き計算、ストレージ、運用・保守のコストがかかります。

公開日

2025-02-22。公式モデルリポジトリのコミット履歴には、この日に初期コミットがあったことが示されています。(huggingface.co)

価格

2026-11-19 時点で、公式の国内および国際向け料金ページを確認しましたが、本モデルを対象とする公式ホスト型 API の入力または出力の料金は確認できませんでした。そのため、確認できる人民元または米ドルの金額、課金単位、料金区分はありません。他の Kimi モデルの料金を本モデルに適用することはしません。(platform.kimi.com)

公式情報源