模型定位
Moonlight-16B-A3B 是 Moonshot AI 發布的預訓練基礎語言模型,採用混合專家(MoE)架構,約有 160 億總參數、每個 token 啟用約 30 億參數。它使用 Muon 優化器在 5.7 兆 token 上訓練。該基礎模型與另行發布的指令微調版本 Moonlight-16B-A3B-Instruct 不同。(huggingface.co)
能力與用途
- 支援文字生成,官方標註上下文長度為 8K token。
- 官方評測涵蓋英文知識、中文、程式碼和數學任務;例如報告的 MMLU 為 70.0、HumanEval 為 48.1。評測結果不保證具體應用中的表現。(huggingface.co)
- 可用於語言模型與訓練優化研究、文字生成實驗及自行部署。官方提供 Transformers 使用範例,並說明可使用 vLLM、SGLang 等推論引擎。(github.com)
- 官方發布了模型權重,模型卡標註 MIT 授權條款。(huggingface.co)
限制
這是預訓練基礎模型,不應將其等同於指令微調版本。8K 是官方列出的上下文長度,不代表單獨的最大輸出長度;知識截止日期和獨立最大輸出長度未經查證。自行部署仍需承擔運算、儲存和維運成本。
發布日期
2025-02-22;官方模型儲存庫的提交歷史顯示該日已有初始提交。(huggingface.co)
價格
截至 2026-11-19,查詢官方國內和國際定價頁面,未查證到針對本模型的官方託管 API 輸入或輸出價格;因此無可確認的人民幣或美元金額、計費單位或計費級距。不將其他 Kimi 模型的報價套用於本模型。(platform.kimi.com)