Modelleinstufung
Moonlight-16B-A3B ist ein von Moonshot AI veröffentlichtes vortrainiertes Basissprachmodell mit einer Mixture-of-Experts-Architektur (MoE). Es verfügt über insgesamt etwa 16 Milliarden Parameter, von denen pro Token etwa 3 Milliarden aktiviert werden. Es wurde mit dem Muon-Optimierer auf 5,7 Billionen Token trainiert. Dieses Basismodell unterscheidet sich von der separat veröffentlichten, auf Anweisungen feinabgestimmten Version Moonlight-16B-A3B-Instruct. (huggingface.co)
Fähigkeiten und Einsatzmöglichkeiten
- Unterstützt Textgenerierung; die offiziell angegebene Kontextlänge beträgt 8K Token.
- Die offiziellen Evaluierungen umfassen Aufgaben zu englischsprachigem Wissen, Chinesisch, Code und Mathematik; beispielsweise werden für MMLU 70.0 und für HumanEval 48.1 berichtet. Die Evaluierungsergebnisse garantieren keine bestimmte Leistung in konkreten Anwendungen. (huggingface.co)
- Kann für Forschung zu Sprachmodellen und Trainingsoptimierung, Experimente zur Textgenerierung sowie zur Selbstbereitstellung verwendet werden. Offiziell werden Nutzungsbeispiele für Transformers bereitgestellt; außerdem wird angegeben, dass Inferenz-Engines wie vLLM und SGLang verwendet werden können. (github.com)
- Die Modellgewichte wurden offiziell veröffentlicht; die Modellkarte gibt die MIT-Lizenz an. (huggingface.co)
Einschränkungen
Dies ist ein vortrainiertes Basismodell und sollte nicht mit der auf Anweisungen feinabgestimmten Version gleichgesetzt werden. 8K ist die offiziell angegebene Kontextlänge und bezeichnet keine separate maximale Ausgabelänge; der Wissensstand und eine separate maximale Ausgabelänge sind nicht verifiziert. Bei einer Selbstbereitstellung fallen weiterhin Kosten für Rechenleistung, Speicher und Betrieb an.
Veröffentlichungsdatum
2025-02-22; der Commit-Verlauf des offiziellen Modell-Repositorys zeigt, dass an diesem Tag bereits ein initialer Commit vorlag. (huggingface.co)
Preise
Bei Abfrage der offiziellen inländischen und internationalen Preisseiten waren mit Stand vom 2026-11-19 keine offiziellen Eingabe- oder Ausgabepreise für eine gehostete API dieses Modells verifiziert; daher lassen sich weder Beträge in Renminbi oder US-Dollar noch Abrechnungseinheiten oder Preisstufen bestätigen. Preise anderer Kimi-Modelle werden nicht auf dieses Modell übertragen. (platform.kimi.com)