모델 개요
Moonlight-16B-A3B는 Moonshot AI가 공개한 사전 학습된 기본 언어 모델로, 전문가 혼합(MoE) 아키텍처를 사용하며 총 파라미터는 약 160억 개이고 token당 약 30억 개의 파라미터가 활성화된다. Muon 옵티마이저를 사용해 5.7조 token으로 학습되었다. 이 기본 모델은 별도로 공개된 지시 미세 조정 버전인 Moonlight-16B-A3B-Instruct와 다르다.(huggingface.co)
기능 및 용도
- 텍스트 생성을 지원하며, 공식적으로 명시된 컨텍스트 길이는 8K token이다.
- 공식 평가는 영어 지식, 중국어, 코드 및 수학 작업을 포함한다. 예를 들어 보고된 MMLU는 70.0, HumanEval은 48.1이다. 평가 결과가 구체적인 응용 분야에서의 성능을 보장하지는 않는다.(huggingface.co)
- 언어 모델 및 학습 최적화 연구, 텍스트 생성 실험과 자체 배포에 사용할 수 있다. 공식적으로 Transformers 사용 예시를 제공하며, vLLM, SGLang 등의 추론 엔진을 사용할 수 있다고 안내한다.(github.com)
- 공식적으로 모델 가중치가 공개되었으며, 모델 카드에는 MIT 라이선스가 명시되어 있다.(huggingface.co)
제한 사항
이 모델은 사전 학습된 기본 모델이므로 지시 미세 조정 버전과 동일하게 취급해서는 안 된다. 8K는 공식적으로 명시된 컨텍스트 길이이며, 별도의 최대 출력 길이를 의미하지 않는다. 지식 기준일과 별도의 최대 출력 길이는 확인되지 않았다. 자체 배포 시에는 여전히 컴퓨팅, 저장 및 운영 비용을 부담해야 한다.
출시일
2025-02-22; 공식 모델 저장소의 커밋 기록에 따르면 이날 이미 초기 커밋이 있었다.(huggingface.co)
가격
2026-11-19 기준, 공식 국내 및 국제 가격 페이지를 조회했으나 본 모델에 대한 공식 호스팅 API의 입력 또는 출력 가격은 확인되지 않았다. 따라서 확인 가능한 위안화 또는 미국 달러 금액, 과금 단위 또는 과금 구간이 없다. 다른 Kimi 모델의 가격을 본 모델에 적용하지 않는다.(platform.kimi.com)