Moonshot AI
Moonlight-16B-A3B-Instruct
Moonlight-16B-A3B-Instruct는 Moonshot AI가 공개한 지시 미세 조정 버전의 텍스트 생성 모델로, 전문가 혼합(MoE) 아키텍처를 사용하며 총 파라미터는 약 160억 개, 토큰당 활성화되는 파라미터는 약 30억 개이다. Moonlight는 Muon 옵티마이저를 사용하며, 학습 데이터 양은 5.7조 토큰이다.(huggingface.…
모델 살펴보기한국어