Moonshot AI
Moonlight-16B-A3B-Instruct
Moonlight-16B-A3B-Instruct は Moonshot AI が公開した指示に従うようファインチューニングされたテキスト生成モデルで、Mixture of Experts(MoE)アーキテクチャを採用し、総パラメータ数は約160億、トークンごとの活性化パラメータ数は約30億です。Moonlight は Muon…
モデルを見る日本語
モデルディレクトリ
新しいモデルを公開日順に見つけられます。
Moonlight-16B-A3B-Instruct は Moonshot AI が公開した指示に従うようファインチューニングされたテキスト生成モデルで、Mixture of Experts(MoE)アーキテクチャを採用し、総パラメータ数は約160億、トークンごとの活性化パラメータ数は約30億です。Moonlight は Muon…
Moonlight-16B-A3B は Moonshot AI が公開した事前学習済みの基盤言語モデルで、混合エキスパート(MoE)アーキテクチャを採用し、総パラメータ数は約 160 億、各 token で有効化されるパラメータ数は約 30 億です。Muon オプティマイザを使用し、5.7 兆 token で学習されています。この基盤モデルは、別途公開された指示チューニング版 Moonlight-…