MiniMax
VTP-Large-f16d64
VTP-Large-f16d64は、画像生成に利用する潜在表現の学習を目的とした、研究向けの視覚トークナイザーです。MiniMaxと華中科技大学の研究者によるVTPプロジェクトのLarge版で、画像・テキストの対照学習、自己教師あり学習、画像再構成を組み合わせています。公式モデルカードでは約7億パラメータと表示されています。(github.com) 画像を潜在表現に変換し、デコードして画像を再構成…
モデルを見る日本語
モデルディレクトリ
新しいモデルを公開日順に見つけられます。
VTP-Large-f16d64は、画像生成に利用する潜在表現の学習を目的とした、研究向けの視覚トークナイザーです。MiniMaxと華中科技大学の研究者によるVTPプロジェクトのLarge版で、画像・テキストの対照学習、自己教師あり学習、画像再構成を組み合わせています。公式モデルカードでは約7億パラメータと表示されています。(github.com) 画像を潜在表現に変換し、デコードして画像を再構成…
VTP-Base-f16d64は、画像生成向けの視覚トークナイザー事前学習フレームワーク「VTP」のBaseモデルです。画像とテキストの対照学習、自己教師あり学習、画像再構成を組み合わせ、生成に役立つ視覚表現を学習します。モデルカード上の規模は約3億パラメータです。(github.com) 画像特徴の抽出、画像とテキストの特徴を用いたゼロショット分類、画像の潜在表現への符号化と再構成に利用できます…
VTP-Small-f16d64は、MiniMaxと華中科技大学の研究者による、画像生成向け視覚トークナイザーのSmall版です。画像から視覚的特徴を抽出し、生成モデルが利用できる表現を提供します。公開モデルの規模は約0.2Bパラメータです。(github.com) 画像・テキストの対照学習、自己教師あり学習、画像再構成を組み合わせて事前学習されています。(arxiv.org) 画像特徴抽出、画像…