概要
NAVA(Native Audio-Visual Alignment)は、BaiduのERNIE Teamによる音声・映像の同時生成モデルです。約63億パラメータの基幹モデルに、音声と映像を対応付けてから条件情報を融合する「Align-then-Fuse MMDiT」を採用しています。(huggingface.co)
能力と用途
- テキストから、時間的に同期した映像と音声を生成します。効果音や会話を伴う短い映像の制作・研究に利用できます。
- 最初のフレームとなる画像を指定した映像生成、参照音声による話者ごとの声質制御、プロンプトによるカメラ表現の指定に対応します。公式の利用例では参照音声は最大2件です。
- 公式モデルカードでは、推奨解像度を1280×704、音声の長さを最大10秒と記載しています。(huggingface.co)
制限と利用条件
- 論文は、珍しい動物の鳴き声、音楽、歌唱、複雑な環境音の組み合わせなどの生成には限界があると述べています。(arxiv.org)
- 中国語の詳細なキャプションで学習されており、短いプロンプトや英語のプロンプトには書き換えが推奨されています。ローカル推論は単一GPUまたは最大8 GPUの並列構成に対応しますが、計算資源が必要です。(huggingface.co)
- モデルカードはApache-2.0を明記しています。併用する構成要素には別のライセンスが適用される場合があるため、それぞれの条件も確認してください。実在人物の画像や声を参照する場合は、同意と権利に注意が必要です。(huggingface.co)
公開日
2026年5月28日は、指定された公式論文の初版提出日です。(arxiv.org)
価格
2026年11月16日にBaiduの中国国内向けおよび国際向け公式価格ページを確認しましたが、NAVAの公式API料金は確認できませんでした。入力・出力それぞれの課金方式、単価、課金単位も未確認です。公開モデルを自ら実行する場合は、利用する計算資源などの費用が別途発生し得ます。(cloud.baidu.com)