模型定位
NAVA(Native Audio-Visual Alignment for Generation)是用於聯合生成音訊與影片的研究模型與框架,模型規模為 63 億參數。它先建立音訊與影片之間的對應,再以外部條件引導聯合去噪,目標是產生時間同步、語意一致的影音內容。(arxiv.org)
能力與用途
- 可依文字提示生成影音,也可使用首影格圖片作為影片生成條件;官方程式另列有純文字轉音訊模式。
- 支援以參考語音控制生成語音的音色,可用於含對話、音效的短片創作與影音生成研究。(huggingface.co)
- 百度模型頁提供權重,並標示 Apache 2.0 授權;官方程式庫指出,所依賴的第三方模型與元件可能適用不同授權,使用時須個別確認。(huggingface.co)
限制
論文指出,模型對罕見動物聲、音樂、歌唱及複雜場景聲音混合等長尾或高度組合的音訊事件,生成能力仍有限。自行部署需要相應運算資源;官方提供降低顯示記憶體用量的 FP8 與卸載方案,但其適用硬體與效能取決於設定。(arxiv.org)
發布日期
相關論文於 2026 年 5 月 28 日提交至 arXiv;此日期是可核實的論文提交日期,未確認等同於模型權重或商用 API 的發布日期。(arxiv.org)
價格
截至 2026 年 11 月 16 日,已查閱百度官方中國大陸與國際站公開價格資料,未能核實 NAVA 專屬的人民幣或美元官方報價,也未能核實其輸入、輸出或其他計費單位;不應以其他模型價格代替。自行部署仍可能產生運算與基礎設施成本。(cloud.baidu.com)