← 全部模型

NAVA

发布时间 发布主体 Baidu

模型定位

NAVA(Native Audio-Visual Alignment for Generation)是百度文心团队提出的音视频联合生成模型与研究框架,核心模型约有 63 亿参数。它采用 Align-then-Fuse MMDiT 架构,先建立音画对应关系,再结合文本等上下文进行联合去噪。(arxiv.org)

能力与用途

  • 根据文本提示联合生成同步的视频、场景声音和语音,也支持参考图像条件下的音视频生成。
  • 可将参考音频绑定到不同语音片段,控制多说话人的音色;还支持通过提示词描述镜头构图、运动和节奏,以及生成不同画幅的视频。
  • 可用于有声视频创作、配音与语音合成等场景。论文报告了在 Verse-Bench、Seed-TTS 和用户研究中的评测结果;这些结果不代表所有实际场景下都能保持同等质量。(github.com)

限制与部署

  • 论文指出,模型对罕见动物声音、音乐、歌唱及复杂场景声音混合等长尾或高度组合化音频事件仍有不足;官方代码库称英语语音生成较强,其他语言支持有限。(arxiv.org)
  • 官方代码库提供推理、训练和演示代码。其报告的约一分钟生成 720p 音视频是在 8 GPU 并行条件下;FP8 ComfyUI 路径标称约需 18 GB 显存,实际资源需求取决于配置。代码采用 Apache 2.0,但权重和第三方组件可能受各自许可约束。(github.com)

发布日期

2026-05-28:官方论文在 arXiv 首次提交的日期;不能据此认定同日已上线商业 API。(arxiv.org)

价格

截至 2026-11-16,检索百度智能云国内站人民币价目页及百度智能云国际站美元价目页,均未在所查页面核实到 NAVA 专属报价。输入和输出如何计费、计费单位及金额均未核实;不能用其他模型的价格替代。自行部署仍可能产生算力等成本。(cloud.baidu.com)

官方来源