← Alle Modelle

NAVA

Veröffentlicht Herausgeber Baidu

Einordnung

NAVA ist ein Forschungsmodell des ERNIE-Teams von Baidu zur gemeinsamen Erzeugung von Video und synchronisiertem Audio. Das zugrunde liegende audiovisuelle Modell hat 6,3 Milliarden Parameter und verwendet eine „Align-then-Fuse“-MMDiT-Architektur auf Basis von Wan2.2-TI2V-5B. (huggingface.co)

Fähigkeiten und Einsatzmöglichkeiten

  • Erzeugt Video und zugehörige Sprache oder Szenengeräusche aus einer Textbeschreibung; auch bildkonditionierte Generierung ist vorgesehen.
  • Unterstützt mehrere Sprecher und die Steuerung ihrer Stimmfarbe anhand von Referenzaufnahmen. Kameraführung und Bildgestaltung lassen sich textlich beschreiben.
  • Unterstützt Hoch-, Quer- und quadratische Formate; die Modellkarte empfiehlt 1280 × 704 Pixel und nennt auch 960 × 960 Pixel. Mögliche Anwendungen sind audiovisuelle Inhalte und Forschung zur synchronisierten Generierung. (huggingface.co)

Grenzen und Zugriff

  • Laut Paper bestehen Schwächen bei seltenen oder komplex zusammengesetzten Geräuschen, etwa seltenen Tierlauten, Musik, Gesang und komplexen Mischungen von Szenengeräuschen. Die Unterstützung anderer Sprachen als Englisch ist laut Repository bei der Sprachsynthese begrenzt. (arxiv.org)
  • Die Modellkarte nennt für Audio eine Dauer von höchstens 10 Sekunden. Für die lokale Ausführung hängt der Speicherbedarf von Hardware und Konfiguration ab; das Repository nennt für einen FP8-Pfad mit Auslagerung ungefähr 18 GB VRAM. (huggingface.co)
  • Code und Modellgewichte sind veröffentlicht. Die Modellkarte bezeichnet die Modelllizenz als Apache 2.0; für eingesetzte Komponenten Dritter können abweichende Lizenzen gelten. Referenzbilder und -stimmen sollten nur mit entsprechender Einwilligung verwendet werden. (huggingface.co)

Veröffentlichung

Das Paper wurde am 28. Mai 2026 bei arXiv eingereicht. Dieses Datum belegt die Veröffentlichung des Papers, nicht zwingend den Start eines kommerziellen API-Dienstes. (arxiv.org)

Preise

Bei der Prüfung am 16. November 2026 ließ sich weder ein offizieller NAVA-Preis für Eingaben oder Ausgaben in CNY auf der chinesischen Qianfan-Preisseite noch ein entsprechender USD-Preis auf der internationalen Preisseite verifizieren. NAVA ist auf den geprüften Seiten nicht aufgeführt; daraus folgt nicht, dass der Betrieb kostenlos ist. (cloud.baidu.com)

Offizielle Quellen