모델 개요
NAVA(Native Audio-Visual Alignment)는 Baidu의 동기화된 오디오·비디오 공동 생성 모델이다. 약 63억 개 파라미터의 Align-then-Fuse MMDiT 구조를 사용해 오디오와 비디오의 대응 관계를 먼저 학습하고, 텍스트 등의 조건을 적용해 함께 생성한다. (arxiv.org)
기능 및 활용
- 텍스트 설명으로 영상과 음성·장면 소리가 결합된 콘텐츠를 생성한다. 첫 프레임 이미지와 텍스트를 함께 사용하는 생성도 지원한다.
- 참조 음성으로 화자별 음색을 제어하고, 프롬프트로 카메라 구도와 움직임을 지정할 수 있다. 공식 모델 카드의 예시에서는 참조 WAV를 최대 2개 사용한다.
- 대화 장면, 음향 효과가 포함된 영상 제작 및 시청각 생성 연구에 활용할 수 있다. (huggingface.co)
제한 및 사용 조건
- 논문에 따르면 희귀한 동물 소리, 음악, 노래 및 복잡하게 혼합된 장면 소리의 생성은 여전히 제한적이다. (arxiv.org)
- 공식 모델 카드는 오디오 길이를 최대 10초로 명시한다. 중국어의 상세한 설명문으로 학습했으므로 짧은 프롬프트나 영어 프롬프트는 재작성하면 도움이 될 수 있다. (huggingface.co)
- 자체 실행에는 GPU와 관련 모델 구성요소가 필요하다. 공식 저장소는 FP8 구성을 단일 24~48GB GPU용으로 안내하며, 실제 요구 사항은 구성에 따라 달라진다. 모델 카드에는 Apache-2.0이 표시되어 있으나, 함께 사용하는 구성요소의 별도 라이선스도 확인해야 한다. 타인의 얼굴이나 음성을 참조할 때는 동의를 확보해야 한다. (github.com)
가격
2026년 11월 16일 조회 기준, Baidu의 중국 국내 공식 가격표와 국제 공식 가격표에서 NAVA에 특정된 입력·출력 과금 또는 생성 과금을 확인하지 못했다. 따라서 공식 API 가격과 과금 단위는 미확인이다. 공개 가중치를 자체 실행할 때의 컴퓨팅 비용은 별도로 발생할 수 있다. 확인한 공식 가격표: 중국 국내, 국제. (cloud.baidu.com)
공개일 및 공식 출처
- 논문 최초 제출일: 2026년 5월 28일. (arxiv.org)
- 공식 논문
- 공식 프로젝트 페이지
- 공식 모델 카드 및 가중치
- 공식 코드 저장소