모델 개요
Universal Audio Tokenizer는 Tencent의 WeChat AI가 공개한 단일 코드북 오디오 토크나이저다. 언어적 정렬과 일반 오디오 인식을 함께 제공하여 오디오 대규모 언어 모델(Audio-LLM)의 입출력 인터페이스로 활용하도록 설계됐다. 오디오를 이산 토큰으로 변환하고 토큰에서 파형을 복원할 수 있다. (github.com)
주요 능력과 활용
- 표현: 음성의 언어 내용과 발성 특성뿐 아니라 소리·음악 등 다양한 오디오 이벤트를 표현한다.
- 기술: SAP 감독은 오디오를 언어 내용, 발성 특성, 청각 장면 요소로 분해하며, SAE는 얕은 인코더 계층의 세밀한 음향 정보를 깊은 의미 표현에 반영한다.
- 용도: 음성 재구성, 오디오 이해, Audio-LLM 통합 및 별도 모델과 결합한 제어 가능한 음성 합성(TTS)에 활용할 수 있다.
- 규격: 프레임 속도 25 Hz, 코드북 크기 8,192, 비트레이트 325 bit/s다. 이는 모델 표현 규격이며 API 과금 단위가 아니다. (huggingface.co)
성능과 제한
공식 평가에서 Qwen2.5 기반 모델과 결합했을 때 MMAU 전체 정확도는 61.10, MMAR 전체 정확도는 45.80이었다. 이는 명시된 실험 조건의 결과이며 모든 환경에서의 성능을 보장하지 않는다. 토크나이저 자체가 독립적인 대화형 LLM 또는 완성된 TTS 서비스라는 뜻도 아니다. (github.com)
코드와 체크포인트는 공개되어 있으며 직접 설치해 추론할 수 있다. 라이선스는 유럽연합 내 사용을 의도하지 않는다고 명시하고, 저작권 및 허가 고지 유지와 별도 제3자 구성요소 라이선스 준수를 요구한다. 상용 사용 전 전체 조건을 확인해야 한다. (raw.githubusercontent.com)
출시일
공식 GitHub 공지상 최초 공개일은 2026년 6월 1일이며, GitHub와 Hugging Face에 함께 공개됐다. (github.com)
가격
2026년 11월 16일 확인 기준, Tencent 공식 중국 국내 사이트의 CNY/RMB 가격과 공식 국제 사이트의 USD 가격을 검색했으나 이 모델에 적용되는 공식 API 요금을 확인하지 못했다. 따라서 입력·출력별 요금과 과금 단위는 미확인이다. 공개된 체크포인트를 직접 운영할 때의 컴퓨팅·인프라 비용은 별도로 발생할 수 있다. (github.com)