モデルの概要
TencentのWeChat AIによる、Audio-LLM向けの音声・音響トークナイザー。単一コードブックによるコンパクトな表現で、言語的整合性と幅広い音響の知覚を両立することを目的とする。(github.com)
能力と用途
- 音声や音響から離散トークンを抽出し、トークンから波形を再構成する。公式デモでは音声ファイルの符号化と再構成を行う。
- 音声内容、声の特徴、音響場面を捉えるSAP教師信号と、音響の細部を適応的に取り込むSAE機構を採用。
- Audio-LLMの音声入出力、音声再構成、音響理解、音声合成などの構成要素として利用できる。公式評価ではフレームレート25 Hz、ビットレート325 bpsの設定が示されている。音声理解やTTSは、必要な下流モデルと組み合わせた評価であり、トークナイザー単体の完成済みサービスを意味しない。(github.com)
制限・利用条件
- 低ビットレート設計のため、複雑な非音声音響の波形再構成品質は、高忠実度再構成に特化した高ビットレートの音響コーデックに及ばないと論文で説明されている。
- 学習と評価は主に英語と中国語を対象としており、日本語を含む他言語での性能は確認できない。(arxiv.org)
- コードとチェックポイントが公開されている。利用には独自のライセンス条項と、第三者コンポーネントそれぞれのライセンスを確認する必要がある。(github.com)
公開日
2026年6月1日。公式READMEによると、GitHubとHugging Faceで初回公開された。(github.com)
料金
2026年11月16日確認。Tencentの中国国内向け公式サイトと国際向け公式サイトを調査したが、このモデルに特定できる公式API料金は確認できなかった。入力・出力それぞれの課金単価、通貨および課金単位も未確認。公開チェックポイントを自前で実行する場合の計算資源などの費用は別途発生し得る。一般の音声認識サービスの料金を本モデルの料金として扱っていない。(cloud.tencent.com)