← Alle Modelle

Universal Audio Tokenizer

Veröffentlicht Herausgeber Tencent

Einordnung

Universal Audio Tokenizer ist ein von Tencent WeChat AI veröffentlichter Audio-Tokenizer mit einem einzelnen Codebuch. Er verbindet allgemeine Audiowahrnehmung mit sprachlicher Ausrichtung und ist als Audio-Ein- und Ausgabeschnittstelle für nachgelagerte Audio-Sprachmodelle gedacht. Er ist kein eigenständiger Chatbot. (github.com)

Fähigkeiten und Einsatz

  • Wandelt Audio in diskrete Tokens um und kann daraus Audiosignale rekonstruieren. Die bereitgestellte Demo verarbeitet eine Audiodatei und speichert die Rekonstruktion. (github.com)
  • Soll Repräsentationen für Sprache und unterschiedliche Audioereignisse bereitstellen. Einsatzgebiete sind Sprachrekonstruktion, Audioverständnis und – in Verbindung mit einem geeigneten nachgelagerten Modell – steuerbare Text-to-Speech-Synthese. (github.com)
  • Das Modell verwendet ein Codebuch mit 8.192 Einträgen bei 25 Hz und 325 Bit/s. Die Architektur nutzt Semantic-Acoustic Primitives und einen Semantic-Acoustic-Equilibrium-Mechanismus, um sprachliche und akustische Informationen zu verbinden. (huggingface.co)
  • Tencent stellt Code, vortrainierte Gewichte sowie Trainings- und Evaluierungsskripte bereit. (github.com)

Einschränkungen und Lizenz

  • Für eine vollständige Audio-LLM-Anwendung oder TTS-Lösung ist die Einbindung in ein geeignetes nachgelagertes Modell erforderlich; die Demo selbst zeigt Tokenisierung und Rekonstruktion. Benchmark-Ergebnisse sind evaluationsabhängig und keine Garantie für jedes Audiosignal. (github.com)
  • Die projektspezifische Lizenz erklärt, dass das Modell nicht für die Nutzung innerhalb der Europäischen Union vorgesehen ist. Außerdem sind die Lizenzbedingungen des Projekts und gegebenenfalls abweichende Lizenzen von Drittkomponenten zu beachten. (github.com)
  • Die lokale Nutzung erfordert Installation, Modellgewichte und eigene Rechenressourcen. Die offizielle Anleitung nennt unter anderem Python 3.10.13 und libsndfile. (huggingface.co)

Veröffentlichung

Die offizielle Erstveröffentlichung auf GitHub und Hugging Face ist auf den 1. Juni 2026 datiert. (github.com)

Preise

Bei der Prüfung der offiziellen Tencent-Cloud-Preislisten für China und den internationalen Markt ließ sich für dieses konkrete Modell weder ein CNY/RMB- noch ein USD-Preis verifizieren. Auch eine Abrechnung für Eingabe oder Ausgabe wurde nicht verifiziert. Es werden deshalb keine Beträge oder Preise anderer Audiomodelle übertragen. Bei Selbstbetrieb können eigene Infrastrukturkosten entstehen. Abfrage: 16. November 2026. (cloud.tencent.com)

Offizielle Quellen