← Alle Modelle

Cola DLM

Veröffentlicht Herausgeber ByteDancecola-dlm

Einordnung und Veröffentlichung

Cola DLM ist ein forschungsorientiertes Sprachmodell von ByteDance Seed für Textgenerierung mittels hierarchischer Diffusion in einem kontinuierlichen latenten Raum. Das zugehörige Paper wurde am 7. Mai 2026 auf arXiv eingereicht; dieses Datum belegt die Paper-Veröffentlichung, nicht zwingend den Veröffentlichungstag der Modellgewichte. (arxiv.org)

Architektur und Fähigkeiten

  • Ein Text-VAE bildet Text auf einen kontinuierlichen latenten Raum ab. Ein blockkausaler Diffusion Transformer modelliert dort mittels Flow Matching einen latenten Prior; ein bedingter Decoder erzeugt daraus Text. Die Generierung erfolgt blockweise und nicht ausschließlich Token für Token von links nach rechts. (github.com)
  • Der veröffentlichte Checkpoint entspricht dem 2000-EFLOPs-Punkt der Trainingsaufwand-Skalierung im Paper. EFLOPs bezeichnet hier den Trainingsrechenaufwand, nicht die Parameterzahl oder die Inferenzgeschwindigkeit. Die Modellkarte beschreibt ungefähr 2 Milliarden Parameter. (ithub.global.ssl.fastly.net)
  • Vorgesehene Anwendungen sind Forschung zu latenten Sprachmodellen, Textdiffusion und Flow Matching sowie Benchmark-orientierte Textgenerierung. Die Veröffentlichung enthält Modellgewichte und Inferenzcode unter Apache License 2.0. (huggingface.co)
  • Ein selbst zu betreibender Adapter stellt eine OpenAI-kompatible Chat-Completions-Schnittstelle mit der Standard-Modell-ID cola-dlm bereit. Er unterstützt derzeit kein Streaming; daraus folgt kein Nachweis für eine von ByteDance gehostete API. (github.com)

Grenzen

Der Checkpoint wurde weder instruktionsabgestimmt noch mit RLHF trainiert und ist nicht als produktionsreifer Chatbot oder für sicherheitskritische Entscheidungen vorgesehen. Er wurde überwiegend mit englischen Texten trainiert; andere Sprachen sind nicht ausreichend evaluiert. Ausgaben können Fehler, Halluzinationen, Vorurteile oder anstößige Inhalte enthalten und auf Promptformat und -länge empfindlich reagieren. Die veröffentlichte Implementierung ist auf Text beschränkt; vorläufige Text-Bild-Experimente sind nicht Bestandteil dieser Veröffentlichung. (huggingface.co)

Preise

Für diesen Checkpoint konnten bei der Recherche weder ein offizieller CNY/RMB- noch ein offizieller USD-Preis für Eingabe oder Ausgabe verifiziert werden. Das gilt nicht als Nachweis, dass grundsätzlich kein Angebot existiert. Die selbst betriebene Open-Source-Inferenz kann eigene Infrastrukturkosten verursachen. Geprüft wurden die offiziellen Preisübersichten von Volcengine ModelArk und BytePlus ModelArk; Abfragedatum: 16. November 2026. (docs.volcengine.com)

Offizielle Quellen