模型定位
Cola DLM(Continuous Latent Diffusion Language Model)是面向研究的层次化连续隐空间扩散语言模型。输入所指定的 Cola-DLM-2000-EFLOPs 对应论文扩展实验中训练计算量约为 2000 EFLOPs 的开源权重节点;2000 EFLOPs 指训练计算量,不是参数量。官方模型卡称模型总规模约为 20 亿参数。(ithub.global.ssl.fastly.net)
能力与用途
- 文本生成:通过 Text VAE 建立文本与连续隐变量之间的映射,再用分块因果 Diffusion Transformer 和 Flow Matching 建模隐空间先验,最后解码为文本。扩散过程作用于隐空间先验,而非直接恢复 token。(github.com)
- 研究用途:适合研究连续隐空间文本扩散、层次化隐变量模型、Flow Matching 先验和基准测试式文本生成。官方提供 Hugging Face 格式权重及推理代码;许可证为 Apache License 2.0。(huggingface.co)
- 参考评测:官方开源推理实现的零样本结果包括 LAMBADA 50.80%、MMLU 19.30%,八项任务平均为 26.75%。官方指出,该实现与论文内部实现存在细微差异,结果可能有小幅波动。(huggingface.co)
- 部署:官方代码提供可自行部署的 OpenAI 兼容接口适配器;这不代表已核实存在官方托管 API 或其计费服务。(huggingface.co)
限制
该权重未经过指令微调或 RLHF,主要基于英文文本训练,其他语言能力尚未充分评估。输出可能存在事实错误、偏见、冒犯性内容或幻觉,生成质量对提示格式和长度敏感;不应将其视为生产级聊天机器人,也不应用于安全关键决策。推理使用可变 KV cache,官方建议服务端串行生成,除非显式隔离缓存状态。(huggingface.co)
日期
论文初版于 2026 年 5 月 7 日提交;该日期是论文初版日期,不能据此确认开源权重的具体发布日期。(arxiv.org)
价格
截至 2026 年 11 月 16 日,已查询火山引擎国内官方定价页和 BytePlus 国际官方定价页,但页面正文需要 JavaScript,未能核实 Cola DLM 的官方托管服务价格。因此,人民币(CNY/RMB)或美元(USD)的输入、输出计费均未核实;不推定该模型存在官方托管服务或可按 token 免费调用。自行部署仍可能产生计算等费用。(docs.volcengine.com)
官方来源
- 论文初版 (arxiv.org)
- ByteDance-Seed 官方代码仓库 (github.com)
- 官方中文模型卡与权重 (huggingface.co)
- 火山引擎模型价格页及 BytePlus ModelArk 价格页,查询日期均为 2026 年 11 月 16 日;页面正文未能读取。(docs.volcengine.com)