字节跳动开源2B级扩散语言模型Cola DLM

时间：2026-05-16 11:03:51

　　消息，字节跳动Seed团队开源了名为Cola DLM的2B级连续潜在扩散语言模型。该模型试图绕开传统大语言模型按token从左到右逐个生成的固定路径，改为先组织高层语义，再落回具体文字。Cola DLM的核心是text VAE和block-causal DIT，前者将离散文本映射到连续潜在空间，后者通过flow matching学习潜在先验，最终由条件解码器将潜在变量还原为文本。该模型包含约23亿参数，其中核心DIT为18亿参数，VAE为5亿参数。在多个评测中，论文称其在统一生成式评测协议下已具备与同规模AR / LLADA基线竞争的表现，并在最终平均分上达到最好结果。当前版本仍为研究型checkpoint，未经过指令微调和RLHF，主要用于研究连续潜在扩散如何用于文本生成。

上一篇：俄罗斯国家杜马提交加密货币合法化法案修正建议返回首页

下一篇：没有了

热点推荐

1 字节跳动开源2B级扩散语言模型Cola DLM

消息，字节跳动Seed团队开源了名为Cola DLM的2B级连续潜在扩散语言模型。该模型试图绕开传统大...

2 俄罗斯国家杜马提交加密货币合法化法案

消息，俄罗斯国家杜马金融市场委员会已向财政部提交加密货币合法化法案二读修正建议。修...

3 Binance Research：可转移代币化RWA价值达31

消息，吴说获悉，Binance Research发布报告称，可转移的代币化RWA价值已达314亿美元，高于2026年初...

4 Saturn增持$STRC股票至7000万美元

消息，Saturn，这家链上收益稳定币发行商，近日宣布在过去两周内增持了价值2000万美元的$ST...

5 美债收益率飙升重创股市，芯片板块领跌