上海交大邓志杰：扩散语言模型，怎样才能又快又好

从基础路线到系统优化，讲解如何将并行潜力，转化为实际速度。 作者丨张璐 编辑丨 张驰 写作往往伴随着整体构思、局部推敲和反复修改。一句话中的用词，既取决于前文，也可能受到后文的影响。由此出发，语言模型的生成过程，是否也可以在多个位置同时展开，再逐步补全文本？ 在前不久的CNCC 2026上，上海交通大学副教授邓志杰以“扩散大语言模型方法及应用”为题，围绕一个核心问题展开讨论：能否在保证生成质量的同时，让扩散语言模型生成得更快？ 从LLaDA、Dream的基础路线，到跨块并行生成、后训练和推理系统优化，邓志杰梳理了将并行潜力转化为实际速度的多种方法。 他强调，评价效率既要看每轮能够生成多少token，也要计入每轮耗时，并结合答案正确率、代码通过率考察生成质量。演讲最后，他介绍了相关方法在流式视频、语音修复、多模态与智能体中的应用探索。雷峰网 以下为演讲主要内容。 01 语言生成可以在多个位置展开 我们写一本书，往往先写一遍，再反复重写。修改前面的内容时，会联系后面的章节；推敲“僧推月下门”还是“僧敲月下门”，也需要结合上下文。这说明，创作文本并不一定严格遵循从左到右的顺序。 扩散语言模型把这种想法付诸实践：同时预测多个缺失位置，逐步补全文本。这次分享主要讨论，怎样在保证生成质量的同时，尽可能提高生成速度。 自回归模型通过链式法则，将联合概率分布拆成一系列条件分布，标准解码依次预测下一个token，也就是文本的基本单元。这里重点介绍的掩码扩散模型，则先对序列中的不同位置独立进行随机掩码，掩码比例随时间步变化，再学习反向恢复过程：根据带掩码的序列，预测缺失内容。 推理时，模型每轮会预测所有掩码位置，但只选择其中一部分提交，其余位置留待后续迭代。例如，六个token可以分三轮完成。不过，轮数减少并不意味着实际速度同比提高，因为每一轮的计算开销也需要考虑。 LLaDA把这条路线扩展到了8B参数规模。预训练时，它对完整序列随机掩码；监督微调时，只对回答部分掩码。它还展示了生成能力随训练算力扩展的趋势。 Dream采用另一条路线：复用已有自回归模型的权重，再进行扩散继续训练。这里要调整两个方面：注意力从因果结构转为双向结构，学习任务从预测下一个token转为恢复掩码内容。Dream还保留了预测位置偏移一位的结构，以更好地复用自回归模型的能力。从零预训练和从已有模型转换，都可以构建性能较好的扩散语言模型。 02 从块内并行走向跨块并行 评价效率，可以先看一个简单关系：实际速度约等于每轮有效提交的token数，除以每轮耗时。前者用TPF衡量，即每次前向计算实际提交多少token；实际生成速度则用TPS衡量，即每秒生成多少token。同时，还要观察答案正确率、代码通过率等质量指标。 早期扩散语言模型有两个实际问题：一是难以复用KV缓存，需要反复计算上下文；二是生成窗口大小固定，