杜克大学团队发现，扩散大语言模型只需关注少量「中奖」token，就能在推理时把速度提升61-97倍，还能让模型更懂格式、更听话。新策略DPad不训练也能零成本挑出关键信息，实现「少算多准」的双赢。
在大型语言模型的优化中，业界通常认为计算量与模型性能正相关。
然而，杜克大学陈怡然教授团队的一项最新研究DPad，却揭示了一个反直觉的现象：对于扩散大语言模型（dLLMs），通过一种「先验丢弃」策略，主动减少其计算量，不仅能带来高达61倍的推理加速，还能意外地增强模型语境学习的能力。
这一发现源于对dLLM内部一种「中奖彩票」（Lottery Ticket）现象的洞察。模型在生成文本时，其庞大的注意力网络中似乎隐藏着一个极度稀疏但高效的「中奖组合」。
DPad的核心贡献就在于，它无需训练，便能在推理时动态地、近乎零成本地找出这个组合，从而实现速度与精度的双重飞跃。
论文作者团队来自杜克大学CEI中心，由实习生陈欣骅、黄思韬及郭聪博士共同完成，指导教师为李海教授、陈怡然教授，其他作者还包括魏迟越、何银涛、张健一。
独特的注意力机制
dLLM的草稿纸
团队发现，dLLM的独特之处在于双向注意力，这使得它在生成文本时，会关注所有待生成的后文词元（Suffix Token），并将它们用作规划全文的「草稿纸」。
「草稿纸」机制使得模型能在Transformer的第n层往后文写入信息，然后在第n+1层读取后文信息，用于辅助前文的解码。
