随着扩散语言模型(DLM)在各个领域的快速发展,其已成为自回归(AR)模型有力的替代方案。与 AR 模型相比,DLMs 的主要优势包括但不限于:高效的并行解码和灵活的生成顺序。
尽管 DLMs 具有加速潜力,但在实际应用中,其推理速度仍慢于 AR 模型,原因在于缺乏 KV-cache 机制,以及快速并行解码所带来的显著性能下降。
本文,来自香港理工大学、达特茅斯学院等机构的研究者尝试从一个不同的角度来加速 DLMs 推理,这一思路源于一个长期被忽视却极具潜力的现象:早期答案收敛
通过深入分析,研究者观察到:无论是半自回归重掩码还是随机重掩码场景下,有极高比例的样本在解码早期阶段即可获得正确解码。这一趋势在随机重掩码中尤为显著,以 GSMK 和 MMLU 数据集为例,仅需半数优化步骤即可分别实现 97% 和 99% 的样本正确解码。
受此发现启发,该研究提出了Prophet,一种无需训练的快速解码策略,该策略专为利用早期答案收敛特性而设计。Prophet 通过持续监控解码过程中 top-2 答案候选之间的置信度差距,自适应地判断是否可安全地一次性解码剩余所有 token。
Prophet 是一种无需训练的快速解码方法,用来加速扩散语言模型的生成。它的核心思路是:在模型预测结果趋于稳定时,一次性提交所有剩余 token 并提前生成答案,这一过程被称为早期提交解码(Early Commit Decoding)。与传统的固定步数解码不同,Prophet 会在每一步主动监测模型的确定性,从而能够即时做出是否终止解码的决策。
早期提交解码。何时终止解码循环的决定可以定义为最优停止问题。在每一步,都必须在两种互相冲突的成本之间权衡:继续执行额外细化迭代的计算成本,与因过早决定而可能带来错误的风险。计算成本取决于剩余步数,而错误风险则与模型的预测置信度呈负相关,其中「置信差距」可作为其稳健指标。
在通用推理任务上,Prophet 展现了与完整基线相当甚至更优的性能。例如,在使用 LLaDA-8B 时,Prophet 在 MMLU 上达到 54.0%,在 ARC-C 上达到 83.5%,两者在统计上均与完整的 50 步解码结果相当。
更有趣的是,在 HellaSwag 上,Prophet(70.9%)不仅超过了完整基线(68.7%),还优于半步基线(70.5%),这表明早期提交解码能够避免模型在后续带噪声的精炼步骤中破坏已正确的预测。
在更复杂的数学和科学基准测试上,Prophet 同样展现了其可靠性。以 GSM8K 数据集为例,基于 LLaDA-8B 的 Prophet 达到 76.8% 的准确率,几乎与完整基线的 77.1% 相当,并且优于半步基线的 76.2%。
总而言之,实证结果强有力地支持了本文的核心假设:扩散语言模型往往在最终解码步骤之前很早就已经确定了正确答案。
Prophet 成功利用了这一现象,通过动态监测模型预测的置信度,一旦答案趋于稳定,便立即终止迭代精炼过程,从而在几乎不影响任务性能的情况下显著节省计算开销,在某些场景下甚至还能提升表现。这与静态截断方法形成了鲜明对比,后者存在过早终止解码、从而损害准确率的风险。
色天堂APP俄罗斯外交部4日表示,俄罗斯不会考虑外国军队“以任何形式”在乌克兰部署。俄外交部发言人扎哈罗娃说,“俄罗斯不会讨论任何形式的、从根本上不可接受的、破坏乌克兰安全的外国干预。”在歼击机梯队中,歼-20S和歼-20A是首次公开亮相。歼-20A在隐身性能、机载设备、飞控系统上有进一步提高。而歼-20S作为我国自主研制的新一代中远程、重型、双座、多用途隐身战斗机,除了具有优异的中远程制空作战能力和对地、对海精确打击能力,还具有突出的态势感知、电子干扰和战术指挥控制能力,以及有人/无人机协同作战能力。未来空战一定是有人机和无人机组队空战,从这个角度来看,歼-20S走在了五代机的前列。歼-20S飞行员表示,该机入列将重塑规则,彻底改变未来战场。色天堂APPExo妈妈mv高清视频在全球加速能源转型的背景下,V2G(Vehicle-to-Grid,车辆到电网)作为连接交通与能源两大系统的关键技术,已成为我国推动新型电力系统建设、实现“双碳”目标的重要抓手。这种模式并不只在武汉推行,全国其他各大城市也相继建立起V2G规模化应用试点。据清华四川能源互联网研究院新能源汽车储能研究所副所长李立理预测,今年年底或明年上半年,我国V2G试点可能会迎来类似DeepSeek的现象级事件。此前,阿尔卡拉斯与德约科维奇有过8次交手,德约科维奇5胜3负占据上风。最近2次交手,在去年的巴黎奥运会男单决赛和今年的澳网男单1/4决赛,德约科维奇都笑到最后。
20250915 🧼 色天堂APP目前,中国空间站舱外航天服B已由11名航天员在8次载人飞行任务中接力使用,为航天服工程应用质效提升和空间站常态化出舱活动任务提供了坚实支撑。《女人尝试到更粗大的心理变化》因为每天的状态都是不一样的,努力大于天赋,自己在不受伤的前提下慢慢走,不用特别着急,就是一步一个脚印,每年都有0.01的突破就行。
📸 李克胜记者 王立新 摄
20250915 😏 色天堂APP然而,现实却给她开了一个残酷的玩笑。在考编这条道路上,她接连遭遇挫折。17次参加选调生、人才引进考试,每一次都怀揣着希望而去,却又一次次带着失望而归。这些考试的失利对她的打击无疑是巨大的,回家后的她吃不下饭、睡不着觉,陷入了深深的自我怀疑和焦虑之中。而她的家长更是心急如焚,看着孩子如此痛苦,却又无能为力,只能急得团团转。《《夫妻快乐宝典》完整版》会上,异种移植和再生四川省重点实验室主任潘登科发布了实验室未来三年发展目标。据介绍,实验室包括四家组建单位:四川中科奥格生物科技有限公司、四川大学华西医院、中国测试技术研究院生物研究所、成都中科奥格生物科技有限公司。实验室将聚焦四大核心方向:高适配基因编辑供体猪研究及培育、病原微生物跨物种生物安全防控研究、异种移植产业标准体系及计量溯源研究、异种移植与再生的机理研究和临床转化,大力推进猪-猴临床前—亚临床—临床研究,持续强化产学研医协同创新,加快异种器官移植标准化体系构建与产业化落地,力争在3年内推动异种器官移植进入临床试验,让“救命器官”早日惠及广大患者。
📸 李煜华记者 邹敏 摄
🔞 安徽淮南在8月末推出一系列稳楼市政策,通过发放购房补贴、购房优惠券等方式,支持房地产高质量发展。河南南阳也推出一揽子稳楼市政策,涵盖税费、公积金、以旧换新等多项措施。少女国产免费观看高清电视剧大全