在线策略自蒸馏与做梦模拟或成大模型持续学习新解法

时间：2026-06-28 11:28:45

　　消息，OneMillion_AI发文称，大语言模型在部署后面临无法持续吸收新知识的难题，现有优化技术主要集中在扩大上下文窗口和提升查找速度，无法解决知识遗忘问题。在线策略自蒸馏提供了一条新的权重更新路径，通过反向传播计算基础状态与教师状态在token级别的概率差异，提供监督信号，帮助基础模型逼近高分状态。相比于传统的监督微调，自蒸馏仅提取必要的决策经验，避免灾难性遗忘，保护大模型的通用常识。另一条学习路径是做梦模拟，模型在复杂任务中构建虚拟模拟器环境进行任务演练，成功轨迹将更新基础模型的权重。预计2027至2028年，AI代理在与人类协同工作一周后将接受工作评估，获得认可后将通过在线策略自蒸馏或做梦模拟，将实战经验内化至模型底层权重，实现能力的在线扩张。

上一篇：消息称4枚飞行物击中伊朗伦格港附近地区返回首页

下一篇：以军称在黎南部打死数名真主党武装人员

热点推荐

1 韩国国税厅提议修订《刑事诉讼法》强化

韩国国税厅官员提议修订《刑事诉讼法》，以强化对个人自持虚拟资产的扣押执行规则。今年...

2 韩国股市与纳斯达克100指数相关系数升至

消息，据彭博社披露，韩国综合股价指数与纳斯达克100指数的60日相关系数升至0.46，接近过去...

3 Polymarket：美联储7月29日维持利率不变概率

消息，Polymarket交易者目前预计美联储在7月29日的决策中维持利率不变的概率为93.5%。...

4 长鑫存储巨鲸挂出832万美元卖单，挂单规

消息，长鑫存储巨鲸在HyperLiquid上挂出832万美元的卖单，挂单规模已超过CXMT单日成交额。当前...

5 BTC ETF两周吸引2.73亿美元资金