MiMo-V2.6：通过测试之后，怎样继续提供学习信号
作者：Xiaomi LLM-Core Team（完整署名见论文）；机构：Xiaomi。版本：v1；首次发表：2026-10-08。
例如，让代码 Agent 修复仓库中的一个功能：它读取问题与代码，调用终端、修改文件并运行测试，最终交付补丁。测试通过只是起点——两份补丁可能都通过，却在异常处理、无关修改和可维护性上差很多。本文研究怎样把这种差别转成强化学习信号，同时把代码、办公、视觉和安全任务放进同一训练系统。
训练时，同一道题生成一组尝试，再由测试和评分 Agent 产生反馈，更新策略模型参数；执行时使用训练后的模型解决新任务。对一部分高通过率代码题，系统先离线比较多条轨迹，形成针对该题的实现质量与行为准则，后续重复使用；最终奖励是测试结果与两种质量分数的乘积，失败轨迹仍为零。对其余成败混合的代码组，在线评分器同时查看补丁、测试与完整轨迹，必要时运行验证，先把确认的投机成功改判为失败，再把正优势更多分给质量较好的通过者。实际实现还限制放大系数、重新居中优势，避免只压低正项破坏更新平衡。
本文与不使用在线优势重分配的代码专用 RL 做比较：Flash、batch 128 的消融中，加入评分后，成功率能继续改善，轮数较稳定，token 长度增长较缓。它还分别比较冻结与不冻结 MoE 路由器，并通过恢复旧路由器参数定位负载坍塌来源。这些受控诊断比单独展示最终排行榜更有学习价值。
这些消融不能证明所有主训练收益都来自评分机制：主系统同时增加任务、框架与计算，成绩提升也伴随 token 用量增加。跨框架实验支持已训练代码能力向未见 harness 迁移，但不等于系统递归修改了自己的学习算法。评分器本身仍可能误判；训练日志中低于 2% 的是被检测并确认的投机比例，不能解释为全部投机的真实发生率。
Figure 7，v1 p.17。先看左上方：多条旧轨迹被整理成两类准则，向下进入在线评分并改变奖励。右侧则直接把当轮成败轨迹送入组评分器，投机改判与质量排序一起改变优势；两条路径最后汇入策略参数更新。左右是不同任务子集上的两种用法，不是每条轨迹必须依次经过的两个阶段。
评测数据集与环境。 主训练核对 §5.2、Table 3：DeepSWE v1.1（训练曲线 average@3）、ProgramBench、CyberGym（本文修正部分环境）、AutomationBench（v1.0.6）、JobBench、Agents’ Last Exam、Terminal-Bench 4.0、Terminal-Bench 2.1、OSWorld-Verified。已核实来源：报告 §5.2、Tables 3/6/7；本篇口径：另含 ExploitGym、ExploitBench、SEC Bench Pro、Toolathlon-Verified、GDPval-AA 2.1，以及私有 MiMo Code/Cyber/Visual 基准，具体样本数与私有访问未完整披露，不按公共标准补齐。9B 蒸馏及后续 RL 另测 SWE-bench Verified／SWE-bench Pro、OfficeQA Pro 和四个 mini 内部集：代码/安全用 avg@3，一般/视觉用 avg@1；另有内部音乐评分。约 7k 开放任务加约 1k 音乐任务是训练资源，不是测试规模。Table 7 的四个训练框架与三个留出框架需分开判断，主表比较不能当作相同推理成本的因果实验。
完整中文摘要
强化学习是推动大型基础模型走向自我改进的核心训练范式。本报告介绍 MiMo-V2.6 系列，一个通过扩大强化学习计算推动模型智能边界的全模态模型家族。在强化学习之前，我们在广泛的多模态语料上开展中期训练，提供充分的探索空间，并基于预训练的混合滑动窗口注意力架构建立基础设施，支持后续扩展。我们沿三个维度扩大强化学习计算：（1）更大的批量和更高吞吐，异步训练每步处理 1,568 个样本、27–37 亿 token，上下文长度最高 100 万；（2）更多样、更复杂的环境，在混合 Agent 执行框架下覆盖代码、一般任务、视觉和网络安全；（3）更多评分计算，通过组内 Agent 评分，为长程任务提供更准确的奖励，并引导模型生成更短、token 效率更高的解法。为保持大规模训练稳定，我们冻结 MoE 路由器，并建立多层奖励投机防御。我们还构建了混合任务 Agent RL 基础设施，包括统一轨迹表示、高并发多框架 rollout、控制面与数据面分离，以及训练与推理一致性。我们开放训练动态、强化学习环境与训练框架，以促进对大规模强化学习和模型自我改进的复现与研究。（摘要的 1,568 样本在 §4.1 澄清为 prompt 数，每题 16 条轨迹，约 25k 条轨迹/步。）阅读依据。 原论文 v1：§4.1–4.3，§5.1–5.5，§6.1，§7；Figures 7–11；Tables 3、5–7。
PRAXIS：训练题目与辅助规则都在变，怎样约束目标漂移
作者：Venkat Margapuri、Mustafa Teber；机构：Villanova University，Department of Computing Sciences。版本：v1；首次发表：2026-10-08。
例如，训练一个判断图片属于教室还是卧室的分类器：除了更新模型，还可以调整下一轮看哪些噪声和模糊程度的图片，并让若干人工规则辅助预测。困难是训练目标也随这两项选择一起变动，模型损失下降未必说明它能稳定追随不断变化的任务。PRAXIS 用这类监督学习任务研究联合更新的动力学，并非一个直接执行办公任务的语言 Agent。
系统保留三类状态：分类器参数、训练条件的抽样分布，以及有限规则库中每条规则的累积分数。模型先在抽样数据上更新；规则把预测分布变成不反传梯度的伪标签，按当前权重构成辅助一致性损失。规则的得分另由真实标签判断：奖励预测正确，惩罚把模型本来判断正确的样本改错，再经指数归一化影响下一轮。任务生成器依据更新后仍较大的损失调整抽样，但限制相邻分布的 KL 距离。继承的是参数、抽样分布和规则权重；外层更新式与监督标签保持固定。
理论把一步目标漂移分成任务分布的移动与规则诱导损失的变化。因此，仅让生成器稳定还不够，规则权重也必须受控。本文的组件对照也显示这种耦合不总是值得：GraphLog 上去掉规则正则后的均值准确率为 0.912，完整系统为 0.851；MIT Indoor 与 CLRS 则由完整系统取得更高均值。它提供的是可拆解的分析框架，而非证明三组件在所有任务上都优于简单方法。
平均梯度范数的界依赖光滑目标、无偏梯度与受控累计漂移，并不是参数收敛到移动最优解的保证。离散伪标签与门控的实际更新是否满足理论光滑性仍需单独检查。规则淘汰结论还需要相对固定比较规则的持续累计效用优势及噪声假设。实验只有 50 轮、三个受控领域；图中滚动标准差不是跨随机种子的不确定性，不能据此外推开放式语言 Agent 的长期自我改进。
方案原图：本文 Figures 1–3 均为动力学结果曲线，没有展示三组件信息流的方案图，因此不以成绩图替代机制图。
评测数据集与环境。 已核实来源：原论文 §6、Table 1、Appendices B/C；本篇口径：MIT Indoor 使用 12 类×100 图的 1,200 图子集，300 个训练条件、27 个留出条件；条件数不是互斥图片池。GraphLog 使用 200 任务、1,800 二分类样例，43/24 个训练/留出 universe。CLRS 是本文自建的 CLRS-style 最短路径阈值任务，不是完整 CLRS 标准成绩：16/18 个训练/留出条件，每条件 120 图，共 4,080 图，每训练条件另用 40 个 probe 诊断。主诊断 50 次迭代，Table 3 报留出条件上的 Mean、Min、CVaR10 和 Std。样本、条件和迭代次数不能相加当成测试题数。
完整中文摘要
自我改进学习系统会调整数据选择、优化和辅助符号组件，从而产生超出标准学习假设的非平稳目标。我们提出 PRAXIS，一个把生成器、学习器和符号档案建模为相互作用动力过程的共同演化框架。我们证明，受 KL 约束的生成器更新及受控的档案权重变化，可以限制单步目标漂移；在次高斯噪声下，档案更新会压低相对于某个具有持续累计效用优势的固定比较者的程序权重；随机梯度下降具有平均平稳性保证，其退化程度由累计目标漂移决定。视觉鲁棒性、关系图推理和算法图推理实验呈现出生成器稳定、学习器损失下降以及档案集中等现象，与这些理论机制一致。阅读依据。 原论文 v1：§3–5（尤其 Theorems 5.4、5.12、5.14），§6–7，Table 1，Appendices B/C 与 Table 3。
MemTrial：赚钱的是记忆，还是当天市场
作者：Guanghao Wu、Zhuo Cai、Shoujin Wang；机构：University of Technology Sydney。版本：v1；首次发表：2026-10-08。
假设一个 Agent 根据当天信息和过去的经验，为多种资产分配持仓权重，持有一段时间后按扣除交易成本和风险的效用判分。如果当天整个市场上涨，不能因为它用了某条记忆就给这条记忆记功。本文研究的是这种经验信用分配，而不是提供资产配置建议。
每个日期先检索四条经验，按预先设计的八种子集各生成一份持仓草稿。结果发生之后，用同一天包含与不包含某经验的草稿效用之差估计贡献，共同市场成分由配对相减抵消；八种而非完整十六种组合意味着估计仍混有三阶交互。系统把多日期贡献及相似经验的内容合并成贝叶斯价值估计，跨轮保存经验与价值统计，不训练底层 LLM 权重。下一天是否按这些价值选草稿，要看以前提前作出的预测在后来日期上是否有效；不通过信任检验时，就在参考组合与草稿均值之间做受约束的混合。新结果只能在发生后更新价值与检验记录，不回流到当日决策。
与只按实际收益给记忆记功相比，本文加入同日对照；与只按平均反事实贡献选记忆相比，它又加入跨日期预测检验和回退。最重要的实验结论却不是记忆已能改善真实市场决策：PortBench 与 InvestorBench 上信任检验通过率低于 1%，收益主要来自放弃不可靠记忆。给基线同样的保守锚点，它们也能达到相近表现；已知经验质量的半合成 PlantedMem 才提供记忆有用时的正向检验。
每次决策需要八份 LLM 草稿，不能把它与单次调用基线当成等成本学习优势。真实历史数据可能已进入模型预训练，且反复作用于相关日期、经过模型选择的信任检验没有全程误通过率保证。ClassAlloc 上被信任的草稿也没有优于它替代的锚定混合。因而论文支持一种归因与谨慎使用经验的方法，尚未证明持久记忆提高真实投资决策质量。
Figure 2，v1 p.4。从上方的当日状态与四条经验开始，八份草稿先进入基于历史证据的信任分支，再执行并等待结果。沿右侧向下，已实现结果才用于计算同日贡献、汇总价值和评价旧预测，最后返回下一日期。这个先执行、后学习的顺序是避免用未来结果选择当日草稿的关键。
评测数据集与环境。 已核实来源：本文 §4.1、Table 2、Appendix D/H；本篇口径：PortBench 为 99 资产、六类，2023–24 共 20 测试月，Raw/Full 分别展示八个/全部合资格资产；每次从等权组合重新出发，20 交易日持有、15bp 成本。InvestorBench 改为四股票加现金，149 测试日，并非原单股票协议。ClassAlloc 为五类、71 月，只有末尾 21 月位于主模型知识截止后。PlantedMem 是自建半合成环境：15 开发世界、100 测试世界，每世界120月，12或48条已知质量经验。真实设置各三次独立采样部署；效用分别用每月百分数或每日bp，不是收益率统一排名。
完整中文摘要
用于投资组合管理的大语言模型 Agent 从经验中学习：它们把决策结果归功于决策所用的每条记忆。然而在金融市场中，结果主要反映同日所有决策共享的市场变化，因此这种记功追踪的是市场而非经验，Agent 甚至常常不如简单持有等权组合。我们研究怎样按经验实际改变了什么来分配信用，并让记忆接受检验：同一决策有无某条经验的草稿面对同一市场，因此共有结果会在差分中抵消。MemTrial 通过部分因子设计，使用检索经验的八种组合生成草稿，以这些差分的平均值估计每条经验的 Banzhaf 贡献。每个日期只发生一次，每份草稿又是有噪声的 LLM 样本，所以贡献可能不可靠、也未必能推广到新日期。MemTrial 因而用分层贝叶斯模型在日期与相似经验之间汇总贡献，只在其预测过未见日期之后才依据价值行动，否则保持接近等权等保守参考。在四个基准上，它既能利用真正有用的经验——在质量已知的半合成基准上为15种方法最佳——也能在价值不可靠时限制损失：PortBench和InvestorBench上至多比等权低2.2%，最佳经验学习Agent则低15–38%。五种设置平均效用比最佳经验学习Agent高21.2%，并在八种LLM的InvestorBench实验中优于各LLM基线。阅读依据。 原论文 v1：§3.1–3.6，Figures 1/2，§4.1–4.5，Tables 2/3，Appendices C.1、D.5/D.11、H。
Harness Evolution：框架带来的收益，哪些能训练进模型
作者：Yuan Tian、Bing Hu、Hao Wang、Binghang Lu、Fang Wu；机构：前两位为独立研究者；其余分别为 UC Berkeley、Purdue University、Stanford University（按论文署名）。版本：v1；首次发表：2026-10-08。
让 Agent 按预算、交通和住宿约束制定多日旅行计划：它查询工具、保存状态，最后交出能被程序检查的计划。失败可能是反复调用工具直到超时，也可能是顺利提交了不合格方案。本文先改模型外的执行程序，再用产生的轨迹训练模型，研究不同失败应该在哪里修，以及改框架的收益能否在撤回框架后保留。
系统按首先触发的信号给轨迹分组：缺证据、框架阻碍、循环或预算耗尽，以及未触发这些过程信号却内容不佳。固定模型提出 harness 修改，经开发题评分验收后保留，下一轮继承程序、提示和工具。随后从演化框架下的开发题轨迹筛出较好示范，训练 LoRA 或完整权重；每个 assistant 步骤是监督样本，训练目标只作用于 assistant 输出。最终同时测试原始和演化框架下的基础与训练后模型，判断收益到底依赖哪一部分。这个流程的反馈和更新规则由外部预先规定，并未学习一个新的优化算法。
在 DeepPlanning 的交叉表中，4B 模型在原始框架下由 0.164 提升到 0.290，9B 的较好适配器由 0.323 到 0.454，说明部分收益在撤回增强框架后仍存在。9B 的答案打乱安慰剂适配器明显退步，提示轨迹内容确实重要。WebArena-Lite 则给出另一面：保留最近两个完整网页而非一个带来主要框架收益，但基于这些轨迹训练的适配器没有提供超出噪声阈值的额外增益。把行为学进参数，不能补回执行时根本看不到的信息。
“过程失败改框架、内容失败训权重”是两类任务上的经验规则，不是互斥定律：F4 本身是按顺序筛掉其他信号后的剩余类，失败比例变化也可能来自前序故障减少。部分关键比较跨夜，4B 留出基础行只有两次 rollout；论文未比较同总预算的测试时搜索。计划到 JSON 的 LLM 转换在抽查中抬高约 0.025 分，且不应把约 0.03 的差距视为确定收益。本文没有证明所有 harness 都存在同一个能力天花板。
Figure 1，v1 p.2。从左边具有程序评分器的任务出发，先诊断失败；上支修改框架，下支训练权重，上支产生的轨迹又流入下支。最右侧不是单测最终系统，而是把两种框架和两种权重交叉放回留出题中。这一步使“系统变强”变成“收益来自哪里”的可检验问题。
评测数据集与环境。 DeepPlanning：本文固定 120 题，48 开发、72 留出，演化、筛轨迹及适配器选择只用开发题；多数格为四次 rollout 均值，Table 1 注明跨夜及两次采样例外。已核实来源：WebArena-Lite 的本文协议，§5.3/Table 13；本篇口径：165 任务、五个自托管网站，48 开发/117 测试；保留官方环境与评分，自然语言答案用 LLM 判分。训练用开发集中35题的157条满分轨迹，不能把157当测试任务数；网页适配器比较跨夜，阈值0.064。
完整中文摘要
改进长程 LLM Agent 可以演化冻结模型周围的执行框架，也可以训练模型权重。我们先让自演化框架增强系统，再交叉比较原始/演化框架与基础/训练后权重，辨别模型保留了哪些收益、哪些仍需要运行时支持。按最先触发的信号标注失败轨迹，可以区分调用受阻、循环、步骤预算耗尽等过程失败与已交付但质量差的内容失败。框架演化修复前者，其诱导行为可进入权重，而内容失败是权重训练的目标。在 DeepPlanning 上，Qwen3.5-4B 留出分由0.16升到0.30，9B由0.32到0.44；4B交付率由55%到90%，内容失败仍待训练解决。用演化框架轨迹训练的LoRA在原始框架上为两种规模都带来约0.13提升；4B可与框架叠加，使留出分超过翻倍，9B仅适配器就达到完整演化路线水平，内容失败由约四分之一降至二十分之一。答案打乱的安慰剂适配器低于基础模型。循环也迁移到WebArena-Lite，在117个未见任务提升约0.09，但收益来自模型看见的信息，适配器未再增加收益。最终规则是先诊断再干预：从失败构成选择框架或权重，再从被接受修改改变了什么来选择哪些收益可训练内化。分数来自对新测锚点的四次rollout均值，除明确标注外为同夜比较，覆盖六个家族的八个模型和两个基准。阅读依据。 原论文 v1：§3–5，Figure 1，Table 1，§6–7，Appendices D/E/H/I（Tables 5–10、13）。
Residual Advantage：教师怎样细分信用而不改写整题判分
作者：Xiaobing Chen、Zhiqi Pang；机构：Harbin Engineering University、Tencent、Harbin Institute of Technology（按署名）。版本：v1；首次发表：2026-10-08。
学生模型解一道数学题，最后答案可由验证器判对错，但同一条推理里可能既有好步骤又有坏步骤。把整题的一份优势复制给每个 token 很粗糙；直接模仿强教师又可能过度压制学生自己的解题路径。本文研究怎样把教师意见加入强化学习，同时保留答案验证器对整条回答的判断。
学生先生成解答，教师在学生真正访问的前缀上给出下一token分布。RA 取教师概率减学生概率，把它看成有界的一步奖励；再减去按学生分布加权的平均残差，得到当前token相对学生其他可选token的局部优势。随后从每个位置的局部优势减去整条回答的加权均值，乘指导权重后加到验证器优势，再用于学生的PPO式更新。这样教师项在回答内平均为零，却能让不同位置获得不同信用。Co-RA 还在同一批已判分学生轨迹上，用验证器优势更新教师LoRA；本轮标签先固定，更新后的教师到下一轮才提供指导。
本文逐项比较去掉学生价值基线、去掉回答内居中、直接L2损失以及log-ratio指导，并扫描权重，避免只在单个强度下比较。RA 在两种学生、两种基础算法、三个数学基准、两个指标的24组均值比较中都改善基础算法。进一步让教师适应学生后，平均准确率继续改善，但教师自己的解题成绩反而下降：能更好地指导这个学生，与教师自己成为更强求解者是两件事。
均值保留是优势标签的代数性质，不是梯度正交或验证器目标不受影响的保证；不同token的梯度向量不同，教师项也可能在局部盖过验证器。Co-RA 的Pass@8有升有降，不能把平均准确率增长解释成覆盖能力全面增长。实验限于共享词表的Qwen数学模型，额外教师前向与LoRA训练有成本，GRPO每题八条而另两类训练每题一条，跨算法分数不等于严格等算力胜出。
Figure 2，v1 p.4。从左侧题目进入学生采样，答案验证结果同时连接两种更新：学生使用验证器加RA后的逐位置标签，教师LoRA仅接收验证器优势。右侧的小图显示各位置标签围绕同一整题均值上下移动。教师更新形成返回下一轮的指导，不能把图中两条更新箭头读成先更新教师再重算本轮学生标签。
评测数据集与环境。 训练为DAPO-Math-17K，两epoch；指导权重在训练题划出的验证集选择。最终测试为MATH-500、AIME 2024、AIME 2025；每题8个completion、temperature 0.8、12,000 token上限，报Avg@8与Pass@8，三基准等权macro，三训练seed均值。训练奖励对超过8,000 token的正确响应降权，测试按未塑形的答案正确性；另有1.7B部分配置Pass@512诊断，不扩展为所有模型的同预算结论。
完整中文摘要
可验证奖励强化学习与在策略蒸馏已成为推理模型后训练的两种主要范式。前者给每个回答一个结果标签，缺少回答内部的独立信用；后者在学生访问的前缀提供token级指导，但逐点信号不能直接体现整个词表上的师生分歧结构。稠密、无界的对数比监督可能放大教师影响，而学生路径偏离教师时，强求解者未必是合适教师。我们提出Residual Advantage，把师生概率残差当作有界一步奖励，减去学生策略下的状态值形成标准优势，再在每个回答内部居中后加到验证器优势。指导项在回答内均值为零，因此验证器优势仍是整条回答的平均标签，教师只在内部步骤之间重新分配信用。Co-RA进一步在同一已判分学生批次上用验证器优势更新教师LoRA，并在下一轮残差中使用更新后的教师，让指导适应学生尝试。对于Qwen3-1.7B-Base和4B-Base学生及Qwen3-8B教师，RA结合GRPO或REINFORCE++后，在三个数学基准的24组比较中均改善基础算法，macro Avg@8提高1.7–3.6点，Pass@8提高3.9–6.3点。两种组合都超过仅教师OPD，Co-RA再带来1.0–1.5点Avg@8提升。阅读依据。 原论文 v1：§2（Eq.1–10），Figure 2，§3–4，Tables 1–3；Appendices B.3/B.5/B.8、D.7/D.9。
SELF：工具反馈既能指导动作，也能成为预测目标
作者：Hangxi Guo、Fengyuan Liu、Yue Wang、Yuhua Qi、Haoyi Xiong、Fei Sun、Mengnan Du；机构：香港中文大学（深圳）、上海人工智能实验室、中国科学技术大学、中科院计算所及独立研究者（按署名）。版本：v1；首次发表：2026-10-08。
例如，客服 Agent 查询订单后调用退货工具，环境返回成功、拒绝或参数错误；或者办公 Agent 执行一段跨应用代码，得到输出和报错。它需要完成用户委托，却未必能在训练时拿到每个任务的对错奖励。工具返回仍告诉它“刚才的动作造成了什么”，SELF 尝试从这些自然反馈中训练更好的下一轮策略。
每轮先让当前学生与环境交互，记录动作之前的历史、实际动作和之后的反馈。同一条记录产生两项损失：第一项让共享模型根据历史加动作预测反馈原文，使用反馈token的负对数似然；第二项让学生在原动作前缀上接近额外看过反馈的EMA自教师，使用停止教师梯度的反向KL。默认总目标是0.2倍反馈预测损失加1倍蒸馏损失，两者更新同一份学生LoRA；教师由学生参数的指数滑动平均更新。实际执行只部署学生，不把未来反馈提前给它，也不需要额外运行反馈预测器。
相对只把反馈塞给教师的SDPO，本文把反馈本身作为要学会预测的监督对象。4B消融中，加入反馈建模后任务完成率提升；反向消融也显示蒸馏有助反馈预测。跨rollout对照保留完整的真实动作—反馈配对，但两项损失改用不同轨迹，仍有大部分收益；同轨迹训练又略好。因此证据支持共享反馈建模有用，而不支持只有严格同一条轨迹才能发挥作用。
训练没有任务奖励，不代表评测也不需要正确性标准：任务成功仍由独立基准评分器检查。只有两个交互环境和两种Qwen规模，跨rollout机制对照每条件只有一次运行，反馈预测准确率由模型裁判判断。SELF比SDPO增加训练计算，成本表又排除了最终评测与额外消融，不能当成所有成本都已匹配。Figure 3 的轴标签与正文对λo/λa的用途有不一致，本文按公式、Table 3和方法正文解释。
Figure 1，v1 p.3。先看左侧真实交互产生的三元组，再沿两条支路：上路把反馈当作教师额外上下文，下路把反馈当作需要预测的答案。两项损失在右侧汇合，更新后的策略返回下一轮交互；右下部署端只留下学生。图中的循环是采样与训练的循环，不意味着系统自行修改了这两项损失。
评测数据集与环境。 τ-bench Retail与AppWorld：使用官方训练/留出划分，AppWorld 为 test-normal；本文未在所核协议处列具体题数与release，保留缺口。Retail明确用四次尝试至少成功一次的pass@4，不是四次全部成功的pass^4；平均轮数包含失败。AppWorld报TGC/SGC。另测MMLU、MMLU-Pro、IFEval，仅用于通用能力保持评测。主实验三次独立运行；反馈预测诊断由初始4B在评测任务跑三遍采集固定transition，再由GPT-5.6-Luna判生成反馈是否正确，不能与四次任务尝试或训练反馈混算。
完整中文摘要
强化学习常用于训练交互环境中的语言Agent，但在无法获得奖励时不能直接应用。近期方法将环境反馈作为后见自蒸馏的特权上下文；我们的分析表明，仅让教师以反馈为条件还不够，因此需要重新考虑怎样使用环境反馈。环境反馈包含关于动作如何引起环境响应的丰富监督，据此我们提出SELF，即结合环境反馈建模的Agent自蒸馏框架，联合优化环境反馈建模与后见自蒸馏。SELF一边学习预测环境响应，一边把以反馈为条件的自教师指导蒸馏进策略。分析发现两者相互促进：反馈建模加强后见监督与策略学习，自蒸馏又提升反馈建模能力。在Qwen3-8B上，SELF的τ-bench成功率比SDPO和GRPO分别高6.4和4.1个百分点，AppWorld任务目标完成率分别高10.71和3.57个百分点。结果表明，SELF在Agent自蒸馏中更有效地使用环境反馈，从而改善Agent能力。阅读依据。 原论文 v1：§3，Figure 1，§4，Tables 2–4，Appendices B.1–B.3、C.1–C.2（Tables 7–8）。
ExpDis：让探索者冒险，让学生只继承筛过的轨迹
作者：Saif Punjwani、Micah Goldblum；机构：Columbia University。版本：v1；首次发表：2026-10-07（UTC；北京时间 2026-10-08）。
数学模型要发现此前很少生成的解法，必须愿意尝试不熟悉的推理。但把新颖性奖励直接加给最终模型，可能使它追逐奇怪输出；数学答案验证器又看不到其他知识是否受损。ExpDis 让一个专门探索的模型承担这种压力，再把有用解法传给另一个学生。
每轮从上一轮学生分别初始化探索者和新学生。探索者用DAPO训练，只有答案正确的轨迹才获得额外新颖性奖励；主设置以随机网络预测误差衡量新颖性。探索结果先经过答案、长度和重复循环检查，每题只保留最短合格轨迹，每轮最多500条。学生在这些轨迹上做交叉熵SFT，再做不含新颖性奖励的DAPO。下一轮继承学生权重，并使用不同训练题分片；探索者参数不会直接复制进学生。多探索者只合并经过筛选的数据，固定外层流程决定四轮的新颖性系数逐步减小。
本文与直接给DAPO加新颖性奖励、标准DAPO以及延长四倍步数的DAPO比较，并消融过滤与后续RL。直接加奖励能提高多样性，却损害部分通用能力；仅蒸馏或不筛轨迹也不能替代完整流程。固定300个RL更新的分配实验中，探索广度和轮数能带来互补收益，但三探索者、四轮之后已有饱和或退步迹象，不能把更多分支和更多轮次视为总是有效。
作者报告等墙钟预算，明确给出的主要匹配单位则是RL更新数和所选rollout：每轮另做最多500条轨迹的两epoch SFT。表中没有逐项实测耗时，不能仅由300次更新就独立确认全部训练成本严格相等。结果限于两个模型家族的数学训练，通用能力保持只在所测五类指标上成立；答案正确与短轨迹过滤不能保证所有领域都无退化，更没有证明发现了训练语料中不存在的算法。
Figure 2，v1 p.4。从第一行左边的共同起点看，三个探索者各自更新，经过中间的拒绝采样后，只有轨迹进入右侧学生的SFT与普通RL。右侧学生再向下一行提供初始化，不能沿左侧把探索者权重直接接给下一代。每行训练题分片不同，图中系数递减是预定日程。
评测数据集与环境。 训练用DAPO-Math-17K，附录另测DeepScaleR训练数据；主要预算300个RL更新，4 prompt/步、16轨迹/prompt，探索者200、学生100。最终数学评测包括AIME24、AIME25、AIME26、MATH-500、Minerva-Math、GSM8K和AMC23。已核实来源：§4、Appendix A/Table 3；本篇口径：多数每题64个completion，AMC23为32、GSM8K为8，报无偏pass@k估计；主图均值只含前五项，不能称七基准均值。通用能力保持评测为MMLU-Pro、MMLU-Redux、GPQA-Diamond、ZebraLogic和IFEval。
完整中文摘要
现代语言模型在已有训练检查点上进一步开展可验证奖励强化学习。RLVR的一项重要承诺是发现新的推理策略：原则上，模型能够采样出此前训练数据中没有的新想法。但实践中，加入强新颖性激励收效有限，甚至会损害模型质量。可验证奖励只监督模型知识和行为中的狭窄部分，这种退化因而难以恢复。我们提出探索—蒸馏框架ExpDis，将探索与优化解耦：训练一个或多个带新颖性奖励的探索策略，按正确性和质量筛选其轨迹，再蒸馏进独立学生策略；学生随后接受不带新颖性奖励的训练。我们多轮重复这一过程，在探索和优化之间交替。这种分离允许积极扩大探索而不损害学生策略。在七个数学推理基准和两个模型家族上，ExpDis在相同墙钟预算下优于DAPO。我们还观察到更好的pass@k扩展，表明ExpDis模型能生成更多样的正确解法。阅读依据。 原论文 v1：§3–5，Figures 1–7，Appendix A/Table 2–3、Appendices C/E；PDF首页日期为2026-10-07（UTC），北京时间2026-10-08。