FrogNano：让下一轮训练题跟着模型能力变化
作者： Kim, Minseon、Shi, Zhengyan、Penaloza, Emiliano、Cui, Christopher、Castanyer, Roger Creus、Hashemzadeh, Maryam、White, Isadora、Light, Jonathan、Kim, Jeonghye、Pereira, Matheus、Moldavskaya, Darya、Singh, Chinmay、Vera, Fabio、Peng, Baolin、Yuan, Xingdi、Côté, Marc-Alexandre、Sordoni, Alessandro
机构： Microsoft Research Montréal（Froggy Team）。（署名依据：v1，第 1 页）
任务背景。 代码修复任务会给 Agent 一份仓库和故障描述，让它查找原因、修改源码，交出补丁，再由隐藏测试检查问题是否解决。要训练一个能独立做这些事的小模型，需要大量要求清楚、结果可验证的练习。本文研究如何从真实仓库构造这样的题，并根据模型当前的做题能力调整难度，让下一轮训练仍有东西可学。
让小模型修一个仓库 bug：题目没说清楚要求时，它一次也修不好；直接告诉它该改哪个函数时，它又次次成功。怎样得到既能做、又有东西可学的练习？
核心方案。 系统从真实仓库快照出发，用任务生成模型编出问题、参考补丁和隐藏测试。先检查测试是否真的能区分原始代码与正确补丁，再让当前小模型独立尝试多次，用实际测试结果判断这道题对它有多难。这里的参考补丁用于验证题目，不展示给做题的小模型。
如果题目不在当前希望的成功率范围内，生成流程会修订题目，再验证、再让小模型尝试。例如，补全缺失的行为要求，却不直接泄露修改位置。合适的任务进入强化学习；模型在验证集上趋于饱和后，新的 checkpoint 成为下一轮出题校准的依据。跨轮保留下来的是训练后的参数和任务集合。论文还为小模型简化了工具接口，因此数据课程和 Harness 适配要分别看。
读图。 从左侧“生成候选”沿箭头看：可执行性验证先排除坏题，当前策略的多次尝试再判断难度。菱形处分两条路，符合目标的题进入上方 RL batch；不符合的题先到下方修订，返回验证环节，或被丢弃。图展示的是一次出题循环；训练后的模型替换当前策略、开始下一轮，是正文 §3 和 Figure 3 补充的外层循环。
原图：v1，Figure 4，PDF 第 4 页；原文定位。
这不就是……老师先让学生试做，再把题改到“有时做对、有时做错”的范围。新增之处是修改真实可执行任务并重新验收，而不只是从固定题库中挑题；学生学会后，出题依据也更新。
贡献与证据边界。 §3–5 展示五轮任务生成与 RL，包含对任务分布变化、独立任务集表现和工具使用的分析。SWE-bench Verified 被用于验证和选 checkpoint，因此其最终 61.5% 不能作为独立测试成绩；SWE-bench Pro、Terminal-Bench 2.0、PatchEval-Verified 才是文中其余保留测试集。第五轮同时更换更强生成器并调整难度区间，不能把该轮增益单独归因于策略反馈。v1 的初始成绩在图与 §5.1 叙述间有不一致，本页不采用初始值计算提升；测试通过也不等于补丁在所有情形下正确。
[!abstract]- Abstract 完整中文翻译 我们提出 FrogNano，一个旨在高效完成软件工程任务的 4B 代码 Agent，包括资源受限的使用环境。它完全通过强化学习完成后训练，训练使用约 1,500 个带合成任务的软件工程环境。提升表现的关键因素是一条在线任务合成流水线，它为当前 checkpoint 生成处于其可学习边界附近的任务。本报告提供证据表明，具有竞争力的小型代码 Agent 可以仅靠合成任务训练出来，而无需采用从更大模型进行传统蒸馏的方式；同时，让生成任务处于当前 Agent 的可学习边界十分重要。我们报告训练方法、不同环境中的评估及深入分析，为后续探索能在较低硬件配置上运行、轻量但有能力的代码 Agent 奠定基础。
[!info]- 作者、日期与阅读依据 来源：arXiv 预印本；本条按 2609.07925v1 全文解读。 v1 首次提交：2026-09-07 19:39:38 UTC＝2026-09-08 03:39:38 北京时间。 发现／核验：2026-09-15 凌晨运行；解读于同日下午补交。 已核对：Introduction、§2–5、Limitations；原始 PDF 的摘要、Figure 1 与 Figure 4。 核验时官方页面已列出 v2；本次固定使用下载的 v1，未比较修订，不将版本更新作为另一篇新论文。 原图：v1，Figure 4，PDF 第 4 页；原图所在页。 官方页面 · 本次阅读的 v1 PDF。
评测数据集与环境。 SWE-bench Verified、SWE-bench Pro — Public、Terminal-Bench 2.0、PatchEval-Verified。Verified500用于验证/选checkpoint；其余留出测试分别Pro Public731、Terminal89、PatchEval230；150steps、131k上下文，3seeds平均（§3–5、Appendix A）。 实验/附录依据。
Negative Self-Distillation：不照抄好答案，先抑制坏倾向
作者： Pei, Rongcan、Wei, Zhepei、Xu, Shuyao、Zhu, Xinyu、Chen, Wei-Lin、Meng, Yu
机构： University of Virginia；Stanford University。（署名依据：v1，第 1 页）
任务背景。 这里要训练模型解数学题：使用时输入新题，让它自己推理并给出答案，以答案正确率检查能力。训练却不使用题目的正确答案作为监督，而是尝试借助模型自己对坏做法的描述，找到应当减少的生成倾向。本文关心能否通过“少犯某类错”改善解题能力，训练中的抑制信号与测试时的正确性评分需要分开理解。
一道难题没有标准解答，但模型能描述一种容易犯错的做法，例如“草率推理，跳过检查”。能否利用这种负面条件，找到值得抑制的生成倾向，同时保住正常语言能力？
核心方案。 学生先根据题目自行生成，并给出针对当前问题的负面条件。训练时，用同一个初始模型的两个冻结副本看学生已经写出的前缀：一个只看原题，另一个额外看到负面条件。若某个已采样 token 在负面条件下的概率更高，这个概率差就成为抑制它的权重。
这样做是为了避免把坏推理中也会出现的标点和普通词一并惩罚。训练目标还限制惩罚强度，并加入对初始参考模型的约束，减少大幅破坏原有分布的风险。最终修改并保存的是学生参数；两个评分副本保持冻结。反馈来自条件改变引起的概率差，而不是外部正确性验证器。
读图。 左侧题目进入学生，产生负面条件；中间两个冻结模型对同一位置评分，门控只保留被负面条件抬高概率的 token。右侧上分支对这些位置施加受限的抑制，下分支对其余位置只保留参考约束。火焰标记对应被训练的学生，雪花对应冻结评分模型；图中“坏 token”的判断来自比较，不能当作人工确认的错误标签。
原图：v1，Figure 2，PDF 第 3 页；原文定位。
这不就是……让同一个人分别正常思考和故意草率思考，比较哪些倾向被放大，再训练他少走这些路。新增的是逐 token 差分门控和受限惩罚，不是把整段失败答案反着学。
贡献与证据边界。 §3–5 在多个 Qwen3 尺度、数学测试集上比较自蒸馏和无标签训练基线，并消融门控、参考约束与惩罚形式。主表为 non-thinking 模式的 Avg@8，不能混同 pass@8；训练时不使用答案标签，也不意味着题目质量和验证集选择完全不依赖外部信息。反思词出现得更多只是一项行为代理，不足以单独证明推理更可靠。§2.3 对采样 token 的参考约束使用近似表述，不能未经核对就将其当作严格的全词表 KL 无偏估计。
[!abstract]- Abstract 完整中文翻译 On-policy 自蒸馏（OPSD）已成为大语言模型自我改进的一种常见范式：模型利用标准解答等特权信息充当自己的教师。然而，近期发现表明，OPSD 可能严重损害模型在复杂推理任务上的表现。通过强迫学生模仿以特权信息为条件、被人为增强置信度的推理轨迹，OPSD 会无意间压制不确定性的表达，并惩罚解决难题所需的探索与自我纠正行为。为解决这一问题，我们提出负向自蒸馏（NSD）：通过远离有缺陷的推理来优化模型，而非模仿带有特权信息的解答。NSD 不依赖标准答案或外部监督，而是让模型自己生成针对具体问题的负面条件，例如扮演“粗心的推理者”，并推动学生分布远离这个自生成的负面教师。直接使用遗忘目标实现这种偏离存在问题，因为有缺陷的推理 token 与基本语言 token 混在一起；不加区分地惩罚两者，可能灾难性地损害模型的基础语言能力。我们设计动态门控机制，自动识别并隔离对推理关键的 token，使梯度更新针对行为缺陷，同时保留语言先验。实验表明，NSD 持续优于 OPSD 及其他不使用标签、通过自身信号引导的强化学习基线。
[!info]- 作者、日期与阅读依据 来源：arXiv 预印本；本条按 2609.11699v1 全文解读。 v1 首次提交：2026-09-10 15:24:17 UTC＝2026-09-10 23:24:17 北京时间。 发现／核验：2026-09-15 凌晨运行；解读于同日下午补交。 已核对：Introduction、§2–5、Algorithm 1、Table 1、Figure 2。 原图：v1，Figure 2，PDF 第 3 页；原图所在页。 官方页面 · 本次阅读的 v1 PDF。
评测数据集与环境。 AIME 2024、AIME 2025、AIME 2026、HMMT 竞赛评测系列、MATH-500、AMC 数学竞赛评测切片、OlympiadBench。七项数学测试，Olympiad排除证明题；non-thinking Avg@8，非pass@8。MATH是去标签训练来源；HMMT2025具体场次待核（§3）。 实验/附录依据。
递归训练退化：同一批合成文本，为什么不同模型退化速度不同
作者： Liu, Yangze、Han, Zhongyi
机构： Shandong University。（署名依据：v1，第 1 页）
任务背景。 语言模型拿到一段开头后继续写文本，希望生成内容连贯，而且不总重复同样的表达。如果把这些生成文本拿去训练下一代模型，再让下一代继续生成训练材料，数据就会反复经过模型的选择。本文观察这种循环怎样改变文本，比较不同模型的多样性退化速度，并寻找可以提前发现问题的小规模检查。
多个模型把自己写出的文本混成下一代训练材料。有些模型几代后仍能连贯表达，另一些却开始重复碎片。差异能否提前发现？
核心方案。 每一代，多个模型独立生成文本，再按固定比例放进共同语料池。随后每个模型都从自己干净的预训练权重重新出发，在这个池子上做全参数微调。下一代文本由本代训练后的模型产生，循环持续五代。因此跨代传下去的是被模型改变的文本分布，不是上一代参数继续累积更新。
作者比较不同 checkpoint 在相同协议中的退化次序，再让单个模型仅用自己的生成文本循环两三代，检查这个较小实验能否预测它在共同语料池中的表现。干预分别作用于生成时的采样尾部和数据过滤，观察它们是否减缓退化。
方案图。 正文主要使用退化曲线、相关性与干预结果图，本次未发现适合独立说明上述训练协议的方案图，因此不以成绩图代替。
这不就是……每届学生读上一届整理的教材，但每届都从同一个原始基础重新学起。新增的判断轴是“同样的递归污染，对哪个初始 checkpoint 更危险”，而不是又证明一遍合成数据可能退化。
贡献与证据边界。 §3–4 比较 13 个公开的 1–4B 基础 checkpoint，改变混合比例、人工文本份额和随机种子后，退化排序仍较稳定；自循环诊断有延迟显现的例外。主要指标是生成文本中不同四元词组的比例，不能直接等同知识、推理或 Agent 成功率。缩小 top-p 在所测协议中减缓退化，不构成所有自训练系统的通用设置建议；也不能据此断言参数越大越脆弱。
[!abstract]- Abstract 完整中文翻译 模型生成的文本正在回流到训练语料中，已有充分证据表明，反复使用这类数据训练会使输出多样性坍缩。既有研究主要研究这一现象本身：哪些协议和数据混合会导致坍缩。但不同模型在相同过程中的表现差别很大。我们固定一种递归污染协议，让 13 个公开 checkpoint 组成共享语料的生态系统，并运行五代。五代后，不同 checkpoint 的独特四元词组比例从 0.187 到 0.940，相差约五倍：一些模型几乎不受影响，另一些则退化为重复片段。改变共享池的构成或混入人工文本后，排序的 Spearman 相关系数仍为 0.91–0.97；改变随机种子后仍为 0.93–0.98。因此，模型是否容易在递归训练中坍缩，是 checkpoint 本身的一种此前少受研究的属性。参数规模不能单独解释这种属性，因为同一家族三个尺寸的结果不随规模单调变化；我们测试的静态指标也都无法预测它。有效且便宜的做法是让模型使用自己的输出循环两到三代，仅据此即可推断它在更大生态系统中的脆弱性。坍缩速度也会响应干预。收紧 top-p、截去生成时的低概率尾部，几乎能在三代内停止坍缩，并使覆盖整个脆弱性范围的六个 checkpoint 一起稳定下来；数据侧过滤则能减慢、但不能停止坍缩。
[!info]- 作者、日期与阅读依据 来源：arXiv 预印本；本条按 2609.11149v1 全文解读。 v1 首次提交：2026-09-10 06:56:22 UTC＝2026-09-10 14:56:22 北京时间。 发现／核验：2026-09-15 凌晨运行；解读于同日下午补交。 已核对：Introduction、§3–4，重点核对跨代权重重置与指标定义。 官方页面 · 本次阅读的 v1 PDF。
评测数据集与环境。 递归文本污染协议（Fragility Spectrum）。13checkpoint、5代共享污染池；每代2,100训练文本，每模型固定800生成样本读多样性。WikiText-103是前缀/人工混合来源，非这里的困惑度测试（Appendix A）。 实验/附录依据。
PPM：完成中间目标也给反馈，但允许走捷径
作者： Fu, Preston、Frans, Kevin、Rybkin, Oleh、Levine, Sergey、Kumar, Aviral
机构： UC Berkeley；Carnegie Mellon University。（署名依据：v1，第 1 页）
任务背景。 长推理任务要求模型从题目出发，经过多个中间步骤，最后得到正确结果。例如一道难题可能要先算出几个后面会用到的量，才能完成最终解答。训练若只看最后对错，前面已经做对的部分很容易得不到区分。本文研究怎样把这些中间进展变成学习反馈，同时允许模型找到与参考解法不同的有效路线。
一道证明题需要先建立几个引理。模型已经证明前三个，却在最后一步失败；如果只按最终答案给零分，怎样让前面的进展帮助下一次学习？
核心方案。 系统从每题的一条参考解答中提取后续推理真正需要的中间结果，再让当前模型独立生成。每经过一个片段，就检查已到达哪些参考推理点；新增的进展形成这个片段的奖励，进入策略更新。标准解答用于构造和判断奖励，不要求学生在上下文里照着参考解答续写。
只数经过多少参考点仍会鼓励绕远路。因此 PPM 增加“捷径也算完成”的规则：若模型通过另一条路已经到达后续结果，便对因此不再需要逐个证明的前置点补足信用；到达最终目标获得全部信用。这样允许学生自己找到更短的路线。真正保存下来的是更新后的模型参数；本文没有让模型持续改写奖励设计本身。
读图。 左栏列出参考推理点，中栏是学生实际生成的片段。绿色内容说明它达到了相应中间结果，右边的累计进度随之上升；连续两个片段没有新增进展时，曲线保持水平。训练使用相邻进度之差分配片段奖励。这个示例展示进度测量；允许跳过前置点的规则由正文 §4 和 Figure 3 补充。
原图：v1，Figure 2，PDF 第 4 页；原文定位。
这不就是……证明题按关键结果给步骤分，但学生若直接证明最终结论，也不因少写参考步骤而丢分。新增的是可用于 on-policy RL 的进展差分与捷径补记机制，不是逐句检查有没有照抄答案。
贡献与证据边界。 §5 在合成长程环境与困难数学题上比较稀疏奖励、参考模仿及其他辅助监督，检查更长测试 token 预算下的效果。指数级信噪比结论来自特定合成设定；最优性等价要求存在几乎必然到达目标的策略，并依赖所定义的推理状态与捷径规则。实际数学题需要参考解答和判断器，错误的推理点或误判会影响信号。不能将论文的“无偏”概括为任意环境中的任意逐步奖励都无偏。
[!abstract]- Abstract 完整中文翻译 当前通过强化学习训练语言模型的范式，在很大程度上依赖稀疏的最终结果奖励。然而，当任务需要更长、更复杂的轨迹时，这类策略会导致学习缓慢。既有工作尝试通过奖励部分进展来解决这一问题，但朴素的构造往往有偏，并会收敛到次优策略。我们展示一种简单、无偏的稠密奖励构造，称为渐进式推理点匹配（progressive point matching）：它通过在片段层面奖励部分进展，以指数级更高的效率扩展到长程任务；这一点得到理论分析和合成环境实验的支持。随后，我们说明如何用每个任务的一条参考轨迹实际实现这一方法。在极难的数学推理题上，稀疏结果奖励无法推动学习，而片段级奖励能让模型在更大的测试时 token 预算下，以成功率或 pass@k 衡量取得提升。
[!info]- 作者、日期与阅读依据 来源：arXiv 预印本；本条按 2609.07303v1 全文解读。 v1 首次提交：2026-09-07 10:21:41 UTC＝2026-09-07 18:21:41 北京时间。 发现／核验：2026-09-15 凌晨运行；解读于同日下午补交。 已核对：Introduction、§4–5、Proposition 4.1、Figure 2。 原图：v1，Figure 2，PDF 第 4 页；原图所在页。 官方页面 · 本次阅读的 v1 PDF。
评测数据集与环境。 Multi-Countdown（PPM多轮版本）、Matrix Manipulation（PPM顺序版本）、GSM-Infinite（PPM固定复杂度切片）、Polaris / AceReason-Math（PPM筛选集）、POPE-hard（PPM 0p10p切片）。三个可控长程环境与Polaris/POPE-hard难题；GSM-Infinite每复杂度5,000题，POPE-hard为382题0p10p切片。训练/测试token预算不同，不能写成标准固定榜单（§5、Appendix C）。 实验/附录依据。
T1：把终端执行、测试反馈与参数更新接起来
作者： Yang, Junyao、Shi, Yucheng、Li, Zhongzhi、Wang, Ruhan、Li, Zongxia、Mi, Haitao、Liang, Leowei
机构： Tencent Hy Foundation Model Frontier；National University of Singapore；University of Georgia；Indiana University；University of Maryland, College Park。（署名依据：v1，第 1 页）
任务背景。 终端任务会给 Agent 一个可操作的计算机环境和具体目标，例如修好程序或完成一项工程操作。它需要输入命令、读执行结果、修改文件，反复交互，最终交出能通过任务检查的结果。T1 要把这些实际操作过程接到强化学习训练里，让模型根据检查反馈调整参数，之后更能独立完成长任务。
Agent 在终端中连续执行数百轮：查历史提交、修改代码、编译，再运行测试。训练时不仅要判断做得怎样，还要保证被更新的 token 和专家网络，真的是当时产生这些行为的那一组。
核心方案。 每道任务包含隔离环境、指令和隐藏验证器。模型执行结束后，验证器逐条报告断言是否通过，系统按通过断言的绝对数量构造一个统一尺度的奖励。这个分数仍放在最终响应 token 上，再由经过预热的 critic 向前分配信用；“密集”指最终分数包含更多等级，不意味着每次工具调用都有独立正确性标签。
为了让这个反馈可靠地进入更新，流水线保留实际采样的 token ID，修复多轮边界的拼接偏移，并记录、重放 MoE 每层的专家选择。工具输出作为上下文，采样生成的内容才参与相应训练损失。训练后同步新权重，继续产生后续轨迹。token 对齐和路由重放分别解决不同偏差，也不消除异步采样带来的全部策略版本差异。
读图。 左侧任务包送入中间采样系统，右侧沙箱反复执行命令，最后运行验证器。执行记录与测试结果回到中间的轨迹组装器，在这里对齐 token、损失 mask、概率和路由记录；之后先更新 critic，再更新 actor，权重同步箭头将新策略送回采样端。图中的重复命令循环发生在任务执行期间，权重更新发生在训练阶段，两种循环不要混为一谈。
原图：v1，Figure 2，PDF 第 5 页；原文定位。
这不就是……先保存员工实际做事的逐步记录，再按完成了哪些验收项训练他，而不能拿重新抄写、甚至换了执行者的记录来归因。新增的是长程终端 RL 中的 token 与专家路由一致性处理、critic 训练和可执行反馈的配合。
贡献与证据边界。 §6 在相同 Harness 下比较终端任务，§9 报告 critic 校准、上下文管理和采样吞吐改变训练分布的问题。正文区分原始模型、监督 checkpoint 与后续 RL，不能将从原始模型到最终模型的全部变化归因于 RL。断言计数容易受测试数量和验证器覆盖影响；任务筛选、奖励、对齐与稳定化同时变化，整套系统成绩不能拆成每一组件独立贡献。论文报告训练与推理概率差减小，不表示完全同分布。
[!abstract]- Abstract 完整中文翻译 Agent 的使用正在转向代码和科学发现等长程任务，其中终端任务尤其重要。我们提出 T1，一个总参数量为 122B、使用强化学习训练的混合专家模型。它在云端沙箱中操作真实 shell，每个任务可进行超过 300 轮工具调用，并通过执行任务自身的验证器获得奖励。我们提供一套完整方案：首先，通过充分的预热稳定 actor–critic 训练，并使用按通过验证项绝对数量为轨迹评分的密集过程奖励。其次，通过 TITO 构造实现稳定优化：训练使用实际采样的 token 标识，并在轮次边界修复偏移；同时使用 rollout 路由重放，记录采样时每个 MoE 层对每个 token 的专家选择，并在训练时重放。第三，使用与评测完全分离的训练语料：独立种子和合成任务与 Terminal-Bench 2.1 不重叠，以支持能力迁移而非对基准过拟合的判断。TITO 与 R3 共同将训练和推理之间的对数概率差从 0.021 降至 0.013，训练损失区域的 token 偏移被精确对齐至零。在 Terminal-Bench 2.1 上，后训练流水线将初始基础模型的解决率从 43.8% 提高至 T1 的 64.0%。在 Long-Horizon Terminal Bench 上，T1 达到 27.9%，超过 GPT-5.4 和 GLM-5.1。
摘要中的“密集过程奖励”沿用作者称呼；具体注入位置以 §2.3、§5.3 的末尾标量奖励为准。
[!info]- 作者、日期与阅读依据 来源：arXiv 预印本；本条按 2609.11042v1 全文解读。 v1 首次提交：2026-09-10 03:42:01 UTC＝2026-09-10 11:42:01 北京时间。 发现／核验：2026-09-15 凌晨运行；解读于同日下午补交。 已核对：Introduction、§2、§4–6、§9、原始 PDF 摘要与 Figure 2。 原图：v1，Figure 2，PDF 第 5 页；原图所在页。 官方页面 · 本次阅读的 v1 PDF。
评测数据集与环境。 Terminal-Bench 2.1、Long-Horizon Terminal Bench。主测Terminal-Bench2.1（89任务）及额外长程集；固定Harness比较base/SFT/RL，T1-15k是训练语料，不与测试分母混算（§6、§9）。 实验/附录依据。
GACA：犹豫的决策多看局部反馈，普通步骤多看整段结果
作者： Liang, Taoran、Liu, Yang、Luo, Shang、Yang, Yingguang、Zhang, Rongrong、Min, Yingzong、Huang, Yulin、Zhang, Jianshen、Qi, Yongzhi、Xu, Kefu、Ran, Congjing、Chong, Bin
机构： Nankai University；Peking University；JD.com（Supply Chain Tech Team Y）；Shanghai Waybot Technology Co., Ltd.；Wuhan University。（署名依据：v1，第 1 页）
任务背景。 以网上购物为例：Agent 收到价格、规格等要求，搜索商品、查看页面、作出选择，最后检查所选商品是否符合要求。训练能知道这次购物是否成功，却还需要判断哪些操作值得鼓励，哪些操作应当调整；这就是把成败反馈分配到具体步骤。本文研究怎样结合整段结果和相同情境下的局部比较来分配反馈。
买东西时，“选哪件商品”可能决定成败，而已经选好以后“打开下一页”只是惯常步骤。把整段成败同样分给所有步骤，会遗漏什么？
核心方案。 同一任务采样多条轨迹后，先根据整段回报计算每条轨迹的相对优势；再把遇到相同环境观察的步骤聚在一起，比较从那里出发的后续结果，得到局部优势。这两个信号都来自已有 rollout，不另训练 critic。
接下来用动作 token 的平均负对数概率估计当前步骤的不确定性，再与同条轨迹的平均水平比较。不确定性较高时，混合系数更偏向局部优势；较低时，更偏向整段优势。混合后的信号用于更新该步骤对应的 token。改变的是训练时两种信用信号的权重，最终保留模型参数；单次 NLL 高只是代理，不能保证这个动作具有更大因果影响。
读图。 从左到右，先看一组完整轨迹，再看中间分出的整段优势、步骤优势与 NLL 三种信号。橙色通路只控制两种优势的混合比例；右侧将这个比例应用到每一步，再进入策略梯度更新。因此它不是额外制造一份逐步奖励标签，也不是把不确定步骤全部判成错误。
原图：v1，Figure 1，PDF 第 4 页；原文定位。
这不就是……评估一次采购时，对关键分岔细看局部选择，对常规动作更多参考整体表现。新增的是在相同状态的对照基础上，按策略自身的不确定性连续调节两种优势的比例。
贡献与证据边界。 §4 使用 ALFWorld、WebShop 及 1.5B／7B 模型；Table 2 对固定权重、打乱信号等做统一训练协议消融。Table 1 的 GRPO、GiGPO 数字引用前作，GACA 按保留集上的最好 checkpoint 报告，比较继承了选择协议的差异。网页摘要与下载的 v1 PDF 对理论结论的措辞不同：下方译自 v1，属于作者原始主张；不能据此无条件推出每步自适应混合一定优于任何常数权重。
[!abstract]- Abstract 完整中文翻译（下载的 v1 PDF） 强化学习如今是训练大语言模型 Agent 执行长程任务的标准方式，这类任务通常在几十个相互依赖的动作之后才给出一个稀疏奖励。GRPO 等不使用 critic 的组内相对方法适用于这一场景，但会将同一个轨迹级标量广播到每一步，无法说明哪次决策导致了结果。GiGPO 通过将共享锚点状态的时间步分组，恢复步骤级信号，但仍以一个固定权重混合步骤级和回合级估计，使关键分岔与常规、接近确定性的转移获得相同分辨率。我们认为合适的分辨率取决于状态，并提出 GACA，一种不使用 critic、粒度跟随步骤关键程度变化的优势估计器。GACA 使用 rollout 已记录的负对数概率为每一步评分，再用随评分增大的逐步权重混合两种优势，使梯度在策略不确定时更多依据细粒度信号，在策略有把握时更多依据低方差信号。我们证明，更高的锚点条件期望 NLL 可证明局部动作价值方差、进而误差最优步骤权重具有更大的下界；只要各状态的最优值不同，状态自适应混合就严格优于任意固定权重。在 ALFWorld 和 WebShop 上，GACA 在 1.5B 和 7B 两种尺度下都比 GRPO 和 GiGPO 获得更高任务成功率。
[!info]- 作者、日期与阅读依据 来源：arXiv 预印本；本条按 2609.12424v1 全文解读。 v1 首次提交：2026-09-11 04:19:44 UTC＝2026-09-11 12:19:44 北京时间。 发现／核验：2026-09-15 凌晨运行；解读于同日下午补交。 已核对：Introduction、§2–4、Table 1 的基线与 checkpoint 说明、Table 2、v1 PDF 摘要。 原图：v1，Figure 1，PDF 第 4 页；原图所在页。 官方页面 · 本次阅读的 v1 PDF。
评测数据集与环境。 ALFWorld、WebShop。每环境128个留出任务、3seeds；ALFWorld最多50步，WebShop15步，按保留集最好checkpoint报告成功率（§4）。 实验/附录依据。
Elastic Horizon：训练时允许交互多少轮，也可以跟着经验调整
作者： Zhang, Gangyi、Meng, Junjie、Zhang, Letian、Wu, Wei、Zheng, Yang、Wang, Dong、Liu, Yang、Jiang, Guanjun、Gao, Chongming
机构： Alibaba（Qwen Business Unit）；University of Science and Technology of China；独立研究者（Letian Zhang、Yang Zheng）。（署名依据：v1，第 1 页）
任务背景。 多轮工具任务要求 Agent 接到请求后调用接口、读取结果，再决定下一步，直到完成用户要求。训练中每次尝试都会设一个最多交互多少轮的上限，避免一直运行；给得太少可能还没做完，给得太多又可能在失败路径上消耗预算。本文要根据近期完成任务的经验，调整后续尝试的交互上限。
模型已经能在三十轮左右完成多数可解任务，训练却一律允许五十轮。更长的上限是在帮助探索，还是只产生更多无效调用？
核心方案。 训练过程维护一个先进先出的缓冲区，记录近期成功轨迹用了多少轮。取其中第 90 百分位作为较长成功轨迹的代表，再加一段探索余量，得到下一轮希望使用的交互上限。
为了避免少量新样本让预算突然跳变，控制器把旧上限与新目标做平滑混合。新上限重新作用于 rollout，新的成功记录又回到缓冲区，因而上限既能增加也能降低。模型仍通过原有 RL 学习，控制器状态也随经验变化；控制公式本身保持人工设计，没有被 Agent 递归改写。
读图。 左侧模型与环境交互，只有成功轨迹的长度进入中间缓冲区；这里的“丢弃失败”仅指这份长度统计，不能理解为所有 RL 更新都丢掉失败样本。右侧依次算百分位、加余量、平滑更新，红色返回箭头把新上限送回下次采样。底部曲线示意从不同初值靠近一个稳定区域，不是任意任务都存在已知最优上限的证明。
原图：v1，Figure 2，PDF 第 5 页；原文定位。
这不就是……根据最近成功作业实际用时调整下一次考试的时间，同时留一点探索余量。新增的是能增能减的反馈控制，而非按训练步数一直放宽时间。
贡献与证据边界。 §5 比较固定上限与预设递增课程，验证低初值和高初值下的变化。百分位选择具有启发式性质；早期几乎没有成功轨迹时，控制器缺乏可靠信号。全局统一上限可能对少数困难任务不够用。摘要中的最多 25% 节约指特定阶段的每步轨迹 token，不是所有训练成本或实际耗时都减少四分之一。
[!abstract]- Abstract 完整中文翻译 增大交互时域，即每个回合允许的最大环境交互次数，能改善 LLM Agent 在长程任务中的表现；逐渐扩展时域的课程方法也优于固定时域方案。但现有调度都是开环的：它们单调增加时域，直到人为指定的最大值，没有机制检测继续扩展何时不再有用。我们提出“有效交互边界”假说：存在一个动态边界，越过它以后，额外交互的收益递减，而成本继续线性增加。随后我们提出 Elastic Horizon，一个通过成功轨迹长度的第 90 百分位追踪该边界的闭环控制器。在 AppWorld 和 BFCL 上，固定时域扫描显示清晰的饱和平台；Elastic Horizon 从低于或高于所需容量的初值出发，都能将时域稳定在饱和区域内，在 7B 和 14B 基础模型上获得最佳成功率，并最多节省每步轨迹 token 的 25%。本研究将关注点从如何扩展交互时域转向何时停止扩展。
[!info]- 作者、日期与阅读依据 来源：arXiv 预印本；本条按 2609.07247v1 全文解读。 v1 首次提交：2026-09-07 09:09:10 UTC＝2026-09-07 17:09:10 北京时间。 发现／核验：2026-09-15 凌晨运行；解读于同日下午补交。 已核对：Introduction、§4.3–4.4、§5、Limitations。 原图：v1，Figure 2，PDF 第 5 页；原图所在页。 官方页面 · 本次阅读的 v1 PDF。
评测数据集与环境。 AppWorld、BFCL V3 多轮函数调用。两种多轮环境；BFCL-V3多轮1000测试案例/8API领域，最大50steps；AppWorld具体test子划分分母待补核，不能自动借用168（§5.1、Appendix D）。 实验/附录依据。
DDO：把同一状态下的多条成功路线一起保留下来
作者： Ko, Junwon、Lee, Dong-Jae、Kwon, Minchan、Baek, Sunghyun、Kim, Junmo
机构： KAIST（School of Electrical Engineering）。（署名依据：v1，第 1 页）
任务背景。 例如让 Agent 找到满足要求的充电器：它可以从搜索页进入，也可能通过分类或品牌页找到商品，最终按任务要求检查选择是否合适。同一个目标常有多条成功路线，训练却可能让模型越来越偏向其中一条。本文希望利用同一决策点上的不同成功尝试，既教模型区分成败，也保留多种可行做法。
Agent 学会从品牌页买充电器，成功率提高了，却忘了搜索、筛选和比价等其他路径。品牌页失效以后，它还能换一条路完成任务吗？
核心方案。 数据收集从一条成功轨迹出发，在若干中间步骤恢复环境状态，请专家提出不同动作，并分别执行到结束。这样得到同一个决策点出发、带终局成败标签的一组分支；新增监督不是判断整条轨迹里谁最好，而是明确哪些不同选择同样可行。
训练时，对成功与失败分支继续区分优劣，对多个成功分支则给出一个平滑的目标概率分配，减少只保留最常见成功路线的倾向。目标分配从冻结参考模型在已观察成功分支上的相对概率构造，作为离线训练材料固定下来。更新结果保存在学生参数中；执行时不需要为了每道题重新展开训练时的分支树。
读图。 左边先找到轨迹中的状态 x，再从同一个 x 分出不同动作；上方绿色、红色分别表示这些分支执行到最后的成败。右边用参考模型在这些动作上的概率构造目标分布，红色训练箭头更新学生。分叉图属于收集监督的阶段，右边的分布调整才是参数学习；不能把整张图理解为上线时增加搜索次数。
原图：v1，Figure 2，PDF 第 4 页；原文定位。
这不就是……教导航员同一个路口的几条可达路线，而不是每次都把最常走的路线当唯一正确答案。新增的是可恢复状态上的对齐分支，以及成功分支之间明确的概率目标。
贡献与证据边界。 在 BabyAI、BabaIsAI、WebShop 上比较成功率与固定 rollout 预算下的成功策略覆盖；目标函数比较共用分支数据，另有数据收集消融、成功轨迹模仿和解码多样性控制。局部动作替换后的恢复实验比单纯“回答变多样”更贴近策略能力。收集依赖专家续跑和精确状态恢复，这些成本与条件不能忽略；对不可逆操作、随机或部分可观察环境，不能直接假定同样适用。
[!abstract]- Abstract 完整中文翻译 面向序列决策任务的 LLM Agent，常使用轨迹级结果标签进行后训练，但这种标签很少提供保留同一决策状态下多条成功分支所需的监督。我们将这一问题研究为“成功策略覆盖”：在固定 rollout 预算下，模型能实现多大范围的不同成功策略。我们提出直接多样性优化（DDO），一种结合分叉树收集（DTC）与参考相对目标赔率目标（RTO）的离线后训练方法。DTC 构造以共享决策状态为根、状态对齐的分支集合；RTO 训练模型，使其在多个成功备选上的分配符合相对于参考模型定义的目标。在 BabyAI、BabaIsAI 和 WebShop 上，DDO 在所比较的后训练方法中取得最强的任务成功率与成功策略覆盖。它在局部动作被替换后也有最高恢复率，并且比只模仿成功轨迹和仅在解码时增加多样性的控制方法获得更高的任务成功率与覆盖。
[!info]- 作者、日期与阅读依据 来源：arXiv 预印本；本条按 2609.10052v1 全文解读。 v1 首次提交：2026-09-09 11:27:34 UTC＝2026-09-09 19:27:34 北京时间。 发现／核验：2026-09-15 凌晨运行；解读于同日下午补交。 已核对：Introduction、§3–6、Limitations、Figure 2。 原图：v1，Figure 2，PDF 第 4 页；原图所在页。 官方页面 · 本次阅读的 v1 PDF。
评测数据集与环境。 BabyAI（BALROG文本动作接口）、BabaIsAI（BALROG文本动作接口）、WebShop。前两者用BALROG文本接口，progression=1.0成功；WebShop≥0.9成功；固定rollout预算测成功率和策略覆盖，排除系统失败的有效分母需单列（§4、Appendix C.1）。 实验/附录依据。
CompassOPD：跨模型学习时，先比较老师家族内部的变化
作者： Gu, Naibin、Si, Qingyi、Yang, Chenxu、Qin, Chuanyu、Zhou, Junhao、Fu, Peng、Lin, Zheng、Wang, Weiping
机构： Institute of Information Engineering, Chinese Academy of Sciences；University of Chinese Academy of Sciences（School of Cyber Security）；JD.COM。（署名依据：v1，第 1 页）
任务背景。 希望一个学生模型学会解数学题，可以让它先自己写过程，再请更强的教师模型评价这些文字，帮助学生调整参数；最后只给学生新题，看它能否独立答对。如果教师来自另一模型家族，它的表达习惯和把文字切成小片段的方式也可能不同。本文研究怎样从这样的教师那里提取更有用的学习信号。
学生自己做题，再让更强模型逐 token 评分。换成强得多、却来自另一家族的老师后，学生为什么不一定学得更多？
核心方案。 学生先生成轨迹，系统把老师与学生不同的分词结果对齐到共同文本片段。随后请强老师和同家族的弱参考模型对同一片段评分，使用两者的对数概率差。这使更新依据不再是“外部老师和学生有多不同”，而是“老师相对自己家族的弱版本改变了哪些偏好”。
仅靠这个差分反复推学生仍可能走得太远，因此另保留一份训练前的学生，衡量当前学生已经偏移多少，作为更新约束。更新参数后再由学生采样。老师及参考模型被冻结，改进留在学生参数中；这是一种外部监督构造方法，而非完整自主 RSI 系统。
读图。 左边学生采样后进入文本对齐；中间上下两组比较各自在家族内部进行。上组比较强老师与弱参考，下组比较当前学生与初始学生；右边将老师变化减去受权重控制的学生位移，得到策略更新信号。底部返回箭头只更新学生并重新采样；右下角减少 MoE 激活专家数，是构造弱参考的一种可选办法。
原图：v1，Figure 2，PDF 第 4 页；原文定位。
这不就是……学习高手成长前后改了什么，而不把他与自己所有不同习惯都一起复制。新增的是两个家族内部的概率差分与学生初始策略约束，分词对齐仍是前提。
贡献与证据边界。 §5 跨三类学生与多类教师比较，共用相应的学生初始化与文本对齐方式；逐渐加回被移除偏移的消融支持其诊断。收益仍依赖弱参考的选择，额外模型评分也有成本。正文包含蒸馏前的 teacher-specific SFT，不能误读为从完全未经适配的学生直接跨家族迁移；超大模型和一般工具 Agent 场景尚未得到同等验证。
[!abstract]- Abstract 完整中文翻译 On-policy 蒸馏（OPD）在学生生成的轨迹上提供密集的 token 级监督。虽然教师和学生属于同一模型家族时 OPD 表现良好，我们发现即使完成分词器对齐，其效果在跨家族设置下仍会下降，显著更强的外部教师也几乎不能带来额外提升。为理解这一脱节，我们把跨家族 OPD 信号分解为两部分：教师家族的低能力参考模型与学生之间的偏移，以及从该参考模型到强教师的家族内对数概率变化。标准 OPD 同时转移这两部分，允许偏移主导更新方向，掩盖与教师能力提升相关的变化。我们提出 CompassOPD，移除这一偏移，只转移家族内变化，同时用冻结的学生参考模型将更新约束在学生初始策略附近。因此，教师侧和学生侧的变化都在各自模型家族内部衡量。跨三个学生家族和多个教师家族的实验表明，CompassOPD 持续优于标准跨家族 OPD，平均推理准确率最多提高 5.50 个百分点。对于 MoE 教师，我们还通过减少激活专家数，直接从教师 checkpoint 构造参考模型，避免需要单独的参考 checkpoint，同时保留相对于 OPD 的 3.43 个百分点增益。
[!info]- 作者、日期与阅读依据 来源：arXiv 预印本；本条按 2609.10154v1 全文解读。 v1 首次提交：2026-09-09 13:31:57 UTC＝2026-09-09 21:31:57 北京时间。 发现／核验：2026-09-15 凌晨运行；解读于同日下午补交。 已核对：Introduction、§3–5、Limitations、Figure 2。 原图：v1，Figure 2，PDF 第 4 页；原图所在页。 官方页面 · 本次阅读的 v1 PDF。
评测数据集与环境。 AIME 2024、AIME 2025、AIME 2026、HMMT 竞赛评测系列、MATH-500。AIME三个年份、HMMT2025年2月/11月与2026、MATH-500，共七项；每题16次生成取均值。DAPO-Math/DeepScaleR是训练源（§5）。 实验/附录依据。
Debate-to-Skill：把“相关但做不到”的失败变成可训练监督
作者： Zhang, Shiyu、Cheng, Leisheng、Li, Huifu
机构： Baidu, Inc.。（署名依据：v1，第 1 页）
任务背景。 一个服务平台有多个 Agent，需要判断用户请求该交给谁。本文把用户请求和一个候选 Agent 的能力描述放在一起，让路由模型判断它是否适合承接任务。关键是候选者有没有实际完成操作所需的能力，而不只是描述中出现了相同话题。论文训练和评测的是这种匹配判断，分类答对并不等于后续业务已经执行成功。
用户希望改签机票，“旅行助手”看起来很相关，却没有订单修改工具。训练路由模型时，怎样教它区分“能聊这个话题”和“能执行这个请求”？
核心方案。 离线标注系统先为“请求—候选 Agent”检索相关能力原则，再分别生成支持其相关性的理由与反对其可执行性的证据，由 judge 引导修订并提取最终判定。反复出现的高优先级分歧进入缓冲区，随后被归纳为新的或修订后的原则，供后续标注复用。
这些过程记录用于训练路由模型：先做监督微调，再利用最终判定、结构完整性与技能引用是否合法组成的反馈做 GRPO。上线只部署训练后的路由模型，辩论的成本主要发生在离线生成阶段。跨轮保留下来的是原则库和路由模型参数；正文并未完整验证无限多轮的学习收益。
读图。 顶部的用户请求、Agent 描述和技能库进入中间审查流程。先看语义支持和能力风险如何并列，再看多轮审查如何形成右侧判定；底部将过程记录用于模型训练，将有价值的分歧用于技能修订。底部不是每次线上路由都同步执行的流程，线上使用训练好的模型是正文 §4.3 明确的部署时序。
原图：v1，Figure 2，PDF 第 3 页；原文定位。
这不就是……审核派单时，既看服务范围，也查真正拥有的工具和权限，再把常见误派单原因变成培训规则。新增的是明确的能力边界过程监督，而非单纯多找几个角色讨论。
贡献与证据边界。 §4 比较直接标签、一般推理、去辩论、固定技能与完整流程，并单看“语义相关但能力不足”的灰区。验证器能检查标签与格式，却不能完整验证自然语言证据的忠实性；技能检索是词法方法，分歧更新仍以规则为主。业务实验来自内部 Query2Agent 流量，绝对业务数据未完整披露，不能将相对点击指标直接等同实际执行成功率或更强学习能力。
[!abstract]- Abstract 完整中文翻译 工业场景中的请求到 Agent 匹配，常因把主题相关性误当成可执行能力而失败，尤其是在长尾和边界敏感的请求上。我们将标注建模为受能力边界约束的过程监督，并以 Debate-to-Skill 实现：它使用可复用决策原则、结构化审议、基于验证器的判定提取，以及由分歧驱动的修订。在一个工业 Query2Agent 基准上，我们将 Debate-to-Skill 与直接标签监督、推理 SFT 和结构消融进行比较。这些结果检验收益是否来自对能力关键决策过程本身的监督，尤其关注语义相关性与可执行能力不一致的灰区案例。
[!info]- 作者、日期与阅读依据 来源：arXiv 预印本；本条按 2609.11176v1 全文解读。 v1 首次提交：2026-09-10 07:24:01 UTC＝2026-09-10 15:24:01 北京时间。 发现／核验：2026-09-15 凌晨运行；解读于同日下午补交。 已核对：Introduction、§2–4、§7、Figure 2。 原图：v1，Figure 2，PDF 第 3 页；原图所在页。 官方页面 · 本次阅读的 v1 PDF。
评测数据集与环境。 Query2Agent（Debate-to-Skill内部评测）。内部170K训练、3000验证；Main/Domain/Longtail各1000测试对，灰区312；看Accuracy/F1而非直接当Agent执行成功（§4.1）。 实验/附录依据。
Audit-Prune：分数上涨以前，先检查模型是不是只学会了答案外观
作者： Namjoo, Foad、Ogasawara, Remy、Abdullah, Amirali、Anderson, Cullen、Oozeer, Narmeen Fatimah、Phillips, Jeff M.
机构： University of Utah；Thoughtworks；University of Massachusetts Amherst；Martian AI。（署名依据：v1，第 1 页）
任务背景。 问答评测通常给出问题和候选答案，让模型判断哪个符合事实，以选对的比例评价能力。这样的评测只有在模型确实需要理解问题和答案时才有说服力。本文先检查光看答案的长短、措辞等表面特点，能否猜出哪个被标为正确，再清理容易被这样猜中的样本，使保留题目较少依赖这些线索。
训练后模型更会选择“正确答案”，但正确选项总是更长、带更多否定词。它究竟学会了判断事实，还是只认出了选项的写法？
核心方案。 作者先完全隐藏问题，只从答案文字计算否定、犹豫措辞、长度等六种表面特征，训练一个很简单的分类器。如果它仍能明显区分正确与错误答案，就说明评测允许利用不依赖目标推理的线索。
清洗阶段按成对样本寻找最强化这种差异的题，删去后重新拟合、重新检查，达到设定阈值后再尝试加回不破坏阈值的题。产物是保留下来的数据子集和审查程序；本方法不训练一个更强 Agent，也没有独立证明所有捷径都被清除。
读图。 左侧先看同题正确与错误答案的特征差，色块表示这些写法线索。中间按这种差异反复删除、重拟合、检查，并允许合适题目加回；右边得到清洗后的题集。图里的 AUC 接近随机只说明这个探针更难利用这些特征，不是模型事实能力已经得到全面认证。
原图：v1，Figure 1，PDF 第 2 页；原文定位。
这不就是……出卷前先遮住题干，看只凭选项口气能否猜答案，再减少这类规律。新增的是成对样本的量化泄漏审查、按阈值修剪及清洗后的评测保真检查。
贡献与证据边界。 §2 在 TruthfulQA 及其他数据集上审查表面线索；§3 比较清洗方法，并检查模型排序与表面线索翻转的情形。清洗结果只能约束这组六种特征可表达的答案侧泄漏，不能认证数据完全无泄漏。删除样本会改变评测分布，否定词也可能承担真实语义；低探针分数应与任务内容及独立测试一起解读。
[!abstract]- Abstract 完整中文翻译 二选一的事实判断基准要求模型在正确与错误答案之间选择，但如果两类答案的表面特征存在系统差异，模型就可能不执行预期推理而获得高于随机水平的表现。我们展示这种失效模式可以被检测，并能被下游分类器利用。在 TruthfulQA 上，一个只有六种特征的简单逻辑分类器就能以相当高的准确率区分正确与错误答案。我们进一步表明，其他基准也存在类似的表面线索。为解决这一问题，我们开发一种通用清洗机制，去掉最强化泄漏的样本对。我们发布一个将表面特征泄漏降低到接近随机水平的 TruthfulQA 版本，并提供 Audit-Prune 机制，使数据集可以在发布前完成此类清洗。
[!info]- 作者、日期与阅读依据 来源：arXiv 预印本；本条按 2609.13003v1 全文解读。 v1 首次提交：2026-09-11 16:02:19 UTC＝2026-09-12 00:02:19 北京时间。 发现／核验：2026-09-15 凌晨运行；解读于同日下午补交。 已核对：Introduction、§2–4、Figure 1。 原图：v1，Figure 1，PDF 第 2 页；原图所在页。 官方页面 · 本次阅读的 v1 PDF。
评测数据集与环境。 TruthfulQA、TruthfulQA-476、Audit-Prune 跨数据集表面泄漏审查套件。790问答对修剪为476对，另审13个外部数据集（组成见卡）；Table13的N为答案/假设行数，不能都当独立问题数（§2–3、Appendix F）。 实验/附录依据。