Dream-RSI：先用搜索历史试改探索策略，再回到真实任务
作者： Zheng, Tong；Wu, Xidong；Zhang, Zheng；He, Zhankui；Zhang, Chaoyi；Coleman, Benjamin；Wei, Ruoqiao；Bai, Di；Liu, Haolin；Liu, Rui；Wang, Xue；Zhuan, Yue；Kang, Wang-Cheng；Xiang, Renkai；Huang, Heng；Cheng, Xinwu；Guo, Yunsong
机构： Google；University of Maryland, College Park；Google DeepMind；University of Virginia。（署名依据：v1，第 1 页）
任务背景。 以优化一段程序为例：给代码 Agent 一份现有实现和评测程序，让它修改算法，交出运行更快、结果仍符合要求的新版本。它每改出一个版本，都要实际运行，才能知道有没有进步。整个搜索过程也要花时间和调用次数，所以还需要有人决定下一次试哪种改法。本文关心的就是：怎样改进这套安排尝试的规则，让有限预算更容易找到好程序。
假设一个代码 Agent 正在寻找更快的算法。它已经试出了几条路线，下一次应该继续哪条、另开多少分支、什么时候停止？每改一次调度规则都重新跑完整实验，改进规则本身就可能比找算法更贵。
核心方案。 Dream-RSI 先让当前策略调度代码 Agent 进行真实探索，把每次尝试的父节点、代码状态、结果和得分连成一棵搜索树。接下来暂时停止昂贵的真实执行，把这棵树做成回放环境：新策略可以改变访问已有分支的顺序、并行程度和停止时机，系统则在它请求相应节点时返回过去记录的结果。这样就能比较，在同一批已发生的探索中，哪种调度规则用更少尝试找到了更好的方案。
负责改写策略的模型根据回放分数反复修改调度代码，并把旧策略也留在候选中。选出的策略随后回到真实任务，指导下一轮探索，新产生的历史又补进回放池。跨轮保留下来的是策略代码和探索记录，底层代码 Agent 与任务评分器保持固定。这里最关键的限制是：回放只能重排已经走过的路，不能告诉你一条从未试过的分支会产生什么结果。
原图：v1，Figure 2，PDF 第 4 页。
读图。 先看上方：选中的策略配合代码 Agent 做真实探索，结果落到中间的树里。再从左侧两条彩色虚线往右看，两种候选策略在同一棵历史树上选择不同的访问路径，右侧给出各自的质量、代价与延迟反馈。橙色虚线回到上方，表示选出策略后再进行真实探索。图中的“模拟”是历史结果回放；正文第 3 节进一步限定了它只能揭示已记录节点，不能生成新的执行结果。
这不就是……拿过去的搜索记录，先演练一遍新的调度办法。 增加的一步是把演练结果接回可执行策略，并用下一轮真实探索扩充演练材料，使改进对象成为搜索方法本身。
贡献、证据与局限。 论文在算法工程、数学优化和 GPU kernel 任务中验证这一循环，并报告固定执行 Agent 条件下的多轮结果。Lasso 实验的一组配置把发现调用从 550 次降到 317 次，同时改善了产出算法在留出数据集上的运行时间（第 4.1 节）。但旧策略留作候选，只保证固定历史上的最佳回放分数不降，不能保证下一轮真实任务继续进步；主要成本指标是发现 Agent 的调用数，不能等同于包含策略改写模型在内的全部费用。
[!quote]- Abstract 完整中文翻译（作者原述） 递归自我改进对自主 AI 智能体正变得越来越重要，其进展取决于能否在复杂领域中发现高价值解法。有效探索是这一过程的驱动力，但探索策略的管理和改进仍是主要瓶颈。现有系统面临一个根本两难：固定策略无法随搜索空间扩大而适应，而在线策略优化又需要在庞大的元搜索空间中，面对长程执行带来的延迟且昂贵的反馈。我们提出 Dream-RSI，一个可扩展、能够递归改进探索的框架。轻量编排层将探索显式化、程序化，同时保持底层代码智能体不变。我们的关键认识是，积累的发现历史可以成为覆盖已实现搜索空间的回放模拟器。通过在历史发现树构建的模拟器中进行“梦境”演练，Dream-RSI 能获得即时、低成本的离策略反馈，用于评估和改进探索策略，避免重复进行昂贵的在线评估。改进后的策略随后重新在线部署，推动进一步发现，并持续扩充模拟器池，形成自我改进循环。在算法工程、数学优化和 GPU kernel 工程中，Dream-RSI 获得了相当或更好的发现质量，并在若干设置下显著降低发现成本。
[!info]- 原始信息与阅读依据 来源：arXiv 预印本，本文核对 v1；首次提交 2026-09-14T00:10:47+00:00，北京时间 2026-09-14 08:10:47。发现于本轮 2026-09-16 晨间采集。 原文：v1 PDF；已核对：摘要与 Introduction；第 3 节、Figure 1–2；第 4–5 节相关实验及成本口径（第 2–7、11–12 页）。页码均为 PDF 页码。
评测数据集与环境。 Dream-RSI / SimpleTES — Lasso求解器评测、Dream-RSI — 三类数学发现任务、KernelBench。Lasso用17搜索实例+6留出数据集；3类数学发现；KernelBench取VGG16/LayerNorm/ConvDiv/ConvMax四项。分别测速度或数学目标，不合并成准确率（§4）。 实验/附录依据。
ModularRSI：先找反复出现的执行缺陷，再分别修改各模块
作者： Wu, Siwei；Ren, Jincheng；Li, Yizhi；Li, Haau-Sing；Yang, Chengran；Zhang, Yuxuan；Gu, Weicheng；Yang, Jian；Batista-Navarro, Riza；Zhang, Chuanyi；Liu, Xianglong；Zhou, Ming；Dai, Bryan；Lin, Chenghua
机构： Beihang University；University of Manchester；IQuest Research；M-A-P；Langboat；Hohai University。（署名依据：v1，第 1 页）
任务背景。 以修复代码项目为例：Agent 拿到问题描述和项目文件，需要读代码、运行命令、修改文件，最后交出能通过任务检查的结果。模型每次决定下一步做什么，外面还要有一套程序负责调用工具、把运行结果送回来、保留上下文并判断何时结束；这套程序就是执行框架（harness）。本文想利用做任务时留下的记录，修好框架中反复妨碍执行的部分，让它在之后的新任务上也更可靠。
一个终端 Agent 修复项目时失败了，问题可能是解题思路不对，也可能是上下文被截断、工具结果没处理好。直接围绕这一次失败修改整套程序，很容易把某道题的特例写进通用执行逻辑。
核心方案。 ModularRSI 对同一道训练任务运行多次，优先把成功和失败的轨迹放在一起比较。这样，分析者可以追问：任务条件相同，究竟是哪个执行行为造成了差别？随后再汇总不同任务中反复出现的问题，降低某个偶然解题细节主导修改的机会。所有尝试都成功的任务用于检查效率；没有成功样本时，则尝试利用历史成功轨迹或进行单侧诊断。
找到共性问题后，系统把修改分配给工具使用、观察管理、上下文管理、执行循环和完成判断五个模块。各模块从同一基础版本独立演化，修改者只能动规定范围的函数，并保留修改历史。候选代码经过程序检查、过拟合审查和小规模运行验证，最后再经过整合阶段解决模块之间的冲突。保留下来的是可复用执行函数；下游任务使用演化后的函数库，再按任务选择要启用的功能。
原图：v1，Figure 1，PDF 第 4 页。
读图。 从左上角任务进入 Rolling 开始看，轨迹按成败被分组，右侧分析把观察汇总成 findings。沿外侧箭头走到左下方，修改 Agent 从历史中取出线索，在五个模块内改代码，并记录这次修改。再进入右下角的验收区域，通过的版本才回到下一轮执行。这里的绿色对勾不能理解成“性能一定提升”：正文说明，验收包括语法和接口检查、避免任务特例的差异审查，以及当前批次两道任务上的运行检查。
这不就是……先用多道题确认程序的共性毛病，再分模块修补。 增加的难点是避免把任务求解错误当成执行框架缺陷，并让独立修改的模块最终能共同工作。
贡献、证据与局限。 作者整理了 2,000 道与下游基准分离的可执行任务，实际实验使用其中的子集，并测试了未见任务、跨领域和跨模型迁移。Table 4 的模块化版本为 52.43，基础版本为 47.57，非模块化演化为 46.44，支持拆分修改范围的价值。论文没有单独移除成功／失败对照分析的完整消融；对比实验的轮次对齐也不代表总 token 成本完全相同。不要把验收流程解释成每次修改均有性能增益的保证。
[!quote]- Abstract 完整中文翻译（作者原述） 近期工作把递归自我改进扩展到用于长程编码和终端任务的智能体执行框架，使智能体能够从经验中改进执行机制。然而，可泛化的执行框架递归自我改进仍有挑战。首先，在评测基准或其子集上演化，很难区分可复用改进与针对基准的适应。其次，基于单条轨迹的更新可能混淆系统性执行缺陷与具体实例的推理、解题细节，导致修改难以迁移到未见任务。第三，整体式执行框架难以定位反复发生的行为缺陷，而整体优化又会纠缠无关机制，使归因和验证更复杂。我们提出 ModularRSI，一个与基准分离、采用对照分析和模块化设计的可泛化框架演化方法。它对照同一任务的成功与失败轨迹，并聚合跨任务证据来识别重复出现的行为缺陷。可演化框架被拆为五个功能模块：执行循环、工具使用、观察管理、上下文管理和任务完成检测。每个模块在受限的修改范围内独立演化，随后通过整合阶段合并为统一框架并解决潜在冲突。为支持与基准分离的演化，我们从外部来源整理了 2,000 道与下游评测基准分离的可执行任务。在 TB2.0 和 SWE-Bench Verified 上的实验显示，方法在未见的同域与跨域任务上持续取得改善，演化后的执行框架也能够跨不同基础模型迁移。
[!info]- 原始信息与阅读依据 来源：arXiv 预印本，本文核对 v1；首次提交 2026-09-14T00:10:45+00:00，北京时间 2026-09-14 08:10:45。发现于本轮 2026-09-16 晨间采集。 原文：v1 PDF；已核对：摘要与 Introduction；第 3 节和 Figure 1；迁移实验、Table 4 及局限（第 4–6、9–12 页）。页码均为 PDF 页码。
评测数据集与环境。 Terminal-Bench 2.0、SWE-bench Verified。留出测试89+500任务；另自建2,000演化任务池并使用其子集，冻结Harness后测迁移；该2,000是演化数据，不是最终测试规模（§4–5）。 实验/附录依据。
SkillLift：先低成本修改技能，再用真实执行校准评分规则
作者： Kang, Haoxiang；Wen, Ming
机构： 独立研究者（Haoxiang Kang）；Fudan University。（署名依据：v1，第 1 页）
任务背景。 例如交给 Agent 一份论文源码，要求它把里面的表格完整提取出来。它需要找到相关文件、处理文件之间的引用，再交出可检查的表格结果，是否漏表或提取错误要靠实际产物判断。这里的“技能”是一份供 Agent 执行时参考的操作说明。本文要改好这份说明，让同一个 Agent 更容易把任务做成，同时减少为了比较说明版本而反复执行的开销。
Agent 要从论文源码恢复表格。你可以不断修改它的操作说明，但每试一个版本都完整下载、解析和检查一次，花费很快就会超过修改本身。能不能先便宜地筛选几个版本，再把真实执行花在最有希望的候选上？
核心方案。 SkillLift 先从任务和初始技能执行中整理一份带权重的检查标准，例如是否覆盖所有表格、是否正确处理源码中的文件引用。接着固定这份标准，让模型只阅读任务与技能文本，为多个修订版本打分并继续改写。这个内循环不实际运行任务，因此能够用较低成本探索多种修改，但评分也可能误判“写得像正确方案”的文本。
为纠正这种偏差，外循环把几个候选技能冻结下来，真正交给 Agent 执行，再比较实际效果的排序与文本评分的排序。如果两种排序不一致，系统就修改检查项及其权重，让规则更接近实际结果。下一轮沿用校准后的规则继续搜索，冠军技能则按真实执行结果选出，并把旧冠军留作比较。模型参数始终不变，跨轮保存的是技能和评分规则。
原图：v1，Figure 2，PDF 第 3 页。
读图。 左侧从“恢复原始表格”这个任务开始，任务分别生成初始技能和评分规则。中间围绕技能的循环箭头表示：评分规则暂时固定，只反复修改技能文字。再看右半边，候选技能进入真实环境执行，底部得到实际排序；这个排序向右送给评分规则，用来校准规则，再服务下一轮搜索。图里的两种评估发生在不同时间，不能把左侧的文字打分也理解为一次真实环境验证。
这不就是……先按评分细则改操作说明，再用实际做题结果修订细则。 新增之处在于让细则学习“哪个版本更好”的排序，而不强求它准确预测每个版本的绝对得分。
贡献、证据与局限。 消融支持评分规则更新和排序目标的作用，成本统计包含执行与优化框架的模型调用。但论文按评测任务分别演化技能，没有由此证明技能能泛化到未知任务。40%–70% 的节省需要结合其达到相对成绩阈值的统计条件阅读：已经达到阈值或始终达不到的任务会被排除；附录还说明部分基线组件被简化。保留旧冠军也只是在有限、可能带噪声的执行记录上比较，并非真实表现永不退步。
[!quote]- Abstract 完整中文翻译（作者原述） 基于大语言模型的智能体越来越依赖持久技能，即可复用的过程性提示，以在不更新权重的情况下适应任务。现有技能自演化方法直接根据执行反馈修改技能文本，但每次真实评估都需要完整运行一次智能体，形成监督瓶颈，使搜索局限于修补失败。我们的关键认识是，相比回归绝对结果，排序是更平滑的监督目标：判断哪项技能更好，所需的真实评估少于预测精确分数。基于这一认识，我们提出 SkillLift，通过学习与真实评估对齐的评分细则，建立结构化评估空间，将技能搜索与真实评估成本解耦。我们把它形式化为通过交替优化求解的双层优化问题：内循环使用冻结的评分细则作为低成本代理，在不调用真实任务评估的情况下指导技能修订；外循环进行少量真实执行，通过排名相关性重新对齐评分细则，从而摊薄真实评估成本并稳定文本空间更新。复杂智能体任务基准上的实验表明，相比前沿演化方法，本方法以少 40%–70% 的 token 成本超越现有自动技能方法。代码已在作者的 SkillLift 仓库公开。
[!info]- 原始信息与阅读依据 来源：arXiv 预印本，本文核对 v1；首次提交 2026-09-14T11:30:23+00:00，北京时间 2026-09-14 19:30:23。发现于本轮 2026-09-16 晨间采集。 原文：v1 PDF；已核对：摘要与 Introduction；第 3 节、Figure 2；Table 3 和成本分析；附录 B 的基线及执行设置（第 3–5、7、11–12 页）。页码均为 PDF 页码。
评测数据集与环境。 WildClawBench、SkillsBench。WildClaw60任务/6类，SkillsBench87任务/8域；逐测试任务演化技能，报告任务pass和oracle/framework成本，因此不等同未知任务泛化（§4）。 实验/附录依据。
FORGE：一次失败同时告诉系统该改提示和该补什么训练题
作者： Yuan, Tianyu；Qian, Zhuzhong
机构： Nanjing University。（署名依据：v1，第 1 页）
任务背景。 以查询应用中的记录为例：用户提出查询要求，Agent 调用工具，读返回的数据，最后给出符合条件的完整结果。如果记录分在几页里，只返回第一页就没有完成委托。模型执行时会参考提示中的操作要求；本文把这些提示当成可以修改的对象，借助有评分反馈的练习题判断改得好不好。它还关心练习题是否覆盖了真正容易出错的情况，因为只在熟悉题目上做好，并不能说明修改可靠。
Agent 查询一个分页列表时漏掉了第二页。给提示加上“注意翻页”可能修好当前例子，却没有验证它面对空页、边界条件或干扰信息时是否仍然正确。下一轮训练题也需要跟着这次失败变化。
核心方案。 FORGE 先在当前训练数据上运行提示程序，把没有完全做好的轨迹同时用于两件事：一边反思并提出新提示，一边把具体错误归纳成可复用的失败模式，连同支持它的轨迹保存在失败记忆里。例如，漏掉第二页应归纳为分页处理问题，而不只是记住这道题的正确答案。候选提示在训练批次上取得改善后，再通过固定验证集比较。
如果最佳验证成绩连续若干步没有进展，系统才根据失败记忆补题。它既生成仍应采用原修复方式的例子，也生成不该套用该修复的反例，还会改变关键边界条件、加入干扰信息。生成器提出题目后，另一个验证环节检查题目有效且确实对应目标失败模式；通过的题目才加入训练集。新提示接着面对扩充后的题目，暴露出的新问题又进入记忆。主流程改变提示、训练数据和失败记忆，任务模型权重保持固定。
原图：v1，Figure 2，PDF 第 3 页。
读图。 从上方左侧的提示和数据开始，执行结果走到红色失败节点后分成两条路：向上用于修订提示，再经过验证集筛选；向下进入失败记忆，再用于生成和验证数据。最上方返回箭头把更新后的两者送回下一轮。下方三个区域展开了这几步，其中最右侧四种变体是在探查同一失败模式的适用范围。图省略了触发时机，正文进一步说明：补充数据由验证表现停滞触发，并非每次失败都立即生成一批新题。
这不就是……错题既拿来改答题说明，也拿来出一组检验修复是否可靠的新题。 关键增加的是围绕同一失败机制设计正例、反例和边界题，再经验证形成下一轮训练证据。
贡献、证据与局限。 八个基准的平均成绩从基础提示的 55.66 提高到 72.18，但不是每个基准都最好。合成数据在另外九组提示优化和三组 GRPO 对照中也有增益，支持数据的独立参考价值；这不等于主流程已经实现提示与模型权重共同演化。相同优化步数或任务评估预算没有自动控制数据生成、验证的全部成本，数据数量和分布变化的贡献也仍需进一步拆分。
[!quote]- Abstract 完整中文翻译（作者原述） 自动提示优化通过依据任务反馈修订提示来改善语言模型程序，但通常保持训练数据不变。在相同实例上反复优化，会使反馈局限于这些数据已经覆盖的弱点，相关失败条件仍未被探索。因此，我们把每次失败视为双重信号：它既说明提示应如何修订，也说明应合成什么新的训练证据。我们提出 FORGE，一个由失败引导、共同演化提示与训练数据的框架。FORGE 将不完美执行抽象为可复用的失败模式，并通过四种互补的变异策略合成新训练数据。经验证的实例被送回提示搜索，让更新后的提示暴露下一批数据需求。在八个异质基准上，FORGE 相比未优化基线将综合分数提高 16.52 个百分点，并超过所有受评测的自动提示优化基线。合成数据的作用也能迁移到 FORGE 之外：在匹配优化预算的迁移研究中，它们使全部九组自动提示优化对照提高 2–9 分、全部三组 GRPO 对照提高 4–8 分。这些结果确立了失败作为提示优化和数据合成共同接口的作用，并显示同时调整模型被要求做什么、以及模型从什么材料中学习的益处。
[!info]- 原始信息与阅读依据 来源：arXiv 预印本，本文核对 v1；首次提交 2026-09-14T08:29:47+00:00，北京时间 2026-09-14 16:29:47。发现于本轮 2026-09-16 晨间采集。 原文：v1 PDF；已核对：摘要与 Introduction；第 3–4 节、Algorithm 1、Figure 2；第 5 节与 Tables 1–4（第 2–7 页）。页码均为 PDF 页码。
评测数据集与环境。 HotpotQA、HoVer、IFBench、FiNER-139、LawBench、AIME 2025、MMLU-Pro、AppWorld。八项主评测，涵盖检索/约束/结构化分类/数学/交互；按Appendix B构造优化、验证与测试，具体未核分母保留未知。另有数据迁移与GRPO对照（§4、Appendix B）。 实验/附录依据。
RSIAgent：先在新环境练习，把验证过的经验带到目标任务
作者： Zhu, Sibo；Fan, Shicheng；Wang, Xinyue；Wu, Wenyi；Zhou, Kun；Huang, Biwei
机构： Aether AI；University of California San Diego；University of Illinois Chicago。（署名依据：v1，第 1 页）
任务背景。 假设用户要在画三维模型的软件 FreeCAD 中做一个带孔零件：Agent 拿到要求和可操作的软件环境，用代码完成建模，最后需要交出形状、孔位等满足要求的实际模型。能写出一段不报错的代码还不够，还要检查做出来的东西。本文研究如何让 Agent 在正式任务前先熟悉环境，把练习中验证过的做法记下来，之后遇到目标任务时可以取用。
Agent 第一次使用 FreeCAD 时，可能会写出能运行却把孔位放错的代码。单靠模型已有知识很难知道这个环境里哪些约束容易踩坑，需要实际操作、检查结果，再留下可复用经验。
核心方案。 RSIAgent 先根据环境和目标任务安排一批不同的练习。执行 Agent 用代码操作环境，独立验证 Agent 检查实际产物，再由执行者把操作条件、失败原因和可复用脚本写进记忆。第一阶段并行探索较宽的范围，让系统先积累多种经验，而不是一直围绕同一个错误反复尝试。
随后课程 Agent 根据目标和已有反馈安排更集中的练习，继续追查困难情形与边界条件。上一轮修订的记忆会用于下一轮操作，因此经验能逐步积累。准备结束后，记忆冻结，供下游任务检索使用；测试时停止课程生成和记忆更新，但仍可执行和验证。跨轮变化的是外部记忆，模型权重与这套更新流程本身没有随之改写。
原图：v1，Figure 2，PDF 第 4 页。
读图。 先看左边蓝色区域：课程 Agent 分出几组建模练习，各组的执行与验证结果汇总成经验，再帮助提出下一轮练习。中间黄色区域沿支架建模的几轮修正向下看，上一轮记忆参与下一轮操作，逐步检查孔位、对齐和支撑结构。底部把经验整理为冻结记忆，送往右侧的目标任务执行。这里的准备阶段已经知道目标方向；不能把最右侧结果直接当成完全未知任务上的盲测迁移。
这不就是……先在新软件里练手，把检查过的操作经验整理成手册再做目标任务。 额外的一步是让出题、执行和验证相互配合，持续修订手册，而不是只把成功轨迹存起来。
贡献、证据与局限。 正文展示了环境记忆和先广后深探索的案例，但附录说明主要成绩混合了不同来源：OSWorld 的 82 道任务只有 41 道使用改进后的新评分，其余保留基线；ALE 也只有部分任务重新执行。与其他模型的公布成绩对照没有匹配执行框架和预算，小规模消融还选用了已经观察到改善的任务。因此，摘要中超越闭源模型的说法应按该评测口径理解，不能作为记忆学习或跨任务泛化的干净因果证据。
[!quote]- Abstract 完整中文翻译（作者原述） 数字智能体经常需要适应新环境，而这些环境的界面、工具和失败模式并未被预训练模型完整覆盖。我们提出 RSIAgent，一个无需训练、通过自主构建记忆实现递归自我改进的多智能体框架。RSIAgent 协调课程、执行和验证智能体，持续探索环境、验证结果并保留环境特定知识，其中包括可复用的动作、条件与后果之间的因果关系。它进一步采用先广后深的探索策略，将用于发现多样环境结构的并行广度递归自探索，与用于发现困难案例、隐含约束、边界条件和此前未知因果依赖的定向深度自探索结合起来。所得记忆被冻结，可直接复用于下游任务，无需更新模型参数。在 OSWorld-v2 和 Agent's Last Exam 上的实验表明，RSIAgent 显著改善了强开源模型，使 Kimi-K3 和 GLM-5.3 超过包括 GPT-6 在内的前沿闭源模型。
[!info]- 原始信息与阅读依据 来源：arXiv 预印本，本文核对 v1；首次提交 2026-09-14T10:46:40+00:00，北京时间 2026-09-14 18:46:40。发现于本轮 2026-09-16 晨间采集。 原文：v1 PDF；已核对：摘要与 Introduction；第 3 节、Figure 2；主实验与第 4.6 节；附录 C 的执行、汇总与比较边界（第 3–6、8–9、12、27–29 页）。页码均为 PDF 页码。
评测数据集与环境。 OSWorld 2.0 — 0808 offline、Agents’ Last Exam — Near-term。OSWorld2.0(0808 offline)82任务，仅41更新评分；ALE Near-term67任务也只部分重跑。Partial与Binary分开，保留混合新旧结果的限制（Appendix10）。 实验/附录依据。
HarnessBandit：下一步训练该让模型在哪种执行框架里练习
作者： Wei, Hongliang；Tu, Xiaobing；Wang, Yinggui；Liu, Zhengxi；Xue, Rongkun；Ren, Jinkui；Zhang, Xiantao；Zhao, Debin；Fan, Xiaopeng
机构： Harbin Institute of Technology；Alibaba Cloud。（署名依据：v1，第 1 页）
任务背景。 工具型 Agent 收到用户要求后，需要选择工具、填写参数、读执行结果，再继续操作，直到任务完成。模型外面负责组织这些步骤的程序叫执行框架（harness）；换一套框架，模型看到的提示和工具格式也可能变化。本文要训练同一个模型，使它在不同框架下都能做好任务，最终看的是未见任务上的完成效果。训练机会有限，因此需要决定下一批让模型在哪一种框架里练习。
同一个模型在一种终端框架里会调用工具，换成另一种提示、工具格式和控制循环后却容易失误。让它在多种框架里都训练，看似自然，但每一步该把训练机会分给哪一种？
核心方案。 HarnessBandit 让同一个策略模型通过六种执行框架学习同一批任务，但每个优化步骤只使用其中一种框架。完成这一批训练后，调度器先检查同组轨迹的优势绝对值平均数：如果结果几乎没有差别，这一批就很难提供有用的相对学习信号；如果有可区分的好坏行为，就可能值得继续投入。
它还会抽样记录当前梯度方向，与其他框架过去梯度的滑动平均进行比较。方向越一致，被视为越可能帮助其他框架。两个信号经过共同窗口归一化后合并，结合访问次数奖励和最低探索概率，决定下一步选择哪种框架。训练持续更新共享模型参数，调度器则保留访问次数与梯度统计，让下一批经验的来源跟着当前训练状态变化。
原图：v1，Figure 1，PDF 第 2 页。
读图。 从顶部共享策略沿蓝色箭头看，图中这一轮只激活了 Pi，其他框架暂时等待。再顺着两条分支向下：左侧衡量这一批是否有可学习的差异，右侧把当前更新方向与其他框架的历史方向比较。底部合并信号，左侧虚线返回顶部安排下一轮。右侧写着是否“帮助其他框架”，实际计算的是历史梯度对齐代理量，并没有在每一步重新测试所有框架的真实泛化成绩。
这不就是……根据这次训练有没有东西可学、是否可能兼顾其他场景，安排下一轮在哪练。 增加的一步是把学习信号强弱和更新方向结合起来，而不是只按当前成功率多分配样本。
贡献、证据与局限。 同模型、训练数据、步数与硬件条件下，它在 PinchBench 和 ClawEval 上优于多框架混合批次训练。但实验缺少“同样每批只选一个框架、均匀轮换”的完整对照，也没有分别移除两个诊断量，因此不能把全部收益归于自适应调度。ClawEval 的三次均成功指标与基础模型相同，收益没有覆盖每个可靠性指标；历史梯度还可能随模型更新而过时。
[!quote]- Abstract 完整中文翻译（作者原述） 语言模型智能体越来越多地通过不同执行框架部署，这些框架在系统提示、工具模式、控制循环和轨迹格式上各不相同。同一个模型在这些接口上的表现可能不均衡，因此对框架变化的鲁棒性成为重要目标。一个自然做法是让共享策略通过多个框架训练，但这带来了调度问题：每个训练步骤应优先选择当前能提供有用学习信号、同时产生有益于其他框架更新的框架。我们提出 HarnessBandit，一个每个优化步骤选择一个框架的在线调度器。完成组相对策略优化更新后，它观测可学习性，即该批次的平均优势绝对值，以及可迁移性，即当前框架低维梯度摘要与其余框架指数滑动平均之间的余弦相似度。两个信号经过共享滑动窗口的最小—最大归一化后融合，再结合与访问次数有关的奖励和明确的探索下限进行采样。我们在 ClawGym 上通过六种框架训练 Qwen3.5-2B，并在 PinchBench（留出任务、分布内 OpenClaw）和 ClawEval（留出任务与执行框架）上评测。HarnessBandit 在两个基准上均优于混合批次的多框架训练，训练诊断则表明可学习性与可迁移性提供了不同且不断变化的信号。
[!info]- 原始信息与阅读依据 来源：arXiv 预印本，本文核对 v1；首次提交 2026-09-12T06:22:45+00:00，北京时间 2026-09-12 14:22:45。发现于本轮 2026-09-16 晨间采集。 原文：v1 PDF；已核对：摘要与 Introduction；第 3–4 节、Figure 1；第 5 节、Table 1–2 与局限（第 2–8 页）。页码均为 PDF 页码。
评测数据集与环境。 PinchBench、ClawEval。Pinch为未见任务/已见OpenClaw接口；ClawEval general161任务×3次，任务与接口均留出；2,000个ClawGym为训练集，非测试（§5.2）。 实验/附录依据。
MOSCOPT：改进技能内容，也改进何时调用哪些技能
作者： Zhenyu Zhang；Jiudong Yang（按 v1 首页校正元数据中的上标混入）
机构： Coupang（ML Center）；Futu AI（AI Center）。（署名依据：v1，第 1 页）
任务背景。 以需要检索证据的问答为例：Agent 拿到一个问题，查找资料、组织推理，最后给出答案，是否做好由该任务的评分方式判断。它可以参考一些保存下来的文字做法，例如怎样搜索、怎样核对证据；本文把这些做法称为“技能”。作者希望在基础模型不变的情况下，既把这些说明改得更有用，也让 Agent 在当前步骤选到合适的说明，从而提高最终任务成绩。
Agent 已经保存了一批技能：有的擅长检索，有的擅长核验，有的擅长拆解问题。把它们全部塞进上下文未必最好，系统还需要学会当前该选哪几个，以及哪些技能值得继续修订。
核心方案。 MOSCOPT 保存一个技能池，同时保存一条专门负责选择技能的提示。选择者先看任务、执行历史和技能摘要，只把选中的几项完整内容装进执行 Agent 的上下文。每次任务结束后，系统用成功与否更新参与技能的统计，让后续选择和淘汰有一些依据。
优化时，系统先固定选择规则、局部修改技能，再固定技能、根据错误选择修改选择规则，隔一段时间还会淘汰、繁殖或组合技能。负责提议修改的模型会读取短期拒绝记录和较长期的修订经验，避免一再提出同样无效的改法；局部文本修订只有提高验证成绩才被接受。跨轮留下的是技能池、选择提示和修改历史，基础模型参数不变。由于同次任务中被调用的技能共享结果奖励，这些统计仍难以判断究竟是哪一项技能带来了收益。
原图：v1，Figure 1，PDF 第 3 页。
读图。 先从左上角的任务进入 Gating Skill，它读取下方技能摘要，输出要激活的技能编号。沿上方箭头到右侧，冻结的 Agent 只看到这些技能全文，再产生动作；未激活的技能不会一并进入上下文。下方虚线提供摘要信息，实线则把选中的正文送给执行者。这张图主要解释使用时的选择过程，交替修订与拒绝历史来自正文 Algorithm 1，并没有完整画在图里。
这不就是……一边改工具书里的做法，一边改查目录、选做法的规则。 额外的一步是让两者交替修改，并让后来的修改参考此前被拒绝的方案；论文所谓 EditAdam 保存的是文本修订状态，不是对模型参数运行数值 Adam。
贡献、证据与局限。 五个基准、三种模型的实验与消融支持选择性加载和交替优化的作用。主要设置的平均成绩为 74.1，去掉选择规则优化后为 70.9，同时修改所有部分时为 67.3（Tables 1–2）。但验证集较小、总评估成本未严格对齐；同现技能的成功关联也不是因果贡献。“单调改善”只适用于被接受的局部修改在有限验证集上的比较，不能外推为真实能力或整个技能池始终进步。
[!quote]- Abstract 完整中文翻译（作者原述） 自然语言提示和技能构成了基于大语言模型的智能体的策略基础。近期提示与技能优化取得了明显进展，但现有方法都优化单一文本模板，遗漏了多种互补策略之间的协同。我们提出 MOSCOPT，一种以文本为原生表示、无需调节参数的算法，共同优化包含 N 项技能的技能池，以及每一步动态选择 K 项技能的门控技能 G。为有效优化技能，我们构建了在内部维护双重状态的 EditAdam。通过结合 EditAdam 的三阶段交错更新，系统无需梯度或参数调节即可单调改善。在五个基准和三种目标大语言模型上的广泛实验与详细消融表明，MOSCOPT 持续优于全部基线，并确认带有选择性激活的混合技能结构，以及三阶段交错的集体演化，对其优秀表现都不可或缺。代码已在作者的 SummerClaw 仓库中公开。
[!info]- 原始信息与阅读依据 来源：arXiv 预印本，本文核对 v1；首次提交 2026-09-13T09:57:59+00:00，北京时间 2026-09-13 17:57:59。发现于本轮 2026-09-16 晨间采集。 原文：v1 PDF；已核对：摘要与 Introduction；第 3 节、Figure 1、Algorithm 1；实验、消融及局限（第 3–10 页）。页码均为 PDF 页码。
评测数据集与环境。 SearchQA、GPQA Diamond、Humanity’s Last Exam、AIME 2024、AIME 2025、AIME 2026、LiveMathematicianBench。五项任务族；AIME2024–2026合并90题重分50/10/30，其余每项100/20/50。3–50次自适应重跑，平均74.1不代表各原全集成绩（§4）。 实验/附录依据。
GAI：区分改进策略、改进更新方法和改写评分标准
作者： Tang, Hongyao；Ma, Yi；Li, Pengyi；Yuan, Yifu
机构： Tianjin University；Shanxi University。（署名依据：v1，第 1 页）
任务背景。 这篇做的是概念分析：面对一个不断改动自己的 Agent 系统，研究者要说明它究竟改了哪里，以及凭什么把变化叫作进步。以修代码为例，系统里既有负责写补丁的部分，也有测试补丁和提出下一次修改的部分。论文希望提供一套共同的描述方式，让不同系统可以逐项比较；它的产出是分析框架，没有新增一套解题实验来证明某个 Agent 更强。
代码 Agent 的分数越来越高，可能是代码写得更好，也可能是它改进了修代码的方法，还可能只是把测试改得更容易通过。只看一个分数曲线，很难判断发生了哪一种变化。
核心方案。 GAI 把系统拆成几个有不同职责的部分：策略负责行动，评价者判断行动效果，修改者提出系统更新，另一个评价者判断更新是否有用，而评估依据规定什么才算进步。以代码任务为例，生成补丁、运行测试、提出新的修订规则、评估修订规则，不能全部混称为“Agent 在学习”。先把这些职责分清，才能指出哪些内容允许被改动。
接着，作者用两个问题比较不同系统。第一个问题是：负责改进 Agent 的那套方法，是否也在可修改范围内？如果始终只有外部固定训练程序更新策略，它属于固定更新机制；如果修改者能够产生自己的下一版本，才闭合了本文定义的递归。第二个问题是：衡量进步的标准是否来自系统之外、且不能被 Agent 改写？即使修改过程自洽，标准若随之漂移，内部得分上涨也未必对应外部任务变好。
原图：v1，Figure 2，PDF 第 6 页。
读图。 从上方策略开始，顺着左侧箭头到评价者，再沿底部反馈箭头到修改者，最后回到策略，这是普通的评估与改进循环。灰色虚线增加了条件性能力：修改者可以改评价者，也可能改自己。最左侧环境和目标通向评估依据，提醒读者检查评价究竟对什么负责。虚线表示框架允许讨论的配置，不表示每个具体系统都启用了这些能力，更不表示这些更新已经有收敛保证。
这不就是……先把干活、改进干活方法和决定何为进步的职责分开。 关键作用是使“改进了哪里”成为可检查的问题，并把奖励标准漂移和普通性能退步区分开。
贡献、证据与局限。 作者统一描述经典策略迭代和若干自我改进系统，并指出候选修改搜索、自我评价和目标偏移的问题。但正文明确承认：自洽条件只是参照理想，没有机制强制它们成立；若干归约尚未写成带明确假设的命题，也没有新实验或复杂度保证。外部固定评价器同样可能奖励错误代理目标，所以“标准在系统外”并不自动意味着评测忠实。
[!quote]- Abstract 完整中文翻译（作者原述） 当我们谈递归自我改进时，谈的是一种现象、一种机制，还是一种前景？面向自主且能够演化的智能，人们在许多尺度上宣称实现了递归自我改进，但尚无一个能够形式化描述这些新实例的统一框架。它在经典领域的对应概念是迭代策略改进，可由广义策略迭代描述：这一框架适用广泛、理论性质较清楚，但要求更新原则与评估依据位于智能体之外。本文提出广义智能体迭代 GAI，把迭代策略改进与递归自我改进描述为同一种学习范式的两个实例。GAI 将智能体定义为系统内部可修改组件的配置，并把学习建模为智能体评估与智能体改进的循环。两个关键开关区分不同实例：改进机制是否属于智能体，以及衡量进步的标准是否锚定在智能体之外。前者划定广义策略迭代与递归自我改进的边界，后者决定系统是锚定式、目标漂移式还是完全自指式。我们还利用这些坐标，把现有系统放在同样两条轴上，并逐项说明递归自我改进的缺陷及其条件。我们把这项工作视为探索递归自我改进形式化刻画的第一步：以经典理论为基础，使现有系统可比较，并为分析和设计新系统提供原则依据。
[!info]- 原始信息与阅读依据 来源：arXiv 预印本，本文核对 v1；首次提交 2026-09-11T18:15:09+00:00，北京时间 2026-09-12 02:15:09。发现于本轮 2026-09-16 晨间采集。 原文：v1 PDF；已核对：摘要与 Introduction；第 3 节、Figure 2；第 5–6 节关于缺陷、理论状态和局限（第 1、4–7、10–11 页）。页码均为 PDF 页码。
评测数据集与环境。 不适用：GAI为广义自我改进的概念形式化与已有系统归约，没有新增数据集实验；文中引用系统或理想条件不构成本文评测。 实验/附录依据。
AlgoEvo：把算法搜索中的有效修改积累成后续任务的技能
作者： Qiu, Junhao；Hu, Qinglong；Tong, Xialiang；Yuan, Mingxuan；Lin, Liyong；Zhang, Qingfu
机构： City University of Hong Kong；Huawei Noah’s Ark Lab；A*STAR（Institute of Advanced Intelligence and Computing）。（署名依据：v1，第 1 页）
任务背景。 以配送为例：一批客户有不同的位置和需求，车辆有容量限制，需要安排满足这些条件、总路程又较短的路线。这里交给 Agent 的工作是设计求解这类问题的算法代码；写出的算法再接收具体订单，算出配送方案，用路线成本等指标评价好坏。本文想让 Agent 在设计过一种算法后，留下有依据的设计经验，帮助下一次算法设计从更好的起点开始。
Agent 正在设计配送路径算法。一次实验告诉它某种边评分规则有帮助，但如果下一次搜索只保留最终分数，为什么有效、适用什么条件这些经验就丢了。如何让后续算法设计能接着利用它们？
核心方案。 AlgoEvo 先按任务类型加载一份设计技能，说明可以修改哪些算法组件、接口有什么约束、如何评价结果。执行 Agent 据此自行安排读代码、诊断、修改和评估，而不是每次都走固定的生成—评估步骤。真正完成一次评估后，系统把修改内容、条件、理由和效果写成经验卡，并按修改的继承关系放进当前任务的经验树。
后续搜索从经验树中选择既有较好结果、又值得继续探索的方向，再用新结果更新相关节点的统计。任务结束后，系统检查哪些设计模式得到至少两个不同任务的支持，再把这些模式写回相应设计技能。于是下一任务能带着更有依据的操作原则开始；同一任务内的技能保持固定，跨任务才更新。模型权重和核心搜索程序并没有在这个过程中自动重写。
原图：v1，Figure 2，PDF 第 4 页。
读图。 从左上角设计任务向下，先选择技能，再沿箭头进入中间的代码搜索循环。评估结果从中间送往右侧，整理成经验卡并接入下方的任务树；经验树又向上提供下一次选择的参考。最后看下方向左的跨任务箭头，它把多任务支持的模式送回技能库。右下角分数变化是某次修改的效果，不能直接当成整个系统学习能力增长的曲线。
这不就是……做算法实验时保存有来由的经验，再把反复有效的做法写进下一轮的设计手册。 新增的组织方式是同时保留任务内的修改谱系和跨任务的通用模式，避免只剩一段最佳代码。
贡献、证据与局限。 六类任务展示了统一执行流程和少量跨任务迁移；Table 4 比较目标任务有无源任务经验，支持部分经验复用。多轮实验则同时继承了上一轮最佳代码，不能只归因于经验库；每轮预算相同也不意味着累计计算没有增加。部分多目标成绩只在训练实例上计算，且论文对“达到最佳结果时的评估次数”与继续搜索的描述存在口径张力，不能直接把较小次数等同于完整端到端成本。
[!quote]- Abstract 完整中文翻译（作者原述） 大语言模型通过合成可执行代码推动了自动算法发现，但现有框架将其限制在预设控制流的刚性搜索流程中。这限制了自适应推理，阻碍跨范式迁移，也丢弃了有价值的执行反馈。我们提出 AlgoEvo，一个把自动算法发现转变为交互式知识积累过程的统一智能体框架。自主智能体根据运行反馈动态检查、诊断和编辑代码。设计技能库将特定范式的知识与核心发现引擎分离，使单一流程能够处理单目标、多目标和多组件设计。同时，分层经验机制把搜索轨迹组织为任务级树来指导探索，并将跨任务模式整合为可复用技能。在六个代表性基准任务上，AlgoEvo 以明显更少的评估和更低的 token 消耗达到或超过专门方法，展示了较强的任务内积累、跨任务迁移，以及通过灵活激活技能复现或超越现有最佳表现的能力。
[!info]- 原始信息与阅读依据 来源：arXiv 预印本，本文核对 v1；首次提交 2026-09-14T16:24:27+00:00，北京时间 2026-09-15 00:24:27。发现于本轮 2026-09-16 晨间采集。 原文：v1 PDF；已核对：摘要与 Introduction；第 3 节、Figure 2；第 4 节、Tables 1–4（第 1、3–5、7–9 页）。页码均为 PDF 页码。
评测数据集与环境。 AlgoEvo 六类算法设计任务套件。六类任务，实例数与train/test见Appendix C/Table7和卡片；路线成本、hypervolume/IGD按任务分别看，部分多目标结果只基于训练实例。 实验/附录依据。
LIMBO：根据任务结果，学会何时值得花预算读取旧经验
作者： Sharma, Siddharth；Pandey, Nilesh Prasad；Gungor, Onat；Rosing, Tajana
机构： University of California, San Diego；West Virginia University。（署名依据：v1，第 1 页）
任务背景。 以数据库查询为例：用户用自然语言提出问题，Agent 查看表结构、编写并执行查询，直到得到符合要求的结果。多道任务接连到来时，过去做对的查询过程可以保存下来，供后面的任务参考。读这些经验会占用上下文和调用预算，所以本文同时关心任务能否做成、花了多少成本，要学会的是每道新题开始时该读多少旧经验、给多少执行预算。
Agent 连续处理数据库任务时，有些题只需一次简单查询，有些题则需要参考过去的 JOIN 和分组操作。每题都附上大量旧轨迹很贵，完全不用经验又可能错过有效帮助。
核心方案。 LIMBO 在每道题开始前，读取提示长度、近期成功率与成本等轻量信息，比较几种预设方案：不用旧轨迹、直接回放、压缩回放或检索相关轨迹，并为这些方案搭配生成长度、交互轮数和工具调用预算。控制器分别估计每种选择的成功可能性和代价，再加上探索不确定选项的奖励，决定本题采用哪一种。
Agent 用选定的上下文和预算执行任务。结果出来后，控制器用实际成败与成本更新刚才选项的统计，成功轨迹则进入有容量限制的记忆库。下一道题使用更新后的估计，因此系统能逐渐学会在这个模型和环境中，什么时候值得多看经验。变化的是外部调度统计和记忆内容；候选方案的定义与底层模型保持固定，也没有在每道题上尝试全部方案。
原图：v1，Figure 2，PDF 第 3 页。
读图。 从顶部任务流向下看，先提取本题和近期运行的信息，再由两个预测头分别估计正确率与成本。中间 Replay and budget action 决定如何构造提示，随后才执行 Agent。最底部接收结果并更新统计与成功轨迹。图没有画回顶端的箭头，但正文明确说明这些状态会留给下一道任务；它不是只在当前题内反复尝试的循环。
这不就是……给每道题安排合适的参考材料和做题预算，再用结果修正下次的安排。 技术关键在于把记忆使用当成需要学习的决策，同时把准确率和费用放进同一个选择准则。
贡献、证据与局限。 三种模型、两种环境各 500 道连续任务的对照显示较好的成本—准确率折中，并有任务流中的选择变化记录。但相对最准确的固定记忆基线，准确率差异为 −3.8 到 +0.6 个百分点，并非全部无损降本。本地模型费用是按统一 token 单价折算的代理量，不能当成实际部署账单；记忆策略与执行预算一起变化，也不能把全部增益单独归因于记忆选择。
[!quote]- Abstract 完整中文翻译（作者原述） 随着大语言模型智能体进入越来越复杂的工作流，它们需要不断获得新能力，同时保留在过去任务上的能力。终身智能体通过经验回放，将过去交互注入提示，在推理时利用已有经验。然而回放并非免费：每条回放轨迹都与检索、推理、工具使用和验证争用有限的提示与计算预算，因此有效资源分配至关重要。现有方法使用固定回放策略分配资源，不考虑回放是否有益于当前任务。我们将其识别为推理时记忆分配这一独立问题，并提出 LIMBO：据我们所知，这是首个把记忆视为可控的推理时资源、针对每个新任务共同优化记忆策略与推理预算的在线框架。与固定回放策略，或需要模型权重、教师监督和离线重训的方法不同，LIMBO 在单次任务流中在线学习分配，明确平衡任务表现和推理成本，同时不修改底层智能体。在 LifelongAgentBench 的三种大语言模型上，LIMBO 获得了优于先进记忆增强基线的成本—准确率折中，以最高约 83%、平均约 53% 的推理成本降低，接近所有最强基线的准确率。LIMBO 无需重训便能针对不同模型与环境调整策略，表明有效分配可以在线学习，而不必手工指定。
[!info]- 原始信息与阅读依据 来源：arXiv 预印本，本文核对 v1；首次提交 2026-09-12T20:39:45+00:00，北京时间 2026-09-13 04:39:45。发现于本轮 2026-09-16 晨间采集。 原文：v1 PDF；已核对：摘要与 Introduction；第 III 节、Figure 2、Algorithm 1；第 IV 节与 Table II（第 1、3–7 页）。页码均为 PDF 页码。
评测数据集与环境。 LifelongAgentBench。DB(SQL)/OS(bash)各500道顺序任务，3模型×2环境，3匹配seeds；报告准确率与token代理成本，控制任务顺序（§IV）。 实验/附录依据。
STRIDE：蒸馏时及时停止偏离的轨迹，下次从薄弱处继续练
作者： Gui, Zhiyu；Huang, Kexin；Guo, Jia；Wu, Junkang；Wang, Zihao；Zhang, Zhiqiang；Zhou, Jun；Wu, Jiancan；Wang, Xiang
机构： University of Science and Technology of China；Ant Group。（署名依据：v1，第 1 页）
任务背景。 以客服处理退货为例：Agent 接收用户诉求，通过多轮对话和工具调用查询订单、办理操作，最终要让任务要求的事情实际完成。训练时，希望“学生”模型学会这套工作，就让它先自己执行，再由较强的“教师”模型评价它每一步生成的内容，并据此更新学生参数；这种在学生自己生成的过程上提供教师监督的训练，叫同策略蒸馏（OPD）。教师评分是训练信号，最终还要看学生能否把任务做成。本文关心的是，学生走偏之后，怎样少做无效尝试，又能继续练到后面的步骤。
学生 Agent 正在处理退货。它前几轮都做对了，某次却调用了错误工具，之后的状态越来越偏。继续生成长轨迹很贵；但如果每次都只训练开头，后面的任务步骤又永远练不到。
核心方案。 STRIDE 让学生逐轮生成动作，教师计算学生生成内容的概率。当新生成各轮的平均教师对数概率累计低于阈值时，本次执行停止，避免继续扩展后面的低可靠区域。触发停止的那一轮仍参加蒸馏损失，因为教师对错误动作给出的低概率本身就是纠正信号；环境返回的观察 token 不作为学生动作训练。
为了不总是从头练，系统按题保存历史轨迹与各轮教师评分。在下一次遇到同题时，它先找出连续达到质量门槛的前缀，再定位其中教师支持最弱的一轮：复用该轮之前的上下文，从这一轮起重新生成。学生逐渐学会前面的动作后，重启点便可能向后移动，训练覆盖也随之延伸。参数更新与按题保留的前缀共同推动这个过程，但“正确前缀”由教师概率阈值判定，并不是外部任务验证器已证明每一步正确。
原图：v1，Figure 1，PDF 第 2 页。
读图。 主要看中间的 (b)。第一行的绿色方块是本轮新生成并训练的步骤，橙框标出连续合格前缀里较薄弱的一轮。下一行蓝色方块表示直接复用的更早前缀，绿色部分从薄弱处重新生成；红色 STOP 表示累计教师信号触发停止。再往下，随着前段改善，复用范围扩大，训练可到达更后面的步骤。左右两栏分别是动机诊断与结果，不是额外的训练模块。
这不就是……已经练稳的开头先接着用，把下一轮生成花在尚未熟练的位置。 增加的关键是把“什么时候停”和“从哪里再开始”配合起来，并保留触发停止的错误动作用于学习。
贡献、证据与局限。 零售 Agent 实验中，带前缀复用的配置以 3.73 倍单步加速获得 0.475 的 mean@16，完整 OPD 为 0.477；只早停时相同激进阈值降到 0.368（Table 1）。收益依赖教师信号和阈值；累计负对数概率本身也与长度有关，不能把它当成完美错误检测器。历史前缀来自旧策略，复用后的完整轨迹并非全由当前策略新采样；论文的“on-policy”需要结合新生成部分理解。
[!quote]- Abstract 完整中文翻译（作者原述） 在线策略蒸馏已成为将大教师能力迁移到紧凑学生模型的标准方法，但其成本主要来自学生的自回归生成，在多轮智能体场景中扩展性较差。现有加速方法依据固定的离线预算截断或重新定位监督信号，尽管教师信号的可靠性在单条轨迹内部和不同轨迹之间都有明显变化。我们在 τ²-bench 上的实证分析发现了清晰结构：有信息量的监督集中在每轮的前缀；对多轮智能体训练尤其重要的是，跨轮的教师支持下降在时间上与学生第一次错误动作对齐，而不是随轮次逐步积累。基于这些发现，我们提出 STRIDE，将两项互补技术结合起来：自适应早停在累计教师对数概率低于分布外阈值时结束执行；前缀缓冲保存高质量前缀，并从最薄弱的正确轮次重新开始生成。两者共同形成数据驱动的课程，逐步把覆盖扩展到后续轮次。在 τ²-bench 零售任务上，本方法以 3.73 倍加速匹配完整轨迹 OPD 并超过 30B 教师，以 2.34 倍加速超过基线，在跨领域多教师训练中仍保持 4.51 倍加速。作为智能体场景之外的补充泛化测试，STRIDE 在 AIME 2025 上以 5.10 倍加速、在 AIME 2024 上以 3.08 倍加速超过完整 OPD；对这两个评测取平均时，两种固定预算截断基线仍低于完整 OPD。
[!info]- 原始信息与阅读依据 来源：arXiv 预印本，本文核对 v1；首次提交 2026-09-13T16:17:35+00:00，北京时间 2026-09-14 00:17:35。发现于本轮 2026-09-16 晨间采集。 原文：v1 PDF；已核对：Introduction；第 3–4 节、Figure 1、Algorithm 1；第 5.1–5.2 节、Table 1（第 2–9 页）。页码均为 PDF 页码。
评测数据集与环境。 τ³-bench — 修正版任务集、AIME 2024、AIME 2025。Agent训练任务按tau2环境合成，正式评测用tau3修正版Retail/Telecom；数学测AIME24/25。mean@16、mean@4、mean@8与pass@16分别记录（§4、Appendix7）。 实验/附录依据。
DF-OPD：题目可以很少，但学生仍要不断生成新的学习状态
作者： Li, Gengsheng；Zheng, Mao；Song, Mingyang；Sun, Jie；Liu, Zeyuan；Liu, Ruiqi；Zhong, Qiyong；Guo, Haiyun；Fang, Junfeng；Wang, Jinqiao
机构： Institute of Automation, Chinese Academy of Sciences（Foundation Model Research Center）；University of Chinese Academy of Sciences（School of Artificial Intelligence）；Tencent（Foundation Model Department）；National University of Singapore；Wuhan AI Research。（署名依据：v1，第 1 页）
任务背景。 想训练一个会解数学题的模型，使用时给它一道新题，希望它自己推理并给出正确答案。这里的训练方式是让学生模型先写解题过程，再让较强的教师模型针对学生已经写到的位置，提供接下来怎样写的概率分布，学生据此调整参数；这种在学生自己生成的过程上提供教师监督的训练，叫同策略蒸馏（OPD）。训练既需要题目，也需要不断生成过程、取得教师反馈。本文要弄清，其中究竟需要多少道不同的题，才能让学生在其他题目上也表现得好。
准备蒸馏一个推理模型时，通常会先收集大量题目。但如果学生每次回答同一道题都会走出不同的中间过程，教师每次也能给出新的纠正，那么题目数量是否真等于监督的丰富程度？
核心方案。 作者先把题库缩小到少量题目，但保持每步采样轨迹数与梯度更新次数一致。学生在这些题目上不断重新生成，教师则在学生实际到达的前缀上提供下一 token 的分布，学生通过反向 KL 蒸馏更新参数。因此，被反复利用的是题目，不是固定不变的整段答案；同题仍可能带来新的状态和教师纠正。
接下来，DF-OPD 连外部题库也去掉，只用一条简单指令让冻结的教师生成问题，既不提供种子题，也不做额外质量筛选，再按原有 OPD 流程训练学生。多教师时，每位领域教师各自出题，题目来源就给出了领域标签，后续轨迹交给对应教师评分。跨轮变化的是学生策略，教师和这套出题、蒸馏流程保持固定，不能因此称为整个改进机制在递归改写。
原图：v1，Figure 1(a) 方法区域，PDF 第 2 页；其余子图为结果对照。
读图。 这里节选的是 Figure 1 的 (a) 方法部分。从上方简单指令进入冻结教师，沿左边蓝色箭头生成问题，再把问题送给下方学生。教师到学生的黑色箭头表示另一项职责：为学生自己生成的轨迹提供逐 token 指导。图没有画出每个训练步骤；正文补充说明，反复 rollout 和参数更新仍然存在，“无数据”仅指不依赖外部训练题库。
这不就是……让老师自己出少量题，再反复指导学生在这些题上实际走出的解题过程。 值得关注的是监督单位从“有多少道题”转向“学生到达了多少有用状态”，而不是把已有答案复制很多遍。
贡献、证据与局限。 两组教师—学生配对中，少量题目已接近完整题库；多教师实验中，1,000 道自生成题恢复了 98.5% 的可用提升空间。但小题库会重复填满批次，所以并未相应减少轨迹数或梯度步数。Table 1 明确按所报告基准选择最佳 checkpoint，没有独立选择集；“学到了推理方式而非知识”是作者据跨域结果提出的解释，尚不能据此证明数据内容在所有领域都不重要。
[!quote]- Abstract 完整中文翻译（作者原述） 在线策略蒸馏已成为前沿后训练流程的标准组成部分，但训练数据究竟贡献了多少，长期缺少检查。在实践中常见的两种教师—学生配对上，我们发现 OPD 对数据几乎不敏感：八条提示已经匹配一个 17k 题目数据集，而三个独立构建、难度和教师—学生 KL 相差数倍的数据集，产生了几乎无法区分的训练曲线。这有两个原因。首先，OPD 的数据单位是提示带来的状态，而不是提示本身：持续采样时，一条提示不断暴露新的教师纠正，而增加提示的边际价值在八条之后迅速下降。其次，把数学题替换为竞赛编程题，仍能恢复超过九成的域内增益，表明 OPD 迁移的是教师的推理方式，而非数据相关知识。我们通过无外部数据的在线策略蒸馏 DF-OPD 将其推向极致：教师在简单提示下自己编写训练问题，不使用外部数据，也不筛选，系统仅保留两套策略。DF-OPD 匹配甚至超过真实数据，而它生成的问题在三个关键训练动态诊断量上接近教师自己的后训练数据，其他真实数据集则做不到。在多教师蒸馏中，通常需要从难以取得的后训练数据推导提示及领域标签；1,000 道自生成问题填补了 98.5% 的可用提升空间，甚至超过 7,000 条真实样例的 96.6%。这些结果共同促使我们重新评估数据在 OPD 中的作用。
[!info]- 原始信息与阅读依据 来源：arXiv 预印本，本文核对 v1；首次提交 2026-09-12T23:51:35+00:00，北京时间 2026-09-13 07:51:35。发现于本轮 2026-09-16 晨间采集。 原文：v1 PDF；已核对：摘要与 Introduction；第 3 节的数据量与状态分析；第 4–5 节和 Table 1（第 1–2、5–7、9–12 页）。页码均为 PDF 页码。
评测数据集与环境。 AIME 2024、AIME 2025、AMC 数学竞赛评测切片、MATH-500、MinervaMath、OlympiadBench。六集共1,590题，每题8采样，先各集均值再六集等权；按这些基准选择最佳checkpoint，没有独立选择集（§3、Table1）。 实验/附录依据。
Phantom Advantages：奖励有差别，不等于这一组真的有答对答错的对照
作者： Yu, Juntao
机构： Fudan University。（署名依据：v1，第 1 页）
任务背景。 任务本身是解数学题：输入一道题，模型生成解题过程和答案，以答案是否正确判断成败。训练时，可以让模型对同一道题尝试多次，把这些回答放成一组，按得分比较，增加较好回答再次出现的机会；本文讨论的 GRPO 就使用这样的组内比较。如果评分还希望回答短一些，就会同时考虑正确性和长度。论文研究的是，这样混合后的分数会不会误导训练，让模型学到与“把题做对”不同的行为。
同一道题采样出五个答案，全部答错，但短答案因为长度惩罚较小而分数更高。如果程序把“分数有差别”当成“值得学习”，模型可能越来越擅长快速给出短的错答案。
核心方案。 论文使用一个受控复合奖励：回答正确得分，同时按回答长度扣分。即使一组答案全部错误，不同长度也会产生分差。若动态采样只检查复合分数的标准差是否为零，这组失败答案就会被保留；接下来的 GRPO 组内标准差归一化，又把本来较小的长度差放大为较强优势，使较短的错误答案得到正向更新。
修正方式是把两个职责分开：训练奖励可以包含辅助项，但判断整组有没有任务结果对照时，单独读取原始正确与否。整组全错或全对就不提供该任务的结果对比信号，按相应实现将优势置零，或真正删除后补采新组。论文还去掉标准差除法做机制干预，检查是否能减弱失败样本中辅助奖励被放大的压力。这里更新的是模型参数，筛选规则由研究者设定，没有自我修改的外层循环。
核心方案图。 原文 Figure 1–4 是训练曲线、剂量或实现对照，未发现适合冒充方法流程的原图，本条不配方案图。作用链条是：全错但长度不同 → 复合分数有差异 → 通过错误口径的组过滤 → 归一化放大这种差异 → 鼓励更短的失败。
这不就是……本想丢掉没有正反对照的整组答案，却误把辅助分的差别当成了任务学习信号。 新增的实证定位是检查过滤配置读取了哪个字段，并追踪真正删除、补采是否发生。
贡献、证据与局限。 核心实验只改变组过滤口径，并在官方 DAPO trainer 上复核：按复合分数过滤时，40 步没有一次需要补采；按正确率过滤时，29 步触发补采，最终表现显著不同。后者实际生成了更多批次，因此不是等 rollout 成本的性能排名。主要重复实验是四次运行而非四个独立随机种子，扩展模型、GSPO 和去归一化实验多为单次；反向长度和格式奖励在测试窗口内也没有复现坍缩。PDF 署名日期为 8 月 10 日，本条按可核实的 arXiv v1 提交时间纳入，不能据此声称研究首次出现于九月。
[!quote]- Abstract 完整中文翻译（作者原述） 组相对策略优化及其后继方法可以通过动态采样丢弃没有对照的 rollout 组，而实际实现提供可配置的过滤指标。我们识别并量化了复合塑形奖励下指标与判定条件的语义错配。当过滤依据塑形后的训练分数而不是任务结果时，全失败组仍有非零的组内差异，因而通过过滤；标准差归一化随后把失败之间的塑形差别提升为完整量级的“虚假优势”。在 GSM8K 上采用 Qwen2.5-1.5B、LoRA 的受控三组对照中，不过滤和按塑形分数过滤的最终精确匹配率分别为 0.080±0.112、0.040±0.008，而按二值结果过滤保持在 0.754±0.005；每组四次运行，包括三次默认种子重跑和一次种子 123 运行，报告均值与样本标准差。在 verl 原生 recipe/dapo trainer 上，保持模型、数据、奖励和训练器不变，仅改变指标，分数组在观察的 40 步中无需补充批次，最终精确匹配率为 0.160；正确率组在 29/40 步补采，最终为 0.763。两组使用同一个自定义塑形奖励钩子，均未修改训练器或过滤代码。此前工作已指出塑形诱发的放大及全失败组过滤；本研究隔离了指标与过滤条件的语义错配，并直接记录原生删除、补采过程。在测试的正系数 0.1、0.3、0.5 下，不安全配置发生坍缩，而反向长度和格式探针在 40 步内未坍缩。探索性的单次运行在 MATH 的 1.5B/7B 模型及 GSPO 上复现失败；禁用标准差归一化的 Dr. GRPO 在两种规模上避免了所观察到的坍缩。实际启示是：复合奖励下的过滤应使用语义独立于塑形项的任务结果信号。
[!info]- 原始信息与阅读依据 来源：arXiv 预印本，本文核对 v1；首次提交 2026-09-12T10:36:55+00:00，北京时间 2026-09-12 18:36:55。发现于本轮 2026-09-16 晨间采集。 原文：v1 PDF；已核对：v1 摘要与 Introduction；第 3–5 节；第 8–10 节的 trainer 复核、估计器干预和负结果（第 1、3、6–8 页）。页码均为 PDF 页码。
评测数据集与环境。 GSM8K、MATH。GSM8K全1,319测试题；MATH为seed42抽500并删2个超长后498题，非标准MATH-500；核心比较仅改组过滤，补采额外rollout成本需保留（§3）。 实验/附录依据。
推理两端监督：中间文本可以删，但换到 RL 时操作含义不同
作者： Hwang, Jaehui；Yun, Sangdoo；Heo, Byeongho；Han, Dongyoon
机构： NAVER AI Lab。（署名依据：v1，第 1 页）
任务背景。 假设要教一个模型解题，手头已有一批题目，以及较强模型给出的完整推理过程和最终答案。最直接的做法是把整段解答当作示范，让学生逐步学习怎样往下写，这叫监督微调（SFT）；使用时则只给新题，看它能否自己答对。本文先研究训练示范里的哪些部分值得保留，再考察类似选择用于其他训练方式时有什么变化，目标是让有限的监督更有效。
教师给出一条很长的解题轨迹，中间有不少试错和绕路。学生训练时是否需要把这些内容全部照学？如果只能保留一部分，开头的问题建模和结尾的收束推导可能比随机留下同样多的文字更重要。
核心方案。 作者先按自然段将教师推理拆成步骤，再比较完整轨迹、只保留开头、只保留结尾，以及同时保留两端。用于 SFT 的方法删除中间推理段，把保留下来的开头和结尾连起来，并保留最终答案进行监督训练。主体实验大致移除整个数据集约两成 token，不要求额外模型逐步判断哪些内容重要。
扩展到 GRPO 和 OPD 时，方法换了含义：学生仍生成完整轨迹，中间内容也仍在后续上下文中，但计算训练目标时屏蔽中间约两成位置的直接 token 梯度。GRPO 的任务奖励仍根据完整输出计算。因此，这两种扩展没有像 STRIDE 那样提前停止生成，也不能把屏蔽损失等同于省去对应 rollout 成本。作者用这些对照讨论哪些位置的监督更有用，模型参数是被更新的对象，没有跨任务记忆库。
原图：v1，Figure 1，PDF 第 4 页。
读图。 左边和中间分别是数学、化学推理片段，右侧把它们概括为从问题定义到最终答案的过程。顺着右侧向下看，两段 Development 之间夹着一段冗余推理，帮助理解作者为何尝试保留两端。它是机制动机的例子，不能仅靠这张图判定任意轨迹的中间部分都冗余；SFT 删除与 RL 损失屏蔽的区别，需要结合正文第 4 节。
这不就是……保留解题的起步与收束，少让学生照学中间的绕路。 真正需要核对的是减少了哪种监督：删掉文本会改变后续可见上下文，只屏蔽直接损失则不会。
贡献、证据与局限。 多种模型和两套推理数据的实验支持保留两端的简单策略，随机选择同样数量的步骤表现较差；GRPO 与 OPD 的小规模扩展也有增益。但答案相似度、困惑度和注意力分析不等同于已经证明模型内部重建了缺失的推理链。结论针对所测长推理分布，不能泛化为中间步骤普遍无用，代码和通用语言指标也不是全部改善。
[!quote]- Abstract 完整中文翻译（作者原述） 大语言模型通常在预先收集的推理轨迹上进行后训练，以提高推理能力。这些轨迹往往因复杂、交织的路径而很长，并经常包含通向答案途中的绕路。然而，在监督微调等后训练中，模型是否确实受益于学习完整轨迹，仍缺少探索。从先导研究开始，我们发现完整轨迹带来的收益有限，而即使进行了大量截断，部分轨迹仍然有效。我们通过注意力分析和受控 token 删除研究分析推理轨迹的冗余，两类结果都表明，中间 token 对最终推理质量的贡献较小。这提示，在已知轨迹两端的情况下，避免冗余信息可能让模型利用内部知识推断缺失步骤，从而在内部构造连贯替代路径。此外，我们展示了使用两端训练模型会带来一致的推理行为变化，也能帮助基于强化学习或在线策略蒸馏的后训练方法，说明有必要重新审视完整推理轨迹。代码已在作者的 revisiting-trace 仓库公开。
[!info]- 原始信息与阅读依据 来源：arXiv 预印本，本文核对 v1；首次提交 2026-09-07T06:46:17+00:00，北京时间 2026-09-07 14:46:17。发现于本轮 2026-09-16 晨间采集。 原文：v1 PDF；已核对：摘要与 Introduction；第 3.2 节、Figure 1；第 4.1–4.4 节与 Tables 3–8（第 1、3–8 页）；由历史待审线索补查。页码均为 PDF 页码。
评测数据集与环境。 AIME 2024、GPQA Diamond、MATH、TruthfulQA、MMLU、HellaSwag、WinoGrande、LiveCodeBench（未定版本使用入口）、CodeElo。主表推理AIME24/GPQA-D/MATH，另测语言与代码保留；MATH具体子集、LiveCodeBench release及CodeElo指标配置仍待核，不强行套用MATH-500。s1K/OpenThoughts3是训练源（§4.2、Tables3–4、Appendix C）。 实验/附录依据。
Harness or Model：固定模型再比较框架，并把答对和按时结束分开
作者： Arjmandi, Mohsen
机构： evolutionID GmbH。（署名依据：v1，第 1 页）
任务背景。 以项目修复为例：给代码 Agent 一份项目和问题描述，让它读文件、改代码、运行检查，最后交出补丁，由测试判断是否解决了问题。负责提出操作的是模型；把工具接起来、传回运行结果、控制何时结束的是外面的执行框架（harness）。这篇论文把同一个模型放进不同框架做相同任务，比较补丁是否正确、能否按时完成和实际花费，从而判断框架本身带来了什么影响。
一个代码 Agent 比另一个更会修复项目，到底是模型更强，还是外面的工具、提示和控制循环更合适？如果模型和框架一起更换，成绩差别很难解释。
核心方案。 研究者从私有题库选出同一批 80 道任务，分别让同一个模型运行在厂商框架和中立框架里。每次执行获得独立虚拟环境、固定配置和运行记录，结束后把代码改动交给隔离的测试程序评分。比较以同一道任务为配对单位，减少模型和题目变化对框架效果的混淆。
随后，作者把几种结果分开统计：补丁能否通过测试、Agent 是否主动结束、是否触及时间上限，以及实际留下了多少 token 用量。即使因超时被取消，已经写出的补丁仍可能正确，所以不能把“没正常结束”直接改写成“题没做对”。成本分析还重新核对不同 SDK 的输入 token 是否已经包含缓存，修复重复计费统计，再与账户支出核对。这里没有训练或自我改进循环，价值在于约束我们如何解释其他论文的提升。
原图：v1，Figure 1，PDF 第 6 页。
读图。 从左侧运行计划开始，先检查实际服务的模型，再安排任务和建立独立会话。沿右侧向下，每次运行在一个微型虚拟机内产生轨迹和代码改动，然后交给下方独立评分器，输出测试结果。左下的账本负责记录过程与用量，不能替代右下对实际补丁的验证。图展示的是测量流程；相同模型下的配对与统计比较在正文第 2、4 节。
这不就是……同一个模型做同一批题，只换外面的执行框架，再把质量、完成行为和费用分别算。 关键增加的是按任务配对，并审计测量链路，避免把日志计数错误当成框架能力差异。
贡献、证据与局限。 两个主要配对都没有分辨出平均解题率的明确优势，但置信区间包含零并不证明两种框架等效。按任务类型拆分后出现不同方向，分组却是看过数据后选择的，仍需专门复验。部分运行没有用量记录，足以使一个模型配对的实际账单高低反转；题目保持私有，外部复核也有限。v1 PDF 已明确是对八月稿的修订，本条按 arXiv v1 日期补查，不把修订稿称为全新研究。
[!quote]- Abstract 完整中文翻译（作者原述） 代码智能体系统将语言模型与工具、提示、截断策略和控制流组成的执行框架结合，使聊天模型成为自主软件工程师。厂商发布针对自己模型调优的框架，实践者通常认为原生组合能解决更多任务。我们在包含 256 道仓库任务和训练截止日期之后竞赛题的私有、污染受控题库上，直接通过同模型配对比较这一假设。同一批 80 道题分别在 Opus 4.8 的 claude-agent-sdk 与 deepagents，以及 GPT-5.5 的 openai-codex SDK 与 deepagents 上运行，并以 Gemini 3.5 Flash、DeepSeek V3.2 为辅助组。每次运行使用独立 KVM 微型虚拟机和只追加事件账本，800 次计划运行中有 792 次由 Docker 隔离的评分器评分。两个配对均未分辨出任一框架的平均优势。在选定题目池条件下，Opus 4.8 的解题率配对差为 −1.25 个百分点（原生 48.8%，中立 50.0%；任务 bootstrap 95% 区间 −10.0 到 +7.5），GPT-5.5 为 +1.25 个百分点（55.6% 对 54.4%；区间 −4.4 到 +6.9）。Opus 的平均值混合了方向相反的子组：原生框架在 61 道仓库题上落后 9.0 个百分点，区间为 −17.2 到 −0.8；在 19 道竞赛题上领先 23.7 个百分点，区间为 +2.6 到 +44.7。工作负载标签置换检验得到交互 p=0.003，但分组是在看过数据后选择的，只能作为需要专门复验的事后模式。正确性与自主完成也不同：81 次触及时间上限而取消的运行中，22 次已经产生通过测试的补丁。按冻结标价从原始逐轮用量重新计费，中立框架在 Opus 上每解决一题花费为原生的 1.3–1.6 倍，不同价格口径的任务 bootstrap 区间为 1.1–2.1；在 GPT-5.5 上为 1.2 倍，区间为 1.05–1.33。这些是已观测用量的估计。Anthropic 账户有 58 次运行没有用量记录，把未记录费用全部分给任一组会使 Opus 比率在 0.7–2.3 间变化，因此其真实账单排序尚未确定。一项十二题的截断设置探针没有得出明确结论。本修订纠正了八月稿中因作者自己的遥测语义缺陷导致的成本数据，并在第 5.1 节与修订记录中说明。我们公开编排器、评分器、重分析代码和派生汇总；题目继续保密以保护题库。
[!info]- 原始信息与阅读依据 来源：arXiv 预印本，本文核对 v1；首次提交 2026-09-08T21:24:40+00:00，北京时间 2026-09-09 05:24:40。发现于本轮 2026-09-16 晨间采集。 原文：v1 PDF；已核对：v1 摘要与 Introduction；第 2–3 节、Figure 1；第 4–5 节与讨论（第 1、3、5–7、10–11、15 页）；由历史待审线索补查。页码均为 PDF 页码。
评测数据集与环境。 Harness or Model — 私有代码与竞赛任务集。私有256任务=179仓库+77竞赛题；同模型配对框架，分别统计解对、完成、超时与用量缺失，不能把它当公共SWE-bench（§2）。 实验/附录依据。