2026-09-24 晨间论文阅读

AIDE²：改进研究 Agent，也单独检验它能否成为更好的改进者

• Recursive self-improvement of AI research agents

作者： Dhruv Srikanth、Bingchen Zhao、Dixing Xu、Yuxiang Wu、Zhengyao Jiang。
机构： Weco AI。依据 v1 PDF 第 1 页。

任务背景。 给一个研究 Agent 起始代码、公开评分程序和固定实验预算，让它不断修改、运行实验，最后交出自己认为最好的实现。这可以是提高机器学习模型成绩，也可以是设计更好的启发式算法。问题是，Agent 怎样分配实验、记住失败、选择下一次尝试，本身也影响研究效率。既然它会改代码，能否把自己的研究流程代码也作为优化对象，让下一轮研究用上上一轮发现的更好做法？

核心方案。 系统分成两层。内层研究 Agent 负责完成具体任务：从起始代码出发，生成候选、执行实验，利用公开分数决定继续修改哪一条分支。外层则读取这个 Agent 的代码和此前版本的成绩，提出一版新的研究流程，例如更换搜索策略，或者让反复出现的错误被压缩成可复用记忆。候选版本要在多类研究任务上重新运行，最终提交的实现由隐藏评测评分。只有综合分数超过历史最佳，这份新代码才被保留，成为下一轮继续修改的起点。

这里跨轮积累的是内层 Agent 的程序，模型参数保持不变。隐藏评测对内层不可见，但其综合分数会返回外层，因此它属于外层选择版本的信号，不能再当成外层完全没见过的最终测试。论文另用四组未参与选择的基准，检查改出的研究流程能否迁移。

主实验的外层改进者仍是固定的人类设计 Agent。作者随后才单独尝试让一个已改进的后继 Agent 担任外层改进者：它能继续找到提升，但与原外层系统的比较尚不充分。因而这篇最扎实的结论是，固定改进程序能持续优化研究 Agent，并得到一定跨任务收益；“改进者本身越来越会改进”还没有同等强度的证据。

核心方案图。 原文 Figure 1，v1 PDF 第 2 页。

!figure-1.jpg

读图。 从左侧粉色区域开始，每一个节点是一版研究 Agent，向下的箭头表示代码被重写。要决定新节点能否留下来，先进入中间橙色区域：同一候选 Agent 分别完成机器学习、算法和 Harness 等任务。右侧展开其中一次实际研究，它反复修改解题代码、运行实验，并读取公开成绩。完成后，中间的私有评测才给最终方案打分，汇总结果返回左侧选择下一轮的起点。内层解题的实验循环与外层修改研究流程的循环是两个时序；图中的外层循环本身不表示外层改进者也在自动更新。

实际增量。 主轨迹运行 8 天，共产生 100 个节点（包含初始版本），接受 7 次改进，选择集均分从 0.703 到 0.778。改动涉及搜索策略和上下文／记忆管理。外部测试中，末期版本在 MLE-bench 的平均私有榜单百分位从 0.678 到 0.722，FML-Bench 的归一化测试提升从 15.0% 到 19.9%；天气预测代码优化也出现迁移收益。另一个外部实验中，局部 kernel 加速无法转化为真实训练收益的比例从 55% 降至 32%，但这不是通用的“不会钻奖励漏洞”证明。

这不就是…… 让一个代码优化器反复优化 Agent 吗？是这个基本框架，但优化对象是会做研究的完整程序，留下来的搜索与记忆策略会参与后续研究。论文还多做了一步，把后继 Agent 放到“改进者”的位置上实测；需要保留的增量和边界恰好都在这里。

证据与局限。 外部成绩并非随每次接受都单调提升，中间版本在部分任务上优于最终版本。Ignition test 每组只有 3 条轨迹、各 50 步，两个改进者最终选择集成绩约为 0.780 和 0.782；后继较早到达类似成绩区域，但不足以证明它更强，也未为这些最终后继再做完整外部测试。各基准约束的资源不同，有的固定美元、有的固定步数；不能把论文的研究效率提升改写成完整八天搜索成本已被回收。

Abstract 完整中文翻译。 AI Agent 正开始自动化 AI 技术栈中的研究开发工作，从提高训练效率到优化推理。自然的下一步，是提高这些 Agent 自身的研究效率。当 AI 研究 Agent 自己的代码成为优化对象时，每次被接受的重写都会成为下一轮要修改的 Agent。我们把这一循环称为递归自我改进。它的重要性在于一个长期趋势：研发累计投入增加，带来的回报却递减。持续自我改进提供了一种抵消这一趋势的途径。我们提出 AIDE²，为前沿 AI 研究 Agent 实现这一循环。系统提出对自身代码的修改，在一组 AI 研发任务上评测修改后的版本，并保留隐藏评测中表现最好的改动。在一次自主运行八天的实验中，AIDE² 找到七次连续改进，涵盖新搜索策略，以及压缩和管理不断增长的上下文的记忆机制。这些收益迁移到了四个留出基准，覆盖机器学习工程、启发式算法工程和基于物理的天气预测；最后一项与选择任务的分布不同。在四个基准上，所发现的最强 Agent 都达到或超过一个由人类设计的生产级研究 Agent，后者是 FML-Bench 上最强的系统之一。在另一个留出的任务族上，所发现的 Agent 还减少了奖励投机，而循环从未明确优化过这一性质：其发生率在运行中从 55% 降至 32%，比人类设计 Agent 低 7 个百分点。综合这些结果，作者认为 AI 研究 Agent 能通过递归自我改进提高自身研究效率，并把收益迁移到该循环从未遇到的任务和领域。〔以上为作者摘要口径；外层固定与 ignition 证据边界见前文。〕

评测数据集与环境。 AIDE² 自建选择集用于外层验收和 ignition 实验，三类任务的完整数量与清单未披露。外部最终测试包括 ALE-Bench lite 10/40 任务×10 seeds，报告平均 performance；MLE-bench lite 22/75 任务×3 seeds，报告 private percentile；FML-Bench 18 任务、10 领域×3 seeds，报告归一化测试提升；WeatherBench 2被用于 1 个动力学核心优化任务×3 seeds，报告相对原始预报技能的增益，数据日期和网格未披露。KernelBench 的额外测试为 38 个 kernel—训练上下文配对×3 seeds，统计局部加速不能迁移到训练的比例。依据 v1 §3、Appendix A；重复 seed 不算独立任务，各自预算见卡片，未披露的 release／commit 不补猜。

Growing Harness：把反复推理的控制步骤积累成可执行代码

• [ ] Grow the Harness, Not the Context: From Strategy-Free Scaffolds to Reusable Specialist Agents

作者： Laizhen Li、Jiarui Li、Juanjuan Zhao、Kejiang Ye、Ye Li、Cheng-zhong Xu、Xitong Gao。
机构： 中国科学院深圳先进技术研究院、中国科学院大学、深圳理工大学、澳门大学。依据 v1 PDF 第 1 页 署名汇总。

任务背景。 一个 Agent 连续接到同一类检索或网页操作任务。具体问题每次不同，但它反复要做相似决定：如何筛选搜索结果、保留哪些证据、什么时候重试、什么时候提交答案。如果这些决定每次都由模型在上下文里重新推理，就会重复消耗调用和 token。本文问的是：能否从失败任务里学出一套程序，把可以复用的控制步骤留在代码中，只把当次真正需要语义判断的部分交给模型？

核心方案。 起点是一个很薄的程序骨架，只暴露固定的模型和工具接口，不预先写好完整解题控制器。训练时，Agent 执行任务留下函数级轨迹，记录输入、输出、调用关系和错误。优化器据此找出失败发生在哪几个函数，同时查看一个滚动失败窗口，联合修改这些任务暴露出的共性问题。它可以补充小量辅助函数，但要保持接口、限制修改范围，也不能把题目 ID 或答案硬编码进去。

新代码先重新执行窗口中的任务：已解决的移出窗口，尚未解决的保留到后续尝试，超过重试上限则退出本轮。这样留下的东西是一份共享程序，而不是给每道题额外堆一段反思。为防止修好最近几题却损坏旧能力，系统按规定间隔在独立验收集上检查成功率；一旦低于最近接受的版本，就把代码以及窗口、游标和相关状态一起回滚。检索任务每修好 1 题触发验收，网页任务每修好 8 题触发验收，最终测试前还要过一次检查。

部署时冻结这份长成的 Harness，换一个新任务就直接调用其中已有的检索、筛选和执行逻辑。模型仍处理需要语义判断的部分，程序承担已经固化的控制步骤。这里变化的是持久代码，基础模型、工具接口、优化器与验收规则并不随之自我改写。

核心方案图。 原文 Figure 2，v1 PDF 第 3 页。

!figure-2.jpg

读图。 从左边的一次失败看起：搜索工具其实找到了有用访谈片段，但后续处理没有把关键证据保留到答案里。沿箭头进入中间，函数轨迹把问题定位到相关处理代码，优化器在有限范围内修补。右侧分两步：先在失败任务上验证修补是否有效，再检查保留能力，没过关就沿回滚箭头回到上一份程序；过关的修改进入后续任务使用的共享 Harness。下方区分了可以由代码完成的操作与仍需模型推理的部分。图画的是一次修复的概念路径，正文实际按前述 1／8 题间隔触发验收，并非网页任务每次局部修改后都独立过门。

实际增量。 两类基准、三种部署模型组成的六个设置中，五个取得最高平均成功率，另一个落后最佳均值 0.7 个百分点。相对 Tool-Calling，模型调用减少 76.0%–91.8%，部署推理费用减少 74.4%–98.6%。网页任务上三种规模模型的成功率均约 44.7%–45.3%，而 4B Tool-Calling 为 6.7%。这说明至少在这些固定任务族中，控制程序能承接一部分原本压在大模型上的工作。

这不就是…… 把反复使用的工作流写成脚本吗？最终产物确实是可复用程序；新增之处在于用执行轨迹限制修改位置、联合修复多个失败，并通过独立验收和完整状态回滚控制退化，而非事先人工写好全部工作流。它体现的是程序积累式自我改进，还不是优化器自身能力的递归提升。

证据与局限。 每个基准只用 50 个最终测试任务、每题 3 次运行，不能把 150 次执行视作 150 个独立任务。程序在同一任务族内学习和测试，未证明跨领域通用。费用表只算部署推理，不含离线优化器、评判器和反复验收；强优化器与固定接口也提供了很大先验，所谓 strategy-free 并不等于“从零知识长出智能”。消融支持局部修改、联合修复和回滚各有帮助，但主要是单次优化轨迹，门限验收也不能保证所有未见任务都不退化。

Abstract 完整中文翻译。 大语言模型 Agent 经常处理一连串相关任务，但标准 Harness 会在每个任务的上下文中反复要求模型重建相同的控制决策。我们研究：任务反馈能否把反复出现的控制过程转化为可复用的可执行代码，同时把模型调用留给任务特有的语义推理。我们提出 Growing Harness，一种由失败驱动的训练范式，从只暴露固定模型和工具接口、没有编码任务求解控制器的无策略骨架出发，学习 Agent Harness 本身。函数级执行轨迹把每次失败定位到有限的代码修改面，优化器联合修复一个失败窗口，优先保障成功率的留出验收门会回滚损害已有能力的修复序列。接受的修改在一份共享 Harness 中积累，使控制结构能够从任务反馈中形成。在 BrowseComp-Plus 和 WebArena-Verified 上，使用参数量从 4B 到 120B 的三种部署模型，Growing Harness 在六个基准—模型组合中的五个取得最高平均成功率，第六个只比最佳均值低 0.7 个百分点。相对 Tool-Calling Agent，它减少了 76.0%–91.8% 的模型调用，以及 74.4%–98.6% 的部署 Agent 推理成本。在 WebArena-Verified 上，其成功率在各模型规模下保持在 44.7%–45.3%，而使用 4B 模型的 Tool-Calling 降至 6.7%。消融显示，依据轨迹局部修改、联合修复和基于验收门的回滚，都提高了最终成功率。这些结果表明，持久的程序生长可以把重复控制从模型上下文移到低成本代码中，形成能复用、且在较小部署模型上仍然有效的专用 Agent。

评测数据集与环境。 BrowseComp-Plus检索问答与 WebArena-Verified交互网页环境，各自抽取 200 个训练、50 个验收选版本、50 个最终测试任务。网页只涵盖 shopping／reddit／map，使用文本页面，无截图；不是全量 WebArena 或官方 Hard 子集。每个最终任务运行 3 次，报告单次平均成功率、调用次数及部署推理成本；限制为 50 次模型调用、每次最多 8192 输出 token、1800 秒。依据 v1 §4.1、Appendix A；精确数据／环境 commit 未披露，验收集不与最终测试混用。

MedRSI：先试用新工具，再决定它能否进入下一轮诊断

• [ ] MedRSI: Recursive Self-Improvement for Medical Agents via Clinically Aligned Self-Evolution

作者： Junde Wu、Jiayuan Zhu、Minghao Hu、Fenglin Liu、Jiazhen Pan。
机构： University of Oxford、Stanford University。依据 v1 PDF 第 1 页。

任务背景。 这里的 Agent 根据眼底图或心脏超声给出诊断，也可以调用分割、测量和预测工具。开发阶段有按患者隔离的带标签数据，能用来发现错误、训练候选工具和验证改动。困难不仅是当前模型看不懂某个病例：有时整个工具箱就缺少某种测量或模态组合能力。与此同时，一个工具在发现它的病例上奏效，不代表值得长期装进 Agent。

核心方案。 稳定版本先对病例提交诊断，再揭示参考标签。系统结合判断是否错误及错误后果的严重程度，决定先修哪些问题，并把相近失败归成一组。工具构建者据此选择补一段代码、组合已有工具，或在允许的数据与模型库内训练专用模型。例如，只有粗略视觉判断不够时，可以先形成分割工具，再在其结果上建立测量与预测能力。

候选工具在发现集上出现提升后，只进入实验池，代码、模型权重、依赖和参照版本都被冻结。接下来让原有系统与加入该工具的系统，在相同的三批后续患者上比较；只有平均任务收益超过门限、临床代价不增加，才登记到稳定工具箱。后续诊断从稳定工具箱积累经验，失败工具被丢弃，因此试用阶段的偶然收益不会立即进入整个持续改进链条。

被继承的是可执行工具及其依赖，基础推理模型、失败加权方法和注册规则保持固定。正文的接受条件看三批的平均收益，并非要求每一批都显著改善，也不是统计置信保证；若稳定工具箱在候选试用时已改变，还需放到当前依赖环境中重测后再登记。

核心方案图。 原文 Figure 1，v1 PDF 第 3 页。

!figure-1.jpg

读图。 从上半图左侧的稳定工具箱出发，诊断产生错误记录，严重后果较大的失败优先流向工具发现。中间三个入口分别对应写代码、组合工具和训练模型；这些产物先进入实验池。顺着右侧患者批次看，工具经历持续试用后，只有通过注册条件的分支才返回左侧，成为下一轮可调用能力。下半图给出发现路径与试用轨迹：早期看起来有效的候选，后续可能失去收益，因此“发现”与“长期保留”需要分开。图展示的循环结构不能代替跨医院或长期临床验证。

实际增量。 在两个公开任务的 20 轮轨迹中，青光眼 balanced accuracy 从 56.2% 到 94.1%，心脏疾病从 56.5% 到 82.3%；两个任务合计平均提出 118 个候选，41 个进入试用、16 个正式登记。去掉延迟注册的青光眼轨迹早期进展更快，后来退化，支持“候选试用与持久能力分离”的必要性。错误后果加权则改变了有限预算优先修复哪些失败，而不只是追逐常见错误。

这不就是…… 给会造工具的 Agent 加一个验证集吗？基础做法确实如此，但这里把验证延伸到后续患者批次，并把工具版本和依赖冻结；只有已注册能力才能稳定参与接下来积累经验。这避免了新工具未经充分检查就影响下一轮发现。它属于有持久载体的自我改进，不表示注册器或改进规则本身也在学习。

证据与局限。 主实验使用固定 GPT-4o；增长来自工具与专用模型，不应归因为推理模型参数自我升级。公开任务两项合计每条完整轨迹约消耗 212 A100 小时、19 亿推理 token；四项任务合计约 651 小时、32 亿 token。最终成绩是冻结版本后的回顾性测试，不能表述为前瞻临床成效。表中引用的 MedAgent-Pro 原报告与本篇划分不同，配对比较使用另行重跑值，不能混用。试用集有限，多轮重用仍可能产生选择偏差；代码链接本轮检查为空仓库，复现材料尚未就绪。

Abstract 完整中文翻译。 医疗 Agent 越来越多地把通用推理模型与专门的临床工具结合起来，但其能力大体仍由临床医生和工程师在部署前的设计决定。递归自我改进提供了另一种范式，让 Agent 从自身失败中学习并自主扩展能力，但直接把它用于医学会带来根本性的安全挑战。我们提出 MedRSI，作者称其为首个用于医学的递归自我改进框架，通过工具组合和任务专用模型训练，不断把诊断失败转成新的临床能力。借鉴临床实践中优先考虑患者风险、采用新干预前先验证的方式，MedRSI 引入两个机制。考虑临床代价的失败优先级，使改进投入依据潜在临床后果分配，而不仅依据发生频率。快速发现与缓慢注册把能力发明和保守采用分开，只有在后续患者群体中表现出持续收益的新工具，才能成为持久 Agent 的一部分。在公开的青光眼、心脏疾病基准和两个私有临床任务上，MedRSI 逐步发展出分割、测量、预测、多模态推理和生成能力，超过人工设计的医疗 Agent，并自主找到原设计者没有预想到的临床问题解决方式。作者认为，MedRSI 展示了一条使医疗 Agent 不再受部署前能力清单限制的路径：它们能从诊断经验中持续构建和积累能力，同时用源于临床实践的原则约束改进目标与保留内容。作者提供代码地址 https://github.com/ImprintLab/MedRSI 。〔本轮访问尚未见实现文件。〕

评测数据集与环境。 REFUGE2原版 2000 图，本篇使用 1200 图并按 600／200／200／200 分成训练、发现、试用、最终测试；MITEA本篇口径 536 个三维影像、143 人，患者划分 86／19／19／19，原始排除口径仍待核。两者以 balanced accuracy 为主，20 轮×5 运行，后者不是 536 个独立患者。私有多模态青光眼共 1898 只眼／1236 人，最终 486 只眼／312 人；私有造影超声最终预测测试 96 次检查，另 42 个同日配对病例仅供生成评价，以射血分数误差和一致性为主。两项私有任务均 12 轮×5 运行，患者数据不可公开获取；分工及依据见 v1 §3.1、Tables 4–7 与卡片。

Self-Healing Harness：局部修好不等于整套规则越积越好

• [ ] Self-Healing Harness for Runtime Oversight of Agent Self-Modification

作者： Sina Tayebati、Divake Kumar、Nastaran Darabi、Ranganath Krishnan、Amit Ranjan Trivedi。
机构： University of Illinois Chicago；AI Labs, Capital One。依据 v1 PDF 第 1 页。

任务背景。 Agent 处理数字助理、终端操作或客服工具任务，遇到失败后写一条以后应遵守的规则。规则保存在外部工作区，后续任务可以按需取用。难点在于，一条提醒也许恰好修好这次错误，却会让另一个本来能完成的任务出错；积累几十条各自看似合理的规则，还可能让整套行为变差。

核心方案。 外部运行层持续观察执行轨迹，用进度评分的停滞或下降发现可疑片段，再结合工具调用和结果确认是否需要干预。通知写入独立工作区，Agent 阅读证据后提出文字规则。规则可以在试用时生效，但是否获得跨任务的持久权限，由 Agent 无权改动的外部验收程序决定。

能够重放时，验收最多选择 3 个失败案例和 2 个过去成功的保护案例，比较加规则前后的表现。候选至少改善一个触发问题，同时不能让任何被测指标下降超过门限，才能保留；以后还会对整个活跃规则集做复查。不能重放时，系统改看后续 3 次执行，这些任务并不配对，也没有保护案例，因此只是较弱的备用证据。模型权重始终冻结，持久改变位于规则文件及索引，正文按需拉取而不是每轮全量塞进提示词。

这套安排能挡住被测案例上的直接回归，却不保证规则之间永远相容。保护案例很少，且整体退化可能由检索稀释或多条规则相互影响产生，未必会在某一条规则单独验收时出现。

核心方案图。 原文 Figure 1，v1 PDF 第 3 页。

!figure-1.jpg

读图。 从上方固定 Agent 与规则索引开始，执行轨迹进入 Detect；发现持续问题后，Notice 把证据放进外部工作区。Heal 阶段由 Agent 写出候选规则，接着流向 Validate。通过的分支变成 active，后续任务按索引取用；未通过的进入 retired。回到验证模块的箭头还包括已有规则集的复查。需要分清“候选在实验中临时生效”与“获准长期保留”两个时点，图中的外部边界也只在 Agent 遵守给定工具接口、没有对抗绕行的假设下成立。

实际增量。 383 个因重放验收而被拒绝的提案中，有 211 个（55%）确实修好了触发它的失败，却损坏了保护案例；只看局部修好就接受，会放过这些冲突。更值得注意的是 AppWorld 的一个模型配置：活跃规则从 13 增至 70 条时，相对基线的完成分优势从早期 +0.017 变成后期 −0.016，尽管每条规则都曾通过单独验收。这直接说明，单次接受条件与累计状态的可靠性是两个问题。

这不就是…… 给反思记忆加一个回归测试吗？核心思路就是如此，但这里把提案权与持久保存权分开，并实际记录了“当前失败修好了、旧行为却坏了”的比例，还检查了规则集积累后的漂移。这些反例比一个总榜单分数更能帮助判断自我改进闭环哪里会失效。

证据与局限。 16 组配对配置的平均完成分均上升，但只有 2 组 bootstrap 区间排除零；其余只能说方向为正。没有“同样规则直接接受、其他条件保持一致”的关键消融，不能把全部收益单独归因于验收。Terminal-Bench 没有重放，部分 τ² airline 重放又受预算单位错误影响。所有运行只用 seed 1，属于顺序在线适配，不是独立未见任务迁移。总费用约为基线 1.72 倍、墙钟延迟约 1.7–7 倍；规则增多也提高上下文负担。55% 是被拒且有重放证据的提案中检测到的冲突比例，不是所有修改的总体有害率。

Abstract 完整中文翻译。 大语言模型 Agent 可以改变自身未来的行为，由此产生一个基本控制问题：哪些自行生成的改动应当获准持久保存？我们把它表述为自我修改的准入控制。Agent 可以提出操作指令的修改，而外部运行时门控决定其持久性。我们用一个与模型无关的自愈 Harness 实现这一原则，在其他部分未经修改的 Agent 周围运行检测、通知、修复、验证循环。Agent 在外部工作区编写候选行为规则；这些规则在评价期间获得临时执行权限，只有测量显示它改善了触发失败、且没有使受保护案例退化超过固定容差，才获得跨 episode 的持久权限。条件允许时用重放提供配对证据，无法重放时用后续试验作为较弱备用路径，并用规则库级保护器重新测试累计活跃规则集。在跨越 AppWorld、Terminal-Bench 和 τ²-bench 的 16 组基线与 Harness 配对运行中，门控拒绝了 383 个由重放决定的提案；其中 211 个，即 55%，改善了触发失败，却损害一个过去能成功的案例。这表明，局部有益的自我修改足够频繁地造成附带退化，能够实质影响验收决定，从而为外部准入控制提供直接经验动机。Harness 在全部 16 组的任务完成分更高，其中 2 组的配对 bootstrap 区间排除零；重复试验可靠性在 12 组更高、4 组持平、没有更低。由于适配修改的是诱导策略的上下文而非模型权重，被接受的变化仍可检查、可撤销，并兼容闭源模型。

评测数据集与环境。 AppWorld test_normal 168 任务，配对分析两种模型实际共有 166 个任务、另外两种为 168；Terminal-Bench 2.0仅 sample@2.0 的 10 题；τ²-bench airline 50、retail 114 任务。每题 4 trials、4 个模型，共 16 组配置；任务完成分、首试 pass@1 与全四次成功比例分开报告，不把四次运行当四道独立题。依据 v1 Tables 1、8；按原生任务序列在线适配，没有独立学习／测试划分，重放与后续试验路径的限制见正文。

PACT：更新策略之后，让价值评估器及时跟上

• [ ] PACT: From Credit Assignment to Critic Alignment

作者： Jiayan Fu、Hang Xu、Yong Zhang、Zhaokai Luo、Yao Hu、Dongyan Zhao、Mu Chuan；首页以 AllSpark Team 署名，个人顺序见 v1 Appendix A。
机构： 原文未署机构；AllSpark Team 为团队署名，不能据此推定雇主。依据 v1 PDF 第 1、14 页。

任务背景。 数学或代码 Agent 要生成很长的轨迹，最终才知道答案是否正确、测试是否通过。训练却要逐 token 更新参数，于是需要判断哪些局部决策值得加强。价值评估器负责预测“从当前进度继续做下去，大约能获得多少奖励”。问题在于，策略刚更新了，评估器却可能还在估计旧策略的后续能力，给下一轮提供过时的基准。

核心方案。 论文先给“局部贡献”加上三个明确条件：所有局部贡献能解释最终奖励相对起点的变化；一个已生成前缀的累计贡献不能被未来未发生的分支任意改写；在此前信息下，下一步贡献没有系统性正负偏差。在这些条件下，贡献等于看到下一步新信息前后，预期最终奖励的变化。它是依赖所选条件和信息流的统计定义，不是脱离假设的普遍因果归功法。

训练方案据此处理评估器滞后。先用当前评估器为已经采到的轨迹提供优势，完成策略更新；再让更新后的策略对同一批旧轨迹做一次前向计算，比较新旧策略给这些 token 的概率。利用这种概率变化修正评估器的训练目标，使它尽量估计新策略继续生成的结果，而非永远落后一轮。评估器采用概率输出与二元交叉熵目标；策略侧取 GAE 的 λ=1，以消除由中间价值误差带入的那部分误差项。

理论上的精确修正需要后续整条序列的概率比，长轨迹容易使它方差很大。实际实现只用当前 token 的概率比，并屏蔽超过范围的评估器损失。这减少计算和不稳定性，但也意味着实现是近似同步，不能直接继承精确公式的全部保证。新增反馈最终进入策略与评估器参数，并在下一轮采样、计算优势时使用；它属于后训练方法，并没有让 Agent 自行设计新的训练算法。

核心方案图。 原文 Figure 2，v1 PDF 第 7 页；从 PDF 截取完整上下两条流程。

!figure-2.png

读图。 两条流程都从旧策略采样开始，经 Critic Forward 得到训练信号。上半图中，策略与评估器分别更新，虚线仍指向旧策略。下半图多了一条从 Actor Update 返回 Critic Update 的蓝色线：新策略先给旧轨迹重新计算概率，这个修正才用于训练评估器，因此底部虚线改为对齐新策略。随后才进入最右侧的新一轮采样。图表达的是依赖顺序，概率比截断与交叉熵目标属于正文补充。

实际增量。 四项数学评测的平均 Avg@16 为 72.87%，GRPO 为 64.07%，λ=1 的 PPO 为 59.71%。保留相同更新顺序与交叉熵、仅拿掉重要性修正后，均值是 67.74%，因此这项消融比单纯对比整套 PPO 更能支持修正机制的作用。SWE-bench Verified 上 pass@1 为 67.4%，对应 GRPO 65.4%、PPO 65.0%。固定策略的评估器预训练对照还支持交叉熵比均方误差收敛更好。

这不就是…… PPO 多训练一次 value model 吗？关键不是次数，而是先取得更新后策略的概率，再改变 value model 学的目标，让它服务下一轮策略。论文还解释了为什么更细的 token 信号未必更可靠：真实局部贡献可能很小，评估误差反而会压过它。

证据与局限。 OPD 与信用分配的等价关系依赖理想教师，不能套到任意强模型或任意提示。局部贡献的信息流含工具观察，其统计变化不自动代表 token 的纯因果作用。数学和代码只覆盖两种模型与对应 Harness，主表未给充分跨 seed 不确定性；实现用了有偏的稳定化替代，不能说已准确恢复每个 token 的真实贡献。

Abstract 完整中文翻译。 强化学习已成为大语言模型后训练的重要组成部分，但 token 级信用仍缺少普遍接受的数学定义，使其与常用训练信号之间的关系不清楚。我们提出完备性、前缀一致性和中立性三个正则条件，并证明它们唯一确定 token 级信用。这一刻画为解释现有算法中的现象提供统一基础，也指导改进 actor–critic 训练程序。从这个视角看，on-policy 蒸馏中的理想教师是一个隐式评估器，其诱导的期望策略梯度与 token 级信用诱导的梯度成比例。尽管响应级 REINFORCE Leave-One-Out 信号粒度更粗，它仍与 token 级信用具有相同的期望策略梯度贡献。我们进一步在有界结果奖励下建立信用近似稀疏性，并说明广义优势估计中的中间评估误差如何变得与信用本身相当。这些分析引出了策略对齐评估器训练 PACT：先更新 Actor，再更新 Critic，在评估器训练中进行重要性采样修正，使它更好地对齐更新后的策略。在 Agent 数学推理中，PACT 在四个基准上的平均准确率为 72.87%，分别超过 GRPO 和 PPO 8.80 与 13.16 个百分点。在 SWE-bench Verified 上，PACT 的通过率为 67.4%，分别超过 PPO、GRPO、SAO 2.4、2.0、3.8 个百分点。

评测数据集与环境。 数学用 AIME 2025、AIME 2026、BeyondAIME、HMMT 2025 年 11 月，OpenCode+Qwen3.5-4B，均为每题 16 次生成的 Avg@16；AIME 年度通常 30 题、BeyondAIME 原版 100 题，但本篇实际运行分母和 HMMT 子集未逐项给出，保留待核。代码用 SWE-bench Verified，Qwen3.6-35B-A3B+Codex/Harbor，pass@1；实际完成分母、release 和多 seed 规模未披露。训练分别来自 DAPO-Math-17k 的 3200 题子集与 OpenSWE，后者规模未在所核实验段给出。依据 v1 §5、Tables 1–2，不将训练源或采样次数当测试题数。

自蒸馏的提示粒度：教师知道更多，学生就一定学得更好吗

• [ ] What Should a Self-Teacher See? Privileged Context Design for On-Policy Self-Distillation

作者： Kanghui Tian、Siyuan Liu、Tianxiang Jiang、Shuai Dong、Yizhuo Li、Tian Ding、Yuan Guo、Songze Li、Haowen Hou、Congcong Wang、Yi Wang。
机构： 复旦大学、上海人工智能实验室、南京大学、上海交通大学、北京大学、University of California, Los Angeles、同济大学。依据 v1 PDF 第 1 页。

任务背景。 学生模型只看到一道数学题，先自己生成解题过程。教师是学生初始模型的一份冻结副本，但多看到一份参考材料，因此能为学生走过的每个前缀提供下一 token 分布。通常会把完整解答交给教师；本文追问，完整解答给出了某一条具体路径，是否反而限制教师对学生其他可行路径的引导？

核心方案。 作者先把同一批参考解答离线编译成三类材料：只点出可用方法、给不依赖具体方法的问题理解角度、只给数学类别。它们按要求都不能直接给最终答案。再加上完整解答和只有答案两种对照，共形成五种教师上下文。中间三种不是简单截短原文，而是重新表达不同层次的提示，因此比较的是整包监督信息，而不只是 token 长度。

训练时，学生始终只看题目；冻结教师读选定的提示，在学生自己产生的相同前缀上重新打分。分布匹配损失只更新学生 LoRA，教师和提示不在训练中继续进化。作者在同一模型规模内固定数据顺序、采样和训练方法，观察改变教师可见信息怎样影响学生最后能解的题。这样把信息不对称作为监督来源，也避免把提示直接给学生后出现的答题提升误当成学习收益。

核心方案图。 原文 Figure 1，v1 PDF 第 2 页。

!figure-1.jpg

读图。 左侧先完成一次离线编译：原题与参考解答变成 L2 方法、L3 理解角度、L4 类别，L1 和 L5 分别保留完整解答和最终答案。进入中间，学生先从题目采样，教师拿到其中一种额外材料，为同一条已生成前缀给分；下方匹配误差沿紫色返回箭头更新学生。教师特权信息不会进入学生输入。右侧是不同规模下相对完整解答的成绩变化，属于结果而非训练步骤；它说明最好的提示没有随着模型规模简单单调变化。

实际增量。 主运行里，4B 与 8B 最好的中间提示分别比完整解答的域内峰值均分高 1.39 和 1.57 个百分点；1.7B 仍以完整解答最好。L3／L4 的三 seed 对照在两种较大规模上平均为正，但具体最佳层次不稳定。中间提示本身从平均 657 token 降到约 18–39 token；把题目与固定过渡语一起计入后，完整教师输入只减少约 3.7–4.1 倍，而不是十几到几十倍。

这不就是…… 给老师看摘要而不是全文吗？有点像，但被改变的是老师如何评价学生自己的解题前缀，学生并不直接阅读这份“摘要”。本文把方法名、问题理解角度、题目类别和答案单独拆开，显示更多过程细节并不总能转化为更好的参数更新。

证据与局限。 主表在八个 checkpoints 中，分别为每个基准挑最高成绩，三个峰值的均值可能不对应任何一个真实 checkpoint，也带有选择偏高；论文另报固定第 200 步及迁移结果。不同规模的 batch 等训练设置也变，不能把跨规模差异全归因于参数量。提示的长度、内容、过渡语和质量同时变化，不是“抽象程度”的纯因果实验。语义审计发现少量等价答案泄漏，约束并非完美执行；初始 KL 也不能稳定预测后续收益。教师和编译器保持固定，因此这是一项自改进组件研究，不是完整 RSI 闭环。

Abstract 完整中文翻译。 更多特权信息并不总能造就更好的教师。我们在 on-policy 自蒸馏中研究这一矛盾：基础模型的冻结副本在特权上下文下，对学生自己生成的轨迹评分。通常这份上下文是完整参考解答，把最终答案与一条特定推理路径捆在一起。在每种模型规模内保持学生视角和训练不变，我们把这一默认方案与三种离线编译的抽象材料比较——命名策略、不依赖具体方法的问题理解角度、问题类别——同时比较只保留终点而去掉路径的答案对照。在竞赛数学主运行中，最好的中间上下文在 4B 和 8B 上分别比完整解答的域内峰值均分高 1.4 和 1.6 个百分点，存储的提示 token 却少了一个数量级。三随机种子的比较也显示，两种规模上的问题理解角度与类别提示平均都有正收益。只给答案在主运行中仍有竞争力，与完整解答相差不超过 0.2 个百分点。最适合的上下文随学生规模和任务变化；初始教师—学生 KL 无法给后续表现正确排序。因此，自教师应看到的不是它可能得到的一切，而是学生仍能利用的那个抽象层次。

评测数据集与环境。 训练为同一 OPSD 数学池 29,434 题、200 步 LoRA。域内 AIME 2024、AIME 2025、HMMT25使用 Avg@12 并各自选峰值；AIME24 明确 30 题，后两者实际清单及 HMMT 月份／题数待核。固定第 200 步迁移测试包括 MT-AIME2024-7Lang（30 原题×7 语言，语言宏平均 Avg@12）、AutoLogi-EN（1575 题，1 次生成与程序验收）、GPQA-Diamond（198 题，Avg@10）、ZebraLogic-grid（1000 谜题／25 网格规模，整题精确正确率）。C-Eval仅额外中文知识／生成完成审计，实际数量和 split 待核，不纳入上述四项。依据 v1 Appendix A.2、Tables 1–3、11。

RPMem：把跨会话记忆留下来，换模型时只适配读取方式

• [ ] RPMem: Learning Long-Term Recurrent Parametric Memory Across Sessions for LLM Agents

作者： Fanyu Zhao、Ruike Cao、Liang Dong、Fugen Yao、Jian Xu、Guanjun Jiang、Han Zhang、Yifei Zhao、Yinsheng Li。
机构： Fudan University；Qwen Applications Business Group, Alibaba Group。依据 v1 PDF 第 1 页。

任务背景。 用户与 Agent 分多次交谈，偏好会增加、修改，也可能失效。之后问到相关问题，Agent 应记住仍然有效的信息。把全部历史重新放进上下文成本高，而把记忆直接绑在某个模型的内部参数上，又使换底座时难以迁移。本文想保留一份持续更新的记忆状态，同时把“记住什么”和“当前模型怎样读取它”分开。

核心方案。 先离线训练一个编译器，把每段会话转成固定形状的潜在表示，再由解码器生成当前底座可使用的 LoRA 参数。训练目标是让“不读原会话、只挂这份 LoRA”的模型，在相关问答上尽量接近“直接读了会话”的同一个冻结模型。这样，会话的影响从输入文本转到一组可生成的参数调整，但底座原权重不被改写。

第二阶段再单独训练记忆合并门。新会话被编译后，门控读取旧记忆和新表示，逐坐标决定保留多少、写入多少，形成大小不变的下一份记忆；学习信号来自目标应用的问答标签。部署后所有模块冻结，只通过前向计算更新记忆状态，不再对每个用户会话做梯度训练。未来回答通过这份累计记忆生成 LoRA，从而使用跨会话信息。

如果更换底座，累计记忆、编码器和合并门保留，只切换到为新底座训练过的解码器。这里的“可跨模型复用”依赖已有目标解码器，并不意味着把旧 LoRA 文件直接挂到任意新模型就能工作；论文的迁移实验还使用大量会话数据完成目标端适配。

核心方案图。 原文 Figure 1，v1 PDF 第 2 页。

!figure-1.jpg

读图。 先看上半图的训练一：会话经过编码和压缩，被解码成 LoRA；右侧比较带 LoRA 与直接带上下文的回答分布，只训练标有火焰的组件。左下训练二沿时间顺序合并多次会话，目标答案的误差只更新合并门。最后看右下部署：冻结组件处理新会话，累计记忆沿横向保留，再分到不同底座的解码器。两条分支表示同一记忆可有不同读取接口，并非在线现场训练两个模型。

实际增量。 Qwen3-8B 上，PERMA 四主设置均值 85.52%，高于 Metis-9B 的 80.20% 和全文上下文的 72.54%；PersonaMem-v2 Overall 为 40.22%。PrefEval 最长 300 回合条件达到 74.81%，但短历史并非最佳。相同目标端训练预算下，复用编码器的方案在 28 个底座—设置组合上均好于从头训练，说明潜在记忆有可迁移成分。

这不就是…… 用一个 RNN 保存历史，再生成适配器吗？这正是它的结构骨架。新增之处在于把单会话编译、跨会话合并和底座专用读取分开训练，使累积状态不必随服务模型一起丢弃。需要记住的前提是，合并规律要用具体应用监督学习，目标解码器也要预先适配。

证据与局限。 近常数成本只在 1–64 个会话的实验范围内成立，固定容量不保证无限历史无损。共享编译器训练约 338 GPU 小时；更换底座的对照还用 664,128 个会话训练一轮目标解码器，不能把部署的 0.043 秒写入时间当全部成本。通用能力存在小幅下降，IFEval 从 81.70% 到 77.89%，不是完全无干扰。门控能否跨不同记忆需求直接泛化仍待研究；论文代码链接本轮返回 404，复现受限。

Abstract 完整中文翻译。 长期运行的 LLM Agent 需要能跨会话持续存在并演化的记忆。文本记忆在每次查询时检索并重建过去交互，使长程表现随着历史增长而越来越依赖检索质量和上下文推理。参数化记忆把经验直接编码进模型计算，但现有方法对跨会话记忆演化支持有限，与特定底座的耦合也限制了更换模型后的记忆复用。我们提出 RPMem，一种两阶段架构，通过前向计算把每次会话编译为独立于服务模型的潜在记忆，再利用任务训练的递归门控，把它选择性地整合进保留记忆。合并后的记忆随后映射成底座专用的低秩适配参数，使编码能力在更换底座后仍能迁移。在三个长期记忆基准和五个不同底座上的评价，展示了广泛泛化以及近常数的更新成本和记忆占用。Qwen3-8B 上，RPMem 在 PERMA 达到 85.52%，分别超过最强参数化和文本基线 5.32、12.98 个百分点。消融验证了会话编译和跨会话合并的互补作用，动态分析则显示门控学到了任务特定的记忆整合策略。作者据此提出一种独立于底座生命周期的参数化记忆框架，维持不断演化的跨会话记忆，并在更换模型后复用；摘要另指向实现代码。〔本轮该链接不可访问。〕

评测数据集与环境。 PERMA为 10 个模拟用户、每人约 60 会话，十折留一用户、四主设置 accuracy 宏平均，确切主问答总数未汇总；PersonaMem-v2冻结 32K-Text，18527 训练／2059 验证／5000 最终问题；PrefEval16 训练主题／4 留出主题，180 个留出基础例子展开为每历史长度 540 个形式实例，三种长度合计 1620，并非 1620 个独立偏好。门控分别用训练分区监督，测试测跨用户或跨主题记忆。另用 MMLU、GSM8K（5-shot）及 IFEval（0-shot）审计通用能力保持，十个用户适配器重复评测；本篇实际题数与部分评分变体待核。依据 v1 Appendix B.2、D.1、D.5，版本缺口见卡片。

Luck Is Not Skill：让同组轨迹遇到可比较的环境噪声

• [ ] Luck Is Not Skill: When Do Paired Rollouts Help Group-Relative RL of LLM Agents?

作者： Nazmus Sakib。
机构： BRAC University, Dhaka, Bangladesh。依据 v1 PDF 第 1 页。

任务背景。 假设同一个客户退款任务让 Agent 尝试八次，用同组相对奖励训练策略。有一条轨迹步骤正确，却遇到工具故障；另一条只是运气好，没有故障。此时奖励差异混入了环境运气，未必能公平反映策略质量。本文让同组轨迹共享环境噪声日程，检查比较更公平之后，梯度是否更稳定、学习是否真的更快。

核心方案。 共享的不是“第几次工具调用”的随机数，而是按工具、资源和该事件的重复次数生成事件键。这样两条轨迹即使动作顺序不同，遇到同一事件时也能得到一致的外部随机抽样。策略自身的采样仍独立，每一组也重新抽日程，因此单条轨迹的边际环境分布不变，只改变同组成员之间的相关性。

配对之后，原本由于不同噪声日程造成的奖励对比波动被移除。例如八条都真正做对时，共享的误判要么让它们都错、要么都对，就不会只惩罚其中一条倒霉的正确轨迹。不过策略更新还会把奖励差异乘上各轨迹不同的梯度方向。作者因此继续分析这一几何关系，构造出“奖励对比方差下降，梯度方差反而上升”的反例，并在训练模型上直接测量梯度，而没有把奖励更平稳当成结论。

核心方案图。 原文 Figure 1，v1 PDF 第 3 页；直接从 PDF 抽取。

!figure-1.png

读图。 左侧每一行是一条轨迹，同一事件列里可能一条遇到故障、另一条没有。右侧把同一列的外部抽样对齐，因此可以在相同噪声条件下比较不同策略选择。横轴是事件键，不是统一的执行时间轴；不同动作和历史状态仍可能产生不同后果。图展示的是训练采样协议，不是让 Agent 在任务中反复读同一反馈，更不是把不同轨迹强制成同一动作序列。

实际增量。 在工具故障训练中，配对方案最终噪声测试平均高 5.1 个百分点，三个 seed 方向均正；但学习曲线 AUC 的预设条件要求每个 seed 都改善，其中一个为负，因而未达标。评分翻转下 AUC 差异只有 +0.003，95% 区间为 [−0.029, +0.033]。八个 checkpoint 的梯度探针测到较低的协方差迹，但这不能替代学习效果的直接证据。

这不就是…… 对照实验用相同随机种子吗？基本思想正是共同随机数。针对会走不同路径的 Agent，新增点是按事件而非全局调用顺序对齐，并明确证明它能改善哪一层统计量、又不能保证哪一层。对含标准差归一化的实际 GRPO 更新，均值居中估计器的无偏结论也不能直接照搬。

证据与局限。 只有一个 2B 模型、自建后台环境和每臂 3 seeds。最终测试池曾在校准和预实验查看，并非完全未触碰的留出集；14 次运行中的一个已完成 pilot 在注册时披露。梯度探针只来自两条工具故障训练轨迹，没有评分噪声训练 checkpoint，不能证明降方差造成了训练收益。配对也让同样 rollout 数只覆盖更少噪声日程，可能付出环境多样性的代价。

Abstract 完整中文翻译。 组相对强化学习比较同一提示的多条轨迹，但独立环境噪声可能模糊这种比较。我们研究配对轨迹：在每组内共享按事件键索引的噪声日程，同时保留每条轨迹的边际分布。配对移除了奖励对比方差中不同日程之间的成分，但不一定降低梯度方差。对于单向评分噪声，我们推导了降低方差的精确条件，并给出奖励对比改善、梯度方差却增大的反例。受控实验在工具故障和评分翻转下训练一个 2B 工具使用 Agent，每种设计使用三个种子；协议注册时披露了此前已经完成的预实验。在工具故障下，配对使最终噪声测试成功率平均提高 5.1 个百分点，三个种子差异都为正，但没有达到注册的学习曲线标准。评分翻转也未达标：验证 AUC 差异为 +0.003，95% 区间为 [−0.029, +0.033]。对两条故障训练轨迹的八个不同 checkpoint 做梯度探针，在两种噪声下都观察到更小的均值居中协方差迹：评分翻转降低 21%–30%，工具故障降低 40%–63%。这些有限样本测量支持方差机制，却没有确立普遍的学习速度收益。结果区分了改善奖励比较、降低估计器方差和改善学习三件事。

评测数据集与环境。 论文自建后台工具模拟器有 13 工具、8 类请求模板；固定池为 2000 训练／300 验证／300 测试，实际训练过程每次仅测 64 验证题，最终测 200 题×4 噪声日程，恢复挑战每题只用 1 日程，另有 16 诊断题。两种噪声各配对／独立两臂×3 seeds，另 2 个 clean runs，共 14；主指标为真实成功率的验证 AUC，受污染奖励另存，不能把每个 episode 视作独立题。依据 v1 §5–6，测试池曾用于校准这一边界保留。

CLOOPD：教师打分一次，学生要不要多学几遍

• [ ] CLOOPD: Closing the Learner Loop in On-Policy Distillation

作者： Keye Zheng、Hanyu Li、Zhan Cheng、Yuan Gao。
机构： Alibaba Group（Keye Zheng）；其余作者在首页只列邮箱，原文未署机构，不据邮箱推定。依据 v1 PDF 第 1 页。

任务背景。 on-policy 蒸馏每一批都先让学生做题，再让较强教师为这批轨迹打分。生成与教师推理已经付出成本，如果学生只更新一遍就丢掉整批数据，可能还没有充分利用信号；但反复学习旧轨迹又会让策略逐渐偏离采样时状态。本文研究怎样在保持目标不动的前提下，单独安排学生多学几遍。

核心方案。 一批学生轨迹拿到教师分数后，系统先在学生与教师之间选一个不过度跳跃的中间目标，控制采样到的 KL 代理量和负向奖励尾部。随后冻结轨迹、目标、旧策略概率及优势，不再额外调用教师。学生可以对这一份固定信号更新两遍或三遍；每遍之后只重新计算学生在相同轨迹上的概率，观察它沿目标方向走了多少。

作者同时测试两类安排：固定每批学两遍／三遍，以及根据第二遍带来的进展决定是否投入第三遍。自适应方案用进展的保守估计除以将花费的学生 token，再检查预算、进度配额和稳定性约束。同预算随机分配第三遍的对照，则用来判断收益究竟来自“多算了一遍”，还是来自“确实挑对了值得多学的数据”。更新留下的是学生参数，目标与分配规则在本批内不变，下一批才重新采样。

核心方案图。 原文 Figure 1，v1 PDF 第 2 页。

!figure-1.jpg

读图。 左侧红框是打一遍分、更新一次就丢弃的流程。中间绿框把轨迹和优势冻结，E1、E2、E3 都重复使用同一监督，教师没有被再次调用。右侧把观察学生变化与分配下一遍计算接成小循环，控制的是学生侧计算深度。须注意原图右上写成几何混合形式，而正文 Eq.2 明确定义为概率的算术混合；本页解释依据正文，保留这处图文不一致，不把图中公式当已核实实现。

实际增量。 同约 2.92 亿教师评分 token 下，TOP-D 的五基准宏平均为 15.41%，固定两遍为 17.78%，固定三遍为 19.36%。但固定三遍用了约 8.74 亿 actor token、288.1 GPU 小时，对照分别为 2.93 亿和 131.5 小时；相同教师预算不等于相同总算力。固定三遍在第 100 步约达 15.35%，接近 TOP-D 第 300 步，才形成少用教师 token 且 GPU 时间更少的特定早停对照。

这不就是…… 同一批数据做多个 PPO epoch 吗？计算动作相近，但本文把冻结的教师信号、每遍学生的实际变化和两种资源账单明确拆开。新增的可检验问题是：该不该把下一份预算花在新的教师评分上，还是花在已有数据的第三遍学习上。

证据与局限。 自适应 TPMR 第 300 步为 17.28%，同预算随机对照为 18.47%，甚至固定两遍也是 17.78%；因此本轮不能支持该在线分配评分优于简单安排。六个主运行各代表一种方法，不是每种方法六个 seed；只有一个 1.7B 学生—30B-A3B 教师组合和 seed 42。A100 的早期机制实验与 H20 主实验分开报告，不能合并排名。采样 KL 代理量控制也不是对完整分布漂移或训练安全的严格保证。

Abstract 完整中文翻译。 on-policy 蒸馏为每批新数据付出两次成本：学生生成轨迹，较强教师对轨迹评分。现有方法改进了评分哪些轨迹以及如何构造教师信号，却通常只用一次 actor 更新来消耗它。我们提出 CLOOPD，一个把教师信号获取与学生侧兑现分开的闭环框架。CLOOPD 在 KL 约束范围内选择自适应 α 中间目标，冻结已经评分的批次及其优势，在每次 actor 更新后重新前向计算学生，测量信号兑现程度，并在独立 token 预算下分配 actor 工作。框架包含固定两遍和三遍策略、按 token 定价的 CLOOPD-TPMR，以及预算匹配对照。在一台 8-H20 节点上的六个 300 步运行中，所有 CLOOPD 策略都在相近教师 token 规模下改善了一遍 TOP-D 基线：宏平均准确率从 15.41 提高到固定两遍的 17.78、固定三遍的 19.36。第 100 步时，固定三遍达到 15.35，接近 TOP-D 第 300 步，同时少用 67.2% 的教师评分 token 和 28.0% 的 GPU 小时。更早的 8-A100 消融显示，自适应 α 消除了观测到的信任范围违例，第三遍还提供额外提升空间。这些结果把 CLOOPD 定位为一个预算框架，用来安排学生应当多充分地学习已经由教师评分的 token。

评测数据集与环境。 训练使用 DAPO-Math-17k。评价为 AIME 2024、AIME 2025、AIME 2026、AMC 2023（每题 32 次）与 MATH-500（每题 4 次）；均按生成逐次验证取平均，而非 pass@32/4，再对五个数据集等权平均。标准 AIME 每年 30 题、MATH-500 为 500 题，但本篇实际执行分母、AMC 版本及具体 revision 未逐项披露，保留缺口。每 50 步统一评价，主结果固定第 300 步，不逐基准挑最佳点；早停比较另明确第 100 对 300 步。依据 v1 Experimental Design、Tables 1–2。