2026-09-28 晨间论文阅读

Scoped-ORC：一类任务验证过的经验，先只给这一类任务用

• [ ] Scope Before You Persist: Preventing Cross-Family Interference in Agent Memory

作者： Yezhou Cheng、Runjia Du、Zeming Liu、Qibai Chen、Hang Lyu、Yilan Wei、Yankai Zeng、Bojun Lin。
机构： Independent（独立研究者）、Northwestern University、Pinterest, Inc.。按 v1 PDF 第 1 页 的署名顺序与单位记录；作者顺序以该 PDF 为准。

任务背景。 一个编程 Agent 连续收到小程序修复任务：它拿到任务说明、出错的程序和少量可见测试，交出修复后的代码，再由执行测试判断是否正确。有些题反复考边界条件，有些涉及排序、缺失值或分块。系统希望把失败教训压缩成一段长期使用的操作说明，让下一次修复用上这次经验。

困难在于，一条说明可能在边界处理题上有效，却改变了其他题的处理方式。例如，某种特殊情况需要的默认规则一旦被写成全局指令，就可能伤害根本不满足该条件的任务。验证“这次改动能修好当前一类题”，并不能自动验证“所有后续任务都应该使用它”。

核心方案。 每轮先让冻结模型修复一小组任务，再由同一个模型根据错误修改一段 360 字符的技能说明。候选与旧说明在相同探针上执行比较。验收不只看模型见过的示例，还检查未暴露给模型的精确输出测试，以及“不需要给标准答案，但某种输入变化应满足固定关系”的变形测试。当前任务族要有可靠改善，已有任务族则不能明显退步；不通过就继续使用旧说明。

论文发现，即使这样验收，若把候选覆盖到唯一的全局技能里，仍会伤害尚未被验收充分覆盖的其他任务族。Scoped-ORC 因此为各任务族保留自己的技能槽位：新说明只更新当前槽位，后续任务只读取所属类别的说明；该类没有被接受的更新，就使用初始说明。每次实际进入模型的仍是 360 字符，提案生成和验收规则保持不变，所以增益不能简单归因于更长提示或更强编辑器。

被继承的是各类别的自然语言技能，模型参数和编辑器指令都固定。后续执行会受已保存技能影响，产生新的修改证据，因此构成持续适应；但论文没有证明修改器本身越来越会改进，也没有用完整的累计一次性更新对照证明复利式递归增益。

核心方案图。 原文 Figure 1–2 是结果轨迹图，没有可直接附用的核心流程图。本篇不以成绩图代替方案图；主要信息流已在上面沿“执行—提案—验收—按类别保存—下轮检索”展开。

实际增量。 最直接的实验固定同一批提案、验收决定、程序输出和分数，只改变技能被分配给哪些任务：八条主轨迹的平均隐藏效用从全局部署的 0.713 提高到按类别部署的 0.816，八次接受中有害部署从 6 次变为 0 次。另做 27 条随机任务顺序、每条 12 轮的端到端实验，按类别方案比全局方案平均高 0.063，95% bootstrap 区间为 [0.037, 0.094]；接受更新 63 次对 12 次，有害接受为 0/63 对 6/12。

这不就是…… 给经验加适用条件，再按条件检索吗？基本机制确实如此。新增的关键证据是：保持候选质量和验收结果不变，仅限制使用范围，就能消除这组实验里的跨族伤害；它解释了为什么局部验收很准确，全局持续学习仍可能退步。

证据与局限。 这里九类任务的语义是固定且熟悉的，随机种子改变名字、程序变体和案例，并不生成全新的世界规律。主要实验使用真实类别标签，后来训练的轻量路由器在模板化留出提示上分类全对，不能据此推断开放任务也能可靠分类。0 次有害接受只描述这 63 次更新，并非普遍安全保证；一次更新的 18 条随机入口实验中，主要差异的区间还跨过零。原文外部 HumanEval+ 只测试部分全局终态方案，不能把它写成 Scoped-ORC 已取得跨领域迁移增益。

Abstract 完整中文翻译。 持久记忆让语言模型 Agent 无须更新模型权重，就能改进提示和技能。我们表明，使检索范围与验收范围相匹配，可以让这些修改支持在反复出现的任务族之间进行可靠的重复适应。我们在包含 12 轮代码修复的 ProcStream-RSI 上研究冻结模型的 Agent，并使用一种依据程序执行结果验收持久技能修改的方法——正交回归控制（ORC）。在保持提案和验收决定固定的干预中，让每个已接受技能只用于其来源任务族，将平均隐藏轨迹效用从全局记忆的 0.713 提高到 0.816，并把八次部署中的有害次数从六次降为零。在 27 条配对、随机任务顺序的轨迹中，Scoped-ORC 相对 Global-ORC 的平均轨迹效用提高 0.063，区间为 [0.037, 0.094]；接受 63 次而非 12 次更新，在 27 条轨迹中的 19 条产生多次接受，且 63 次接受中没有有害更新。全局对照达到 0.713，低于静态 Agent 的 0.775，因为局部有效的修改可能干扰无关任务族。这些结果确立了范围匹配作为持久 Agent 记忆的一项互补控制：验收决定某次修改是否获得支持，检索范围则决定这些证据允许它在哪里使用。

评测数据集与环境。 ProcStream-RSI v3.1 主实验为 8 条 12 轮轨迹，每条 123 个任务：96 个 discovery／probe，9 个隐藏 checkpoint、18 个 final；九类任务中部分重现。v4 随机入口实验 18 条单轮流，另有 27 条完整 12 轮流；独立统计单位是流，不能将所有重复执行算成独立题。公开、private 和变形测试用于更新验收，固定隐藏库只用于记录部署轨迹与最终评测；指标为平均轨迹效用、终态效用、保持和有害接受。HumanEval+固定取 32 题，测试 Static 等五种全局终态方案的外部迁移，无更新反馈；Scoped 没有这项结果。依据 v1 §5、Tables 3–6；项目补充包的公开入口与许可证仍待核实。

JitMem：先保存完整经历，等新任务来了再决定怎样用

• [ ] Just-in-Time Memory: Learning to Curate Task-Adaptive Memory for LLM Agents

作者： Yefan Zhou、Yang Li、Zeyu Leo Liu、Semih Yavuz、Shafiq Joty。
机构： Salesforce AI Research。依据 v1 PDF 第 1 页。

任务背景。 一个 Agent 连续处理家务、购物或客服任务。它接到目标后，依靠文字观察和工具交互逐步操作，最终由环境判断目标有没有完成。例如，把物品加热后放到指定地点，与寻找某类商品，都可能用到过去一次执行里积累的经验。问题是，上一轮刚结束时，系统还不知道下一轮究竟需要其中哪一部分。

如果当时就把整段经历压缩成固定的“教训”或“技能”，未来有用的细节可能已经丢失。即使要训练这个总结器，也很难判断某次删除是否正确：它可能要等很多个任务以后才显出影响。本文把经验整理推迟到新任务到来时，让学习信号也更容易归因。

核心方案。 每次执行结束后，系统保留被判为成功的完整观察—动作轨迹，不先把它压成摘要。新任务到来时，固定的 BM25 检索器只根据任务描述找出三条相关经历，再把这些轨迹连同当前目标交给整理器。整理器因此可以从同一段历史里，为不同任务提取不同的操作建议。执行 Agent 只读取这份精简说明并完成任务；说明用完即弃，可能进入长期记忆的是新产生的原始轨迹。

训练只发生在整理器上。作者先用基础执行器收集一个固定的训练轨迹库，再针对同一道训练题采样八份说明，让冻结的执行器分别带着它们尝试。环境给出的成功或得分，直接比较这八份说明的效果，随后用 GRPO 更新整理器。这样，训练不必等待未来某道题碰巧用上某条记忆，也没有把执行模型一起更新。

部署时，两种反馈要分清。真正的环境验证器用于统计论文成绩；决定某条轨迹能否入记忆库的，则是执行模型自身的判断，避免把测试真值偷偷当成写入信号。默认从空库开始，按小批任务执行后扩充原始轨迹库；整理器权重保持固定。它验证的是一个已训练的经验使用模块，配合不断积累的外部经历，而不是部署中反复升级整个学习算法。

核心方案图。 原文 Figure 1，v1 PDF 第 2 页。

!figure-1.jpg

读图。 先看左侧 (a) 的当前任务：箭头先经过记忆库与检索器，再把找到的历史轨迹送到整理器；当前目标也同时进入整理器，因此中间的说明是为这次任务临时生成的。说明交给执行器后，执行轨迹经过自评，合格的沿左下方箭头写回记忆库，供后续任务使用。右侧 (b) 才是离线训练：同一任务得到多份说明，冻结执行器逐一执行，环境奖励沿红线只更新整理器。左边的自评入库与右边的真值训练奖励，是不同信号，不能合成一个“模型自己评、自己练”的在线循环。

实际增量。 Qwen3-8B 同时充当整理器底座与执行器时，训练后的 JitMem 在 ALFWorld 成功率为 77.4%，SkillOS 为 61.2%；WebShop 为 32.8% 对 16.5%。不训练、直接用较强模型做读时整理，也常常有效。摘要中的 τ²-bench 提高 3.9 个百分点，来自未训练的 GPT-5.4 整理器，micro 平均为 75.6% 对 71.7%；不能把三项摘要增益都归给 RL 训练。

这不就是…… 检索历史后，针对当前问题重新总结吗？是这个朴素核心。实质增量在于保留原始经验、把可训练整理器与执行器分开，并利用同一道任务的结果直接训练整理行为；同一轨迹不再被绑定到唯一的永久摘要。

证据与局限。 记忆逐步增长，因此任务顺序与批次组成会影响成绩；测试不是每道题都面对一个固定、完全隔离的记忆库。τ² 的收益主要来自 telecom，airline 与 retail 没有稳定超出无记忆基线的改善。成功入库依赖模型自评，原始轨迹长期存储成本也没有因为执行输入减少而消失。训练要花约 21／27 小时，论文的输入 token 和执行步数节省不能直接代表全生命周期费用节省。附录还用测试流子样本监测训练曲线，不能擅自称所有监测都来自独立验证集。

Abstract 完整中文翻译。 Agent 记忆系统通过复用过去经验改善未来表现，但多数现有设计会在写入时整理记忆：任务一结束，就把轨迹提炼为反思、工作流、技能或推理策略等固定产物，之后按相似度检索。这迫使系统在不知道未来查询之前决定什么值得记住，不可逆地丢弃信息，并产生一份必须服务于许多下游任务、却与具体查询无关的总结。学习这样的写入时整理器也很困难，因为某个存储决定的价值可能要等到很多任务之后相关查询出现时才显现，从而形成长时程信用分配问题。我们转而保留原始轨迹，把整理推迟到读取时，此时当前任务已经明确。给定检索到的轨迹与新任务，记忆整理器生成一份紧凑、适应该任务且针对即时需求的说明。由于这份说明用于同一道任务，整理器可以直接根据即时任务成功训练，无须延迟的效用信号，也不必人为组织相关任务组。在 ALFWorld、WebShop 和 τ²-bench 上，我们的即时记忆方法 JitMem 持续优于无记忆 Agent，以及启发式和学得的写入时记忆方法，相对最强基线分别提高 16.2、16.3 和 3.9 个成功率百分点。值得注意的是，即使未训练的整理器也已经能与这些基线竞争或超过它们，说明针对当前任务的读时整理本身就是主要收益来源；训练整理器会进一步增加收益。

评测数据集与环境。 ALFWorld本文明确报告 140 个测试任务，并非本库其他论文常用的 134 unseen；具体这 140 题的拆分身份待补核。WebShop用 500 个测试实例，分别报告成功率和平均得分；训练奖励是连续得分。两者主表各三种随机任务顺序，测试批次 10、30 次交互上限。τ²-bench涵盖 airline／retail／telecom，四次随机顺序，批次 5、200 次交互上限，报告各域与 macro／micro 成功率；各域实际任务数未在已核正文与设置表中给出，保留缺口。训练用独立固定成功轨迹库，主测试从空库开始，训练库不直接带入；训练任务总数、固定环境 commit 仍待核。依据 v1 §3–4、Tables 1–2、Appendix A。

PSP：失败时带着提示再练，不把老师的笃定当作学生的知识

• [ ] From Self-Distillation to Self-Practice: Privileged Information for Multi-Turn Agents

作者： Xingyu Su、Abhishek Kumar、Qing Ping、Youzhi Luo、Jonathan Buck、Zach Zhang、Subramanian Chidambaram、Vinayak Arannil。
机构： Texas A&M University；AWS AI, Amazon。依据 v1 PDF 第 1 页。

任务背景。 用户让 Agent 查询自己最常被推荐的歌手。Agent 能调用应用 API，需要登录、取推荐记录、统计歌手，再提交答案；环境会检查任务是否完成。论文中的失败案例是：带提示的模型知道该查哪个接口，能很快完成；去掉提示后，蒸馏过的学生仍然很快宣布完成，却查错了接口，甚至提交一个从未赋值的变量。

这里要解决的不是学生“说得不像老师”，而是老师的果断来自学生尚未获得的信息。多轮行动一旦过早作出错误决定，后面的环境状态也随之改变，光模仿结论的表达方式无法补上证据。

核心方案。 PSP 先让学生独立尝试同一个任务八次。如果这组尝试的成功率足够高，就照常用环境反馈做 GRPO 更新；如果多数尝试失败，才请一个固定的分析模型查看任务、失败轨迹和预先生成的参考解法，写出三至五条短提示。学生带着这些提示重新做八次，这组新轨迹替换原来的失败组。

随后仍由环境判断任务结果，按同组尝试的相对表现训练学生。提示保留在这次训练的输入上下文中，但不增加“学生必须匹配掌握额外信息的老师”的分布蒸馏项。所谓把信息“从损失移到采样”，应理解为取消这种跨信息条件的模仿目标；提示仍会影响采样到的行动以及条件化的策略梯度，并非与参数更新无关。

最终保留的是学生参数，测试时不再提供这些专门提示。分析模型和反馈规则保持固定，因此这是训练辅助机制，不是改进器自身不断进化的完整 RSI 闭环。

!figure-2.jpg

原论文 Figure 2，v1，PDF 第 4 页：PSP 训练流程。

读图。 从左侧任务和学生出发，先得到一组独立尝试。中间的菱形判断这组结果是否需要帮助：蓝色上路表示原轨迹直接进入更新；橙色下路先经过分析器，把参考解法和失败轨迹转成提示，再由学生重新执行。右侧进入 GRPO 的是二者之一，不是把新旧两组叠加。图展示的是训练时的分流，实际测试没有下方分析器提供的任务提示。

实际增量。 AppWorld 的 Gemma 4 E4B 实验中，普通 GRPO 的正常／挑战集任务完成率为 33.9%／15.3%，PSP 为 38.6%／20.3%。SWE-bench Verified 的 Qwen3-4B 已解决比例从 3.68% 到 5.92%，这是相对约 61% 的增长、绝对 2.24 个百分点；8B 从 7.08% 到 8.36%。这些数值比只写“提升 61%”更能说明实际收益。

这不就是…… 做不出来时给一点提示，再让学生自己练吗？是的，新增机制在于按当前失败情况决定何时给提示，并让学生在自己真正见到提示的条件下生成可执行轨迹，而非用一个信息更充分的老师监督信息不足的学生。

证据与局限。 各设置的平均分领先不等于每个指标都最好：SWE 的 4B resolved，RLSD 为 6.20%，高于 PSP 的 5.92%；部分其他方法的 pass@5 也更高。强 SFT 起点下 PSP 与 GRPO 接近，说明可帮助的探索缺口变小后收益也会缩小。五个测试种子不能写成五次独立训练。SWE 的训练附录采用两天预算、70–140 步，与主文概括的 500 步口径不同，本页按具体配置保留这个差异。

Abstract 完整中文翻译。 在线策略自蒸馏（OPSD）已成为语言模型 Agent 后训练的一种常用方案。它给同一个模型提供特权信息，形成更强的教师视角，再在 token 层面监督 Agent。本研究表明，在多轮 Agent 中，这种做法会教学生自信地行动，却没有让它获得支撑这种自信的信息。训练后的 Agent 表现得像是拥有从未观察到的特权信息，性能远低于普通强化学习，最差时甚至低于未经训练的基础模型。因此，我们提出特权自练习（PSP）：保留特权信息，但将它从损失移到采样过程。当学生在某个任务上的大多数尝试失败时，我们注入分析模型撰写的一段简短任务提示，让学生在带有该提示的上下文中重新采样，再使用不变的 GRPO 目标训练。特权信息留在提示中，不进入损失。跨 AppWorld 和 SWE-bench Verified、使用三种不同学生模型的实验中，PSP 在每种设置下取得最佳平均分，也是唯一持续优于普通 GRPO 的方法；AppWorld 任务目标完成率相对提升最高 65%，SWE-bench Verified 已解决比例相对提升最高 61%。

评测数据集与环境。 AppWorld 使用 90 训练、57 验证、168 正常测试、417 挑战测试任务，9 个应用、457 个 API；40 轮上限。训练 500 步，每五步评估验证集、据验证分选模型，最后五个新种子测试；报告任务目标完成率等原生指标。SWE-bench Verified 使用 500 个测试 issue，由单元测试判定 resolved，并报告 pass@5；训练来自 SkyRL-v0 的 293 题及 23 验证题，不能与 500 测试题混算。mini-swe-agent 的行动上限为 50 轮。依据 v1 实验与 Appendix A；具体数据 commit 未给出的部分仍待核。

SkillEvoReg：技能越改越长时，怎样保住真正可迁移的部分

• [ ] SkillEvoReg: Regularizing Agent Skill Evolution Against Overfitting

作者： Guanyu Nie、Fangzhou Zhu、Shixiong Kai、Xiongwei Han、Tao Zhong、Mingxuan Yuan。
机构： Huawei Noah’s Ark Lab。依据 v1 PDF 第 1 页。

任务背景。 Agent 按自然语言要求修改电子表格，读取工作簿，执行编辑，再由检查器核对目标内容。它把每次执行的经验写进技能说明，希望以后遇到类似表格时少犯错。随着经历增加，说明里可能不断添上具体单元格、特殊条件和强制规则。

问题是，熟悉表格上的分数继续涨，并不代表换一种工作簿结构也更会做。作者跟踪的一条八轮技能优化轨迹中，结构迁移测试在第四轮达到 46.67%，第八轮却降到 37.50%，而同分布测试仍在上升。需要约束的是哪些局部经验应当长期留下。

核心方案。 每次学习前，系统暂时遮住现有技能里的少量完整指令，让 Agent 在这个不完整视图下执行任务并产生修改。这样可减少新规则对旧文本具体措辞的依赖。随后只提取新学到的改动，把遮住的旧内容恢复，再合并回完整技能；遮蔽不是永久删库，正式测试也始终使用完整版本。

接着，系统检查新增内容是否带来过多重复、分支或依赖。如果需要整理，编辑范围限定为本次新增或修改的部分及少量相关旧内容，选择保留、合并、改写或删除，而不是因为文档变长就重写整套技能。最后，再针对候选新引入的假设构造反例：先确认旧版、新版都能做好原任务，再让二者处理同一个扰动。如果旧版仍行而新版退步，就对相关改动做一次有限修补。

处理后的候选仍交回原框架，按原来的规则接受、拒绝或写入。三个宿主的写回语义并不相同，不能把整套方法理解成统一的强制验收门。跨轮保存的是技能文本或技能库，各宿主保留自己的原生更新机制；本篇新增的正则化规则固定，没有证明这些规则自身学会了更好的正则化。

!figure-2.jpg

原论文 Figure 2，v1，PDF 第 4 页：三种约束在原生技能更新边界上的位置。

读图。 从最左边完整技能库出发，先进入临时遮蔽视图，再沿中间的执行轨迹走到原生更新器，得到候选。底部返回箭头提醒我们：之前遮住的旧规则要恢复。右侧上方先控制局部结构增长，下方再用同题的新旧版本对照检查行为退化，最后才进入宿主自己的写回机制。图里的返回与写回说明技能会参与后续任务，不代表每轮都成功提升。

实际增量。 SpreadsheetBench 的八轮终态分数由原生 SkillOpt 的 47.00% 提高到 59.25%，技能 token 从 6,060 降到 2,341。SkillEvolBench 在相同第一轮技能库上追加同一批经验，未经约束的第二轮使部署成功率从 31.67% 降到 29.44%，加约束后为 33.33%；主要改善来自组合任务，并非每一种迁移都提升。

这不就是…… 给技能更新加 dropout、压缩和回归测试吗？方向确实相近。具体新增之处是把这些操作安放在离散文本的更新边界：遮住的旧规则必须恢复、压缩只能动相关局部、反例必须由这次改动暴露的条件生成，并由旧版在同一反例上的成功作对照。

证据与局限。 LiveMath 终态成绩反而从原生 36.41% 降到 30.18%，且本方法自身从验证选中的 35.02% 下降；压缩掉反复强化的答案先验，可能同时损失当前测试分布奖励的捷径。SkillEvolBench 的 context shift 也下降，连续评分的部署均值几乎未变。主比较每个条件只有一个演化出来的状态，重复执行测试不等于独立训练种子。所用专有模型未在主设置中公开明确身份；CCV 的“因果”仅指操作性的配对退化判断，不是随机执行、多处改动下的严格因果识别。该表格轨迹中 CCV 没有改变最终状态，其行为价值来自另外的退化案例。

Abstract 完整中文翻译。 语言模型 Agent 越来越多地把执行经验转化为可复用的外部技能，从而实现改进。但反复更新技能本身也是一个学习过程：局部有效的编辑会积累成冗余或特定任务指令，新更新也可能破坏原来有效的行为。我们将这一问题视为技能演化过拟合，并提出受神经网络训练中防过拟合技术启发的通用正则化框架 SkillEvoReg。它结合扰动更新生成过程的训练时技能 dropout、控制不必要结构增长的复杂度感知局部正则化，以及针对候选特有退化进行行为验证的因果反例验证（CCV）。我们在不同类型的技能演化系统中实现该框架，同时保留各系统原生的技能更新器和任务评估器。在 SkillOpt、SkillEvolBench 和 ContinualSkillBench 上，SkillEvoReg 持续控制技能状态增长，同时保持有竞争力的下游能力，改善若干迁移和后期演化结果，并识别仅凭结构指标无法揭示的更新级退化。结果表明，显式正则化可以作为日益强大的技能更新器的一项有益补充。

评测数据集与环境。 单技能实验在 SpreadsheetBench、SearchQA、LiveMath／SkillOpt 数学子集 上分别使用 100/100/200、400/200/1,400、100/80/217 个训练／验证／测试样本，八轮演化，按验证选交付 checkpoint，另报固定第八轮；每个冻结状态测试两遍。据 SkillOpt 官方环境表及本文所述数学元选项任务，LiveMath 按 LiveMathematicianBench 登记；本篇称 LiveMathBench，确切 release 与 397 题来源仍待补核，不能合并到 AMC 同名切片。动机实验另为 Spreadsheet 80/40/40/40 的训练／验证／同分布／结构迁移划分，三次重放同一条训练轨迹。

SkillEvolBench 覆盖六环境、每环境五任务族；每族 T1–T3 学习或回放，T4–T6 未见部署，每个条件两次冻结执行，报告严格成功与连续验证分。额外第二遍学习是本篇新增协议。ContinualSkillBench 在数学、法律、金融、办公、医疗五域各用 1–50 号任务顺序学习，冻结后测 51–100 号任务两次，分结构检查与 rubric 分数，不能把重复次数当新增任务。以上依据 v1 Appendix A、C，版本和公开获取信息未核实的部分保留在卡片中。

GRAFT：把多次尝试接成图，分清哪一步真的有帮助

• [ ] Back to the Definition: Estimating Step-Level Advantages via Trajectory Graphs for Agentic Reinforcement Learning

作者： Xincheng Yao、Haobo Fu、Weiming Liu、Chongyang Zhang。
机构： 上海交通大学信息科学与电子工程学院、上海交通大学人工智能研究院／人工智能教育部重点实验室；Tencent AI Platform Department。依据 v1 PDF 第 1 页。

任务背景。 在文本家务环境里，Agent 接到寻找、清洗并放置物品的要求，逐步观察房间、移动和操作，最后由环境判断成功。比如一次尝试先正确找到物品，却最后放错位置；另一次绕了远路，但最终成功。若把最终成败平均分配给所有行动，就会压低前一次的好步骤，同时奖励后一次的无用绕路。

要评估某一步，理想上应问：在同一个状态下，采取这个行动比其他可选行动更好吗？困难在于，多次尝试的“第三步”通常已处于不同状态，不能只因步数相同就放在一组比较。

核心方案。 GRAFT 对同一任务采样多条轨迹，再把其中相同或相似的状态合并为一个节点，执行过的行动成为节点之间的边。这样，本来分散在不同尝试中的后续经验可以在共享节点相遇。例如，失败轨迹曾到达一个很有希望的中间位置，另一条轨迹又从那里成功完成，后者便能为前者提供额外证据。

随后，把终局奖励沿图反向传播，估计从每个状态继续执行能获得多少收益。某条边的初步信用来自“行动后状态的折扣价值，减去行动前的价值”；为减少单个节点估计误差的影响，再组合图上后续多跳的信用，形成 Graph GAE。最后，只在同一个起点节点的行动之间做归一化，把所得信号用于策略更新。

因此，它改变的是训练时如何从已有轨迹生成优势信号，不需要额外训练过程奖励模型，也不为每个中间状态重新采样一组分支。每批图是训练辅助数据，真正保留下来参与后续执行的是模型参数；这里没有演化记忆库或递归修改训练器的实验。

!figure-1.jpg

原论文 Figure 1，v1，PDF 第 4 页：轨迹图与步骤信用计算。

读图。 从左边看，同一个问题先产生多条独立轨迹。第二栏把重复状态连接起来，注意共享节点后可以通向成功，也可以通向失败。第三栏的反向箭头把终点奖励传回这些中间节点；第四栏才根据相邻节点的价值差给行动分配信用，再做多跳平滑和同状态归一化。这里反向流动的是训练反馈，实际执行仍按正常时间顺序与环境交互。

实际增量。 Qwen2.5-1.5B 在 ALFWorld 的总体成功率由 GRPO 的 72.8% 提高到 97.4%，WebShop 成功率由 56.8% 到 82.3%；相较较强的 GraphGPO，分别为 92.7%→97.4%、78.7%→82.3%。这些是作者表内的三种子结果，但基线数值取自先前论文，不能写成所有方法在本轮同机重跑的严格配对实验。

这不就是…… 从共享状态往回做价值传播吗？是的，它把经典思路放到同一任务的多条语言模型轨迹上，以图的后继信息给失败轨迹里的好步骤分配信用。新增点不只是“按状态分组”：共享后继上的其他成功路径还能通过 Bellman 更新影响较早、只在失败轨迹出现的节点。

证据与局限。 理论结论建立在有限时域、确定性转移和真实状态价值等假设上，不保证有限样本与语义合并后的估计无偏。同一句观察可能对应不同历史、隐藏状态或剩余预算，错误合并会传播错误信用。论文搜索任务配置同时写了“相似度阈值 0.9”与“exact matching”，两句有冲突，需用代码进一步确认。主方法按稀疏终局奖励推导，附录训练设置还列了无效动作惩罚；这些实现细节不能被抽象图掩盖。基准实际测试子集数量也未在所核对设置中完整列出。

Abstract 完整中文翻译。 GRPO 及其变体等组式强化学习方法已成为训练推理和 Agent 型大语言模型的主流范式。它们的组内归一化优势估计在完整回答层面可靠，但到了步骤层面会产生系统性偏差，因为粗粒度的轨迹级优势难以准确反映单个步骤的贡献，例如失败轨迹中仍可能含有有价值的步骤。重新审视强化学习的基本定义，我们发现 GRPO 在单轮任务上的成功源于其优势估计遵循一个基本原则：从同一状态采样多个行动，其平均奖励可以构成可信的状态价值估计。将这种忠于定义的估计扩展到步骤层面，原则上需要在每个中间状态采样多个行动，但逐状态采样成本过高。为缓解这一问题，可以聚合跨轨迹的相似状态，以更好利用全局信息。每条轨迹是一串状态—行动转移，因此跨轨迹的信息流需要对跨轨迹转移建模，自然形成有向图。基于此，我们提出基于图的忠实步骤级信用分配框架 GRAFT：把全部采样轨迹接成轨迹图，通过图上的 Bellman 迭代恢复节点状态价值，再依据节点价值差为每条边分配信用。理论上，估计出的步骤优势忠于强化学习优势函数的基本定义。为进一步保证估计可靠性，我们提出 Graph GAE，将 GAE 扩展到轨迹图，以降低状态价值估计偏差的影响。在多种多轮 Agent 基准上的实验显示，该方法持续优于 GRPO，并超过近期 Agent RL 算法。代码将发布在作者仓库。

评测数据集与环境。 ALFWorld、WebShop 报告任务成功率，后者另报平均得分；Table 1 为三随机种子。训练各 150 步，每批 16 个任务、每任务 8 条轨迹，分别最多 50／15 次环境行动；这些批量数不是独立测试集规模。原文称沿用 GiGPO 划分，但本次未找到完整测试数量和固定 release，保留待核实。

论文把搜索组合评测统称 SearchQA，不是同名的 Jeopardy 搜索片段数据集：实际包括 NQ、TriviaQA、PopQA、HotpotQA、2WikiMultiHopQA、MuSiQue、Bamboogle。训练来自 NQ／HotpotQA，二者为域内测试，其余为域外；报告答案正确率及跨数据集平均。各测试子集数量未完整披露；附录的训练 data size=256、group=5 不能当成测试数量。依据 v1 §4.1、Appendix E。

SkillApt：检索到相关技能以后，还要判断这次是否值得加载

• [ ] SkillApt: Learning When to Activate Agent Skills from Counterfactual Evidence

作者： Shuang Guo。
机构： Central China Normal University（华中师范大学）。依据 v1 PDF 第 1 页。

任务背景。 Agent 收到一道需要推理或工具知识的题目，先从技能库检索操作说明，再作答并由原生评估器判断正确性。检索结果可能与题目非常相关，但模型本来就会做；加载一大段说明只增加成本，有时还会把它引向不合适的解法。

因此，“哪项技能最相关”和“当前这次执行要不要用它”是两个决定。SkillApt 研究第二个决定，技能内容本身保持不变。

核心方案。 离线阶段，对固定任务分别运行“加载某技能”和“不加载该技能”两种条件，尽量保持模型、工具、解码和评估器一致。只在有一边因技能变正确或变错误时，给技能明确的正负标签；两边正确性相同则给中性标签。成本变化另外记录，基础设施故障不被误当作技能无用。

新任务到来时，控制器为每个检索候选找到最多五条相似历史状态，用其配对标签加权判断是否值得加载。这里用的是固定的词语哈希表示，不训练编码器；主方法也没有学习阈值。证据分严格高于 0.5 才加载，否则放弃，最后最多选一项技能。没有证据时分数正好为 0.5，因此默认不加载。正式执行只跑一次，不在每道新题上再做两套配对实验。

长期保存的是技能对应的使用证据，新增证据可以扩大或缩小适用范围。工具或验证器已经失效的技能还应单独隔离，不能被历史高分重新放行。不过论文的证据前缀实验采用固定顺序，不是自然时间漂移，也不是自主递归自我改进。

!figure-1.jpg

原论文 Figure 1，v1，PDF 第 3 页：检索、使用判断与配对证据的位置。

读图。 上半部先从任务检索候选，再用右侧橙色的历史证据评分决定 LOAD 或 ABSTAIN；语义相关性与融合框是消融分支，不必全部串行经过。下半部表示离线怎样做配对实验、怎样把结果存回证据库。图把这些模块连成了环，但正式推理只走一次上方选择与执行，不能读成每次部署都自动双跑和更新。左侧图中 BM25 仍标作 planned extension，而正文已报告 BM25 实验，本页采用正文与实际实验口径并保留这一图文差异。

实际增量。 在 111 个完整确认样本上，SkillApt-E 与始终使用 BM25 首项的准确率都为 0.838，但加载率由 100% 降至 31.5%，平均 token 从 4,782 降至 1,231。这个节省不包含构建历史配对证据的前期成本。准确率差的 95% 区间为 −6.31 至 +6.31 个百分点，因此不能把观测相同写成已证明等效。

这不就是…… 先做一次有无技能的消融，再按相似案例决定是否使用吗？是的，机制并不复杂。它把这份消融结果变成可积累的、按状态查询的使用边界，并明确区分“内容相关”“带来增益”和“环境仍允许使用”。

证据与局限。 主控制器只编码正确性差异，正确性相同但更省钱或更费钱的案例在评分里仍同为中性，尚未完整实现论文提出的成本敏感目标。检索前十项漏掉的技能，它无法救回来。跨模型的表格诊断使用另外拟合的控制器，有的直接退化为全部不加载；不是同一个 SRA 控制器迁移成功。最终样本里的技能身份未留出，不能推断冷启动泛化；真实软件案例只有九个受控 fixture，也不代表大规模部署效果。

Abstract 完整中文翻译。 大语言模型 Agent 越来越多地检索可复用技能，并将其注入当前上下文。然而，检索出的技能即使相关，在当前执行状态下也可能不必要、成本高昂，甚至有害。我们提出 SkillApt，一个位于检索之后的使用控制器，决定检索到的技能是否应真正加载。SkillApt 从匹配的使用／不使用技能执行中建立逐技能证据，在新状态下聚合相似历史状态的结果，作出加载或放弃决定。在冻结的 SRA-Bench 确认评测上，SkillApt-E 与 BM25 Top-1 取得相同的观测准确率（0.838 对 0.838），同时将加载率从 100% 降到 31.5%，平均 token 消耗减少 74.3%。进一步诊断显示，技能效用和使用边界能否学到都会随基础模型改变。这些结果表明，检索与使用应当被视为两个独立决定：检索识别可能相关的技能，SkillApt 判断现在使用它是否值得。

评测数据集与环境。 SRA-Bench 总体为 5,400 任务、26,262 库技能、636 金标技能；本篇先冻结 48 技能各 5+5 状态，实际四域可执行 29 技能、145 开发配对和 145 金标候选留出配对。后者不能直接当作未触碰的检索策略测试：另经 32 状态探索筛查后，冻结 113 个确认目标，排除两次基础设施失败，最终 111 完整样本。指标包括原生正确率、加载率、token、正确性伤害与无益加载；技能身份未划分为未见测试。

SpreadsheetBench 使用单技能的 24 开发／40 验证状态做模型条件化诊断；Qwen3-32B 在 24 题分布筛查后按退化规则停止，未做验证；这些控制器与主算法不同。SkillApt 私有软件技能有效性微评测 为九个 fixture、两条件、各三次，设计 54 次执行，其中一次未实际加载技能不进入处理组分母。另有 76 条匿名 episode 的样本内挖掘诊断。

待核实： 附录另报 125 个 LiveMath 留出案例的离线 oracle 分析，但未记录技能身份和底座模型，且该名称不能唯一对应已有数学卡；保留这一实际使用与缺口，未强行链接同名数据。依据 v1 Tables 3、5 与 Appendix B。

ExplorationBench：规则确实陌生时，继续探索还能持续学好吗

• [ ] ExplorationBench: Measuring AI Systems’ Exploration in Verifiable Alien Worlds

作者： Ming Zhang、Zhenghao Xiang、Peizhong Gao、Yujiong Shen、Yuhui Wang、Zhonghan Yue、Shihan Dou、Zhangyue Yin、Junjie Ye、Shichun Liu、Weihuang Zheng、Jiahao Chen、Jiayi Chen、Hongzhang Liu、Jiaqi Shao、Tao Gui、Qi Zhang、Xuanjing Huang、Suncong Zheng、Maxm Pan。
机构： Fudan University；Hunyuan Team, Tencent；Tsinghua University。机构见 v1 PDF 第 1 页，完整作者顺序见原文末尾 Full Author List；原文没有在该列表逐一标注作者与单位的对应关系，本页不猜配。

任务背景。 Agent 被放进一个小型编程语言或逻辑系统。它拿到一本带错误的手册和固定示例，可以向解释器提交程序，或向证明检查器提交推导，观察真实结果，再回答从未见过的测试题。这里的一些运算或推理规则被刻意改变，因此熟记常用语言语义反而会犯错。

这使问题变得清楚：模型究竟有没有主动设计试验，修正自己相信的规则，并把发现应用到新题？如果只看最后答对多少，容易把“碰巧探索成功的一次”与“稳定会学习”混在一起。

核心方案。 两个环境分别改变小语言的运算语义和逻辑推导规则，真实规则由可执行程序实现。各模型先拿到相同的起始证据，再自主探索四轮：选择要验证的假设，提交程序或证明，把环境返回的结果留在当前对话里，下一轮继续据此选择探针。整个过程不更新权重，也没有外部持久记忆。

每轮结束时，评测器复制当前上下文，在副本中关闭工具，让模型回答留出题，并说明它目前相信的规则；测试副本随后丢弃，答案与评测结果不回流到探索。这样可以分开观察三件事：探针是否找到了规则、模型是否说对规则、掌握规则后是否真的会用。

最后把自主探索与固定探针、事后挑出的优秀探针、无环境反馈的继续思考，以及直接提供完整规则等条件比较。主榜取三条独立探索轨迹中终点最好的整条，同时列出均值和最差值。这个指标衡量能达到的上限，不代表随机一次就能可靠达到。

!figure-2.jpg

原论文 Figure 2，v1，PDF 第 2 页：环境、探索与阶段评测。

读图。 左边先定义可以实际运行的陌生世界。中间从错误手册和固定示例出发，在“提出探针—获得反馈—写入历史”的环里推进；这是新证据回来的主路径。右边从某个阶段的状态分出评测副本，分别测解题和规则陈述。底部上升的示意曲线只是协议展示，正文确实观察到停滞与回退，不能把它当作每轮必然改善的结果。

实际增量。 v1 中 AlienCode 最佳轨迹的终点为 87.6%，但同一模型三条轨迹平均只有 72.5%，最差 49.0%。另有同模型、同预算的轨迹终点相差最高 72.8 个百分点；30 条 AlienCode 轨迹里六条继续探索后回退。即使某题所需规则都被正确陈述，相关案例中的解题率仍只有 70.9%，说明“发现了”与“会应用”不是一回事。

这不就是…… 在改过规则的小世界里做科学实验吗？是的。新增价值在于规则可以精确验证，并让测试反馈无法回到探索中，再把探针、规则理解和实际解题拆开记录；这比单看最终成功率更能定位学习失败。

证据与局限。 两个世界是人为构造、确定性的，不能代替有噪声、实验昂贵、假设空间开放的真实科学研究。四轮预算相同也不意味着成本相同，模型实际推理 token 相差很大。自主探索取三次最好，若与只运行一次的控制条件比较，需要考虑选择优势。正式任务集暂未公开，官方项目页提供联系评测；本页数值统一取 v1，当前网页排行榜变化不回写为 v1 结果。

Abstract 完整中文翻译。 科学发现始于已知问题结束之处。在那里，AI 系统必须进行探索：提出假设、设计实验并根据结果迭代。然而，评估这种能力很困难：一是怎样验证一个真正新颖的假设是否成立，二是怎样确定系统通过探索发现了它，而不是回忆预训练数据中的相关知识。为此，我们提出 ExplorationBench，把评估科学探索这一棘手问题转化为基于可验证陌生世界的具体、可操作框架。这些世界的规则可执行，因此每个答案都能被精确检查；规则又与熟悉知识冲突，因此仅靠回忆无法解题。基准包含两个沙盒：AlienCode 有 31 个发现目标、70 个任务，AlienLogic 有 24 个发现目标、70 个任务。每个沙盒提供一本有缺陷的手册、针对任务的环境反馈和专用工具调用格式。系统使用这些资源探索沙盒，再解决留出任务。我们评估十个 AI 系统，发现最强系统能够获得并应用陌生规则，但不同轨迹的表现差异很大，持续探索也可能停滞或逆转先前收益。ExplorationBench 朝着能在未知环境中通过探索获得并运用真正新知识的 AI 系统迈出了一步。

评测数据集与环境。 ExplorationBench v1 包含 AlienCode 的 31 个规则发现目标／70 道留出题，与 AlienLogic 的 24 个目标／70 道留出题。十模型各跑三条独立轨迹，每条四轮；每阶段每题在独立关闭工具的副本中答三次，重复回答不是新增题。每轮最多 12 次工具调用；AlienCode 每次最多五个计费探针单位，AlienLogic 一次一个证明。主指标为三条整轨迹终点的 Best@3，另报 Mean@3、最差轨迹及规则诊断；不等于逐题合并成功的 pass@3。依据 v1 §3、Appendix A，未更新参数、无训练集／选模型阶段，私有任务访问限制见卡片。

Tasteful Agent：把事后的成败，变成事前选择方向的训练信号

• [ ] The Tasteful Agent: Measuring and Improving Taste in Long-Horizon Tasks

作者： Wenbo Pan、Zhichao Liu、Shujie Liu、Jingying Zeng、Chin-Yew Lin、Xianfeng Tang、Yan Lu、Qi He、Xiaohua Jia。
机构： City University of Hong Kong；Independent Researcher；Microsoft。依据 v1 PDF 第 1 页。本次读的是 v1，采集元数据已显示 v2，版本差异尚未审查。

任务背景。 一个做机器学习实验的 Agent 发现训练超时，接下来可以缩小模型、增加训练步数，也可以保留大模型、减少训练步数。两条路线看上去都合理，真正的损失差异要完成实验才知道。论文把类似的决策分叉从既有轨迹中抽出来，只展示分叉前的信息，让模型判断走哪条路。

这里的 taste 指对长程任务中局部方向的判断，不能泛化成“研究问题有没有价值”或审美品位。评测希望抓住的是：有些决定当下看不出错，却会在后续消耗大量时间。

核心方案。 数据构造先找两类证据：同一道任务的不同尝试走向不同结局，或者一次尝试先走错、后来改变方向完成任务。系统把分叉前的公共情境保留下来，把两个方向写成中性选项，隐藏后续结果。再过滤掉只凭选项措辞就能猜对、或完整记录也无法支持标签的题，得到 502 个决策问题。

训练时，一个已知正确方向的教师先生成推理和选择，学生只看到普通题目，不直接看到教师额外获得的答案提示。通过教师生成的续写做分布蒸馏，再用学生自己生成的推理校准最终选择，更新 Qwen3.6-27B 的 LoRA。工程题按原始任务分成两折，每个学生只在另一折评测，避免同任务训练和测试混在一起。

执行实验进一步把学生对既有分叉的判断写成建议，放进一个冻结执行器的初始任务上下文。执行器据此重新修复代码并接受官方测试。保存下来的是判断模型的参数；执行器没有参与本轮训练，论文也没有让新执行结果再训练下一代判断器。

!figure-6.jpg

原论文 Figure 6，v1，PDF 第 8 页：判断器蒸馏与建议注入。

读图。 左侧上方教师多拿到一块特权上下文，下方学生没有它，只对齐教师生成的推理和选择；右下方金标箭头对应之后的选择校准。训练好的 advisor 移到右半边，把对决策分叉的判断交给执行器。底部行动—观察循环属于冻结执行器完成当前任务的过程，不是继续训练 advisor 的回路。正文还说明，右侧分叉来自同一道任务此前的执行轨迹，事先就已准备好。

实际增量。 在 390 个工程问题的任务隔离折外评测中，两种选项顺序都答对的比例从 30.0% 到 47.9%。在 41 个未用于该学生训练的 SWE-bench Pro 任务上，加入学生建议后执行成功率由 14.6% 到 33.7%，全部正确建议条件为 39.0%。这些结果支持“判断可以训练”，但不表示系统能在从未有过历史轨迹的任务上自行找到同样的建议。

这不就是…… 事后复盘出关键选择，再训练一个决策顾问吗？是的。新增点在于自动从并行尝试与任务内绕路中抽取分叉，把事后证据隐藏起来检验事前判断，并用按任务隔离的训练测试区分记答案与迁移。

证据与局限。 标签来自已有分支的实际结局，后续执行质量也可能影响结果，不是严格控制其他行动的因果比较。过滤器偏好其能一致理解的案例，只保留约 10.8% 的候选。所谓最高 59.7% 是工程和研究两域等权平均，且要求两种顺序均答对，随机独立猜测基线是 25%，不是普通二选一的 50%。41 题执行测试既小又经过分叉可提取条件筛选；任务在训练上留出，但此前轨迹参与生成了测试时建议。它与本日报 PSP 对额外信息蒸馏的负面结果并不直接冲突：监督对象、续写来源和执行条件不同，需要按场景判断。

Abstract 完整中文翻译。 语言模型 Agent 越来越多地处理长程任务，而沿途作出的决定，例如检验哪个假设、沿用哪种实现，会决定整次执行的结果。做好这些决定正成为工程与研究 Agent 的关键能力。我们把作出优良长程决策的能力称为 Agent 的 taste。现有基准测量 Agent 在长程任务上的端到端成功，却没有直接测量这种判断能力。为此，我们构建 Taste-Bench，从 Agent 在工程和研究任务中的轨迹自动生成决策题。每道题展示一个决策分叉：轨迹中有多个可行方向，其中一个最终带来更好的结果；受评模型在看不到分叉后续结果的情况下作出选择。我们自动从同任务的并行尝试和单条轨迹中的绕路提取这些分叉，无须人工标注。对前沿模型的评测发现，最好模型也仅能正确回答 59.7% 的问题。决定性证据越晚出现，所有模型都越难作对，而扩大推理预算没有提高准确率。最后，我们展示这种判断可以训练：把见过结果的教师的判断蒸馏到学生，学生在未见任务上作出更好的决定，并提升留出 SWE-bench Pro 任务的端到端成功率。

评测数据集与环境。 Taste-Bench v1 为 502 题：工程 390、研究 112；每题以两种选项顺序评估，两次都正确才计成功，两域等权作为总分。工程源为 517 个 SWE-bench Pro 任务的 2,677 条轨迹，研究源为 RE-Bench／HCAST 的 47 个任务、1,132 条公开轨迹；这些是构造来源，不是本篇全部重新运行的测试题。蒸馏仅用工程题，两折各 195 题，按任务隔离；教师质量过滤后各用 156／142 个训练问题，每题两个视角。390 题折外结果合并报告。

SWE-bench Pro — Public 执行子集为 41 任务、11 仓库、98 分叉，SWE-agent 1.1.0，最多 75 次模型调用、4,800 秒总时长，官方测试判定补丁成功。SWE-bench Verified 仅用于与外部公开榜分数做相关分析，本篇未据此重跑该基准；不要把它记作新的本地实验。依据 v1 §3、Appendices G–H。

Env-Rethink：任务不变，改变环境证据，并让答案与检查一起跟上

• [ ] Breaking the Environment Wall: Evolving LLM Agent Environments for Recursive Self-Improvement

作者： Yukai Wu、Yuanjing Yang、Le Zhou、Shaokun Han、Haoyu Wang、Zirui Tang、Xuzhou Zhu、Weihuang Zheng、Maxm Pan、Xuanhe Zhou、Fan Wu。
机构： Shanghai Jiao Tong University；Theseus Labs；Tencent Hunyuan。按 v1 PDF 第 1 页 署名顺序记录；该 PDF 包含 Xuzhou Zhu，未依赖不完整元数据列表。

任务背景。 Agent 要从一堆文档中整理参考文献、撰写报告或交付代码。它可以读文件、调用工具，最后提交符合用户要求的产物。文件却未必可靠：名叫 final 的版本可能已经被撤回，多份记录也可能只是互相复制，并不是独立证据。任务是否做好，要看最终产物符合哪个有效版本和哪些具体要求，不能只看有没有生成文件。

如果只让模型更努力搜索，它仍可能反复找回相同的错误证据。论文同时研究两件事：怎样把现有环境整理得更容易判断，以及怎样制造更难但仍有明确答案的新环境，供后续学习与检验。

核心方案。 对现有文件，系统先组织“哪些材料应该放在一起读”，再构造有来源支撑的版本与事件关系，帮助执行器理解某条结论何时有效。事件时间线是合成的，必须区分原始证据和生成者推断，并接受文件引用与证据审查。作者还训练一个 27B 文件核验模型，让它在没有下游用户请求时先判断文件的权威性和版本状态，选出材料并写证据报告，交给另一个 Agent 完成真实任务。

环境演化则保持用户要求不变，改变完成它所依赖的事实。比如增加一份已生效的更正记录，旧报告中的数字就不能继续使用。生成器要同时修改文件、参考结果与检查项，记录这次变更和已有版本之间的关系，再验证新参考解通过、旧答案不能蒙混过关。新环境中的合理错误选项必须有另一份证据能唯一澄清，否则只是制造不可解噪声。

这些环境变体可继承上一次的文件状态与生成历史，也可接收失败反馈指导下一次变更。但环境生成器的参数并未在这套演化里更新；27B 模型来自独立的离线教师轨迹训练。论文尚未把“产生新环境—训练更好 Agent—再生成更有效环境”连续跑成可证明增益的闭环。

!figure-5.jpg

原论文 Figure 5，v1，PDF 第 10 页：固定请求下的环境演化。此图只覆盖第三模块，不代表整套系统。

读图。 从左上角种子环境出发，先形成仅供生成过程使用的事件记录，再把增改文件真正落实到环境中。右上角重算参考答案和检查项，这一步使新环境仍然可评估。下面的执行器拿到原请求和新环境，交付产物，再进入右下角配对检查。生成历史不会作为解题提示交给执行器；图也没有画出一次次训练参数的回路，因此不能将它读成已完成的 RSI 训练实验。

实际增量。 在 30 个任务、九种下游模型配置上，含噪完整环境的平均检查通过率为 57.6%，未经训练的 27B 模型整理后为 59.4%，Env-Rethink 整理后为 72.7%。相对基础整理模型的净差是 13.3 个百分点，不能把对含噪环境的 15.1 点提升混用。Terminal-Bench 变体的 55 个配对任务中，32 个在至少三个模型上出现不低于 20 个百分点的成功率下降，说明能制造更难的挑战，但尚未说明用这些挑战训练后能更好泛化。

这不就是…… 先清理资料，再生成有干扰项的训练题吗？基本思路相近。值得关注的是不只改题面：任务请求保持原样，修改真正的文件状态和证据关系，并联动更新答案与验证器，避免环境变了却还用旧标准评分。

证据与局限。 30 任务的下游汇总包含 15 个训练来源父任务和 15 个留出父任务，不能全称为未见任务泛化。组织环境的 TGS 条件还使用目标任务、文件金标和 rubric；它比只看文件的 EGS 得分更高，不能当作无监督整理的纯收益。终端实验目标为每条件三次尝试，个别实际完成数不足，20 点阈值在三次试验中常由一个结果翻转触发；58 个保留种子只有 55 个有配对结果，参考验证记录也只对部分任务可用。生成困难度与未来训练价值仍需单独验证。

Abstract 完整中文翻译。 许多现实任务，例如办公流程与科学实验，需要语言模型 Agent 反复与环境交互，执行依赖上下文的操作。但这些环境往往并未准备好供 Agent 使用。首先，信息分散且碎片化；其次，相关证据与误导信息、相互冲突的版本混在一起；第三，环境随时间演变，引入新的噪声和更困难的任务。这些问题会显著降低先进 AI Agent 的表现，例如从 83.9% 降至 57.6%。为应对这些挑战，我们提出 Env-Rethink，一个包含后训练 27B 模型的系统，支持三项主要能力：第一，自适应构建组织相关文件的 Collection Map，以及说明跨数据关系的 Event Log，补充必要上下文；第二，利用通过离线轨迹学习得到的后训练模型识别环境中潜在的噪声问题；第三，通过改变环境状态与证据关系的虚拟事件历史，使环境演化得更具挑战性，为进一步改进 Agent 提供材料。实验显示，Env-Rethink 可以有效改善下游任务表现，在 30 个任务、九个模型上带来超过 15.1% 的 rubric 通过率改善。

评测数据集与环境。 Env-Rethink Environment-Hard 是从 Workspace-Bench 改编的 30 个困难任务，含 2,196 文件（192 标准、2,004 噪声）及 1,280 rubric 检查项；九模型重复运行同一任务集，不能按检查项或模型数扩增独立任务数。文件核验实验分 15 个训练来源父任务、1,579 文件，与 15 个留出父任务、617 文件，报告分区、类别、阶段及联合正确率。训练数据另为 1,780 train／201 dev 轨迹样本，三 epoch、168 步，不能与 30 个评测父任务混算；TGS 用任务监督作环境准备，EGS 只用环境。

Terminal-Bench 2.1 从 59 个种子开始，一项变体参考执行失败后剔除，58 个保留，其中 55 个有配对结果；四模型、每边目标三次尝试，按实际完成分母报告全检查通过率。新参考解与旧答案的验证属于环境验收，seed／variant 执行用于难度比较，未用于证明训练收益。依据 v1 §7、Appendices B–C。