rz.

DAILY PAPERS /

2026-10-07 论文阅读

9 篇论文 · 研究问题、方法、证据与局限

← 全部日期
本期目录 · 9 篇论文

HMED:把改进方法的修改前后放回同一起点比较

作者: Qianhan Feng、Zhongzhen Huang、Yakun Zhu、Xiaofan Zhang、Qi Dou。
机构: The Chinese University of Hong Kong、Shanghai Jiao Tong University、Shanghai Innovation Institue(原文拼写);依据 v1 PDF 第 1 页。

任务背景。 想象一个在文字环境中做家务的 Agent:它要找到物品、按顺序操作,最后让环境达到指定状态。为了以后不再摸索同样的步骤,系统把有效做法存成任务技能。论文还考察科学实验环境和生物医学分析,但关心的是同一个问题:怎样学会更有效地发现和修改这些技能。

系统另有一份“如何改技能”的文字规则,决定先分析什么失败、查哪些旧经验、怎样分配尝试机会。论文称它为 Meta-Skill。一次搜索成绩好,可能是这份规则变好了,也可能只是起点更容易;直接拿分支最终成绩奖励规则,容易把这两件事混在一起。

核心方案。 当某次技能搜索已经结束,系统先记录当时的技能库、可见历史和任务上下文,再根据暴露的问题提出一份新的改进规则。为了知道这次修改究竟有没有用,它回到这次事件开始前的状态,让旧规则和新规则各自重新带领一次搜索;另选一个补充起点,再做同样的比较。两边从相同的已有技能和历史出发,比较的是随后搜索带来的最佳效用增量,而不直接比两个原本处境不同的分支。

如果两处比较的平均增量为正,且重跑正常结束、新规则确实在对应步骤被使用、文本确有修改,就保留新规则。接着,系统把“为什么改、改了哪里、搜索过程怎样变、发现的技能怎样变”整理成一条记录,供未来规则修改读取。即使这次新规则未被采用,比较中得到的教训也会留下;无效比较则记录下来,但不据此更新规则。

这里的“蒸馏”是把执行比较整理成可读取的文字经验,不是梯度训练。跨轮继承的是任务技能、改进规则和比较经验;基础模型、恢复状态的方法、外层更新程序与采用条件保持固定。因此,它确实修改了指导后续技能改进的策略,但没有自行改写整套验证与搜索算法。

HMED 原论文 Figure 2 原图:v1,Figure 2,PDF 第 5 页,出处。

读图。 从左上已经完成的技能发现事件开始看:它给左下的规则修改提供问题背景。中间不是继续原分支,而是恢复两个起点,每个起点都分成蓝色旧规则与橙色新规则两条路径。两条路径的执行差异汇合到右侧,产生两种结果:一条决定下一轮采用哪份规则,另一条写入经验记录。底部紫色返回箭头把这些记录送回未来修改者,正是“这次改法的后果改变下一次改法”的回路;被拒绝的候选也能走这条返回路径。

实际增量与通俗理解。 这不就是给“怎样改技能”做一次配对重跑,再把试验心得留下吗?新增点不是多记一次日志,而是让比较围绕一项具体修改、尽量固定起点,并让过程差异参与以后提案。论文的消融保留同起点比较,只撤掉后果反馈,能够部分区分“选得更准”与“后续改得更好”。

证据与局限。 在 Qwen3-32B 的 ALFWorld 实验中,完整方法为 54.11%,只做比较选择、不给后续更新返回经验为 49.25%。另一个更贴近改进能力的实验先冻结学到的 Meta-Skill、清空任务技能库,再到新的发现任务上重新找技能,最后在另一半未见任务上测;两种模型相对 MetaSkill-Evolve 的优势分别只有 1.16 和 0.55 个百分点。它支持有限条件下改进策略具有可复用性,不证明持续加速。正文通常报告三次运行均值,但未充分披露各实验实际题数、全部搜索与重跑成本,也未给出这些小幅差异的完整不确定性;同起点并不能消除生成随机性。

评测数据集与环境。 ALFWorld、ScienceWorld 用环境成功率;BiomniBench-DA 用 DeepSeek-v4-Flash 的百分制 judge 分数,不能混称成功率。v1 §4.1–4.5 规定训练任务供技能演化、冻结后独立测试;重用实验将 ALFWorld 原测试集随机分成互不重叠的发现与最终测试两半。待核实: 三者本篇实际分母、数据版本与独立选模细则未披露清楚,不借用其他论文的规模。

完整中文摘要与阅读依据 **摘要翻译。** 随着 Agent 通过生成和修订技能不断改进,发现与完善技能的过程本身也成为可以学习的对象。任务技能直接作用于任务执行,元技能则管理 Agent 怎样发现和改进未来技能,因此其价值要通过它引导的后续搜索体现。现有方法根据已观察的原始技能搜索轨迹和分支结果改进元技能。然而,分支表现混合了初始发现状态和产生搜索过程的元技能修订的影响,难以辨认某项修订实际改变了什么,可能推动系统选择受益于有利起点的修订,而非真正改善过程的修订。我们提出后见元经验蒸馏 HMED,为自我改进 Agent 构造元经验。HMED 回访产生修订的已完成事件,从同一个恢复后的发现状态,重新执行原有和修订后的元技能,从而在共同条件下观察与修订相关的变化。每次比较被整理成一条可供未来更新复用的结构化元经验,因此最终未保留的修订也能贡献学习信号。在三个交互式 Agent 基准以及开放和闭源模型上,HMED 持续优于强基线的技能发现表现,使元技能学习的依据从分支结果转向改变改进过程所产生的后果。 - 来源:[arXiv:2610.07979 v1](https://arxiv.org/abs/2610.07979v1)。v1 提交时间:2026-10-06T08:43:43+00:00(UTC);2026-10-06T16:43:43+08:00(北京时间)。日期依据:arXiv OAI arXivRaw version v1 date。 - 已核对:Introduction,§3.1–3.5,§4 / Tables 1–4,Appendix A;机制图 Figure 2。Appendix A 的个案只能证明反馈被后续更新读取,不能单独证明那条记录导致收益。

RLTL;DR:把失败后的一句提醒学进参数

作者: Michael Kirchhof、Eleonora Gualdoni、Andrew Szot、Khashayar Gatmiry、Aryo Lotfi、Abbas Kazerouni、Omar Attia、Sanjoy Chowdhury、Alexander Toshev。
机构: Apple;依据 v1 PDF 第 1 页。

任务背景。 例如,要让 Agent 根据笔记里的运动计划启动一份足够长的歌单。它需要写代码调用应用 API,查到正确的笔记和歌单,再执行操作;最后由环境检查实际状态是否满足要求。论文也测试编程题,正确性由测试程序判断。

如果一类题难到模型连续尝试很多次都失败,常见的组内相对奖励训练很难获得区分好坏的信号。即使把前一次的错误告诉它,让第二次做对,也还有一个问题:未来遇到新题、没有别人事先提醒时,它是否真的学会了?

核心方案。 模型先正常做题。失败后,同一个模型读取自己的执行轨迹和验证器报错,写一句下一次应注意的要点,例如“搜索结果要翻页”。后续尝试从原任务重新开始,在上下文里累积这些简短提醒;已经比较容易成功时则撤掉提醒,继续练习独立完成。与基线比较时,每题尝试数相同,但这些尝试由彼此独立变成能够利用前次失败的顺序探索。

只训练这些带提醒的成功行动,未必能让模型在没有提醒时做对。作者因此增加一个监督目标:给定任务,训练模型预测自己写过的提醒文字,再与行动轨迹上的 GRPO 更新一起优化。实际实现会利用上下文里的提醒 token 计算监督损失;后一条提醒还可以以此前提醒为条件。评估时既不把提醒放进上下文,也不要求模型先生成提醒,而是检查更新后的参数能否直接改善第一遍作答。

进一步的简化实验只拿“任务、提醒”文本对做监督训练,不把整段行动轨迹送进更新。它证明了短经验本身能承载一部分训练价值,不过这些经验仍来自先前昂贵的交互探索。跨轮保留的是模型参数;随着模型更新,产生失败分析的同一模型也改变,但验证器、训练目标、是否插入提醒的规则都固定,没有学习新的优化算法。

RLTL;DR 原论文 Figure 1 原图:v1,Figure 1,PDF 第 2 页,出处。

读图。 从左上第一行开始:蓝色 Agent 与灰色环境交互,末尾验证失败,生成橙色提醒。橙色返回线将提醒放进下一行的开头;第二次再失败,就增加第二条。后面不带橙色方块的行,是系统重新尝试不借助提醒的执行。右侧把其中一条轨迹展开:橙色区域是要额外学习的提醒,蓝色区域是行动,底部两个损失分别作用于它们。左侧描述训练采样的先后过程,不能当作最终评估也允许这么多次试错。

实际增量与通俗理解。 这不就是把“下次别忘了翻页”这类错题心得也当训练答案吗?关键多出两步:心得由模型结合可执行验证器自己生成;训练直接建立“看到这类任务就应注意什么”的映射,而不只模仿一次被提醒后成功的长轨迹。因此它既改探索,也改需要内化的学习目标。

证据与局限。 困难工具任务上的 GRPO 基本停在 0–1%,本文在撤掉提醒时达到约 12–13%,但这些困难训练曲线不能全部解释为未见题泛化。独立留出上,SAPI 为 91.1% 对 GRPO 的 57.8%,AppWorld 为 61.7% 对 33.7%;代码题却是 49.1% 对 55.1%,作者明确讨论过拟合。AppWorld 的困难训练题来自 train、dev 和 test-normal 的合并池,不能把该结果当标准排行榜成绩。

“只学短提醒”也不等于与完整轨迹训练完全持平:在另设的 386/256 题 SAPI 划分中,去重后的约 4k 文本对得到 16.9% 留出 Pass@1,RLTL;DR 为 18.9%,100 条完整轨迹的 SFT 为 20.8%。压缩的是更新阶段材料;此前 rollout 收集仍约消耗 1B token。相同尝试数下,顺序采样让整轮训练墙钟时间约增加 1.5 倍。收益主要针对极难题,未筛选的常规难度任务未显示同样优势。

评测数据集与环境。 私有 Synthetic-API / SAPI:原约 16k 训练池筛出 458 个 Pass@128=0 任务,另有 1,624 个未见任务;简化训练实验另划 386/256 题。AppWorld:90 train+57 dev+168 test-normal 合并筛得 34 个困难训练题,417 test-challenge 留出。LeetCodeDataset:2,641 题池筛得 123 个困难题,228 个未见问题评估。依据 v1 §4.1、§5.1、Tables 1–2;报告无提醒 Pass@1,约 2k 评估 rollout 含重复尝试,不是额外独立题。私有 SAPI 不可直接取得,三者使用 snapshot 未完全锁定。

完整中文摘要与阅读依据 **摘要翻译。** 可验证奖励强化学习的常见做法是让 Agent 多次尝试任务,再朝成功尝试优化。在自我改进场景中,这会遇到问题:任务可能难到 Agent 几乎没有甚至完全没有成功机会,又没有教师模型或示例答案可以蒸馏。本文提出 RLTL;DR。每次尝试失败后,我们向策略展示验证器输出,让它以一句 TL;DR 要点的形式生成反馈。下一次 rollout 以此前所有要点为条件,按顺序采样,寻找成功解。此外,我们对上下文中的要点反向传播,使模型内化从任务直接映射到要点的能力。在筛选为 Pass@128=0 的困难工具调用与编程数据集上,Qwen3.5-9B Thinking 的标准 GRPO 训练停滞在 0–1% 的 Pass@1。RLTL;DR 突破这一学习障碍,在训练时带要点上下文达到 14–31%,更关键的是,在评估时没有要点上下文仍达到 12–13%。我们发现关键是内化任务到要点的映射。为进一步研究,将方法简化为 SFTL;DR,仅在任务与要点的文本对上训练,不展示任何 rollout,也不对 rollout 反向传播。只用 4k 这样的文本对,就能恢复接近完整 RLTL;DR 和完整轨迹传统 SFT 的表现。这展示了一种有潜力的压缩训练范式:“遇到这类任务,要记住这类事情”,希望启发后续研究。 - 来源:[arXiv:2609.37633 v1](https://arxiv.org/abs/2609.37633v1)。v1 提交时间:2026-09-29T14:04:06+00:00(UTC);2026-09-29T22:04:06+08:00(北京时间)。日期依据:arXiv OAI arXivRaw version v1 date。 - PDF 首页另标 “Date: September 30, 2026”;首次提交日期采用官方 arXiv v1 历史,不用排版日期替代。 - 已核对:§1、§3–7,Figure 1,Tables 1–3,A.5、E.3/E.7。摘要的“接近完整表现”是作者概括,具体差距以上方 Table 2 数值为准。

SERA:让同一个模型学会拆任务、做任务和写验收标准

作者: Tianyi Lyu、Xiaozhe Li、Yang Li、Yongkang Chen、Kefei Tian、Junbo Niu、Zican Hu、Hongbo Liu、Mingliang Xiong、Qingwen Liu。
机构: Tongji University、Independent、Shanghai Artificial Intelligence Laboratory、Shanghai Jiaotong University、Peking University、Nanjing University;依据 v1 PDF 第 1 页。

任务背景。 Agent 在一个文字世界里接到合成物品的目标,可以查配方、操作材料,也可以把“先做好某个零件”交给另一个自己。子 Agent 又能继续拆分,于是一个任务变成一棵工作树。另一组实验中,大家共享物品和环境状态,还要处理先后依赖、资源冲突。最终是否造好目标、完成任务,环境能够判定。

困难在中间:子任务是 Agent 临时提出的,未必都有现成答案。只把总任务成败发给所有节点,分不清哪里做得好;每个节点都请外部模型评分,又昂贵且未必能评价“这个任务拆得有没有必要”。

核心方案。 父 Agent 在派出子任务之前,先写好若干带权重的验收条件,之后不能根据子 Agent 的表现临时改题。子任务结束时,同一个模型在独立调用中按这些条件打分,给执行训练提供更细的奖励。根任务仍用环境的最终结果验收,防止把一棵“内部互相打高分”的树当成完成了真实任务。

但模型自己写的标准也可能不可靠。系统因此回到一个委派发生时的环境状态,采样多条解决同一子任务的轨迹,再让外部程序或 judge 判断哪些成功。标准生成器的训练目标是让自己的评分把这些成功轨迹排在失败轨迹之前;没有成败差异的一组跳过。执行训练用学到的标准,标准训练依靠外部检验,两层反馈承担不同工作。

剩下的拆分决策另给信号:只有整棵树成功时,某次委派才按其子树覆盖的叶节点工作比例获得奖励。三类更新轮流进行,写标准、做任务、拆任务共用参数,更新会保留到下一轮。这个覆盖比例是结构上的信用代理,并不证明每个叶节点具有相同的实际贡献;外部验收和训练规则也没有被模型自己改写。

SERA Figure 1 上半部 SERA Figure 1 下半部 同一原图的上下两部分:v1,Figure 1,PDF 第 3 页,出处。

读图。 先看上半部的根 Agent:它把带验收标准的任务向下交给子节点,子节点完成后把结果往上返回。这里的返回线描述一次任务内的调用关系。再看下半部三条训练路径:执行轨迹产生执行更新,树的完成情况与覆盖比例产生委派更新,外部核验过的多条子任务结果产生标准更新。它们最后改变同一策略,才构成跨训练轮次的能力积累;这条训练循环与上半部的任务调用树是两种不同的时序。

实际增量与通俗理解。 这不就是先约定验收标准,再教主管怎样写出靠谱标准吗?新增之处在于主管和执行者是同一模型,学习判断标准会同时改变它做任务的方式。仅增加标准并不够,标准需要对齐外部可验证结果,而且之后确实要参与执行训练。

证据与局限。 TextCraft-Synth 上平均成功率为 74.31%,对比 RAO 的 68.93%;共享状态更复杂的 TextWorld-Sync 上为 65.07%,对比 51.93%。去掉额外拆分奖励,前者反而略升到 74.84%,后者降到 60.26%,说明这项机制并非普遍有效。只训练标准却仍用原来的二元执行奖励,在 TextWorld-Sync 上也会退化。论文报告三种训练随机种子的均值与标准差;降低外部 judge 调用量不等于已经证明总训练成本更低,额外轨迹与标准学习仍有开销。推理时再加树搜索的收益应与训练所得能力分开。

评测数据集与环境。 TextCraft-Synth:852 个 Medium 训练任务,632 个跨四种难度的测试任务,子目标可用程序验证。TextWorld-Sync:七类共享状态任务,1,500 训练、200 验证、1,400 测试;中间目标借助外部 judge 训练标准,根任务用环境成功率。依据 v1 §4、Table 5、Appendix C;每题八棵训练树、标准训练的八条候选与三种种子都是重复运行,不能增加独立题数。数据 commit 与验证集具体选模用法仍待核实。

完整中文摘要与阅读依据 **摘要翻译。** 递归语言模型 Agent 将任务拆开,并委派给同一策略的子实例,形成一棵工作树。然而训练很困难:最终结果可验证,但系统自己发明的中间子任务数量众多、没有标准答案。现有方法逐节点使用验证器或 judge 评分,规模扩大后成本高,而且无法反映分解质量。我们认为递归 Agent 必须在同一组权重中学习三项耦合能力:分解问题、解决子任务和评价结果,每项都需要自己的训练信号。SERA 将评价变成策略自身学到的能力。委派之前,父节点为每个子任务写出带权重的成功标准;随后用相对于已验证结果的排序目标训练标准生成,使其跟随真实子任务成功。此外,互补的叶节点覆盖信号直接为任务分解分配信用。核心发现是,训练策略生成对齐的标准推动了性能提升:同一组权重既评价又执行,学会判断子任务会增强解决它们的能力。外部监督也减少了:只有训练标准生成器时才咨询 judge,解决任务则用 Agent 自己的标准分数训练,其表现优于直接使用 judge。训练之外,学到的标准还可作为推理树搜索中的选择器。在 TextCraft-Synth 和 TextWorld-Sync 上,SERA 相对强递归 Agent 基线平均提升 5.38 和 13.14 个百分点;推理时标准引导的树搜索在 TextWorld-Sync 上再提升 2.43 个百分点。 - 来源:[arXiv:2610.04902 v1](https://arxiv.org/abs/2610.04902v1)。v1 提交时间:2026-10-04T03:28:07+00:00(UTC);2026-10-04T11:28:07+08:00(北京时间)。日期依据:arXiv OAI arXivRaw version v1 date。 - 阅读依据:§1–4、Figure 1、Tables 1–2、Appendices B–C。主要数值二次核对 Table 1;“三种能力共享权重”不代表三个目标同时、不加区分地优化。

Safety Must Survive:拒绝新坏版本,为什么旧坏版本还在运行

作者: Yunbei Zhang、Janet Wang、Saiyue Lyu、Yingqiang Ge、Kaiqu Liang、Zijian Jin、Chandan K. Reddy、Jihun Hamm。
机构: Tulane University、University of British Columbia、Rutgers University、Princeton University、New York University、Virginia Tech;依据 v1 PDF 第 1 页。

任务背景。 一个服务程序要处理登录会话、文件访问、工具审批或用户授权。它不仅要完成合法请求,还要在权限被撤回后停止相关操作;全部拒绝请求也不算正确。论文让固定的语言模型不断修改这类可执行组件,尝试节省服务成本,并用独立执行轨迹检查它实际做了什么。

例如,旧程序为了省事缓存了“用户已授权”。后来授权规则增加了上游撤销条件,原来通过测试的缓存可能已不安全。如果演化系统仍按旧分数选版本,找到一个正确替代品也不一定会让它真正上线。即使规则没变,拒绝所有新候选后继续运行已经失败的旧版本,同样不能恢复安全。

核心方案。 论文用配对干预追踪同一条演化历史。第一类实验改变授权依赖后,比较继续相信历史分数与重新测试归档版本:重新测试让选择依据对应当前环境,而不只证明某个版本过去曾经正确。另用独立组合的新测试检查是否只修好了公开测试覆盖到的部分。

第二类实验把“拒绝候选”和“决定实际运行程序”分开。如果在当前条件下没有合格的新版本,系统还必须核验现任版本;只有经过当前检查的回退版本才能接管,否则应暂停,而不是默认继续运行失败程序。这是运行选择的约束,并不自动决定下一轮编辑的起点。

为了研究恢复,作者还从同一故障出发,让编辑器分别修改失败版本或最初实现,观察能否找回正确行为。初始实现有时更容易修,但效果随编辑器变化。跨代继承的是程序与选择记录,模型和编辑流程保持固定,因此本文研究的是持续改进的保留与恢复条件,不是让优化器递归学习新算法。

Safety Must Survive Figure 1 原图:v1,Figure 1,PDF 第 2 页,出处。

读图。 从最上面的条件变化开始:旧授权依据失效,但旧得分仍可能沿选择路径把同一程序送回运行。中间一行展示另一条路径——新候选全部被拒绝,现任版本因为默认保留而继续工作。最下面再把两条出路分开:运行端需要当前验证和合格回退,编辑端需要选择下一次从哪个实现修改。图里的分叉正说明,检测到失败、找到修复、真正运行修复是三个不同事件。

实际增量与通俗理解。 这不就是给版本管理加健康检查和回滚吗?新增的认识在于:检查必须针对当前依赖,且“回滚到谁”和“从谁继续改”需要分别决策。一个旧的高分或一次拒绝新版本,都不是对当前执行安全的保证。

证据与局限。 48 条框架历史中,规则变化后有 22 条因历史得分继续保留同一个不安全程序,而受影响的归档里都已有正确替代品。刷新评分能恢复原测试集上的正确性,但独立组合测试仍留下失败,说明重新验证不能超出测试覆盖范围。核心轨迹实验中,完整验证与经验证的回退最终达到完全正确,同时保留超过 43% 的部署服务成本节省;这个比例不包含生成候选和验证的开销,“最终正确”也不等于中途从未不安全。

框架覆盖有明确边界:OpenEvolve 运行控制器,DGM 通过适配层使用三个上游函数;STOP、SICA 的相关结论仅来自源码检查。补充的真实对话迁移没有证明演化使撤回授权后的违规提议更频繁,不能将受控程序实验的结论直接套到它上面。

评测数据集与环境。 本文自建有状态授权实验:四类任务,核心实验 288 个配对配置块,每块公开、审计、隐藏各 24 条请求流;不同方法、代数会重用这些流,不能把运行次数当独立样本。公开集用于候选选择,审计用于回退,隐藏集用于结果诊断;48 条框架历史与 128 条独立组合流是另设实验。τ 系列航空/零售环境 的原生对话迁移包含 64 条演化谱系、每块三题选择与三题审计,3,200 个计划隐藏 episode 中 3,190 个有官方分数;仅观察到的分数进入成功率分母。授权撤回试验只查询下一动作、不执行写入。依据 v1 §§2–5、Appendices B–G;原生迁移跨引 τ/τ² 来源但具体 release 未锁定,不混用二者标准总量。

完整中文摘要与阅读依据 **摘要翻译。** 递归自我改进使 Agent 能把有用的修改跨代保留。维持跨代安全既要避免不安全行为持续存在,也要在发生故障后能够恢复。我们通过有状态授权任务的受控试验研究这些挑战:固定的语言模型编辑器优化可执行 Agent 组件,独立轨迹记录其效果。配对干预分别研究哪些修改通过验证、哪个程序继续运行,以及编辑器下一步修改哪个程序。新的授权依赖使此前测试过的优化失效后,尽管每个受影响归档中都有正确替代品,历史得分仍在 48 条框架历史中的 22 条里保留同一不安全程序。刷新得分恢复了原测试集上的正确性,但独立组合测试仍有残余故障。在契约不变时,如果所有提案被拒绝、失败的现任程序仍保持活动,故障也会持续。从共同故障出发,修改初始实现而非失败实现能改善恢复,但优势随编辑器而异。在核心轨迹研究中,完整验证与经验证的回退最终得到完全正确的程序,同时保留超过 43% 的部署节省。维持 Agent 安全,需要检查当前条件下真正会运行什么,并选择接下来修改哪个实现。 - 来源:[arXiv:2610.01073 v1](https://arxiv.org/abs/2610.01073v1)。v1 提交时间:2026-10-01T05:13:51+00:00(UTC);2026-10-01T13:13:51+08:00(北京时间)。日期依据:arXiv OAI arXivRaw version v1 date。 - 阅读依据:Introduction、Figure 1、核心干预与框架审计、独立组合测试、Appendix G / Table 19。数字已对照摘要、正文及附录;对话迁移的缺失确认批注不被当作安全。

Mining Agent Skills:不是所有经验都该写成操作步骤

作者: Yue Ran Kang、Colton Mikolajczyk、Chhaya Methani、Hazel Mak、Sahil Bhatnagar、Susheel Suresh、Alejandro Gutierrez Munoz。
机构: Massachusetts Institute of Technology、Microsoft Corporation;依据 v1 PDF 第 1 页。

任务背景。 企业客服 Agent 接到退货、账户变更或权限申请,需要查业务规则、调用工具、更新记录,最后让业务状态符合要求。另一些任务是为金融、法律、咨询工作制作交付物,靠逐条评分标准验收。一次任务走通了,不代表下一次会自动记住正确流程;论文研究怎样从旧执行记录提炼可复用的技能文件。

这里有两个实际选择:给整理经验的模型看哪些记录,以及把学到的东西写成什么形态。如果不知道哪条执行成功,模型可能把失败的做法也总结进去;如果每项任务的处理顺序都不同,硬写一条统一流程又可能过度限制后续行动。

核心方案。 作者先用没有技能文件的 Agent 多次执行任务,据成功频率区分容易、适中和困难任务。随后设置三种挖掘材料:只看成功轨迹;看适中任务里带成败标签的成功与失败轨迹;看相同的混合记录,但隐藏结果标签。这样可以检验,模型需要的究竟只是更多过程,还是需要知道过程最后有没有奏效。

每份材料又整理成两种形式。一种按顺序告诉 Agent 先查什么、再做什么,是工作流程;另一种说明有哪些实体、状态和约束,例如哪些账户关系允许哪种操作,是声明式业务知识。后者不强迫固定步骤,但需要 Agent 自己把规则落到当前任务。技能文件持久保存,后续 Agent 看到描述后自行决定是否读取,基础模型参数不变。

每一折只从其他折的任务挖掘技能,再在未参与挖掘的任务上比较六种组合。这里需要留意,两种表示还同时改变了技能覆盖范围和文件数量:流程倾向较大的共享范围,业务知识按任务组拆分。因此结果比较的是整套配置,不能把差异完全归因于“顺序文字”与“实体文字”这一个变量。

Mining Agent Skills Figure 1 原图:v1,Figure 1,PDF 第 4 页,出处。

读图。 从旧任务的执行记录开始,先经过采样和标签可见性选择,再送到技能挖掘器。中间分成流程和业务知识两条表示路径,右边由装载技能的 Agent 去做另一折任务,与不装技能的对照比较。注意这张图没有把右侧新结果再次送回去挖下一轮技能:它展示的是一次离线经验整理与留出评估,不能按持续自我改进循环来读。

实际增量与通俗理解。 这不就是把老员工的工单整理成 SOP 或业务规则吗?新增的是把“挑哪些工单、是否知道成败、写成什么”分别放进对照,而不是只展示一份技能有效。结果也提醒我们:读取过技能不代表遵照技能执行,保留经验的形式要服从任务结构。

证据与局限。 ThinkingBox-Bench 上,带标签的适中难度混合经验配流程,相对无技能对照平均增加 3.8 个百分点,95% 区间为 1.5–6.1;APEX-Agents 更倾向业务知识表示,但优势较小。APEX 的若干未校正区间排除零,经过六项比较的 Holm 校正后却不足以认定显著,不能只看表格加粗。其成绩还包含未修正的 judge 服务错误。

对照组一部分来自历史运行,未与技能组同时随机执行;模型服务漂移可能影响比较。隐藏标签的材料最初仍经过依赖结果的采样,所以它不完全等价于生产中“根本不知道成败”;附录另加随机无标签条件,未得到稳定收益。这些边界让结论更适合指导针对性试验,而不是宣布某种技能写法普遍最好。

评测数据集与环境。 ThinkingBox-Bench 原有五域 516 题,本篇剔除零售两题后实际 514 题,按最终业务记录验收;APEX-Agents 三域共 480 题,按二元 rubric 验收交付物。五折隔离挖掘与测试,每题每组合重复五次,六组合合计分别 15,420、14,400 次技能运行,不是这么多独立题。GPT-5.4 medium 为固定执行与挖掘模型;APEX 主表沿用纠正 judge 服务错误前的分数。依据 v1 §4、Tables 1–3、Appendices A.4–A.8,具体服务版本及随机种子覆盖有限。

完整中文摘要与阅读依据 **摘要翻译。** 记录程序性指令的 Agent 技能,越来越多地从执行轨迹中挖掘,而非由人工整理。技能挖掘流程常借助已知任务结果或反馈引导构建,但在生产中可能拿不到可靠的成功信息。我们研究轨迹如何采样、能否看到成败信息以及技能的形式,怎样影响下游表现。固定挖掘流程后,比较证据与表示形式的六种组合。证据分三档:只有成功轨迹;带结果标签的成功与失败轨迹;同样的混合轨迹但隐藏标签。表示形式分两种:有顺序的工作流程,或描述实体、状态与政策的声明式本体。我们在 ThinkingBox-Bench 和 APEX-Agents 两个企业基准上评估。任务级配对差异表明,不同证据与形式的收益依赖企业领域。ThinkingBox-Bench 上,流程比本体高 1.7 个百分点,适中难度混合经验比仅成功经验高 2.4 个百分点,而模拟无结果学习的隐藏标签版本低 3.1 个百分点。APEX-Agents 略偏好本体,对不同证据类型没有明确偏好。各领域的任务结构约束造成技能收益不均。这些发现支持按目标任务需求调整元技能,而不采用统一方案。 - 来源:[arXiv:2610.05777 v1](https://arxiv.org/abs/2610.05777v1)。v1 提交时间:2026-10-05T04:21:42+00:00(UTC);2026-10-05T12:21:42+08:00(北京时间)。日期依据:arXiv OAI arXivRaw version v1 date。 - 阅读依据:§1、§3–6、Figure 1、Tables 1–3、Appendices A.4–A.8;数值另核对 Table 1 与 A.5。摘要中的 ontology 本文按作用解释为实体、状态、业务规则,不等同于训练一个知识图谱模型。

CrossFit:别让出题者靠答题者复述同一个错误获得奖励

作者: Meijia Chen、Hao Li、Zheng Lu、Hongshan Lin、Junbai Tian、Yichen Liu、Zijun Tian、Yufan Zou、Shuhan Sun、Hanxin Chen、Zeyu Zhang、Weizhi Du、Yueting Li、Tianyu Shi、Alaa Khamis。
机构: Rutgers University、Independent Researcher、University of California, San Diego、University of Michigan、McGill University、King Fahd University of Petroleum and Minerals;依据 v1 PDF 第 1 页。

任务背景。 搜索 Agent 要查资料回答事实或多跳问题。为了自己产生训练题,系统让一个角色读文档出题并附答案,另一个角色检索后作答。出题者根据答题者能否答对学习生成合适难度的题,答题者再用这些题训练,下一轮继续。

问题是这里所谓“答对”,往往只表示与出题者的答案一致。如果伪答案本来就错,答题者训练后学会重复这个错误,系统会把一致性提高误当成进步。论文称之为 co-cheating,指优化过程形成的共同错误,并不意味着两个模型有意识地串通。

核心方案。 作者先做事后审计:保存每个问题的原始来源、伪答案和用于打分的五条回答,再请独立模型回到来源构建有证据的参考答案。审计区分真的答对、错答案相互吻合,以及答对却被错误伪标签扣分。审计结果只用来测量,不进入训练,不能把这项外部判断当成方法本身免费拥有的监督。

主要改法是把来源文档固定分成两组,另外训练两个辅助答题者:一个只学第一组来源生成的题,却给第二组题打分;另一个反过来。下一轮出题者收到的奖励来自这种交叉评分,减少“刚用同一来源的错误答案教过评价者,又让它认可该答案”的直接回路。最终交付的主答题者仍学习两组全部获准题目,原来的更新规则不变。

所以被修改的是反馈的来源关系,而不是在每道题上增加一个真值验证器。主模型、出题模型和辅助模型的参数跨轮保留,但分组规则、奖励形式与外层日程固定。来源之间仍可能共享内容,预训练知识也可能包含共同错误;按文档隔离只能切断一条特定的误差回传路径。

CrossFit Figure 4 原图:v1,Figure 4,PDF 第 4 页,出处。

读图。 从出题者及它读取的来源组开始。上面两条辅助训练路径各留在自己的一组,评分箭头却交叉伸向另一组问题;它们产生的匹配反馈返回出题者,影响下一轮课程。底部主答题者接收两组全部合格题,最后用于下游评估。不要把交叉的箭头看成两个模型投票确认真值:核心是评分者没有直接学过同一来源生成的伪标签。

实际增量与通俗理解。 这不就是交叉验证吗?相似之处是隔离训练与评价,但这里按来源隔离的是持续训练的反馈模型,反馈又会改变未来题目分布。它针对的是课程和答题能力互相塑造时形成的虚假进步,而不只是最终挑一个 checkpoint。

证据与局限。 三轮完整演化后,4B 与 9B 模型的错误一致量分别从 6.1% 降到 3.0%、从 8.8% 降到 3.7%;七项下游任务的宏平均 Cover-EM 从 40.0% 升到 48.8%、从 42.8% 升到 51.2%。使用相同提案重放反馈还有更低的诊断数值,但不能混称完整方法的最终结果。事后审计覆盖约 86%,无法支持判断的案例保留未决,审计模型也可能出错。

这些提升不是等总训练算力对照:主实验每轮额外训练两个辅助模型,预留 H200 时长相对基线增加约 72% 与 79%。该成本包含等待,不等于实际 GPU 利用量,外部审计服务算力也未计入。三轮、两种模型规模支持特定误差机制,尚不证明长期稳定或跨相关来源仍有效。

评测数据集与环境。 Natural Questions、TriviaQA、PopQA、HotpotQA、2WikiMultiHopQA、MuSiQue 各固定 200 题,加 Bamboogle 全部 125 题,共 1,325 题;各轮末同一清单、每题一次贪心搜索、相同工具预算,最终指标 Cover-EM,主表为七基准等权宏平均。CrossFit 自生成任务审计协议 用于诊断训练反馈,没有进入验收或更新;每轮 1,600 个获准训练问题、每题五次回答也不能当五倍独立题。依据 v1 §4、Appendices A–B;来源语料 snapshot 与抽样清单未独立复现。

完整中文摘要与阅读依据 **摘要翻译。** 自演化搜索 Agent 可以共同优化生成问题的出题者和回答问题的求解者,从而构造自己的训练课程。这个闭环带来一种我们称为共同作弊的故障:双方越来越一致地犯同样的错,内部奖励提高,却没有对应的外部正确性提升。依据来源证据进行的事后参考审计表明,这种现象随演化轮次加重,伪标签正确性停滞或下降,而循环内训练信号仍在改善。最直接的缓解是训练前验证每个提案。我们因此引入多样本验证 MSV,用自演化中的同一个模型,带来源和不带来源各查询三次,以决定是否接纳任务并替换不可靠伪标签。MSV 部分减少错误一致,但仍有大量残余,每个候选还需要六次额外标签生成。因此我们提出主要方法 CrossFit:把出题者的来源文档分为 A、B 两组,A 组生成的问题由只在 B 组训练的辅助求解者评分,反之亦然。交叉拟合的一致性决定出题者奖励,阻止同源伪标签经反馈求解者直接复现,同时保持原求解者更新规则不变。我们使用 Qwen3.5-4B 和 9B,重新运行完整自演化循环评估两种干预。演化后,MSV 将错误一致量分别从 6.1% 降至 5.7%、从 8.8% 降至 7.2%;CrossFit 则降至 3.0% 和 3.7%。对相同提案使用排除同源训练的反馈进行重放,错误一致进一步降至 0.4% 和 0.1%,将反馈继承关系与课程变化区分开。在七项下游搜索基准上,CrossFit 相对常规耦合自演化平均提升 8.8 和 8.4 个百分点,相对 Search-R1 提升 8.7 和 7.8 个百分点。 - 来源:[arXiv:2609.39102 v1](https://arxiv.org/abs/2609.39102v1)。v1 提交时间:2026-09-30T06:41:51+00:00(UTC);2026-09-30T14:41:51+08:00(北京时间)。日期依据:arXiv OAI arXivRaw version v1 date。 - 阅读依据:§§1–4、Figure 4、Tables 1–4、Appendices A–D。审计使用 gpt-6-astra/high,结果为来源支持的模型判断,非逐项人工真值;数值核对摘要与 Tables 1、3、4。

ReSAIL:学生变强,还要保住它下一轮当老师的能力

作者: Shengjie Jin、Hengbo Xu、Zelong Sun、YuJie Guo、Zhiwu Lu。
机构: Gaoling School of Artificial Intelligence, Renmin University of China;依据 v1 PDF 第 1 页。

任务背景。 Agent 在文字家务或合成环境里逐步操作,直到完成目标。训练时,一次执行已经结束,系统可以把后续观察和最终结果整理成摘要,告诉模型“后来实际发生了什么”。但真正部署时,Agent 决定当前动作之前并不知道未来,所以必须学会在没有这种额外信息时也能做得更好。

自蒸馏让同一模型扮演两种角色:看到完整结果的老师,指导只看到当下信息的学生。学生更新后,下一轮既去收集新经验,又要当新老师。只检查学生这轮有没有进步,就可能漏掉它利用额外信息进行指导的能力正在下降。

核心方案。 每轮先用当前策略收集一批完整轨迹,整理只有训练时可见的结果摘要。冻结一份当前模型作为老师,同时训练学生。为了选出值得蒸馏的交互步骤,系统在相同回答前缀上比较老师“看摘要”和“不看摘要”的输出分布:差别越大,说明这份后见信息越可能改变决策。选中这些步骤后,让没看摘要的学生学习看过摘要的老师,并按轨迹内的选中步骤数归一化,避免某条长轨迹占据过多权重。

不过只挑好步骤仍可能第一轮进步、后面退化。作者再加入另一项约束:学生也看摘要时,它的输出分布应接近这一轮冻结老师看摘要时的分布。这项保留作用于所有交互步骤,包括未被选来蒸馏的步骤。它要保住的是学生以后承担教师角色的行为,而不只是当前部署输出。

一轮结束后,学生参数成为下一轮的数据收集者和新老师,重新收集语料再训练。跨轮继承的是模型参数,筛选方法、保留目标和外层循环都固定。摘要来自自己的完整经历,不是免费的外部正确答案;保留教师行为也可能保留其错误,因此方法是在缓解退化,而非保证每轮获得可靠的新知识。

ReSAIL Figure 2 原图:v1,Figure 2,PDF 第 3 页,出处。

读图。 先看原始自蒸馏路径:老师多拿一份后见摘要,学生只拿普通输入,损失将前者知识移到后者。下面增加两条支路:一条比较老师有没有摘要的分布差异,决定哪些步骤进入蒸馏;另一条让学生在同样拿到摘要时模仿老师,保护未来的教学能力。图中按轨迹平衡改变的是选中损失的权重,不是把更多轨迹采进来。学生在本轮结束后才接替教师,不能把训练中的冻结老师理解为每一步随学生同步变化。

实际增量与通俗理解。 这不就是既练“闭卷做题”,也保留“看解析讲题”的能力吗?新增认识在于两种能力共用参数,前者更新可能损害后者,而下一轮正需要后者来教自己。论文还把选择有信息的步骤与保护教师能力分别消融,避免把第一轮涨分当成递归机制已经稳定。

证据与局限。 Qwen3-4B 的 ALFWorld OOD 上,OEL 三轮从 47.1% 降到 38.5%,加 ReSAIL 则从 57.3% 升到 67.2%。只做敏感步骤筛选,第一轮可达 61.5%,第三轮却掉到 37.8%,说明短期收益并不足够。完整方法只验证三轮;三种 seed 测的是同一训练结果的解码波动,非三次独立演化。本文的 SDPO 对照也是适配到离线分轮的版本,不能概括为所有在线 SDPO 都会坍塌。

完整 ReSAIL 的首轮测量成本为 OEL 的约 1.23 倍;“优化部分省 74%”只是筛选组件的局部统计,不能用来宣传完整方法整体省算力。GUI 补充实验只验证固定离线数据的筛选,使动作匹配准确率从 64.89% 到 65.95%,没有验证完整 ReSAIL 的多轮 GUI 任务成功率。

评测数据集与环境。 ALFWorld 固定 128 ID+128 OOD episode;TextCraft 完整官方测试集 100 episode。三轮各取最终 checkpoint,无中间验证选模,30 步动作预算,报告三种解码 seed 的成功率均值/标准差。AITZ 从 Aguvis Stage-2 的 1,728 条轨迹取 1,600 条训练,固定保留敏感度前 80% 步骤;测试监测 101 episode 的 843 个非停止步骤,用真实历史预测下一动作,不执行预测动作。依据 v1 Tables 4–5、Appendix A;监测不用于调参或早停,数据 snapshot 待核。

完整中文摘要与阅读依据 **摘要翻译。** 迭代自蒸馏让语言模型 Agent 从连续部署中学习,为递归自我改进提供一条路径。然而,对现有方法的实验发现,部署表现会随轮次坍塌,带特权信息的任务表现也同步下降。我们通过优先蒸馏信息量大的交互步骤,并在学生成为下一轮教师时保留其使用特权信息的行为,缓解这种坍塌。我们提出 ReSAIL,作为迭代特权信息自蒸馏的可插拔增强方法。它选择特权信息对教师预测影响最大的交互步骤,并在轨迹之间平衡相应蒸馏损失;同时,在选中和未选中的步骤上,将学生使用特权信息时的输出分布约束到冻结教师的分布,以保留下一轮监督所需的能力。在 ALFWorld 和 TextCraft 上,ReSAIL 在不同模型规模、三轮训练中维持显著收益,加入自蒸馏基线后,最终轮成功率平均绝对增加 22.5 个百分点。基于敏感度的离线数据选择,也提高了多模态 GUI Agent 在 AITZ 上的动作预测准确率。作者认为这些发现提供了首个证据:更稳健的学习机制可以缓解基于部署轨迹的迭代 Agent 自蒸馏中的表现坍塌。 - 来源:[arXiv:2609.39306 v1](https://arxiv.org/abs/2609.39306v1)。v1 提交时间:2026-09-30T08:49:03+00:00(UTC);2026-09-30T16:49:03+08:00(北京时间)。日期依据:arXiv OAI arXivRaw version v1 date。 - 阅读依据:§§1–4、Figure 2、Tables 1–5、Appendices A、C、D。原摘要将其称为“首个证据”,此处仅按本论文有限实验理解;Table 2、A.3 与 §4.4 另核对消融、seed口径和成本。

Self-Evolving Harness:让修改程序的 Agent 也运行在新程序上

作者: Qiankai Xu。
机构: Nanjing University;依据 v1 PDF 第 1 页。

任务背景。 同一个模型要做终端工程、处理动态应用消息、查财政文档、办理银行业务和修复代码。模型外面有一段程序负责组织提示、执行工具、管理上下文和停止条件,这就是 harness。最初的程序只有 49 行:调用模型,执行命令,把结果放回对话;如果工具一次输出太长,连后面的推理机会都可能失去。

论文让 Agent 阅读自己的完整执行记录后改这段程序。特别之处是,负责修改的 Agent 也由同一份程序运行:上下文管理的改动不仅影响下一次做题,也会影响下一次它怎样阅读记录和修改自己。

核心方案。 每一轮先让 Agent 用当前程序完成一批任务,保留完整工具轨迹、分数和评测解释。再开一个新会话,仍用同一模型、同一版本的程序,让它读取这些记录、旧的演化笔记,以及前次修改会话,直接编辑程序和笔记。这里没有固定的外部分析 Agent 帮它总结失败;怎样查记录、改哪个模块,由修改者自己决定。

新程序要通过几项工程检查:只改允许的程序文件、确有代码变化、不超过新增行数预算,并能与模拟模型走完一次任务。通过这些检查就进入下一轮,并不要求在任务验证集上超过旧版本。 下一轮执行者和修改者都会继承新代码;演化笔记保存先前判断、修订和后续想法。模型权重、底层执行接口、评测器和外层检查仍固定。

前五轮每轮混合五个领域的 60 道新题,同时逐步收紧新增代码预算。后两轮改做新的 Claw-Eval 任务,再混入以前成功的任务作为回放,让修改者能看到旧能力是否退化。这与预训练、继续训练和学习率调度有类比,但代码改写没有梯度方向保证,新增行数也不直接衡量行为变化幅度。

Self-Evolving Harness Figure 1 原图:v1,Figure 1,PDF 第 2 页,出处。

读图。 左边任务批次先进入执行者,完整记录沿中间箭头交给右边修改者。上方同一个模型和同一份代码同时连着两者,说明它们是不同会话里的两个角色,而非两套固定能力不同的系统。底部笔记被读取和更新,右侧工程检查后产生新代码与新笔记,再沿最外面的返回箭头成为下一轮共同运行状态。这个返回才是改进者继承自身改动的地方;工程检查框不代表性能验收。

实际增量与通俗理解。 这不就是让 Agent 自己维护自己的工作台吗?关键是它下一次“维护工作台”也必须使用改过的工作台,而不只是给一个永远固定的外部优化器换被测程序。论文把这个结构与跨领域训练结合起来;是否因此提高了改进能力本身,还需要冻结修改者 harness 等进一步对照。

证据与局限。 第一阶段结束,五个训练领域的留出均分由种子程序约 55.7 提升到 60.17,另五个领域均分提高 12.64 点。后一个平均高度受 BrowseComp-Plus 由 34 到 90 的提升影响,主要修复了长输出导致的上下文溢出;排除该项后,其余四项只比种子高约 1.8 点。它与同模型 Codex CLI 0.146.0 的整体表现接近,并不是每个领域都更好。

第二阶段 Claw-Eval 从 66.17 到 68.06,但此时它已参与训练,不能继续称作未见领域迁移;论文只在新领域比较第五和第七版,没有给出第二阶段后完整旧领域保留结果。实验只有一个模型、没有多条独立演化链;一次运行检查不能防止性能退化,作者也明确把缺少更新验证列为限制。

评测数据集与环境。 v1 Table 3 明确区分题数与重复:第一阶段 Terminal-Bench 2.1 为 60 训练/29 留出、留出各跑三次;GAIA2 60/100;OfficeQA Pro 60/73、留出两次;τ³ banking 60/37、留出两次;SWE-Bench Pro 60/100。域外测试用 SWE-bench Verified 100、DeepSWE 53、BrowseComp-Plus 100、APEX-Agents 100、Claw-Eval 100;Claw 另有 80 题仅在第二阶段训练。APEX/Claw 是官方平均分×100,其余为成功率,五域等权平均。固定 GPT-5.6 Sol high,版本检查不用性能验证集;具体题目 manifest 与全部评分器快照待核。

完整中文摘要与阅读依据 **摘要翻译。** Harness 是围绕语言模型 Agent 的代码,负责组织提示、调用工具、管理上下文和控制执行。随着模型能力增强,近期工作开始让 Agent 改进自己的 harness。在多数现有方法中,运行于人工设计程序上的独立提案者修改求解者的程序,而且每个基准分别演化一份。现实任务来自多个领域,因此演化与评估都应覆盖不同任务。我们提出一个接近递归自我改进的框架:同一个冻结模型、同一版本的 harness,先以求解者身份做任务,再以提案者身份读取完整记录,直接编辑运行自己的程序。每批演化任务来自五个不同领域的基准。为测量泛化,严格分离训练和留出任务,并额外评估五个从未用于演化的域外基准。我们把演化看作包含多任务预训练与持续训练两个阶段的深度学习式训练。从 49 行种子程序出发,第一阶段结束的 harness 在同分布基准上平均提高 4.48 点、域外提高 12.64 点,前者超过 Codex,后者与其相当。第二阶段在原域外基准之一 Claw-Eval 上继续演化,将该项成绩从 66.17 提升到 68.06,超过 Codex。我们还深入分析演化中出现的输出截断、历史压缩与独立复查等机制。 - 来源:[arXiv:2609.38372 v1](https://arxiv.org/abs/2609.38372v1)。v1 提交时间:2026-09-29T18:33:27+00:00(UTC);2026-09-30T02:33:27+08:00(北京时间)。日期依据:arXiv OAI arXivRaw version v1 date。 - 阅读依据:§§1、3–6,Figures 1、3,Table 3、Appendix C。摘要的“接近 RSI”是结构定位;多任务均值、第二阶段范围、缺少验收与独立演化链均核对原文。

SourceLearn:从反复查同一份资料,到逐步学会怎样理解它

作者: Lucheng Fu、Kejing Xia、Yiyang Wang、Yiqiao Jin、Jinjin He、Xiyuan Yang、Haoxin Liu、Ye Yu、Haibo Jin、Yijia Xiao、Wenke Lee、B. Aditya Prakash、Haohan Wang。
机构: Georgia Institute of Technology、University of Illinois at Urbana-Champaign、University of California, Los Angeles;依据 v1 PDF 第 1 页。

任务背景。 Agent 长期围绕同一份资料做不同任务:阅读政府办事文档回答问题,理解一个代码仓库,或根据 API 文档完成调用。它每次都能检索原文,但可能反复漏掉同一条适用条件,或者始终没有理解两个接口之间的依赖。论文问的是:使用同一个来源的经历,能不能改善以后理解这个来源的方式?

例如,某次调用失败暴露了一个前置条件。直接记下“那道题该这样答”只能解决相近题;更有用的是回到文档,明确这项操作在什么条件下成立,再把它与相关操作放到一起。这里的例子用于说明机制,不是论文另外报告的实测案例。

核心方案。 系统先把原始资料整理为一份持久的“来源理解”,记录实体、关系、机制、条件和例外,而把容易重新查到的细节留在原文。这里的 source model 是外部文字表示,不是另训练一个神经网络。接着,它拿这份表示对照原文检查缺口,选择继续钻研一个实体,或连接两个实体之间的关系;多次阅读的观察暂时积累,最后才按原文证据统一重写。

然后让 Agent 做一组用于学习的指导任务。这些任务有参考结果,系统据此找到原文里真正需要的证据;如果答错且当前表示缺少必要内容,就重读相关部分补齐。跨多个任务反复出现的问题还会形成更一般的整理规则,例如“保留条件差异,不要把两个不同规则合并”。系统再按这份更新后的表示策略回看来源,调整整份知识的组织方式。

最终写入的内容必须由来源重建,不能直接复制任务答案或纠错提示。测试前冻结这份来源理解,实际做新任务时把相关部分与直接检索到的原文一起交给 Agent。跨任务保留的是外部表示与整理策略,基础模型不变;原始资料始终是事实依据,记忆只是辅助理解,也不能保证重写过程绝无遗漏或幻觉。

SourceLearn Figure 2 原图:v1,Figure 2,PDF 第 5 页,出处。

读图。 从左上原始文档、代码和接口资料开始,先构建初始表示。沿箭头到左下,自主学习先检查缺口,再深入或连接,最后合并证据;然后到右下,指导任务分成失败后的局部修补、跨任务整理规则两条路径,都返回来源重建表示。最后才看右上:新任务激活相关表示,同时读取检索证据后作答。右下的参考答案属于学习阶段,右上的最终测试不能继续用测试答案改记忆。

实际增量与通俗理解。 这不就是把笔记越读越明白,再用错题查缺补漏吗?新增机制是明确区分“改哪条知识”和“改变怎样组织知识”,并让两者都重新核对原文。它不是只把历次回答堆进记忆,也不只是预先建一个永不更新的检索索引。

证据与局限。 五基准、三模型的 15 种设置里有 13 种最佳;GPT-5.6-Luna 的 APIBench 从 Hybrid RAG 的 47.8% 到 70.4%。但 gpt-oss-120b 的 AppWorld 从 30.4% 降到 27.4%,收益并非普遍。主比较还增加了最多 24k token 的来源理解;附录在四个来源匹配上下文预算后仍有三项最佳,说明并非全由额外上下文解释,但这只是子集控制,不是全量等成本对照。

证据约束也未完全实现:对 StudentAid 抽样的最终表示单元,仅 63.3% 被判为完全支持,13.3% 无支持、0.8% 矛盾。三个来源、每阶段 120 单元的审计不能保证整个表示库正确。主要结果是同一来源的新任务,不是迁移到未见文档库;原始来源固定时的收益也不能直接推广到资料不断变化或互相冲突的情况。

评测数据集与环境。 MultiDoc2Dial 四域各 60 问;NarrativeQA 12 篇完整故事各 27–30 问;SWE-QA 从 15 仓库选六个,每库 48 问;APIBench 三个模型仓库的调用任务为 186/100/100。以上按来源用三个固定种子做 30% 指导/70% 测试,相关对话或同 API 查询成组划分;三个划分不是三倍独立题。AppWorld 则用官方 90 train 指导、168 test-normal 测试,并对所有方法移除内置文档应用。QA 用固定模型 judge 的正确率,API 用 AST 功能评测,AppWorld 用 TGC。依据 v1 §5、Appendix A;逐来源精确切分题数、仓库 commit 清单与数据版本仍待核。

完整中文摘要与阅读依据 **摘要翻译。** 语言模型 Agent 越来越依赖持久的外部来源,来完成一系列知识密集型任务。现有方法改进内容的访问与组织,Agent 记忆系统则保存以往交互中的可复用知识,但反复使用同一来源,仍主要被当作重复访问,而非逐渐增进理解的机会。我们研究来源学习:围绕一个持久、权威的来源,发展可复用的专属能力。我们用持久来源模型表示这种能力,捕捉对来源的可复用理解,包括其知识如何组织、解释和应用。为构建并逐步完善这种模型,我们提出 SourceLearn,结合两种互补机制。自主来源学习识别尚未充分理解之处,并自适应地重新阅读;任务引导的来源学习利用下游经历,发现局部表示缺口,以及知识组织方式中的反复需求。在两种情况下,学习信号决定哪些内容需要重新考虑,而持久更新都从权威来源重建。在五项基准和三个语言模型后端上,SourceLearn 在 15 种设置中的 13 种获得最佳表现,相对 Hybrid RAG 最大提升 22.6 点,整体上明显优于静态来源表示和经验记忆基线。 - 来源:[arXiv:2610.02150 v1](https://arxiv.org/abs/2610.02150v1)。v1 提交时间:2026-10-01T17:50:16+00:00(UTC);2026-10-02T01:50:16+08:00(北京时间)。日期依据:arXiv OAI arXivRaw version v1 date。 - 阅读依据:§§1、4–5、Figure 2、Table 1、Appendices A–B。评测预算、分割方式及证据审计另核对 Tables 2–4;[官方项目](https://sourcelearn.github.io/) 与论文一致。