rz.

RESEARCH NOTES / RSI

自我改进,
改什么?怎样算改进?

沿着 Self 与 Improvement 两条主线,分清改动对象、收益方向和证据边界。

阅读说明

由个人 Canvas 笔记整理,保留原文及分支关系;这是阅读笔记,不是对所引论文的重新核验。原文中的“已入库 / 未入库”指个人笔记库状态。

带 ↗ 的引用可打开原始链接;其余引用为尚未发布的本地笔记名称。原画布中心标注更新于 2026-09-23,部分节点补充至 2026-10-14。

画布中心说明

同一方案可以关联多个维度。

回到完整文档

按实际证据长出分支。

更新:2026-09-23

S · SELF

S · Self

改动并继承的对象

每个节点另记:
- 跨多久保留
- 谁决定修改
- 哪些机制固定

不要只按关键词认定 RSI。

S1 · 模型参数

主求解器、adapter、参数化策略;分清角色与代际重置。

Co-Evolving · v1 §3 / App. B
Fragility Spectrum · v1 §3

S2 · 提示、技能、记忆

内容、组织、检索、写入规则。临时状态与持久规范分开。

Recuris · v1 方法
Modern Agentic Systems · v1 Scaffold

S3 · 工具、流程、搜索控制

步骤关系、路由、分支、并发和停止;任务执行与后继搜索分开。

Procedural Graphs · v1 §3
Dream-RSI · v1 §3
HELIX · v1 方法

S4 · 经验、课程、环境

数据选择、任务、回放池与可控制环境。先声明 Self 的边界。

Dream-RSI · v1 §3
The Last AI · v1 §3.4 / §5.1
外部换环境本身不证明自我改进。

CERA-MoA v1 §3 ↗ · 未入库,2026-09-18
路由预测头改变后续经验分配,不生成新环境。

S5 · 反馈、检查、评价器

训练信号、更新验收、最终测试是不同角色。

Recuris · 内部 checker 可变、外层 gate 固定
The Last AI · v1 §3.6.2,综述线索

UnifiedPlayers v1 §3/I.3 ↗ · 未入库,2026-09-19
训练反馈生成器可学习,最终基准独立;程序可执行仍不保证判断正确。

DCE+SRCL v1 §3/Fig.2 ↗ · 未入库,2026-09-29
共享参数、不同上下文:学生更新改变下一轮教师,外部真值与验收规则不变。

VeriFine v1 §3.4/App.A.4 ↗(未入库,2026-10-08)
校准案例可修订,rubric细则可改并蒸馏,测试标签冻结。困难场景judge相关性0.07→0.74;人类锚点与固定策略监测保留。

S6 · 改进程序与研究决策

诊断、候选生成、更新方法、研究策略与问题选择。

The Last AI · v1 §3.6
RSI in AI · v2 §5.4
综述框架/开放问题;原研究待核。

2026-10-10:学习何时TTT、调用哪个方法、何时复用能力LoRA。策略LoRA训练后固定;部署只继承适应池/能力库,非改进器在线自改。176题是适应收益富集分布。
Agentic-TTT v1 §2–3/App.B ↗(未入库)

2026-10-13 · EvoAlloc v1 ↗(未入库):评测分配的文本策略与经验可继承,模型和替换代码固定;反事实抽检补回部分被拒候选的缺失结果。见 S6/R5。

I · IMPROVEMENT

I · Improvement

收益方向与证据

优先分清:
- 当前任务变好
- 以后更会改进

资源、独立评价与完整轨迹决定证据边界。

I1 · 当前任务质量

正确性、成功率、发现产物性能;标明具体任务与独立测试。

Procedural Graphs · v1 §5
Dream-RSI · v1 §4

Reach or Solve v1 §3–4 ↗ · 未入库,2026-09-19
状态交接区分“到达”与“接续完成”;条件成功率不替代总体成功。

I2 · 完整资源效率

同质量比成本、同总预算比质量;包含搜索、修改、训练和验证。

Dream-RSI · v1 §3–4:回放仍有成本。

When Agents Slow Down ↗ · v1 §3–5 / App.E(未入库)
最佳分上涨仍可能效率衰减;需比较独立会话,同一分配并非普遍最优。
2026-09-17

When Is Enough Enough v1 §3/4 ↗(未入库,2026-10-08)
逐题配对证据决定何时停,再回选停滞前版本;SearchQA省91.6% token、测试差值区间跨零。条件假设下的误报警平均等待界≠全程5%误停率。

I3 · 后续改进能力

新改进器是否更能产生强后继?匹配起点与总预算,独立评价。

The Last AI · v1 §3.6 / §6
HELIX · 完整后继实验仍缺
机制继承不等于效果成立。

AIDE² ↗ · 未入库;2026-09-24
v1 §3.6:新旧改进者同起点、50 步×3 seeds,末端约 .780/.782;较早达标迹象不确定,最终后继外部测试仍缺。

Harness Learning ↗ · 未入库;2026-09-30
v1 §4–6/B/D:用执行奖励训练修改者,未见任务族检验改法迁移;部署时修改者冻结。支持修改能力可训练,非递归自升级或等总成本增长。

2026-10-07:HMED冻结Meta-Skill、清空任务技能,再在新任务上发现并独立测试,隔离已有技能积累。优势仅1.16/0.55点,分母/总成本/不确定性不完整。
HMED v1 §4.5/Table4(2026-10-10 已入库)

2026-10-13 · MASS v1 ↗(未入库):新工作流交回旧执行器,偏好率 64%,有限隔离改法迁移;两周期、小型私有任务,尚非等总成本多代增长。注意交付率与条件质量不同。见 I3。

I4 · 迁移与泛化

未见任务、任务族、模型与环境;修改、验收和测试划分分开。

Recuris · v1 跨任务/模型实验
同族迁移不能直接外推到新任务族。

Scoped-ORC v1 ↗ · 未入库;2026-09-28
§4–5、Tables 4/6:固定提案与验收,只限制技能使用范围即可减少跨族伤害。验收范围应约束检索范围;已知任务族证据,不代表开放路由或改进器变强。

I5 · 稳定性、保持与恢复

旧能力退步、数据坍缩、更新拒绝、回滚与适配破坏。

Fragility Spectrum · v1 §3–4
Procedural Graphs · v1 §5.4
Co-Evolving · v1 §3.3

CDA ↗ · 未入库;2026-09-20
v1 §3–5、Tables 4–6、App. B/C:规则删除后,三个模型均未淘汰旧知识。验收还应检查该撤销什么;单平台、单条变化、可读取规则,不外推严格 RSI。

Self-Healing Harness ↗ · 未入库;2026-09-24
v1 RQ4/Table 4:逐条过门的规则由 13 增至 70,优势 +.017→−.016。累计规则集需单独验收;干扰与检索稀释尚未因果区分。

DCE+SRCL v1 Table 19 ↗ · 未入库,2026-09-29
1.7B:第 50 步 26.88%→第 200 步 1.53%;峰值不保证持续增益,需保留完整轨迹。

2026-10-07:ReSAIL把下一轮教学能力列为显式保留对象,三轮有效不等于持续有效。Safety Must Survive区分候选验收、实际运行与下一次编辑起点:拒绝新候选不能保证旧版本安全,回退也需当前验证。
ReSAIL v1 Tables1–3 ↗(未入库)
Safety Must Survive v1 §§2–5 ↗(未入库)

2026-10-14 · PRAXIS v1 ↗(未入库):§5.1/5.3把任务分布与规则损失列为两个漂移源;受控累计漂移下仅得平均平稳性界。GraphLog无规则正则反而更强,联合自适应不保证收益。

I6 · 信号可信度

内部 reward 上涨是否与外部正确性一致?检查标准漂移和过拟合。

RSI in AI · v2 §5–6
验证与外部 grounding;它支撑收益判断,不替代收益。

Trusting Trust v1 §3 ↗ · 未入库,2026-09-18
污染验收可进入后继;换回干净反馈未必纠正。选定案例,非普遍发生率。

EvoPathBench v1 §4.4 ↗ · 未入库,2026-09-23
保守验收少提交坏更新,未提高判断一致率;同时测漏选和潜在收益,证据限五轮模拟环境。

REUSE ↗ · 未入库;2026-09-30
v1 §2/Theorem 1/§3:决定反馈+晋升历史错误预算;固定 iid 验收与起点独立下控制全程误选。详细分数不能回流;零观察错误不等于无条件保证。

2026-10-07:CrossFit补反馈评价者的训练来源隔离。伪标签和求解者可共享错误;两组来源交叉训练/评分缓解直接回传,非真值保证。三轮两规模、约86%审计覆盖、额外辅助训练成本。
CrossFit v1 §2–4/Fig.4(2026-10-10 已入库)

2026-10-09:把候选选择与进步报告分开。64道独立题审计初始/最终指令,平均偏差消除但RMSE仍5.7点;更严接受规则未改善整链。短答案任务证据,审计不回流选优。
Winner’s Curse v1 §5–6/App.B ↗(未入库)

2026-10-13 · TRACE v1 ↗(未入库):固定轨迹重评隔离判分变化,成对重跑与独立复验检验行为差异。
Prior or Feedback v1 ↗(未入库):反馈置换改变动作只证明依赖,不证明收益。见 I6。

2026-10-13 · RSI-Anything v1 §2.4–2.5/§5/Table 4 ↗(未入库):策略与预测器分别通过,仍需组合兼容性验收;组合失败保留原整对版本。预测误差归属当前版本,覆盖不足不等于可靠。新增的是验收单位与协议;同任务持续双向改进尚未验证,不能充当I3证据。

I7 · 问题与方向价值

值得解决的问题有没有改变?新颖性、相关性与研究价值。

RSI in AI · v2 §5.4
方向生成与方向评价分开。
开放问题:无统一数值指标。