Self-Evolving RecSys — 让 LLM agent 自己跑超参实验上线

待复核

是什么

Self-Evolving RecSys 是让 LLM agent 替机器学习工程师跑实验的系统。日常类比：以前推荐系统调优要 ML 工程师每天看 dashboard、想假设、写 config、提交训练任务、等结果、跑 A/B、再写新 config。这套系统让 LLM agent 一条龙包圆——它自己提假设、写代码改超参、跑离线实验、上线 A/B、读结果、再迭代。整个流程不需要人在 loop 里。

工业级推荐系统（如 YouTube）的优化空间巨大：超参数 / 模型架构 / loss 设计 / reward shaping 互相耦合，人类工程师靠”经验 + 灵感”探索，效率低且难复用。论文用 Gemini 系列 LLM 作为基座，构建了 双 agent 双层 loop：

Inner loop（offline agent）：用 proxy metric 高吞吐 hypothesis 测试
Outer loop（online agent）：把候选放进真实 production，对照延迟收到的”north star”业务指标做最终验证

YouTube 已经用这套系统跑出多个 production launch——这是 self-evolving agent 第一次有大规模实战实证，开发速度和模型性能都比传统人工流水线更高。

为什么重要

不理解这套系统，下面这些事都没法解释：

为什么”AI agent 替代 ML 工程师”在 2026 年突然变现实——offline + online 闭环是关键
为什么纯 prompt 让 LLM 改 config 没用——离线指标和上线效果差距太大
为什么 outer loop / north star metric 是 agent 系统进入工业级的硬门槛
为什么 RecSys 比一般 ML 任务更适合做 self-evolving——有大流量做实验

核心要点

整套系统的关键设计是把”实验闭环”拆成”快但不准的 inner loop”和”慢但权威的 outer loop”。整套系统拆成 三个层次：

LLM agent 当 ML engineer：把”提假设、写代码、跑实验、读结果”四件事都封装成 tool，让 agent 顺序调用。agent 可以发现新优化算法、新模型架构、新 reward 函数——不是只能调超参。
Offline Inner Loop：高吞吐试错。proxy metric 跑得快（小流量 / 历史数据回放），可以一天测几十个假设。但 proxy metric 和真实业务指标有 gap——所以 inner loop 只是 filter，不是 final answer。
Online Outer Loop：把 inner loop 筛出的 top candidate 上 A/B test。对照真实 long-term engagement 指标（完播率、留存等”north star”）。这一步慢但权威——通过的才算真胜利。

类比：科研里 inner loop 是”在小白鼠身上预筛”，outer loop 是”临床试验”。两者缺一不可。论文反复强调单 loop 是常见错误模式，inner-only 容易 proxy gaming，outer-only 吞吐撑不住。

实践案例

案例 1：Optimizer persona 发现更好的训练器（论文 Table 1）

论文里 Offline agent 不只调数字，还会换优化算法。可按 Think → Code → Verify 跟一遍：

Think：假设「旧 Adagrad 在当前数据分布上收敛慢，换 RMSprop + 调 momentum/batch 可能更好」
Code：agent 改训练配置里的 optimizer 类与超参（工具侧类似 compute_loss）
Verify（inner）：用 proxy loss 异步训一批候选，按验证 loss 排序筛 top
Promote（outer）：幸存者进 live A/B，对照延迟收回的 north star

论文报告：切到 RMSprop 后 YouTube-level 指标约 +0.06%、surface-level 约 +0.12%（相对人工基线显著），并伴随训练延迟大幅下降。数字以论文 Table 1 为准，不是教学编造。

案例 2：和 AutoML 的对比

维度	传统 AutoML	Self-Evolving RecSys
搜索空间	预定义超参	开放（含算法 / 架构 / reward）
假设生成	grid / random / bayes	LLM 推理 + 写代码
上线验证	通常无	有 outer loop A/B
可解释	弱	强（agent 能解释为什么）
适用规模	中小型	工业级（YouTube 级流量）

AutoML 是优化已知空间，Self-Evolving 是探索未知空间（新 reward 逻辑、新结构组件）。

案例 3：失败模式——只盯 proxy（教学称 proxy gaming）

论文强调 proxy 与 north star 的 alignment gap；笔记里用 proxy gaming 作教学概括（非原文专名）：

agent 在 inner loop 专攻 proxy loss / 相关分析，分数很好看
outer loop 一上线，真实业务指标不动甚至变差
对策：安全阈值（防 reward hacking）、把历史 online 失败写进共享 Experiment Journal 当反面教材、定期审视 proxy 是否还对齐

案例 4：production launch 的工程基建（比模型更难）

要让 agent 真上线，按层拆开：

接入：CI/CD 自动接 agent 提的变更、训练/评估工具可被调用
实验：A/B 框架对接实验申请；outer loop 按五阶段 DAG 管生命周期
护栏：资源 quota、安全 sandbox、关键指标回归阈值

这部分往往比 agent 本身更难——很多团队失败，根因是基建不到位，不是 LLM 不够聪明。

踩过的坑

proxy 与 north star 的 gap：inner 再好看，outer 不验证就是空中楼阁；gap 被利用就会出现教学上说的 proxy gaming / reward hacking。
A/B 流量稀缺 + 反馈慢：online 不能并行太多；north star 常按 天到周 才收回，outer loop 是吞吐瓶颈。
agent 提的代码有隐 bug：训练跑通但结果错；inner loop 要加 sanity check（loss 曲线异常、指标阈值）。
与现有 production feature 冲突：新方案可能抵消别的团队已上线改动，需要 production-aware 调度，否则上线一个挂掉两个。

适用 vs 不适用场景

适用：

大流量推荐 / 排序系统——有足够 A/B 容量做 outer loop
业务指标可量化且能延迟收回（视频完播率、电商 GMV 等）
已有完善的训练 / 上线 pipeline——agent 只需调用 tool
团队愿意把 ML 工程师从”调参”释放到”设计 metric / 验 outliner”
安全 sandbox 完善的环境——agent 误改不会影响生产

不适用：

小流量场景——A/B 没意义，outer loop 跑不通
业务指标无法定义清楚的场景（创意产品、品牌效果）
没有完整 pipeline 的初创——agent 工具链先要补齐
强合规场景——agent 自动改模型审计困难
高度耦合的多团队 feature 共存场景——production-aware 调度未成熟

历史小故事（可跳过）

2010s：A/B testing 成为推荐系统优化标准方法，但人工驱动
2018：Vizier / NAS 等 AutoML 系统流行，但只搜超参不搜算法
2022：基于 RL 的 RecSys 优化（如 SlateQ）出现，但仍要人定 reward
2023：LLM-as-coder 让”写代码”自动化，但还没接训练 pipeline
2025：multi-agent 工具调用成熟，“agent 操作真实系统”成为可能
2026：YouTube 用这套系统拿到第一批 production launch，self-evolving 进入工业级

学到什么

Self-evolving 进工业必须有 inner / outer 双层：快筛 + 慢证
LLM 替代调参工程师的关键不是模型更大，而是 tool 集成 + 完整 pipeline
proxy↔north star 不对齐是内生风险；要用阈值、journal、定期换 proxy 主动防
「门票」是大流量 + 可调用的训练/上线基建；难点常在 CI/CD / A/B / quota / sandbox

关联

self-evolving-agents-survey —— 综述对 inner/outer loop 范式做了系统总结
apex-policy-exploration —— policy 探索维度，可作为 inner loop 算法
code-as-agent-harness —— code agent 框架与本系统的 tool 集成思路一致
evo-memory-2511 —— 长期记忆可让 agent 记住失败 hypothesis 不重蹈
memcoder-co-evolution —— code 维度的 self-evolving，互补
misevolution-2509 —— proxy gaming 是 misevolution 的一种典型形式
agent-r1-2511 —— RL training 是 inner loop 的另一可选实现
eve-agent-evidence —— evidence-based reward 思路也可借入 outer loop

反向链接

（暂无反向链接）