快手AgentX：推荐系统自我进化的AI Agent研发闭环

最近快手推出了一套名为 AgentX 的系统，开始以为它又是在做 Agent 工具，毕竟这个方向眼下实在太热。看完技术报告才发现，AgentX 其实是一套面向工业推荐场景、由 Agent 驱动的研发闭环，目标是让推荐系统实现自我迭代。

AgentX 会把业务目标拆解成四个关键步骤：生成实验方案、产出生产代码、安全地开展 A/B 测试，最后读取线上反馈来判定实验是否成功。每一次实验的成功和失败都不会被浪费，都会沉淀为经验，为下一轮推荐提供更精准的指引，从而让推荐变得更快、更稳、更准确，整个系统就像一套能够不断自进化的研发引擎。

1、推荐系统的短板，正从模型能力转向研发流程

过去十年，推荐系统的主线很明确：模型越来越大，特征越来越细，序列越来越长，系统也因此越来越复杂。从传统排序模型一路走到深度模型、生成式推荐，甚至推荐大模型，工业界日常迭代的最大瓶颈，正从模型本身逐渐转向研发链路。

这也是 AgentX 值得被认真讨论的原因。

一个推荐策略从想法到上线，中间要跨过数据分析、方案设计、代码修改、实验配置、A/B 观测、指标归因和复盘沉淀这些环节。每一步都要求工程师吃透业务语义、系统边界、平台规则和线上风险。到最后，一个想法能不能变成真正有效的实验，往往取决于少数有经验的人能不能完整走完这套流程。

看着就不简单，做起来更是处处都是坑。

痛点主要有两个。第一，实验吞吐严重受限于人，一个工程师同一时间只能推进少量实验，效率提不上来。第二，经验很难沉淀为系统能力。大量失败的实验暴露出的特征缺失、平台约束、策略风险和业务边界，你或许自己记住了，也写了文档，但只要这些经验没有在下一轮推荐中被激活，踩同样的坑依然是大概率事件。

AgentX 要解决的正是这个问题：把推荐研发中最耗时、最吃经验的那部分过程，用工程化的方式改造成一个可以持续运转、不断积累经验的闭环。如图所示：

人工接力式推荐迭代与 AgentX 闭环对比

2、让 Agent 成为迭代的执行主体

AgentX 会直接进入推荐迭代的主流程，持续提出方案、完成实现、上线实验、读取结果，并把每一次的完整轨迹沉淀为下一轮的燃料。这使它更接近一个研发系统，而不是一个仅能执行单次任务的工具。

这背后是生产方式的变化。传统流程中，工程师亲手把每个环节串联起来，从发现问题到写代码，从配置实验到查看数据，再到总结复盘。AgentX 的做法是把这条长链拆分成多个可执行、可验证、可复用的环节，Agent 承担大量执行工作，人则专注于目标设定、关键审核和高阶判断。

普通的代码助手通常解决的是“把代码写出来实现某个功能”，而 AgentX 要回答的是“如何持续地把一个推荐实验做成、做好”。工业推荐不是一个单点推理任务，它里面包含模糊的业务目标、复杂的代码库、实验平台、线上用户反馈，以及各种安全护栏。AgentX 真正的难点，恰恰在于要把所有这些真实约束都纳入到研发系统的闭环中。

3、AgentX 如何跑完一次真实的推荐实验？

一次完整的推荐实验包含四个组成部分：Brainstorm Agent、Developing Agent、Evaluation Agent 和 Harness Evolution。前三个模块负责把想法变成现实并上线观察到真实结果，最后一个模块则负责让系统从历史轨迹中持续变强，这也是形成复利效应的重要前提。

Brainstorm Agent 负责把模糊目标变成可落地的方案。真实的业务输入往往不够完整，可能只是“提升观看时长”或者“优化某类用户的转化”。如果任由模型自由发挥，很容易产出看起来很漂亮、实际上根本落不了地的方案。Brainstorm Agent 会综合历史实验、系统知识、数据分析和论文研究，最终形成有优先级、有证据、有边界的候选方案。

Developing Agent 负责把方案变成生产代码。在工业代码库里，语法正确只是最低要求，字段是否真实存在、策略是否注册到正确的队列、开关是否默认关闭、实验参数是否与平台保持一致，每一项都会直接影响线上实验的可靠性。AgentX 借助仓库知识库、特征 schema 查询、DSL 检查、C++ 语法检查和 dryrun 验证（相当于上线前的彩排），来保证代码在正式工程环境里的可用性。

Evaluation Agent 负责把线上 A/B 变成系统能够理解的“真实奖励”。推荐系统不能只看离线分数，因为一个策略可能提升了某项内部指标，却损害了用户体验或踩中了业务护栏。Evaluation Agent 会执行安全部署、流量分桶、参数冲突检查、指标读取和 guardrail veto，最终给出 KEEP、EXTEND 或 DISCARD 等结构化判断。

Harness Evolution 是 AgentX 自我迭代的部分，也是我反复看了几遍才完全弄清的一点。这套方法叫 SGPO，也就是 Semantic-Gradient-based Prompt Optimization。简单解释，就是把 Agent 执行失败的原因总结成“语义上的改进方向”。

比如：Agent 这一轮漏掉了业务约束、证据引用不充分、输出字段不完整、代码检查顺序不对，这些用自然语言写下的诊断，就相当于“语义梯度”。

系统会根据这些诊断去修改某个子 Agent 的工作规则、Prompt、校验项或输出格式，再用历史任务做 replay 对比，只有新版确实优于旧版，才允许进入生产流程。也就是说，SGPO 是 AgentX 用历史执行轨迹来自动改进 Agent 自身工作方式的一套机制。

AgentX 总体框架图

4、效果怎么样？374 个想法，10 个可发布结果

快手在三周生产窗口中部署了 3 个 AgentX worker，覆盖主站推荐和生活服务两个场景。系统一共推进了 374 个实验想法，其中 106 个通过方案审核，100 个完成了代码实现和上线，最终 10 个获得正向评估并达到可发布标准。

这个漏斗本身就很有价值。374 个想法进入系统，idea pass rate 是 28.34%；通过审核之后，code-and-launch rate 达到 94.3%；最后的 positive evaluation rate 是 9.9%。AgentX 并没有让每个想法都强行上线，也没有假装每个想法都有效。它真正在做的是把大量候选方向，放进一个有审查、有工程验证、有线上反馈的漏斗里去。

从业务线来看，主站推荐 361 个想法产出了 8 个可发布结果，生活服务 13 个想法产出了 2 个可发布结果。这些实验带来了直观的收益：主站用户 App 消费时长累计提升 +0.561%，生活服务为快手平台贡献的年化收入超过 1 亿元人民币。对推荐系统来说，这类百分比落在大规模流量上，往往对应着实打实的业务价值。

效率的变化同样关键。单个 AgentX worker 平均维持约 12 个并发实验，而传统人工流程中工程师约为 1.5 个，并发能力提升了 8 倍。单 worker 每周产出 1.1 个可发布结果，是人工方式的 13.8 倍；单位人力贡献的累计 App 时长收益达到人工的 3.7 倍。

更有意思的是，AgentX 在三周内出现了自我加速。周并发实验数从 15 个增长到 60 个，idea 通过率从 15% 提升到 45%，每周可发布结果从 2 个提升到 5 个。随着技能沉淀、失败模式的积累和 dryrun 模板的成熟，系统不仅跑得更快，而且更快地排除了无效方向。

三周自我演化曲线，展示并发实验数、idea 通过率和可发布结果变化

5、一个案例看懂“自我迭代”：PCV 的两轮实验

如果只看整体数据，很容易把 AgentX 简单理解成“跑实验跑得更快”。我们来看一个具体案例，就能明白 AgentX 是如何实现自我迭代的。

PCV 是 Post-Consumption Value，在推荐场景下指的是用户看完内容之后产生的行为价值，比如分享、收藏、重播等。这类行为比单纯点击或短时观看更能反映内容的长期价值，但也隐藏着风险，因为低质或噱头内容同样可能激起部分消费后行为。

这个实验的目标，是在保持真实曝光和用户体验稳定的前提下提升用户观看时长。第一轮，Brainstorm Agent 选择直接引入 PCV boosting（加权），Developing Agent 把它实现为带实验开关保护的乘法打分公式，Evaluation Agent 通过线上 A/B 读取结果。结果显示，方向上存在弱正向：人均观看时长 +0.034%，用户观看时长 +0.021%。但统计显著性不足，同时部分人群和多样性指标出现风险。

好，AgentX 把这次实验的结果转化成了下一轮的输入：直接提升高 PCV 内容可能会放大噪声，需要更明确地区分高质量的消费后价值和噱头式消费后行为。于是第二轮方案加入了质量门控、用户活跃度自适应权重和时长导向底分。最终，改进后的 constrained PCV ranking 带来了用户观看时长 +0.071%、真实曝光 +0.118% 的提升，同时用户体验护栏保持稳定。

这个案例很好地说明，AgentX 的能力不在于一次性给出完美答案，而在于把真实的线上反馈转化为下一轮更好的假设。工业推荐里最有价值的经验，恰恰就藏在这些“第一轮还不够好”的实验里，现在它们有机会被系统持续记取，并直接影响下一次的方案生成、代码实现和实验判断。

PCV 第二轮实验的 Agent 输入与输出表

6、AgentX 如何重塑推荐研发的分工

AgentX 带来的更深层次变化，是推荐研发的分工正在被重新定义。过去，算法工程师的大量时间花在亲手做实验上：找数据、改代码、配参数、看结果、写复盘。AgentX 介入之后，更多人的工作重心会转向基于目标、约束和实验结果，去判断什么问题更值得探索，哪些风险不能越过，哪些结果可以迁移到更大的场景。

工程师需要把更多精力放在系统设计上：如何构建更好的 Agent 工具链，如何把业务知识沉淀进知识库，如何让失败的实验形成可检索的反例，以及如何设计更有力的 guardrail。

这些工作的本质，就是建设一套能够长期产生复利的研发基础设施。

站在行业的角度看，AgentX 真正进入工业系统之后，它必须面对真实的数据、真实的代码、真实的流量和真实的责任，而它要做的，就是把这些约束拧成一个闭环，让正确的事情，持续发生。

Agent 正在通过自我进化的方式，实实在在改变工业级的推荐系统。