|
编辑｜杜伟 随着 Agent 从演示视频中的的的炫技片段逐步渗透至真实工作流与生产环境，其下一阶段的自演发展路径成为业界焦点。 近期，进被加速键Claude Code 创始人 Boris Cherny 在访谈中指出，刚刚Anthropic 内部几乎 100% 的开源工程师同时运行着上百个具备自我改进循环的 Agent【1】，这些 Agent 在每次运行中持续优化。按下此外，的的Anthropic 发布的自演《When AI builds itself》深度报告强调，AI 正接管自身研发流程，进被加速键并迈向递归自我改进阶段【2】。刚刚 这一趋势表明，开源Agent 正面临关键转折点：从「使用工具完成任务」向「在交互中学习并优化任务方法」演进。按下 然而，的的现实困境在于，自演尽管 Agent 能在软件工程、进被加速键客服、科研等场景运行，却难以在运行中实现能力跃升。每日产生的大量交互轨迹（成功路径、失败步骤、用户修正、工具调用结果等）多被视作日志或监控数据，鲜少被系统化转化为下一轮的能力提升资源。 这暴露了 Agent 进入生产阶段的核心缺口。蚂蚁集团联合香港科技大学、清华大学组成的 AReaL 团队认为，自演进的障碍不仅在于单一 RL 算法，更在于缺乏面向真实智能体服务的在线强化学习系统基础设施。 AReaL v1.0（3 月初发布）解决了大规模异步 RL 训练及 Agent 一键接入 RL 的问题；而今日上线的 AReaL 2.0将焦点推向 Agent 服务侧，旨在通过「会话式交互、轨迹采集、奖励绑定和异步训练」构建在线学习闭环。 AReaL 2.0 的核心优势在于：无需开发者重写 Agent，也无需推倒现有业务系统。 其核心思路是将原本服务于 Rollout 和训练的计算单元重组为可部署、可接入、可替换的 Agent-compute 微服务组件。只需将 Agent 的 LLM 推理后端切换至 AReaL 2.0 管理入口，即可在最小化改动原有规划、工具调用、沙箱和记忆模块的前提下，将真实交互流引入在线 RL 闭环。 目前，AReaL 2.0 技术报告已公开：
Agent 自演进的基础：构建学习闭环要让 Agent 真正从使用中学习，首要任务是解决基础问题：如何将真实工作流中的交互转化为可学习、可治理、可回放的经验。 AReaL 2.0 的自演进架构由三大支柱构成：Agent Trajectory Data Protocol (ATDP)、Agentic Data Proxy以及 Agent Evolution Control Plane。 1. Agent Trajectory Data Protocol (ATDP)：面向学习的轨迹协议普通日志仅记录用户提问、模型回答、工具调用、报错、延迟及 Token 消耗，这对调试有用，但对训练从经验中进化的 Agent 而言远远不够。 AReaL 团队定义的 ATDP 以步骤为单位记录完整决策过程，包括： 通过这种方式，复杂任务被拆解为可追责、可回放、可归因的学习样本。系统得以回答关键问题：究竟是哪一次检索、哪一个工具调用、哪段 Prompt 或记忆影响了任务成败？ 2. Agentic Data Proxy：企业级数据代理ATDP 定义了「记录什么」，Data Proxy 则解决「如何在真实生产系统中记录」。 Agent 通常连接模型、工具、检索系统、记忆、人类反馈、文件系统及浏览器操作。不同团队、租户和业务线面临不同的框架、数据权限及合规边界。若仅堆砌日志后补治理，风险极高。 Data Proxy 部署于关键边界，作为学习数据层，负责： 这是 Agent 自演进进入企业场景必须解决的现实问题。 3. Agent Evolution Control Plane：演进控制平面自演进并非「出错即训练」。真实 Agent 由模型、Prompt harness、记忆、工具、路由策略和安全规则共同组成，不同类型的失败需对应不同的修复入口： 控制平面的价值在于将「是否更新、更新何处」转化为可治理的系统性决策。它依据轨迹统计、用户修正率、工具失败簇、评估器得分、成本信号、安全约束及分布漂移，判断演进层级。在企业级系统中，每次更新需经过回放评估、离线回归测试、租户级安全检查、灰度发布及版本化追踪。 无法解释「改了什么、为何改、影响范围及回滚方案」的 Agent，难以称为真正的自演进系统。 这三大支柱共同构成了 Agent 自演进的基本闭环，确保真实工作流中的经验能稳定、安全地转化为能力提升的动力。 Online RL 微服务化：AReaL 2.0 的工程设计理解三大支柱后，AReaL 2.0 的工程定位更加清晰。 AReaL 2.0 并未构建完整的自演进 Agent 基座，而是选择了一条关键路径：基于真实部署轨迹的在线策略模型更新。其工程重心在于将原有 RL 基础设施改造为可承接 Agent 服务流量的在线系统，解决核心问题：如何在最小改动业务代码的前提下，将已上线 Agent 的 LLM 推理请求接入 AReaL 2.0？ 为此，AReaL 2.0 将训练、推理、权重更新等能力拆分为可独立使用、可组合、可扩展的服务组件，通过「解耦再组合」打通 Agent 应用与后训练系统。各组件由统一系统模块构建：
在 Controller 指挥下，微服务模块整体运行，支撑 AReaL 2.0 从线上请求接入、会话保持、轨迹采集到训练更新的完整链路。
AReaL 2.0 的 Online RL 工作流 传统 Agentic RL 常通过重构训练环境或抽象离线仿真任务进行，但离线环境与线上真实行为存在差距。AReaL 2.0 通过微服务化弥合这一差距，降低 Agent 接入 Online RL 的工程门槛，在保持原有 Agent Loop 不变的情况下，使真实服务轨迹成为可采集、训练与持续优化的可靠数据源。 AReaL 2.0 的角色由此从面向离线后训练的 RL 框架，延伸为连接 Agent 在线服务、轨迹采集、训练更新和运行时管理的可扩展系统。 从 Hermes 到 Claude Code：Agentic RL 的可复用路径AReaL 2.0 的价值已在具体实践中得到验证，团队展示了多类 Online RL 范例，涵盖热门 Agent 接入及软件工程智能体训练。 1. Hermes Agent：低侵入式接入范例在 Hermes Agent 范例中，AReaL 2.0 展示了低侵入式接入方式。开发者无需重写规划逻辑、工具调用、沙箱或记忆模块，只需将标准推理后端替换为 AReaL 2.0 管理的 Agent-Compute Worker，即可将真实交互纳入强化学习闭环。 此范例的价值在于可替换与复制。Hermes 仅是演示载体，核心是可复用的接入范式：开发者可将演示 Agent 替换为自身任务环境，复用 AReaL 2.0 的解耦接入、会话化交互与异步训练架构，搭建面向自身业务的 Agent Online RL 流程。
2. Claude Code Agent：软件工程端到端实践Claude Code Agent RL 范例更接近面向软件工程智能体的端到端实践参考，提供了一套可复现的算法与基础设施范例，覆盖数据处理、Agent Infra 建设和算法训练。
最终效果：模型经过 800 步训练后实现稳定涨分，为开发者复现 Claude Code Agent RL、替换自定义任务环境及构建软件工程 Agent 训练流程提供了完整参考。
这些范例表明，随着 Online RL 工程路径的成熟，Agent 自演进正从少数团队的定制化工程，转变为具备广泛复用、迁移和扩展基础的能力。 展望：从执行闭环走向学习闭环当前 Agent 行业热点分散：Coding Agent 从 IDE 延伸至云端沙盒，处理 Issue、修复代码、生成 PR；MCP、A2A 等协议促进模型、工具、数据源及智能体互联；Skills、Subagents 和 Workflow 实现复杂任务的拆解、复用与编排。 与此同时，企业开始直面现实挑战：Token 成本控制、工具权限收口，以及 Agent 出错后的审计、追责与回滚。 这些变化指向一个共同趋势：Agent 正从单个智能体应用转变为生产系统的一部分。核心矛盾也随之演变：早期关注 Agent 能否调用工具、完成任务、跑通工作流；现在更迫切的问题是，执行过的任务、产生的轨迹、反馈和错误能否成为后续能力提升的「养料」。 AReaL 瞄准这一薄弱环节，补上了 Agent 缺失的关键链路：从执行闭环走向学习闭环。在这场面向生产的 Agent 基础设施竞争中，越能将真实使用过程转化为持续改进机制，Agent 就能「越用越强」。 当然，这条路仍在早期，更完整的自演进路径有待 AReaL 后续版本探索。为适配不同团队与算力平台，AReaL 坚持开源以融入主流强化学习基础设施生态，并于今年 5 月从蚂蚁 inclusionAI 孵化成为独立社区，加入 PyTorch 基金会 Ecosystem 项目。 依托 AReaL，社区伙伴正持续补齐生产环境中的关键能力： 这些贡献进一步丰富了 AReaL 作为 Agentic RL 基础设施的生态边界。 未来，AReaL 的探索将与开源社区的两条生态路线紧密结合： 参考文献 |
