这项由工业界与学术界联合团队完成的当A带研究，论文于2026年6月22日发布于预印本平台arXiv（编号：arXiv:2606.23127v1），学新岗归属于计算机科学·人工智能领域。作流读者可通过该编号获取完整论文。程还

从“每次从头学”到“积累经验”：AI的经验记忆困境

想象你是一名新入职的会计，首日处理报销单时手忙脚乱，当A带需逐步摸索流程。学新岗然而一周后，作流你已熟练掌握流程，程还效率提升三倍，经验错误率骤降。当A带更关键的学新岗是，当你转岗处理其他单据时，作流此前积累的程还“核对日期”、“注意金额上限”等经验依然适用，经验无需从零开始。

相比之下，当前的AI助手（大型语言模型，LLM）缺乏这种“积累经验”的能力。每次对话启动，它都如同第一天上班的新人，对过往任务毫无记忆。对于企业中高频重复的工作（如Excel处理、SQL查询、PPT生成），这意味着每次都需要重新“教导”，造成巨大资源浪费。

为此，研究引入了“程序性记忆”（Procedural Memory）概念。通俗而言，即将“做事的步骤与技巧”封装为可复用的说明书（SOP），使AI在后续执行类似任务时能直接调取，而非重新摸索。

然而，核心问题随之而来：
* 会计部门的报销SOP，能否直接用于HR部门的合同审核？
* 由特定AI助手摸索出的步骤，换用另一款AI助手是否依然有效？

这些关于“经验说明书”迁移边界的问题，此前缺乏系统性研究，而这正是本项研究的核心议题。

一、打造“职场模拟器”：AFTER基准测试诞生记

为了探究AI程序性记忆的跨场景复用能力，研究团队构建了AFTER（Agent Framework for Task and Experience Reuse）基准测试系统。

1. 任务设计与角色覆盖

AFTER包含382个真实职场任务，覆盖六大典型技术岗位，旨在制造技能应用的张力：
* 数据工程师（DE）：构建与维护数据流水线。
* 数据科学家（DS）：统计分析、机器学习。
* 生成式AI工程师（GenAI）：大模型应用开发。
* 基础设施工程师（Infra）：云端部署、服务器配置。
* 项目经理（PM）：商业文档、报告撰写。
* 软件工程师（SWE）：应用程序代码编写。

案例解析：以“处理PDF”为例，DE关注提取发票数字，GenAI关注知识库导入，PM关注高管摘要生成。核心技能相同，但操作逻辑与关注点截然不同。

2. 技能分类与来源

• 22项程序性技能，分为五大领域：文档处理、数据操作、机器学习与AI、基础设施管理、软件工程。
• 任务来源：
• 56个任务改编自SkillsBench、SWE-bench等公开基准。
• 38个任务由研究人员基于实践经验编写。
• 288个任务经多轮AI辅助生成及专家审核。
• 质量控制：通过清晰度、适配性、真实性、验证器健壮性及防“作弊”检验，确保AI无法通过读取隐藏提示蒙混过关。

3. 标准化评估体系

每个任务包含：
* 描述真实需求的说明文件。
* 模拟真实格式的输入文件（Excel、CSV、JSON等）。
* 自动化pytest测试程序，提供客观统一的评判标准，摒弃人工主观打分。

4. AFTER的独特优势

相较于主流平台，AFTER是唯一同时具备岗位结构、技能标注和跨场景迁移测试分组的综合平台：
* GAIA：466个任务，无岗位结构。
* SWE-bench：2294个任务，仅面向单一角色。
* SkillsBench：有技能标注，但仅85个任务且无迁移测试。
* WebArena/MLE-bench：缺乏系统性迁移评估能力。

二、衡量“经验说明书”价值的尺子：两种测量维度

研究团队提出两个维度来评估程序性记忆的价值：

1. 专一性（Specificity）：说明书在设计初衷的任务上是否有效？（类比：新员工按SOP操作比无SOP时表现提升多少？）
2. 通用性（Generality）：说明书在非设计场景中是否依然有效？（类比：SOP跨部门应用是否受益？）

评分指标

• M1（部分完成度）：记录AI完成的测试项目比例，即使未完全正确。
• M2（完整通关率）：仅当AI完美通过所有测试项时计分。
• 注：论文以M2为核心指标，因为职场中“差不多”往往意味着返工。

核心矛盾：过拟合

研究发现，一份说明书可能在专一性上表现优异，却在通用性上失效甚至产生负面影响。这种现象称为“过拟合”，如同员工只会填写固定模板的报销单，面对格式微调的单据便束手无策。

三、现成说明书测多少分：静态技能的基础价值

研究团队进行“冷启动”实验，仅向AI提供两类现成说明书，观察其表现提升：

1. 手工编写版（H）：专家针对特定场景撰写，简洁精准但覆盖面窄。
2. AI生成版（G）：前沿LLM自动生成，覆盖面广，含多种场景示例。

实验结论

• 整体提升：配备说明书的AI，完整通关率平均提升2.8个百分点。在无额外训练情况下，仅凭手册即可显著提升生手工作质量。
• AI生成版优于手工版：在多数情况下，AI生成的宽泛参考手册（G）实用性超过人工专项指南（H）。这为企业自动化生成操作指南提供了有力支持。
• 模型能力差异：
• 小模型获益最大：如Gemma 4 E4B在处理GenAI任务时，通关率提升高达14.2个百分点。
• 大模型获益有限：如GPT 5.4仅提升3.1个百分点。
• 逻辑：顶级模型本身能力强大，手册边际效用低；而小模型急需结构化指导。
• 岗位差异：数据科学家（DS）和生成式AI工程师（GenAI）受益最多；数据工程师（DE）和软件工程师（SWE）受益较少，因其任务本身偏重代码，AI已有较好基础。

四、单轮改进的惊喜：说明书的迭代优化

仅仅提供说明书是第一步。研究进一步测试：若让AI基于执行记录（对错反馈）修改现有说明书，效果如何？

• 过程类比：导师观看员工操作录像，修正模糊描述、补充缺失步骤、删除冗余内容。
• 结果：仅经一轮优化，AI整体表现提升3.7至6.7个百分点。
• 大模型受益更稳定：Qwen 3.5-122B在Infra任务上提升7.1%，在SWE任务上提升6.5%。
• 意义：单次“复盘会议”即可带来显著效率提升，企业应用成本低、回报高。

五、框架对比与“窄经验”陷阱：实战演练中的进化

研究对比了五种程序性记忆系统在多轮实战中的表现：
1. Codex（GPT-5.5驱动）
2. Hermes（结构化YAML蓝图）
3. Memento（行为可训练路由器）
4. MemP（细粒度步骤指令）
5. EvoSkill（失败验证反馈迭代）

测试条件分为窄体验（1个任务记录）与宽体验（5个不同任务记录）。

关键发现：过拟合陷阱

• 训练集提升 ≠ 测试集提升：在训练任务上的大幅进步，未必能迁移到新任务。
• 案例警示：
• Hermes：宽体验下表现最佳，测试集提升18.0%，展现真正泛化能力。
• MemP：训练集提升13.9%，但测试集仅2.5%，存在明显过拟合。
• EvoSkill：训练集提升14.9%，但测试集出现负增长（-2.7%），说明步骤过于“量身定制”，换场景反而干扰。

技能进化地图

• 横轴：训练任务提升（专一性）。
• 纵轴：测试任务提升（通用性）。
• 理想状态：右上角（既专一又通用）。
• 窄体验后果：技能往往落入右下角（专一但不通用），即过拟合区域。
• 宽体验价值：唯有宽体验能将技能推向理想的右上角。

六、跨越“模型鸿沟”：谁的经验最有营养价值？

不同AI助手（GPT、Claude、Gemma等）间，经验是否具有可移植性？

跨模型实验结果

研究使用四种AI（Sonnet 4, Qwen 27B, Qwen 9B, Llama 8B）的经验优化说明书，并测试其跨模型应用效果：

• 单一来源局限：
• Sonnet 4经验：跨模型准确率仅36.0%。
• Qwen 27B经验：48.8%。
• Qwen 9B经验：59.4%（最佳单一来源）。

• Llama 8B经验：55.5%。

• 混合经验优势：

• 综合四种AI经验后，跨模型测试准确率飙升至73.1%，远超单一来源上限（59.4%），差距达13.7个百分点。
• 比喻：如同销售员从单一市场经验扩展到全球市场经验，适应能力大幅增强。

反直觉发现：弱模型经验更具迁移价值

• 现象：来自较弱AI的经验，有时比强力AI更有迁移价值。
• 解释：
• 强AI：常走“捷径”，依赖强大通用能力绕过难点，总结的经验过于依赖特定能力，难以迁移。
• 弱AI：需显式、按部就班地解决问题，总结的步骤更通用、可移植。
• 比喻：老司机难以描述驾驶细节（内化为本能），而新手能给出清晰步骤，对其他人更具指导意义。

七、角色的“职业惯性”：跨岗位迁移的代价

程序性记忆能跨越模型边界，但能否跨越职业角色边界？

跨岗位迁移实验（以PDF处理为例）

• PM→PM（同角色迁移）：准确率提升11.7%，进化成功。
• DS→DS（同角色迁移）：准确率提升6.2%，有效。
• PM→DS（跨角色迁移）：准确率下降4.8%，不仅无益，反而干扰。
• DS→PM（跨角色迁移）：准确率下降7.5%，情况更糟。

根源分析

同一技能在不同语境下含义迥异：
* PM需求：文档排版、视觉呈现、逻辑摘要。
* DS需求：提取结构化数据、识别表格数字、批量读取。
* 结论：为“高管报告”优化的步骤，完全不适用于“数据统计提取”，甚至形成干扰。

启示：程序性记忆并非全局通用的“技能宝库”，而是随职业角色产生特化。跨部门共享SOP需极度谨慎。

八、省钱的意外收获：进化后说明书降低计算成本

除了提升完成率，实战进化的说明书能显著降低计算资源消耗（Token消耗）。

• 逻辑：无说明书时，AI需反复试错（消耗大量Token）；有清晰说明书时，AI直接按步骤执行，减少弯路。
• 案例：Kafka延迟异常检测
• 无说明书（Claude）：42.1万 Token。
• 手工说明书：52.1万 Token（说明书本身占用空间，反而增加消耗）。
• 进化后说明书：19.5万 Token，节省62%计算资源。
• 轻量模型表现：Hermes在同类任务上节省约16%成本。

商业价值：对于高频重复任务的企业，每年可节省巨额AI服务费用。

九、总结：AI“职场老手”之路还有多远？

核心洞察

1. 价值确认：程序性记忆方向可行，单轮优化即可带来3.7%-6.7%提升。
2. 混合经验优势：多模型混合经验可跨越“模型鸿沟”，跨模型准确率达73.1%。
3. 角色迁移风险：说明书非万能，专业化程度越高，离开原语境风险越大。

企业部署建议

1. 提供手册：即使是AI生成的宽泛手册，也优于无手册。
2. 迭代优化：允许说明书基于实战记录迭代，单轮优化即有效。
3. 混合来源：跨系统共享时，应收集多种AI的执行经验，而非依赖单一来源。
4. 谨慎共享：跨职业角色共享说明书需格外小心，避免“职业惯性”干扰。

未来研究方向

• 大规模经验积累是否会导致“边际递减”？
• 如何评价AI生成内容的可读性、健壮性及用户体验？
• 程序性记忆的真正挑战：提炼可迁移的通用知识，而非固化“局部习惯”。

Q&A

Q1：AFTER基准测试和其他AI测试平台有什么不同？
A：AFTER是目前唯一同时具备职业角色结构、技能标注及跨场景迁移测试分组的评估平台。其他平台（如GAIA、SWE-bench、WebArena）往往只关注单一角色、缺乏技能标注或缺乏迁移评估机制。AFTER覆盖6种角色和22项技能，能系统测试AI在不同语境下的技能复用能力。

Q2：程序性记忆为什么在不同职业角色之间迁移会失败？
A：同一技能在不同角色中用途不同，导致说明书带有鲜明的“职业惯性”。例如，PM的PDF处理关注格式与摘要，DS关注数据提取。为PM优化的步骤用于DS场景，不仅无效，还可能因干扰导致准确率下降高达7.5个百分点。

Q3：为什么混合多个AI模型的经验比只用单一强大AI的经验效果更好？
A：强AI常依赖自身能力走“捷径”，总结的经验过于特定，迁移性差。而混合多种能力水平的AI经验，包含更多元化的解决路径，提炼出的步骤更具通用性。弱模型因需显式按步骤操作，其经验对不同能力AI均适用。混合四种AI经验后，跨模型准确率提升至73.1%，远超单一来源的59.4%。