这项由约翰斯·霍普金斯大学主导的约翰游戏前沿研究，以预印本形式于2026年5月发布，斯霍论文编号为 arXiv:2606.24893。普金评测感兴趣的学打续成研究者可通过该编号在arXiv平台查阅完整论文，或访问 AgentOdyssey.github.io 获取代码与演示平台。造个中持

人类是让智如何学习的？

回想你初次接触一款全新电子游戏的经历：地图未知、道具效用不明、长的场敌人动向难测。约翰游戏你通过探索、斯霍试错、普金评测摔跤，学打续成逐渐摸清规律，造个中持最终形成独特的让智战术体系。在这个过程中，长的场你的约翰游戏大脑并非在考前突击，而是在实战中实时更新对世界的认知模型。

若将这一过程赋予人工智能，现状却大相径庭。大多数AI训练采用“预训练-测试”分离模式，如同学生考前刷完所有题库，考试时仅凭记忆作答，且被禁止在考试期间继续学习。这种设定虽便于实验室控制，却与现实世界中人类及机器需在“行动”中持续进化的逻辑背道而驰。

为探究AI能否实现这一突破，约翰斯·霍普金斯大学团队开发了全新评测框架 AgentOdyssey（智能体的奥德赛）。该框架旨在模拟一段在未知世界中不断学习、不断前行的漫长旅程，核心聚焦于“测试时持续学习”（Test-time Continual Learning）——即AI在部署运行过程中，边执行任务边更新认知，并将新知识应用于后续决策，而非依赖预先设定的静态知识库。

一、现有评测体系的局限性

近年来，以GPT为代表的大语言模型（LLM）展现出强大的推理能力，研究者尝试将其作为“智能体”（Agent）的大脑，控制其在模拟环境（如家务操作、网页浏览、机器人控制）中行动。然而，现有测试框架存在两大核心缺陷：

1. 静态假设偏差：大多数测试隐含“AI在测试期间不可学习”的假设。这如同期末考试，考生只能调用已有记忆，无法在考场上获取新知。
2. 阶段割裂：即便涉及“学习”，通常也是先进行大规模预训练，再进行测试。学习与测试被严格划分为两个独立阶段。

现实世界中的AI系统必须在运行中持续适应变化，没有“暂停-重训-上岗”的机会。研究团队指出，传统“持续学习”通常假设存在清晰的训练-测试边界，而AgentOdyssey旨在研究无边界情况下的动态适应能力。

二、AI在真实世界中需具备的五种核心能力

借鉴人类婴儿通过互动构建认知的过程，研究团队归纳出智能体实现“测试时持续学习”所需的五种关键能力，它们相互依存，缺一不可：

1. 探索（Exploration）：主动进入未知区域，发现新地点、物品和角色，而非在已知安全区重复无效行为。探索是积累学习原材料的前提。
2. 情景记忆（Episodic Memory）：记录“我做过什么”。例如，记住几步前放置宝石的位置以便后续找回。这不同于规则理解，而是对自身经历轨迹的精准回溯。
3. 世界知识习得（World Knowledge Acquisition）：通过互动归纳世界规律。如材料合成配方、特定时间的区域危险度、敌人行为模式等。这些知识需由AI自主摸索，而非预先灌输。
4. 技能学习（Skill Learning）：掌握高效完成任务的程序性记忆。例如，记录合成配方以便日后直接查阅，而非每次重新试错。这标志着从“知道是什么”到“知道怎么做”的跨越。
5. 长程规划（Long-horizon Planning）：将宏大目标分解为数百步的子任务，并在长时间跨度内保持目标追踪。例如，采集材料→合成钥匙→开门→交易，AI需防止在完成子任务后遗忘主线目标。

三、AgentOdyssey：基于AI生成的动态文字冒险环境

为解决AI“背答案”问题，研究团队设计了AgentOdyssey，一个由AI驱动的文字冒险游戏生成框架。其核心特性如下：

• 纯文本交互：AI仅接收文字描述，包括时间、地点、周围物品、NPC状态及自身属性（血量、等级等）。
• 动态世界图谱：由地点、物品、NPC三类实体构成空间关系网络。
• 双重规则系统：
• 行动规则：定义AI动作的后果（如“捡起”、“攻击”、“合成”）。
• 步进规则：定义世界自主演化逻辑（如NPC巡逻、夜间怪物生成、商人留言），确保世界动态独立于AI行动。
• 无限生成与防作弊：利用LLM驱动的生成引擎（含实体、规则、任务三个子模块），基于“基础游戏”模板生成结构相似但内容各异的新游戏。每次生成的内容均不同，且通过自动测试修复程序错误，确保可运行性。

相比传统静态环境，AgentOdyssey具备内容无限生成、世界动态自发演化、任务长程化及零数据污染风险四大优势。

四、多维评测指标体系

研究团队摒弃单一的“任务完成率”指标，构建了包含游戏进度与诊断测试的综合评估体系：

1. 游戏进度指标：
2. 核心：主线任务完成阶段数。
3. 辅助：支线任务数、探索地区数、新合成物品数、击败怪物种类数。

4. 注：所有数值均经过归一化处理，以消除不同游戏实例间的绝对数值差异，确保公平比较。

5. 五项诊断测试：

6. 世界知识问答：对比游戏前后AI对合成配方、地图连接等问题的准确率提升幅度，同时检测数据污染（若游戏前准确率极高，则可能存在训练数据泄露）。
7. 情景记忆问答：考察AI对自身经历的记忆（如“铁剑丢在哪里？”），答案基于当次游戏轨迹提取，无标准答案库。
8. 物品/动作探索率：统计AI尝试过的物品（共83种）和动作（共22种）比例，衡量探索广度。
9. 行动多样性（熵值）：计算连续行动序列的熵值。熵值趋近0表示陷入死循环，趋近1表示行为丰富多样。
10. 计算成本：记录总Token消耗量，作为衡量推理效率的指标。

五、参测智能体类型与记忆策略

研究团队测试了六大类智能体，结合不同基础模型（GPT-5, GPT-5-mini, Qwen3-4B, Claude Opus 4.6等），形成全面对比：

1. 长上下文智能体：将历史观察、推理、行动线性追加至上下文。优势在于信息完整，劣势在于计算成本随步骤平方级增长。
2. 固定大小记忆智能体：
3. 滑动窗口：仅保留最近N步记录。
4. MEM1：利用LLM主动压缩和更新记忆，而非机械丢弃。
5. 检索增强型智能体（RAG）：将经历存入外部数据库，决策时检索相关片段。测试变体包括：基础向量检索、Mem0、Raptor（层级摘要）、Voyager（Minecraft架构移植）。
6. 参数微调智能体：通过LoRA等技术将经验写入模型权重，形成“肌肉记忆”。数据来源于AI自身的观察-推理-行动三元组。
7. 强化学习智能体：采用PPO算法，通过奖励信号调整参数，而非模仿正确答案。
8. 隐变量记忆智能体：将经历压缩为隐藏状态标记。测试系统包括MemoryLLM和MPlus（基于LLaMA 3/3.1-8B）。

所有智能体均采用ReAct范式（先推理后行动），以模拟人类认知习惯。

六、实验结果：性能瓶颈与能力差异

研究进行了两轮实验：第一轮为复杂环境（18地区/83物品/13NPC/24阶段），第二轮为简化环境以深入分析参数微调效果。

• 总体表现：
• 最佳AI：GPT-5长上下文智能体完成3个阶段；Claude Opus 4.6在附录测试中完成5个阶段。
• 人类基准：人类玩家轻松完成9个阶段。

• 结论：即使是最先进模型，表现仅为人类的一半左右，差距显著。

• 长上下文智能体分析：

• 优势：世界知识问答准确率提升34.8%，情景记忆准确率达0.92，探索覆盖率最高。

• 劣势：计算成本随步骤平方增长，难以扩展；加入“反思”模块后因Token过载而崩溃。

• 隐变量记忆智能体失败：

• MemoryLLM和MPlus无效行动率高达100%，几乎无法产生有效行为，导致无法进行情景记忆评测。

• 行动多样性趋势：

• 长上下文智能体多样性下降较缓；固定窗口和参数微调智能体多样性迅速下降，行为趋向单调，且与游戏进度停滞高度相关。

七、短期记忆的关键作用与灾难性遗忘

第二轮实验揭示了一个核心发现：短期记忆对几乎所有智能体均有显著提升作用，尤其在参数微调智能体上效果惊人。

• 短期记忆的价值：
• 在以Qwen3-4B为基础模型的测试中，基础参数微调智能体完成0个阶段；加入短期记忆（保留最近5步）后，完成数跃升至7个，超越固定窗口智能体（6个）。

• 原因：短期记忆帮助AI维护“子目标”（如“已收集3/5木棍”），防止在完成小步骤后遗忘下一步指令。

• 反思与摘要的冗余性：

• 在推理模型中，显式的“反思”和“摘要”机制未带来额外增益，反而增加计算负担。研究认为，推理模型内部已隐含此类过程。

• 灾难性遗忘（Catastrophic Forgetting）：

• 参数微调智能体在游戏后的世界知识问答准确率反而低于游戏前，情景记忆接近零。
• 原因：模型在学习新游戏规则时，覆盖了原有的基础语言能力和常识。这被视为未来研究需解决的关键技术障碍。

八、智能体在五大能力上的具体失败模式

研究团队详细归纳了AI的失败表现：

1. 探索：过度目标导向，忽略潜在合成原料；行动空间探索不足，未尝试所有可用动作。
2. 情景记忆：陷入重复循环（死胡同不知转身）；产生“幻觉”，编造不存在的物品位置。
3. 世界知识习得：小模型易“发明”错误配方；或接收信息但未更新内部知识体系（“左耳进右耳出”）。
4. 技能学习：无法归纳敌人攻击模式形成战术；未学会使用“纸笔记录配方”这一显式工具。
5. 长程规划：完成子任务后遗忘主线，陷入原地打转或盲目进行支线任务。
6. 效率问题：大量Token消耗未转化为决策质量提升，需开发更高效的推理机制。

九、结论与展望

AgentOdyssey将“AI能否在做事过程中持续学习”这一模糊愿景，转化为可严格测量的科学问题。

• 核心结论：当前最强AI在探索、记忆、知识习得、技能积累和规划的综合场景下，与人类仍有巨大差距。
• 技术启示：
• 长上下文模型信息完整但成本高昂。
• 短期记忆是低成本、高回报的增强手段。
• 参数微调可行，但需解决灾难性遗忘。
• 框架局限：仅支持纯文本、单智能体、离散时间步。未来需向多模态、多智能体协作及连续时间扩展。

这项工作为AI研究者提供了可重复、可扩展、可诊断的实验平台，推动了从“静态推理”向“动态适应”的范式转变。

Q&A

Q1：AgentOdyssey测试的是AI的什么能力？
A：测试AI在运行过程中“边做事边学习”的能力，即测试时持续学习。具体涵盖五大维度：主动探索未知、情景记忆（记住经历）、世界知识习得（归纳规律）、技能学习（形成程序性记忆）以及长程任务规划。

Q2：AgentOdyssey测试发现目前最强的AI在游戏中能做到什么程度？
A：在首轮实验中，GPT-5长上下文智能体完成24个主线阶段中的3个；附录测试中Claude Opus 4.6完成5个。相比之下，人类玩家可完成9个。这表明即使是最先进AI，其表现也仅为人类的一半左右，差距依然显著。

Q3：为什么给AI加上短期记忆之后效果会明显变好？
A：短期记忆使AI能追踪近期子目标（如“还差几根木棍”），防止在完成小步骤后遗忘下一步指令。实验显示，加入短期记忆后，参数微调智能体的主线任务完成数从0跃升至7，是提升效果最显著的单一机制。