henry 发自 凹非寺 量子位 | 公众号 QbitAI

世界模型终于迎来了“持续学习”的刚刚能力！

近日，队让纽约大学（NYU）联合 Yann LeCun 创办的世界 AMI 实验室，发布了 JEPA 系列的模型最新研究成果——AdaJEPA。

传统世界模型在预训练完成后通常冻结参数，学会学习而 AdaJEPA 引入了测试时自适应（Test-Time Adaptation,持续 TTA）机制。它能够在智能体与环境交互的刚刚过程中，实时调整世界模型的队让编码器和预测器参数，从而实现真正的世界持续学习。

具体而言，模型AdaJEPA 构建了一个“计划、学会学习执行、持续观测、刚刚更新、队让再规划”的世界闭环系统。在每次交互中，系统仅执行 MPC（模型预测控制）规划出的第一步动作，随后将真实观测到的下一帧状态作为自监督信号，对世界模型进行在线更新。

这意味着，下一轮规划所依赖的不再是初始部署时的冻结模型，而是经过当前环境“实时校准”后的动态模型。

这一思路与经典强化学习中的 Dyna架构异曲同工：模型并非一次性训练完毕，而是在真实交互中不断修正其对物理世界的理解。

实验数据显示，无论是在分布内环境，还是面对各类分布外偏移（OOD），AdaJEPA 的规划成功率均显著优于固定参数的世界模型。

核心机制：从“静态预测”到“动态校准”

长期以来，基于 JEPA 路线的隐空间世界模型遵循一个默认假设：模型训练即结束，参数随即冻结。

其传统流程如下：
1. 离线学习：模型在离线轨迹上学习将高维图像压缩至隐空间（Latent Space），并在该空间内预测未来状态。
2. 测试阶段：MPC 调用冻结的世界模型，在隐空间中向前滚动“想象”未来轨迹，优化出一串动作序列。
3. 执行：仅执行序列中的第一步动作，等待环境反馈。

（注：MPC 的核心在于“滚动优化”，即每次只预测短 horizon 并执行第一步，以应对不确定性。）

痛点在于：当环境发生分布偏移（Test-time Distribution Shift）时，冻结的世界模型极易失准。在隐空间中看似可行的动作，映射到真实物理环境时可能完全失效。加之 MPC 依赖短时域滚动，单步误差会随时间累积放大，导致规划失败。

为解决这一难题，AdaJEPA 提出了全新框架：世界模型不应是静态的，而应像部署中的智能体一样，在行动中利用新经验自我校准。

AdaJEPA 的四步闭环

AdaJEPA 将传统 MPC 的“规划-执行-再规划”扩展为更精细的五步循环：

1. 计划（Plan）：
   模型将当前观测编码为隐状态（Latent State），利用当前世界模型进行 MPC 滚动预测，在隐空间中寻找最接近目标状态的动作序列。

2. 执行（Act）：
   模型不执行完整序列，仅执行第一步动作。真实环境返回下一帧观测。

3. 更新（Update）：
   将此次真实状态转移存入在线缓冲区。AdaJEPA 让模型根据当前观测和动作预测下一步隐状态，并与真实下一帧观测编码出的隐状态进行对齐。

4. 损失计算：预测值与真实值之间的差异生成梯度，反向传播以更新模型。

5. 再规划（Re-plan）：
   更新后的世界模型立即投入下一轮 MPC。

6. 轻量化更新策略：论文默认仅更新视觉编码器和预测器的最后几层，且每次重规划仅执行1步梯度下降。

由此，AdaJEPA 的循环从简单的反馈控制升级为“规划-执行-观测-更新-再规划”的自适应闭环。

世界模型由此从被动的“想象器”，转变为具备在线校准能力的主动模块。

实现细节：轻量级隐空间校准

AdaJEPA 的底层架构依然基于 JEPA（Joint-Embedding Predictive Architectures，联合嵌入预测架构）。

与传统像素级预测模型不同，JEPA 不直接预测未来图像，而是将图像映射至紧凑的隐空间，仅在隐状态层面进行预测。其核心组件包括：
* 状态编码器：将观测编码为隐状态。
* 动作编码器：将动作编码为动作嵌入。
* 预测器：基于当前隐状态和动作嵌入，预测下一步隐状态。

在线更新机制

1. 在线缓冲区：每次动作执行后，真实状态转移被存入缓冲区。为控制内存，论文默认仅保留最近 N 条转移记录。
2. 对齐目标：模型预测的下一时刻隐状态需与真实观测编码出的隐状态对齐。
3. 防止灾难性遗忘：为避免在线更新破坏原有的表征空间，论文采取两项限制：
4. Stop-Gradient：对目标表征使用停止梯度操作。
5. 局部更新：仅更新少量参数（视觉编码器和预测器的最后几层），且每次重规划仅做 1 步梯度下降。

这表明，AdaJEPA 并非对整个世界模型进行在线重训，而是每走一步，利用新反馈对模型进行轻量级的环境校准。

实验结果：显著提升鲁棒性

为了验证测试时自适应的效果，论文在 PushT和 PushObj、PointMaze两个基准任务上进行了测试。

1. 分布外（OOD）泛化能力

• PushObj 任务：在未见过形状的物体上，AdaJEPA 将规划成功率几乎翻倍。
  

• PointMaze 任务：在未见过布局的迷宫中，提升同样显著：

• GD 规划成功率：从 53.3% 提升至 78.7%。
• CEM 规划成功率：从 49.3% 提升至 70.7%。

2. 计算开销极低

关键优势在于，这种在线更新带来的额外延迟微乎其微。
* 由于仅更新最后几层且仅执行 1 步梯度下降，额外延迟仅为 0.01 到 0.03 秒。

这意味着 AdaJEPA 并非通过沉重的在线训练换取性能，而是在原有世界模型基础上，引入了一种高效的“部署时自我校准”机制。

结论：世界模型无需在训练后永久冻结。通过在部署阶段利用真实交互结果进行轻量级更新，即可显著提升模型面对环境变化时的鲁棒性。

作者介绍

Ying Wang
* 身份：纽约大学数据科学中心 CILVR Lab 博士生。
* 研究方向：世界模型。
* 导师：Mengye Ren, Yann LeCun。

Oumayma Bounou
* 身份：纽约大学博士后研究员。
* 研究兴趣：世界模型、控制与优化。
* 现状：与 Yann LeCun 合作研究世界模型。

指导作者
* Mengye Ren：纽约大学计算机科学与数据科学助理教授。
* Yann LeCun：图灵奖获得者，Meta AI 首席 AI 科学家。

参考链接
[1] https://arxiv.org/pdf/2606.32026