这项由德国图宾根大学（University of Tübingen）与KE:SAI（Kyutai ELLIS可扩展自主智能研究机构）联合开展的图德前沿研究，以arXiv预印本形式于2026年7月1日正式发布，宾根论文编号为 arXiv:2607.00917。大学感兴趣的究机驾驶读者可通过该编号获取完整论文及开源代码，深入探索AI规划领域的构让最新突破。

当机器学会为未来做计划

想象你在驾驶车辆通过十字路口，模拟教练要求你做出决策。中学这不仅需要观察当前路况，图德更需要在脑海中快速模拟：“如果我此刻转向，宾根接下来会发生什么？大学”这种在意识中预演未来、评估后果并选择最优路径的究机驾驶能力，是构让人类驾驶智慧的核心。

对于人工智能而言，模拟实现这一能力同样关键且极具挑战。中学研究人员将赋予AI“预演未来”能力的图德模块称为“世界模型”（World Model）。它如同AI的想象力，使其无需在物理世界中经历碰撞或事故，即可预判不同动作可能引发的后果。

本研究的核心议题在于：如何构建一套既具备丰富想象力（涵盖多种未来可能性），又具备实时响应速度（满足控制任务需求）的AI世界模型？为此，两位研究者提出了全新方案——Valdi（Value Diffusion World Model，价值扩散世界模型），并在赛车模拟环境中完成了初步验证。

一、为何AI的“想象力”难以兼顾速度与多样性？

在深入Valdi之前，需厘清当前AI规划领域的两大主流技术路线及其局限性。

1. 模型预测控制（MPC）与潜在世界模型

MPC可视为AI版的“走一步、算三步”。它要求AI在极短时间内预演多种未来情景并打分，以选择当下最优动作。为满足实时性要求，此类方法通常将预测过程压缩至一个紧凑的“隐空间”（Latent Space），而非直接处理原始图像数据。这种在压缩空间中运作的模型被称为潜在世界模型。

2. 扩散模型（Diffusion Models）

以Stable Diffusion为代表的扩散模型，通过从噪声中逐步去噪生成图像，天然擅长表达不确定性。相同的起点因去噪路径的微小差异可生成多样化的结果，这与“未来存在多种可能性”的现实高度契合。因此，研究者尝试利用扩散模型构建世界模型，以生成更丰富的未来图像预测。

3. 现有技术的痛点

• 潜在世界模型：预测速度快，但通常是确定性的。面对同一输入仅给出单一答案，缺乏对“未来多可能性”的捕捉能力，显得过于武断。
• 扩散模型：能表达丰富的可能性，但需经过数十甚至上百轮迭代去噪，计算量大、速度慢，难以兼容对实时性要求极高的控制任务。

Valdi的目标：在上述两种路线之间架起桥梁，结合两者的优势。

二、Valdi的核心架构：联合训练的扩散规划器

Valdi的整体架构可类比为一套“即兴戏剧生成系统”：演员（AI）需根据当前场景，在脑海中快速生成未来剧情（预测轨迹），评估结局优劣，并据此决定下一步行动。

该系统由四个协同工作的模块组成：

1. 表征模型（Representation Model）

作为系统的“翻译官”，负责将原始图像和传感器数据压缩为64维紧凑向量（潜在表示）。
* 图像路径：通过卷积神经网络（CNN）处理。
* 传感器路径：通过小型神经网络处理车速、方向等7维数据。
* 融合：两路结果拼接后经投影层，生成代表“当前世界状态精华”的64维向量。

2. 扩散动力学模型（Diffusion Dynamics Model）

这是Valdi的核心创新。它根据“当前状态摘要”和“动作序列”，一次性生成未来H步（论文中设为5步世界模型步，对应15个实际环境步）的完整轨迹。
* 架构：采用双向Transformer，使轨迹各时刻相互参照，确保预测连贯性。
* 优势：摒弃了传统方法“逐步推演”的模式，直接跳出整条轨迹，提升效率。

3. 奖励预测模型（Reward Prediction Model）

预测在特定状态和动作下，AI能获得的即时奖励分数。在赛车场景中，这大致对应于行驶距离及是否偏离跑道。

4. 价值预测模型（Value Prediction Model）

预测从某状态出发并遵循最优策略，AI未来能获得的累计总奖励。
* 创新点：Valdi摒弃了TD-MPC中复杂的“动作-价值函数+策略网络”组合，直接使用状态价值函数，简化了整体结构。

联合训练机制：
四个模块并非独立训练，而是在在线控制循环中联合优化。AI在赛车环境中实际跑圈积累经验的同时，同步更新所有模块参数，实现“边干边学”的自我进化。

三、扩散模型的“单步诀窍”：速度与质量的平衡

扩散模型的主要瓶颈在于多步迭代去噪带来的延迟。Valdi的关键发现是：在赛车模拟任务中，单步去噪足以维持高水平的控制表现。

• 实验结果：训练与推理均使用单步去噪，Valdi的表现与基于MLP（多层感知机）的确定性基线持平。
• 比喻：传统扩散模型如雕塑家，需精雕细琢；Valdi的单步版本如速成工艺，能一次性拍出大致轮廓。在简单任务中，这种快速且粗糙的预测已足够有效。
• 训练-推理匹配：Valdi坚持“训练用单步，推理用单步”。若推理时增加步数，会导致分布偏移（训练-推理不匹配），反而降低性能，如同只练过“一气呵成”的学生，突然被要求“慢慢润色”会适得其反。

损失函数设计：
总损失 = $(1 - \lambda) \times (\mathcal{L}{diff} + 0.01 \times \mathcal{L}} + 0.01 \times \mathcal{L{value}) + \lambda \times \mathcal{L}$
其中，$\mathcal{L}{diff}$为扩散损失，$\mathcal{L}$为正则化损失（权重0.05）。

四、决策机制：基于交叉熵方法（CEM）的规划

在推理阶段，Valdi采用交叉熵方法（Cross-Entropy Method, CEM）进行规划求解，相比TD-MPC使用的MPPI方法更为简洁高效。

CEM工作流程（“海选演员”比喻）

1. 候选生成：规划器生成512个“候选演员”（候选动作序列）。
2. 模拟推演：在扩散世界模型中，让每个候选序列执行H步想象轨迹。
3. 精英筛选：根据折扣奖励总分（过程奖励+终态价值估计）打分，保留得分最高的64位“精英”。
4. 迭代优化：基于精英特征更新下一轮候选分布，迭代10轮。
5. 执行动作：执行第一步最优动作，随后重新规划。

动作分块（Action Chunking）机制

• 效率提升：世界模型每1步对应实际环境的3步。规划5步世界模型步即可覆盖15步实际视野，仅需5次动力学推理。
• 运行频率：在单张RTX 4080显卡上，Valdi规划器运行频率超过10Hz，而AI实际动作频率因分块机制超过30Hz。

五、实验验证：赛车场上的三个关键追问

研究团队在改造版的CarRacing环境中进行了实验。改造包括：将视觉与传感器数据分离（底部遮黑，单独输出7维向量），轨迹截断为600帧，并在100条固定赛道上评估。

追问1：Valdi vs. 确定性MLP基线

• 结果：在单步扩散设置下，Valdi的评估得分与MLP基线在统计误差范围内持平。
• 意义：打破了“扩散模型因速度慢而无法用于实时规划”的固有认知，证明扩散模型可替代确定性模型而不牺牲性能。

追问2：增加推理步数能否提升多样性？

• 方法：训练独立的像素解码器，将潜在状态还原为图像，计算LPIPS指标（衡量图像差异/多样性）。
• 结果：
• 单步推理：预测多样性低，倾向于单一赛道走向。
• 多步推理（2-8步）：LPIPS指标急剧上升，生成轨迹呈现多样化（直行、转弯等），宛如“平行宇宙”。
• 副作用：多步推理导致控制得分略微下滑。
• 归因：训练-推理不匹配，且CEM规划器在高方差样本面前难以有效筛选精英。

追问3：扩散模型对价值函数质量的影响

研究者通过两个维度诊断价值函数质量：
1. 自洽性（Consistency）：相邻步骤间价值预测的逻辑一致性（时序差分残差）。
2. 接地性（Grounding）：想象轨迹中的价值预测与真实环境实际价值的吻合度（检测“乐观幻觉”）。

• 短期预测（h=0,1,2）：Valdi误差略大于MLP基线，扩散模型初期预测易出错。
• 长期预测（h=4,5）：随着步数增加，Valdi误差增长更慢，在规划器最依赖的末端步骤，其误差反而更小。
• 结论：扩散动力学模型在长期预测稳定性上具有优势，这得益于其一次性生成全局轨迹、允许时刻间相互参照的特性，避免了MLP逐步推演的误差累积。

六、工程细节：系统运转的关键选择

• 参数规模：Valdi约539万参数，MLP基线约580万参数。Valdi并未通过堆叠参数取胜，而是依靠架构创新。
• Valdi动力学：6层预归一化双向Transformer，输入为噪声潜在向量+动作块+时间嵌入，输出为去噪速度向量。
• 基线动力学：6层残差MLP，直接输出下一步潜在状态。
• 其他模块：两者完全相同，确保对比公平。
• 正则化：引入SIGReg鼓励潜在状态分布接近各向同性高斯分布，以预防潜在空间坍缩。实验显示该正则化非必需，但未做完整消融实验。
• 探索策略：采用$\epsilon$-贪婪策略，前250条轨迹25%随机探索，后线性衰减至5%。更新-数据比约为1:10，目标编码器通过EMA（0.005系数）缓慢更新。

七、局限性与未来展望

作者坦率指出了两大局限：

1. 单步推理的可扩展性：在CarRacing等简单环境中单步去噪有效，但在机械臂操作、多体交互等复杂动力学环境中，单步去噪可能无法还原准确预测。
2. 解决方案：引入知识蒸馏，训练多步“教师”模型，压缩至单步“学生”模型。
3. 训练-推理步数不匹配：当前设计严格绑定单步。若需在推理时灵活调整步数（如资源充裕时用多步提升多样性），需重新设计训练方案以支持“测试时计算扩展”。

核心结论：
Valdi证明了在简单环境下，单步扩散模型可实现“又快又好”的实时规划。然而，预测多样性的增加并不自动转化为控制性能的提升。这一发现揭示了多样性与控制质量之间的张力，为后续研究提供了重要参考。

对于自动驾驶、机器人控制等领域，Valdi提出的“在潜在空间利用扩散模型进行端到端联合规划”的思路，为解决AI应对不确定未来的问题提供了新的技术路径。

感兴趣的读者可通过 arXiv:2607.00917查阅完整论文及代码。

Q&A

Q1：Valdi与TD-MPC的主要区别是什么？
A：TD-MPC使用确定性MLP逐步预测下一个状态，而Valdi利用扩散模型一次性生成整条H步的潜在轨迹。此外，Valdi去除了TD-MPC中的策略网络，改用状态价值函数以简化结构。两者均在潜在空间中规划，并采用回放缓冲区与联合在线训练机制。

Q2：为何Valdi在推理时增加扩散去噪步数反而降低了控制性能？
A：主要原因有二：一是分布不匹配，模型仅在单步去噪场景下训练，推理时增加步数导致输入分布偏移；二是筛选困难，多步去噪产生的轨迹方差更大，CEM规划器在面对高方差候选轨迹时，难以有效筛选出优质动作序列。

Q3：Valdi的价值函数在长期预测中为何比MLP基线更稳定？
A：扩散动力学模型一次性生成全局轨迹，允许不同时刻相互参照，避免了MLP逐步滚动推演带来的误差累积。实验表明，尽管Valdi在短期预测误差略大，但在规划末端的价值估计（最关键步骤）中，其接地性和自洽性误差增长更慢，最终表现更优。