训练世界模型,开始从人类的肌肉和脑子里偷师了

时间:2026-07-17 03:44:01来源:云北源资讯网 作者:知识

允中 发自 凹非寺 | 量子位 | 公众号 QbitAI

具身智能的训练数据竞争,正从单纯的世界师“量大管饱”迈入下一阶段的深水区。

过去一年,模型第一视角视频成为了机器人训练的开始主流燃料。人类佩戴相机进行做饭、从人整理桌面、类的里偷开抽屉等操作,肌肉即可产出海量的和脑操作样本。

虽然数据量的训练瓶颈已初步缓解,但一个更深层的世界师缺口随之浮现:

这些视频仅记录了“人做了什么”,却缺失了“人为什么这样做”,模型更未捕捉动作执行过程中大脑与身体实时修正的开始微观机制。

FaceMind(脸谱心智)旨在填补这一空白。从人

这家由两位95后博士创立的类的里偷公司,提出了一套全新的肌肉 Ego-NeuroLoop数据范式。

该范式同时采集四类信号,将人类完成动作时“看哪里、准备做什么、肌肉如何发力、反馈如何修正”的完整闭环,压缩至同一条时间轴上。

配套的硬件方案 NeuroMatrix负责降低采集门槛,信号处理层 NeuroBooster则负责将噪声巨大的原始数据对齐,转化为模型可“消化”的标准格式。

△图片为AI生成

而这一整套技术路线的起点,源自神经科学中一条被反复验证的核心理论:贝叶斯大脑(Bayesian Brain)

贝叶斯大脑:大脑一直在预测世界

在神经科学领域,“贝叶斯大脑”理论常与预测处理(Predictive Processing)及自由能原则(Free Energy Principle)并列讨论。

其核心思想在于:大脑并非被动接收信息的容器,而是一个主动预测器官。

基于过往经验和当前上下文,大脑会对外部世界及自身身体状态生成概率化预期,并通过感官反馈进行校准。

△图片为AI生成

你下一秒会看到什么、伸手会碰到什么、目标是否仍在原位,大脑都在提前计算。

当真实感官输入返回后,预测值与现实值之间的差值即为预测误差。这一误差驱动内部模型不断向前更新。

若借用AI领域的概念类比,大脑本身就在运行一套世界模型。

AI中的世界模型研究“环境如何随动作变化”,而人类大脑的做法与之相似,区别在于人类这套系统是天然与身体共生的。视觉、视线、触觉、本体感觉、肌肉反馈、注意力及误差信号,全部运行在同一条链路上。

具身智能真正渴望学习的,正是这种机制。

机器人若要进入厨房、仓库、实验室或家庭等真实场景,仅靠视觉识别和动作模仿是远远不够的。

真实世界充满不确定性:物体可能打滑、阻挡、形态改变或突然打断任务。目标选择、动作启动时机、偏差修正及失败后的策略切换,这些能力无法仅通过一段视频习得。

具身智能真正稀缺的,不是更像“录像机”的数据,而是更像“大脑运行日志”的数据。

摄像头能拍到手的动作,却拍不到大脑的思维过程。

摄像头拍到了手,但拍不到大脑

过去一年,以ego-centric(第一人称)和human-centric(人类中心)视角的数据成为具身智能的主流燃料。

由于机器人真机数据采集成本高、速度慢、设备昂贵且场景覆盖有限,相比之下,人类第一视角数据的采集门槛极低。一人一相机,即可产出大量原始任务素材。

这类数据能记录环境要素、物体状态变化、手物接触方式及任务结果,为模型提供了真实世界操作的基础素材。

然而,第一视角视频存在天然边界:它主要记录的是“行为结果”。

  • 摄像头能看到手伸向杯子,却看不到人为什么先看杯沿
  • 能看到杯子被拿起,却看不到动作准备何时出现
  • 能看到手指接触物体,却看不到肌肉发力如何变化
  • 能看到任务成败,却看不到反馈误差如何触发下一步修正

现有的human-centric数据更像是一个“行为结果库”,仅记录动作轨迹和最终结果。

具身智能真正需要学习的是“行为生成机制”——目标如何被发现、注意力如何切换、意图如何形成、肌肉如何执行、反馈如何改变动作。

如果大脑是一套预测式世界模型,训练数据就必须尽可能记录这套模型的运行全过程。不仅要记录“人看到了什么、手做了什么”,还要覆盖“人如何预测、如何行动、如何反馈、如何更新”。

FaceMind(脸谱心智)正是为了填补这一缺口而生。

该公司由两位95后博士 陆弘远、韦怡然创立,早期从端侧全模态模型切入,随后将研究重心转向更底层的世界模型方向。

△脸谱心智Founder陆弘远

但他们更关键的切入点,是将贝叶斯大脑理论转译为具身智能的数据工程问题。

神经科学认为,大脑通过内部模型预测世界,利用反馈误差更新模型;AI中的世界模型,也旨在让智能体理解环境随动作的变化规律。

要将两者打通,需要一类新数据,用于记录人类大脑、身体和环境形成的闭环

Ego-NeuroLoop应运而生。

它并非单纯增加视频采集量,也不是对现有动作数据重新打标。

它采集的是人类完成任务时的闭环过程:人看哪里、何时准备动作、肌肉如何启动、反馈如何出现、动作如何修正。

贝叶斯大脑中的“预测、误差、更新”机制,正通过Ego-NeuroLoop转化为机器人可学习的数据资产。

给大脑和肌肉也装上摄像头

Ego-NeuroLoop将人类操作过程拆解为四类同步信号:world camera(世界相机)、gaze(视线)、EEG(脑电)和sEMG(表面肌电),分别对应外部环境、注意力、神经状态和肌肉执行。

△图片为AI生成

  • World camera 记录环境
    桌面上有什么、目标物体在哪、手物接触方式、任务进度。这一层提供的是世界模型的外部输入

  • Gaze 记录视线
    动作发生前,眼睛往往先到。先看目标,再看可抓取区,必要时扫视障碍物或下一步放置点。视线轨迹帮助模型从复杂环境中筛选出当前真正相关的信息。

  • EEG 补充动作前的“前奏”
    脑电虽无法读取完整想法,但能捕捉动作准备、注意状态、任务切换、误差感知等信号。手未动而神经系统已进入准备状态,这一时间差唯有EEG能记录。

  • sEMG 将动作落实于肌肉
    手臂、手腕、手指何时激活、发力如何变化、修正发生在哪个阶段。相比仅看手部轨迹,sEMG提供了执行力度和控制细节。

将四类信号置于同一条时间轴上,一个动作便从单一轨迹转化为完整链路:

目标被发现 → 注意力聚焦 → 神经系统进入准备 → 肌肉激活 → 手接触物体 → 反馈回流 → 力度与轨迹重新调整。

模型从这类数据中学到的,不仅是“人怎么做”,更是“人凭什么做对”。

先在实验室画满地图,再把设备做小

数据范式已定,首要任务是采集。

FaceMind提出的硬件方案名为 NeuroMatrix,负责同步采集视觉、视线、EEG、sEMG四类信号。

△图片为AI生成

当前最大的现实挑战在于成本和部署难度

高精度脑电、肌电和视线追踪设备多适用于实验室,通道多、成本高、佩戴复杂,难以直接应用于真实世界的大规模任务。

NeuroMatrix的策略是:先用高精度版本建立“信号地图”。

在高精度阶段,系统获取完整的脑电、肌电、视线和视觉数据,分析动作意图与脑区信号的对应关系,明确哪些头皮电极通道、哪些肌肉区域、哪些视觉目标之间存在稳定关联。

地图绘制完成后,硬件设计围绕关键位置收缩,减少电极数量,压缩传感器点位,致力于让设备更轻、更便宜、更易佩戴。

这一步决定了数据生产的扩展边界。

具身智能需要长期、稳定、贴近真实场景的数据供应,少量实验室级样本无法支撑通用机器人的训练。若不降低采集门槛,人类闭环操作数据便无法进入高频、大规模的生产阶段。

四路信号,互相兜底

采集到的原始数据尚不能直接使用,因为这些信号均存在噪声。

  • EEG易受电极接触、头动、眨眼及环境干扰影响;
  • sEMG受佩戴偏移、肌肉串扰及动作幅度影响;
  • Gaze可能漂移或短时丢失;
  • 视觉数据亦难逃遮挡、模糊和视角变化。

此外,多模态数据的时间同步难题,使得原始信号难以直接转化为训练样本。

为此,FaceMind推出了第二层解决方案:NeuroBooster

这是一个面向神经和身体信号的多模态基座模型,能将粗糙、异步、低信噪比的原始数据,整理为模型可消费的闭环时间轴。

类比而言,VLM对齐的是图像与文本,而 NeuroBooster 对齐的是视觉、视线、EEG、sEMG。

该系统的核心在于模态互补

  • 当EEG信号微弱时,Gaze和sEMG可补充目标与执行信息;
  • 当sEMG噪声较大时,视觉和EEG有助于判断动作所处阶段;
  • 当Gaze漂移时,World Camera和手部状态可将上下文拉回;
  • 当视觉被遮挡时,神经和肌肉信号仍能保留意图与执行线索。

经过时间对齐、信号配对、增强重建和结构化输出后,模型获取的不再是孤立传感器记录,而是一条完整的操作链路:看到了什么、注意哪里、准备做什么、如何发力、反馈如何出现、下一步如何调整。

数据竞争将进入“闭环质量”阶段

具身智能数据的竞争,过去主要围绕规模、场景、动作展开。

谁的数据量大、覆盖任务多、动作样本丰富,谁就更有可能训练出强策略模型。

但下一轮竞争的核心指标已变为:闭环质量。

以“拿杯子”动作为例:

  • 普通视频提供的是轨迹数据:手从哪里来、到哪里去、杯子是否被拿起。
  • FaceMind Ego-NeuroLoop提供的是更细颗粒度的过程:目标如何被发现、注意力如何转移、动作准备何时出现、肌肉何时发力、接触后反馈如何改变后续动作。

两种数据喂养出的模型,能力边界差异显著:

仅学习轨迹的模型,容易停留在表层模仿。它擅长复现见过的场景,但当物体打滑、光线变化或任务被打断时,由于缺乏内部状态判断,它无法识别偏差环节。

而学习过闭环过程的模型,则多了一层能力:它见过人类在相同偏差面前如何调整发力、重新分配注意力、切换策略,从而有机会将这些修正逻辑迁移至自身决策中。

从这个角度看,Ego-NeuroLoop的意义在于将训练数据从“行为库”推向“闭环库”

它不仅记录人类做了什么,更记录大脑、身体和环境如何协同把事情做成

机器人缺的世界模型,长在人类大脑里

机器人缺失的世界模型,可能正藏在人类大脑中。

更准确地说,藏在大脑、身体和环境的连续交互中。

贝叶斯大脑理论提供了一个框架:大脑通过内部模型预测世界,用感官输入校准预测,用误差推动模型更新。

具身智能走向真实操作,需要的是同一套能力。机器人不能只“看见”世界,还得“预测”世界;不能只“执行”动作,还得根据反馈“更新”下一步动作。

FaceMind的做法是,沿着这一框架从数据端一路铺到模型端

  1. Ego-NeuroLoop定义了新的数据范式;
  2. NeuroMatrix降低了多模态信号采集的门槛;
  3. NeuroBooster将低成本信号对齐增强为模型可用格式。

在模型侧,FaceMind此前发布的 Looped World Models(循环世界模型),利用参数共享的Transformer Block对环境状态进行迭代式更新,使世界模型在内部完成多轮修正。

数据侧采闭环,模型侧跑闭环,两头接上了。

这条路线真正赌注在于:机器人要更像人一样完成任务,瓶颈不仅在于模型架构,更在于训练数据记录了人类操作的哪一层。

轨迹、结果、成功率,这些是表层。

预测、反馈、修正,这些或许才是控制策略真正生长的土壤。

相关内容