新智元报道

【新智元导读】当前多模态大模型（VLM）在RGB图像演示中表现优异，参测顶但一旦脱离可见光画面，数也数据面对热成像、没用模态深度图、港中毫米波雷达等真实世界常见信号，发布往往出现集体「失明」。集专级香港中文大学AIoT实验室联合UIUC、知盲哥伦比亚大学及匹兹堡大学，参测顶发布包含64,数也数据267个七模态同步样本的数据集 CUHK-X，首次系统量化了这种「看得见却读不懂」的没用模态能力断崖。核心结论令人震惊：即便将模型参数规模提升至235B，港中也无法弥补这一短板。发布该研究成果已被 ACM MobiSys 2026录用。集专级

过去两年，知盲VLM的参测顶进步几乎完全建立在RGB图像之上。面对普通照片，模型能描述、问答、推理，看似无所不能。然而，在居家养老、医疗监测等真实场景中，夜间光线不足、物体遮挡、隐私保护限制摄像头使用等情况频发，这正是RGB模态的弱项，也是热成像、深度、毫米波雷达、IMU等非RGB模态大显身手的领域。

问题在于，模型在非RGB模态上的表现与其在RGB上的高光时刻形成巨大反差。根源在于训练与评测数据的长期缺失。现有的人类活动识别（HAR）数据集大多仅提供粗粒度的⟨数据, 标签⟩（如「跌倒」、「睡觉」），缺乏连贯的语义描述且未覆盖多模态，导致模型难以真正「看懂」甚至「读懂」复杂场景。

三个能力台阶

要厘清这一差距，需将「看懂人」的能力拆解为三个递进层级：

1. 识别（HAR）：回答「这是什么动作」，本质为分类任务。
2. 理解（HAU）：要求模型用自然语言描述活动序列，并判断情境状态（如放松、平静或匆忙）。
3. 推理（HARn）：基于前序动作推断行为意图，预测下一步最可能发生的事件。

案例解析：
* 识别：对「洗脸、刷牙、梳头」逐个打标签。
* 理解：将其串联为「一段晨间洗漱」流程。
* 推理：据此预判「接下来他大概率要出门」。

层级越高，对上下文关联和因果逻辑的要求越严，也越贴近智慧医疗与居家养老的核心需求。例如在阿尔茨海默病照护中，对日常行为的连续理解与预判是实现及时干预的关键。

图1 CUHK-X 在多房间真实家居环境中同步采集七种传感模态，并面向识别（HAR）、理解（HAU）与推理（HARn）三类任务统一建模。

CUHK-X：先有「真值」再采数据

针对上述能力断崖，CUHK-X 提出了一套面向 HAR、HAU、HARn 的大规模多模态数据集与基准。该数据集包含 64,267个活动样本，覆盖 7种同步模态、40种日常动作及 30名参与者。

• 论文链接：https://arxiv.org/abs/2512.07136
• 项目主页：https://openaiotlab.github.io/CUHK-X/
• 代码链接：https://github.com/openaiotlab/CUHK-X

CUHK-X 的核心创新在于其「反直觉」的数据采集逻辑。传统做法常将单模态数据集的粗标签拼接，并依赖LLM自动生成描述，这极易导致时空矛盾（如将不同房间、不同时段的「刷牙」与「吃饭」强行组合）。

CUHK-X 采用 「先有真值」（Ground-Truth-First）策略：
1. 利用LLM将同类或跨类动作逻辑串联为连贯的生活场景描述（如将洗脸、刷牙、梳头、穿衣整合为完整晨间场景）。
2. 对描述进行语言风格扩展。
3. 由四位研究生级标注员从物理可行性、场景一致性、时间因果与常识约束四个维度进行人工把关。
4. 参与者理解描述后自然表演，采集真实数据。

由此生成的 ⟨数据, 描述⟩ 配对天然具备时空对齐与语义连贯性。

图2 CUHK-X的数据生产链路，从动作筛选、场景化描述生成到按描述采集多模态数据，最终汇成三大基准。

在两个真实室内环境（客厅、厨房、卧室、浴室）中，CUHK-X 使用精心设计的传感器阵列同步记录七种模态：
* 环境侧：Goermicro Vzense NYX 650相机（RGB、深度、红外）、德州仪器IWR6843ISK毫米波雷达（60–64 GHz）、海康TB4117热成像相机（120×160）。
* 可穿戴侧：5个WitMotion WT9011DCL-BT50 IMU（双手腕、双脚踝、腰部）。
* 骨架数据：通过MMPose从RGB与深度帧估计17个3D关节点。

30名参与者男女比例为4:6，年龄20–23岁。据作者介绍，这是首个同时覆盖RGB、深度、热成像、红外、骨架、IMU、毫米波雷达七种模态，并配有丰富文本描述的大规模活动数据集。

图 3 环境侧传感器与可穿戴 IMU 的部署方案。

图 4 同一组日常活动在七种模态下的同步可视化，直观体现各模态的信息密度差异。

图 5 CUHK-X 数据规模与类别分布概览。

三大基准六项任务

CUHK-X 的真正价值在于其极具挑战性的评测设计，六项任务旨在暴露模型短板：

• HAR 基准（1项任务）：40类动作分类，检验各模态对识别模型的支撑力。
• HAU 基准（4项任务）：
• 描述比较：评估生成描述与真值的语义接近度。
• 上下文分析：判断动作执行时的情境状态。
• 动作序列重排：将打乱的动作还原为正确时序。
• 动作选择：从40个候选中选出视频中实际发生的动作。
• HARn 基准（1项任务）：基于前序动作预测下一个最可能的动作，直击意图推理与因果推断。

测试模型涵盖一线 VLM（InternVL2.5-2B/8B、QwenVL2.5-3B/7B、VideoLLaVA-7B、VideoChatR1-7B等）及模态专用模型（ResNet-50、PointNet、MotionBERT等）。为探究「规模红利」，还额外评测了 Qwen-35B、QwenVL3-235B 和 Doubao-seed-2.0 等大参数模型。

四个反直觉的发现

评测结果揭示了四个关键结论：

发现一：模态存在「鄙视链」，但弱模态具备互补价值

HAR 七模态平均识别准确率为 76.52%。视觉模态表现优异：热成像准确率 92.57%（F1 93.36%），RGB 与深度 F1 分别为 91.28% 和 90.93%，骨架准确率为 79.08%。相比之下，IMU 与毫米波雷达独立准确率仅为 45.52% 和 46.63%。尽管判别力较弱，但这两类模态在遮挡、弱光及隐私敏感场景中提供了视觉模态无法替代的互补价值。

发现二：参数越大不一定越强

模型规模实验显示，单纯增加参数并不能在所有任务和模态上带来普涨。典型反例是 QwenVL3-235B，在深度上下文分析任务中，性能从 0.422 暴跌至 0.286。即便是整体最强的 Doubao-seed-2.0，在该任务上也仅得 0.552。这表明 CUHK-X 提出的难题尚未被现有大模型解决。

发现三：「推理」能力优于「描述」能力

在 HARn 基准上，三种视觉模态的平均推理准确率达到 70.25%（最高 90.30%）。其中，具备推理能力的 VideoChatR1-7B显著领先于纯描述模型。前者能借助上下文理解和逻辑推断关联动作与意图，而后者易被表面视觉线索误导。

发现四：不存在「全能选手」

在动作序列重排和动作选择任务中，呈现出强烈的模型-模态交互效应，无单一模型能通吃所有模态。HAU 四项子任务平均准确率仅为 40.76%（最高 50.52%）。例如，VideoLLaVA-7B 在描述比较任务中取得最佳 BERTScore F1（86.40%），但在其他任务或模态上领先者易主。这种「无稳定赢家」的状态恰恰证明了基准的高区分度与挑战性。

对具身智能的启示

CUHK-X 的发现提醒具身智能社区：当前 VLM 的强势主要源于「RGB 之强」；一旦进入涉及非 RGB 模态和复杂时序推理的真实物理世界，其短板便暴露无遗。弥补这一短板不能仅靠扩大模型规模，必须从数据构建和评测体系根源上进行重构。

未来，CUHK-X 计划沿两条路径扩展：
1. 复杂度提升：引入参与者间交互及更长时间跨度的多步骤活动。
2. 模态与人群泛化：补充音频、触觉、心率、脑电等信号，覆盖更多室内环境及更广泛年龄、运动能力的人群，增强生态效度。

同时，该数据集将作为标准化教学资源，支持传感器融合、数据标注与多模态推理等领域的研究与教学。对于旨在真正「读懂人」的智能体而言，这块拼图才刚刚起步。

论文信息

• 第一作者：蒋思阳（香港中文大学博士生）
• 共同作者：袁牧（香港中文大学博士后）、纪祥（香港中文大学博士生）等
• 指导导师：邢国良教授（ACM/IEEE 会士，CUHK AIoT 实验室主任，获 NSF CAREER Award 及 CUHK 杰出研究奖）
• 共同通讯作者：邢国良教授、陈鸿凯研究助理教授（香港中文大学）
• 合作机构：香港中文大学、伊利诺伊大学厄巴纳-香槟分校、哥伦比亚大学、匹兹堡大学

参考资料：
https://arxiv.org/abs/2512.07136

编辑：LRST