RSS 2026 Manipulation 论文报告汇总1

时间:2026-07-17 06:06:01来源:云北源资讯网 作者:娱乐

2026年7月13日,文报机器人领域顶级学术会议 RSS (Robotics: Science and 告汇Systems)在澳大利亚悉尼正式拉开帷幕。

本届 RSS 2026 主会最终接收并列入官方日程的文报论文仅约 160 篇。极低的告汇录用率再次印证了 RSS 作为机器人领域“天花板”会议的含金量,每一篇入选论文均经受住了全球数百位顶尖研究者的文报严苛审视。

雷峰网 & AI科技评论报道团队已深入会议现场。告汇在开幕式后的文报 “Manipulation 1: World Models & Memory”环节中,来自全球顶尖实验室的告汇研究者展示了机器人操作领域的最新突破。从双臂协同、文报手术辅助到水下灵巧操作,告汇一个显著趋势正在浮现:机器人操作正摆脱对海量标注数据的文报依赖,迈向“少样本、告汇强泛化”的文报新阶段。

研究者不再执着于高昂的告汇千万次遥操作数据采集,而是文报各显神通:有的从人类视频中“借用”经验,有的利用触觉手套实现跨物种对齐,还有的在推理阶段引入“安全护栏”。

以下精选该环节 9 篇代表作,深度解析机器人如何以极低算力与数据成本,掌握高精度操作技能。


一、打破“数据匮乏”:向人类“借”经验

既然真机数据难以海量采集,研究者将目光投向了最丰富的资源库——人类日常行为。核心挑战在于如何跨越“人与机器”的结构鸿沟,直接提取操作知识。

1. BiDemoSyn: 一次演示生成千条训练数据

论文:BiDemoSyn: One-Shot Real-World Demonstration Synthesis for Scalable Bimanual Manipulation
机构:华南理工大学

双臂灵巧操作是机器人领域的“硬骨头”,其协同复杂度远高于单手,且高质量演示数据获取成本极高。现有方案往往陷入两难:遥操作采集可靠但低效,仿真合成高效但存在严重的虚实鸿沟。

华南理工大学团队提出 BiDemoSyn框架,核心思路是将双臂任务解耦为两部分:
* 不变协调块:捕捉双臂间不随任务改变的协同模式。
* 可变物体适应:根据具体物体的形状和位姿进行灵活调整。

基于这种解耦,该框架通过视觉引导对齐和轻量级轨迹优化,仅需一段真实世界示范视频,即可在数小时内自动合成数千条物理可行的多样化训练数据。

关键突破:
* 在六个双臂任务实验中,策略展现出对物体位姿和形状的鲁棒泛化能力。
* 实现 零样本跨本体迁移,即更换机器人平台后无需重新训练即可直接工作。

2. DexImit: 从人类视频中学习灵巧操作

论文:DexImit: Learning Bimanual Dexterous Manipulation from Monocular Human Videos
机构:上海人工智能实验室、清华大学

互联网上充斥着大量人类操作视频(如切苹果、倒饮料),但由于人类手部与机器人灵巧手结构差异巨大,这些数据的训练价值长期被低估。这种“具身鸿沟”使得直接从视频预训练变得极其困难。

上海人工智能实验室与清华大学研究者设计了 DexImit,一个四阶段自动化生成管线:
1. 三维重建:从任意视角重建高精度的手-物交互结构。
2. 任务分解:对复杂任务进行子任务分解与双臂调度规划。
3. 轨迹合成:生成与人类演示高度一致的机器人轨迹。
4. 数据增强:通过综合增强确保零样本部署到真实世界。

关键突破:
* 该流程可直接处理互联网上的任意人类操作视频,甚至包括 AI 生成的视频。
* 大幅降低了灵巧手“学会动手”的数据采集门槛。

3. TactAlign: 触觉手套实现跨物种策略迁移

论文:TactAlign: Human-to-Robot Policy Transfer via Tactile Alignment
机构:UC Berkeley、Meta 等

传统方法要求触觉设备高度一致且需成对训练数据,严重限制了扩展性。UC Berkeley 与 Meta 等机构提出 TactAlign,利用整流流(Rectified Flow)将人类和机器人的触觉观测映射到同一共享潜在空间。

关键突破:
* 无需配对数据:对齐过程不需要人工标注或特权信息,利用手物交互中自然产生的“伪配对”作为锚点。
* 物理共性利用:无论人手还是机械手,抓取同一物体时的物理交互模式存在共性。
* 高效迁移:在拧灯泡等高灵巧任务中,仅需不到 5 分钟的人类触觉数据,即可实现零样本迁移。


二、跨越“虚实与场景鸿沟”:增强环境泛化能力

解决数据来源后,下一个难题是“环境突变”。如何让机器人在仿真中表现良好,却在真实世界(如水下、手术室)中依然稳健?

4. Supervised MoE: 手术机器人的“看眼色”能力

论文:Supervised Mixture-of-Experts for Surgical Grasping and Retraction
机构:德国国家肿瘤疾病中心

手术环境复杂(组织变形、视野遮挡),传统手术机器人依赖多相机系统和海量数据,落地困难。该团队提出一种 监督式混合专家(MoE)架构,可像插件一样叠加在任意自主策略之上。

关键突破:
* 极简输入:仅配合立体内窥镜图像作为唯一输入。
* 少样本学习:叠加 MoE 后的轻量级 Action Chunking Transformer (ACT),仅需不到 150 条演示数据,即可掌握“肠道抓取与牵拉”长时序协作任务。
* 强鲁棒性:在弱光、遮挡及全新抓取位置等干扰下保持稳健,并在离体猪组织及体内猪手术中实现零样本泛化验证。

5. Semantic-Contact Fields: 触觉+视觉的类别级泛化

论文:Semantic-Contact Fields for Category-Level Generalizable Tactile Tool Manipulation
机构:新加坡 A*STAR、NUS

工具操作需解决“用哪里”(语义)和“用多大力”(物理)两个层次。现有 VLA 模型力控不足,纯触觉策略通用性差,且大规模真实触觉数据采集成本极高。

新加坡团队提出 Semantic-Contact Fields (SCFields),将视觉语义与密集接触估计融合为统一的三维表示:
1. Sim-to-Real 管线:先在大规模仿真数据上预训练接触先验。
2. 伪标注微调:利用几何启发式和力优化,在少量真实数据上进行微调。

关键突破:
* 力感知表示被送入扩散策略作为观测输入。
* 在未见过的工具实例上实现 类别级泛化,大幅超越纯视觉和原始触觉基线。

6. UMI-Underwater: 水下抓取无需下水采数据

论文:UMI-Underwater: Learning Underwater Manipulation without Underwater Teleoperation
机构:斯坦福大学、哥伦比亚大学

水下环境导致光线散射和颜色失真,水下演示数据采集成本高昂。斯坦福与哥伦比亚大学提出迂回策略:“水上教,水下用”

关键突破:
* 深度图作为通用语言:利用深度图在不同光照和水质下的稳定性,弥合陆地与水下域间差距。
* 零样本部署:在陆地手持演示数据上训练模型,通过几何对齐直接部署到水下。
* 自监督试错:配合自监督数据采集管线,让机器人自主在水下试错并记录成功案例。
* 实验显示,该方法在水下抓取性能和鲁棒性上全面超越纯 RGB 方法,甚至能泛化到陆地数据中未出现的物体。


三、重塑“底层逻辑”:机制兜底与数据配比

除了数据和环境,大语言模型架构直接套用在机器人上并不完美。研究者开始回归物理本质,探寻最优数据配比、控制闭环与安全机制。

7. VLA 数据配比研究:89 个策略的实验结论

论文:A Systematic Study of Data Modalities and Strategies for Co-training Large Behavior Models for Robot Manipulation
机构:Meta AI

视觉-语言-动作(VLA)模型是主流架构,但共训练数据配比缺乏系统性指导。Meta AI 团队进行了大规模实证研究:
* 规模:4000 小时操作数据 + 5000 万视觉-语言样本,训练 89 个 VLA 策略,进行超 6 万次测试。

关键结论:
* 黄金搭档:视觉-语言数据与跨本体机器人数据联合共训练,显著提升模型对分布偏移、未见任务及自然语言指令的泛化能力。
* 离散 Token 无效:离散动作 token 收效甚微。
* 能力恢复:仅用机器人数据训练会导致大模型视觉语言理解能力退化,加入共训练数据后可有效恢复。

8. SID: 将机器人“滑”回安全分布区

论文:SID: Sliding into Distribution for Robust Few-Demonstration Manipulation
机构:香港科技大学

少样本策略在遇到突发状况(物体位置偏移、外界扰动)时,极易“掉出分布”导致危险动作。港科大团队提出 SID框架,核心思想是在推理时主动将系统拉回安全区。

关键机制:
* 以物体为中心的运动场:通过学习规范化演示,在机器人偏离轨迹时提供大幅纠正运动,将其“滑”回可靠操作区域。
* 全局粗调 + 局部精调:接近目标时,运动场自然衰减,交由轻量级自我中心执行策略完成精细操作。
* 效果:在仅有两次演示的极限条件下,于分布外初始条件下保持约 90%的成功率。

9. Contact-Grounded Policy: 让灵巧手真正“感知”接触

论文:Contact-Grounded Policy: Dexterous Visuotactile Policy with Generative Contact Grounding
机构:UCSD、Brown、Sony AI

多指灵巧手的接触密集型操作高度依赖接触点的持续演化,以往研究常将触觉视为“额外输入”,忽视动作策略与底层控制器的动力学交互,导致预测目标无法在物理世界执行。

UCSD 等团队提出 Contact-Grounded Policy (CGP)框架:
1. 条件扩散模型:预测机器人状态与触觉反馈的耦合轨迹。
2. 接触一致性映射:将联合预测直接转化为柔顺控制器可执行的目标状态,确保控制系统落实接触意图。

关键突破:
* 触觉不再是锦上添花的观测,而是连接 AI 策略与物理现实的 “接地”桥梁
* 在真实和仿真机械手上,CGP 在操控、抓取和工具使用任务中均显著优于现有基线。


结语

三个方向,九篇论文,一条主线贯穿始终:机器人操作正在从“数据饥渴”走向“样本高效”。

  • BiDemoSyn通过一次演示合成数千条数据;
  • SID用两次演示实现九成成功率;
  • DexImit从人类视频中自动提取操作知识;
  • CGP让灵巧手真正感知接触状态。

这些前沿探索共同指向一个未来:机器人再也不必在实验室里苦熬千万次演示,而是以更低的成本、更强的泛化能力,学会干最精细的活。

雷峰网 & AI科技评论将继续在现场带来更多 RSS 2026 的精彩内容。


🤝 加入 RSS 2026 研究者社群

一个人读论文太孤单,一群人刷顶会才好玩。

我们正在召集一波含金量极高的 AI 研究者,群内主打 实时论文跟踪硬核技术探讨,拒绝灌水。

进群方式:
* 扫码进群
* 或添加微信 Luyoyo_2026
* 备注:论文群 + 关注的 AI 方向

搞科研/搞技术,信息差很重要。来,一起快人一步!上车,带你看遍全球 AI 顶会精华。

可独家畅览:
* 专家演讲 PPT
* 大会报告全文
* 热门论文解读
* 学术新星访谈

相关内容