|
人与 AI 的化论话交互范式正经历深刻重构，其形态日益趋近于人类之间的从对自然沟通。 以门店运营为例，协作店员制作宣传视频时，化论话不再依赖冗长且精确的从对 Prompt 工程，而是协作直接开启与 AI 的实时对话：“帮我剪一条今天新品上架的视频”。通过多轮交互敲定细节，化论话这种协作模式与雇佣人类剪辑师无异。从对 此类场景已广泛渗透至编程、协作游戏等领域。化论话程序员在通勤或散步时，从对通过语音与 Agent 探讨功能设计与实现路径；游戏玩家则与 AI 助手实时沟通任务策略与资源收集进度。协作 在 Agent 时代，化论话AI 的从对角色已从被动的“输入-响应”系统，转变为深度参与需求探讨、协作方案评估及任务执行的全流程伙伴。这一转变推动了音视频交互成为主流，数据佐证了这一趋势：豆包 App 今年一季度音频用量环比增长约 200%，视频用量增长约 350%；近一年音视频模型日均 Token 消耗已达千亿级别。联想天禧 AI“看世界”功能自 2025 年 8 月上线至 2026 年 5 月，人均对话轮次提升至初始值的 1.65 倍，相当于传统单轮问答的 3 倍。
随着交互重心从文本转向语音与视频，多模态对话正演变为人与 Agent 协作的核心界面。语音、视频、屏幕共享及环境感知将成为该界面的关键组件。用户不再局限于“提问”，而是在持续上下文中，引导 Agent 理解任务、补充信息、调用工具并执行操作。 然而，实现这一愿景要求多模态交互具备超越基础视听的能力，需构建接近人类水平的沟通体系，重点强化听觉、视觉、记忆、意图四大核心能力。唯有四者协同，多模态对话才能从单一的输入手段，升级为支撑任务判断、方案生成与执行推进的协作机制，推动 Agent 完成从“工具”到“伙伴”的进化。 一、从等待指令到参与讨论多模态交互的本质变革，不仅在于指令发出方式的优化，更在于 Agent 介入任务的时间节点前移。 在人类协作中，需求往往始于模糊构想，经由反复追问、结合场景与资源约束，逐步沉淀为清晰方案。人与 Agent 的沟通也正从“一次性指令”转向“多轮澄清与方案共创”，这是多模态交互重塑协作逻辑的关键。 1. 降低沟通门槛，释放用户创造力传统文本 Prompt 编写对非技术用户构成较高门槛，需精准描述背景、目标、限制及预期结果，并预判模型误解风险。多模态交互允许用户以习惯化的方式（如语音、视频）表达需求，无需掌握专业术语或 Prompt 技巧。在前述视频制作场景中，店员只需聚焦业务目标，无需转型为技术专家。 2. 还原完整上下文，深化需求理解许多任务（如编程、设计、办公）的难点在于需求澄清而非执行。静态 Prompt 仅能基于有限信息执行，而多模态交互支持 Agent 通过追问关键条件、澄清模糊表述、补全上下文，在充分理解目标与约束后进入执行阶段。 以 Vibe Coding 为例，Agent 的价值重心已从代码生成前移至需求讨论。TRAE Work “语音讨论”数据显示，用户平均交互 17 轮，其中 60% 为探索发散，70% 用于方案讨论，仅 30% 用于代码生成。 3. 顺应工作重心转移，强化监督角色随着 Agent 能力增强，用户角色将从执行者转向监督者。未来工作流中，Agent 将自主推进任务，仅在遇到不确定性、需判断或授权时介入。此时，语音与视频成为更自然的监督与介入媒介：用户可在通勤中语音讨论方案，通过屏幕监控执行状态，或利用摄像头让 Agent 结合现场画面进行实时判断。 多模态对话的价值不仅在于减少打字，更在于将 Agent 的介入阶段从“结果生成”前移至“需求形成、方案讨论与执行监督”。 二、类人沟通：迈向人与 Agent 协作的关键进化要实现脱离传统界面的协作，Agent 需在以下四个维度具备类人沟通能力： 1. 听觉：真实环境下的顺畅沟通真实世界声学环境复杂（如地铁、咖啡厅、户外），存在回声、噪音及多人干扰。人类能自然区分说话者及有效信息，而 Agent 需依赖声学处理与语义理解。 火山引擎针对 Agent 优化了回声消除、声纹识别降噪及声学语义联合理解： 联想天禧 AI“看世界”覆盖办公、户外、健身等场景，借助上述能力实现了自由打断、低延迟响应及高拟真音色，提升了真实环境下的交互体验。 2. 视觉：共享问题现场联想天禧 AI“看世界”整合了实时对话、屏幕共享与摄像头共享，支持 Excel 操作指导、穿搭评价、娱乐陪伴及热量估算等场景。 视频理解的难点不在于“看到更多”，而在于“看到更有效”。连续视频包含大量重复、模糊及低价值帧，全量输入将导致成本高昂、延迟增加及效率降低。因此，多模态交互需在端侧提升采集质量，在云端实现关键帧优选、智能抽帧及选择性注意力。 选择性注意力是火山引擎实现类人沟通的关键：Agent 需根据用户意图构建实时视觉任务，带着目标观看视频。例如，在球赛场景中，Agent 需通过球衣号码识别球员，并追踪特定动作。 3. 记忆：跨越会话的持续合作类人沟通的核心在于记忆。用户问“刚才午饭热量高吗”，Agent 需回溯此前视觉信息。这种连续性模拟了人类相处状态。 火山引擎构建了三层记忆体系： 联想天禧 AI 据此搭建跨端、跨会话、跨场景的记忆体系，覆盖 PC、Phone、Pad 多端。无论交互模态如何切换，记忆均可沉淀并在后续会话中调用，使 Agent 沿用户生活脉络持续积累上下文。
4. 意图：参与任务定义人类沟通中，大量隐含信息需通过追问显性化。例如，“做一个权限管理系统”背后涉及角色/部门分配、审批流程、管理员层级及系统集成等关键约束。
听觉解决“听见谁”，视觉解决“看见什么”，记忆解决“记得哪些上下文”，意图解决“到底要完成什么任务”。这四项能力共同构成了 Agent 从对话走向协作的基础，也是火山引擎多模态交互区别于传统问答的核心优势——在连续沟通中达成协作共识。 三、当多模态对话成为通用协作界面多模态交互终将超越单一 App 功能，演变为通用的 Agent 任务界面。 过去，语音、视频、图像识别等功能分散于不同入口。未来，这些能力将融合为持续感知与协作的 Agent 入口，用户可无缝切换模态，依托 Agent 调用工具完成任务。 联想天禧 AI“看世界”已展示这一趋势。它并非简单叠加视频通话功能，而是深度融合了火山引擎的 RTC/AgentRTC、端到端语音、TTS、ASR、Seed 大模型、视觉理解及多模态传输能力，并结合联想自身的会话管理、记忆管理、跨端同步、人设管理及场景编排技术，在多端设备上呈现。 这意味着实时对话正从“打电话模式”向通用化嵌入转变，融入工具、内容及现实场景。 AI 眼镜被视为未来关键硬件，因其天然契合人类视角，能持续接收声音、画面与环境信息，是“随时可见、随时可说、随时可协作” Agent 的理想载体。 当 Agent 具备听、看、记忆及意图理解能力，用户可通过 AI 眼镜等伴身硬件建立自然联系，利用自然语言与视觉信息操控现实任务：如询问设备异常原因，或在陌生环境中获取基于现场画面的解释与建议。 这种交互闭环构成了适配 Agent 的通用操作界面，承载未来人与物理世界的互动。它酷似影视作品中钢铁侠的贾维斯或高智能方程式赛车的车载电脑——并非被动等待指令的工具，而是持续理解环境、记忆用户、适时介入并协助执行的伙伴。 这种协作模式将进一步推高多模态交互的技术天花板。未来 AI 产品的竞争焦点，将从模型能力与任务效率，转向谁更贴近用户真实使用现场，谁能促使用户更自然地进行持续交流、信任与协作。对 Agent 而言，下一代入口不仅是应用或硬件，更是一套基于多模态对话构建的协作系统。 |
