|
允中 发自 凹非寺 | 量子位 公众号 QbitAI Skill 的有图可依核心价值在于让 Agent 无需从零开始摸索，而是多模直接复用已有的任务经验。然而，范式当前 Skill 范式存在一个显著瓶颈： 现有的有图可依 Skill 几乎全部为 纯文本格式。诸如“修图需调整至何种程度”、多模“界面具体点击哪个按钮”等依赖视觉感知的范式隐性知识，难以通过 Markdown 文档有效传达。有图可依 针对这一痛点，多模openJiuwen 社区正式发布 Skill-Omni—— 业界首个实现工程化落地的范式多模态 Skill 范式。 它将 Agent 的有图可依经验从“可读”升级为“可视”，将网页与视频中的多模视觉知识沉淀为 Agent 可复用的多模态 Skill。 这是范式 Agent 的说明书首次拥有插图与参考图。 具体而言，有图可依用户只需提供网页链接或 B 站视频链接，多模JiuwenSwarm 中开箱即用的范式 这也是继 SwarmSkill、SwarmFlow 之后，openJiuwen 在 Skill 工程化方向的又一次快速迭代。
为何 Skill 需要多模态化？Skill-Omni 又是如何实现的？下文将深入解析。 为什么 Skill 需要多模态化？当前主流 Skill 范式仍局限于纯文本。 在代码生成、文档处理等任务中，纯文本足以胜任；但当 Agent 介入视觉任务或 GUI 自动化时，局限性便暴露无遗——部分任务并非“说清楚”，而是“看明白”。 1. 图像编辑任务纯文本 Skill 可能描述为：
人类或许能领会意图，但对 Agent 而言，指令过于模糊：主体定位？柔和度量化？有无参考效果？ 仅靠文字难以给出稳定答案。真正的知识蕴含在调整前后的视觉差异中：唯有通过前后对比图，Agent 才能直观判断“调整到什么程度才算合理”。 2. GUI 自动化纯文本 Skill 可能描述为：
然而，“设置”可能是齿轮图标，也可能隐藏在头像菜单下；“高级选项”可能需要滚动页面才能显现；“导出配置”可能是独立按钮，也可能是下拉菜单中的条目，且界面中常存在多个相似按钮。 若缺乏关键界面截图与页面状态信息，Agent 只能依赖文字猜测，导致执行偏差。 3. 视频教程的价值被低估大量技能并未记录在文档中，而是隐藏在软件录屏与操作演示里。 人类观看时能理解上下文，但若将其总结为文字，界面状态与操作细节便随之丢失。 核心结论：视觉任务中的关键知识往往不是单一语句，而是一组可观察的状态序列。 界面布局、操作前后的视觉变化、结果是否符合预期，若全部压缩为文字，不仅篇幅冗长，更会丢失空间关系与视觉细节。 这一判断并非 openJiuwen 独有观点，MMSkills¹、VisualSkill² 等近期学术工作已系统论证了这一方向。 方向已获验证，但 openJiuwen 是业界首个将多模态 Skill 转化为生产级 Agent 平台开箱即用工程能力的实践者—— 不止步于范式讨论，而是快速交付可用产品能力。 从形式化角度看，多模态 Skill 的价值不仅在于“信息量增加”，更在于为 Agent 提供了更大的决策信息空间。
这意味着，在理想决策器假设下，引入有效的多模态信息不会降低 Agent 的最优决策能力，反而为其提供了更高的信息上限。 skill-omni-creation：将网页、视频与视觉经验转化为多模态 Skill在此背景下，openJiuwen 在 JiuwenSwarm 中默认提供了 一个用于生成多模态 Skill 的 Meta Skill。 它不直接执行业务动作，而是专注于“识别哪些截图、关键帧和操作模式能辅助 Agent 完成类似任务”，并将这些信息从网页、视频等外部资料中结构化提取。 它将原本面向人类阅读/观看的内容，转化为 Agent 可用的多模态经验资产。 目前支持两类生成入口： 能力一：网页转图文并茂的多模态 Skill高质量教程与技术博客本质上是图文结合的，但在传统文本 Skill 中，网页图片常被忽略，无法进入 Agent 的执行逻辑。
网页不再仅是被收藏或总结，而是被转换为 Agent 可使用的经验资产。 场景演示：图文经验贴转多模态 Skill以“修复照片欠曝光”教程为例，关键信息隐藏在图像前后的视觉变化中：暗部细节是否恢复？高光是否过曝？
能力二：视频链接转多模态 Skill视频信息密度高，但复用难度大：视频天然带有时间轴，重要信息仅出现在特定关键帧中。 转录为文字会丢失视觉状态；逐帧输入 Agent 则会导致巨大的上下文成本。
复杂的视频教程不再是“看过即忘”的内容，而变为 Agent 可调用、可复用的多模态经验。 场景演示：B 站视频转多模态 Skill一个 Bilibili 视频完整演示了 JiuwenSwarm 的安装过程。只需提供链接， 这对安装类任务至关重要：安装成功与否，不仅取决于命令是否正确，更取决于终端输出与启动界面是否符合预期。 生成之后：Agent 如何读取多模态 Skill？生成仅是第一步，关键在于 Agent 执行时能否正确使用 —— 如何查阅多模态证据，同时避免因一次性加载大量图片而撑爆上下文（这也是学术界反复指出的难点）。 JiuwenSwarm 的工程化解决方案是一套 按需读取机制：
图片不会被一次性全部塞进上下文，而是按需进入执行过程 —— 既保留视觉信息，又避免上下文负担。 图片不再只是 Skill 文档中的插图，而是 Agent 可主动访问的视觉证据。 场景演示：Agent 读取多模态 Skill 完成修图任务回顾“能力一”中生成的欠曝光修复 Skill。现在轮到它上场。 面对欠曝光修复任务，Agent 不再仅依赖“提升亮度”等文字描述来判断任务完成度，而是参考 Skill 中沉淀的前后对比图：暗部是否重现？高光是否未过曝？色彩是否自然？ 多模态 Skill 提供的不是装饰，而是 Agent 判断结果质量的视觉标准。 哪些任务最适合 Skill-Omni？一句话概括：那些“文字不够用”的任务。
在这些场景中，Skill-Omni 的价值不在于“让知识更好看”，而在于让 Agent 获得更完整的执行依据。 从文字说明书到多模态经验库过去，Skill 更像一份写给 Agent 的文字说明书：遇到某类任务时，遵循哪些步骤、调用哪些工具、注意哪些约束。 但在多模态 Agent 时代，这已不足够。 当 Agent 开始看屏幕、理解图片、操作软件、复现视频教程时，它需要的不仅是文字规则，还有视觉参照、空间信息、关键帧和状态变化。 Skill-Omni 打通的正是这条完整链路：
这意味着 Skill 不再只是一份纯文字资产，而开始成为多模态 Agent 的可复用经验层。 从 SwarmSkill 到 SwarmFlow，再到今天的 Skill-Omni，openJiuwen 正在将 Skill 从“一份文档”打造为一套完整的经验工程体系—— 当 Agent 开始通过屏幕理解世界、通过图像复用经验，Skill 也需要从 Markdown 走向 Multimodal。 而这条路不会止步于屏幕：下一步，Skill-Omni 将探索面向 Physical AI 场景的 Physical Skill。 通过物体抓取热力图沉淀物理交互经验，让 Agent 不仅复用“看得见”的经验，也复用“拿得稳、做得成”的经验。 Skill-Omni 已在 JiuwenSwarm 中开箱可用。欢迎访问 openJiuwen 开源社区体验并参与共建。 相关资源
参考文献[1] MMSkills：https://arxiv.org/pdf/2605.13527 |
