|
新智元报道
【新智元导读】6月22日Claude全家桶集体宕机，断电仅是背后冰山一角。当顶级大模型被投入真实机房直面「幽灵故障」，中国由信通院推出、基准无问芯穹参与建设的首次市场死穴 AISHPerf-智算运维智能体评测基准给出了残酷答案：主流模型全军覆没，无一过50分。捅开这道从「认知」到「执行」的断电鸿沟，首次被量化。背后 6月22日，中国全球AI圈遭遇突发「断电」危机。基准 Claude的首次市场死穴「全家桶」——包括 claude.ai、Console、捅开API、断电Code、背后Cowork 等核心服务，中国在短短数小时内大面积宕机。
开发者终端被红色报错刷屏，企业协作流水线瞬间中断，社交媒体舆论沸腾：有人晒出满屏502截图调侃「被AI炒了鱿鱼」，有人戏称这是「2026年最体面的摸鱼理由」。 然而，玩笑背后是严峻的现实。 当AI从娱乐玩具转变为驱动千亿美金算力投资的「核心生产设备」时，基础设施的稳定性已成为决定产业生死存亡的隐形天花板。 更残酷的测试结果随之出炉： 由中国信息通信研究院（信通院）推出、无问芯穹重点参与技术建设的 AISHPerf-智算运维智能体评测基准，将包括 Claude-4-sonnet 在内的国内外主流大模型置于真实GPU集群环境中，处理生产级故障。 结果：全军覆没，综合得分全部低于50分。在中等和困难难度下，正确率普遍不足50%。
注：测试对象涵盖Claude-4-sonnet及主流开源模型，均进行匿名化处理。 这并非语言模型的失败，而是 「说」与「做」之间那道真实且残酷的鸿沟。 万亿市场中，智能体能否稳稳接住运维重任？ 想象这样一个场景：凌晨三点，训练任务出现无规律的性能剧烈波动。 运维团队紧急排查，却陷入最诡异的境地：网络链路正常、存储性能正常、节点硬件无异常。 为定位根因，运维人员需全链路逐层溯源，从模型切分策略、任务调度逻辑，深挖至底层网络协议、内核参数及存储配置规则…… 这一过程往往耗费巨大的人力、物力与时间，最终仅在极隐蔽的边缘场景中发现症结。 最致命的是，此类「幽灵故障」的排查周期常长达十天半个月。 在此期间，大量服务器持续空转，海量算力资源白白损耗，AI训练业务全程停滞。 这类故障在大规模GPU集群中绝非个例。它们隐蔽、跨层栈、难复现，却直接吞噬真金白银。 据摩根士丹利预测，2028年全球AI基础设施累计投资将达 2.9万亿美元。其中，运维人力、故障损失与集群闲置构成的成本占比高达 15%-20%，全行业潜在可优化空间超过 4350亿美元。
无问芯穹早在2025年10月便率先探索并应用早期版本的运维智能体。 真实生产环境的数据最具说服力： 这些数字背后，是无数个被解放的凌晨三点，和无数度未被白烧的电力。 但核心问题在于：究竟什么样的运维智能体，才配得上「好用」？ 全球首个真实机房的「开卷实操考」过去的大模型评估，更像是一场「语言知识竞赛」。模型背诵越多、表述越华丽，分数越高。 但当AI深入基础设施领域，「能否解决实际问题」成为唯一标准，因为这直接关乎每一度电、每一张GPU卡的产出效率。 AISHPerf-智算运维智能体评测基准彻底颠覆了「纸上谈兵」的传统。 该基准源自无问芯穹积累的近百亿条真实运维数据。经过严格过滤、去重、脱敏三阶段精细标注，提炼出高质量、高保真的评测用例。每条用例均包含真实的问题现象与明确的故障根因。
关键区别在于：基准不提供根因，要求AI自行探索。 系统仅告知：「训练任务卡死，用户反馈如下，请复现并修复。」
智能体必须自主进入真实集群环境，自行发现线索、提出假设、验证并执行修复。整个过程必须确保安全、有效，绝不能导致机房崩溃。 这才是真正的「开卷实操考」——它考察的是： 为确保考试公平且可重复，AISHPerf配套了 AIops-Chaos混沌工程项目。
该工程通过软件层精准模拟GPU掉卡、显存错误、NVLink故障、网络分区等真实硬件异常，无需物理损坏硬件即可构造高保真测试环境。仅需一台GPU+多轨RoCE NIC服务器，即可实现分钟级故障编排与自动化恢复验证。 这套评测框架（AIops-Eval）包含 User、Agent、Env、Evaluator、Tracing五大核心模块，完整记录智能体每一步轨迹，支持自定义规则与LLM-as-Judge双重评测。
它不再关心模型「知道多少」，只关心它在真实世界中，能否把事情做成。 全军覆没的铁证：硬件世界面前，AI的真实表现为确立行业基线，信通院利用该基准对基于ReAct架构的简单智能体进行了全面测试。 测试对象涵盖Claude-4-sonnet等主流模型。为确保公平，智能体仅使用Shell工具，禁止联网搜索；模型均做匿名处理。 结果令人震撼：所有模型总得分均低于50分。 即使是最强的旗舰模型，在中等与困难难度任务上的正确率也普遍低于50%。
面对困难问题，工具调用时间占比显著上升，但正确率反而下降。
这表明模型在复杂场景下，无法精准有效地采集和利用信息。 更耐人寻味的是不同技术栈的表现差异：
模型似乎对硬件世界缺乏足够信心，不得不反复思考、反复确认。 这背后暴露出三种典型的失败模式：
这些失败并非因为模型「不够聪明」，而是它尚未真正学会如何在物理世界中负责任地行动。 模型与人类：不是替代，而是正交测试轨迹分析揭示了一个更深刻的洞察： 当前大模型与人类运维专家的技能，可能是高度正交的。
这意味着，未来最优的运维系统，或许不是让智能体完全替代人类，而是构建一种 「模型负责快速广度探索 + 规则与人类专家负责深度验证与安全把关」的混合智能体范式。 AISHPerf-智算运维智能体评测基准的意义，在于它第一次将这道鸿沟量化、可视化、公开化。 它用真实数据和真实环境告诉整个行业： 此外，该基准特别覆盖了 天数、壁仞、沐曦、摩尔、昇腾五种国产芯片。
在国产智算集群建设如火如荼的当下，填补国产智算运维评测领域的空白，本身就是对产业升级最务实的支撑。 从「Token工厂」到「自愈工厂」，我们正在丈量未来过去一年，AI的发展令人目眩神迷。 从大模型到智能体，从训练到推理，行业已形成共识：技术发展的瓶颈早已不再局限于模型层，底层算力基础设施同样是决定产业上限的关键要素。 AI系统本质上已演变成一座「Token工厂」： 工厂的最终产出，是一个个有价值的Token。 但当我们下沉至机房底层，会发现一个更现实的问题：这座工厂远没有想象中那么高效。 AISHPerf-智算运维智能体评测基准，让「系统自己解决问题」这件事，第一次变得可衡量、可对齐、可迭代。 这或许是人类写给机器的、最浪漫的一行代码。 凌晨三点，机房依旧亮着灯。 只是终有一天，守夜的，不再只有人类。 开源地址： 配套故障模拟器： 运维数据集： 评测框架： |
