|
长期以来，条条通罗机制可解释性（Mechanistic Interpretability）领域存在一个虽未明言却被视为公理的电路前提：模型执行同一任务时，其内部必然对应一条唯一或近乎唯一的马大模型「电路」（circuit）。研究者致力于「电路发现」（Circuit Discovery），可解旨在定位这些特定的释性始内部结构。然而，机制一篇被 ICML 2026 接收的从开存新论文给出了令人不安的结论：「唯一电路」可能根本不存在。实验表明，条条通罗同一任务可由多个结构高度不重叠、电路但同样具备高能力、马大模型稀疏且完备的可解电路独立支撑。该论文将这一长期默认的释性始前提命名为「功能各向异性假说」（Functional Anisotropy Hypothesis），并通过实验与理论双重路径，机制系统性地证伪了这一假设。从开存 一个被默认已久却从未言明的条条通罗假设近年来，电路与流形发现（Circuit and Sheaf Discovery, CSD）已成为机制可解释性领域的热点。其核心目标直指大模型这一「黑盒」：揭示模型在展现特定能力时，内部哪些组件（如注意力头、MLP层）及其连接（残差流中的信息通道）真正发挥了因果作用。 在此领域，有两个紧密相关但内涵不同的概念： 本文主要聚焦于 Sheaf，但结论同样适用于 Circuit。纵观已发表的 CSD 工作，几乎都隐含着一个愿景：每一个能力都对应着一个结构特化、唯一的内部机制。
论文信息 该论文将上述假设定义为功能各向异性假说。这一假说看似合理，并主导了当前的评测范式： 这两种范式均隐式地默认：「同一模型内，一个任务对应一个机制解释上的正确答案」，并预设进一步压缩终将收敛至一个唯一且不可或缺的核心机理。但如果这一前提本身就是错误的呢？
同一个任务，可由几乎不重叠的两条电路完成为了系统性地探索「另一条路」，作者提出了重叠感知的 sheaf 排斥（Overlap-Aware Sheaf Repulsion, OASR）。这一思路简洁而优雅。 作为 CSD 的框架基底，DiscoGP 将 Sheaf 发现建模为一个可微的「选边」问题：为每条边分配可学习的 logit，并在稀疏性、任务性能和完备性三个目标下，通过 STE（Straight-Through Estimator）优化二值掩码。
在经典的间接宾语识别（IOI）任务中，作者利用该方法找到了两条 Sheaf：A 和 B。结果显示，两者在 IOI 任务上均达到 100% 准确率，且在完备性准确率、边密度等标准指标上旗鼓相当。依据现有所有评判标准，A 和 B 均为「优质 Sheaf」，具备充分的解释力。 然而，真正惊人的发现在于它们的重叠程度： 这一数值已逼近在有向无环图（DAG）子图限制下随机选边所能产生的重合度上限。换言之，两条结构截然不同的 Sheaf，支撑起了同一个任务并达到同等性能。这直接驳斥了功能各向异性假说。 作者进一步排除了「这只是表面差异」的可能性。通过逐层分析两条 Sheaf 的连边交集，发现它们在中间层的边分布存在显著差异。这并非简单的重参数化或组件换位，而是信息流动与选取方式在层间发生了本质变化。
此外，这种现象并非 IOI 任务独有。作者在 BLiMP 子任务（AGA、ANA）、一系列 DNA 变体以及 Docstring 等常用基准上重复了相同流程。每个任务均能稳定找到两个任务性能相当，但 IoU 极低（普遍在 4%–11%之间）的 Sheaf。 电路越多，「共识」越少直觉上，如果同一任务存在唯一的核心内部机制，那么随着发现 Sheaf 数量的增加，它们的交集应逐渐收敛至该核心。作者对此进行了实证检验：对每个任务通过 OASR 重复发现 20 次，观察累计交集与累计并集的演化趋势。 结论恰恰相反： 这意味着：增加发现的 Sheaf 数量，并不会让它们收敛到一个共同的核心。更多的 Sheaf 不会通向共识，而是揭示了更多互不相同、却同样可行的实现机制。 作者强调，这种「消失的交集」不能归因于随机初始化噪声或发现过程的不稳定性。在所有运行均产出高质量 Sheaf 的前提下，交集结构依然极小，且在显式惩罚重叠时进一步收缩。
这不是某一种方法的「偏差」一个自然的质疑是：这是否仅是 DiscoGP + OASR 这一特定方法的特性？ 作者将相同分析应用于另外三种主流电路发现方法： 尽管设计哲学迥异，这三种方法均默认在「逼近唯一解释性子图」。结果显示，同样的现象在每种方法上均被复现：
跨越这些方法论的巨大差异，结论一致：功能各向异性的失效，不是 DiscoGP 一家的问题，而是贯穿主流 Circuit 与 Sheaf 发现范式的普遍现象。 当连「核心」也被证明可有可无：三条边的故事至此，一种退而求其次的希望尚存：即使电路不唯一，是否至少存在一部分共享组件，构成跨所有电路存在的「不可或缺的核心」？非唯一性或许仅发生在外围，而关键计算集中在一个紧凑、不可替代的子电路中。 为检验这一更弱的假说，作者进行了极端实验：从多条由 DiscoGP + OASR 发现的 IOI 电路中反复取交集并测试其性能。令人惊讶的是，这些交集电路在不断缩小的同时依然高度可用：缩至 11 条边时，准确率仍保持在 90%以上。随后，作者从这 11 条边出发进行穷举搜索，最终分离出一个超稀疏的 三条边 Sheaf：在 Zero Ablation（零值激活干预）条件下，仅靠这三条边，IOI 准确率达到 86.7%。
这三条边分别是： 乍看之下，这三条边堪称「不可或缺的核心」。若将其从已发现的 IOI 电路中移除，平均准确率会从高位跌至 52.3%；若在发现过程中明令禁止使用它们，DiscoGP 甚至无法找到达成高任务性能的 Sheaf。一切迹象表明：模型确实反复依赖这个收敛到的核心机制。 然而，这一结论建立在一个被忽视的前提上：将 IOI 视为一个不可分割的整体任务。 当作者将 IOI 拆解为 ABBA与 BABA两个子模板，并在「三条边全部禁用」的约束下重新进行 Sheaf 发现时，模型依然能找到稀疏（边密度低于 3.5%）且高度可用的电路（见下表）。
由此，论文确立了「非不可或缺性」：每一条边都能被某条替代 Sheaf 绕开。那个看似坚不可摧的「三条边核心」之所以显得不可或缺，仅仅是因为 IOI 被当成了一个聚合任务。一旦将子任务拆解，核心的「必要性」便烟消云散。 一个理论解释：分布式稠密电路假说如果非唯一性如此普遍，其背后是否有更深的原因？这是论文的核心理论贡献：分布式稠密电路假说（Distributive Dense Circuit Hypothesis）。作者证明：电路解释在一般情况下本就是非唯一的，且这种非唯一性并非偶然，而是高维表示中叠加（Superposition）的直接后果。 该直觉的合理化推导步骤如下：
这对可解释性研究意味着什么需要强调的是，这篇论文并未否定 CSD 的价值：所发现的机制依然具有意义且具备因果相关性。它真正动摇的，是我们解读这些机制的方式。 一条被发现的电路，不应再被宣称为「支撑任务的唯一机制」；它只是由功能等价机制构成的更大空间中的一种实现而已。那种朴素的还原论视角——将一个任务的行为归因于一个唯一、稀疏、不可或缺的子图——已不足以解释观察到的非唯一性。取而代之的，应是一种更分布式的计算机制理解：任务行为源自一群共存且部分冗余的稠密机制的共同作用。 「条条电路通罗马」（All Circuits Lead to Rome）这一标题，恰是本文最精炼的注脚。 更多实验细节（包括各方法随机性来源分析、节点级重叠、逐个 Sheaf 的完整统计、各任务计算图可视化等）与完整证明，请参阅原论文及附录。 作者简介本文由陈熙、金明宇、牛靖程共同作为第一作者完成。 本工作重点研究的电路发现算法之一为 DiscoGP，牛靖程为 DiscoGP 的共同第一作者。 |
