|
本文第一作者 Haiyu Wu博士毕业于美国顶尖私立学府圣母大学，续转现任职于 Altos Labs—— 这家拥有30亿美元启动资金、发并专注于细胞重激活研究的高度初创公司。其研究聚焦于世界模型与多模态模型的到底强稳定性及泛化能力。论文其余两位作者分别为布朗大学教授、续转LeJEPA/SIGReg的发并第一作者 Randall Balestriero，以及前耶鲁大学教授、高度现任Altos Labs副总裁 Morgan Levine。到底强 近日，续转自监督学习新范式 VISReg（Variance-Invariance-Sketching Regularization）获得图灵奖得主 Yann LeCun的发并连续转发与高度评价。LeCun在转发中明确指出：「VICReg begat SIGReg which begat VISReg」（VICReg孕育了SIGReg，高度SIGReg又孕育了VISReg），到底强一语道破了该正则化路线的续转技术演进脉络。VISReg之所以能获此殊荣，发并关键在于它精准击中了LeCun长期押注的高度 JEPA世界模型的核心痛点 —— 表征坍塌（Representation Collapse）。VISReg创新性地将防止坍塌的正则项 解耦为「尺度」与「形状」两个独立目标，在无需任何启发式训练技巧、也不依赖海量数据的前提下，在15个数据集上的综合表现超越了7种主流自监督学习方法；特别是在仅使用 约1/10训练数据的情况下，其在分布外（OOD）基准上的表现即可追平SOTA模型DINOv2。
论文标题：VISReg: Variance-Invariance-Sketching Regularization for JEPA training 一、研究背景：表征坍塌与正则化的两难困境JEPA世界模型的底层逻辑源于Yann LeCun自2017年起持续倡导的 自监督学习（Self-Supervised Learning, SSL）。SSL旨在无需人工标注的情况下从海量数据中学习通用表征，但其普遍面临一个核心难题 —— 表征坍塌（Representation Collapse）：模型倾向于将不同的输入映射到相同或极少数的向量上，看似完成了训练，实则未能学到具有判别力的特征表示。 为抑制坍塌，主流方法通常依赖一系列 启发式技巧（如EMA、教师-学生网络、停止梯度、冻结层等）。这些技巧不仅使训练过程变得脆弱、难以调参，也削弱了方法的可解释性与可扩展性。 另一条技术路线是通过正则项直接约束表征分布。LeCun团队提出的 VICReg将学习目标拆解为方差、不变性、协方差三项，利用协方差约束各维度间的相关性；然而，协方差仅能刻画 二阶统计量，无法区分「均值、方差相同，但分布形状迥异」的两种表征。随后提出的 SIGReg基于Cramér–Wold定理，利用sketching技术将整个嵌入分布对齐到标准高斯分布，从而约束完整的分布形状。但SIGReg仍存在两个关键缺陷：
换言之，在模型最需要梯度信号来逃离坍塌状态时，SIGReg的梯度恰恰趋近于消失。这正是 VISReg旨在解决的核心问题。
二、核心方法：将正则项解耦为尺度与形状VISReg对VICReg与SIGReg进行了取长补短：保留VICReg的方差项以控制 尺度，同时采用基于 切片Wasserstein距离（Sliced Wasserstein Distance, SWD）的sketching目标替代协方差项以控制 形状，并通过停止梯度（Stop-Gradient）将二者彻底解耦。整个正则目标由以下三部分组成： 1. 尺度正则（Scale Regularization）第一部分约束每一维的方差，防止幅值坍缩：
其关键性质在于：当模型发生坍缩时，该项的梯度趋近于一个常数，从而保证模型能够稳定地恢复 —— 这一特性恰好弥补了SIGReg在坍塌时梯度消失的缺陷。 2. 形状正则（Shape Regularization）第二部分先进行归一化以消除尺度影响，再单独约束形状。关键步骤是引入 停止梯度（stop-gradient, sg）的归一化操作：
此处对标准差 $\sigma$ 施加停止梯度，确保形状损失的优化 不会反过来改变尺度—— 这正是「尺度」与「形状」两个目标真正解耦、互不干扰的机理所在。 归一化之后，利用 切片Wasserstein距离将分布的几何形状对齐到各向同性高斯分布：
其中 $q_N$ 为标准高斯分位数，$w_k$ 为随机投影方向（即「切片/sketching」）。其理论依据是 Cramér–Wold定理（论文Lemma 3.1）：两个分布相等，当且仅当它们沿单位球面上所有方向的一维投影都相等。因此，只要将高维表征沿足够多的随机一维方向切片并逐一对齐到高斯分布，就等价于在高维空间对齐了整个分布 —— 这使得我们可以用廉价的一维排序操作来刻画 完整的分布形状，而非仅仅局限于二阶统计量。 3. 合并目标第三部分是一个将batch均值 $\mu$ 拉向原点的中心化损失 $L_{center} = |\mu|_2^2$。三个正则项按权重组合：
预测损失沿用JEPA/LeJEPA的不变性目标 —— 让各视角（global + local，共 $V$ 个）的嵌入 $z_i$ 都向全局视角的均值 $\mu_g$ 对齐：
最后使用单一超参 $\lambda$ 在预测与正则之间进行平衡，得到完整目标：
与VICReg的对比：VICReg同样将正则解耦为方差+协方差，但协方差仅刻画二阶统计量；VISReg利用基于切片Wasserstein的sketching目标完整刻画了分布形状，同时保留方差项进行尺度控制 —— 既保留了VICReg的灵活性，又获得了分布层面的严格性。 仅需约15行PyTorch代码该正则目标在实现上非常轻量，核心逻辑仅需约15行代码：
计算复杂度与扩展性在计算效率与扩展性方面，VISReg同样具备显著优势。其正则部分的计算复杂度为 $O(NDK)$（$N$为batch size，$D$为维度，$K$为切片数），对所有扩展因子均为 线性增长；相比之下，VICReg的协方差项复杂度为 $O(ND^2)$，随维度 平方增长。在同等batch规模下，VISReg在单块H100 GPU上的运行速度与显存占用均优于SIGReg。 更重要的是，$K$ 个随机切片可以 分摊到多块GPU上：在 $M$ 块GPU上，每块各生成 $K/M$ 个切片，其效果等价于单卡生成全部 $K$ 个切片。实验中，当单卡切片数不足时，改用8卡、每卡128个切片（合计1024），即可将与「单卡1024切片」之间的精度差距从约2.4%缩小到0.22%。这意味着在扩大训练规模时，$K$ 可保持常数，几乎不增加单卡负担。
图：在固定 $K$ 与 $D$ 时，增加GPU数量带来的线性探测精度变化。当 $K$ 不足（$K = \frac{1}{4}D$）时，使用8倍的GPU数量即可将精度补齐至 $K = 2D$ 的水平 —— 这使得在大规模训练中保持常数 $K$ 成为可能。 三、实验结果回到标题的问题 —— VISReg到底强在哪里？研究团队在 15个数据集（8个域内 + 6个分布外 + ADE20K稠密预测）上，将VISReg与MoCoV3、DINO、iBOT、I-JEPA、MAE、data2vec等 7种主流自监督方法进行了对比，场景涵盖天文、医疗、遥感、纹理、花卉等多个领域。答案体现在从识别到分割、生成的多个维度上。 1. 域内（In-Domain）线性探测为保证比较公平，实验按是否使用启发式技巧分为两组。在 不使用任何启发式技巧的一组中，VISReg表现领先：ViT-B/16的域内线性探测精度达 75.7%，高于MAE（75.1%）；ViT-L/14进一步提升至 77.0%，高于LeJEPA（75.6%）。与使用启发式技巧的iBOT、DINO相比，VISReg在常规数据集上仅略低，但在纹理数据集DTD上反超全部方法 —— 这表明其跨域泛化能力源于方法本身，而非人工技巧的堆叠。 2. 分布外（OOD）泛化：全面最优分布外泛化是比域内精度更严格的检验：依赖启发式的方法常在ImageNet域内被充分调优，却未必能迁移到差异较大的新分布。研究团队在覆盖 医疗（ChestXRay、RetinaMNIST、OrganAMNIST）、天文（Galaxy10）、遥感（AID）、纹理（DTD）的 6个OOD数据集上进行了评测，这些数据集与ImageNet训练域完全无关。结果显示，VISReg在所有方法、所有骨干规模上都取得了最佳的平均OOD精度，甚至超过部分使用启发式技巧且骨干更大的方法。
图4：平均OOD线性探测精度。VISReg全面优于iBOT、DINO、MoCoV3、I-JEPA、MAE、data2vec等方法。 如图4所示，ViT-B/16的VISReg平均OOD精度为 70.19%，ViT-L/14为 70.63%，明显高于MAE（67.85%），并优于MoCoV3（69.46%）、DINO（69.56%）、I-JEPA（68.55%）等方法。 3. 数据效率：以1/10数据比肩DINOv2将VISReg（ViT-L/14）在ImageNet-22K（约1400万张图像）上预训练后，其6个OOD数据集的平均精度达 72.94%，与在 10倍规模的LVD-142M（1.42亿张图像）上训练的DINOv2（72.93%）基本持平。也就是说，VISReg以约 1/10的数据达到了同等水平。（作为对照，同为ViT-L/14、但仅用ImageNet-1K预训练的VISReg平均精度为70.63%。）这说明其学到的表征具有很强的通用性。
图5：在ImageNet-22K上预训练的VISReg，在OOD基准上比肩用10倍数据（LVD-142M）训练的DINOv2。 4. 迁移微调：全面超过DINO尽管VISReg在部分域内数据集上的线性探测精度略低于DINO，但经过 微调后，它在CIFAR-10、CIFAR-100、Flowers、ImageNet-1K、Galaxy10全部五个数据集上均超过DINO与有监督预训练 —— 这表明其表征分布更均匀、冗余更低、可迁移性更强。
图：迁移学习对比。微调后，VISReg在所有测试数据集（CIFAR-10、CIFAR-100、Flowers、ImageNet-1K、Galaxy10）上都优于DINO与有监督预训练。 5. 稠密预测与生成引导VISReg的优势不局限于分类任务。在 ADE20K线性语义分割上（ViT-B/16），其mIoU为 30.12，高于DINO（29.40）与MAE（23.60），仅次于MoCoV3（31.69）；在不使用任何启发式技巧的前提下，这一结果极具竞争力。论文亦坦言，稠密预测与最佳方法仍有差距，是后续优化的重点。
图7：ADE20K上的线性语义分割。在不使用任何启发式技巧的情况下，VISReg取得了具有竞争力的mIoU，仅次于MoCoV3。 在 生成引导上（SiT-B/2，iREPA框架，10万步训练），由VISReg特征引导的生成在四项指标中的三项优于DINO：gFID（DINO 41.15）、Precision（DINO 50.51）、Recall（DINO 60.70），IS基本持平（33.48 vs 33.47）。这说明VISReg学到的表征作为生成引导信号同样更优。
图8：使用SiT-B/2、分别由VISReg与DINO特征引导的图像生成。VISReg在多数指标上都提供了更好的引导（更低的gFID、更高的Precision与Recall）。 6. 低质量数据上的鲁棒性在长尾分布（ImageNet-LT）与低秩（Galaxy10）等低质量数据集上，VISReg能稳定地防止坍塌并学到有意义的表征，而DINO在缺乏精细调参时直接失败。 表1：ImageNet-LT上的线性探测精度（ViT-S/8，从头训练400 epoch；* 表示增大形状损失的权重）
DINO在长尾数据上几近完全失败（Overall仅5.13%），而VISReg*取得了全面最优。 表2：Galaxy10上的域内线性探测精度（从头训练，测试低秩任务；* 表示增大形状损失的权重）
SIGReg、SWD、VISReg都能成功避免训练坍缩并取得良好精度，而DINO难以学到有意义的特征。 四、结论VISReg表明：将表征正则解耦为「尺度」与「形状」两个独立组件，可以得到一种比现有方法更稳定、更高效、泛化性更强的自监督学习方法。在不使用任何训练启发式技巧的前提下，它在图像识别、分割与生成引导等多个维度上取得了领先或接近领先的结果，并以约1/10的数据达到了DINOv2的OOD水平。这为JEPA世界模型长期存在的表征坍塌问题提供了一种全新的、有效的正则化解法。 |
