这项由香港科技大学与快手科技联合完成的港科研究成果，已于2026年6月26日以预印本形式发布在arXiv平台，大联论文编号为arXiv:2606.27771。手快手让感兴趣的画图研究人员与开发者可通过该编号获取完整技术细节。

你是减减技巧否察觉，AI生成的让图图像常呈现出一种“过度修饰”的违和感——色彩饱和度过高、光线不自然、像生边缘锐利失真，成更仿佛被强力美颜滤镜处理过，真实缺乏真实照片的港科自然肌理。在AI绘图领域，大联这一现象被称为“奖励过度优化”（Reward Over-optimization）。手快手让简言之，画图模型为了迎合评分标准，减减技巧过度调整参数以追求高分，让图却牺牲了图像的真实感。研究团队将其比喻为厨师为赢得比赛而过度添加香料，最终掩盖了食材本味。

针对这一痛点，研究团队提出了一种名为NormGuard的创新工具。该工具能在不损害AI绘图质量的前提下，精准纠正模型内部的“过度优化”倾向。其原理优雅且鲁棒性强，已在多种主流AI模型及训练范式中得到验证。

一、 深度解析：AI绘图模型如何被“带偏”

理解NormGuard的核心，在于厘清AI绘图模型的工作机制及其在强化学习（RL）训练中的异化过程。

现代AI绘图模型（如研究中使用的SD3.5-Medium和FLUX.2）基于流匹配（Flow Matching）技术。生成过程可视为从随机噪点逐步“雕刻”出清晰图像的过程。每一步迭代都包含一个“速度场”（Velocity Field），即决定图像演化方向与速率的向量。

为提升人类审美偏好，研究人员引入强化学习对模型进行二次训练。这类似于引入一个评分系统（如PickScore或HPSv2），对高分生成结果给予奖励，对低分结果进行惩罚。然而，这种机制往往导致“高分低质”现象：虽然模型评分上升，但图像出现颜色失真、细节丢失和光线异常。这正如学生通过死记硬背提高考试成绩，却未真正理解知识本质。

二、 关键发现：被忽视的“速度范数膨胀”信号

研究团队并未止步于现象观察，而是深入模型内部，探究强化学习究竟改变了什么。

通过细致分析，团队发现了一个普遍存在的规律：经过强化学习训练后，模型在生成每一步的速度范数（Velocity Norm，即速度场的大小）均比原始模型高出5%至15%。这一现象在生成过程的各个阶段均匀存在，且在三种主流强化学习方法（NFT、AWM、DPO）下均稳定复现。

直观比喻：
* 原始模型：稳健的雕刻师，每一凿力道适中，线条细腻。
* RL训练后模型：用力过猛的雕刻师，凿痕过深、棱角过硬，失去自然感。

这种现象在学术上被称为“速度范数膨胀”（Velocity Norm Inflation）。值得注意的是，此前在“分类器自由引导（CFG）”技术中也发现过类似现象，且已有推理时修正方案。然而，NormGuard团队发现，强化学习导致的膨胀与CFG存在本质差异。

三、 为何“推理时修正”失效？

既然CFG的速度膨胀可通过推理时的缩放修正，团队自然假设强化学习的速度膨胀也可用此法解决。但实验结果推翻了这一假设。

当在推理阶段强行将速度缩回参考水平时，图像评分并未提升，反而出现了更多的锐化瑕疵和光线失真。

核心差异分析：
1. CFG膨胀：属于实时外加操作，如同临时多加一勺盐，移除即可恢复。
2. RL膨胀：是在漫长训练中“烘焙”进模型权重的结构性变化。模型各部分已适应偏大的速度分布。此时强行缩减速度，如同强行稀释已做好的菜肴，会破坏模型内部平衡，导致质量下降。

结论：强化学习导致的速度膨胀必须在训练阶段介入，推理时补救无效。

四、 理论验证：速度范数与奖励信号解耦

团队进一步追问：压制速度膨胀是否会削弱模型从强化学习中获得的有用奖励信号？

通过伴随灵敏度分析（Adjoint Sensitivity Analysis），团队量化了速度统一缩放对奖励评分的影响。在超过6400个样本的测试中，结果显示：
* 速度缩放对奖励的影响呈现高度随机性（噪音与信号比高达3-100倍）。
* 平均而言，速度大小对奖励的影响趋近于零。

理论洞察：
奖励信息主要编码在速度的“方向”中，而非“大小”中。如同乐队演奏，旋律与节奏（方向）决定效果，而整体音量（大小）的微小波动影响甚微。因此，在训练阶段限制速度范数，既必要又安全，不会干扰模型习得的有效奖励信号。

五、 NormGuard机制：精准的“单向刹车”

基于上述发现，团队设计了NormGuard。其核心逻辑简洁而高效：

1. 监测：在训练每一步，比较当前模型速度范数与原始参考模型速度范数。
2. 惩罚：仅当当前速度超过参考水平时，对超出部分施加惩罚；若未超出，则零干预。

技术实现：
* 铰链惩罚（Hinge Penalty）：采用单向约束机制。数学表达为：惩罚项 = $\lambda \times \max(0, \frac{v_{curr}^2 - v_{ref}^2}{v_{ref}^2})$。其中$\lambda$为唯一需调节的超参数。
* 无缝集成：NormGuard直接叠加在原有强化学习损失函数上，无需替换训练流程。
* 兼容性：理论证明，NormGuard适用于NFT、AWM和DPO这三种具有“速度局部损失”结构的RL方法。对于Flow-GRPO等轨迹级概率比方法，因数学结构不同，暂不适用。

六、 实验验证：质量提升显著，奖励保留完整

研究团队在SD3.5-Medium和FLUX.2-klein-base-4B两种基础模型上，结合三种RL方法和两种奖励系统，进行了七组对照实验。

1. 图像质量显著提升

邀请Qwen3.5-35B和GPT-4.1两大多模态大模型作为“评委”，从物理真实性、纹理细节、边界自然度等六个维度进行盲测。
* 结果：在所有七种配置中，NormGuard版本的胜率均高于基准方法（胜率47%-73% vs 20%-46%）。
* 一致性：两位评委判断高度一致，证明提升具有客观性。

2. 真实感增强

使用Forensic-Chat AIGC检测工具评估“真实感分数（RealScore）”。
* 结果：六种配置下真实感分数提升。仅在AWM方法下出现轻微下降，但伴随MLLM质量评分的大幅提升，表明两者维度存在差异，但整体趋势向好。

3. 奖励信号无损

• PickScore变化：-0.003 至 +0.011
• HPSv2变化：-0.004 至 +0.001
• 结论：强化学习获得的评分优势几乎完全保留，未因NormGuard的引入而显著削弱。

可视化规律：在图表中，加入NormGuard后，数据点呈现垂直向上移动趋势——奖励评分持平，图像质量跃升。这有力印证了速度范数膨胀携带极少奖励信息的理论判断。

七、 加速场景下的优势：步骤越少，效果越佳

团队特别测试了不同推理步数（28步、10步、4步）下的表现。

• 现象：步数越少，NormGuard的优势越明显。
• 28步时：胜率差距9个百分点。
• 4步时：胜率差距扩大至20个百分点。
• 原因：步数减少意味着每一步的“跨度”增大，速度偏大的负面影响被放大。NormGuard通过抑制这种“用力过猛”，在快速生成场景（如实时应用）中价值尤为突出。
• 稳定性：基准方法在步数减少时真实感分数急剧下降（0.239 -> 0.189），而NormGuard版本保持相对稳定（0.274 -> 0.221）。

八、 排除干扰：非“早停”亦非“KL正则”

团队严谨排除了两种可能的替代解释：

1. 非“早停”效应：对比基准方法在第160-200步的检查点与NormGuard在第200步的结果，NormGuard在所有指标上均优于任何早期检查点，证明其效果无法通过提前结束训练复现。
2. 非“KL正则”重复：KL正则限制模型与原始模型的整体分布差异（含方向和大小）。实验显示，NormGuard与KL正则可叠加使用，且针对不同的失效模式。NormGuard仅约束速度大小，不干涉方向变化，两者互补。

总结与展望

这项研究清晰地指出：AI绘图在强化学习过程中产生的“速度范数膨胀”是一个多余且有害的信号。NormGuard通过精准识别并压制这一信号，实现了“去伪存真”。

核心价值：
* 理论层面：揭示了速度范数与奖励信号的解耦关系，为RLHF在生成模型中的应用提供了新的理论视角。
* 实践层面：在不降低审美评分的前提下，显著提升图像的真实感、自然度和鲁棒性，尤其适用于低步数快速生成场景。

这一“分解有用与多余信号，仅抑制多余部分”的思路，对未来的AI模型训练具有广泛的启发意义。

Q&A

Q1：NormGuard是什么，能解决什么问题？
A：NormGuard是一种应用于AI绘图模型强化学习训练阶段的正则化工具。它旨在解决强化学习导致的“速度范数膨胀”问题（速度场大小普遍偏高5%-15%）。这种膨胀会导致图像出现过度锐化、颜色失真和光线不自然等“过度优化”现象。NormGuard通过单向惩罚机制，在保留奖励评分的同时，有效改善图像的真实感和自然度。

Q2：为什么不能在生成图片的时候才修正速度膨胀问题，而一定要在训练时处理？
A：实验证实，在推理阶段强行缩减速度大小会导致图像质量进一步恶化（更多锐化和失真）。这是因为强化学习已将速度膨胀“固化”在模型权重中，模型整体适应了偏大的速度分布。推理时的强制干预会破坏这种内部平衡。只有在训练阶段介入，才能从根源上纠正这一结构性偏差。

Q3：NormGuard会不会影响AI绘图模型通过强化学习获得的图像质量提升？
A：影响微乎其微。数据显示，加入NormGuard后，PickScore和HPSv2的评分变化范围极小（均在±0.01以内）。理论分析表明，奖励信息主要编码在速度的“方向”而非“大小”中。因此，限制速度范数不会系统性削弱模型习得的有用奖励信号，实现了质量提升与奖励保留的双赢。