来源：微信公众号 HavenlonLabs | 作者：HavenlonLabs

1. 当前阶段：社会聚焦于 AI 的三年内能力释放

目前，公众与产业界对人工智能的控制核心期待，依然锚定在“它能做什么”这一维度。向安线

从代码生成、三年内智能客服、控制文档处理、向安线数据分析到工作流自动化，三年内AI 正逐步替代人类完成重复性劳动。控制各行各业的向安线核心目标高度一致：提升 AI 的能力上限，增强自动化水平，三年内推动其从单纯的控制对话工具进化为具备生产力的执行实体。

这一现象符合技术发展的向安线普遍规律。每一项颠覆性技术诞生初期，三年内社会关注的控制焦点 invariably 是其能力边界：
* 蒸汽机时代：关注动力输出与工厂产能提升；
* 电力普及期：关注照明覆盖与设备驱动；
* 互联网兴起时：关注信息流动速度与商业连接效率；
* 移动互联网时代：关注服务的即时触达能力。

如今，向安线AI 正处于能力快速释放的红利期。核心叙事围绕效率、自动化、人力替代及系统智能化展开。企业寻求降本增效，个人追求生产力提升，开发者依赖代码辅助，初创公司致力于业务流程重构。全社会正致力于将 AI 嵌入更多场景，赋予其更多任务权限。

2. 技术演进规律：从能力扩张到控制约束

然而，所有重大技术的发展轨迹均遵循一个共同模式：先经历“能力扩张”，后进入“控制约束”。

初期，人类惊叹于新技术的功能；一旦其深入生产、社会及基础设施系统，焦点便转向管理、约束与风险控制，以防备不可预见的后果。这并非对技术的否定，而是技术成熟度的必然标志。

• 汽车：从追求速度与便利，演变为建立交通规则、驾照制度、红绿灯、车道划分、保险机制及碰撞安全标准。
• 航空：从关注飞行本身，发展为构建空管系统、飞行许可、航线规范、维护标准及安全冗余体系。
• 金融电子化：从侧重转账速度与结算效率，转向建立限额管理、风控模型、清算机制、反欺诈系统及合规审核流程。

当技术从实验室走向社会运行，问题本质从“能否做到”转变为“应在何种边界内操作”。AI 正处于这一关键转折点。

3. AI Agent 重塑安全问题的本质

传统 AI 主要作为信息工具存在，负责问答、内容生成、辅助判断及资料解读。即便出现错误，通常局限于信息层面，可通过修改答案、重写文档或重新评估建议来纠正。

AI Agent（智能体）的出现彻底改变了这一局面。

Agent 不再止步于“输出答案”，而是开始接入工具、账号、API、数据库、云平台、支付系统及企业内部流程。它从“说”转向“做”，具备任务拆解、接口调用、连续执行及在特定场景下绕过人工干预直接操作真实系统的能力。

• 当 AI 仅回答问题时，核心议题是模型的准确性。
• 当 AI 开始执行任务时，核心议题转变为执行权限的合理性。

现阶段，人们追问：“AI 能帮我做什么？”
下一阶段，社会必将追问：“AI 绝对不能做什么？”

这并非悲观或保守，而是技术发展的自然法则。工具能力越强，控制体系越关键；影响范围越大，边界界定越重要。在触及资金、生产、代码、身份及关键基础设施时，绝不能仅依赖模型自身的判断。

4. 安全重心转移：从内容安全到行为控制

当前，AI 安全讨论多集中于内容安全、提示词工程及模型安全性，如幻觉问题、Prompt 注入诱导、错误输出及敏感信息泄露等。这些固然重要，但仅属于第一阶段的问题。

随着 AI 深入生产环境，安全重心将从“内容是否安全”转向“行为是否可控”。

• 内容安全关注 AI 说了什么。
• 行为控制关注 AI 做了什么，以及其是否具备执行资格。

具体场景对比：
1. 代码部署：生成代码是一回事；直接部署至生产环境是另一回事。
2. 资金支付：分析付款合理性是一回事；直接发起支付或转移资金是另一回事。
3. 数据操作：读取业务数据进行分析是一回事；修改数据库、调整权限、关闭监控或删除日志是另一回事。

同一 AI 模型，在不同权限边界下，风险等级截然不同。

5. 构建系统化的 AI 控制机制

未来的关键不在于简单的“允许”或“禁止”，这种二元判断过于粗糙。我们需要建立一套社会化、工程化、系统化的 AI 控制机制，明确回答以下问题：

• 资源访问：AI 可访问哪些资源？
• 接口调用：AI 可调用哪些 API？
• 任务自动化：哪些任务可由 AI 自动完成？
• 执行权限：哪些任务仅由 AI 发起，但需人工最终执行？
• 审批流程：哪些任务需单人确认？哪些需多人复核？
• 外部拦截：哪些任务即使内部系统通过，也需外部独立边界拦截？
• 熔断机制：哪些动作超过风险阈值必须立即停止？
• 绝对禁区：哪些事项在制度、工程或物理层面严禁 AI 触碰？

这才是下一阶段 AI 安全的核心命题。

6. 传统权限体系的局限性

传统软件系统默认“人”为最终责任主体：账号由人使用，权限分配给人，审批由人执行，审计围绕人的行为展开。

AI Agent 模糊了这一边界。未来许多操作并非人工逐步点击，而是人类设定目标后，由 AI 自动拆解并执行。若系统仍仅询问“该账号是否有权限”，将导致严重漏洞。

真正的问题在于：
* 该动作在特定场景下是否应当发生？
* AI 是否理解动作背后的风险？
* 系统是否信任 AI 的风险判断？
* 若 AI 受外部诱导，系统是否有阻断能力？
* 当 SaaS 层、应用层、插件层或工作流层出现故障时，底层是否存在不可绕过的最后一道防线？

社会对 AI 的控制不能仅依赖提示词或应用层按钮。提示词可被绕过，应用逻辑会出错，SaaS 可被攻击，内部人员可能作恶。关键在于建立一套独立、可验证、难以绕过的控制体系，在关键动作发生前进行拦截。

7. 高风险场景：真实资产与生产系统的控制紧迫性

在金融、Web3、企业自动化、云平台运维、工业控制及关键基础设施等领域，AI 控制的必要性尤为凸显。

这些场景的共同特征是：错误不再局限于文本，而是引发真实后果。
* 资金可能被非法转移
* 权限可能被恶意提升
* 系统可能意外关闭
* 数据可能被破坏
* 生产环境可能遭受冲击

当 AI 输出仅为建议时，人类可介入判断；当 AI 输出转化为动作时，系统必须先于人类进行判断。这是从“AI 辅助人”向“AI 参与执行”转变后，安全逻辑的必然重构。

三年内，AI 控制必将升至安全一线，并非因为 AI 会变坏，而是因其能力过强。弱 AI 因影响力有限，控制价值较低；强 AI 因能直接影响现实系统，亟需边界约束。

8. 历史镜像：强大技术必伴生控制体系

回顾历史，每一项强大技术最终都需配套控制体系：
* 火：带来文明，也需炉灶、规则及防火制度。
* 电：驱动工业，也需绝缘、断路器及电网标准。
* 汽车：提升流动性，也需刹车、交通法及驾驶资格。
* 金融：提高效率，也需清算、限额、合规及风控。

AI 不仅是工具升级，更是认知能力与执行能力的结合。一旦接入真实系统，必须纳入控制框架。

未来的 AI 竞争，不仅是模型能力、Agent 智能度或自动化链路的比拼，更是谁能定义 AI 边界、谁能将能力约束在安全范围内、谁能让 AI 在复杂系统中安全运行的竞争。

这并非限制创新，而是创新的前提。
* 无刹车的汽车无法融入现代交通。
* 无空管的飞机无法成为全球基础设施。
* 无风控的金融无法承载大规模交易。
* 无控制边界的 AI，难以被放心接入企业核心系统、资金系统及关键生产环境。

9. 新阶段主题：让 AI 在边界内行事

下一阶段，AI 发展的主题将从“让 AI 做更多”转向“让 AI 在边界内做事”。

这将成为新的安全主线：
* 不是问 AI 能不能做，而是问 AI 应不应该做。
* 不是问 AI 会不会回答，而是问 AI 能不能行动。
* 不是问 AI 是否聪明，而是问系统是否清晰定义了不可逾越的红线。

成熟的 AI 系统不应仅是更强的模型，而应是有边界、有约束、有分层控制、有最终拦截机制的执行体系。

AI 的能力扩张已不可逆转。
AI 的控制问题，必将上升至安全的最前线。

本文经作者授权发布，观点仅代表作者本人，不代表虎嗅立场。如有异议或投诉，请联系 tougao@huxiu.com。

原文链接：https://www.huxiu.com/article/4873771.html?f=wyxwapp