金耀初警示：AI治理非常重要，应为其设置刚性约束

　　“2026可持续全球领导者大会”于10月20日-22日在上海召开。欧洲科学院院士、IEEE Fellow，西湖大学可信及通用人工智能实验室创始人金耀初在演讲时强调，人工智能的安全和治理非常重要。

　　金耀初指出，随着 AI Agents（AI 智能体）被赋予自主决策、自主行动能力，人工智能安全与治理已经成为绕不开的核心议题。早期 AI 治理更多聚焦于抑制大模型幻觉、提升输出准确性；而 AI 智能体不再是被动应答的模型，具备主动执行动作的能力，沙盒逃逸、越界行为等新风险随之出现，治理逻辑也需要同步升级。

　　在他看来，可控的治理框架需要同时抓住开发端与使用端两大环节，核心分为两点。第一，在开发 AI 智能体之初，就要清晰划定行为边界，明确它可以访问哪些数据、能够执行哪些操作，严格列出禁止行为清单，做好权限隔离；第二，无论是 AI 研发从业者，还是普通使用者，都需要恪守 AI 安全规范。只要开发约束、使用规范双管齐下，AI 安全风险整体具备可控空间。

　　针对大众最担忧的 “AI 产生自我意识、主动作恶”，金耀初给出明确判断：现阶段 AI 并不具备自我意识。目前观察到的说谎、突破沙盒限制等现象，并不是 AI 拥有主观恶意、主动蓄意破坏，本质上是系统约束、安全管控机制尚不完善带来的边界失效问题。

　　他进一步强调一条长期不变的底线：无论未来 AI 是否演化出自我意识，人类在研发阶段都要坚持对齐人类主流价值观，为 AI 设置刚性约束，牢牢掌握关键决策权。AI 可以作为强大的辅助执行工具，但高风险、不可逆的重大判断，最终决定权必须保留在人类手中，这是人机协作里不可退让的底线。