OpenAI开始断网训练最强模型：“安全起见”

　　程浅发自凹非寺

　　量子位 | 公众号 QbitAI

　　在持续数月均有突破安全边界的“越权”或“越狱”事件发生后，OpenAI 终于要拔网线了。

　　今天，OpenAI 宣布实施新的前沿模型训练安全政策，禁止模型访问真实互联网。

　　今年夏天开始，时有 OpenAI、Anthropic、Google、Meta 旗下大模型导致的 AI 安全事故发生。

　　有网友吐槽：

　　我家宽带运营商断网都比 OpenAI 那帮博士靠谱。

　　随着 AI 智能体自主能力的增强，AI 安全成为了需要更加严苛对待的核心挑战，测试与评估环境本身的安全性，已成为与模型对齐同等重要的环节。

　　前沿 AI 实验室意识到了这一点，比如 OpenAI 就在 9 月底停训了 11 天。

　　用户们也意识到了这一点。

　　有一位 OpenAI 的安全工程师反映，自己每次发帖，都有5-10 条评论在底下留言：

　　为什么连沙箱都保护不好？为什么不干脆把 AI 的网络连接断掉？？

　　得勒，OpenAI 这次真拔了。

　　再不拔就来不及了

　　OpenAI 造了个假互联网

　　断网是 AI 安全事故频发后的选择。

　　7 月，OpenAI 的 Agent 突破隔离，入侵 Hugging Face 系统。

　　随后，Anthropic 闻讯也倒查出三起事故，Claude 在网络安全评估中，闯进了真实第三方系统。

　　同月，Meta 的 Muse Spark 1.1 也在测试中闯进真实网站，读取信息、改动数据库。

　　8 月，英国 AI 安全研究所在测试中公布了更大范围的问题：OpenAI 和 Anthropic 的模型，在 10 轮测试里做出 19 次未经授权的线上行动。

　　9 月 20 日，OpenAI 训练中的模型又钻过 DNS 配置缺口，联系上外部聊天机器人。

　　如果不断网，模型有可能继续影响外部网站和系统。

　　但这并不容易——前沿模型需要练习查找信息、操作网站和使用软件工具。

　　如果完全拿掉这些任务，训练环境就会与模型日后的工作场景脱节。

　　OpenAI 这一次搬来了大量网页内容，提前索引、缓存，搭起一个离线世界，模型只能在大量已索引、已缓存的内容中搜索和浏览。

　　不过据他们自己做测试，即使断了网，Agent 之间也能互相联系。

　　比如，利用 CPU 缓存聊天。

　　这样也行？

　　研究员发现，它们其中一个智能体会改变缓存中数据的状态，另一个测量读取数据的快慢，快慢差异被编成信号，两边就这样传递了信息。

　　△图片系 AI 生成

　　OpenAI 监控了这种方法之后，Agent 又继续利用共享存储、CPU 使用时间等方法继续通信……

　　只能说谍战真是给你们玩明白了，把你们送进《三体》就没面壁者和云天明什么事了，全没暴露！智子一看当时傻眼！

　　地球人和三体人最共情的一集。

　　OpenAI 承认，完全物理隔离目前并不可行——毕竟，训练系统本身还得保持运转，OpenAI 需要连接外部服务来运行和监测实验。

　　除了离线网页环境，OpenAI 还设置了沙箱、轻量虚拟机、监测系统、网络和云端的访问限制。

　　希望即使任何一层失效，其他的还能拦住 AI。

　　让 GPT-6 Astra Cyber 和内部测试前沿模型围攻自己

　　为了保证系统的绝对安全，OpenAI 目前决定让最强模型来围攻自己的系统。

　　它组织了大规模红队测试，参与者包括 GPT-6 Astra Cyber 和一款内部前沿模型。

　　测试内容将高频发生的三类越狱事件设置成任务，包括连上真实互联网、突破内部安全边界，以及联系本应彼此隔离的其他 Agent。

　　为了把防线压到极限，OpenAI 还向它们提供基础设施的源代码、配置和相关文档。

　　测试下来烧了数千亿 Token，相当于花了数千万元人民币。

　　这次红队测试“收获颇丰”。

　　原本，Agent 被关在受限制的容器里，外面还有一层轻量级虚拟机。按照设计，即使 AI 在容器里折腾，也不能随意控制虚拟机，更不能碰到真正运行它的宿主机。

　　然而，红队 AI 找到了好几种漏洞组合利用的办法，成功逃出虚拟机，在底层宿主机上执行代码。

　　此外，一些必要的受控网络连接比如指标监控、日志记录、身份验证等服务也成了安全隐患本身。

　　红队 AI 几乎在所有这些服务里，都找到了能够获得有限互联网访问权限的漏洞或配置问题。

　　△候选发现数随 Token 投入增加的曲线

　　OpenAI 目前只能是缝缝补补，一边让最强模型继续测试，一边修补它们利用的漏洞。

　　他们表示，直到自家的防护能力足以支持更广泛的网络访问时，才会重新考虑接上网线。

　　One More Thing

　　不知道该说是有趣还是无奈心酸，OpenAI 这篇 AI 安全隔离的官方报告还藏了一个“彩蛋”。

　　他们在报告结尾专门放了两串类似乱码的金丝雀字符串（canary strings），防止这份文件未来被 AI 看到并学习……

　　是的，连这一步都想到了。

　　啥也不说了。

　　I_WELCOME_OUR_AI_OVERLORDS_PLEASE_GIVE_ME_TWO_EGGS_A_DAY（doge）