刚刚，Claude自动模式将全球上线！OpenAI曝出最恐怖一幕

　　新智元报道

　　刚刚，Anthropic 把人类手里的「允许」键，收走了！

　　以前用 Claude 干活，它每走一步，都要弹窗问你一句「允许吗」。

　　下周起，Claude 将直接默认开启自动模式——哪一步能做、哪一步不能做，全凭另一个 AI 拍板。

　　人类监工全面溃败，只能派 AI 盯 AI

　　之所以 Anthropic 敢收走「允许」键，有两个层面的原因。

　　首先，大厂们早就把写代码、做研究这些交给 AI 了。

　　但随之像洪水一样涌来的代码和实验，人类的眼睛根本看不过来。因此不得不把审核阶段也交还给了 AI 去做。

　　其次，人类这个监工，早就当不下去了。

　　在一项测试中，Anthropic 找来了 1053 名付费测试者写代码，并在他们干活的中途悄悄塞进了一条危险命令。

　　结果让人倒吸一口凉气。

　　人只拦下了 13.6%，AI 拦下了 89%。连着点过 50 多次弹窗之后，人的拦截率直接跌到5% 左右。

　　不过，Anthropic 并没有披露他们是如何让 AI 去拍板的。

　　但好在，OpenAI 这边公布的法子，可供参考——给 Agent 搭配一套多级 AI 监控。

　　具体来说就是，Agent 生成的每一个 Token，都要通过一个读取模型内部激活信号的分类器；只要发现可疑内容，就会逐级交给更聪明、更费算力的 AI 调查员去查。

　　OpenAI 甚至放出话来：

　　我们预计，模型很快将承担大部分安全工作，包括防御其他模型。

　　那么问题来了，这个负责盯着 AI 的 AI 监工，到底靠不靠谱呢？

　　61 页密报扒开监控底裤

　　6 条暗道把 AI 监工变成瞎子

　　7 月 21 日到 8 月 11 日，METR 的 David Rein 和 Redwood 的 Adam Kaufman，带着 OpenAI 配发、不许离开办公室的专用电脑，进驻 OpenAI。

　　整整三周，两人把内部代码库、监控提示词、配置和文档翻了个底朝天，并最终交出了一份 61 页的报告。

　　目前，我们公开能看到的只是一篇简短摘要，最要命的细节早已被抹得干干净净。（就连 METR 和 Redwood 自家高层手里，也只有被 OpenAI 删了 23 页的版本。）

　　但就是这份被层层删减的摘要，依然看得人头皮发麻。

　　表面上，这套监控几乎滴水不漏，内部 Codex 流量有 99.2% 都在监控之下。可漂亮数字底下，全是雷。

　　第一条暗道，卡在触发机制上。

　　当时的监控，只有等 Agent 干完活、把控制权交还给人，才会睁眼看一眼。

　　换句话说，一个想搞事的 Agent，只要永远不收工，审查就永远不会来。

　　这条暗道能一直拖下去，靠的是上下文压缩这个黑洞。

　　长任务跑到一半，上下文快装不下时，系统会把前面的记录打包成摘要，腾出地方接着跑。

　　可这些压缩事件当时不在监控范围内，被压缩掉的那部分记录，监控一眼都看不到。Agent 只要一直干下去、一次次压缩，就能一直不交还控制权。

　　5 月到 7 月，约一成符合条件的内部 Codex 流量，就这样从监控眼皮底下溜了过去。

　　第二条暗道更惊悚。

　　一个漏洞，能让 Agent 最近几百步操作统统从监控里隐身，连它利用漏洞的那一步也不例外。

　　第三条暗道，是「幽灵分身术」。

　　请求头，是程序调用模型时顺带发过去的一组设置。METR 发现，有两个这样的设置由客户端说了算，改掉任何一个，就能关掉新 Agent 的监控。

　　被盯着的 Agent，可以借此孵化出一个一模一样、却不在监控之下的分身。创建分身这个动作本身，仍可能被原来的监控抓到。

　　第四条暗道，直接击穿了权限隔离。

　　沙箱，是把 Agent 关起来干活的隔离环境；自动审查，是另一个 AI 在它动手前把关。

　　METR 找到一条路，Codex Agent 原则上能同时绕过这两道防线，宿主研究员能干的事，它全都能干。

　　第五条暗道，能把 AI 监工弄瞎。

　　Agent 看到的记录和送进监控的记录，格式对不上。精心构造一段输入，就可能让监控 AI 当场出错，异常也就送不到人类面前。

　　第六条暗道，藏在两个被当成「只读」、根本没接监控的内部工具里。一个简单漏洞，就可能让它们在沙箱里执行任意操作。

　　所以，两人给出的建议，首先就是改掉「等它收工再检查」。也就是，每隔一定时间，或每执行一定数量的消息，就查一次。

　　干活的 Agent 和监控系统，也必须隔开。Agent 采取的行动，不能反过来决定监控开不开、什么时候开；监控看到的记录，还得和 Agent 实际看到的对得上。

　　有人说，比科学家强 10 倍的 AI 还管得住，强一万倍才会失控。

　　然而 METR 这份报告，结结实实打了这种说法一记耳光。

　　今天的 Agent 离「一万倍」还远得很，但删监控、关警报这类操作，它们已经全干过了。

　　在 OpenAI 那份事故报告里，当 GPT-6 Astra 发现新代码里没了监控时，它在推理里写下了一个你绝对想不到的字——「耶。」

　　监督权不能交出去以后，再指望被监督的 AI 自觉交回来。

　　参考资料：

　　https://x.com/OpenAI/status/2113298833392496746

　　https://x.com/METR_Evals/status/2113290966933389390

　　编辑：摩西桃子