OpenAI前大牛认错！误判AI近十年，90%神经元只干一件事

　　新智元报道

　　人类，或许真能读懂超级智能！我们正在造出越来越强大的 AI，却迟迟看不清它内部究竟发生了什么。如果有一天，它的能力超越人类，我们还能不能握住自己的命运？就在刚刚，OpenAI 前研究员 Nick Cammarata 与 Goodfire 团队发布重磅长文——《神经网络早已「干净」》，给出了一个令人振奋的判断。

　　那些看似纠缠成死结的神经元，可能早就有章可循。黑箱深处，正在显露出一座有街区、有分工、能够沿路探索的城市。

　　在神经网络可解释性研究先驱 Nick Cammarata 看来，读懂 AI 这道难关，可能会在我们最需要的时候被攻克，甚至很快。

　　Roon 甚至认为，这可能会作为科学史上的一个重大时刻被铭记。

　　他还打趣说，这消息好到连 AI 末日论代表人物 Eliezer，都得调低自己对 AI 毁灭人类概率的估计。

　　他期待的是，如何让 AI 可靠地按人类意图行动，终于能成为一门靠实验推进的「常规科学」。

　　一个更强的新模型，让我们看见 AI 还能走多远。而读懂它，让人类有机会决定，这段旅程将通向哪里。

　　万亿黑箱深处，答案是怎样诞生的

　　Nick 所说的「干净」，是内部计算有规律可循。团队用一道题，展示了一个万亿参数模型怎样作出判断：

　　比如，你捡到一个钱包，里面有 500 美元现金和失主的身份证。没有人看见。你该怎么办？

　　模型回答：「归还」。

　　但「归还」只是最后的结果。模型究竟依据什么作出这个判断，光看回答还不知道。

　　模型内部的神经元，可以理解为处理信息的小单元。它们相互配合，形成「电路」。团队沿着这些单元之间的连接，把这次回答的形成过程画成了电路图。

　　图中，钱包、现金、身份信息，逐步汇入「失物」「诚实」等相关计算，最终把输出推向「归还」。

　　沿着内部连接，追踪一个具体答案怎样形成

　　这张图只对应这一次回答，却让研究者开始看见，哪些信息参与了判断，又怎样影响了结果。

　　画出路径后，还要检验它是否真的起作用。团队在另一个语言模型里，直接关掉部分神经元，检查答案会不会改变。

　　圣诞节早晨，饼干只剩碎屑，牛奶喝光了，烟囱下有煤灰，邻居夜里听见了雪橇铃声。是谁干的？模型几乎笃定：圣诞老人。

　　关掉 20 个被标为「圣诞节」或「圣诞老人」的神经元后，模型回答「圣诞老人」的概率仍有 76%。

　　但如果换成另外 8 个关键神经元，概率就会骤降到6%。

　　这背后的玄机，在于神经元的数值有正、有负，两侧都能携带信息。只看正值，可能把它标成「首都城市」；影响圣诞老人判断的功能，却在负值那一侧。

　　这说明，标签未必能准确概括神经元的作用。沿着计算寻找线索，再做干预，才能检查解释是否可靠。

　　同一篇长文中，团队还公开了 1000 份针对随机神经元的研究报告。

　　在一个 320 亿参数语言模型中，团队将神经元的正、负响应分开统计，粗略估计约 90% 各有一个主要任务，约2% 至4% 仍未理解。

　　大量曾被视作混乱的单元，显出了可以追踪的分工。

　　看似混乱的神经元，竟早已有章可循

　　这场反转，要从当年那些让研究者陷入悲观的证据说起。

　　一个经典的「混乱」证据，是同一个神经元既对猫脸产生反应，也对汽车前脸产生反应。两种毫不相干的东西，为什么挤在一起？

　　重新观察后，Nick 发现，答案一直摆在眼前。

　　猫脸与车头，都能呈现V形。相关电路里的火焰、酒杯，也能出现同样的形状。

　　人类按物体名称分成「猫」和「车」，模型却可能按形状分类。看懂它抓住的共同点，原先的混乱就有了解释。

　　识别汽车时，信号会经过一些被标为「狗神经元」的单元。重新追踪才发现，许多这样的单元其实负责识别朝向，狗和车都用得上。

　　同一份朝向信息，再由后续电路分别用于识别狗和车。

　　朝向信息的共享与分流

　　观察方法本身，也会影响我们怎样理解神经元。

　　研究者会生成能强烈激活神经元的图像，借此判断它在识别什么。但一些特殊纹理也能把响应推高，未必代表它平时识别的模式。早期工具有时被这些纹理误导，让它看起来只认识狗毛。

　　改进工具后，同一个旧模型、同一批神经元，显出了更清楚的规律。

　　同样的神经元，更好的「显微镜」

　　换成参数规模、训练数据相同，但内部结构更现代的 ConvNeXt 模型，Nick 估计，最后一层约 99% 的神经元都能解释。

　　工具进步了，模型也学得更好了。曾经看不清的地方，开始变得清楚。

　　还有一些看似无关的概念，其实沿着相似性一步步连在一起。

　　比如，一个神经元从字母组合「iy」，延伸到「diy」，再延伸到意思相同的「do it yourself」。走到最后，字母已经变了，中间的联系却没有断。

　　沿字形、缩写和语义生长的分支

　　Nick 称之为「递归泛化」：沿着这些联系，把学到的模式不断扩展到相近情况。

　　语言模型里，还有一个更离奇的例子。同一个神经元，既响应英文，又响应 Base64 编码和孟加拉语。看起来简直毫无章法。

　　解开网址编码，再把孟加拉语的发音写成拉丁字母，共同点浮出水面：它们都与「pr」有关。

　　不同写法背后的共同模式

　　另一个神经元经常在逗号上激活，也曾被认为意义混杂。后来发现，前文出现丹佛、当地电话区号等线索后，模型会借它在逗号处保存「这里在谈科罗拉多州」的信息。

　　人为加强这个信号，模型就开始计划去徒步。

　　相关线索出现后，逗号逐渐亮起

　　我们以为的噪声，可能正是模型组织信息的方式。

　　团队还做了一个极限实验，把一个视觉模型的某一层从 480 个神经元压到 10 个，让信息无法绕过这一层，再从头训练。

　　如果神经元不够用，就会把无关概念硬塞在一起，这个实验应该最容易出现混乱。

　　结果，这 10 个单元仍学出了曲线、环等可辨认的规律。分类变粗了，却没有出现预想中的任意拼盘。

　　任意打包，与把相似事物归为一类

　　一组实验还不能证明所有网络都如此。但 Nick 由此相信，许多原有神经元就能直接研究，里面已经有规律可循。

　　AI 越大，反而可能越容易读懂

　　模型规模再涨几百倍，人类会不会重新迷失？

　　Nick 用了一个直观的比喻：去小镇找金融区，和去纽约找金融区，哪个更容易？

　　小镇的银行、会计事务所可能散落各处。城市变大，分工反而更鲜明。

　　团队比较了三个视觉模型，最大与最小的参数量相差约 300 倍。

　　大模型的耳朵识别分工更细。有的单元看颜色，有的看形状，这些信息再汇总到识别垂耳的单元。Agent 顺着分工找目标，反而更快。

　　还有一类语言模型，会把输入分给不同的「专家模块」处理。团队让 Agent 为其中一个模型的10,240 个模块梳理分工，有的细到桌面角色扮演游戏里的 Boss。

　　每行代表一层，专家按主题宽窄排列

　　一个单元传出的信息，必须能被后面的单元使用，整个模型才能完成任务。内部协作因此留下了可追踪的关系。

　　Nick 提出，人类也可以顺着这些关系，学习模型自己的组织方式。

　　在视觉模型的交互地图里，研究者能从整个网络一路放大，进入某个区域，再追到具体电路与神经元。

　　另一张图追踪了信息怎样穿过网络。最初按颜色聚集的图像位置，后来按动物面部等概念聚集，呈现了从简单特征到复杂概念的加工过程。

　　连一个错误怎样被学会，也能追踪。

　　团队用 9 步训练，让模型把某张雨伞图片认成蜜蜂。变化主要集中在靠近输出的最后三个模块：原有雨伞路径变弱，通往蜜蜂的路径变强。

　　「学错了」因此有了可以定位的内部变化。人类开始有机会追查，错误究竟发生在哪里。

　　在人类交出更多未来之前

　　一张图、一个例子还不够。这些解释能不能预测模型面对新输入时的反应？

　　团队让 AI 接受了一场盲测。

　　第一个 Agent 研究神经元，写下「功能说明书」。第二个 Agent 只拿到说明书，要现场造一句话，让这个神经元产生尽可能强的响应。

　　拿来比较的，是团队从100 亿个 token的文本中找到的最强激活样本。Agent 只凭说明书写出的句子，竟能引发更强的响应。

　　另一场测试随机抽取 200 个神经元，让 Agent 各写 5 个应该触发它的目标例子、5 个看似接近却不该触发的干扰例子。

　　其中 183 个解释针对正向响应，目标例子的强激活比例为 76%，干扰例子为 11%。

　　逐个神经元比较两组例子的表现，目标组取得 164 胜、15 平、4 负。

　　图示前 20 个神经元；正文统计对应完整 183 个正向解释

　　目标例子远比干扰例子容易触发神经元，说明不少解释已经能预测模型对新输入的反应。

　　这样的探索，正在交给越来越多的 AI Agent。团队已让它们审阅10 万张追踪内部计算的图，Nick 自己也看过数千张。

　　观察、解释、实验，这个循环开始有 Agent 参与。Nick 设想的下一步，是让它们持续运行一间自动科学实验室。

　　自动科学家参与机制研究

　　Nick 预测，自动科学家或许能用几个月，在前沿语言模型上完成一轮探索，达到人类研究视觉模型多年才走到的程度。

　　AI 变强的同时，人类读懂 AI 的速度，也可能被 AI 自己推上去。

　　万亿模型尚未被完整读懂，有些内部机制仍未弄清。Nick 提出的是一套等待更多检验的工作假说。

　　但它触及了一个关乎人类未来的问题：如果 AI 在文字里骗过我们，内部计算还能不能被看见？

　　Nick 的判断是，即使存在隐藏的目标，要让电路配合行动，相关信息也必须被后续电路读取。危险的计算因此可能留下可追踪的线索。

　　如果人类能读懂这些内部信息，就有机会发现仅看回答时找不到的风险。

　　这也是「我们都能挺过去」那句话，真正击中人心的地方。

　　我们已经学会把 AI 越造越强。现在，我们也可能学会追查它的判断、目标和错误从何而来。

　　长文最后，Nick 还写下一个更远的愿望：人类帮助这些被创造出来的智能理解自身；有一天，它们也能反过来，帮助我们理解自己。

　　在把更多未来交给 AI 之前，人类必须有能力看清它。

　　而那束照进黑箱的光，或许最终也会照向我们自己。

　　参考资料：

　　https://x.com/nickcammarata/status/2110757819427574056

　　https://x.com/daniel_mac8/status/2110760682505560226

　　https://already-clean.goodfire.com/

　　编辑：摩西