MIT神作被锤:Astra爆改Qwen权重?就吹吧!

2026-11-16 科技 阅读

                  Jay 发自凹非寺   量子位 | 公众号 QbitAI   Astra 修改小模型权重?MIT 那篇爆火研究,被大佬公开质疑了。   Astra 前两天刚刚凭借一项惊人能力刷屏 AI 圈——不用训练、不算梯度,直接修改另一个 AI 模型的权重。   MIT 团队宣称,Astra 仅修改 Qwen3.5-0.8B 的 0.016% 权重,就让数学成绩...

  Jay 发自凹非寺

  量子位 | 公众号 QbitAI

  Astra 修改小模型权重?MIT 那篇爆火研究,被大佬公开质疑了。

  Astra 前两天刚刚凭借一项惊人能力刷屏 AI 圈——不用训练、不算梯度,直接修改另一个 AI 模型的权重。

  MIT 团队宣称,Astra 仅修改 Qwen3.5-0.8B 的 0.016% 权重,就让数学成绩从 7.9% 暴涨至 48.1%,相当于提升到原来的 6 倍多。

  甚至有网友感慨:AI 已经开始读懂另一个 AI 的大脑了。

  然而,事情似乎出现了反转。

  一位来头不小的圈内大佬公开发文,提出了质疑。

  这项研究存在严重误导。

  质疑者叫 Matthew Honnibal,spaCy 的作者、AI 公司 Explosion 的联合创始人。

  魔术师戏法

  这背后到底发生了什么?

  Honnibal 用了一个很妙的比方,讽刺了 MIT 研究所做的事:障眼法。

舞台魔术师常常用多种方式来表演同一个戏法。

  第一次,他可能用了一个特殊的道具;下一次,他会向你展示道具并无特殊,但他自己藏起了东西;第三次,可能又利用了某种强迫选择。

  当你观看表演时,你会假设只有一种技术,所以每当魔术师表演一次,似乎都推翻了你对其工作原理的假设。

  Honnibal 认为,Astra 这项研究的实验呈现,就酷似这样一场魔术。

  回到 Paper,原文其实展示了三项不同的能力:

  1. 读权重:只看原始的权重数字,就能识别一个小型神经网络正在执行什么任务。
  2. 写权重:不依赖环境反馈,从零开始直接生成或修改小型网络的参数,让它能玩《打砖块》之类的小游戏。
  3. 修复大模型:通过修改 Qwen 的部分权重,大幅提高其数学测试表现。

  但这篇论文摘要给人的核心印象却是——Astra「仅通过观察原始权重」,就能理解并修改另一个模型。

  如果只是一眼扫过,很难不让人理解为:

  无论是识别一个小型网络的功能,还是修复一个大语言模型的数学能力,都源于同一种「读脑」神技。

  但,这是真的吗?

  Honnibal 仔细梳理了论文中的 8 组实验后发现:实现这三件事的实验条件,天差地别。

  也就是说——纯纯是在偷换概念。

  两种技术路径

  那么不同实验之间,到底有什么猫腻?

  首先,在识别小型网络任务、修复一个卡住的赛车模型等实验中,Astra 确实做到了「只看原始权重」。

  因为实验条件非常苛刻:

  • 直接将权重数字(raw floats)作为输入,放进 Astra 的上下文。
  • 不允许 Astra 运行 Python 代码。
  • 不允许 Astra 执行目标网络来观察其行为。

  在这种模式下,Astra 处理的模型参数规模都非常小,在1. 7 万到 17.2 万之间。这确实很了不起,但距离真正理解一个现代大语言模型,还有很长的路。

  但到了最引人注目、也最令人振奋的 Qwen 数学能力修复实验,就完全不是这么回事儿了。

  在修复 8 亿参数的 Qwen 模型时,Astra并没有直接读取原始权重。

  取而代之的是,Astra 被授权使用 Python 编程,并且最多可以进行 50 次前向测试。每次允许模型处理一批练习题,通过观察模型的表现来分析和修改权重。

  这根本是两码事。。。

  Honnibal 一针见血地指出,将这两种方法打包在一起,很容易让读者误以为:

  噢,那种在小模型上实现的「读脑术」,同样可以规模化地应用在 8 亿参数的大模型上。

  但事实是,在处理真正的大语言模型时,Astra 更像一个「场外教练」,需要通过编程、运行、观察等一系列工程手段来介入。

  真正的价值

  那么,这是否意味着 MIT 的研究毫无价值?

  当然不是。

  必须承认,即使剥离了「读心术」的光环,Astra 所展现的能力依旧非常了不起。

  Honnibal 也坦言,让一个 AI 模型被提示去设计并执行人类机器学习工程师才能完成的任务——编写代码片段来分析甚至直接修改网络权重——这本身就是一个巨大的进步。

一两年前的 AI 模型,在所有这些任务上都会失败。

  这说明,今天的顶尖大模型,已经具备了相当复杂的工具使用和推理能力,能够作为一个「AI 工程师」来诊断和修复其他模型。这本身就是一项值得关注的工程突破。

  真正的问题,在于成果的呈现方式。

  将两种截然不同的能力,模糊地包装成一种统一的、能够读写 AI 大脑的「超能力」。

  说实话,乍一听还以为是A社做的事。。。

  也侧面反映了如今 AI 圈的 Hype 狂潮吧。

  原文:https://honnibal.dev/blog/astra-read-write-misleading

相关阅读

柘城网为柘城本地权威综合门户。立足本土,解读钻石、辣椒、肉牛特色产业,传承朱襄故里人文,汇聚旅游、非遗、美食与民生资讯,搭建柘城论坛,服务柘城百姓。
  • 今天吃什么?
  • 关于我们
Copyright © 2026 柘城网 All Rights Reserved. 豫ICP备2025133402号豫公网安备41142402000636号
关灯 返回顶部
返回顶部