新版DeepSeek，离顶级AI还差多远？

　　出品 | 网易智能

　　作者 | 辰辰

　　编辑 | 王凤枝

　　同样把 10 项编程任务全做对，新版 DeepSeek 花的钱不到 Claude Opus 5.5 的四成，平均每项多等两分钟。

　　10 月 17 日，DeepSeek 发布 V4.1-Flash-1017，价格保持不变。发布后，已经有开发者拿它做游戏、搭网页、改代码。

　　为了测试它的实际水平，开发者 Ibragim Badertdinov 从日常工作中挑出 10 项任务，在同一套编程工具里让不同模型各跑三遍，分别使用 DeepSeek V4.1-Flash-1017 的高推理档位，以及 Opus 5.5 和 GPT-6 Astra 的低档位。

　　实测下来，三款模型全部过关，但账单和耗时拉开了差距：DeepSeek 平均每项任务只花 0.045 美元，远低于 Opus 的 0.1168 美元和 GPT-6 Astra 的约 0.26 美元；不过 Opus 和 GPT 分别只要 37 秒和 55 秒就能跑完，DeepSeek 却要花上 2 分 38 秒。

　　这 10 项任务的规模都不大。换成一个完整项目，DeepSeek 与 GPT、Claude 的差距，还只是多等一会儿吗？

　　01 十道题全过，DeepSeek 省钱，Opus 省时间

　　Ibragim 挑的题目，来自自己大约三个月的智能体使用记录，涉及数据处理、后端、前端和部署，使用 Python 和 TypeScript。他把需求已经明确、自己通常不到一小时能完成的工作挑出来，再配上自动检查程序。

　　他公开的一个简化示例，是把一批数据导入本地数据表。程序除了要导入成功，还得跳过重复记录、拒绝冲突的编号、报告不合要求的数据；替换旧数据时，不能写到一半就把原来的内容破坏掉。测试会检查空输入、数据冲突、原有文件损坏等情况。

　　三款模型都通过了这些检查，DeepSeek 用的步骤却更多。同样在 Pi 这套编程工具中运行，DeepSeek 平均每项任务用了 15.3 步，Opus 是 3.7 步，GPT-6 Astra 是 6.5 步。DeepSeek 的总 token 用量约 54.7 万，Opus 约 3.1 万。

　　用量大，账单却没有跟着涨上去。Ibragim 解释，DeepSeek 几乎所有输入都命中了缓存，记录中的缓存命中率达到 97.9%。那 54.7 万 token 也不是模型新写出了这么长的答案，其中包括多轮调用中重复送入的内容。便宜的缓存输入，使这次测试的每项费用仍能压在 5 美分以内。

　　对使用者来说，这两分钟有没有影响，要看自己是不是一直等在屏幕前。把任务交出去后接着做别的事，等待未必碍事；如果要看完结果马上提下一轮修改，Opus 和 GPT 在这组测试中的速度就更有用。这里比较的是通过 API 完成任务的费用，不是 ChatGPT、Claude 订阅套餐的月费。

　　新版相对上一版也有进步。Ibragim 此前用 9 月版 Flash 的最高推理档位测试，30 次运行通过了 28 次，平均每项耗时 4 分 30 秒；这次用新版的高档位，30 次全部通过，耗时降到 2 分 38 秒。

　　02 0.38 美元做出宝马，普通网页却跑了 40 分钟

　　DeepSeek 这次想展示的，已经不只是补一段函数。官方发布的案例包括故宫 3D 场景、网页赛车游戏，以及用 Godot 制作的《传送门2》复刻演示。公司称，新版通过带有自我反馈的强化学习，改善了从头完成项目的能力。

　　开发者 Fabiano Firmo 则让它用 Three.js 制作宝马 M5 的 3D 模型。他晒出的画面中，红色汽车出现在展示网页里，旁边还有配色选项。按他的说法，这次只给了一次提示，花费 0.38 美元，耗时 1 小时 10 分钟。

　　还有用户展示了类似《火箭联盟》的游戏，让汽车在场地里踢球。X用户 Markets & Mayhem 评价，物理效果能正常运行，已经可以玩，但还需要打磨。对于想先做出一个网页或游戏原型的人，这些演示比模型考试分数更容易看出用途。

　　不过，愿意等一个多小时看 3D 汽车，不代表做普通网页时也愿意等这么久。

　　开发者 Alex Carter 说，他让 DeepSeek Harness 制作一个普通的落地页，运行了 41 分钟；接下来两项网页任务，又分别花了 43 分钟和 40 分钟。他认为模型聪明、便宜，演示效果也不错，但这些页面是自己做了多年的工作，通常十分钟就能完成。

　　开发者 unbug 也有类似感受：模型变聪明了，却容易想得太久，迟迟不动手。另一位用户 Elshayib 强调，自己抱怨的并不是每秒输出多少字，而是模型在行动前花了太长时间思考。

　　API 平台 OmniaKey 的一次测试，记录下了这种长推理输出。它要求新版 Flash 写一个按 Python 运算规则计算表达式的程序，不能调用现成的解析工具。模型用了约 88 秒，通过全部 30 个检查用例；输出的约 2.07 万 token 中，约 1.97 万属于思考内容。

　　但 Flash 并不是所有任务都慢。在 OmniaKey 另一次测试中，它从一封混合德语和英语的发票邮件里提取 10 个字段，5.2 秒便全部答对；查询两座城市天气和时间的工具调用，2.6 秒就完成了。OmniaKey 本身销售模型 API，这组测试每项只运行一次。

　　宝马建模、落地页这些例子，并不是三款模型的同题对比。DeepSeek 做出的成品如何、后面还要改多少次，仍要与 GPT、Claude 放到相同要求下比较。

　　03 调低档位后，快了一分钟，也多了三次失败

　　既然高推理档位耗时长，调低一点会怎样？Ibragim 也测了。

　　在 Pi 里，新版 DeepSeek 调到低档后，平均每项时间从 2 分 38 秒缩短到 1 分 31 秒，费用从 0.045 美元降到 0.0257 美元。不过，30 次运行中有 3 次未通过。高档位下拿到的全部通过，并不能原封不动地保留下来。

　　这个低档位，换到 DeepSeek 自家的 Harness 里，结果又有变化：30 次运行通过 29 次，比 Pi 多通过两次。按照 Ibragim 的记录，官方工具环境帮模型处理到了一处 Pi 里漏掉的边界情况。

　　两套工具让模型干活的方式有所不同。DeepSeek Harness 直接提供读取、编辑文件的工具，Pi 主要让模型通过命令行操作；前者的系统提示词也更长。这次换工具后，token 用量增加了约 75%，平均耗时也从 1 分 31 秒变成 1 分 53 秒。两套工具中，都只有 9 项任务能连续三次通过。

　　同一个模型，换个推理档位、换套工具，速度、费用和成功情况都会变。只看到别人晒出的结果，还得知道他用了什么设置。

　　DeepSeek 在发布时也明确提到，针对 DeepSeek Harness、腾讯 CodeBuddy 和 WorkBuddy 等工具做了优化，并建议 Harness 用户升级到 v0.2.1-rc.1 或更高版本。

　　这次更新已经上线网页、App 和 API，API 调用仍使用 deepseek-flash，价格保持不变；新版模型权重也已按 MIT 协议公开。

　　不过，前面的编程测试是把模型接入能读文件、改代码、运行检查的工具中完成的。在聊天窗口里让它写一段代码，与让它接手一个项目，使用环境并不相同。

　　04 同一套题，GPT 和 Claude 还能更便宜

　　Opus 和 Astra 是两家公司的旗舰，OpenAI 和 Anthropic 也有便宜的模型。在 Ibragim 同一套测试中，GPT-6 Luna 的 xhigh 档位、Haiku 5.5 的 high 档位，同样 30 次全部通过，平均每项分别只花 0.0145 美元、0.0208 美元，比 DeepSeek 还低。两者的平均耗时分别是 2 分 46 秒和 2 分 08 秒。

　　这使选择不再只是“昂贵的 GPT、Claude”和“便宜的 DeepSeek”二选一。已经使用 Luna 或 Haiku 处理小任务的人，未必能靠换成 Flash 进一步省钱。

　　更难的工作，则会把问题从等多久变成能否放心采用结果。X用户 Yum 说，自己试用新版后，仍最担心幻觉，尤其是跨多个文件的重构和架构修改。他会让另一个模型检查改动，不愿让 DeepSeek 自己批准自己的方案。这是他的使用取舍，并不是一场证明 GPT 或 Claude 更可靠的同题测试。

　　因此，目前最扎实的进展，是新版 DeepSeek 已经在一批真实的小型编程任务中，交出了与旗舰模型同样通过检查的结果。大型项目里需要多少次人工纠正、出了问题能否修好，才会决定这种替换能走多远。做出一辆 3D 汽车，与长期维护好一个项目，中间还有不少工作。

　　Ibragim 也准备给这套测试加难度。他在帖子最后说，下一步会挑出一批难得多的任务，再比较不同工具和模型。