DeepSeek，公开省钱的大秘密！

　　出品 | 网易智能

　　作者 | 辰辰

　　编辑 | 王凤枝

　　DeepSeek 的 AI 为什么这么便宜？这次，它把一部分省钱的门道公开了，同行也能拿去用。

　　10 月 20 日，DeepSeek 开源了自研推理框架 DeepInfer。这套软件支撑着 V4.1 Flash 的大规模运行，负责给芯片派活，让一批批提问尽快得到回答。开发者可以免费使用、修改这些代码，也可以将其用于商业服务。

　　此前，开发者已经能下载 DeepSeek 的模型，但把同一个模型搬回自己的机房，不代表就能跑出官方那样的效率。一段反复出现的提示词，要不要每次从头算？大量用户同时提问，怎么安排任务，才能少让芯片空等？这些环节处理得好不好，最后都会体现在算力和电费账单上。DeepSeek 这次公开的代码和部署文档，就介绍了它如何省下这些开销。

　　这套框架同时支持英伟达 SM100 和华为昇腾 950 芯片，最先用得上的是自己部署模型的企业和云厂商。不过，支撑完整线上服务的缓存管理、流量分配等组件，目前尚未完整开源。想把模型跑得像官方一样又快又省，外部团队还得补齐这些配套系统。

　　一、模型是菜谱，还要有个忙得过来的后厨

　　技术博主宝玉用“菜谱和后厨”来解释这次开源：模型文件好比菜谱，推理框架则负责接单、排队和安排计算。同样的菜谱，交给不同的后厨，一小时能接多少单、客人要等多久，可能很不一样。

　　运行 AI 也会遇到类似的问题。有人只问一句话，有人上传一份长文档，还有智能体一轮接一轮地调用模型。怎样把这些请求安排到不同芯片上，既能多处理一些任务，又不让用户等得太久，是推理框架要解决的事。

　　DeepSeek 此前已经公开过不少相关工具。2025 年 2 月的开源周，FlashMLA、DeepEP、DeepGEMM 等项目陆续放出，分别处理注意力计算、跨设备通信和矩阵运算。此后，TileLang 等工具又让开发者能更方便地编写适配芯片的计算程序。

　　这些组件擅长各自的工作，放到一起，还需要软件把它们组织起来。DeepInfer 将多项底层优化整合进推理引擎，外部团队可以看到，它们在 V4.1 Flash 上如何配合运行。拿到模型权重之后，开发者多了一套来自模型厂商自身的部署实现可供参考。

　　二、少算重复的内容，少让芯片空等

　　模型上线后，每天的提问、写代码和智能体任务，都会不断产生计算开销。对提供服务的公司来说，同样一批硬件能处理多少请求，会直接影响每次调用的成本。

　　DeepInfer 的代码和配套部署问答，披露了几种减少这些开销的办法。

　　先看答案是怎么生成的。模型通常逐个生成 token，前一步完成后，才继续下一步。DeepInfer 支持的投机解码，会先用轻量的“草稿手”预测后续内容，默认最多生成 5 个草稿 token，再让主模型批量核对；能接受的留下，不能接受的重新生成。

　　核对草稿也要花算力。DSpark 会预测每个草稿 token 被接受的概率，优先把核对工作安排给更有希望被采用的内容，减少白忙一场的计算。

　　按 DeepSeek 的部署问答，相比每步固定核对 5 个草稿 token，动态核对让每步检查的数量减少约 30%，平均被接受的长度基本不变。这里省下的是核对量；按官方基准数据估算，在接近实际生产并发量的配置下，这项调整带来的吞吐量提升约为4% 至7%。

　　另一笔能省的开销，来自反复出现的上下文。比如，一个编程智能体连续改同一份代码，后一次请求里往往还带着前面的指令和对话。已经计算过的部分，可以通过 KV 缓存复用，不必每次重新处理。

　　DeepSeek 在部署问答中介绍，它把这类中间结果存入独立的存储集群，供不同计算节点读取。这样，新的请求可以交给更空闲的机器，而不必追着某一台保存了缓存的机器排队。这是线上系统的设计说明，完整的缓存管理代码尚未随引擎一并放出。

　　这套缓存的规模也不小：官方披露，底层 3FS 文件系统为其提供约 100 PiB 的固态硬盘空间，智能体流量的缓存保留 3 天，聊天流量保留 7 天。聊天缓存留得更久，是因为其中少量内容会在较长时间里被反复读取，过早清掉就得重新计算。

　　多张卡协作时，还要防止有的卡忙不过来、有的卡在等。DeepSeek 介绍，在生成答案的阶段，它会把混合专家模型中的专家分散到 64 张或 128 张卡上，减少每一步单卡需要读取的数据，并根据负载调整专家的分布。

　　CPU 与 GPU 之间也能少一些等待。DeepInfer 默认开启异步调度：GPU 计算当前这一步时，CPU 就开始准备后续任务，不必等当前计算全部结束才接着安排。

　　DeepSeek 公布的性能曲线还展示了一个取舍：一批处理更多输入，单卡每秒能处理的总量会上升，但完成这一批计算也需要更长时间。实际提供服务时，不能只追求吞吐量最大，还要顾及用户等待答案的时间。

　　图：官方在英伟达 SM100 平台公布的预填充测试，统计未缓存输入的吞吐量与每步延迟。

　　三、引擎交出来了，整套服务还得自己搭

　　上述方法中，有些已能在开源代码里使用，有些目前主要通过部署文档介绍。DeepInfer 的公开版本提供离线推理，以及大规模服务所需的核心引擎功能；要让外部用户持续接入，还需要配套系统。

　　官方列出的缺项包括 KV 缓存系统、把读取输入和生成输出分到不同机器上的部署设施，以及不同服务实例之间的负载均衡。其中，分阶段部署需要的大部分引擎功能已经实现，但外围系统并未全部提供。

　　这些系统决定着缓存能否及时取回、长短不同的请求怎么分流、某台机器忙不过来时任务该交给谁。DeepSeek 称，缓存管理和负载均衡与内部基础设施耦合较深，代码尚未完整开源。外部团队可以参考已公开的设计，但仍要接上自己的存储、网络和服务管理系统。

　　X 用户 ReignSwords 把它概括为：“他们开源了引擎，不是底盘。”他认可多个底层工具被整合到一起，也在意那些没有随之发布的组件。

　　ReignSwords 还把这次发布形容为对 2025 年承诺的反转。不过，当时 DeepSeek 并没有说“永远不发布”。在 2025 年 4 月的说明中，团队提到内部引擎经过大量定制，难以直接搬到外部环境，小团队也缺少维护大型开源项目的精力，因此选择先向已有项目贡献独立组件和优化。这次发布扩大了代码开放的范围，基础设施依赖则仍需处理。

　　硬件同样限制了谁能马上用起来。当前支持列表是英伟达 SM100 和华为昇腾 950，H100、H800、A100，以及普通消费级显卡，都不在其中。

　　官方还给出了一套“最小高效部署单元”：64 张卡处理输入，另 64 张卡生成输出，共 128 张卡。这不是启动软件的硬性下限，文档也说明，一个预填充实例加一个解码实例可以部署；128 张卡对应的是推荐的高效配置。对没有这类硬件和集群运维能力的团队来说，它暂时还不是下载后就能开张的工具。

　　四、英伟达之外，昇腾也有了配套引擎

　　DeepInfer 从发布时就同时支持英伟达和华为平台。DeepSeek 在设计目标中写明，要支持多家厂商的加速芯片，并尽量发挥各自的性能。

　　这延续了它最近在昇腾软件上的投入。9 月底，DeepSeek 已经公开面向昇腾平台的编程工具、计算库和通信库，华为团队参与了研发支持。底层组件解决具体计算和通信的问题，DeepInfer 则进一步将它们用于模型推理。

　　按 The New Stack 援引彭博社 9 月报道的说法，DeepSeek 计划在内蒙古的新数据中心部署至少 16 万张昇腾 950DT 芯片，用于运行模型。这仍是一项报道中的部署计划，不能算作已经投入使用的规模。

　　对于准备使用昇腾部署 V4.1 Flash 的企业，模型厂商公开相应实现，可以减少自行摸索适配方法的工作。但两种芯片同时进入支持列表，还不能证明它们已经跑出了相同的性能或成本。

　　目前，DeepSeek 公开的性能测试使用英伟达 SM100：处理输入的测试用了 4 张卡，生成输出的测试用了 64 张卡。部分帮助稳定复现输出的功能，也仅在英伟达实现中提供。昇腾用户仍需要在自己的硬件和负载下测试速度、稳定性及每次请求的开销。

　　五、企业能省多少，还得算整套账

　　有集群的企业和云厂商，是最先有条件尝试 DeepInfer 的一批用户。它们可以对照官方代码，检查自己现有的模型服务在哪些环节浪费了算力，再决定是整体接入，还是先采用其中的优化。

　　配套组件 deepseek-recipe 解决的则是另一个问题：同一个模型，换一家平台调用，接口行为可能对不上。用户消息怎么拼成提示词，模型输出怎么还原成回复，工具调用怎么解析，都可能影响最终使用体验。

　　deepseek-recipe 将 Messages、Chat Completions 和 Responses 等格式的请求转成统一的对话格式，再按 DeepSeek 模型的要求编码，并把生成结果转回相应接口。按官方介绍，这部分处理逻辑与 DeepSeek 官方 API 对齐，第三方不必各自重写一遍。但模型推理、工具执行和 HTTP 服务，仍由接入方提供。

　　算力能省下来多少，已经引起了社区的兴趣。X账号 Tradenometry 引用一套第三方测算：假设每小时 GPU 租金为 3 至 6 美元，处理的 10 亿 token 中有 97% 是可复用的缓存输入，另外2% 为非缓存输入、1% 为输出，那么 GPU 租金约为 0.73 至 1.46 美元，对应非高峰时段收入约 11.91 美元。

　　在这组假设下，GPU 租金只占收入的约6% 至 12%。不过，这张账单没有覆盖存储、网络、运维、研发等全部开销，也高度依赖缓存命中和流量构成，不能直接换算成 DeepSeek 的利润率或硬件回本周期。

　　图：第三方测算，非 DeepSeek 财务披露；其中的成本估算主要针对 GPU 租金。

　　Tradenometry 看好的是另一种可能：调用更便宜之后，用户愿意让模型处理更多任务，服务商也更有动力增加算力。能否出现这种增长，要看新增用量是否足以抵消每项任务减少的计算开销。

　　对第三方服务商来说，优化代码提供了压低成本的机会，最终账单还受采购价格、硬件配置和实际负载影响。对使用 DeepSeek App 或官方 API 的人来说，这次开源本身并不是一份降价通知；更值得留意的是，其他平台接入后，能否提供价格更低、等待更短的同款模型服务。

　　六、没有大集群，也能先学它怎么省

　　不是每个开发者都有条件部署 DeepInfer，但投机解码、减少重复计算和异步调度的方法，可以拆开研究，再尝试用于其他推理框架。

　　DeepInfer 本身也受益于这样的代码交流。项目说明写明，它最初主要基于 vLLM 构建，还借鉴了 SGLang、TensorRT-LLM 等项目。如今这些针对 DeepSeek 模型的改动被公开，社区可以进一步检查，哪些优化依赖特定模型和硬件，哪些能被其他项目采用。

　　X 用户 Nick 对这次开放颇为乐观。他认为，更多团队能够学习 DeepSeek 的推理优化，会带来更多竞争；但软件方法公开之后，硬件供应仍是限制。他还后悔，没趁 GPU 和固态硬盘有货时多买一些。

　　社区接下来可以拿这些实现做自己的对照测试：同样的模型、硬件和请求，换用某项优化后，到底少花了多少计算时间。这样的结果，比单看一张性能曲线，更能帮助部署团队判断哪些代码值得接入。

　　DeepSeek 也在文档中承诺，后续模型的推理代码，以及进一步的性能优化，将继续通过 DeepInfer 开源。