中国近50%的新云生意，竟被这家公司包揽！

　　金磊发自凹非寺

　　量子位 | 公众号 QbitAI

　　很意外，但也不意外。

　　事情是这样的——沙利文和头豹研究院最新发布了一个名叫《中国全栈 AI 云服务市场报告 2026H1》的报告，然后在 Neocloud（新云）这条赛道里，近一半的份额，竟然被同一家中国公司包揽了。

　　Neocloud，如其名，并非像传统的综合云厂商那样先有云再往上摞 AI，它是从成立之初就与 AI 深度绑定的那种。

　　而且这条赛道在海外也是非常火热，像 CoreWeave 这样的明星公司，光是积压订单就顶到了 1042 亿美元；加之国内综合云巨头们也在全面转向 AI。

　　而且就在今天，马斯克也来评论 Neocloud 赛道，但泼的却是一盆冷水。

　　他表示，就在过去几周，对于那些在 AI 数据中心之外没有可观收入的公司，债务市场几乎已经完全关上了融资的大门。颇有种马太效应的感觉：

这意味着 200 多家 Neocloud 将迎来一波大规模倒闭和兼并潮。能撑过去的会有一些，但不会多。

　　一边是海外 Neocloud 被预言将迎来一轮大洗牌，一边是国内综合云巨头在全面转向 AI，在如此格局之下，一家中国公司能拿走近一半份额，所以很令人意外。

△图片由 AI 生成

　　那么这家公司到底是谁？

　　不卖关子，它正是商汤科技，更准确地说，是它旗下的 AI 基础设施平台商汤大装置（SenseCore）。

　　虽然 Neocloud 这个名字是新的，但商汤做这件事却已有多年。从服务内部 AI 研发，到 2022 年向外部客户提供云服务，再到今天自己组织大规模推理、持续供应 Token，大装置的产品形态一直在变。

　　现如今，与其说商汤大装置是一个算力服务平台，它倒更像是一座体量持续膨胀的Token 工厂。

　　因为在今年年初之际，商汤大装置每天服务的 Token 大约是4000 亿；到了 7 月底涨到了2. 42 万亿；9 月底，已经是6 万亿的规模。按计划，今年第四季度更是要冲到日均 10 万亿！

　　△图片由 AI 生成

　　但如果了解商汤大装置背后的发展历程，你会发现，它能拿下这近一半的份额，其实也并不意外。

　　Neocloud 咋就成新贵了？

　　要回答这个问题，我们不妨先回忆一下年初爆火的小龙虾（OpenClaw）。

　　当时小龙虾虽然热度居高不下，但却频频曝出诸如此类的消息：

　　有位 IT 从业者让小龙虾帮忙搜资料、写一份 2000 字的 Word 文档，结果来回一折腾，700 万 Token 就没了……

　　之所以这么能烧 Token，是因为现在 Agent 做任务并非是一问一答的模式，它需要自行去拆解任务、查阅资料，然后反复确认执行，每一步都在消耗着 Token。

　　正如沙利文在报告中指出的那样，在 Token 生成速度相同的情况下，Agentic AI 对算力的要求比传统大模型高出 10 倍以上。

△图片由 AI 生成

　　而这个数字放到全国范围来看只会更加夸张，例如根据国家数据局的统计，今年 3 月我国日均 Token 调用量已经超过 140 万亿，两年时间涨了一千多倍。

　　据商汤大装置 CTO宣善明回忆，去年一整年，大家几乎都在忙着训模型；到了今年春节前后，小龙虾带火了 Agent，再加上国产模型和海外头部模型的差距明显缩小，Token 需求一下子就起来了。

　　需求变的不只是量，还有方向。

　　此前，大模型的主战场在训练，大家拼的是谁的集群更大、算力更多。而当 AI 工作负载从训练扩展到推理和 Agent 应用，客户关心的东西也跟着变了，单位 Token 成本、推理延迟、模型部署效率、多种负载能否灵活调度，开始比单纯能租到多少算力更重要。

　　换句话说，算力生意的计量单位，正在从“Flops”变成“Token”。

　　Neocloud 正是在这波变化里成了新贵。和综合云厂商先有云、再把 AI 能力一层层加上去不同，Neocloud 从一开始就只为 AI 服务。用商汤大装置产品总经理卢国强的话说，前者是“云 +AI”，后者是“AI+ 云”。

　　据 Synergy Research 统计，2025 年全球 Neocloud 市场规模已达到 250 亿美元，预计到 2031 年将逼近 4000 亿美元。

　　△图片由 AI 生成

　　不过，同样叫 Neocloud，海外和中国走的却是两条完全不同的路。

　　以 CoreWeave 为例，它是“挖矿”起家，手里本来就攒着一大批高端 GPU，借着大模型训练的东风顺势转型，主要生意是把成规模的高端算力租给模型公司和科技巨头。

　　这种模式重资产，扩张高度依赖融资，一旦资本环境收紧，压力很快就会传导过来，这也是马斯克预言 200 多家 Neocloud 里能活下来的不多的原因。

　　此外，海外 Neocloud 目前更多面向 AI 训练，在推理层相对薄弱，而商汤大装置和它们最大的不同，在于两点。

　　第一是推理层能力，也就是把复杂、多元的算力，持续转化成低成本、稳定的 Token 的能力，这恰恰是 Agent 时代客户最需要的。

　　第二是国内的算力环境。高端 GPU 供给有限，国产芯片这几年虽然发展很快，华为、平头哥、寒武纪等厂商都拿出了各自的产品，但路线多元、长板各异，软件生态也还在逐步成熟，算力整体呈现出碎片化的特点。

　　这两个前提叠在一起，中国 Neocloud 要解决的不仅是有没有卡，而是怎么把不同的芯片、不同的模型和不同的客户需求，拧进同一套能稳定跑起来的系统里，并且让每一个 Token 都足够便宜。

　　这件事，商汤大装置早早便开始布局。宣善明提到，他们 2018 年就开始做各种国产芯片的适配和调优，几乎所有主流国产芯片的集群都摸过一遍。每款芯片擅长什么、最适合放在哪个环节，都是一款一款试出来的。

　　从一张卡算到一度电

　　有了这两个前提，我们再来看商汤大装置的打法，就会清楚很多。

　　它做的并非是单点的算力出租，而是一套“算力-平台-方案-服务”的端到端系统化能力。向下，它连接电力、储能、AIDC 和异构硬件；向上，它连接模型、应用与行业，目标是帮企业以更高的投入产出比，把 AI 真正转化成价值。

　　这套体系里，最能体现中国 Neocloud 特色的有两件事，一是异构混推，二是算电协同。

　　先说异构混推。面对长板各不相同的国产芯片，商汤大装置采用的核心方法是 PD 分离（Prefill-Decode Disaggregation）。

　　所谓 PD 分离，我们可以理解为大模型在回答问题时分了两个步骤。先是“读题”，一口气读完输入，叫 Prefill，主要吃算力；再是“写答案”，逐字往外生成，叫 Decode，更看重显存带宽。

△图片由 AI 生成

　　既然两步对硬件的要求不一样，PD 分离就把它们拆开，交给不同的芯片去做。国产卡负责读题，高端 GPU 负责写答案，中间再通过 KV Cache 把“读题笔记”传过去。

　　如此一来，国产卡的长处被用足了，短处也不再拖后腿。

　　这背后，是商汤大装置多年摸索出来的一套思路。宣善明说，他们从 2018 年起就和国产芯片打交道，很清楚每款芯片哪一点是长处、哪一点是短处，也知道哪些短处在某些场景里其实并不受影响。

　　比如在 PD 分离里，国产卡只负责 Prefill，那么只要它的算力够用，其他方面都不必苛求，团队要做的，就是把“用国产算力跑 Prefill”这一个点上的技术难点全部攻克。

　　也就是说，不必等一款国产卡在各个维度上都追平高端 GPU 才去用它。不少在外界看来投入产出比不高的国产卡，放进这套分工里，反而能撬动高端 GPU 的产出，让整体 Token 产能成倍放大。

　　据商汤大装置给出的数据，这套方案的整体推理性价比已经达到主流高端 GPU 的1. 25 倍。

　　当然，这种分工也有边界，超长上下文这类请求，目前仍由高端 GPU 来兜底，以保证服务质量。

　　方案跑通之后，商汤大装置已经在看下一步。宣善明提到，目前他们重点关注两个方向。

　　一个是跨域 PD 分离，也就是把 PD“拉远”，比如在A城市做 Prefill，在B城市做 Decode。现在各地都在建智算中心，其中不少存量的国产算力闲置着，用不起来。如果能把它们和其他地区的算力连起来，这些资源就能被盘活。

　　这在以前是不敢想的。宣善明说，得益于模型架构的变化，传输的数据量在过去几个月里大幅下降，再加上通信技术上的提升，跨域 PD 分离才有了可能。当然，也不是所有请求都适合往远处送，哪些需要本地立刻处理、哪些可以交给远程，都要先做分类。目前，这项技术仍处于验证阶段。

　　另一个是 AF 分离，也就是在 PD 分离的基础上，把模型内部的 Attention 和 FFN 计算也拆开，交给各自更合适的硬件。在宣善明看来，这个方向整个行业都还处于预研阶段，因为它离不开硬件层面的支持，只做软件意义不大，所以商汤大装置也在和硬件厂商联合推进。

　　无论是哪个方向，很多问题都“只有当你真的去做了大规模异构的时候，才会发现”。商汤大装置 SenseCore 平台负责人陈希也提到，从网络流控到 KV Cache 的传输，任何一个环节没调好，都会影响整个集群的表现，“同样一套代码、同样的硬件配置，放到另外一家，可能就跑不出这种效果”。

　　再来看算电协同。对 Neocloud 来说，电费是一笔绕不开的账单。

　　对此，商汤大装置的应对办法，是今年 WAIC 上发布的算电协同 Agent。它联动能源大模型和宁德时代储能系统，每 15 分钟预测一次，每 5 分钟修正一次，来决定哪些任务现在跑、哪些往后挪一挪；同时动态调整储能在不同时段的充放电策略，在不影响任务 SLA、不增加额外超容成本的前提下，协同优化算力负荷与用电成本。

　　△图片由 AI 生成

　　简单来说，这个思路和我们赶在谷电时段开洗衣机差不多。离线推理、模型评测这类任务，挪到电力负荷低的时候跑，储能系统则像一个巨型充电宝，在电价低时充电，电价高时放电。

　　今年 7 月上海电网发起需求响应时，临港数据中心在两小时内让出了 75% 的用电容量，平时的用电大户，在关键时刻成了电网可以调用的弹性容量池。

　　这样算下来，单位电力成本的 Token 产出提升了 80%，平均电费比同地区 IDC 低 10%。商汤还顺势提出了一个新指标TPW（Tokens Per Watt），和只关注机房省不省电的 PUE 不同，它衡量的是每瓦电到底换来了多少有效 Token。

　　算力和电费的账都算明白了，Token 也越造越多。那么接下来的问题就是，这些 Token 有没有人用，能不能真正用到业务里。

　　还得让 Token 走进产业一线

　　商汤大装置的 Token 工厂除了服务商汤自家的模型，已经为多家外部基础模型厂商提供服务。

　　宣善明把这比作“批发服务”。相比于“零售”，批发单笔可能赚得少一些，但能直接对接“原厂”，并依靠长期信誉、技术能力和稳定交付建立竞争力。先把头部基模厂商服务好，口碑立住了，再去谈大客户时，对方自然相信你供的货是真的，不掺水。

　　不过，把 Token 卖给模型厂商是一回事，让 AI 真正进入各行各业又是另一回事。

　　如今 AI 落地已经进入深水区。模型能力越来越强，可要真正接进企业的实际生产流程，难度远比想象中大，不少行业都面临着“有模型，用不起来”的尴尬。

　　这也是商汤大装置做 FDE 的原因。面对行业客户，商汤大装置会派出 FDE（前线部署工程师）驻场，和客户一起梳理需求、调模型、推动上线。按照商汤大装置 TokenHub 总监周明骏的说法，FDE 既不像网上传的那么神，也不是传统意义上的外包。

　　以上海市规划资源局量子城市项目为例，城市规划资源管理涉及大量地图、规划图纸、统计数据和专业报告，不同业务之间信息复杂、专业门槛也很高。他们希望 AI 不只是能够回答政策和业务问题，还能真正理解地图和规划图纸，完成空间分析、数据统计，并辅助专业报告生成。

　　商汤大装置与上海市规划资源局共同打造了全国规划资源领域首个基础大模型——“云宇星空大模型”。模型拥有 6000 亿参数，并深度嵌入规划资源业务流程，具备“问不倒、能调图、会统计、能识图、会报告”等能力，能够覆盖从知识检索、图纸理解、空间分析到决策支撑的完整工作流程。

　　围绕这类项目，商汤总结出一套“AI123”交付法则，1 天澄清需求，2 天产出 Demo，30 天稳定版本上线。周明骏说，这个速度并不是喊出来的，背后靠的是提前沉淀好的 AI 中台和多模态数据处理管线。

　　那么 FDE 这种模式，会不会让商汤大装置变成一家系统集成商呢？

　　宣善明表示，FDE 深入业务一线，“全程陪伴”客户，把标杆案例快速做出来，再沉淀成标准产品，“我们不希望是一个人力密集型的企业”。

　　除此之外，效率这个词，也是在与商汤大装置团队交流过程中，被反复提到的关键词。

　　根据沙利文的判断，未来三年，AI 全栈云厂商会从资源竞赛进入效率与生态竞赛。宣善明打了个比方，以前做训练算力有点像房地产，卡买进来、租出去，每个月收一份固定回报；现在做 Token，回报的波动非常大，可能亏本，也可能赚得特别多，拉开差距的就是效率。

　　所以，现在我们回头再看这次商汤大装置拿下近一半份额的成绩，可以明显看到，它并不是靠把卡堆满机房堆出来的。

　　从 2018 年开始一款一款地适配国产芯片，到用 PD 分离让不同芯片各司其职，再到算清每一度电能换来多少 Token，这么一看，也就不意外了。

　　而对于接下来的方向，宣善明表示，他们会把更多的精力和资源放在国产芯片上，和国产芯片、国产生态一起往前走。

　　此刻，临港机房里那一排排国产卡，大概正在替某个 Agent 读题。