商汤大装置：AI基础设施竞争正从算力规模转向高质量Token产能

　　10 月 19 日消息，近日，在第十届 CSDI Summit 中国软件研发智能创新科技峰会上，商汤大装置副总裁、CTO 宣善明表示，随着 AI 应用从对话式问答向多 Agent 协作和长任务执行演进，Token 需求呈千倍级增长，AI 基础设施竞争正从算力规模转向高质量 Token 产能。

　　据宣善明介绍，商汤大装置已在临港 AIDC 构建万卡级异构推理集群，通过 PD 分离技术，将大模型推理中的 Prefill（预填充）与 Decode（解码）阶段解耦，利用不同类型算力承担相应任务，并通过 KV Cache 传输实现协同。在特定测试配置下，相较于基准方案，采用相同数量高端旗舰卡时，整体 Token 吞吐量可提升至原来的 5 倍。

　　在此基础上，商汤大装置还在探索跨域 PD 分离和 AF 分离技术。其中，跨域 PD 分离可实现跨集群、跨机房及跨地域的推理任务编排；AF 分离则将 Attention 与 FFN 计算任务部署至不同硬件，以提升资源利用效率。

　　据介绍，AF 分离未来有望实现单卡吞吐量提升 150% 至 200%、运营成本降低 30% 至 40%，整体能效提升至原来的两倍以上。

　　业务规模方面，商汤大装置平台目前日均 Token 服务量已达到 6 万亿，预计 2026 年全年 Token 服务规模将实现 25 倍增长，并计划在第四季度达到日均 10 万亿 Token。

　　宣善明表示，Agentic 时代 AI 基础设施的核心竞争力，将体现在以更低成本、更高效率和更稳定的服务质量持续产出 Token 的能力上。（定西）