每天500万亿Token背后，KV Cache正把存储墙推到台前

　　过去二十年，服务器峰值浮点算力每两年增长约 3 倍，而 DRAM 带宽每两年只增长 1.6 倍，互连带宽仅 1.4 倍，这就形成了行业内称之为存储墙的痛点，而这个问题其实已经存在很久，而如今的 AI 时代，随着计算能力的增强及其对数据需求量的扩大，据中国信通院统计，中国每天平均的 Token 消耗量，从 2024 年的 1000 亿，跃升到 2025 年 8 月的 500 万亿，一年多时间增长了约 5000 倍。在此背景下，存储墙问题也被放大了。

　　推理时代，算力与存储必须加强融合

　　大模型推理的核心流程之一，是自回归解码，模型每生成一个 Token，都要回头看一遍之前所有的上下文。如果每次都重新计算全部历史数据，算力会被海量的重复计算消耗殆尽。于是 KV Cache 诞生了，它把中间计算结果缓存起来，用“以存换算”的方式跳过重复计算。这个机制极大地减少了计算开销，但它同时埋下了一颗雷：数据越攒越多，而缓存总得有地方放。

　　这个问题随着 Token 消耗量的提升在不断被放大，对此，联想集团首席科学家肖利民告诉我们，过去典型的 AI 应用是一问一答的对话机器人，如今变成为能够感知、会规划、能执行任务的数字员工。实际上，每一次 Agent 执行任务，背后都是动辄数十轮、上下文动辄数万 Token 的推理调用。

　　而推理，恰恰是对存储要求最高的环节。KV Cache 的存放问题，本质上是一场空间挤压战，数据如放全部在 GPU 显存，显存通常不够用，进而人们想到将数据卸载到 CPU 直连内存，但 CPU 直连内存容量同样扛不住。因此，数据很自然地再往外卸到外部存储，但是 GPU 无论走 PCIe 或网络去访问外部存储，带宽和延迟与访问本地显存相比，存在数量级的差距，“数据在外部存储和 GPU 之间搬运的开销，往往会拖累推理性能。”肖利民指出。

　　在此背景下，推理基础设施就出现了两个痛点。一个是 KV 可用的 GPU 显存和 CPU 直连内存容量不足，一个是 GPU 访问外部存储的开销太大。业界现有的主流方案是 KV Cache 卸载到外部共享 CXL 内存池，但该方案主要解决前一个问题，通过 CXL 交换机，把内存资源与 CPU 解耦，实现独立弹性扩容和多主机共享。但对后一个痛点，也就是 GPU 访问 CXL 内存池开销大问题，始终力不从心。

　　实际上，更底层的核心问题是存储硬件与计算硬件的发展速度不匹配。计算性能的提升速度远快于存储，而且这个差距还在逐年拉大。这就是计算机体系结构领域经典的存储墙问题，而这个问题从来没有被完全真正解决过，人们用多级缓存等各种手段不断缓解它，但缓解不等于消除。大模型推理的爆发，不过是把这道旧墙，重新又推到了所有人的面前。

　　于是，存算融合的思路呼之欲出：既然把数据搬到算力那边成本太高，那就反其道而行之，把计算单元搬到数据旁边去。与其让海量的 KV 数据经过 PCIe 链路在 GPU 和外部存储之间奔波，不如让计算单元驻扎在内存旁边，就地处理数据，只把计算结果传回来。

　　对此，肖利民给出的路径是，把内存池化技术和近存计算技术结合在一起，构建一套面向大模型推理的存算融合池化系统，用内存池化解决 KV Cache 的大容量扩容和跨实例共享，用近存计算在内存池内嵌计算单元，把 attention 这类访存密集型算子下沉到内存池一侧，从整体上降低端到端的推理时延、提升系统吞吐。

　　在肖利民看来，这条路线并不算激进，“技术的发展通常是逐步演进的，”他进一步指出，“现阶段算力基础设施出现断崖式重写的可能性不大，但推理负载带来的这些新变化，确实需要更多创新技术被引入到推理算力基础设施里面去，存算融合池化技术就是这个演进过程中一个非常重要的技术点。”

　　平衡点在哪？

　　从当前存算融合技术路径上看，主要分为 CIM（存算一体）、PIM（存内计算）、以及 PNM（近存计算）三条路径。前两者通常把计算单元直接做到了存储芯片内部，带宽极高、延迟极低，这种做法在某种意义上已经算是存算一体了，但这通常需要改变现有存储器本身的结构，属于高度定制化的硬件，与现有的软件生态难以兼容。对任何一个要考虑产品化落地的团队来说，这都是一道需要攻克的坎。

　　有鉴于此，在肖利民看来，不改动存储器本身结构的 PNM 是当下较为现实的路径。对此，肖利民表示，把计算单元放置在存储器的边上、内存控制器的位置，既拉近了计算与存储的距离，又不改动存储器原有的结构，从源头上维持了与现有软硬件生态的兼容性。这个选择背后是清醒的商业判断：“我们未来要真正落地做产品化实现，兼容现有生态的路径会有很大的优势。”肖利民解释道。

　　但在实现近存计算的产品化路上，还有很多挑战。其中肖利民认为最大的挑战有两个。第一个是近存计算单元放置策略选择上的两难。计算单元要既离存储足够近，又不对现有生态产生大的改变，放在哪里本身就是一道难题。选定了内存控制器附近之后，新的问题接踵而至，内存控制器原本就承担着来自主机的访存请求，如今旁边又多了一个近存计算单元的访存请求，两路请求同时涌向存储器，冲突不可避免。团队的解决办法是在内存总线上内置一套 QoS 仲裁机制，对两路不同的访问进行仲裁调度，既避免冲突，又保证两边的服务质量不会互相拖累，还能维持一定的公平性。“存储总线的速率高，如何做冲突检测，如何保证两边的 QoS 不往下掉，同时还要保证公平性，确实是个较为复杂的问题。”肖利民强调道。

　　第二个是算子相对固化与模型快速迭代之间的矛盾。大模型几乎每隔几个月就要更新换代，而硬件计算单元相对固化。联想采用的是指令驱动的可重构计算编排思路，让同一套硬件通过指令驱动算子编排适配不同模型的计算需求，缓解了这个矛盾。

　　除此之外，在软件实现和负载运行层面，还要面临如何用统一编址实现算力统一纳管和高效调用？多机共享内存池时如何保证数据一致性？以及一次推理请求到来时，哪些计算该下沉到内存池侧、哪些留在 GPU 本地算、KV 该不该卸载等问题，这些问题都需要寻找到一个最佳的平衡点。据肖利民介绍，联想研究院智能计算基础设施团队为此建立了一个成本分析模型，根据链路拓扑、上下文长度等输入动态决策，在编排策略上按头切分 KV 并与 GPU 张量并行策略对齐，尽量避免设备之间的通信，提高设备并行计算效率。

　　当所有问题都找到解决的平衡点之后，联想团队进行了测试，肖利民介绍，他们在三个核心模块上进行了分项性能测试。在内存池卸载方面，与 NVMe 层池化方案对比，在固定输入长度场景下，首 Token 延迟（TTFT）可降低 3.5 倍；多轮对话场景下可降低 2.4 倍，且随着对话轮次增多，优势愈发明显；在 KV 跨实例共享方面，借助内存池实现 KV 复用，相比完全重算，首 Token 延迟最高加速 12~28 倍；相比 RDMA 分布式内存架构，也有2~3 倍的加速；在存算融合方面，把注意力计算下沉到内存池侧后，解码延迟可降低 2.5 倍，同时腾出大量显存，用以支持更长上下文、更大规模的模型。为验证对大模型推理的整体加速效果，联想团队还进行了端到端推理性能测试。在推理延迟方面，与 RDMA 分布式内存池相比，取得了2~3 倍的加速；在系统吞吐方面，性能提升更为可观，随着上下文变长，系统吞吐提升6~20 倍。

　　从 G2.5 到 G1.5 是接下来要做的事

　　肖利民团队目前实现的是 G2.5 层次的基于内存池化和近存计算技术的存算融合池化系统。但肖利民告诉我们，接下来从 G2.5 向 G1.5 演进将会是重点研发的方向之一。

　　具体来说，其思路是借助超级节点里 scale-up 高速互连技术，把共享存算融合池进一步向 GPU 靠拢，从 G2.5 推进到 G1.5 层次，进一步缩短访问路径。“一旦超节点成为 AI 系统主流，利用它里面 scale-up 高速互连，不仅享有 G2.5 已获得的收益，而且在计算与存储的互连带宽、延迟上，都会比现有互连网络有一个数量级的提升。”肖利民说。在硬件上，3D 堆叠封装、TSV 垂直互连等技术逐渐成熟后，也有望进一步提升存算之间的带宽密度；软件上则会持续扩展算子库，适配更多主流模型。肖利民同时强调，随着芯片新技术的日益成熟，团队会在“存算融合”理念下会吸纳更多新的芯片技术，使得推理性能在现有水平上再提升一个层次。

　　在肖利民看来，联想存算融合池化技术的差异化特色，主要在于将内存池化和近存计算相结合，同时解决容量不足和访存开销大这两大难题。“目前国内外相关工作大多聚焦于怎么做出一个大容量内存池，解决 KV Cache 容量不足的问题；或者，通过存算融合技术，缓解访存开销大的问题”肖利民进一步指出，“目前暂未见到把近存计算引入到大容量内存池里，同时 KVcache 解决容量不足和访存开销大两个难题的产品。”。

　　当然，算力基础设施技术的演进并不会一蹴而就，目前阶段出现类似 AI 技术的“GPT 时刻”的可能性不太大。在肖利民看来，在算力基础设施中，计算、存储、通信、调度多种要素交织在一起，相互融合、协同优化，“某一块跑快了，另一块拖后腿，然后被加快，再又换一块成了短板，有点像是按下葫芦浮起瓢。” 肖利民进一步表示，“我们的存算融合池化技术不是要终结这样一种局面，而是在大模型推理负载把存储墙问题推到舞台中央之后，通过近存计算靠近大内存池的方式，来加速大模型推理性能。实际上，更为理想的方式，不仅局限于存储和计算的融合，而是围绕计算、存储、通信、调度多种要素做系统性的协同优化，以实现算力基础设施及其上运行大模型推理应用的更大性能提升。”