国产芯片大杀器！全栈开源，断网狂飙千亿模型

　　新智元报道

　　一张 96GB 显存的专业卡卖 13. 8 万元，一套 128GB 的 DDR5 内存逼近 2. 5 万元。

　　连一向淡定的库克，都在财报会上把这轮内存暴涨形容成「百年一遇的洪水」。

　　离谱的是，硬件越贵，AI 公司越往本地端猛砸。OpenAI 刚被曝一口气买下数万台 Mac，专门用来训练能自己操作电脑的 Agent。

　　原因很简单，24 小时连轴转的 Agent 如果全搁在云端跑，光 Token 费就能把账单烧穿，大模型往端边搬家已经是明牌。

　　但把芯片和内存买回来，只算交了半张门票。

　　要把大模型做成一台稳定好用的终端产品，模型适配、框架打通、性能调优，如果有现成的工具和经验，开发团队就不用样样从头摸索。

　　今天的生态合作伙伴大会上，后摩智能宣布，整套 AI 生态软件栈将全面开源！

　　从拿到模型到做成产品，整条工具链全部开源。到明年 1 月，15 个开源项目会陆续上线。

　　M50 芯片量产还不到一年，就已经有 150 多款终端产品定下要用它，合作客户破百，甚至把 1220 亿参数的大模型塞进了一个 300 克的小盒子。

　　这套软件栈，就是在这些项目里逐步开发、验证和完善的。

　　一整条 AI 落地流水线，全开源了

　　做一个离线会议助手，看起来只要三步：录音转文字、大模型写纪要，最后存进电脑。

　　真正动手，难题才冒出来：模型要塞进有限的内存，推理要适配芯片，语音识别和大模型还得协同运行。好不容易跑通，后面还有性能调优、稳定性测试和上线维护。

　　更麻烦的是，下一家团队做同类产品时，这些工作往往还要重来一遍。

　　后摩这次开源的工具链，一口气覆盖了从拿到模型到产品上架的全过程，一共分四层。

　　第一层是模型处理工具。

　　开发者拿到一个新模型，先用它做量化（把模型压小）、编译和精度评估，把它转换成芯片能跑的格式。

　　平时往端边设备里塞模型，往往得先把模型硬压成低精度格式，精度一掉，工程师又要花大把时间调优往回找补。

　　而 M50 原生支持浮点计算，开发者完全可以按需求直接用浮点格式部署，从源头上少掉一层折腾。

　　第二层是推理框架、算子库和运行时。

　　这一层相当于芯片上的总调度，负责把计算任务精准派发下去，并针对 M50 的存算一体架构做贴身优化。

　　模型跑得快不快、占多少内存、功耗能不能压住，全看这一层的调度功力。

　　第三层是领域套件、模型流水框架和中间件。

　　它负责让多个模型像交响乐团一样配合干活。还是说那个会议助手，语音转文字、文字转纪要、纪要存进应用，中间的每一次交接，都靠这一层来丝滑搞定。

　　第四层是部署运维工具。

　　产品交付之后，后续的升级、监控、大批设备的管理，全归它管。

　　这些硬核工具，后摩准备分三批开源。

　　第一批是对 llama.cpp、vLLM 的适配版，这俩可是开发者圈子里最常用的开源推理框架。大家不用换习惯，用着最顺手的工作流，就能接入后摩芯片。

　　第二批是后摩自研的推理框架，针对自家芯片做深度优化，性能能发挥得更足。

　　第三批是中间件和各类工具，帮你把一堆散装模型的能力，串成一个能卖钱的产品。

　　整个开源清单里，ModelZoo（模型示例库）、推理引擎、领域套件一应俱全。连用来管理大批加速卡的 Kubernetes 基础设施和 NPU 卡集群管理平台，也一并放了进来。

　　现在去 GitHub 搜 houmo-ai，已经能看到 postmo-modelzoo、postmo-quantflow、vllm-postmo，以及 llama.cpp、vLLM 的适配版本了。

　　拿已经公开的 postmo-modelzoo 来说，它就像一份开箱即用的「实战样板间」。

　　从量化编译、性能评估到最终部署，每一步都有现成的代码和工具可以直接对照上手，推理示例横跨 Linux、Windows 11 和 Android 三大平台。

　　光是模型目录就一口气列了15 个大类，语音识别、语音合成、大语言模型、视觉语言模型、图像生成、全模态全在里面。

　　用后摩自己的话说，这次开源就是要做到「最佳实践共享无保留」。

　　150 多款产品，押注同一颗芯片

　　150 多款产品押注同一颗 M50，意味着这颗芯片要同时闯过 Agent Computer、智能移动终端、具身机器人和边缘推理四道截然不同的关卡。

　　有的设备极其挑剔功耗，有的连网线都不让插，还有的必须跑在纯血国产系统上。

　　Agent Computer：300 克的盒子，跑 1220 亿参数

　　Agent Computer，简单说就是专门用来跑 AI Agent 的电脑。最具代表性的，就是联想的 AI 主机 P7。

　　这台主机只有 300 克，一只手就能托住。整机最大功耗 30W，插个充电宝就能带走。

　　就算拔掉网线，也能在本地跑 1220 亿参数的大模型！每秒输出 50 个 Token，上下文最长支持 128K。

　　它搭载的是后摩 M50 芯片。典型功耗为 10W，可提供 160TOPS 的 INT8 算力，最高支持 48GB LPDDR5/5X 内存。

　　Agent 可能需要7×24 小时运行，还会持续处理邮件和私人文件。

　　如果放在云端跑，每个月要交一大笔 Token 费，数据交出去也不放心。

　　换成 P7，一次性买断硬件，本地推理就无需再按 Token 向云端付费。后摩管这叫「端边 Token 工厂」。

　　初创公司 Deepshard 打造的 Truffle 1，直接把自己定位成7×24 小时在线的「私有 AI 外脑」，此次与后摩合作的版本同样搭载 M50 芯片。

　　你交给它的项目资料、日常聊过的工作习惯，都会留在设备本地。之后处理同一个项目，Agent 就能直接调取这些长期记忆，省去每次都要从头交代背景的麻烦。

　　只要你点头授权，它就能自己钻进 Slack 和 Gmail 里帮你查消息、翻邮件，等到真要动手发信或执行操作时，再交由你拍板确认。

　　哪怕你关掉对话框去忙别的，开发者写好的后台应用也能定时往里喂入最新的项目进展，让它时刻保持信息同步。

　　对于开发团队来说，平时顺手的工具直接走 MCP 就能接进来，现有的软件也不用推倒重写，调一下兼容 OpenAI 格式的接口，就能直接跑在这台设备的本地模型上。

　　同样是这个场景，绿联把 M50 塞进了家庭 AI 中枢 HomeAgent HA100 Pro 里。家里的私密照片、监控画面，AI 在本地就能识别、整理，不用上云。

　　聊趣智能更会玩，他们的 ClawHouse X1 给 Agent 配了个可定制的全息形象。放在办公桌上，它是帮你理日程的数字员工；搬进书房，就成了陪孩子练对话的学习伙伴。

　　智能移动终端：彻底断网跑 35B 的纯血国产本

　　有些单位的电脑，天生就不能插网线。

　　在政务、金融证券这些行业，「离线可用」是硬要求。

　　长城 N90 Pro 笔记本走的是全栈国产路线，装的是银河麒麟 V11 系统，靠着 M50 在完全断网的状态下跑 35B 大模型，每秒 30 个 Token，写文档、做纪要都可以离线完成。

　　M50 能跑通麒麟系统，是因为它适配了主流的操作系统和CPU架构。后摩表示，M50 是国内唯一做到这一点的高算力端边AI芯片。

　　具身机器人：记得住全家人习惯的 AI 管家

　　到了客厅，星灵陪伴机器人面临的是另一道题。

　　它得察言观色读懂人的情绪，还要在日复一日的陪伴里记住一家人的生活习惯。客厅里的一举一动全是私密数据，谁都不放心传上云端。

　　装上自带 160TOPS 算力的 M50 后，星灵把情绪感知和长期记忆全部留在了机身内部，数据一步都不出家门。

　　边缘推理：一台机器，装下一堂千亿模型实训课

　　高校想教学生玩大模型，又不敢把数据和课件全放到公有云上，怎么办？

　　星网教育上了一台实训一体机，里面插的是后摩 LM5040 加速卡，单卡集成 4 颗 M50。

　　整台机器可提供 3200TFLOPS 以上的算力、1.5TB 以上的内存！千亿大模型可以部署在学校本地，算力管理平台和配套课程一起交付。

　　从 300 克的掌上盒子、纯血国产笔记本，到客厅里的陪伴机器人和校园服务器，核心虽然都是同一颗 M50，面对的模型、系统和场景却天差地别。

　　在这 150 多个项目里趟出来的适配方案和调优参数，被后摩一笔笔存进了这次开源的软件栈里，攒出了一座实打实的「工程经验银行」。

　　而现在，这座银行正式向所有开发者敞开了大门。

　　仓库要够大，马路得够宽

　　软件能这么痛快地交底，离不开后摩在芯片底层架构上的破局。

　　在传统芯片里，数据存在「仓库」（存储单元），计算在「车间」（计算单元），两边隔着老远，得不停地来回倒腾数据。AI 计算里 60% 到 90% 的电，全耗在了这段路上。

　　而后摩的方案，则是基于全新的 SRAM 存算一体技术。换句话说就是，数据存在哪儿就在哪儿算。

　　跟传统方案相比，后摩可以把芯片面积砍掉约 70%，功耗降到约十分之一！

　　但这还只解了一半的题。如今的大模型分成了两大流派，对硬件的「胃口」截然相反。

　　MoE（混合专家）模型每次只喊几个「专家」干活，可没干活的专家也得占着位置，所以它需要的是一个足够大的「仓库」（超大容量）。

　　Dense（稠密）模型正好相反，每次推理几乎所有参数都要倾巢而出，数据得像洪水一样冲进计算单元，所以它需要的是一条足够宽的「高速公路」（极高带宽）。

　　一种架构想同时搞定这俩？很难。

　　于是后摩分出了两条技术路线。

　　2D CIM 主打「大容量、高算力」，用传统 2D 封装，外接 GDDR、LPDDR5 等内存，专门对付 MoE 模型和图像、视频生成。

　　3D CIM 主打「极致带宽、高算力」，专门对付 Dense 模型。带宽跟上了，算力才不会干等数据。

　　说到 3D，现在很多人在搞 3D 堆叠，也就是把存储芯片一层层叠在计算芯片上。

　　这相当于把仓库搬到了工厂隔壁，路是短了，可数据进了工厂，还是得在老流水线上来回倒腾。

　　而后摩的 3D CIM，连工厂里的流水线都给换了。

　　在它的堆叠里，最底下负责计算的逻辑芯片，用的正是 SRAM 存算一体。

　　上面叠着的存储负责近距离喂数据（近存计算），下面的存算一体芯片就地消化（存内计算）。两层一起减少数据搬运，从而释放「1+1 大于2」的倍增效应。

　　这还远没结束。

　　目前的 3D CIM 用的是 DRAM，往后还能换成更便宜、更省电的 Flash、RRAM。

　　在今年的全球 AI 芯片峰会上，后摩已经披露，下一代 3D CIM 芯片取得了阶段性成果。

　　硬件分了两条路，跑的却是同一套软件。开发者学会一套工具，换了芯片，稍微做点适配就能接着跑。

　　当年做 OpenCL 的人，这次把家底开源了

　　说起「开放」，后摩智能创始人兼 CEO 吴强算是老熟人了。

　　早年他在 AMD 总部做第一代 GPGPU（让显卡也能做通用计算）的核心研发，也是 OpenCL 创始团队的核心成员。而 OpenCL 本身，就是一套谁都能用的开放计算标准。

　　后来，他又去 Meta 搞过芯片集群的能效优化，回国还当过地平线的 CTO。

　　如今在自己创办的芯片公司里，他把最核心的软件栈也开源了。这次大会致辞里，他给这件事定下的调子是「带头开放，高效赋能」。

　　从芯出发，向端而生

　　对终端厂商来说，拿到源码，就等于把主动权牢牢攥在了自己手里。

　　调用方式不顺手？自己改。想加个独门功能？在现有工具上二次开发。

　　出了 Bug，团队能自己查看代码、定位问题，不必只等闭源 SDK（只给工具、不给源码的开发包）的厂商排期修复。

　　后摩也表示，会快速响应 Bug 反馈，新功能、新需求随时可以提。

　　新伙伴积累的适配经验、优化过的代码，也可以补充进这套工具链，供后来的团队复用。

　　这次到场的，就是这样一群伙伴。做终端的、搞系统的、写框架的、出方案的全来了，联想、中电长城、绿联、麒麟软件、聊趣智能等还上台，分享了各自的落地经验。

　　芯片在底层撑起本地算力，开源软件在中间铺好跑道，开放生态再把上百个项目攒下的实战经验变成公共底座。

　　三块拼图合拢，做一台端边 AI 产品的门槛被实打实地降了下来。

　　从芯出发，向端而生。

　　当一家芯片公司把芯片之外的工具链和实战经验悉数开源，端边 AI 走进千家万户的路，也随之越走越宽。

　　编辑：摩西所罗门