结论前置:推理场景下,带宽比峰值算力更能决定实际吞吐
在公开的推理芯片规格书中,一个趋势已经相当清晰:单卡标称算力仍在上涨,但厂商在发布会上花时间最多的是显存容量与带宽。原因不复杂——大模型推理是访存密集型负载,权重读取、KV 缓存读写几乎每一步都要和显存打交道,算力单元经常处于等数据的状态。天天看球行业资讯栏目按时间整理公开动态时发现,围绕带宽的技术选择,正在把推理芯片分成三条路线。
需要说明的是,本文引用的具体数值均来自厂商公开规格书或行业组织白皮书,无法逐项核验的部分会标注为示例数据。天天看球不做未公开信息的推测,只做公开信息的结构化对比。
路线一:继续堆HBM,用封装换带宽
第一条路线最直接:增加HBM堆叠层数、加宽存储接口。公开规格书显示,主流推理卡的显存带宽已经进入每秒数TB区间,单卡容量向更高规格演进。这条路线的好处是生态成熟,编译器、算子库、推理框架对HBM的支持最完整;代价是先进封装产能与成本压力,芯片面积和功耗预算都被显存子系统吃掉相当比例。
天天看球在整理产业数据时注意到一个细节:公开资料里讨论HBM时,越来越多地同时提到CoWoS等先进封装形态,说明带宽竞赛本质上是封装能力的竞赛。对读者来说,判断一条产品线是否务实,不妨先看它的封装合作方与产能规划是否公开可查,而不是只看纸面带宽。
- 优势:生态成熟,软件栈适配成本低
- 约束:封装产能、成本、功耗预算
- 观察指标:公开规格书中的带宽/容量比、封装形态说明
路线二:近存计算与存算一体,把搬运距离压短
第二条路线试图从架构层面减少数据搬运。公开的学术与产业白皮书里,近存计算、存内计算被反复提及,核心思路是把计算单元放到存储阵列附近,降低单位访问能耗。这条路线在端侧和边缘推理场景讨论度更高,因为功耗约束更紧。
但要客观看待:存算一体目前公开的落地案例多集中在特定算子和小模型场景,通用大模型推理仍以HBM方案为主。天天看球建议读者把这条路线当作中长期变量跟踪,关注公开的流片验证与工具链进展,而不是被单点演示数据带偏节奏。
路线三:片上SRAM加高带宽互联,走系统级补偿
第三条路线不追求单卡带宽极致,而是用大容量片上SRAM缓存热点权重,再通过高带宽互联把多卡组成一个逻辑上的大显存池。公开的互联协议白皮书显示,这类方案的难点在于互联延迟与一致性协议,一旦跨卡通信占比升高,实际吞吐会被拉低。
这条路线对系统厂商更友好,因为它把竞争维度从单芯片转向整机与集群。天天看球在梳理公开动态时发现,围绕互联标准的生态合作明显增多,这本身就是产业节奏的信号:带宽之争正在从芯片级走向系统级。读者可以用天天看球的产业数据栏目做横向对比,看不同方案在公开测试中的表现差异。
数据解读:三条路线的时间窗口不同
把三条路线放在同一张时间轴上,结论会更清楚。HBM路线是当下主力,公开产能规划决定其供给节奏;近存计算是中期变量,取决于工具链成熟度;系统级互联是长期方向,标准落地速度比单点性能更重要。天天看球行业资讯栏目会持续按时间整理这些公开节点,并标注信息来源类型,方便读者自己判断。
对普通关注者而言,最实用的方法不是记住某个带宽数字,而是养成看规格书附录的习惯:显存类型、封装形态、互联协议、软件栈支持范围,这四项往往比首行参数更能说明问题。天天看球也会在后续的行业资讯中继续用数据解读的方式,把公开信息拆开讲清楚。
HBM那段说到点子上了,现在发布会都在讲容量,实际跑推理的时候KV缓存一涨就爆显存,带宽和容量得一起看。
存算一体我持谨慎态度,公开的演示多是特定算子,通用性还差得远,别被带节奏。
互联协议那块能不能再展开讲讲?多卡组池听起来美好,实际通信开销经常吃掉收益。
喜欢这种标注信息来源类型的做法,比只给结论的稿子靠谱多了,天天看球这个栏目可以常看。
端侧场景其实更看重功耗,HBM那套在边缘根本用不起,希望后面多写写低功耗路线。