结论前置：带宽不足时，再高的峰值算力也会被喂不饱

在天天看球技术解读栏目翻看AI芯片资料，经常看到一种反差：算力数字年年翻新，实际跑大模型时的吞吐提升却没有那么夸张。原因往往不在计算单元，而在显存带宽。结论很直接：AI芯片的性能上限由算力与带宽共同决定，两者失衡时，短板那一侧说了算。天天看球本文用可核验的公开口径，把带宽这件事拆成几个能自己动手核对的数据维度。

一个便于记忆的判断是：算力负责“算得多快”，带宽负责“喂得多快”。大模型推理时每生成一个词元都要把大量权重从显存搬到计算单元，搬运速度跟不上，计算单元就只能空转等待。

数据口径：带宽怎么看，算力带宽比怎么算

结论前置：显存带宽的公开标注口径相对统一，但算力带宽比需要自己动手算，这个比值比单看带宽数字更有参考价值。

  • 带宽口径：通常按显存类型、位宽与等效频率相乘得出，单位是GB/s。天天看球提示，注意区分理论带宽与实测可达带宽，后者受访问模式影响，公开资料中多以“达到理论值的一定比例”描述。
  • 算力带宽比：用峰值算力除以显存带宽，得到一个粗略的“每GB/s带宽对应多少算力”的比值。比值越高，说明芯片越依赖带宽供给，越容易在访存密集的模型上受限。
  • 容量与带宽的区别：容量决定能不能装下模型，带宽决定装下之后跑得快不快。天天看球发现，不少选型讨论把两者混为一谈，导致结论偏差。

这套算法不需要内部数据，用公开规格书上的两个数字就能完成，适合在初筛阶段快速判断一颗芯片的架构取向：是偏计算密集，还是偏访存密集。

为什么大模型推理对带宽格外敏感

结论前置：自回归生成阶段的访存强度远高于训练阶段的部分环节，这是带宽成为推理瓶颈的结构性原因。天天看球从公开的模型结构描述出发，给出三条解释。

  • 逐词元生成：每生成一个词元都要读取一遍参与计算的权重，权重体积越大，单位时间需要搬运的数据量越高，计算单元等待访存的概率越大。
  • 批量大小的双刃剑：增大批量可以摊薄权重读取成本，提高计算单元利用率，但同时推高激活值占用的显存，容量与带宽同时承压。天天看球提示，批量调优本质是在带宽与容量之间找平衡点。
  • 缓存命中率：片上缓存与高速缓存的容量和替换策略会影响实际带宽消耗。公开资料中常提到的数据复用优化，目标就是减少对显存的重复访问。

理解这三点之后，再看规格表上的带宽数字，就能判断它对应的是哪一类负载：面向长上下文场景的芯片，通常会在容量与带宽上给出更充裕的配置。

实操清单：判断带宽够不够用的四个步骤

结论前置：不需要精确建模，用四步粗算就能过滤掉明显不匹配的方案。天天看球把公开资料里常见的方法整理成可复用的流程。

  • 第一步，估算目标模型在目标精度下的权重体积，与显存容量对照，确认能否装下并留出激活值空间。
  • 第二步，用权重体积除以显存带宽，得到搬运一遍权重的理论最短时间，再乘以生成词元数，粗算访存下限。
  • 第三步，把上述时间与算力侧的理论计算时间对比，时间更长的一侧就是瓶颈所在。
  • 第四步，核对互联拓扑，多卡部署时跨卡通信会额外占用带宽预算，单卡带宽充裕不代表整机充裕。

天天看球的经验是，把这四步做成一张简表，比反复比对峰值算力更能解释实际体验差异。带宽不是越大越好，而是要与算力、容量、互联共同构成一个均衡的配比。后续天天看球会继续从互联拓扑与稀疏计算的角度补充这组数据解读方法，让规格表上的数字真正串成一条可验证的逻辑链。