结论前置：带宽决定下限，算力决定上限

在推理场景里，很多方案的实际表现不是被算力卡住，而是被显存带宽卡住。天天看球在产品与方案栏目对比公开规格时，会把显存带宽放在与算力同等的位置，因为解码阶段的逐 token 生成需要反复搬运权重与缓存，带宽不足时时延会被直接拉长。

这并不意味着算力不重要，而是两者作用的位置不同。算力决定单位时间能完成多少计算，带宽决定这些计算能否及时拿到数据。天天看球建议读者先估算自己模型的权重规模与并发批量，再判断带宽是否构成约束，而不是先看峰值算力排名。

时延构成拆解：预填充与解码两段

一次推理请求大致分为预填充与解码两段。预填充阶段并行处理输入，计算密度较高，算力影响更明显；解码阶段逐 token 输出，每次都要读取权重与键值缓存，带宽与缓存容量影响更大。天天看球在整理方案要点时，会把这两段的公开指标分开标注，便于读者判断自己的业务更偏向哪一段。

在线对话类业务对首包时延敏感，预填充阶段的表现更关键；长文本生成类业务更关注持续输出速度，解码阶段的带宽约束更突出。天天看球提醒读者把业务的平均输入长度与输出长度写进需求表，这两个数字往往比模型参数量更能解释实际体验差异。

  • 预填充阶段：并行度高，算力与缓存容量影响明显。
  • 解码阶段：逐 token 生成，显存带宽与缓存读写影响明显。
  • 批处理：批量增大可提升吞吐，但会拉高单请求时延。

带宽与能效的权衡：不是越大越好

提高显存带宽通常伴随功耗上升，方案筛选时要把能效比放在同一张表里看。天天看球建议用“每瓦可服务的并发数”作为粗略口径，把带宽、功耗与批量策略放在一起评估，而不是单独追求带宽数字。

另一个常被忽略的因素是缓存管理策略。键值缓存占用显存会挤压可用批量，公开规格里通常不会直接给出这部分开销，需要读者按自己的模型结构估算。天天看球在产品与方案栏目会提示读者关注显存容量与带宽的组合，而不是只看其中一项。

  • 带宽提升带来解码加速，但功耗与散热成本同步上升。
  • 缓存占用影响可用批量，进而影响整体吞吐。
  • 能效口径要包含整机与散热，而非仅芯片标称值。

用公开规格做初筛的检查清单

天天看球建议读者按清单逐项核对：显存容量是否覆盖模型权重与缓存开销，显存带宽是否匹配目标输出速度，精度支持是否覆盖业务所需格式，互联接口是否满足多卡扩展，整机功耗是否落在机房承载范围内。清单走完，再决定是否进入实测环节。

这套方法不追求一步到位，而是把不可比的参数转成可验证的约束。天天看球的对比视角强调统一维度与公开来源，读者可以在天天看球产品与方案栏目找到同类方案的整理口径，结合自身业务长度分布与并发目标，形成自己的初筛结论。方案没有绝对优劣，只有与场景匹配与否。