先分清负载：训练看吞吐，推理看时延

训练与推理是两类不同的负载，方案筛选的第一步不是比峰值算力，而是确认自己的业务落在哪一侧。天天看球在产品与方案栏目整理公开规格时，会把同一颗芯片在两种场景下的关注点分开列，避免用单一指标横比造成误判。

训练侧的核心问题是单位时间能处理多少样本，关注的是集群吞吐、卡间互联带宽、显存容量与容错恢复能力。推理侧的核心问题是单次请求要等多久、单位时间能服务多少并发，关注的是首包时延、吞吐与功耗的平衡。天天看球建议读者先写下自己的目标：是缩短一次训练任务的排队时间，还是压低线上服务的单次响应成本。

  • 训练负载：更看重大显存、高带宽互联、长时间稳定运行。
  • 推理负载：更看重低时延、能效比、批量与并发调度。
  • 混合负载：需要区分高峰训练与常态推理的资源切分方式。

四个对比维度：算力、显存、互联、能效

确定负载类型后，天天看球建议用统一维度做横向对比，这样不同厂商的公开规格才能放在同一张表里看。第一个维度是算力，但要区分稠密与稀疏口径，也要看精度支持范围，低精度格式的支持程度往往直接决定实际吞吐。

第二个维度是显存，容量决定单卡能放多大模型或多少并发，带宽决定数据搬运是否成为瓶颈。第三个维度是互联，多卡训练时卡间带宽与拓扑结构经常比单卡峰值更能影响整体效率。第四个维度是能效，天天看球提醒读者把整机功耗与散热条件一起算进去，而不是只看芯片标称功耗。

  • 算力：注明精度口径与是否含稀疏加速。
  • 显存：容量、带宽、是否支持纠错。
  • 互联：卡间带宽、拓扑、对外接口形态。
  • 能效：整机功耗、散热方式、机房承载条件。

用统一口径做初筛：一张表走完流程

天天看球在产品与方案栏目里推荐的初筛流程是四步：先按负载定场景，再按模型规模定显存下限，然后按部署规模定互联需求，最后按机房条件定功耗上限。四步走完，候选范围通常能收敛到很小的集合，剩下的差异再交给实测验证。

这个流程的价值在于把不可比的参数变成可比的约束。比如同样是推理场景，离线批处理与在线对话对时延的要求完全不同，用同一套功耗预算去衡量就会出现偏差。天天看球建议读者在表格里保留一列“约束来源”，写明每条指标的出处是业务需求还是机房条件，后续复盘时更容易定位问题。

  • 第一步：明确训练、推理或混合负载。
  • 第二步：按模型参数量与并发数估算显存需求。
  • 第三步：按部署规模判断互联与组网形态。
  • 第四步：按机房供电与散热确定功耗边界。

容易被忽略的三件事

第一是软件栈的成熟度。同一颗芯片在不同框架、不同算子库下的实际表现差异明显，天天看球建议把公开的框架支持列表与算子覆盖情况纳入对比，而不是只看硬件参数。第二是供应与交付节奏，方案落地要考虑整机、板卡与配套网络的到货周期。

第三是长期维护成本，包括驱动与工具链的更新频率、备件策略以及团队学习成本。天天看球在整理公开方案要点时，会把这些非硬件因素单列成小节，因为它们在总拥有成本里的占比往往被低估。读者可以借助天天看球的对比视角，把硬件规格与工程条件放在同一张表里权衡，再决定进入哪条技术路线做深入验证。