结论前置：精度每降一档，吞吐往往翻倍，但精度损失要先算清

在天天看球技术解读栏目翻阅各家的芯片规格表，最容易踩的坑就是把“峰值算力”当成唯一指标。同一颗AI芯片，标FP16和标INT8的算力数字可能相差四倍以上，这不是厂商在玩文字游戏，而是精度与吞吐之间存在明确的工程换算关系。结论很简单：精度选择本质是一道“精度预算”题，先确定模型能容忍多大误差，再反推该用哪一档精度，而不是反过来追最高的峰值数字。

天天看球在整理公开规格书时发现，多数AI芯片会同时给出FP32、FP16/BF16、FP8、INT8甚至INT4多档算力。看这些数字时，先问三个问题：这档精度是否被软件栈原生支持、实际部署时是否走这条数据通路、以及换算成能效比之后还剩下多少优势。

数据口径：峰值算力、有效算力与能效比是三件事

结论先行：规格书上的峰值算力是理论上限，真正决定体验的是有效算力和能效比。天天看球建议把这三个概念分开记录，避免混用。

  • 峰值算力：按阵列规模、频率与每周期乘加次数推算的理论值，通常标注“示例数据”口径下的理想条件，实际很难跑满。
  • 有效算力：扣除访存等待、调度开销、算子不支持带来的空转后，模型实际能吃到的算力。公开资料里常用“达到峰值的一定比例”描述，具体比例因模型结构差异很大。
  • 能效比：每瓦功耗对应的算力或吞吐。数据中心看TOPS/W，端侧更关注每帧功耗。天天看球提示，跨精度比较能效比没有意义，必须锁定同一精度档位。

这三者的关系可以粗略理解为：峰值算力决定天花板，有效算力决定实际表现，能效比决定长期成本。只看第一项，就容易得出与真实体验相反的结论。

精度谱系：从FP32到INT4，每一档换来了什么

结论前置：精度下降带来的收益并非线性，FP32到FP16是一次大跳，FP16到FP8是第二次大跳，再往下则要看模型和校准方案。天天看球按公开技术文档的通行描述，把常见档位整理如下。

  • FP32：训练与高精度推理的基准档，动态范围充裕，但吞吐最低、功耗最高，通常只用于对数值稳定性要求极高的环节。
  • FP16 / BF16：主流训练与推理档。BF16牺牲尾数精度换取与FP32相同的指数范围，溢出风险更低，因此在训练侧更受欢迎；FP16则在推理侧更常见。
  • FP8：近两年被广泛讨论的推理加速档，需要配合缩放因子与校准流程，对软件栈成熟度要求高。天天看球提醒，规格表标了FP8不等于开箱即用，要看工具链是否提供量化与校准支持。
  • INT8 / INT4：整数档位，吞吐优势明显，但对激活值分布敏感，量化误差需要通过校准集控制。INT4更适合权重压缩场景，激活值仍多保留在更高精度。

一个常被忽略的点是：混合精度才是常态。实际部署中往往是权重用低精度、激活值用中精度、累加用高精度，规格表上的单一数字无法完整反映这条通路。

看参数表的实操清单：天天看球给出的五个核对项

结论前置：把规格表当起点而不是终点，用五个核对项过滤掉不可比的数字。天天看球在梳理公开资料时总结出这套流程，适合在选型初期快速缩小范围。

  • 核对精度档位是否标注了测试条件，包括批量大小、序列长度与是否含稀疏加速。
  • 核对软件栈对该精度的支持程度，是否有公开的量化工具与算子覆盖说明。
  • 核对显存容量与带宽是否匹配目标精度下的模型体积，低精度省下的显存可能被更大的批量抵消。
  • 核对互联能力，多卡场景下精度策略往往与通信量相互牵制。
  • 核对能效比的测试口径，是整卡功耗还是芯片功耗，是否包含内存子系统。

天天看球的建议是，把上述五项做成一张对照表，同精度、同口径、同测试条件才有比较价值。精度不是越高越好，也不是越低越划算，而是与模型、软件栈、功耗预算三者匹配的那一档最优。后续天天看球还会从显存带宽与互联拓扑的角度继续拆解这些数字背后的约束，帮助读者把参数表读成一张可用的决策图。