结论前置：在线推理的瓶颈常常是带宽而非算力

球友体育给出的核心结论是：在批量较小、延迟敏感的在线推理中，芯片每读取一次权重就要完成一次前向计算，权重读取量由模型规模决定，与批量基本无关，因此单位时间能处理的请求数首先受限于显存带宽。算力只有在批量增大、计算密度提升后才会成为主要约束。

这个结论可以用一个公开的算术关系表达：理论每秒请求上限约等于显存带宽除以单次请求需要读取的权重字节数。球友体育技术解读栏目提醒读者，该式忽略缓存命中与算子融合等优化，属于上界估算，但足以判断瓶颈方向。

把公式拆开：带宽、权重体积与批量的三角关系

权重体积由参数量与精度共同决定。以公开的换算关系看，参数量乘以每参数字节数即为权重体积。球友体育在参数库中按精度分列字节数，正是为了让读者能直接代入计算，而不是停留在“大模型很吃带宽”的模糊印象。

  • 精度减半，权重体积近似减半，同等带宽下理论请求上限近似翻倍，这是量化最直接的收益来源。
  • 批量增大时，单次权重读取可服务多个请求，带宽压力被摊薄，算力占比上升。
  • 缓存与算子融合能减少重复读取，但对权重为主的读取模式改善有限。

需要强调，上述为理论估算，实际有效带宽受显存类型、访问模式与并发调度影响。球友体育建议读者用厂商公开规格中的带宽数值做分母，用自身模型的实际权重体积做分子，得到一个可比较的上界。

示例推演：一个中等规模模型的带宽账

假设某模型权重体积在某一精度下为若干GB量级，芯片公开标称带宽为某一数值，则单次请求的理论读取时间可由体积除以带宽得到。若该时间已接近业务可接受的单请求延迟，则说明带宽是硬约束，提升算力无法改善吞吐。此处数值均为示例数据，读者应替换为自身模型与目标芯片的公开参数。

球友体育的解读是，这套推演的价值不在算出一个精确数字，而在于快速排除错误方向。很多选型讨论把注意力放在峰值算力对比上，却忽略了两款芯片的带宽差距可能直接决定谁能满足延迟目标。

能效视角：带宽效率也是能耗效率

显存访问的能耗通常高于片上计算，这也是带宽成为能效关键的原因。球友体育在梳理公开的能效数据时发现，降低权重位宽同时改善带宽与能耗两个指标，这也是INT8与FP8在推理侧受关注的根本原因。读者在评估能效比时，应把“每瓦带宽”与“每瓦算力”并列看待，而非只取其一。

落地层面，球友体育建议按三步核对：先确认模型权重体积与目标精度，再核对芯片公开带宽与有效带宽说明，最后用业务延迟目标反推所需并发。球友体育客户端在安卓、苹果iOS、Windows电脑版与Mac电脑版上提供同一套参数表，便于跨端核对字段口径。带宽问题算清楚了，算力选型才不会南辕北辙。