读懂 Attention 性能，不能只看一行 PyTorch 调用
摘要
Hugging Face 的 PyTorch profiling 系列用 attention 展示了一个常见误区：高级 API 不一定总是最快。想优化模型推理，必须学会看 profiler trace、kernel 数量和后端选择。
文章讲了什么
Hugging Face 在 2026 年 7 月 10 日发布 Profiling in PyTorch 系列第三篇，围绕 attention 展示如何阅读 profiler traces 和表格，并比较 naive attention、SDPA math、efficient、flash 和 cuDNN 后端。
文章从 Q、K、V 的基本计算开始，逐步说明 attention 实际由矩阵乘法、缩放、mask、softmax 和加权求和等操作组成。
一个反直觉结果
文章展示了一个有意思的结果：某些情况下，PyTorch 的 SDPA math backend 反而比手写 naive 版本慢。原因不是 API 本身坏了，而是后端选择带来了更多 kernel launch、FP32 upcast、重复构建 causal mask 和 safe softmax 等额外工作。
这提醒我们，性能优化不能只看代码行数。看起来更现代、更短的调用，可能在当前形状、dtype 和后端下走了更慢的路径。
Flash 和 cuDNN 的启发
文章还解释了 flash attention 为什么低 occupancy 不一定是坏事。Flash 使用大量寄存器和 shared memory，是为了把 attention tiles 留在片上、复用数据、避免把完整 attention matrix 物化到全局内存。
cuDNN 后端则展示了另一种路径：根据具体问题生成和调优 attention kernel。理解这些差异，有助于开发者在性能问题上少猜、多测。
学习者应该怎么用
如果你正在学大模型工程，不要只停留在“使用 FlashAttention”这样的结论。更应该练习读 profiler：看 CUDA time、kernel launch、dtype、内存移动、mask 构建和 backend 选择。
一个实用练习是拿同一段 attention 代码，在不同序列长度、head dim、dtype 和 backend 下跑 profiler，记录什么时候性能变化最大。这样比背优化技巧更可靠。