2026年7月9日从 FlashAttention 看懂算子融合:为什么融合、少读写了什么、又会错在哪里用 FlashAttention 官方论文和 CUDA 源码拆解 attention fusion:从 QK、softmax、PV 的普通三段式,到 online softmax、HBM 读写减少、边界条件和 kernel 正确性风险。learning-logAI InfraGPUCUDAFlashAttention源码阅读