⚡ Flash Attention 图解
标准 Attention vs Flash Attention · 4 个 token · 点"下一步"逐步演示 · 场景:指代消解「Alice 喜欢 猫 她」
🔵 标准 Attention 全矩阵在 HBM
先算完整的 S = QKᵀ/√d(L×L),softmax 后再乘 V。中间矩阵全部写进/读回 HBM。
HBM 全量矩阵
正在计算
数据流动方向
🟢 Flash Attention Tiling + Online Softmax
Q 常驻 SRAM,K/V 分块(块大小 B=2)流水线处理。S 矩阵从不完整落地,只保留 m/l/O 累加器。
SRAM(片上,快)
累加器 · m (row max) / l (row sum exp) / O (未归一化)
当前分块(K/V 的前/后 2 行)
正在计算
等待加载
1 / 10
🔵 标准 Attention — HBM 访存量
写 S + 读 S + 写 P + 读 P + 写 O ≈ 84.0M 单元
L=4096, d=128:~5L² 主导,随序列长度平方增长
🟢 Flash Attention — HBM 访存量
读 K/V 一次 + 写 O 一次 ≈ 2.6M 单元
L=4096, d=128:~4Ld 主导,随序列长度线性增长 → 快 ~32×
📐 Online Softmax rescaling(合并第 1 块和第 2 块的关键):
已有 m₁, l₁, O₁,新块算出 m₂, l₂, O₂:
m_new = max(m₁, m₂) ·
l_new = e^(m₁−m_new)·l₁ + e^(m₂−m_new)·l₂ ·
O_new = [e^(m₁−m_new)·O₁ + e^(m₂−m_new)·O₂] / l_new
只用了几个标量就把两块 softmax 结果精确合并 → 不需要完整的 L×L 矩阵,结果与标准版逐位一致。