WELCOME

Ashley's blog

A stream of thoughts

Day: 1 8 月, 2026

Transformer十问

1. Self-Attention 的参数量  一个 dmodel=512, dff=2048,h=8、最大序列长度 L=1024 的标准 Transformer Encoder Layer(一个 MHA + 一个 FFN),不包含 embedding 和 bias,它的总可训练参数量是多少? MHA部分,输入token嵌入向量转为KQV需要三个参数矩阵,其维度为dmodel×dmodeld_{model} \times d_{model}。 多

Read More »