自注意力与多头注意力Self-Attention and Multi-Head Attention

句子里的词义不固定。「苹果」在「吃苹果」和「苹果发布新手机」里完全是两回事。词的向量表示如果一成不变，模型就没法处理这种歧义。自注意力就是解决这个问题的机制：让每个词的表示根据上下文动态调整。

自注意力怎么工作

• 每个位置的向量各自投影出三组向量：查询、键、值。
• 用当前词的查询，和所有词的键做相似度计算，得到一组权重。
• 权重经过归一化，变成加起来等于一的分配比例。
• 用这些比例对所有值加权求和，得到这个词的新表示。 要点是：查询、键、值全部来自同一句话，所以叫「自」注意力。算完之后，「苹果」的向量已经混入了「吃」或「发布」的信息，不再是孤立的一个词。实际使用时会把整句的向量拼成矩阵一次算完，靠掩码来控制某个位置能不能看到后面的内容。

多头

只做一次注意力，模型可能只学会一种关系。多头注意力的做法是把维度切成若干份，每份用一套独立的参数并行算一遍，再把结果拼起来、过一次线性变换。 打个比方：读一句话时，你可能同时在做几件事——判断谁修饰谁、谁是动作的发出者、哪个词和哪个词指同一件事。多头就是让模型同时开几路这样的分析，最后汇总。模型并不会被指定每一路负责什么，分工是在训练中自发形成的。

为什么重要

它是 Transformer 的计算核心，也是模型能同时把握近距离搭配和远距离指代的原因。而且这些操作都是矩阵乘法，非常适合在加速硬件上并行。

常见误区

• 头越多越好？ 不是。头数增加会摊薄每个头的维度，超过某个点收益就趋于平缓，还要付出更多计算和显存。
• 权重可视化等于解释？ 只能提供线索，不能当作严格的因果证明。