3.1 注意力机制
输入“/”快速插入内容
3.1 注意力机制
3.1 注意力机制
用户5190用户89542024年6月7日修改
注意力机制原理介绍
概念上的理解
如果要用通俗易懂的语言介绍，Transformer 里面的 Attention 注意力机制和人的注意力类似。
注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。例如人的视觉在处理一张图片时，会通过快速扫描全局图像，获得需要重点关注的目标区域，也就是注意力焦点。然后对这一区域投入更多的注意力资源，以获得更多所需要关注的目标的细节信息，并抑制其它无用信息。
从增强字 / 词的语义表示这一角度介绍，一个字 / 词在一篇文本中表达的意思通常与它的上下文有关。光看 “ 鹄 ” 字，我们可能会觉得很陌生，而看到它的上下文 “ 鸿鹄之志 ” 后，就对它立马熟悉了起来。因此，字 / 词的上下文信息有助于增强其语义表示。同时，上下文中的不同字 / 词对增强语义表示所起的作用往往不同。比如在上面这个例子中， “ 鸿 ” 字对理解 “ 鹄 ” 字的作用最大，而 “ 之 ” 字的作用则相对较小。为了有区分地利用上下文字信息增强目标字的语义表示，就可以用到 Attention 机制。
Attention 帮助模型对输入的x每部分赋予不同的权重，抽取更重要的信息，使模型做出准确判断。
传统的 Attention
在介绍 Transformer 的 Self-Attention 之前，我们先来介绍一下传统的 Attention，其结构如下所示：
其中，
表示 Source 的长度
对于给定的一个 Query，计算该 Query 和各个 Key 的相似度或相关性，得到每个 Key 对应 Value 的一个权重 Score，然后对 Score 和 Value 进行加权求和。
核心：Attention 机制通过对 Source 中各个元素的 Value 进行加权求和计算得到，而 Query 和 Key 用于计算对应 Value 的权重
如果整个过程需要更加完整一点，就是下图这样：
阶段一：计算权重
采用不同的函数或计算方式（如向量点积、余弦相似度）对 Query 和 Key 进行计算，求出相似度或相关性
阶段二：Softmax 归一化
首先是因为阶段一得到的 score 可能存在分布过于分散的问题，需要将原始计算分值变成所有元素权重之和为1的概率分布，其次也可以通过 Softmax 操作更加突出重要元素的权重
阶段三：加权求和
阶段二计算结果
即为
对应的权重系数，进行加权求和即可得到 Attention 的数值，也即上面提到的公式：
其中，
表示 Source 的长度
那么传统的 Attention 有哪些问题呢？
一个比较主要的问题就是，传统的 Attention 只关注了 source 和 target 之间的关系，而忽略了本身内部词与词之间的关系。
为什么会出现 Self-Attention
•
CNN 存在长距离依赖的问题