推荐产品
联系我们

地址:上海市长宁区仙霞路350号10幢3楼3034室

电话:021-62378659

传真:021-62378659

邮箱:0350zp@163.com

业内新闻

transformer再记编码器

来源:博天堂ag,博天堂AG手机版,博天堂ag旗舰时间: 2020-02-10浏览次数:作者:澳门皇冠
(Value)。(在本文的讨论范围内,及目前实际中绝大多数讨论中一个词的可以发现这些新向量在维度上比词嵌入向量更低 ,论文中词嵌入和编码器的输入/输出向量的维度是512,新向量

  (Value)。(在本文的讨论范围内,及目前实际中绝大多数讨论中一个词的可以发现这些新向量在维度上比词嵌入向量更低 ,论文中词嵌入和编码器的输入/输出向量的维度是512,新向量维度是64。但实际上不强求维度更小,这只是一种基于架构上的选择,它可以使多头注意力(multiheaded attention)的大部分计算保持不变。

  二、计算自注意力的第二步是计算得分。假设我们在为一个例子中的第一个词“Thinking”计算自注意力向量,我们需要拿输入句子中的每个单词对“Thinking”打分。这些分数决定了在编码单词“Thinking”的过程中有多关注句子的其它部分。这些分数是通过打分单词(输入句子的所有单词)的键向量(Key)与“Thinking”的查询向量(Query)相点积来计算的。所以如果我们是处理位置最靠前的词的自注意力的线的点积,第二个分数是q1和k2的点积。

  四、然后通过softmax传递结果。softmax的作用是使所有单词的分数归一化,得到的分数都是正值且和为1。这个softmax分数决定了每个单词对编码当下位置(“Thinking”)的贡献。

  五、将每个值向量(Value)乘以softmax分数(这是为了准备之后将它们求和)。这里的直觉是希望关注语义上相关的单词,并弱化不相关的单词。

  六、对加权值向量求和(译注:自注意力的另一种解释就是在编码某个单词时,就是将所有单词的表示(值向量)进行加权求和,而权重是通过该词的表示(键向量)与被编码词表示(查询向量)的点积并通过softmax得到。),然后即得到自注意力层在该位置的输出(在我们的例子中是对于第一个单词)。

  这样自自注意力的计算就完成了。得到的向量就可以传给前馈神经网络。然而实际中,这些计算是以矩阵形式完成的,以便算得更快。

  2、它给出了注意力层的多个“表示子空间”(representation subspace)。对于“多头”注意机制,我们有多个查询/键/值权重矩阵集(Transformer使用八个注意力头,因此我们对于每个编码器/解码器有八个矩阵集合)。这些集合中的每一个都是随机初始化的,在训练之后,每个集合都被用来将输入词嵌入(或来自上一级编码器/解码器的向量)投影到不同的表示子空间中。

  如果我们做与上述相同的自注意力计算,只需八次不同的权重矩阵运算,我们就会得到八个不同的Z矩阵。

  为了解决上述还缺少的理解输入单词顺序的方法,Transformer为每个输入的词嵌入添加了一个向量。

  更进一步,在下图中,每一行对应一个词向量的位置编码,所以第一行对应着输入序列的第一个词。每行包含512个值,每个值介于1和-1之间。我们已经对它们进行了颜色编码,所以图案是可见的。

  20字(行)的位置编码实例,词嵌入大小为512(列)。你可以看到它从中间分裂成两半。这是因为左半部分的值由一个函数(使用正弦)生成,而右半部分由另一个函数(使用余弦)生成。然后将它们拼在一起而得到每一个位置编码向量。

  综上一个编码器的结构如下图所示。我们需要提到一个编码器架构中的细节:在每个编码器中的每个子层(自注意力、前馈网络)的周围都有一个残差连接(虚线),并且都跟随着一个“层归一化”步骤。

  主要内容 自然语言输入编码 前馈网络 卷积网络 循环网络(recurrent networks ) 递归网络(re...

  【图像检索】【TPAMI重磅综述】 SIFT与CNN的碰撞:万字长文回顾图像检索任务十年探索历程

  由于简书对latex公式支持不太友好,因此为了更好的阅读体验,你可以移步至: 【TPAMI重磅综述】 SIFT与C...

  关键词:自然语言处理(NLP),词向量(Word Vectors),奇异值分解(Singular Value De...

  前面的文章主要从理论的角度介绍了自然语言人机对话系统所可能涉及到的多个领域的经典模型和基础知识。这篇文章,甚至之后...

  1 自然语言处理简介 我们从讨论“什么是NLP”开始本章的内容 1.1 NLP有什么特别之处 自然(人工)语言为什...


关于我们 简介 企业文化
联系我们

地址:上海市长宁区仙霞路350号10幢3楼3034室

电话:021-62378659

传真:021-62378659

邮箱:0350zp@163.com

扫一扫
Copyright ©  2015-2025 博天堂AG手机版  版权所有
html地图|xml地图