关于multi-head的 一点思考

最新推荐文章于 2023-04-17 18:08:02 发布
最新推荐文章于 2023-04-17 18:08:02 发布
阅读量2.1k 收藏 4
点赞数 1
分类专栏： 算法 文章标签： 人工智能 大数据 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Airstudy/article/details/107145448
版权

Google于2017年提出了Transformer，而提出该模型的论文名为《Attention is all you need》，之前翻译该论文的时候并没有太多注意attention，更多的放在了整体的模型结构上。最近面试了一个候选人，他介绍项目用到的AOA时，提到了从“横向”和“纵向”两个维度做softmax，突然让我对Transformer中的multi-head attention有了新的求知欲（虽然这两个事情联系不大，但的确对之前不在意的细节产生了好奇）。
从文章名可以看出attention在Transformer中的重要性，那么笔者就从以下三点再来整理一下multi-head attention。
在这里插入图片描述

  • 为什么要用多个“头”呢？

这个操作和CNN使用多个卷积核的目的一样，从多个维度（或角度）来进行语义理解。只不过，在Transformer中，通过采用h个不同的权重，实现了h个线性变换。

  • W的维度和embedding维度关系

论文中 d k ∗ h = d e m b e d d i n g d_k*h=d_{embedding} d

最低0.47元/天 解锁文章
leap_ruo
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Multi-head整理—为什么 Transformer 需要进行 Multi-head Attention？
咕噜咕噜
10-13 4316
一.Attention is all you need论文中讲模型分为多个头，形成多个子空间，每个头关注不同方面的信息。 如果Multi-Head作用是关注句子的不同方面，那么不同的head就应该关注不同的Token；当然也有可能是关注的pattern相同，但是关注的内容不同，即V不同。 但是大量的paper表明，transformer或Bert的特定层有独特的功能，...
multi-head多头机制
CSDNXXCQ的博客
01-29 1648
目的:使网络捕捉到更丰富的特征/信息。 流程 1通过不同的head得到多个特征表达，比如self-attention中的矩阵Q*K的内积然后得出的特征 2将所有的特征拼接到一起 比如self-attention中的Z=A/(A+B+C)*V1+B/(A+B+C)*V2+C/(A+B+C)*V3 3再通过一层全连接层实现降维(softmax,relu) 计算: 目的获取X1,X2与Z1的关系(偏向X1),获取X1,X2与Z1的关系(偏向X2) 然后再进行一次self-attention分别得出特征r1与特征r
Multi-Head Attention的讲解
qq_41980734的博客
10-19 9608
Multi-Head Attention的讲解 一、什么是 Attention Attention机制最早是在视觉图像领域提出来的，应该是在九几年思想就提出来了，但是真正火起来应该算是2014年google mind团队的这篇论文《Recurrent Models of Visual Attention》，他们在RNN模型上使用了attention机制来进行图像分类。2017年，google机器翻译团队发表的《Attention is all you need》中大量使用了自注意力（self-attenti
Transformer中Multi-Head的理解
DataAlgo
05-26 1714
transformer中multi-head的理解
《Multi-Head Multi-Loss Model Calibration》
qq_45745941的博客
03-06 337
提供有意义的不确定性估计对于在临床实践中成功部署机器学习模型至关重要。不确定性量化的一个核心方面是模型返回与模型正确的实际概率一致的预测的能力，也称为模型校准。没有一种技术可以与简单但昂贵的训练深度神经网络集成的方法相匹配。本文介绍了一种简化的集成形式，绕过了昂贵的深度集成的训练和推断，保持了其校准能力。用一组头部来代替网络末端的常见线性分类器，这些头部被不同的损失函数监督，以加强其预测的多样性。每个头都被训练成最小化加权交叉熵损失，但不同分支之间的权重是不同的。
MultiHeadAttention多头注意力机制的原理
tostq的专栏
04-17 1万+
MultiHeadAttention多头注意力作为Transformer的核心组件，其主要由多组自注意力组合构成，Attention Is All You Need，self-attention。
A Supervised Multi-Head Self-Attention Network for Nested NE.pdf
09-17
A Supervised Multi-Head Self-Attention Network for Nested NE.pdf
bert multi-head selection
最新发布
11-01
bert multi-head selection
基于Multi-head Attention和Bi-LSTM的实体关系分类
05-06
因此本文在已有研究基础上，引入多头注意力机制（Multi-head attention），旨在让模型从不同表示空间上获取关于句子更多层面的信息，提高模型的特征表达能力.同时在现有的词向量和位置向量作为网络输入的基础上，...
Multi-objective multi-verse optimization algorithm
01-16
Optimization of problems with multiple objectives using the multi-verse optimization algorithm. Knowledge-based Systems, 2017, DOI: http://dx.doi.org/10.1016/j.knosys.2017.07.018.
Multi Elasticsearch Head-crx插件
04-02
对著名的Elasticsearch Head的改进1.保存和存储几个Elasticsearch端点2. Index选项卡中的更多列3.任何请求现在都可以处理JSON返回，如/ _cat / indices中的返回。4.外观更简洁（字体更小等。） ）
multi head attention
None_Pan的博客
06-02 517
之前这一块不太明白，看了几篇文章，来专门记下 我们需要注意的一个关键点是每个attention头都影响着整个输入句子（或者对于注意层堆叠中较高的那些句子，整个句子的表示形式）。 将所有head的输出连接起来，并与另一个矩阵相乘（该矩阵是共同学习的），该矩阵将维数减小到好像只是一个attention head一样-这样的减少可确保关注输出的前馈层始终获得向量 大小相同，而不管其前面attention头的数量如何。 假设我们有512的向量（例如，隐藏层输出）。 4头attention机制的作用是将向量分成4个块
Transfomer矩阵维度分析及MultiHead详解
muyuu的博客
03-21 2883
目录参数量各结构解析训练阶段Encoder Multihead Attention 解读Transformer就离不开下面这张图： 不同于之前的基于rnn的seq2seq模型，Transfomer完全摒弃了循环神经网络的结构： encoder层： {多头自注意力 + 前馈网络} ×n\times n×n decoder层： {掩蔽多头自注意力 + encoder-decoder多头自注意力 + 前馈网络} ×n\times n×n 下面我们介绍Transformer模型中的参数变化情况： 参数量 对于
AutoInt：使用Multi-head Self-Attention进行自动特征学习的CTR模型
浅梦的学习笔记
12-27 1万+
本文首发于知乎专栏 https://zhuanlan.zhihu.com/p/53462648 简介 这篇论文提出使用multi-head self attention(类似Transformer里的那个) 机制来进行自动特征交叉学习以提升CTR预测任务的精度。 废话不多说，先看下主要结构。典型的四段式深度学习CTR模型结构：输入，嵌入，特征提取，输出。这里我们重点看下嵌入和特征提取部分 核心结...
【深度学习】Multi-Head Attention 原理与代码实现
Dong_ZH的博客
04-25 5434
Multi-Head Attention 是由多个 Self-Attention 组合形成的。
Attention，Multi-head Attention--注意力，多头注意力详解
m0_46614636的博客
03-26 4万+
Attention 首先谈一谈attention。 注意力函数其实就是把一个query，一个key-value的集合映射成一个输出。 其中query，key，value，output（Attention Value）都是向量。 输出是values的加权求和，是query与当前key的相关程度。 Attention 函数的本质可以被描述为： 一个查询（query）到一个系列（键key-值value）对的映射。 例如：计算A与B的attention，就是用A的Q与B的K-V来计算。 Scaled Do
图注意力网络(GAT) ICLR2018, Graph Attention Network论文详解
热门推荐
祥瑞的技术博客
04-21 10万+
背景：ICLR2018 论文，Graph Attention Network在GNN中非常重要，再之前图卷积网络GCN的基础之上引入了注意力机制，非常实用。 论文地址：https://arxiv.org/abs/1710.10903 代码地址： https://github.com/Diego999/pyGAT 相关论文详解： GCN (Graph Convolutional Networ...
Multi-Head Self-Attention与Multi-Head Attention
05-14
Multi-Head Self-Attention和Multi-Head Attention都是Transformer模型中的核心模块。 Multi-Head Self-Attention是指在一个句子中每个单词使用自注意力机制（Self-Attention）来计算其上下文表示。这个过程会将每...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值