深度学习】各种注意力机制：encoder-decoder,self-attention,multi-head attention的区别

转载 各种注意力机制

论文 ：https://arxiv.org/abs/2105.02358

代码：https://github.com/MenghaoGuo/-EANet

本次更新主要包含了三个方面：

加入了 multi-head external attention 机制，multi-head external attention 也可以使用两个线性层实现，由于有了 multi-head external attention 结构，我们实现了一个 MLP 结构，我们把它叫做 EAMLP。

补充了一个 ablation study 的实验以及一些分析，可以更清楚的理解这种 external attention 机制。

补充了 COCO 上的 object detection 和 instance segmentation 的实验和 Tiny ImageNet 上的生成实验。现在已经在图像分类、检测、分割、实例分割、图像生成、点云的分割和分割上证明了 external attention 的有效性。

其他见原文：转载-剩下部分写的非常好