理解卷积神经网络中的自注意力机制

编辑:就要买买买2020-09-17 15:18:46 关键字:

导读

计算机视觉中的编解码结构的局限性以及提升方法。

卷积神经网络(CNN)广泛应用于深度学习和计算机视觉算法中。虽然很多基于CNN的算法符合行业标准,可以嵌入到商业产品中,但是标准的CNN算法仍然有局限性,在很多方面还可以改进。这篇文章讨论了语义分割和编码器-解码器架构作为例子,阐明了其局限性,以及为什么自注意机制可以帮助缓解问题。

标准编解码结构的局限性

图1:标准编解码结构

解码器架构(图1)是许多计算机视觉任务中的标准方法,特别是像素级预测任务,如语义分割、深度预测和一些与GAN相关的图像生成器。在编码器-解码器网络中,输入图像进行卷积、激活以及池化得到一个潜向量,然后恢复到与输入图像大小相同的输出图像。该架构是对称的,由精心设计的卷积块组成。由于其简单和准确,该体系结构被广泛使用。

图2:卷积的计算

但是,如果我们深入研究卷积的计算(图2),编码器-解码器架构的局限性就会浮出表面。例如,在3x3卷积中,卷积滤波器有9个像素,目标像素的值仅参照自身和周围的8个像素计算。这意味着卷积只能利用局部信息来计算目标像素,这可能会带来一些偏差,因为看不到全局信息。也有一些朴素的方法来缓解这个问题:使用更大的卷积滤波器或有更多卷积层的更深的网络。然而,计算开销越来越大,结果并没有得到显著的改善。

理解方差和协方差

方差和协方差都是统计学和机器学习中的重要概念。它们是为随机变量定义的。顾名思义,方差描述的是单个随机变量与其均值之间的偏差,而协方差描述的是两个随机变量之间的相似性。如果两个随机变量的分布相似,它们的协方差很大。否则,它们的协方差很小。如果我们将feature map中的每个像素作为一个随机变量,计算所有像素之间的配对协方差,我们可以根据每个预测像素在图像中与其他像素之间的相似性来增强或减弱每个预测像素的值。在训练和预测时使用相似的像素,忽略不相似的像素。这种机制叫做自注意力。

理解卷积神经网络中的自注意力机制

方程 1: 两个随机变量X和Y的协方差

CNN中的自注意力机制

理解卷积神经网络中的自注意力机制

图3: CNN中的自注意力机制

为了实现对每个像素级预测的全局参考,Wang等人在CNN中提出了自我注意机制(图3)。他们的方法是基于预测像素与其他像素之间的协方差,将每个像素视为随机变量。参与的目标像素只是所有像素值的加权和,其中的权值是每个像素与目标像素的相关。

理解卷积神经网络中的自注意力机制

如果我们将原来的图3简化为图4,我们就可以很容易地理解协方差在机制中的作用。首先输入高度为H、宽度为w的特征图X,然后将X reshape为三个一维向量A、B和C,将A和B相乘得到大小为HWxHW的协方差矩阵。最后,我们用协方差矩阵和C相乘,得到D并对它reshape,得到输出特性图Y,并从输入X进行残差连接。这里D中的每一项都是输入X的加权和,权重是像素和彼此之间的协方差。

利用自注意力机制,可以在模型训练和预测过程中实现全局参考。该模型具有良好的bias-variance权衡,因而更加合理。

深度学习的一个可解释性方法

理解卷积神经网络中的自注意力机制

图5: SAGAN中的可解释性图像生成

SAGAN将自注意力机制嵌入GAN框架中。它可以通过全局参考而不是局部区域来生成图像。在图5中,每一行的左侧图像用颜色表示采样的查询点,其余五幅图像为每个查询点对应的关注区域。我们可以看到,对于天空和芦苇灌木这样的背景查询点,关注区域范围广泛,而对于熊眼和鸟腿这样的前景点,关注区域局部集中。

标签:
相关文章
“买了一袋小鱼干,这鱼怎么有点眼熟”哈哈哈兄弟你还好吗

“买了一袋小鱼干,这鱼怎么有点眼熟”哈哈哈兄弟你还好吗

02买了新手机应该是一件让人高兴的事情,但是下面这名网友却因为买了新手机而多了不少烦恼。因为他发现自己的手机特别的[详情]

理解卷积神经网络中的自注意力机制

理解卷积神经网络中的自注意力机制

导读 计算机视觉中的编解码结构的局限性以及提升方法。 卷积神经网络(CNN)广泛应用于深度学习和计算机视觉算法中。虽[详情]

云计算厂商完成D轮融资 每年复合增长率达80% 2019年已全面盈利

云计算厂商完成D轮融资 每年复合增长率达80% 2019年已全面盈利

铅笔道9月17日讯,云计算PaaS及多云管理厂商「博云bocloud」宣布完成D轮融资,本轮融资由国鑫创投、信峘投资、金浦文创、[详情]

观点 | 国安没赢赖裁判?管理层先醒醒吧!

观点 | 国安没赢赖裁判?管理层先醒醒吧!

国安队这个赛季大踏步倒退,必定是在管理上出现了大问题!在中超第11轮的一场比赛中,北京中赫国安在3比1领先的情况下补时阶[详情]

女主行千里找孩子他爹,却不知要找的人就在身边,古装剧《清落》是认真的吗

女主行千里找孩子他爹,却不知要找的人就在身边,古装剧《清落》是认真的吗

近几年好像甜宠的电视剧要霸屏了,也不知道是不是现代的单身汪太多,只能看看剧来解自己的苦。比如《双世宠妃》、《传闻中[详情]

contact us

Copyright     2018-2020   All rights reserved.