分类
机器学习及应用

[论文分享]Dropblock:一个用于卷积网络的正则化方法

Ghiasi, Golnaz, Tsung-Yi Lin, and Quoc V. Le. “Dropblock: A regularization method for convolutional networks.” Advances in Neural Information Processing Systems. 2018.

卷积层Dropout的不太成功可能是由于以下事实:卷积层中的激活单元在空间上相关,因此尽管有丢失,信息仍可以通过卷积网络流动。所以我们需要使用一个新的可以用于卷积层的Drop方法。

我的分享主要分为这三个部分。

首先来看什么是Dropblock

由于刚才所述问题,所以我们需要一个同时Drop掉一片连续区域的Dropout。 Dropblock是一种结构化的Dropout形式,其中特征图的连续区域中的单元被一起Drop掉。

这张图显示了Dropblock和Dropout的区别,与Dropout在特征图中随机Drop掉一些单元不同的是,Dropblock会同时Drop掉周围的一片连续区域的神经元

这是论文中Dropblock的算法过程

以及原理示意图

其中的伯努利分布的参数gamma可通过这个公式求出

这里显示了应用Dropblock在ResNet-50模型中取得的效果

以及训练中在验证集上,不同的正则化方法下的分类准确度

以及在AmoebaNet上的实验结果

从图中可以看出,当训练时block size为7时,验证集上的分类准确度更高,说明对于抑制过拟合可以起到更佳的效果。而推理的时候,更大的block size会产生负面作用,反而降低了准确度。

在COCO数据集上进行目标检测任务时,Dropblock也起到了一定的效果。在该试验中,block size为5时效果最佳。

当进行语义分割任务时,block size为16时效果更佳,不过仍然无法超过直接从ImageNet数据集上fine-tune取得的效果。

最后谢谢大家,如果有任何问题的话欢迎提出来。

版权声明
本博客的文章除特别说明外均为原创,本人版权所有。欢迎转载,转载请注明作者及来源链接,谢谢。
本文地址: https://blog.ailemon.net/2020/08/10/paper-share-dropblock/
All articles are under Attribution-NonCommercial-ShareAlike 4.0

关注“AI柠檬博客”微信公众号,及时获取你最需要的干货。


发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

19 − 2 =

如果您是第一次在本站发布评论,内容将在博主审核后显示,请耐心等待