Ghiasi, Golnaz, Tsung-Yi Lin, and Quoc V. Le. “Dropblock: A regularization method for convolutional networks.” Advances in Neural Information Processing Systems. 2018.
卷积层Dropout的不太成功可能是由于以下事实：卷积层中的激活单元在空间上相关，因此尽管有丢失，信息仍可以通过卷积网络流动。所以我们需要使用一个新的可以用于卷积层的Drop方法。
我的分享主要分为这三个部分。
首先来看什么是Dropblock
由于刚才所述问题，所以我们需要一个同时Drop掉一片连续区域的Dropout。 Dropblock是一种结构化的Dropout形式，其中特征图的连续区域中的单元被一起Drop掉。
这张图显示了Dropblock和Dropout的区别，与Dropout在特征图中随机Drop掉一些单元不同的是，Dropblock会同时Drop掉周围的一片连续区域的神经元
这是论文中Dropblock的算法过程
以及原理示意图
其中的伯努利分布的参数gamma可通过这个公式求出
这里显示了应用Dropblock在ResNet-50模型中取得的效果
以及训练中在验证集上，不同的正则化方法下的分类准确度
以及在AmoebaNet上的实验结果
从图中可以看出，当训练时block size为7时，验证集上的分类准确度更高，说明对于抑制过拟合可以起到更佳的效果。而推理的时候，更大的block size会产生负面作用，反而降低了准确度。
在COCO数据集上进行目标检测任务时，Dropblock也起到了一定的效果。在该试验中，block size为5时效果最佳。
当进行语义分割任务时，block size为16时效果更佳，不过仍然无法超过直接从ImageNet数据集上fine-tune取得的效果。
最后谢谢大家，如果有任何问题的话欢迎提出来。
| 版权声明本博客的文章除特别说明外均为原创，本人版权所有。欢迎转载，转载请注明作者及来源链接，谢谢。本文地址: https://blog.ailemon.net/2020/08/10/paper-share-dropblock/ All articles are under Attribution-NonCommercial-ShareAlike 4.0 |
关注“AI柠檬博客”微信公众号，及时获取你最需要的干货。
