标签： 计算机视觉

GolnazGhiasi, Tsung-YiLin, QuocV.Le
Google Brain

摘要

当深度神经网络被过度参数化并经过大量噪声和正则化训练（例如权重衰减和dropout）时，它们通常可以很好地工作。尽管Dropout被广泛用作全连接层的正则化技术，但对于卷积层而言，效果通常较差。卷积层Dropout的不太成功可能是由于以下事实：卷积层中的激活单元在空间上相关，因此尽管有丢失，信息仍可以通过卷积网络流动。因此，需要结构化的Dropout形式来规范卷积网络。在本文中，我们介绍了DropBlock，这是一种结构化的Dropout形式，其中特征图的连续区域中的单元被一起Drop掉。我们发现，在卷积层之外的跳过连接中应用DropbBlock可以提高准确性。同样，在训练过程中逐渐增加的Drop单元数量会产生更佳的准确性和对超参数选择的鲁棒性。大量的实验表明，在正则化卷积网络中，DropBlock的效果要优于Dropout。在ImageNet分类中，带有DropBlock的ResNet-50体系结构可实现78.13％的准确度，比基线提高了1.6％以上。在COCO检测时，DropBlock将RetinaNet的平均精度从36.8％提高到38.4％。

Ghiasi, Golnaz, Tsung-Yi Lin, and Quoc V. Le. “Dropblock: A regularization method for convolutional networks.” Advances in Neural Information Processing Systems. 2018.

卷积层Dropout的不太成功可能是由于以下事实：卷积层中的激活单元在空间上相关，因此尽管有丢失，信息仍可以通过卷积网络流动。所以我们需要使用一个新的可以用于卷积层的Drop方法。