当训练和测试完成一个深度学习模型之后，如果我们打算将这个算法模型上线，投入生产环境部署使用，那么我们就需要做一些额外的处理工作。由于深度学习模型对于算力需求较大，在上线过程中，一般有减小网络规模、使用专用硬件和通过C/S架构联网进行云端计算这三种方式。AI柠檬博主推荐使用第三种方式，即模型部署于服务器端，客户端通过网络将输入数据发送至服务器，计算得结果后传递给客户端。5G时代就在眼前，IPv6协议大规模部署，万物即将互联，尤其是无线移动互联网作为重要的基础设施是大势所趋。通过联网，即使是成本最低的低端的硬件，也可以在不损失精度的情况下，能够以更快的速度得到深度学习模型的计算结果。例如，ASRT语音识别系统就是以这种方式进行模型的部署的，已经能够为AI柠檬网站提供语音识别服务，用于语音搜索等任务。
标签： 深度学习
RNN是循环神经网络的缩写，并且也是循环网络结构中的一种，我们通常使用这种网络模型来处理序列型的数据。语音识别处理的就是一个典型的有时间顺序的序列数据，自然语言文本也是。在一个普通的DNN网络中，层与层之间是全连接的，而每层中的神经元节点之间不存在任何连接，这样的一种普通DNN网络结构难以解决很多问题。以语音识别为例，不同时刻t的语音包含的字，在推理计算时，需要根据上下文来确定应该输出为什么字符，而且结果应当跟具体所在时刻t无关，否则会出现不同时间说相同的字会产生不同的识别输出的问题。
循环网络就解决了这个问题，这有点类似于隐马尔可夫模型，对于每一时刻的输入，所产生的输出值，不仅仅依赖于当前时刻t，还依赖于前N个时刻的输出值。这主要是通过在每一个循环层单元中，添加了一个记忆单元实现的。
卷积神经网络是模式识别分类常用的网络结构之一，在大规模的图像识别等方面有着很大的优势。本文将总结卷积层、反卷积层、感受野、权重参数数量等卷积神经网络相关的原理和计算过程。
GolnazGhiasi, Tsung-YiLin, QuocV.Le
Google Brain
摘要
当深度神经网络被过度参数化并经过大量噪声和正则化训练（例如权重衰减和dropout）时，它们通常可以很好地工作。尽管Dropout被广泛用作全连接层的正则化技术，但对于卷积层而言，效果通常较差。卷积层Dropout的不太成功可能是由于以下事实：卷积层中的激活单元在空间上相关，因此尽管有丢失，信息仍可以通过卷积网络流动。因此，需要结构化的Dropout形式来规范卷积网络。在本文中，我们介绍了DropBlock，这是一种结构化的Dropout形式，其中特征图的连续区域中的单元被一起Drop掉。我们发现，在卷积层之外的跳过连接中应用DropbBlock可以提高准确性。同样，在训练过程中逐渐增加的Drop单元数量会产生更佳的准确性和对超参数选择的鲁棒性。大量的实验表明，在正则化卷积网络中，DropBlock的效果要优于Dropout。在ImageNet分类中，带有DropBlock的ResNet-50体系结构可实现78.13％的准确度，比基线提高了1.6％以上。在COCO检测时，DropBlock将RetinaNet的平均精度从36.8％提高到38.4％。
Ghiasi, Golnaz, Tsung-Yi Lin, and Quoc V. Le. “Dropblock: A regularization method for convolutional networks.” Advances in Neural Information Processing Systems. 2018.
卷积层Dropout的不太成功可能是由于以下事实：卷积层中的激活单元在空间上相关，因此尽管有丢失，信息仍可以通过卷积网络流动。所以我们需要使用一个新的可以用于卷积层的Drop方法。
本文为论文 Generative Adversarial Nets 的翻译文
论文原文链接： https://arxiv.org/abs/1406.2661
Ian J. Goodfellow∗, Jean Pouget-Abadie†, Mehdi Mirza, Bing Xu, David Warde-Farley,
Sherjil Ozair‡, Aaron Courville, Yoshua Bengio§
Departement d’informatique et de recherche op´ erationnelle´
Universite de Montr´ eal´
Montreal, QC H3C 3J7´
近日，AI柠檬博主在西电华为俱乐部进行了关于深度学习应用相关的演讲，与各位同学分享深度学习的发展和最新应用，以下是演讲的全部PPT内容。
近些年来，随着深度学习的发展，语音识别的准确率已经达到较高水平。卷积神经网络的应用，对于语音识别系统准确率的提升起了至关重要的作用。虽然普通的深度卷积神经网络，随着深度的增加，准确率应该会有所提升，但是其在宽度上的限制，使得其可能无法捕捉到人类语音信号中足够的信息。近日，江南大学一团队提出了深度多路卷积神经网络MCNN-CTC模型，在没有语言模型的情况下，可将端到端声学模型的错误率相比DCNN-CTC模型下降1.10%-12.08%，并有着更好的性能。相关论文发表在Intelligent Robotics and Applications 2019。
mnist手写数字识别是入门深度学习，或者学习一个新的深度学习框架时，最容易上手的程序。本文中，我将使用mxnet深度学习框架在mnist数据集上实现一个简单的手写数字识别模型。
2019年3月，计算机领域的最高奖——图灵奖，颁发给了深度学习的三位创造者Yoshua Bengio， Yann LeCun，和Geoffrey Hinton。这三位科学家对深度学习基本概念的发明，做出的令人们轰动的实验，对工程领域和深度神经网络实际应用的贡献，使得他们的得奖当之无愧。
