当训练和测试完成一个深度学习模型之后，如果我们打算将这个算法模型上线，投入生产环境部署使用，那么我们就需要做一些额外的处理工作。由于深度学习模型对于算力需求较大，在上线过程中，一般有减小网络规模、使用专用硬件和通过C/S架构联网进行云端计算这三种方式。AI柠檬博主推荐使用第三种方式，即模型部署于服务器端，客户端通过网络将输入数据发送至服务器，计算得结果后传递给客户端。5G时代就在眼前，IPv6协议大规模部署，万物即将互联，尤其是无线移动互联网作为重要的基础设施是大势所趋。通过联网，即使是成本最低的低端的硬件，也可以在不损失精度的情况下，能够以更快的速度得到深度学习模型的计算结果。例如，ASRT语音识别系统就是以这种方式进行模型的部署的，已经能够为AI柠檬网站提供语音识别服务，用于语音搜索等任务。
分类： 深度学习
RNN是循环神经网络的缩写，并且也是循环网络结构中的一种，我们通常使用这种网络模型来处理序列型的数据。语音识别处理的就是一个典型的有时间顺序的序列数据，自然语言文本也是。在一个普通的DNN网络中，层与层之间是全连接的，而每层中的神经元节点之间不存在任何连接，这样的一种普通DNN网络结构难以解决很多问题。以语音识别为例，不同时刻t的语音包含的字，在推理计算时，需要根据上下文来确定应该输出为什么字符，而且结果应当跟具体所在时刻t无关，否则会出现不同时间说相同的字会产生不同的识别输出的问题。
循环网络就解决了这个问题，这有点类似于隐马尔可夫模型，对于每一时刻的输入，所产生的输出值，不仅仅依赖于当前时刻t，还依赖于前N个时刻的输出值。这主要是通过在每一个循环层单元中，添加了一个记忆单元实现的。
卷积神经网络是模式识别分类常用的网络结构之一，在大规模的图像识别等方面有着很大的优势。本文将总结卷积层、反卷积层、感受野、权重参数数量等卷积神经网络相关的原理和计算过程。
Kunze, Julius, et al. “Transfer learning for speech recognition on a budget.” arXiv preprint arXiv:1706.00290 (2017).
大家好，本次我要分享的论文是Transfer Learning for Speech Recognition on a Budget
GolnazGhiasi, Tsung-YiLin, QuocV.Le
Google Brain
摘要
当深度神经网络被过度参数化并经过大量噪声和正则化训练（例如权重衰减和dropout）时，它们通常可以很好地工作。尽管Dropout被广泛用作全连接层的正则化技术，但对于卷积层而言，效果通常较差。卷积层Dropout的不太成功可能是由于以下事实：卷积层中的激活单元在空间上相关，因此尽管有丢失，信息仍可以通过卷积网络流动。因此，需要结构化的Dropout形式来规范卷积网络。在本文中，我们介绍了DropBlock，这是一种结构化的Dropout形式，其中特征图的连续区域中的单元被一起Drop掉。我们发现，在卷积层之外的跳过连接中应用DropbBlock可以提高准确性。同样，在训练过程中逐渐增加的Drop单元数量会产生更佳的准确性和对超参数选择的鲁棒性。大量的实验表明，在正则化卷积网络中，DropBlock的效果要优于Dropout。在ImageNet分类中，带有DropBlock的ResNet-50体系结构可实现78.13％的准确度，比基线提高了1.6％以上。在COCO检测时，DropBlock将RetinaNet的平均精度从36.8％提高到38.4％。
Ghiasi, Golnaz, Tsung-Yi Lin, and Quoc V. Le. “Dropblock: A regularization method for convolutional networks.” Advances in Neural Information Processing Systems. 2018.
卷积层Dropout的不太成功可能是由于以下事实：卷积层中的激活单元在空间上相关，因此尽管有丢失，信息仍可以通过卷积网络流动。所以我们需要使用一个新的可以用于卷积层的Drop方法。
本文为论文 Generative Adversarial Nets 的翻译文
论文原文链接： https://arxiv.org/abs/1406.2661
Ian J. Goodfellow∗, Jean Pouget-Abadie†, Mehdi Mirza, Bing Xu, David Warde-Farley,
Sherjil Ozair‡, Aaron Courville, Yoshua Bengio§
Departement d’informatique et de recherche op´ erationnelle´
Universite de Montr´ eal´
Montreal, QC H3C 3J7´
近日，AI柠檬博主在西电华为俱乐部进行了关于深度学习应用相关的演讲，与各位同学分享深度学习的发展和最新应用，以下是演讲的全部PPT内容。
最近这一段时间，TensorFlow 2.0发布，这是你从没有体验过的全新的版本，为了能够尽快接触和体验到2.0新版本的特性，AI柠檬博主从mnist手写数字识别Demo入手，开始学习TensorFlow 2.0版。由于tf2原生内置keras包，无需另外安装，本样例将以tf.keras代码实现，并且在这一过程中发现，原本的keras代码仅需极少数改动即可迁移到TensorFlow 2.0，这对于之前一直使用Keras的用户来说，可谓非常友好了。
ASRT语音识别项目是AI柠檬博主于2017年初开始着手实现的一个开源项目。由于本项目从最初第一个可用版发布到现在已经有较长时间了，在软件的依赖包方面，已经与两年前有了很大的不同，本文将介绍ASRT项目在程序运行的依赖环境上的一些问题，供参考，如果后续有变化，会及时更新。几乎所有基于TensorFlow 1.x版本和Keras的程序都可以参考本文的配置。
