近日，来自 FAIR 的研究者提出结合自训练和无监督预训练执行语音识别任务，证明这两种方法存在互补性，并取得了不错的结果。
来自机器之心翻译，有修改 https://www.jiqizhixin.com/articles/2020-11-05-10
自训练和无监督预训练已经成为使用无标注数据改进语音识别系统的有效方法。但是，我们尚不清楚它们能否学习类似的模式，或者它们能够实现有效结合。
最近，Facebook 人工智能研究院（FAIR）一项研究显示，伪标注和使用 wav2vec 2.0 进行预训练在多种标注数据设置中具备互补性。
只需来自 Libri-light 数据集的 10 分钟标注数据和来自 LibriVox 数据集的 5.3 万小时无标注数据，该方法就能在 Librispeech clean 和 other 测试集上取得 3.0%/5.2% 的 WER（词错率），甚至打败了仅仅一年前的基于 960 个小时标注数据训练的最优系统。在 Librispeech 所有标注数据上训练后，该方法可以达到 1.5%/3.1% 的词错率。
在YOLOv4的论文中，有一个很重要的BoF技巧，就是马赛克数据增强。很多人刚听说马赛克数据增强的时候，不知道这究竟是一种什么样的数据增强方案，其实，它是CutMix之类的图片预处理方案的一种推广。
大家好，本次分享的是YOLOv4的那篇论文
Kunze, Julius, et al. “Transfer learning for speech recognition on a budget.” arXiv preprint arXiv:1706.00290 (2017).
大家好，本次我要分享的论文是Transfer Learning for Speech Recognition on a Budget
Ren, Yi, et al. “Fastspeech: Fast, robust and controllable text to speech.” Advances in Neural Information Processing Systems. 2019.
本次分享的论文是FastSpeech语音合成框架，这篇论文由微软研究院和浙大联合发表在NIPS2019上。
Juvela, Lauri, et al. “Speech waveform synthesis from MFCC sequences with generative adversarial networks.” 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2018.
本次论文分享的是一篇2018年发表在IEEE上的用GAN从MFCC合成语音波形的论文。
Sotelo, Jose, et al. “Char2wav: End-to-end speech synthesis.” (2017).
Char2Wav是一个2017年发表在ICLR上的语音合成模型。
GolnazGhiasi, Tsung-YiLin, QuocV.Le
Google Brain
当深度神经网络被过度参数化并经过大量噪声和正则化训练（例如权重衰减和dropout）时，它们通常可以很好地工作。尽管Dropout被广泛用作全连接层的正则化技术，但对于卷积层而言，效果通常较差。卷积层Dropout的不太成功可能是由于以下事实：卷积层中的激活单元在空间上相关，因此尽管有丢失，信息仍可以通过卷积网络流动。因此，需要结构化的Dropout形式来规范卷积网络。在本文中，我们介绍了DropBlock，这是一种结构化的Dropout形式，其中特征图的连续区域中的单元被一起Drop掉。我们发现，在卷积层之外的跳过连接中应用DropbBlock可以提高准确性。同样，在训练过程中逐渐增加的Drop单元数量会产生更佳的准确性和对超参数选择的鲁棒性。大量的实验表明，在正则化卷积网络中，DropBlock的效果要优于Dropout。在ImageNet分类中，带有DropBlock的ResNet-50体系结构可实现78.13％的准确度，比基线提高了1.6％以上。在COCO检测时，DropBlock将RetinaNet的平均精度从36.8％提高到38.4％。
Ghiasi, Golnaz, Tsung-Yi Lin, and Quoc V. Le. “Dropblock: A regularization method for convolutional networks.” Advances in Neural Information Processing Systems. 2018.
卷积层Dropout的不太成功可能是由于以下事实：卷积层中的激活单元在空间上相关，因此尽管有丢失，信息仍可以通过卷积网络流动。所以我们需要使用一个新的可以用于卷积层的Drop方法。
摘要： 在使用机器学习处理一些实际场景中的任务时，往往会面临可获取的数据量不多的问题，而生物信息学就是这样的一个领域。生物信息学相关数据的样本量有限，而且往往样本正反例不平衡，主要为正例样本，并且数据的标注成本较高，而迁移学习技术使得在这样的条件下进行机器学习成为了可能。本文主要论述使用迁移学习进行生物信息学研究的可行性、有效性和重要性。
关键词： 生物信息学; 迁移学习
