原文：https://distill.pub/2017/ctc/
Hannun A. Sequence modeling with ctc[J]. Distill, 2017, 2(11): e8.
下面是连结时序分类(CTC)的一个可视化指导图，CTC是一种用于在语音识别，手写识别和其他序列问题中训练深度神经网络的算法。
标签： 机器学习算法
朴素贝叶斯分类器(naïve Bayes classifier)是机器学习中的一种假设特征之间强独立的基于贝叶斯定理的简单概率分类器。朴素贝叶斯自20世纪50年代起就已经广泛研究，具有快速易实现的优点，这种机器学习方法在有适当的预处理时，可以与这个领域包括支持向量机在内的更先进的方法相竞争[1]。本文将主要介绍朴素贝叶斯分类器算法的原理，并以一个小实例解释其在实际中是如何应用的。
当我们训练一个神经网络模型的时候，我们经常会遇到这样的一个头疼的问题，那就是，神经网络模型的loss值不下降，以致我们无法训练，或者无法得到一个效果较好的模型。导致训练时loss不下降的原因有很多，而且，更普遍的来说，loss不下降一般分为三种，即：训练集上loss不下降，验证集上loss不下降，和测试集上loss不下降。这里，首先默认各位都能理解过拟合和欠拟合的概念，如果有不清楚的可以参考下面的一些文章。
ASVRG是由西安电子科技大学一科研团队于近期新提出来的一个加速的近端随机变量减小的梯度方法，通过设计一个简单高效的动量加速技巧，只添加一个额外的变量和一个动量参数，使得其拥有了一个更简单且所需的训练迭代数更少的加速效果。并且，ASVRG被证明可以实现强凸和非强凸目标的最著名的oracle复杂性，此外，还可以扩展到小批量和非平滑设置。作者在论文中，还凭经验验证了理论结果，并表明ASVRG的性能与最先进的随机方法相当，有时甚至更好。
博主前一段时间在其他人的推荐下，入手了近期新出的一本名为《分布式机器学习：算法、理论与实践》的书。这是一本全面介绍分布式机器学习的现状，深入分析其中的核心技术问题，并讨论分布式机器学习领域未来的发展，不可多得的好书。这本书是基于微软亚洲研究院机器学习研究团队多年的研究成果和实践经验编写成的，可为研究生从事分布式机器学习方向研究提供参考文献，也可为人工智能从业者提供算法选择和系统设计的指导。
在进行深层神经网络的计算过程中，现在主流框架（比如TensorFlow、Pytorch、MXNet等）提供了自动求导函数，极大地简化了深度学习模型训练算法的实现。但求导，又称反向传播（back-propagation），是Deep Learning中的一个重要概念，所以在这一篇文章中主要用数学和计算图两个方式来描述正向传播和反向传播。我们将使用一个带有L2范数正则化的单隐藏层感知机为例解释正向传播和反向传播。
在上一篇文章中，我们主要是写到了关联分析的概念和一些挖掘算法的原理，在本篇文章中我们将以一个应用实例来简介一下挖掘算法是怎么实现和起作用的。我们以一次美国国会投票记录作为案例，使用Apriori算法，支持度设为30%，置信度为90%，挖掘出高置信度的规则。
关联规则挖掘是数据挖掘领域中的一个非常重要的研究内容,其主要目标就是发现数据库中一组对象之间某种有意义的联系，所发现的联系可用关联规则或频繁项集来表示。频繁集的挖掘是关联规则挖掘的关键步骤,它在很大程度上决定了关联规则挖掘的效率。本文将介绍关联规则挖掘的算法，并使用例子来实际演示如何进行关联规则的挖掘。
我们都知道，机器学习需要大量的数据来训练模型，尤其是训练神经网络。在进行机器学习时，数据集一般会被划分为训练集和测试集，很多时候还会划分出验证集（个别人称之为开发集）。但是很多新手，尤其是刚刚接触到机器学习的人，往往对数据集的划分没有概念，甚至有的人把训练后得到的模型在训练数据上取得的正确率当做是实际正确率来说了，然后各种被怼。有人在答辩时说自己训练的模型正确率100%，在座的老师面面相觑，最后结果可想而知。所以我们需要搞清楚数据集的划分，以及训练集、验证集和测试集的区别和作用。
选自Google Developers
机器之心曾开放过人工智能术语集 ，该术语库项目目前收集了人工智能领域 700 多个专业术语，但仍需要与各位读者共同完善与修正。本文编译自谷歌开发者机器学习术语表项目，介绍了该项目所有的术语与基本解释。之后，我们也将表内术语更新到了机器之心 GitHub 项目中。本文由浙江大学博士生杨海宏推荐，他的研究方向为知识图谱问答。
