在进行深层神经网络的计算过程中，现在主流框架（比如TensorFlow、Pytorch、MXNet等）提供了自动求导函数，极大地简化了深度学习模型训练算法的实现。但求导，又称反向传播（back-propagation），是Deep Learning中的一个重要概念，所以在这一篇文章中主要用数学和计算图两个方式来描述正向传播和反向传播。我们将使用一个带有L2范数正则化的单隐藏层感知机为例解释正向传播和反向传播。 （更多…）
-
在人工智能时代，程序设计是重要的基础
写在前面：本文是从作者在某大学提交的一份专业报告中的主要内容修改而来，由于作者觉得具有一定的现实意义，故发布出来。
近年来，越来越多的人们，无处不谈人工智能，不论是在大街上，还是媒体上，或者社交软件上。仿佛，我们突然经过了一个人工智能时代开始的时间节点，任何事情，加入了人工智能，就立即变得高端了起来。中国的多所一流大学，自2017年的中国科学院大学和西安电子科技大学先后成立人工智能学院以来，在2018年，包括清华在内，也纷纷成立人工智能学院，掀起了一股“成立人工智能学院”的浪潮。不过，人工智能是建立在计算机科学、应用数学、统计学等多学科交叉的基础之上的，其中，计算机科学是关键，是人工智能的灵魂，是实现我们未来智能生活的工具。而大学中，计算机软件方面的课程，尤其是程序设计和算法，是未来人工智能时代，AI人才培养的基础。
-
AI柠檬博客开放访客投稿啦
AI柠檬博客从2017年年初开服，到现在已经一年半多啦，博客经过发展，迈过了必经的几道坎，现在正式决定开放访客投稿。我作为一个个人博客的博主，很欢迎各位想让自己的文章被更多人看到的朋友们，将自己的原创文章投稿在这里。（^_^）
-
数据结构：树和二叉树
在数据结构中，存在着线性结构和非线性结构两种，而树型结构就是其中的一种非线性结构，最常用的有树和二叉树。树是一种以分支关系定义的层次结构，其实例广泛存在与人类的社会生活中的方方面面，比如社会组织机构中的层次关系等。在计算机领域中，树在编译程序、数据库系统中，也有着很重要的应用。
-
AI柠檬开通微信公众号了
经过为期一年半的博客运行，继开通Twitter账号、知乎专栏之后，AI柠檬又要在又一个新的平台上跟各位见面啦。微信公众号搜索“AI柠檬博客”或者微信号“ailemon_me”，点击关注即可，二维码在文章末尾。本公众号将不定期更新发布本博客的文章，或者新文章发布的通知。
-
西安电子科技大学焦李成：AI发展，人才培养首当其冲
本文转载自 机器之心 · 大数据文摘
9月8日，以“人工智能：技术创新与社会影响”为主题的百千万人才工程创新大讲堂在京开幕。中国科学院副院长相里斌、人力资源社会保障部副部长汤涛出席活动。中国科学院院士、中科院自动化所智能感知与计算中心主任谭铁牛、中国科学院院士陈霖分别发表主旨报告。
其中，就人工智能人才培养的探索，来自西安电子科技大学的焦李成教授发表看法。
-
浅谈深度学习:如何计算模型以及中间变量的显存占用大小
前言
亲，显存炸了，你的显卡快冒烟了！
torch.FatalError: cuda runtime error (2) : out of memory at /opt/conda/conda-bld/pytorch_1524590031827/work/aten/src/THC/generic/THCStorage.cu:58
想必这是所有炼丹师们最不想看到的错误，没有之一。
OUT OF MEMORY，显然是显存装不下你那么多的模型权重还有中间变量，然后程序奔溃了。怎么办，其实办法有很多，及时清空中间变量，优化代码，减少batch，等等等等，都能够减少显存溢出的风险。但是这篇要说的是上面这一切优化操作的基础，如何去计算我们所使用的显存。学会如何计算出来我们设计的模型以及中间变量所占显存的大小，想必知道了这一点，我们对自己显存也就会得心应手了。
本文转载自：Oldpan的个人博客
浅谈深度学习:如何计算模型以及中间变量的显存占用大小（https://oldpan.me/archives/how-to-calculate-gpu-memory）