在训练深度学习模型的时候，尤其是大规模深度学习模型的训练，我们可能会遇到一些问题，比如觉得计算速度不够快，或者显存不够用，然而，我们却无法为了提升速度或者降低存储空间占用，从而缩小模型的规模或者数据输入输出的尺寸等。这时，我们可以通过多GPU并行计算来解决这一问题。在Keras框架中，虽然本身内置了一些可以多GPU并行计算的API，但是似乎不起作用而且还常常报错。这里有一份基于TensorFlow后端实现的多GPU并行计算的模块，在Keras上亲自测试通过，可以起到通过多卡扩展显存空间和取得加速比的作用。
标签： Keras
我们在使用Keras训练深度学习模型时，往往不能一次将数据全部加载进内存中，那样会导致内存不足的问题。包括Keras在内的深度学习框架提供了动态数据加载的模式，也就是说，需要使用到哪些数据时，才会加载哪些数据，而Keras需要我们自己定义一个数据生成器，并通过多线程的机制调用我们传入的数据生成器，克服硬盘的IO速度瓶颈，以实现数据的动态加载。
在深度学习方面，Keras提供了这样一个能够非常方便地搭建神经网络的工具，而且很容易快速上手。mnist手写数字识别是神经网络入门后的一个非常容易上手做的一个程序，尤其是在使用了深度学习框架后，不论是DNN还是CNN，都很简单。这篇文章里，我将介绍一下，使用keras实现mnist手写数字识别的程序。通过这篇文章，你应该就能够学会如何通过keras搭建自己的神经网络了。
