由于很多同学需要使用Windows系统进行GPU上的计算，比如运行TensorFlow或者Pytorch等，在Windows上正确安装CUDA和CUDNN则成了一个关键的问题。与在Linux上安装的整体流程类似，但是还有一些细节要注意，本文以Windows 10系统为例，进行CUDA环境的安装，并以TensorFlow验证安装的成功。
注：Windows下 TensorFlow的GPU版本最多支持到2.10版本，2.11及以后版本仅支持CPU，如果运行 tf.test.is_gpu_available() 是 False的话，需要注意是否是这种情况。
大约三周前，一位GitHub用户在ASRT开源语音识别项目提交了一个Issue，指出该项目不能运行于TensorFlow 2.X环境下，存在兼容问题。于是他上周向本项目提交了修改代码的Pull Request。经过本人实际测试，修改后的代码同时兼容TensorFlow 1.X版和2.X版，并且完全无错误正确运行。
最近这一段时间，TensorFlow 2.0发布，这是你从没有体验过的全新的版本，为了能够尽快接触和体验到2.0新版本的特性，AI柠檬博主从mnist手写数字识别Demo入手，开始学习TensorFlow 2.0版。由于tf2原生内置keras包，无需另外安装，本样例将以tf.keras代码实现，并且在这一过程中发现，原本的keras代码仅需极少数改动即可迁移到TensorFlow 2.0，这对于之前一直使用Keras的用户来说，可谓非常友好了。
在训练深度学习模型的时候，尤其是大规模深度学习模型的训练，我们可能会遇到一些问题，比如觉得计算速度不够快，或者显存不够用，然而，我们却无法为了提升速度或者降低存储空间占用，从而缩小模型的规模或者数据输入输出的尺寸等。这时，我们可以通过多GPU并行计算来解决这一问题。在Keras框架中，虽然本身内置了一些可以多GPU并行计算的API，但是似乎不起作用而且还常常报错。这里有一份基于TensorFlow后端实现的多GPU并行计算的模块，在Keras上亲自测试通过，可以起到通过多卡扩展显存空间和取得加速比的作用。
本文为我学习著名机器学习框架TensorFlow的过程中，对我通过一些教学资料所学到知识的笔记。本文也许看起来会跟一些教程有些相似，这实为我阅读观看实践后，对其内容进行的记录。
鉴于相关内容较多，我将在接下来对本文进行持续更新，直到本文所应当涉及的内容范围全部覆盖为止。
（20180317 最后更新）
本文已在2023年05月更新到最新方法，确保本文教程的有效性。
前言：
曾经(2017年)安装TensorFlow的GPU版本真的不是一件容易的事，好难（因为能用的教程很少，有些连最基本的一些必需的步骤都没写到，那样子的话能安装到位才是奇迹），但是现在不会了，因为本文出现了，本文是为数不多的可用教程。
在经历各种踩坑后，我终于总结出来一个走的通的安装tensorflow-gpu的方法，并且亲自动手实践，在Linux(Ubuntu) + Python3安装且运行成功。
TensorFlow是谷歌在近期开源的一款深度学习方面的框架，有纯CPU版本和使用了GPU的版本。我们通过使用它，可以大大方便我们在神经网络方面的工作，降低我们的工作量。众所周知，TensorFlow是基于Python的，所以我们需要使用Python来做。TensorFlow在Windows上仅支持64位Python 3.5。
鉴于Python2已经濒临淘汰，所以，我建议现在以及今后都直接使用Python3来做，除非你手头有一大堆现有的py2的代码项目，否则，Python2迟早是要切换到Python3，到时候又是一大堆代码要手动升级到3版本，3和2的代码差别太大了。
