关于深度学习工作站配置的一点建议

关于深度学习工作站的搭建

最近有几个帖子询问深度学习工作站的搭建方案，我也在主帖里面进行了一些回复。正好这周休息，有空自己写一个帖子。其实自己也不是什么大神，只是这两年自己、实验室配置了几台，所以一些经验和建议和大家分享一下。自己水平有限，很多细节其实也不是完全清楚，所以也算抛砖引玉，请大神能够指点。

这两三年深度学习和神经网络是非常火的领域，很多很多企业、科研机构、高校、实验室甚至个人都想进入这个热点。所以除了intel、nvidia、amd这些计算能力提供厂商以外，很多服务器、工作站的整机或DIY厂商也在提供服务和计算平台。这里主要还是针对小规模的桌面级，或者实验室用的计算平台。需要说明的是，新卡和新U要上了，这里还是按照10系卡和8系U在讨论，等到新卡和新U上了按等级替换就可以了。

1、明确应用场所，或者说，谁出钱。企业或研究机构作为生产力工具，或者说类似于天河的大型科学设备，那完全是另一种概念，也不在讨论范围之类。这里的重点还是实验室工作站和个人研究工作站，而且也不去说多节点配置。

2 实验室工作站：

老板或导师出钱，一般而言可以在预算范围内尽量高配，同时也可以交给整机供应商配好。一般分为公用计算机、比赛机器。比赛机器一般单卡，可归为个人研究用；而公用计算机建议4卡起配，现在的单工作站/服务器一般最多10卡。所以4卡、8卡、10卡是较为常见的方案。其中4卡可选择塔式或者机架式4U机箱，而8卡或10卡则都是机架式机箱了。4卡可DIY自行配制，归为个人研究工作站讨论，这里只说说8卡和10卡。8卡和10卡一般采用机架式4U机箱，而且需要PCIE扩展母版，较为常见的是超微4028，这些配件自己DIY并不方便，所以推荐可以直接由供应商配齐，或者自己买准系统，再选择gpu和硬盘。需要说明几点：

1）个人在实验室里还是喜欢机架式机箱，即使是4卡甚至单卡，因为可以方便地插一些采集卡或板级示波器，可以兼顾硬件调试、图像采集和图像处理研究，但要注意主板接口，很多板卡是PCI的。

2）8卡或10卡主机一定要上机柜，而且单独房间放置，因为噪声很大。

3）虽然是老板花钱但还是有预算的，我还没有见过哪个实验室上v100的，8卡或10卡一般还是1080ti或titan xp；k80倒是见过，但那已经是比较豪的实验室了，不知道是否有学校实验室上多块v100的。

3 个人研究工作站，意味着自己出钱，那就要好好计划了，所以展开细说。首先要明确自己的目标，可以考虑AWS，也可以自己配置主机，关键是要有恒心坚持。

与普通个人电脑不同，深度学习工作站的配置顺序是GPU数量和选型→CPU→主板→机电→硬盘IO→内存。

1）最重要的当然是GPU，确定了GPU数量就可以确定PCIE通道数，也就是CPU的一个指标，这个指标往往是个人电脑配置容易忽视的，也是牙膏厂喜欢缩水的地方（包括主板芯片通道）。常见的8700k是16通道，可以满足GPU
PCIE3.0 ×16的需求。×16可以说是满血，但实际上×16和×8性能差别微乎其微，所以一般计算所需通道数量的时候按照×8计算。例如，单卡的话可以随便选择；双卡则至少是8×2，也就是16个PCIE通道。

需要注明的是，上述是直连CPU通道，而m.2（×4）、USB、SATA则可以走南桥PCH
DMI2.0/3.0。

关于GPU型号，根据研究性价比最高的是1080ti，如果只是随便搞搞，可以选择1070ti，不怎么缺钱就titan
xp。钱特别多就不讨论了。

2）确定了PCEI通道数，就需要明确CPU和主板的选择，由于深度学习不依赖CPU，只要主频不过低拖后腿即可，且一卡一核；因此主要是根据pcie通道来选择。

一般单卡或双卡可以上8700K/8700和Z370主板；而双卡也可以选择7800x或7820x，这两款cpu有28个PCIE通道，所以你可以实现×16+×8的配置，或者三卡配置3×8，而且现在7800x非常便宜，只是x299主板较贵。而且x299被称为大号z270，因为m.2无法直连cpu，而是连接南桥pch，所以m.2要和usb、sata等一系列接口和设备抢通道。当然，只是接一个，不组阵列就无所谓了。

至于4卡，则有多种配置方法，较为复杂，可分为6850K+x99方案、7900x+x299方案、E5+c612方案以及线程撕裂者方案。其中：

a）6850K（40
lane）+华硕x99
ws/E是最经典的方案，该主板用料扎实，通过plx芯片实现了四路显卡（一般的x99或x299都是三路），价格略贵（3600~3700），但还是远低于x299
ws/E，而且6850K的价格不贵。

b）7900x+华硕x299
ws/E。板U价格较贵，都要1万+了，而且x299存在上述问题，存储扩展性一般，虽然对个人电脑影响没有那么大。所以除非是不缺钱，而且有其它用途对U性能要求较高，不然单纯就深度学习而言性价比不高。

c）E5+C612/621，E5
16XX+超微x10SRA可能是目前成本最低的4卡组合了，或者捡捡2650以下型号的正显版，还是很多的。x10DRG-Q则是非常平衡的板子，双U利器，但是要有匹配的机箱才行。

d）1900x+x399主板，A家性价比还是高，虽然本领域A家的支持还是要弱一些，但是这个可能是目前性价比最高的平台了。如果无法忍受老U，不想玩服务器U的，或在意保修，那么这个就是最好的选择了。不过建议等2900x，对深度学习支持更好。需要注意的是散热支持，建议利民或猫头鹰兼容TR4的散热。

另外，微星主板有数起linux下无法工作的情况，由于要用ubuntu，所以建议华硕或技嘉。

3）由于要长时间高负荷工作，机电在工作站配置中是不可忽视的重点。电源不要省钱，全模组金牌是必须的，因为全模组做到金牌难度更大，往往用料更好。单卡就是650W-750W电源；双卡就是1000-1200W；四卡1500W以上。要便宜点的就选长城巨龙，好一些的无非是海啸、EVGA（超级花方案，但价格和保修更美好）。NVIDIA四卡机配的是EVGA
1600 G2，我觉得是性价比较高的选择，好一些可以选T2，壕一些那当然是贼船AX了。

桌面级个人用机箱肯定是塔式，要求是槽数满足要求，散热较好。这里可以看一下jd深度学习工作站选用的机箱，一般是贼船air
540和追风者614，可为4卡留下空间。这两款的散热都很不错。我自己和实验室都用的air
540。如果觉得贵了那就追风者，还觉得贵了那就黑洞（不能4卡）。

CPU散热，一体水冷是比较好的方案，尤其是air
540和H115i是绝配，我们目前也在用，如果不喜欢一体水冷也可以上风冷，这里不多说。

4）硬盘IO对于速度影响是比较大的。由于个人工作站一般是不会上磁盘阵列，因此这里比较建议走pcie通道的nvme固态硬盘，推荐的是sm961
256g或512g。

5）内存的考虑顺序是容量优于时序优于频率，这里是有具体研究的。所以不用追求高频内存，一般根据显存大小配置内存，内存容量是显存的1-2倍。一般单卡配32G，双卡32G或64G；四卡64G、96G或128G。其它除了和散热的兼容性外就没什么要注意的了，ECC也没有那么重要。c14更好，觉得贵了普通的即可。

4 下面是几台在用的主机配置，供参考：

1）自己在家用的itx深度学习配置（其实就是个游戏主机，机箱和主板一换就是一个普通atx的深度学习工作站或者游戏主机）：

2）实验室在用的双卡个人深度学习工作站，直接从供应商那里买的，所以不是特别喜欢……

3）实验室在用4卡机配置，基于E5+C612方案，实际上主板是单U板，E5可以选择2623、2640、2650这些，一下子可以便宜5-6k。

4）自己在用的4卡主机

上面这个四卡配置应该说还有降价空间，如果能上EVGA的车，显卡就可以便宜5k+，不加装风扇，机箱和电源降一下，还可以省1k+。选择1900x+x399套装还能省一些。应该说是目前性价比比较高的了。

5）线程撕裂者性价比配置

加入hupu12年了（第一个号被永久了，这个号也快11年了），也很少发主贴，再多说一点，也算是给仍在读的学生的一点建议吧：

正如前面说的，这两三年深度学习和神经网络非常火，我自己在招聘的时候，很多应届生或在职社招的应聘者，尤其是计算机、IT、电子相关专业领域的，都有自学过一些深度学习的知识，并用某种主流框架进行训练的经验。这说明了两点：一个是这个方向比较热；另一方面则是门槛确实不高。这里的门槛包括几个含义，一是研究条件，这也是大家纷纷进入该领域且中国人在该领域颇有建树的关键，不需要大型设备也不需要工艺积累（看看半导体…），硬成本低；一个8卡或10卡的工作站对于比较好的实验室而言开支也并不太大，个人用个电脑即可，还可以兼顾打游戏，或者干脆租AWS。第二则是对于很多人而言，个人技术基础要求不算高，但这点取决于你个人的定位，也是配这个工作站时最需要去考虑的问题。现在工具非常发达，且不说python语言非常“高级”，caffe、tensorflow等框架将很多工作变成了“敲命令行”，公共资源也比较丰富，导致很多学生甚至没有看过源码。按照我们自己的话说，这是“电子鸦片”，开发工具越来越强悍、高级，对个人的数理基础和技术水平要求随之降低，不仅仅是在IT、电子技术，在光、机、热很多领域都是如此。但是在实际工作中，实现和应用是非常重要的，因此，神网训练后模型的压缩、部署乃至专用芯片的设计是很多企业真正看重的，也是你个人能够脱颖而出的关键。因此，非常建议再花一点点钱，配上一块开发板，研究嵌入式平台上高效的实现方法，并且最好能够深入到RTL级。当然，这些对个人天赋有比较高的要求，但事在人为，而且在找工作时接没接触过相关内容还是比较重要的。