2021年[深度学习工作站购买]指南

　　在家中安装专用的深度学习工作站，这样可以通过更快的训练来节省模型制作原型的时间，同时减少反馈时间并简化结果分析。
 

　　节省金钱也是一个优先事项，因为使用的Amazon Web Services(AWS)(使用Nvidia K80 GPU提供P2实例)每月花费超过300美元，而且存储大型数据集(如ImageNet)的成本很高。
 

　　但是，有一些重要的事情要考虑，因此为那些想要构建自己的盒子的人提供了一些方便的提示。
 

　　1、选择正确的配置
 

　　您选择的组件将确定工作站的成本。但是，的预算是4000美元，相当于2年在AWS上的支出。因此，建造自己的盒子的成本效益是毫不费力的。
 

　　显卡
 

　　随着神经网络完成数千个操作，GPU速度非常重要。 GPU之所以高效，是因为它们具有很高的内存带宽，并且在使用大量数据时可以并行运行操作。它们还具有大量可以运行大量线程的核心。
 

　　GPU是至关重要的组件，因为它决定了反馈周期的速度以及深度网络的学习速度。这一点也很重要，因为大多数计算都是矩阵运算(例如，矩阵乘法)，当在CPU上完成运算时，这些运算会变慢。
 

　　您可以从Nvidia的卡中选择GPU，包括RTX 2070，RTX 2080，RTX 2080 Ti，RTX Titan甚至RTX Quadro卡。
 

　　如果您确实需要速度，则RTX 2080 Ti比RTX 2080快30%左右，而RTX 2080比RTX 2070快25%左右。
 

　　什么才是好的GPU?
 

　　GPU选择GPU时要考虑的事项包括：
 

　　品牌：建议您从Nvidia购买。过去几年，他们一直专注于机器学习，而CUDA工具包是深度学习从业人员的最佳选择。相比之下，AMD产品可能更便宜，但效率不高。
 

　　预算：值得考虑最适合您预算的商品。以前，您可以在基于Maxwell的旧Titan X上使用相同速度的半精度(FP16)，有效地使GPU内存增加一倍，但是遗憾的是，这不能在新的GPU上实现。
 

　　一个还是几个?建议使用2080 Tis。这样，就可以在两张卡片上训练一个模型或同时训练两个模型。
 

　　尽管PyTorch和Caffe 2随GPU的数量提供几乎线性的缩放比例，但是事情正在发生变化，因此在多张卡上训练模型可能会很麻烦。也就是说，一次训练两个模型似乎可以提供更多价值。但是，决定购买2 x 2080 Ti BIZON G2000，以期以后再购买两个GPU。
 

　　内存：有了更多的内存，您可以部署更大的模型并在训练过程中使用足够大的批处理大小，这有助于梯度流动。
 

　　内存带宽：这使GPU可以在大量内存上运行，并且可以视为GPU的最重要特征之一。
 

　　考虑到所有这些因素，为深度学习盒选择了RTX 2080 Ti，以提高训练速度，并且计划再增加两台2080 Ti。

　　中央处理器
 

　　CPU尽管图形处理单元(GPU)是深度学习中最小的可行产品，但中央处理单元(CPU)仍然很重要。
 

　　数据准备通常在CPU上完成，如果要同时运行不同的数据集，则需要考虑内核和线程的数量。
 

　　选择了最新的英特尔酷睿i9-9820X，因为它是中端产品，价格相对便宜，在速度方面足够有效，并且是预算范围内的最佳选择。
 

　　注意PCle Lanes
 

　　根据Andrej Karpathy的说法，使用DL /多GPU，您应该“注意CPU /主板支持的PCIe通道”。
 

　　您希望每个GPU都有16个PCIe通道以尽可能快地处理数据(PCIe 3.0为16 GB / s)。这意味着对于两个卡，需要32个PCIe通道。
 

　　如果选择具有16通道的CPU，则2个GPU将以2x8模式而不是2x16运行。但是，这可能会导致瓶颈，并且无法充分利用图形卡的容量，因此建议使用40行的CPU。

　　蒂姆·迪特默斯(Tim Dettmers)指出，对于两个GPU，每张卡8条通道只能将性能降低“ 0–10%”。因此，您可以使用8条通道，但建议每个视频卡使用16条PCle通道。
 

　　对于双GPU机器，Intel Core i9 9820X(44个PCIe通道)是理想的选择。另外，如果您有更大的预算，建议您选择高端处理器，例如Core i9-9940X。

 

　　内存
 

　　RAM如果您使用的是大型数据集，则最好获取尽可能多的内存(RAM)。购买了2个16 GB的存储棒，并计划将来再购买32 GB。

 

　　固态硬盘
 

　　决定为操作系统和数据存储选择快速固态驱动器(SSD)磁盘。还购买了用于大型数据集的慢速旋转硬盘驱动器(HDD)。
 

　　SSD：记得当购买第一台Macbook Air时，对SSD的速度印象深刻。但是，称为NVMe的新一代SSD已进入市场。
 

　　500 GB SSD PCIe驱动器提供了很多功能，同样令人印象深刻，每秒可复制1 GB的文件。
 

　　HDD：尽管SSD的速度一直在提高，但HDD的价格却越来越便宜。建议使用2 TB的存储空间，它比Macbook提供的空间要大得多，并且是一个很大的改进。

 

　　主板

　　主板在选择主板时，考虑到它可以支持四个RTX 2080 Ti，包括PCI Express通道数(最小为2x8)和4个卡的物理尺寸，还需要确保它与CPU兼容。 BIZON G2000使用市场上最好的工作站工作站主板，专为多GPU系统而设计。

 

　　电源
 

　　电源您的电源应为CPU和GPU提供足够的汁液，外加100瓦。 1600W EVGA电源是质量最好，十年保修的最佳推荐电源。