多卡并不自动意味着训练更快，也不代表显存可以随卡数直接合并。做好多卡并行训练硬件选型，先回答三个问题：模型和训练状态能否放进单卡、卡间要交换多少数据、机房能否持续供应所需电力与散热。按这条顺序筛选，比先定卡数再补网络和电源更稳妥。
先算显存，再选并行方式
显存预算不止包括模型权重，还包括梯度、优化器状态、激活值及临时工作区。Adam 等优化器通常需要为每个参数保存多份训练状态；具体占用还会随精度、批量大小、序列长度和框架实现变化。先用目标训练配置跑小规模显存测试，并留出余量，避免只按权重大小估算。
如果模型能在单卡容纳，数据并行往往是较简单的起点：各卡处理不同数据，再同步梯度；卡数增加时，通信和同步开销也会上升。若单卡放不下，可考虑张量并行，把层内计算拆到多卡，但它更依赖低延迟、高带宽互联。流水线并行按网络层分段，可能降低单卡显存压力，不过微批次安排不当会出现设备空闲。多卡并行训练硬件应按实际拆分策略配置，而不是只看模型参数量。
互联决定扩展效率
多卡通信发生在设备之间，也发生在服务器之间。服务器内的 PCIe 是常见连接基础；采用更高速的专用互联时，仍需确认主板、加速卡及软件栈支持对应拓扑。跨服务器训练则要核对网卡速率、交换机端口、链路数量和通信库兼容性。RoCE 可在以太网上承载远程直接内存访问，实际效果取决于网卡、交换机配置及拥塞控制；InfiniBand 是另一类常见高速互联方案，网络设备和运维要求也需纳入成本。
判断是否值得增加卡数，可对比单机与多机的训练步时、通信等待和扩展效率。若增加设备后吞吐提升有限，瓶颈可能在网络、数据读取或并行配置，而非算力不足。选型时应按目标规模做小型验证，不要把峰值带宽当作应用必然达到的速度。
供电、散热与机架要一起核算
高功耗加速卡会带来持续负载，整机用电还包括处理器、内存、风扇和网卡。逐项查看设备铭牌及厂商电源要求，核对电源冗余、PDU回路容量和机房制冷能力；不要把电源标称峰值等同于适合长期运行的供电能力。还要确认机箱空间、风道、噪声限制和维护通道。卡数相同的服务器，因卡型、散热设计和网络配置不同，所需机柜条件可能明显不同。
按步骤形成候选配置
- 固定训练任务：记录模型结构、精度、批量或序列长度、优化器，以及期望的训练吞吐或完成时间。
- 测量资源占用：用代表性数据运行短训练，记录显存峰值、单步时间和通信等待；显存不足时先判断是否能调整精度或并行策略。
- 确定拓扑：根据数据并行、张量并行或流水线并行的通信特点，比较单机多卡与跨机方案，并核验设备和软件兼容性。
- 核对基础设施：汇总整机功耗、网络端口、机架空间及散热需求，确认现有环境能否承载。
- 以实测收尾：在候选机器上运行目标任务，比较总成本、有效吞吐、稳定性和扩容难度，再确定采购规模。
常见问题
多卡显存能否直接相加？
通常不能视作一整块显存。只有软件和并行方案明确支持切分模型或状态时，才能利用多卡分别承载数据。
卡越多，训练就越快吗？
不一定。通信、数据读取和同步都可能抵消新增算力，应通过目标任务实测扩展效率。
先买卡还是先升级网络？
若计划跨服务器训练且通信占比高，应先验证网络拓扑；若模型能在单机运行，先测试单机方案通常更容易控制复杂度。
归根结底，多卡并行训练硬件选型要让显存、互联和供电条件共同匹配目标任务。先测需求，再比拓扑与基础设施，最后用真实训练验证，才能避免买到用不满或无法稳定运行的配置。
