H100、H200 与 B300：应该租用哪款 GPU？

发布于 2026年10月1日

如果工作负载在每卡 80 GB 显存内即可运行，且希望有最多的供应商可选，可以租用 H100。如果更大的显存能简化模型切分或支持更长的上下文，可测试 H200（141 GB HBM3E）。如果需要最大的显存和多节点扩展能力，可评估 B300（Blackwell Ultra）。

先确定一个能跑通的工作负载、一个可衡量的结果，以及完成整个任务的预算。合适的租赁方案，是能以可接受的总成本满足这些要求的配置。更新一代的 GPU 本身并不能决定选择。

比较具体型号

H100 这个名称还涵盖其他型号。NVIDIA 列出的 H100 NVL 为每卡 94 GB，因此不应在未说明的情况下把 H100 NVL 报价当作 H100 SXM 报价。请比较实际 SKU 和拓扑。NVIDIA H100 规格 · NVIDIA H200 规格 · NVIDIA Blackwell Ultra 规格

第一步：确认显存是否够用

训练场景需要计入模型、激活值、优化器状态以及框架自身的工作内存。自行部署推理服务时，需要计入模型权重、KV cache，以及计划支持的并发量和上下文长度。

请用具有代表性的配置实测，而不是简单地用模型大小除以标称显存。把工作负载切分到更多 GPU 上会带来通信需求。更大的显存也许能让您调整切分方式，但收益需要在端到端测试中体现出来。

第二步：确认软件和系统

确认供应商支持的框架、CUDA、驱动和通信库版本。记录精度设置以及为测试所做的任何模型改动。在不同质量目标或批大小下得到的结果，不能直接用于对比。

对于多节点训练，需要把网络与 GPU 一起评估。NVIDIA 的 NCCL 指南将节点内互联与节点间性能分开讨论，并建议核查实际的通信路径。仅凭 GPU 型号无法判断供应商的网络是否合适。NVIDIA NCCL 性能指南

按总支出比较完成的工作量

请每家供应商针对同一工作负载目标报出能够满足要求的配置，包含全部分配的 GPU、计费时长、存储、数据传输和必选服务。如果有最低承诺用量而工作负载用不完，也要把这部分成本计入。

训练场景比较达到同一约定结果所需的实际耗时；推理场景比较在相同时延和质量要求下可持续的吞吐。在相关情况下，还应计入部署、数据迁移和重启开销。

时单价更高，完成任务的总成本仍可能更低；集群更大，也可能花费更多却没有相应缩短时间。两种可能都要实测。

实用的候选清单

• 如果工作负载已经能装下，且希望有一个实测基线，可将 H100 SXM 纳入候选
• 如果更大显存可能简化配置，可测试 H200
• 如果显存、所支持的低精度计算或扩展需求足以支撑评估 Blackwell Ultra，可测试 B300

以上是评估路径，并非性能保证。可用性和商务条款可能会改变候选清单。

请把工作负载、所需 GPU 数量、区域、时间和可接受的备选方案发给 RackShore。我们负责为买方匹配供应商；选定的供应商直接签约、计费并提供租赁支持。