B300 GPU 租赁:如何采购一个互联集群
发布于 · 更新于
租用 B300 GPU 时,应明确所需的互联算力规模、部署地点,以及必须在什么时间之前通过验收。供应商宣传有 B300,并不代表它能在您的开始日期交付整个集群。RackShore 只负责牵线介绍;您直接与供应商签订合同并付款,基础设施支持由供应商提供。
您说的 B300 租赁具体指什么?
请说明您需要的是独享裸金属服务器、云实例还是托管集群,并写明具体平台和租户模式。NVIDIA 的文档将 DGX B300 定义为八卡系统。GB300 NVL72 则是采用 Grace CPU 的另一种机架级设计;在未核实软件和工作负载之前,不应将其作为替代方案。NVIDIA DGX B300 用户指南 · NVIDIA GB300 NVL72
请向供应商确认应用实际可用的 GPU 显存、每节点 GPU 数量、CPU 架构、主机内存、本地存储以及支持的软件版本。产品名称和标称显存总量不能代替供应商给出的准确规格。
如需了解公开渠道的切入点,以及各供应商 B300 状态的依据,请参阅我们注明核查日期的 B300 供应商采购指南。硬件选型的取舍可参阅 H100、H200 与 B300 对比。
示例:128 个节点、1,024 张 GPU
以下仅为示意需求:既不是买方订单,也不是可用的算力配额或 RackShore 的报价。 按每节点八张 GPU 计算,128 个节点即 1,024 张 GPU。这里的需求是在一个约定地点、为同一个分布式工作负载互联的 128 个节点,而不是分散在互不相关站点上的 1,024 张 GPU 的简单相加。
针对该示例,询价单(RFQ)可以要求:
| 需求项 | 供应商应确认的内容 |
|---|---|
| 算力配额 | 128 个独享的八卡 B300 节点,统一交付;列明所有共享资源 |
| 区域 | 具体国家及云区域或机房位置;可接受的备选地点单独列出 |
| 交付 | 目标日期、最晚可接受日期、开通里程碑,以及一次性交付还是分批交付 |
| 网络 | 节点间互联技术、每张 GPU 和每个节点的有效带宽、拓扑、收敛比及隔离方式 |
| 存储 | 可用容量、持续读取和检查点写入吞吐,以及包含哪些存储层级 |
| 租期 | 所需时长、计费起始、付款安排,以及扩容或缩容权利 |
| 验收 | 覆盖整个合同配额的测试、工作负载目标、测试窗口,以及测试未通过时的处理方式 |
这只是一份可比需求说明的示例,并不意味着每个工作负载都需要这样的规模。彼此独立的推理任务可能只需分散的节点;而分布式训练任务则可能依赖互联网络。
按合同规模确认网络
服务器内部的 NVLink 并不能证明 128 台服务器之间的互联能力。请询问所提供的节点间网络是 InfiniBand 还是支持 RDMA 的以太网,哪些链路是共享的,以及报价中的带宽是按端口、按 GPU 还是按整个节点计算。请索取实际配额对应的拓扑,包括各网络域之间的边界。
请在目标规模下运行集合通信测试和具有代表性的工作负载,并记录 GPU 数量、软件、精度、批大小、运行时长和存储配置。单节点基准测试无法证明整个集群的扩展能力。NVIDIA NCCL 性能指南
区域和交付是报价的一部分
请给出首选国家或区域,并说明数据存放地或时延方面的限制。如果美国、欧洲或亚太均可接受,请说明这种灵活性;这些只是偏好示例,并非 RackShore 对可用资源的声明。请确认算力、持久化存储和备份所在地,以及支持团队的服务地点。
请供应商在方案中注明资源状态——已在运行、正在安装还是计划交付——并附上核查日期。将硬件到货、网络调试、账号开通、工作负载验收和计费开始分开列明。约定部分交付、延迟交付和验收失败分别如何影响付款和合同配额。
B300 报价应包含哪些内容
请比较完整交付的服务:算力、网络、存储、数据传输、编排或软件许可、部署、支持、税费,以及任何已披露的介绍费。记录最低计费时长和承诺支出总额。时单价更低但预付款很大,意味着不同的资金占用;可参考三年期报价对比示例。
请写明签约主体、基础设施运营方,以及负责故障处理和升级的团队。在供应商报价中确认维护、替换资源、服务赔偿条件、续约和退出安排。
提交 B300 需求
请提供 GPU 数量和节点数、互联规模、可接受的平台、首选区域、开始时间窗口、租期、网络、存储,以及工作负载的简要说明,并标明哪些是硬性要求、哪些是可灵活调整的备选。RackShore 可以根据这份需求说明寻找匹配的供应商。可用性、价格、交付和服务承诺均须由供应商确认;提交咨询并不会预留算力。
已有明确需求?
提交不具约束力的需求简介,供应和条款由供应商确认。