英伟达（NVIDIA） B300 （3TB 内存版）

描述

B300 是什么

• B300 = Blackwell Ultra GPU，单卡 288GB HBM3E、FP8 72 PFLOPS、功耗 1400W
• 常见形态：DGX B300（整机）、HGX B300（模组，可自建服务器）
• 冷却：全液冷，不能用风冷
• 网络：NVLink 5.0 + NVSwitch，8 卡全互联

二、上电与开机

1. 机柜与液冷准备

• 接入 CDU 液冷单元，供水温度 50–60°C，流量达标
• 确认所有防漏传感器正常、压力稳定
• 接入 800V 高压直流电源（标准配置）

2. 开机顺序

1. 先开 BMC / 管理电源 → 前面板绿灯慢闪（1Hz）NVIDIA
2. 等待 BMC 启动完成（约 1–2 分钟）
3. 按电源键开机 → 绿灯快闪（4Hz）→ 常亮 = 开机完成NVIDIA
4. 进系统后等 60 秒，让所有 GPU/NVLink 初始化完成NVIDIA

3. 关机

• 系统内 shutdown now
• 或短按电源键 → 优雅关机
• 完全断电后才能维护液冷 / 板卡NVIDIA

三、系统与驱动环境

1. 操作系统

• 官方推荐：DGX OS 7（基于 Ubuntu 24.04）
• 也可自建：Ubuntu 24.04 + 英伟达官方驱动

2. 驱动版本

• 驱动 ≥ 575.x（支持 B300、NVLink5.0、FP4）
• CUDA：12.8+
• DCGM（监控）：3.3+

3. 安装验证

bash运行

• 能看到 B300、288GB、1400W
• 8 卡都识别、无报错，就是正常

四、多卡互联（NVLink + NVSwitch）

1. B300 8 卡拓扑

• 2 台 NVSwitch，每 Switch 连 4 卡
• 卡间 NVLink 50GB/s/ 方向，全互联带宽极高
• 用 nvidia-smi topo -m 查看拓扑

2. 集群扩展

• 72 卡标准：9 台 DGX B300，每台 8 卡
• 机间用 Quantum-X800 / Spectrum-X800 800G 光纤互联

五、运行 AI 模型（训练 / 推理）

1. 大模型训练（如 LLaMA、Qwen）

• B300 288GB HBM 可单卡放下 70B 模型（FP16/BF16）
• 常用框架：
  • PyTorch + FSDP / ZeRO
  • Megatron-LM（英伟达原生，性能最优）
• 精度推荐：FP8 训练、FP4 推理，速度比 H100 快很多