服务器专题 | 第31期：存储只占价值4%，训练为何等它

服务器 · 2026-10-30 · 九羲科技

第 1 期我们算过一笔账：一台 DGX，73% 的整机钱给了 GPU 板组——8 张卡加 HBM，就是整台机器的命根子。那存储占多少？按 SIA 和德勤那份 AI 服务器机架报告的拆法，存储只占 4% 左右。

4% 的东西，凭什么让 73% 等它？看一眼大模型训练的监控曲线就懂了：GPU 利用率那条线，大部分时间贴着顶跑，每隔一阵，整齐地塌下去一块，再弹回来。塌下去的那几分钟，就是 checkpoint 落盘的时刻——GPU 全员停工，等 4% 把几 TB 的状态写进盘里。

一、DGX 的存储，官方叫它"缓存"

翻 NVIDIA 官方的 DGX H100 用户指南¹，存储那两行写得很有意思：系统盘，2 块 1.92TB NVMe M.2，组 RAID 1，装系统用，坏了能顶；数据盘，8 块 3.84TB NVMe U.2，组 RAID 0，官方管它叫 Data Cache，数据缓存。

RAID 0 的意思，玩过服务器的都懂：8 块盘的速度全开，坏一块全完。NVIDIA 敢这么配，说明这 30TB 在它眼里就不是"仓库"，是"跑道"——存在意义是快，不是久。数据在这儿只过境，不养老。

把整机的账摊开看。GPU 这边：8 张 H100，640GB HBM3¹——第 1 期算过的 73%²。内存这边：2TB DDR5。存储这边：30TB NVMe，占整机价值 4% 左右（SIA×德勤报告口径，属单方测算²）。三级台阶，第 10 期我们讲过"数据上台"：HBM 是台面，DDR 是楼梯，NVMe 是大门口。门口只占 4% 的造价，但所有人进出都得走它。

DGX H100 价值构成示意：GPU 板组约 73%，存储约 4%（SIA×德勤报告口径，作者整理，程序绘制）

二、训练等的三处：上台、落盘、重来

第一处等，叫数据上台。GPU 一秒能嚼掉的数据量，存储和 CPU 未必喂得上。数据从盘里出来，先进 CPU 内存，再拷进 GPU——中间那次经 CPU 的"倒手"，就叫 bounce buffer。NVIDIA 专门为绕开它造了一条路：GPUDirect Storage³，存储和 GPU 显存之间直接 DMA，不经过 CPU。官方文档的原话是：这条直连提高系统带宽，降低延迟和 CPU 负载。一个厂商愿意为绕开 CPU 单独做一套技术，本身就是证据：CPU 那条路，堵过。

第二处等，叫落盘，就是 checkpoint。大模型训练不是一口气跑完的，是跑一段、存一次盘——万一机器坏了，从上一个存档点重来，不用从头再来。Meta 的 Llama 3 论文里记了一笔⁴：16384 张 H100，54 天预训练，466 次任务中断，419 次是意外，其中约 78% 是确认或疑似硬件问题，平均下来每 3 小时坏一次。靠 checkpoint 策略，Meta 把有效训练时间维持在了 90% 以上。

落盘一次要写多少？拿 405B 参数的模型算笔账（作者测算）：bf16 权重 810GB，Adam 优化器的 m、v 两个 fp32 状态 3.24TB，再加一份 fp32 主权重 1.62TB——一次完整 checkpoint，5 到 6TB。写进盘里要几分钟，这几分钟里，上万张卡集体等。checkpoint 存多了，存本身烧时间；存少了，坏一次丢的进度多。这个间隔，是"存一次的代价"和"坏一次丢的进度"之间的一道最优解——存储的快慢，直接改这道题的答案。

第三处等，叫重来。坏了之后，把几 TB 的状态从盘里读出来，灌回上万张卡。写是等，读也是等。

整个行业都在想办法"藏"这笔账。PyTorch 的分布式 checkpoint 接口里，有个专门的 async_save⁵：落盘扔给后台线程，训练循环不等它接着跑。注意这个设计的潜台词——如果存储不拖时间，根本不需要"异步"两个字。

两条数据路：传统经 CPU 中转 vs GPUDirect Storage 直接 DMA（作者整理，程序绘制）

三、4% 是买的账，不是时间的账

两笔账要分开算。买的账：存储 4%，便宜。时间的账：训练的钱是按 GPU 小时烧的。按公有云 H100 约 2.5 美元每卡每小时的公开口径算（作者测算，取常见报价中位）：16384 张卡，一个小时就是约 4.1 万美元。checkpoint 每天多阻塞 10 分钟，一年下来，烧掉的是 250 万美元量级的 GPU 时间——而省这 10 分钟要花的存储钱，可能只是它的零头。

所以 4% 这个数字，量的是"买"，不是"等"。存储在买的账上只占 4%，在时间的账上，它站在关键路径正中央：数据上台它卡脖子，落盘它定节拍，重来它定恢复速度。

放在这个背景里看，NVMe-oF、并行文件系统这些年卖得动，卖的就不是容量，是"不等"二字。多了一层意思：给训练集群配存储，不能按 BOM 比例去砍——"存储只占 4%，预算也只给 4%"，这笔账一算，亏的是 73% 那边的时间。

还有一个没完全想透的问题，留在这：checkpoint 的本质，是"怕坏所以勤存"。如果将来的内存语义层（CXL 那条线，第 11 期讲过）让显存、内存、存储的边界再模糊一层，checkpoint 会不会从"停下来写一次"变成"一直在写"？那时候，4% 和 73% 的账，又要重算一遍。

下一篇｜第32期：Checkpoint 写多快，决定大模型训练的容错成本。

· · ·

· · ·