唐龙君AI实验室 | 第20期:四台 H200 之后,还差一张存储单
第 4 期读过那张四台 H200 整机的需求单,第 12 期算过一台 8 卡 H200 的显存账。这篇讲算力账之后的那张单:存储。
算力是发动机,存储是油路。发动机定下来了,油路没画,车还是跑不起来。四台机器的数据,要分四路想。
· · ·
权重与 KV Cache:快的那一路
第一路是模型权重和 KV Cache。权重要读得快,KV Cache 读写更频繁,都要走高速存储,最好离 GPU 近。上下文越长,KV Cache 吃得越多,第 12 期剩下的约 440GB 显存,背后就是这路数据的压力。
第二路是数据集。训练和测试的数据集,量大、读得多,走容量型存储,但读取带宽不能拖后腿——数据搬不动,显卡就在旁边等。
备份与归档:慢的那一路,也得有
第三路是备份。模型、配置、关键数据,丢了能不能找回来?备份不是事后想起来的事,是存储单里的固定一行。
第四路是归档。测完的旧模型、旧数据集,留还是删、放哪一层,都要定规矩。不定规矩,存储迟早被旧东西塞满,新东西没地方落。
四路数据各有各的路,各有各的账。存储单的写法,就是把这四路分开写:容量多少、速度多快、放哪一层、谁负责。算力单和存储单合起来,才是一套能跑起来的系统。
图:四路数据
图注:四台 H200 之后:权重、KV Cache、数据集、备份归档四路数据(唐龙君AI实验室制图)
· · ·
买算力的人常常只算了一半账。另一半在存储单里:数据走哪条路、跑多快、丢了怎么办。算力单加存储单,才是完整的系统。
引用与出处
[1] NVIDIA H200 规格对照(141GB HBM3e、4.8TB/s、SXM). Together AI. https://www.together.ai/gpu/nvidia-h200
作者:唐龙君AI实验室 | 本文为实验室方案方法层提炼;买方信息已留置,显存数字沿用第 4、12 期已核口径。
九羲科技|服务器 · 私有 AI · 存力方案
下一篇|第21期:虚拟化只是地基 —— 地基验收和业务验收是两回事,AI 往上盖,地基得先留接口