唐龙君AI实验室 | 第4期:一张配置单,读出买家要干什么

唐龙君AI实验室 · · 九羲科技

4 台 H200 整机,每台 8 卡、1.5T 内存、2 张 10G 网卡。网卡,是这张单子上最大的信息——它直接决定了这不是一个训练集群。读配置单,有时是读它没写什么。

本期读的是一张匿名需求单:买方信息已全部留置,只讲读单的方法。文中的显存账是实验室的测算,推断处都标了推演。

· · ·

网卡是全单最大的信息

先看单台:CPU 双路、内存 1.5T DDR5、8×H200 SXM、系统盘加数据盘、网卡 2×10G。前面都很“顶配”,直到网卡这一行,画风变了。

跨节点训练要什么网络?200G、400G 的 InfiniBand 或 RoCE,这是行规:8 卡一台之内靠 NVLink 高速互联,机器之间要继续并行训练,就得有高速互联把它们连起来。这张单子只给了 2×10G——跨节点训练这条路,从网络这一行就被堵死了。

那它是干什么的?最自洽的读法是大模型推理服务(推演)。算一笔显存账:单卡 H200 是 141GB HBM3e¹,8 卡一台就是 1128GB。671B 级 MoE 模型原生 FP8 权重²,约 685GB(含多 token 预测模块,模型配置口径³),一台机器完整装下,还剩约 440GB 给 KV cache——单机就是一个满血推理单元。vLLM 的官方部署指南也把 8×H200 列为 FP8 的硬件配置²。4 台,就是 4 个副本,做高可用、做并发。一台顶一台用,互不依赖,2×10G 够了。

图注:从一张配置单读出的推理链:网卡堵死训练路,显存账指向单机推理(唐龙君AI实验室制图)

单节点粒度的微调也能做(推演):70B 级全参微调,权重加优化器状态,一台之内放得下。四台各跑各的任务,松耦合,不依赖跨机网络。这张单子的形状,就是“每台自成单元”的形状。

· · ·

从“坏盘不返”读出买方画像

“坏盘不返”四个字,是数据安全的要求:故障盘不返厂,数据不出场。加上“一线大品牌”“7×24×4 备件先行”这种招标口径,买方画像就出来了(推演)——数据敏感、流程正规的机构。

这一条还要计价。盘不返厂,意味着维保成本里含着盘的残值损失。报价如果按普通返修口径报,售后那一章会亏。条款里的每一个字,都会变成钱。

· · ·

两处“模板残留”要挑出来

1. H200 SXM 是 HGX 基板形态

GPU 不占 PCIe 槽;但清单里又写“PCIe 槽≥10、PCIe 交换≥4”,这更像 PCIe 架构机型的模板语言。响应之前必须澄清:验收按哪种形态验?不澄清,交付时就是争议。

2. 功率与电源线对不上

单台满载约 7.5 到 10kW(实验室估算),四台三四十千瓦;“国标 10A 电源线”(220V 下仅 2.2kW,测算)跟这个功率等级对不上,也是模板里留下来的。真正的交付前提,是机房供电和制冷的现场勘察。

· · ·

算力的瓶颈,早就搬家了

这张单子应验了一句话:瓶颈不在芯片了。芯片买得到,电供不上、网跟不上、机房没准备好,机器就是一堆会折旧的铁。

所以看这种大单,我们的习惯是三看:一看网卡定负载类型,二看显存账定单机能力,三看供电制冷定交付前提。配置单是买方用规格写的需求说明书,读懂了,才知道他真正要买的是什么——他要的不是 32 张卡,是 4 个能独立扛 671B 推理的单元,外加一个不出数据、不停服务的承诺。

本地盘每台只有约 15TB,检查点和数据集早晚会把它吃干。下一张单子,大概率是存储的(推演)。算力的问题,兜一圈常常是存储的问题。

觉 然 小 注

配置单是买方用规格写的需求说明书。写了什么要看,没写什么更要看:网卡没写高速互联,就是在说“我不需要跨节点”;坏盘不返四个字,就是在说“数据不能出这个门”。读单子读到这个份上,才算读懂了买家。

· · ·

九羲科技|服务器 · 私有 AI · 存力方案

系列目录

第1期:让写代码的 AI,住进系统里

第2期:一只水表的数字一生

第3期:48G 对 48G,为什么不是一回事

第4期:一张配置单,读出买家要干什么

第5期:读一份大清单,先问这四件事

第6期:AI 项目第一轮沟通,先别谈方案

第7期:MCP 之后,Anthropic 又把 Skills 交了出去

第8期:约束逼出的方法:一场 KV Cache 的硬仗

引用链接

[1] NVIDIA H200 规格对照(141GB HBM3e、4.8TB/s、SXM). Together AI. https://www.together.ai/gpu/nvidia-h200

[2] vLLM Recipes. deepseek-ai/DeepSeek-V3(671B MoE、原生 FP8、8×H200 硬件配置). https://recipes.vllm.ai/deepseek-ai/DeepSeek-V3

[3] DeepWiki. Model Configuration, deepseek-ai/deepseek-v3.2-exp(671B 参数、14B 多 token 预测模块、FP8 权重约 671GB). https://deepwiki.com/deepseek-ai/deepseek-v3.2-exp/3.1-model-configuration

本篇读单事实为唐龙君AI实验室真实记录,买方信息已全部留置;显存账为实验室测算。原稿“805GB、剩 300GB”已按模型配置口径修正为约 685GB、剩约 440GB;原稿一处第三方转述因未核到可靠出处,已删除。

下一篇|第5期:读一份大清单,先问这四件事 —— 行和量都对得上,只是清单的表面,真正要问的是意图

← 返回资讯中心