唐龙君AI实验室 | 第12期：671B满血推理，为什么是一台8卡H200的事

唐龙君AI实验室 · 2026-10-24 · 九羲科技

一张 4 台 H200 整机的需求单，第 4 期读过它要干什么：网卡只有 2×10G，跨节点训练没戏，每台自成一个推理单元。这篇把账算到一台机器上：671B 满血推理，为什么恰好是一台 8 卡 H200 的事。

很多人算显存账只算“装不装得下”，这一步只算对了一半。装得下是入场券，装完还剩多少、剩下的够不够撑并发，才是这台机器能不能上生产的关键。

· · ·

先算总账：1128GB 里，权重占 685GB

单卡 H200 是 141GB 的 HBM3e，8 卡一共约 1128GB，卡与卡之间用 NVLink 连着，带宽 900GB/s，对模型来说这 8 卡就是一个显存池¹。671B 参数的模型³，FP8 权重约 685GB²，一台机器装得下，还剩约 440GB。

这个“剩约 440GB”值得多看一眼。它不是边角料，是 KV Cache、激活值和并发余量的家当。上下文越长、并发越高，这部分吃得越快。剩 440GB 和剩 40GB，是两种机器：前者能撑生产并发，后者只能跑演示。

· · ·

为什么是 8 卡，不是 4 卡或者 16 卡

4 卡只有约 564GB，权重都装不下，谈不上推理。16 卡当然装得下，剩得也多，可那是两台机器的钱和两台机器的电，还得多一套跨机协同的账。对 671B 这个量级的模型，8 卡恰好卡在“一台装得下、剩得够用”的点上——这是 HGX 8 卡整机形态存在的理由，也是这张单子写 8 卡而不是别的原因。

图注：一台 8 卡 H200 的显存账：权重约 685GB，KV Cache 与并发余量约 440GB（唐龙君AI实验室制图）

· · ·

剩下的 440GB，决定它是不是生产力

推理上生产，并发和上下文是两个吃显存的大户。长上下文任务里，KV Cache 随着 token 数往上涨；多用户并发时，每个会话都要占一份。440GB 的余量，换算成生产语言就是：能同时撑多少路、能开多长上下文。选型时别只问“跑不跑得起来”，要问“跑起来之后，第三路、第十路进来还稳不稳”。

还有一处要提醒：这张单子是 4 台，每台各跑各的副本，做的是副本与高可用，不是四台拼成一个更大的模型。单机账算清了，四台的意义才清楚：不是更大，是更稳、更多路。

· · ·