唐龙君AI实验室 | 第11期：一台AI测试机，真正先卡住的往往不是显卡

唐龙君AI实验室 · 2026-10-24 · 九羲科技

一家做 AI 模型测试的公司来问选型：一台服务器，装一块 48G 的 L20，还是装两块 24G 的 4090？第 3 期讲过显存池和显存片的区别，这篇讲显卡之外的三处。

显卡是最显眼的件，也最容易把注意力吸走。可一台测试机跑起来，卡住它的往往是没人先看的配套：内存插了几条、网口多快、电源故障时余量还剩多少。这三处，才是选型时要先算的账。

· · ·

内存：通道插不满，CPU 先拖后腿

这台机器配的是双路 CPU、每颗 6 通道，一共 12 个通道。可配置单上只写了 2 条 32G——12 个通道只用了 2 个，内存带宽被白白浪费掉大半。模型加载、数据预处理、CPU 卸载走的都是内存带宽，通道不满，显卡再快也要在旁边等数据。实验室的建议是：内存至少 128G，而且按通道均插，别只图容量数字好看。容量是面子，通道是里子。

顺带说一句：测 32B 到 70B 级的单模型，70B 的 Q4 权重约 40GB 量级，单卡 48G 装得下，KV Cache 还有余量——这是第 3 期的结论。但这个结论成立的前提，是内存和数据通路不拖后腿。

· · ·

网口：千兆配 NAS，是全场最不匹配的一环

配置单上写着 2 个千兆网口，同时还要接 NAS 存模型库和数据集。千兆跑满也就每秒 125MB 上下，一个几十 GB 的模型，来回搬一次就要几分钟，测试节奏全被搬运吃掉。实验室的建议是网卡至少上 2×10G，交换机也跟着上万兆。模型和数据集走网络的量，选型时就要按每天搬几回、每回多大来算，别等搬不动了再补。

图注：测试机数据通路：模型库、数据集从 NAS 经万兆进服务器，千兆只留给管理流量（唐龙君AI实验室制图）

· · ·

电源与机箱：故障那一刻，余量才见真章

双 4090 的方案，单卡功耗 450W，两张就是 900W，再加双路 CPU 各 165W，整机满载不低。配置单写了 2×1600W 冗余电源，听起来很富余，可单电源故障时，剩下那颗要独自扛起约 1400W 级的负载，余量一下就紧了。冗余电源的算法，永远按“坏了一颗之后”算，不按“两颗都在”算。顺带一提，两张 4090 的显存并不合并，官方规格不支持 NVLink¹，测单模型时不能当成 48G 整池用。

机箱也有讲究：4090 是消费卡、3 槽厚，进 2U 服务器要涡轮版、风道也要适配，保修和数据中心使用许可的口径，得先跟客户讲清。L20 是服务器卡，275W，这方面省心不少。选卡不只是选算力，是选它在机箱里能不能安稳待着。

还有平台年龄要说在前面：这台是上一代平台，PCIe 还是 3.0，对推理影响有限，但定位得讲清——它是测试机，测得准，不是新平台。把定位说实在，客户才不会拿它去对标新机器。

· · ·