唐龙君AI实验室 | 第19期：选型之前，先问客户测什么
一家企业来问选型，张口就是：L20 还是 4090？第 3 期回答过显存池和显存片的区别，第 11 期讲过内存和网口。但实验室的经验是：先别急着回答，先问客户四个问题。
因为选型单上最贵的一行，往往不是显卡，是没问清楚的那一行。四个问题问完，很多争论自己就散了。
· · ·
测什么模型，测多大
第一问：测什么模型？是 7B、32B，还是 70B？是聊天、问答，还是图文理解？模型大小直接决定显存要多少，任务类型决定算力花在哪。70B 的 Q4 权重约 40GB 量级，单卡 48G 装得下——这是第 3 期的结论，但前提是先知道测的是 70B。
第二问：测多大？是跑通一个演示，还是上生产并发？演示只要装得下，生产还要留 KV Cache 和并发余量。第 12 期算过 8 卡 H200 的账：装得下是入场券，剩多少才是生产力。
多少人用，数据在哪
第三问：多少人用？一个人测，和一个部门同时测，是两台机器。并发一上来，显存、内存带宽、网络全要重新算。
第四问：数据在哪？模型库和数据集在 NAS 上，还是在本地盘里？走网络还是走本地，网口配千兆还是万兆，全看这一问。第 11 期那台机器最不匹配的一环，就是千兆网口配 NAS——问题不在网卡，在没先问数据在哪。
图：选型四问
图注：选型之前先问四问：测什么、多大、多少人、数据在哪（唐龙君AI实验室制图）
· · ·
选型不是挑最强的卡，是挑最合身的机器。四个问题问清楚，选型单上的每一行才有出处；问不清楚，买回去的每一行都可能要返工。
引用与出处
[1] NVIDIA. GeForce RTX 4090 规格（NVLink 不支持，两卡显存不合并）. NVIDIA 官方网站，2022.
作者：唐龙君AI实验室 ｜ 本文为实验室选型方法层提炼；客户信息已留置，模型权重数字为量级测算，以实测为准。
九羲科技｜服务器 · 私有 AI · 存力方案
下一篇｜第20期：四台 H200 之后，还差一张存储单 —— 权重、KV Cache、数据集、备份，四路数据各走哪条路