卖 Token 的人，
需要的设备解决方案
Token 生意拼的不是谁的卡多，是单卡每天能产出多少合格 Token、每个合格 Token 的全成本是多少。 这页先帮你把这笔账算清楚，再按账出设备单：推理服务器、存储分层、网络与交付，一张 BOM、一套报价、一套验收。 卡都能供，开源模型都可以部署——供应和部署不是问题，真正要算清的是哪个模型配哪种卡、配几张才不浪费。
我们只供设备与底座，不下场和 Token 卖家抢客户、不压价。正因为不抢生意，你可以把真实的模型清单、负载曲线和成本结构说给我们听——选型才选得准。把界限划清楚，是这门生意的第一份信任状。
先算账：单卡的单位经济
填入你自己的数，实时出结果Token 工厂的账最怕两件事：卡买了没跑满，跑了产出的 Token 客户不认。所以单位经济只有一行公式，先把它算出来，再谈买什么设备。
下面预填的是一组演示用示例参数，不是九羲的报价，也不是任何真实客户的数据。请把每个数字换成你自己实测的模型、卡、电价与售价再算——填入真实参数之前，输出只用来看计算方法，不能当选型结论。
先说清：本页所有测试与计算——包括计算器结果、示例演算和后文的压测口径——都只是参考，不是承诺值。实际产出和成本要按你现场的真实情况看：模型版本与精度、上下文长度、并发与负载波动、卡的实际状态、电价与 PUE、机房散热和网络条件，任何一项变了，结果都会变。参考数用来帮你判断方向和量级，最终选型、报价与验收，要以你自己的负载在目标设备上实测复核后为准。
参数（按单个模型、单张卡填）
反推产能：目标日产量需要多少卡
读法：先看全成本和你的售价谁高谁低，再看利用率——把利用率从 65% 改成 40% 试一次，净收益会立刻转负。这就是为什么我们先问利用率，再谈买几台。这段演算同样只是参考：换成你的真实参数后先看计算器实时输出，再结合你现场的并发、上下文和负载形状复核，不能把示例里的收益数直接套到自己的项目上。
说明：本计算器只做四则运算，不含税费、资金成本与故障返工缓冲；数字为你填入的参数算出的结果，仅供参考，不是九羲的报价与承诺值。同一组参数在不同现场也会跑出不同结果——真实选型时，我们会陪你把每个参数换成你实际负载下的实测值再算一遍，并按实测结果调整 BOM。
选型之前，先回答八个问题
答得越清楚，设备单越准这八问就是我们的选型问卷。你不用一次答全——答到哪一步，方案就先做到哪一步；答不上来的，我们陪你去现场测出来，而不是拿猜测填进 BOM。
- 跑哪几个模型？ 模型名、版本、参数量、精度（FP16 / BF16 / INT8）。清单越短，单模型优化越深，选型越不浪费。
- 单卡日产多少合格 Token？ 分模型给，不要全公司平均。这是上面那笔账的第一个数，也是扩产决策的起点。
- 「合格」的定义写进合同了吗？ 准确率、格式合规率、拒答率、延迟上限，谁验收、怎么抽检。定义不清，「高品质」就只是一句形容词。
- 延迟卡在哪一段？ 首字延迟与每 Token 延迟分开看，分 P50 / P90 / P99。Prefill 与 Decode 要不要拆开、放不同特点的芯片上跑，答案在这里。
- KV Cache 要落多少盘？ 长上下文、多并发时 KV 的容量和读写量决定热层存储的规格，这一项算漏了，上线就掉速。
- 负载是稳的还是脉冲的？ 有没有长期包量客户、波动幅度多大。负载形状决定集群规模与调度方式，也决定折旧能不能摊薄。
- 一个集群出故障，负载往哪挪？ 跨集群调度、故障转移、权重与数据的同步方式，要在扩卡之前定，不要等第一次宕机再补。
- 日志、账单、审计要留多久？ 计费日志和调用记录是 Token 卖家的命根子，留存周期直接决定冷层存储的容量与备份策略。
方案构成：四层底座
设备是底座，利用率才是产能设备单按四层出，每一层都对应上面账里的一个变量。任何一层缺位，单卡效率都会被吃掉一截。
推理服务器层产能
卡都能供、开源模型都可以部署，按模型清单配卡与机型，不按参数表硬堆。
- 卡型全覆盖：NVIDIA 数据中心卡、工作站卡与国产算力卡等主流卡型均可供货、集成与上架，不受单一品牌限制，按预算、显存与互联需求选
- 开源模型全部署：Qwen、DeepSeek、Llama、GLM、Mistral、Gemma 等开源权重模型均可部署上线，含环境搭建、量化适配、推理框架配置与上线压测
- 异构混排：国产算力与 GPU 节点可混排，Prefill / Decode 可拆分部署
- 库存服务器：成色与检测有据可查的整机，用于测试机、备用机与弹性补位，拉低整体折旧
存储分层不掉速
权重、KV、日志、账单，四类数据的脾气完全不同，分层放、分开算账。
- 热层：NVMe SSD 放热权重与 KV Cache，保延迟
- 温层：企业级 SSD 放向量库、索引与近线日志
- 冷层：大容量企业盘放权重仓库、计费日志与归档备份，容量成本压到最低
网络与调度底座跑得满
异构协同的收益，常常被网络吃掉。这一层先于扩卡设计。
- 节点间高速互联：按 PD 拆分后的跨芯片流量核算带宽
- 跨集群调度与故障转移的网络与存储同步路径预先打通
- 负载、延迟、利用率的监控埋点随设备一并交付
交付与运维包可复制
交付的不是裸机，是一套能照着再建一座的 SOP。
- 装机、驱动与推理环境调优、上线压测与验收报告
- 监控指标口径、排障手册、备件清单一并移交
- 硬盘三年售后：坏了直换，检测报告随盘走（见下）
模型与卡对应：开源模型按规模配卡
卡都能供、开源模型都可以部署，下面这张表解决的是「配几张、配哪一档」。同一模型，精度、上下文和并发不同，配卡差很多——表中是配置思路，不是性能承诺；压测结果同样只是参考，要结合实际业务负载、并发和现场环境看，最终以按真实负载复测后确定的 BOM 为准。
| 模型档位 | 典型开源模型 | 配卡思路 | 部署说明 |
|---|---|---|---|
| 轻量档 · 7B–14B | Qwen、Llama、GLM 等小参数开源模型 | 单卡即可起步；并发高时多卡分担 | 适合测试验证、轻负载与内部应用。起步成本最低，先跑通单卡账再扩。 |
| 主力档 · 32B 级 | Qwen、DeepSeek 蒸馏版等中参数模型 | 大显存单卡或多卡并行；INT8 / INT4 量化可明显降低所需卡数 | 多数 Token 服务商的主力档：质量与成本的平衡点，量化与否要在部署时实测对比。 |
| 大模型档 · 70B 级以上 | Llama、Qwen 等大参数稠密模型 | 多卡整机起步，卡间互联带宽要先算 | 上下文拉长后 KV Cache 占用同步上升，显存与热层存储要一起规划，不能只数卡。 |
| MoE 与满血大模型 | DeepSeek 等 MoE 架构与满血版大模型 | 整机多卡 + 高速互联 + 分层存储配套 | 权重总量大、调度复杂，按整机方案部署：服务器、网络、KV 落盘与监控一并交付，不单卖裸机硬拼。 |
存储分层一览：什么数据放哪一层
| 层 | 放什么 | 介质 | 为什么这样放 |
|---|---|---|---|
| 热层 | 在跑模型的权重、KV Cache | NVMe SSD | 延迟直接决定每 Token 成本；这一层慢一分，整卡的产出就少一分。 |
| 温层 | 向量库、索引、近线调用日志 | 企业级 SATA / SAS SSD | 读写频繁但不吃极限延迟，用企业盘的耐久和价格平衡。 |
| 冷层 | 权重仓库、多版本模型、计费日志、审计与备份 | 大容量企业级 HDD（10TB–20TB） | 量大、读少、留得久。每 TB 成本最低的一层，恰恰是 Token 卖家留得最久的数据。 |
冷层的盘，为什么要先过检测
冷层放的是计费日志和权重仓库——丢了，账就对不上。所以这一层用的服务器拆机检测良品硬盘，每一片都走完四层检测再上架：
- 外观分级：成色、接口、金手指逐片查验
- S.M.A.R.T. 12 项：健康指标逐项读取，不合格直接淘汰
- 全盘读写测试：整盘跑完，不抽检
- 安全擦除覆写：原数据彻底清除后交付
- 每片独立检测报告：随盘交付，合同标注测试后良品属性；正规报关、可开增值税专用发票
三档标准包
按所处阶段选，不按预算硬凑三档对应 Token 卖家最常见的三个位置。价格不挂在页面上：行情天天动，正式报价按勘查后的 BOM 当日出——一张 BOM、一套报价、一套验收标准。
补位包
主力直采走大流程，小单、急单、杂单不值得等。这部分交给我们。
- 测试机、验证机快速交付
- 备用节点与故障替换机
- 存储扩容：热层 NVMe 与冷层大容量盘按需补
- 紧急补货，缩短停机窗口
标准生产包
从第一座最小工厂开始：一个集群、少数模型、先把单卡效率曲线跑出来。
- 推理节点 + 分层存储整包交付
- 装机调优、压测与验收报告
- 监控与排障 SOP 移交
- 库存服务器选项压低首期折旧
企业自产包
调用量大到买 Token 不如自己产，或数据不能出厂——从 AI 落地顺势接过来。
- 私有化推理节点，数据不出厂
- 权重、知识库与日志的本地存储底座
- 与既有文件、权限体系对齐的部署方式
- 按量扩容，不必一次建满
支持范围：卡与模型
卡都能供，开源模型都可以部署。限制不在供应范围，在配得对不对：
- 卡型全覆盖：主流 NVIDIA 数据中心卡、工作站卡与国产算力卡均可供货与集成，含多卡整机与异构混排（含 PD 拆分部署）
- 模型全部署：Qwen、DeepSeek、Llama、GLM、Mistral、Gemma 等开源权重模型均可部署，含 FP16 / BF16 / INT8 / INT4 量化适配与推理框架配置
- 具体配几张卡、用什么精度，看模型规模、上下文长度与目标并发——压测后在 BOM 中定量，不在页面上空许性能数；压测数也只是参考，须按实际负载与现场条件复核后才作数
交付时效
分两段说清，不给一个含糊的总天数：
- 测试机、备用机与存储扩容：有现货的 SKU 优先走快速交付通道
- 整包生产节点：从 BOM 确认起排产、装机、调优、压测，周期在报价单中按当期现货与排期逐项写明
- 异地交付的物流与上架安排，一对一报价时一并确认
售后口径
- 服务器拆机检测良品硬盘：三年售后，坏了直换，换新时效在合同中写明
- 每片盘随附独立检测报告，合同标注测试后良品属性
- 整机与存储节点的保修范围、备件与响应方式，随交付包的 SOP 一并移交并写入合同
卡型与开源模型的供应、部署范围如上，不设清单外限制；涉及具体数量、交期与天数的，以勘查与压测后的一对一正式报价与合同为准。
落地五步：顺序不要反
先有曲线，再扩产能- 1
算账与选型
用第二节八问的答案和上面的公式，把每个模型的单卡账算出来，定卡型、节点数与存储分层，出 BOM 与正式报价。
- 2
最小工厂验证
一个集群、一个模型、一个稳定负载，先跑出「单卡日产与利用率」的实测曲线。测试曲线是参考基线，后续仍要按实际负载变化持续复测；没有这条曲线，不谈扩产。
- 3
质量验收对齐
把合格 Token 的定义、延迟分布与抽检方法写进验收标准，设备验收与 Token 质量验收分开签、互不含糊。
- 4
调度与运维上线
PD 拆分、KV 落盘、跨集群调度、故障转移、监控排障随交付包一并上线，顺序在扩卡之前。
- 5
照 SOP 复制扩容
第二批节点照第一批的配置、指标口径与手册建，只扩产能，不重新发明。每扩一批，账重算一遍。
示例：一家区域 Token 服务商怎么从最小工厂起步
下面是一个化名的方案示例，用来说明这套方法怎么落地，不是九羲的已交付案例，不代表任何真实客户的经营数据。示例中的数字分两类写清：算例假设是为演示而设定的，待勘查项是真做时必须到现场测出来才能定的。
| 项 | 算例假设（演示设定） | 待勘查（真实项目中现场确认） |
|---|---|---|
| 起步形态 | 一个集群、先上 2 个主力模型、走标准生产包 | 现有客户的负载曲线与包量承诺，先确认「稳负载」再定规模 |
| 算账口径 | 用第一节计算器的方法逐模型建账，利用率与合格率按假设值演示 | 单卡日产、P50/P99 延迟、真实电价与 PUE，全部以压测实测为准 |
| 存储分层 | 热层 NVMe 放权重与 KV，冷层大容量盘放计费日志与权重仓库 | KV 实际落盘量、日志留存周期，决定两层的真实容量 |
| 验收方式 | 设备验收与 Token 质量验收分开签 | 合格 Token 的定义与抽检方法，与客户逐条写进验收标准 |
示例的用法：把「算例假设」换成你的真实情况，把「待勘查」逐项测出来，这张表就变成你自己的立项表。真实案例等首批客户验收后再补入本页，示例不会改写成案例。
尽调追问清单：先看见真实
评估任何一家 Token 工厂都能用无论是评估合作方、给客户做选型，还是复盘自己的产能，这六组问题都值得先问一遍。 每一问都写了要什么证据：答得上来有证据，判断才有根；答不上来，那一处就先标着，不硬凑结论。
甲收入与定价：钱是怎么收的5 问
- 单价是多少？分模型、分输入输出、分质量档，各是多少元每百万 Token？高峰、低谷、缓存命中是否不同价。要证据：价目表或脱敏账单样本。没有分母，「性价比领先」无从验证。
- 收入结构是什么？API 按量、包量预留、私有化部署、建设费各占多少。要证据：收入结构占比。答不上来，分不清它卖的是 Token 还是项目。
- 增速的基数是多少？「增长十倍」的去年基数、口径是收入还是订单、含税与否。要证据：基期与本期的同口径数字。
- 「跨过成本线」是什么口径？单月经营现金流为正，还是含折旧的全成本为正？是全业务还是单个工厂、单个模型。要证据：成本线定义与对应月份成本表。
- 客户结构如何？前五大客户占收入多少、合同期多长、续约与流失情况。要证据：行业与合同期限分布，不必点名。答不上来，产量可能只靠一两个大客户撑着。
乙产量与质量：「高品质」是怎么量的4 问
- 产量口径是什么？日均产量算输入加输出还是只算输出？缓存命中、重试、失败重跑算不算。要证据：统计口径与一天的原始计数样本。口径不同，数字没法横向比。
- 合格 Token 如何定义？准确率、幻觉率、拒答率、格式合规率各是多少，谁验收。要证据：验收标准与最近一个月的实测分布。没有定义，「高品质」只是形容词。
- 延迟分布是多少？首字延迟与每 Token 延迟分 P50 / P90 / P99 给，不同并发下如何变化。要证据：分并发档的压测报告。便宜但慢的 Token，客户未必认。
- 有没有第三方评测？测试集、模型版本、精度是否公开，方法是否可复现。要证据：第三方报告或可复现的测试方法。只有自测的分数，先按自宣看。
丙单位经济：单卡的账3 问
- 单卡成本表有吗？卡的型号、采购价、折旧年限、电价、PUE 各是多少。要证据：单卡成本表。没有它，单卡日产再高也算不出净收益。
- 利用率如何定义？是 GPU 利用率，还是真正处于有效工作的时间占比？闲置率与故障率各是多少。要证据：分模型的单卡日产表与利用率定义。
- 运维人力比是多少？多少张卡配多少运维与调优工程师，故障平均恢复时间多久。要证据：运维配比与 SLA 记录。复制产能时，人力成本最容易被低估。
丁技术：异构协同到底怎么落地4 问
- 「少模型」少到哪几个？模型名、版本、参数量、精度逐个列清。要证据：模型清单。列不清，深优化深在哪就无从复核。
- PD 异构怎么分？Prefill 与 Decode 分别用什么芯片，分开后的跨芯片延迟代价是多少。要证据：架构图与分段延迟数据。否则收益可能只是把问题从算力挪到了网络。
- KV Cache 转换损耗多少？一次转换的时间、带宽占用与精度损失。要证据：转换损耗实测。损耗一大，异构的收益就被吃掉。
- 「性价比超越」是什么口径？同模型、同精度、同并发、同延迟约束下比的吗，对方是谁、什么卡。要证据：同口径对比测试表。没有口径，这句话只能当宣传语听。
戊产能与复制：工厂是不是真的能复制3 问
- 现在有几处产能？地点、卡数、电力、建设周期、单处复制成本。要证据：产能清单与建设周期表。没有它，「可复制」只是一个说法。
- 已投产利用率是多少？在建与已投产分开说。要证据：产能利用率表。在建产能不产生收入，别和投产混在一起算。
- 交付一个新客户要多久？从签约到稳定供 Token 过几道关。要证据：交付流程与平均交付周期。
己依赖与风险：哪一环断了最先出问题3 问
- 融资是什么状态？已到账还是认购，资金用途分配与可支撑的月份。要证据：到账与用途口径。重资本生意，钱的节奏就是产能的节奏。
- 最大依赖在哪？模型方、芯片方、电力方、单个大客户，哪一个断了最先出问题，备选是什么。要证据：依赖清单与备选方案。风险往往藏在没被提到的那一处。
- 与同行差在哪？同赛道各家在模型、芯片、客户、定价上的同口径对比。要证据：同口径对比，不是各说各的亮点。赛道热不等于每一家都算得过账。
追问的走法：先书面要数据表，再到现场跑一次实测对表，最后访谈一两个客户问验收与续约。三步走完，拆解才有全维度。
边界：我们做什么、不做什么
做的
- 推理服务器、存储与硬盘的标准 SKU 供应与选型：主流卡型均可供，开源权重模型均可部署
- 陪客户把 Token 的单位经济账算清楚
- 装机、调优、压测、验收与运维 SOP 的交付包
- 大厂客户的小单、急单、扩容与补位
- 渠道与经销商协同交付，售后有明确口径
不做的
- 不卖 Token，不与客户争 Token 生意
- 不替客户建整座 Token 工厂，不做项目制总包
- 不接需要垫巨资、长账期的大单
- 不承诺未经实测的产量与成本数字
- 不在公开页面挂价：行情按日动，以正式报价单为准
把你的八个答案发过来，我们出设备单
不用答全：有几项发几项，缺的我们陪你测。收到后先回你一版单卡账的复核，再出 BOM 与正式报价——一张 BOM、一套报价、一套验收。