服务器专题 | 第26期:万卡集群,电费差先算清

服务器 · · 九羲科技

选址会上常有这样一张表。左边一列,西部某枢纽的电价,0.35元一度;右边一列,东部沿海,1元一度。中间一栏红字标着差价。表拍在桌上,结论好像已经写好了:把集群往西边放,电费一年省出几千万。

这篇只算一笔账:万卡集群东西部一年电费差,到底是怎么来的,4000万这个量级站不站得住,以及它在什么条件下会缩水。账算清之前,选址的结论先别下。

一度电差几毛,乘上万卡就变千万

万卡先换算成机器。一台8卡整机,英伟达 DGX H100 的数据表上,系统功率最高约10.2千瓦1。10000张卡,就是1250台整机,IT 侧峰值功率12.75兆瓦。峰值这个词要留住,后面还会回来。

设施总功率还要乘 PUE。新建大超大型数据中心,2021年那份规划给的目标是1.32。12.75乘1.3,设施侧16.575兆瓦,一年8760小时跑满,就是1.452亿度电。这是满载口径的上限,不是实测账单。

价差一乘,数就出来了。Data Center Dynamics 的报道里,西部能源富余地区的电价可低至0.35元一度,东部沿海平均可高达1元一度3——这是报道引述的区间,不是全国统一目录价,具体项目要以结算价为准。按这个区间算一张表:

东西价差满载年差70%负载率年差
0.30元4356万元3049万元
0.50元7260万元5082万元
0.65元9438万元6606万元

表里能读出两句。4000万往上这个量级,算得出来:价差0.3元、满载口径下,年差4356万,刚过线。价差每少0.1元,年差少1452万;负载率从满载滑到七成,年差直接打七折。量级是真的,条件也是真的,两个要一起说,单说一个都会误导。

同一万卡集群,年电费差随东西价差与负载率变化(作者按文中口径测算,非项目实测)

目录价不是结算价,账上有三处漏口

第一处漏口是负载率。铭牌功率是峰值,训练集群也不是天天跑满。2021年那份规划还给西部定过另一项目标:数据中心利用率从30%提到50%以上2。利用率上不去,机柜空转,省的是电价、不是电费。西部便宜的电,配上空着的机柜,账还是亏的。

第二处漏口是 PUE。1.3是新建目标,不是全年实测。2024年四部门行动计划给全国平均定的目标,是2025年降到1.5以下4。目标与平均之间那0.2的缝,就是现实:夏季、部分负载下,PUE会往上走。PUE每高0.1,万卡集群一年多出1117万度电,制冷的账也进电费单。西部干冷气候是个实在的帮手,信通院的分析里提过,西部干燥寒冷,大数据中心的能耗可以做到全国最低一档5——这层便宜不在电价表上,在PUE里。

第三处漏口是结算价本身。目录电价只是结算价的一层。输配费用、绿电溢价与绿证、备用与储能分摊,都在单子里。风光波动大的时候,备用成本会把价差吃回去一部分,吃回去几成,公开资料里没有可核的拆分,这篇先把缺口摆出来,不编一个数。带宽也是一层:数据西迁、结果回传,走专线还是走公网,费用不在电费单上,却在总账里。

先按延迟分活,再谈电价

东数西算启动时的布局,是8个枢纽节点、10个数据中心集群6。分工从一开始就写明了:西部承接对延迟不敏感、算量与存储量大的业务,东部实时业务留在本地5。训练、批量推理、离线分析,能走;在线推理、实时交互,走不了。走了,省下的电费要拿延迟、带宽和体验的账来抵,抵不抵得过,要按业务算,不按电价算。

算电协同这个词,拆开是两条路。电跟着算走,是送电、建通道;算跟着电走,是迁负载、排时间。哪条路划算,看负载能不能动。能动的活,电价差才是真金白银;动不了的活,电价差只是表上的数。买方选址,与其先问哪边电便宜,不如先问三句:负载的延迟容忍是多少,年均负载率能到几成,结算电价单里绿电与备用各占几成。三句答不上来,4000万还只是表上的数。

往深里看,电价差从来不是选址的全部定价。它定的是上限:一个集群一年最多能从选址上省出多少钱。而能不能拿到这个上限,取决于三件看不见的事——负载动不动、机柜满不满、结算价实不实。看得见的便宜,人人都会算;看不见的约束,才是选址真正要付的学费。

延迟分活:训练、批量与离线能走,在线与实时留在本地(示意图为程序绘制)

觉 然 小 注

电是明的,活是暗的。先看活能不能走,再算电能省多少。顺序反了,账就反了。

· · ·

九羲科技|重构服务器 · 硬盘 · 私有 AI 落地解决方案

系列目录
第1期 | 73% 的整机钱,都给了 GPU 板组
第2期 | 4500 颗芯片撑起 95% 的机架价值
第3期 | 拆一台 2U 双路:通用服务器的钱花在哪
第4期 | 大铁盒子,值钱的不是铁
第5期 | 冻结点:L5 之后结构不许再改
第6期 | 能点亮不等于能交付:十二层验什么
第7期 | 内存离CPU有多远:NUMA的延迟税
第8期 | 带宽不是买速度,是买并行度
第9期 | 一颗坏芯片,怎样不拖垮整机
第10期 | 数据上台三步,每步都在花时间
第11期 | CXL 内存慢一档,为什么还值得买
第12期 | 存力只在关键路径上才算数
第13期 | 链路是谈出来的:开机几秒谈什么
第14期 | 四电平挤带宽:SerDes在替谁赎买
第15期 | 端口数好看,带宽要看上行
第16期 | 把故障关进一个端口
第17期 | 设备能缓存主机内存,变了什么
第18期 | 数据直进 GPU,省掉了什么
第19期 | 先画归属图,再谈配置
第20期 | 报价单上看不见的内存降频账
第21期 | 查协商速率与AER:出厂体检表
第22期 | RAID 1/5/10:按故障域和 IO 选型
第23期 | 风道堵了,L9 才发烧
第24期 | 双路够用吗?多路扩展的代价
第25期 | 美国 AIDC:电网才是真约束

引用与出处
[1] NVIDIA. NVIDIA DGX H100 Datasheet. NVIDIA 数据表(经 Dell 转存),未标注年份. https://i.dell.com/sites/csdocuments/App-Merchandizing_Documents/en/us/nvidia-dgx-h100-datasheet.pdf?ref=cpcl_nvidia-dgx-webpart91-module1_cta_itemlink_dgxh100datasheet
[2] 范菲菲. Green data centers in focus. China Daily(经 chinaservicesinfo 转载),2021. https://www.chinaservicesinfo.com/s/202112/09/WS61b170bf498e6a12c121ae85/green-data-centers-in-focus.html
[3] Data Center Dynamics. West China, cloud and rising energy prices. datacenterdynamics.com,发布年份未标注. https://www.datacenterdynamics.com/en/news/west-china-cloud-and-rising-energy-prices/
[4] 新华社. China sets green targets for data centers. english.www.gov.cn,2024. https://english.www.gov.cn/news/202407/24/content_WS66a0b167c6d0868f4e8e96ba.html
[5] laitimes. “东数西算”正在成为快速稳定的新变量(转引中国信息通信研究院顾少辉的分析). laitimes.com,发布年份未标注. https://www.laitimes.com/en/article/61a60_6hoe3.html
[6] 张运泉. “东数西算”工程启动,“算力插座”不远了. laitimes.com,发布年份未标注. https://www.laitimes.com/en/article/3gv3u_3xk51.html

下一篇|第27期:单柜功率到30kW,风冷先到顶。

← 返回资讯中心