服务器专题 | 第23期:风道堵了,L9 才发烧

服务器 · · 九羲科技

机房里常有这样的现场:一台新机上架跑验证,风扇已经拉满,同批机器里偏偏有一台,某颗处理器的温度高出一截,满载没跑多久就降频。换风扇没用,换导风罩也没用。拆开机盖才看见:一束电源线不偏不倚,横在进风口前面。风不是不够,是到不了。

这篇只讲一个点:服务器里的风道,是布线布出来的。风道定型在机箱拼出来的那一步,线束走向一错,后面装什么、跑什么,都得替这条错路还账。

风走直线,线束是后贴上去的

风冷服务器的风路,方向是写死的:前面进冷风,后面出热风,从前往后一条直线。风扇装在机尾,往外抽,冷风被负压从前面吸进来,穿过处理器散热器、内存条、硬盘背板,再从后面出去。风道就是钣金件、导风罩、挡板围出来的那条路,路的截面、拐弯、豁口,决定了同样一台风扇能送进去多少风。

线束进场比风道晚,却有本事把路占了。电源线、信号线、背板跳线,捆成一束贴在进风口前面,或者垂在处理器散热器上方,等于在风路上砌了半堵墙。风量有一条简单关系:风量等于截面乘以风速,截面被线束吃掉一块,同样风量就要靠更高风速补,风扇转速上去,噪声和功耗跟着上去。更麻烦的是压损:Upsite 给出的风道压损公式里,压损一项就带着风速的平方2,截面缩一小截,压损涨一大截。风扇曲线是有顶的,转速拉满也补不回被线束吃掉的截面。

时间点上,风道和线束的命运在 L3 就缠在一起了。AMAX 的制造层级表里,L3 是金属件与塑胶件装成机箱,空房子落成1;L5 再把线缆集成进来、做 I/O 测试,结构与走线从此锁死。第 5 期讲过的冻结点,说的就是这个:L5 之后再想改走线,等于动底座,验证要重来。风道这条路,画在 L3,定在 L5,账却算在 L9。

上排,风路畅通:冷风直线穿过机箱;下排,一束线缆横在进风口前面,风被迫绕行,机尾出现热点(示意图为程序绘制)

一个豁口,能漏掉一千瓦

机柜里的漏风,和机箱里的挡路,是同一笔账的两种写法。TechTarget 讲风道管理时给过一个数:机柜上一个约 12 英寸乘 6 英寸、没有封堵的线缆穿口,旁路掉的冷风相当于吃掉约 1kW 的机柜制冷量3。冷风不经过服务器,直接从豁口溜到热通道,制冷机白白做功,服务器那边还喊热。豁口看着小,漏的是制冷量,不是漏风本身。

挡板是同一逻辑的另一面。机柜空位不装盲板,热风就从空位倒灌回冷通道,进风温度先被抬高一截。ASHRAE 的数据中心热指南把 A1、A2 类设备的建议进风温度定在 18°C 到 27°C 之间4,热风一回流,进风先顶到上限附近,机器还没满载,温度余量已经用掉大半。风道管理里那些不起眼的件,盲板、毛刷、挡风板,管的都是同一件事:让冷风只走该走的路。

机内机外,原则可以写成两句话,Upsite 在讲线缆与风道时就是这么写的:不许线缆挡住冷却进风,也不许线缆挡住热排风2。Vertiv 讲冷通道封闭时也补了一句:机柜后部的线缆尽量少,别让线束挡住服务器的排风5。两句话都不谈高深技术,谈的是纪律:风路上的东西越少,风越听话。

冷风本该穿过服务器带走热量,却从没有封堵的线缆穿口直接溜进热通道,这一路就叫旁路(示意图为程序绘制)

L9 才发烧,因为 L9 才有热

为什么账算在 L9?AMAX 的表上,L9 是 CPU 与内存装入 barebone、做验证测试的那一步1。处理器与内存条是机内最烫的几样东西,它们进场之前,风道好不好,测不出来:空机箱跑风,风阻再大也看不出温度。L9 一上电、一跑满载验证,热量才真正开始产生,风道被线束挡掉的那部分能力,这时才变成数字:某颗核心温度离群、风扇转速离群、满载跑着跑着降频。

返工的代价也在这里变大。L9 发现风道问题,往回改要动 L5 就锁死的走线,走一遍工程变更、重新验证,时间和排期都搭进去。第 6 期那句话放在这里正合适:能点亮不等于能交付。点亮时风扇转、灯亮、系统进得去,风道的问题藏在满载后面;交付要过的,是满载下的温度与稳定性,不是开机那一瞬间的灯。

落到买方手里,验收可以只看三处。第一处,开机盖看一眼进风口前面,线束有没有横在风路上,有没有垂在散热器上方。第二处,机柜空位有没有盲板,线缆穿口有没有毛刷或挡板封住。第三处,满载跑上一段时间,把同批机器的温度与风扇转速横向摆在一起,离群的那台,先查风道,再查芯片。三处都不需要拆芯片、不用读寄存器,眼睛和温度曲线就够了。

往深里看一层,风道问题很少以自己的面目出现。它出现的时候,名字常常叫性能不达标、稳定性差、验证跑不过。查芯片、查固件、换风扇,绕了一圈,才发现是线挡了路。看不见的路,决定看得见的指标:温度、频率、通过率。第 20 期那句话换到这里也成立:系统的表现长在连接方式里,不在零件标签上。风道是这样,内存插法是这样,链路协商也是这样。

有一个问题还没答案,留在这里。机内风道被线束吃掉多少截面、压损涨多少,公开资料里多是定性原则,缺一组同一机箱、同一线束、改走线前后的对照实测。有了它,布线规范才能从经验变成可验收的数;没有它,风道验收只能靠眼睛和温度曲线,还停留在手艺阶段。

觉 然 小 注

风看不见,路看得见。线往哪走,风就往哪走;风到不了的地方,算力也到不了。

· · ·

九羲科技|服务器 · 私有 AI · 存力方案

系列目录
第1期 | 73% 的整机钱,都给了 GPU 板组
第2期 | 4500 颗芯片撑起 95% 的机架价值
第3期 | 拆一台 2U 双路:通用服务器的钱花在哪
第4期 | 大铁盒子,值钱的不是铁
第5期 | 冻结点:L5 之后结构不许再改
第6期 | 能点亮不等于能交付:十二层验什么
第7期 | 内存离 CPU 有多远:NUMA 的延迟税
第8期 | 带宽不是买速度,是买并行度
第9期 | 一颗坏芯片,怎样不拖垮整机
第10期 | 数据上台三步,每步都在花时间
第11期 | CXL 内存慢一档,为什么还值得买
第12期 | 存力只在关键路径上才算数
第13期 | 链路是谈出来的:开机几秒谈什么
第14期 | 四电平挤带宽:SerDes在替谁赎买
第15期 | 端口数好看,带宽要看上行
第16期 | 把故障关进一个端口
第17期 | 设备能缓存主机内存,变了什么
第18期 | 数据直进 GPU,省掉了什么
第19期 | 先画归属图,再谈配置
第20期 | 报价单上看不见的内存降频账
第21期 | 查协商速率与AER:出厂体检表
第22期 | RAID 1/5/10:按故障域和 IO 选型

引用与出处
[1] AMAX. Server Manufacturing Levels Defined. amax.com. https://www.amax.com/server-manufacturing-levels-defined/
[2] Upsite Technologies. Data Center Cable & Airflow Management. upsite.com. https://www.upsite.com/blog/data-center-cable-management-and-airflow-management/
[3] TechTarget. Air flow management strategies for efficient data center cooling. techtarget.com. https://www.techtarget.com/it-infrastructure/tip/Air-flow-management-strategies-for-efficient-data-center-cooling
[4] ASHRAE. Thermal Guidelines for Data Processing Environments, 4th edition.(建议进风范围 18°C–27°C 一项见该指南梳理)
[5] Vertiv. Focused Cooling Using Cold Aisle Containment. vertiv.com. https://www.VERTIV.COM/4aafa5/globalassets/shared/focused-cooling-using-cold-aisle-contaiment.pdf

下一篇|第24期:双路、四路、八路:多路扩展买的是什么、代价是什么。

← 返回资讯中心