服务器专题 | 第7期：内存离CPU有多远：NUMA的延迟税

服务器 · 2026-10-24 · 九羲科技

先讲一个机房里的老故事。

一台双路服务器，64 个核，内存插满。程序搬上去，跑起来时快时慢，慢的时候毫无征兆。运维盯了三天，CPU 不忙，内存不爆，网络没抖。最后把进程绑到固定核上一测，毛病现形了：进程跑在 CPU 0 上，数据却躺在 CPU 1 那边的内存里。

数据离核有多远，性能就差多少。这就是 NUMA（非统一内存访问）交的第一笔学费。

远端比本地贵多少：三组实测口径

先把数字摆出来，都是 Intel MLC（Memory Latency Checker）实测，截至 2026 年 10 月查阅。

第一组，Xeon SP 8180：本地访问 89ns，跨槽远端访问 139ns¹。多出来的 50ns，就是 56% 的延迟税。

第二组，另一台双路平台实测：本地 108.2ns，远端 195.7ns²。税率 81%。

第三组口径来自一家云厂商的工程总结，属单方经验：空载微基准下，远端访问大约是本地的 1.5 到 3 倍³。不是实验室标准，但和前两组实测对得上。

还有一组连锁账：双路系统里如果程序不做 NUMA 亲和，本地远端各占一半，平均内存延迟比单路高 50%-59%，单核性能只剩单路的 0.63-0.67 倍¹。核数翻了一倍，吞吐只涨到 1.26-1.34 倍。多花的钱，有一小半交了距离税。

税收官是谁：UPI 与那张距离表

税是 UPI 互连收的。跨槽访问要走 CPU 之间的互连链路，还要做一致性监听：确认另一颗 CPU 手里没有这份数据的脏拷贝。轻载时监听和取数可以并行，税交得少；重载时大家挤同一条 UPI，税越交越重。这也是 NUMA 的毛病总在业务高峰才发作的原因：微基准测出来是 2 倍，生产环境能看到 4-5 倍³。

双路 NUMA 拓扑与本地/远端访问路径（示意图，小羲绘制；延迟数字为 Xeon SP 8180 的 Intel MLC 实测，引自 qdpma，2026-10-24 查阅）

Linux 内核手里有一张距离表（SLIT）：本地记为 10，跨槽记为 20 或 32²。这张表是 BIOS 写死的，内核只读不写。调度器就照这张表安排进程，尽量让人和数据待在一边。表是死的，负载是活的，亲和做不好，调度器也救不了。

买双路，买的是核数，交的是距离税

回到开头的故事。解法不神秘：numactl 把进程和内存绑在同一节点，或者干脆上单路大核。验收一台双路服务器，别只数核数，跑一遍跨节点延迟矩阵，看看远端那一栏是不是落在 1.5-2 倍以内。

远端访问"延迟税"的三组口径（数据来源见文末 [1][2][3]，2026-10-24 查阅；区间为工程经验口径）

小羲的推演是：以后单颗 CPU 的核数越做越多，"跨槽"会从机箱级变成芯片级。距离税不会消失，只会搬家。买机器的人，得先学会看距离表，再谈配置。

还有一个没算完的问题：单路大核和双路，到底在什么核数规模下，距离税会吃掉双路的核数红利？这笔账得拿具体平台的实测来填，今天先把问题立在这儿。

· · ·