服务器专题 | 第11期:CXL 内存慢一档,为什么还值得买
卖 CXL 内存扩展卡的人,话术往往只有半句:容量可以便宜地加上去。半句没说的是延迟。内存这东西,离 CPU 越远越慢,这条物理账绕不过去。CXL Type 3 设备挂在 PCIe 通道上,走 CXL.mem 协议做读写,数据要多穿一层控制器、多走一段链路,延迟天生比直接插在主板上的 DDR5 高。问题不在"慢不慢",而在"慢多少、慢在哪、换来了什么"。
先把数字摆在桌面上,免得被"扩展"两个字带跑。下面这张表来自微软 Azure 与哥伦比亚大学合作的 Octopus 实测1,测的是 64 字节随机读的 P50 加载延迟,不是整机应用延迟,读的时候要认清这个口径。
慢多少:三档延迟,一张分层表
| 形态 | 在干什么活 |
|---|---|
| 本地 DDR5 | 约 115 纳秒,P50 随机读 |
| CXL 直连扩展设备 | 230 到 270 纳秒,约本地两倍 |
| CXL 多端口设备 | 260 到 300 纳秒 |
| CXL 经交换机 | 490 到 600 纳秒,交换机本身至少贡献 220 纳秒 |
| 跨网 RDMA | 约 3550 纳秒,完全是另一个量级 |
从本地 DDR5 到 CXL 直连、经交换机,再到跨服务器 RDMA,延迟逐档爬升。CXL 仍远比跨网访问近,比 SSD 更近一个量级(数据来源:Octopus 实测整理,2026 年查阅;示意图为程序绘制)
同一组数字,换个口径看会更立体。Meta 公开的生产侧数据2:同一台机器上,本地 DDR5 空闲延迟约 130 纳秒,CXL 挂接的 DDR4 约 250 纳秒;负载拉到 60% 带宽利用率时,本地 234 纳秒,CXL 372 纳秒,差距约 60%。另一份第三方整理也提醒:不同厂商的 CXL 设备,实测结果散得很开,ASIC 方案比远端 DDR5 只高 35%,FPGA 软核方案能到 3 倍左右1。CXL 的延迟从来不是一个数,而是一个区间,拿单点数字当产品结论,本身就是错的。
带宽也要打折:614 对 76 的那张表
延迟之外,带宽同样要打折。Meta 那张平台表2写得很直白:本地 DDR5 跑 614 GB/s,CXL 层 76 GB/s,带宽比约 8 比 1,Meta 自己的文字里约成 10 比 1。也就是说,CXL 内存不光每次等得久,一次能搬的数据也少得多。把热数据、频繁随机访问的数据往 CXL 上放,等于同时吃延迟和带宽两记亏。
这个 8 比 1 不是用来吓退人的,是用来定边界的。带宽打折、延迟翻倍,CXL 就不能平替 DDR5。它能当的角色,从一开始就是"一档":热数据留在本地 DDR5,温数据、冷数据、容量兜底,放到 CXL 层。分层这件事,操作系统和应用得配合做,哪些页放哪一层、什么时候升降层,是软件要回答的问题,不是插上卡就自动变好的。
本地 DDR5 约 614 GB/s,对 CXL 层约 76 GB/s,带宽比约 8 比 1(数据来源:Meta 平台表整理2;示意图为程序绘制)
那它到底买来干什么:冷页与闲置容量
凭什么还值得买?答案在 Meta 的另一组生产画像里2:至少 75% 的页,超过 4 秒没人碰过,所有负载的中位闲置时间都以分钟计。冷页不在乎多等 100 多纳秒,因为根本没人读它。机房里大量内存的真实状态是"占着、闲着",CXL 买的正是这部分闲置的合理化:容量可以跨主机池化,一台机器的闲置内存,能补另一台的峰值。
池化是 CXL Type 3 真正的卖点,也是它和"插一根更大的内存条"的区别。单机扩容,买的是容量;多主机池化,买的是利用率。交换机那 220 纳秒以上的代价,换的是"内存不再被锁死在单台机器里"。这笔账对超大规模厂商算得过来,对只有几台机器的中小机房,池化的收益可能根本盖不住交换机和软件分层的成本。这个分界,写稿时不替读者下结论,只把算式摆出来。
以小见大的一层判断:内存正在从"插在 CPU 旁边的零件"变成"机架一级的资源"。DDR5 管热层,CXL 管温层和池化,SSD 管冷层,分层一旦成立,买内存的方式就从"按台配满"变成"按冷热分层配"。这对卖服务器的人意味着一件事:报价单上不能只写容量和速率,还得写清这一层内存准备放什么数据。放错层,省下的容量钱,会在延迟里成倍吐回去。
没完全想通、留下一个问题:经交换机的池化内存,在多租户、多主机同时争抢时,延迟和带宽的尾部会恶化到什么程度?公开实测多是单路径 P50,尾部数据还很少。这一块,等有更硬的实测再补。
觉 然 小 注
离得远,就慢;慢得有道理,就值。内存分层的艺术,是把等待留给等得起的数据。
· · ·
九羲科技|服务器 · 私有 AI · 存力方案
系列目录
第1期 | 73% 的整机钱,都给了 GPU 板组
第2期 | 4500 颗芯片撑起 95% 的机架价值
第3期 | 拆一台 2U 双路:通用服务器的钱花在哪
第4期 | 大铁盒子,值钱的不是铁
第5期 | 冻结点:L5 之后结构不许再改
第6期 | 能点亮不等于能交付:十二层验什么
第7期 | 内存离 CPU 有多远:NUMA 的延迟税
第8期 | 带宽不是买速度,是买并行度
第9期 | 一颗坏芯片,怎样不拖垮整机
第10期 | 数据上台三步,每步都在花时间
引用与出处
[1] Microsoft Azure 与 Columbia 大学. Octopus:CXL 内存池实测(NSDI '26),经 BuySellRAM 整理. buysellram.com, 2026 年查阅. https://www.buysellram.com/blog/cxl-memory-explained-can-servers-finally-share-ram/
[2] Meta. CXL 生产侧内存数据,经 How2Shout 整理. how2shout.com, 2026 年查阅. https://www.how2shout.com/technology/cxl-memory-2026-servers-explained.html
[3] Kad8. CXL Explained:协议、设备类型与内存分层. kad8.com, 2026 年查阅. https://www.kad8.com/hardware/cxl-explained-protocols-device-types-versions-and-memory/
下一篇|第12期:存力只在关键路径上才算数 —— KV 缓存与向量检索,存储什么时候卡在算力脖子上。