服务器专题 | 第10期:数据上台三步,每步都在花时间
一份数据从硬盘走到计算核心,要上三级台阶:先从 SSD 进 DDR5,再从 DDR5 进 HBM。每上一级,速度快一个量级,代价也翻一番。很多人问哪一级能取代哪一级,答案藏在台阶本身:它们守的不是同一段路。
第一级台阶:HBM,宽到离谱,快在并行
先把三级台阶的账摆成一张表,数字截至 2026 年 10 月查阅。
| 形态 | 在干什么活 |
|---|---|
| HBM | 1024 位接口,单堆叠 HBM3 带宽 819 GB/s,HBM3E 约 1.2 TB/s12 |
| DDR5 | 单通道 64 位,6400 MT/s 时理论带宽约 51.2 GB/s1 |
| SSD | NVMe 随机读延迟 50 至 100 微秒,是 DRAM 的数百倍3 |
HBM 的宽来自封装:多层 DRAM 叠起来、1024 位接口贴着 GPU(示意图,小羲绘制;机制与数字来源见文末 [1][2],2026-10-24 查阅)
HBM 的宽,来自封装。好几层 DRAM 芯片用硅通孔(TSV)叠起来,坐在中介层(interposer)上,紧贴着 GPU。接口宽 1024 位,是 DDR5 单通道的 16 倍;单颗引脚速度并不夸张,6.4 Gb/s 左右,胜在路够宽、车道够多12。
但 HBM 的延迟并不比 DDR5 低多少。两者都是 DRAM,第一次访问都要几十纳秒2。HBM 快在并行吞吐,不在单次响应。打个比方:它不是跑得更快的马,是一条十六车道的高速,车流大,单辆车并不更快。
HBM 的短板也在封装里:单堆叠容量只有几十 GB,堆叠数上去了,成本和散热跟着上去;焊在封装里,出厂后没法像内存条那样插拔升级1。买 HBM 的机器,等于把未来几年的内存配置在出厂那天一次定死。
第二级台阶:DDR5,容量与成本的中段
DDR5 守的是中段。单通道 64 位、6400 MT/s 时,理论带宽 51.2 GB/s1;一台服务器插满多个通道、多个 Rank,总带宽能堆到几百 GB/s,容量能堆到几百 GB 甚至 TB 级。这是 HBM 给不了的量:便宜、可插拔、能按需加条。
延迟这一项,实测口径要分开看。DDR5-6400 的一套早期实测里,AIDA64 读带宽跑到约 88 GB/s,延迟却有 92.5 纳秒4;另一套 6600 MT/s 的实测,延迟 88.3 至 89.7 纳秒5。理论上的 CAS 延迟只有十几纳秒,系统级实测跑到八九十纳秒,中间差的是控制器、队列、一致性这些路上的开销。看延迟只看 CL 值,会把账算小。
DDR5 还有个上一期提过的细节:颗粒自带片上 ECC,只管颗粒内部;平台级 ECC 另算2。这不影响 DDR5 的中段地位,但影响采购时的核对清单。
数据上台三步:HBM、DDR5、SSD 的带宽与延迟台阶(示意图,小羲绘制;数字来源见文末 [1][2][3],2026-10-24 查阅)
第三级台阶:SSD,慢三位数,赢在不断电
SSD 这一级,慢得理直气壮。DRAM 访问约 100 纳秒,NVMe SSD 一次访问算上驱动、队列和固件,要 50 至 100 微秒3。换算下来,慢了 500 到 1000 倍。顺序读写时 SSD 能靠多通道并行把带宽撑起来,随机访问一碰上延迟,台阶就现形了。
SSD 赢在唯一的一项:断电不丢。DRAM 断电即空,SSD 断电还在。这个差别决定了分工:热数据住 DDR5 和 HBM,冷数据、要留底的数据住 SSD。谁也别想把对方的活全接过去——接得过去的,成本接不住;成本接得住的,延迟接不住。
小羲的推演是:选型别问“哪种内存最好”,问三句就够了。这段路要走多快?要装多大?断电丢不丢得起?三句答完,台阶自然就分出来了。答不出来的那句,往往就是日后返工的那句。
还有一个没算完的问题:CXL 会不会在 DDR5 和 SSD 之间再切出一级台阶,让“慢一档的大容量”变成可寻址的内存?这道题,留给第 11 期。
觉 然 小 注
台阶不是用来跨过去就不回头的。数据每天都在三级之间上下,守好每一级的本分,比追逐某一层的极致更划算。
· · ·
九羲科技|服务器 · 私有 AI · 存力方案
系列目录
第1期 | 73% 的整机钱,都给了 GPU 板组 https://jiuxii.cn/news/95
第2期 | 4500 颗芯片撑起 95% 的机架价值 https://jiuxii.cn/news/96
第3期 | 拆一台 2U 双路:通用服务器的钱花在哪 https://jiuxii.cn/news/102
第4期 | 大铁盒子,值钱的不是铁 https://jiuxii.cn/news/103
第5期 | L5 之后,机箱为什么就不许再改了 https://jiuxii.cn/news/110
第6期 | 能点亮,不等于能交付 https://jiuxii.cn/news/111
第7期 | 内存离CPU有多远:NUMA的延迟税 https://jiuxii.cn/news/134
第8期 | 带宽不是买速度,是买并行度 https://jiuxii.cn/news/135
第9期 | 一颗坏芯片,怎样不拖垮整机 https://jiuxii.cn/news/143
引用与出处
[1] DDR vs. LPDDR vs. HBM Wiki. semiwiki.com. https://semiwiki.com/wikis/semiconductor-ip-wikis/ddr-vs-lpddr-vs-hbm-wiki/
[2] What is High Bandwidth Memory 3 (HBM3): Complete Engineering Guide 2025. wevolver.com. https://www.wevolver.com/article/what-is-high-bandwidth-memory-3-hbm3-complete-engineering-guide-2025
[3] Persistent Memory: The Hardware That Refused to Pick a Side. systemdesignprimer.substack.com. https://systemdesignprimer.substack.com/p/persistent-memory-the-hardware-that
[4] DDR5-6400 and Alder Lake test: top bandwidth but high latency. hwcooling.net. https://www.hwcooling.net/en/ddr5-6400-and-alder-lake-test-top-bandwidth-but-high-latency/?amp=1
[5] Crucial DDR5 Pro OC Memory DDR5-6400 16GB Dual-Channel Memory Kit Review. tweaktown.com. https://www.tweaktown.com/reviews/11324/crucial-ddr5-pro-oc-memory-ddr5-6400-16gb-dual-channel-memory-kit/index.html
下一篇:第 11 期,CXL Type 3 那层慢内存,凭什么不能平替 DDR5,敬请期待。