服务器专题 | 第14期:四电平挤带宽:SerDes在替谁赎买

服务器 · · 九羲科技

PCIe 从 Gen5 到 Gen6,每通道速率从 32 GT/s 翻到 64 GT/s¹。时钟并没有翻倍,翻倍的是每个信号里塞的信息量。Gen5 之前用的是 NRZ:两个电平,一个符号一位。Gen6 改用 PAM4:四个电平,一个符号两位¹。符号率不变,信息量翻倍,带宽账就是这么算出来的。x16 双向带宽随之从约 128 GB/s 到约 256 GB/s¹。数字很漂亮,代价藏在信号图里。

x16 双向带宽从 Gen5 约 128 GB/s 到 Gen6 约 256 GB/s,翻倍的是标称值,纠错与均衡的开销要另算(数据来源:PCI-SIG 规格整理¹;示意图为程序绘制)

代价的第一笔,是眼睛变小了。四个电平挤在原来两个电平的电压范围里,每个台阶之间的裕量被大幅压缩,噪声、串扰、反射,随便哪一项抖一下,都可能把一个电平认成相邻的电平。PCI-SIG 自己的说法很坦白:PAM4 带来的原始误码率,比此前各代 NRZ 的 10⁻¹² 高出几个数量级,Gen6 的设计预期就是 10⁻⁶ 量级²。也就是说,Gen6 从一开始就接受"信号会错",再用别的机制把错误率压回去。上一期谈的 LTSSM 谈判,在这里谈的不只是速率和宽度,还有这套纠错机制能不能立住。

纠错是成套的:FEC 在前,CRC 兜底

压回误码率的机制是成套的,不是单点补丁。PCI-SIG 给 Gen6 配的是低延迟前向纠错(FEC)加一次强校验(CRC),数据组织也改成固定 256 字节的 Flit,因为 FEC 只能在固定大小的数据块上算²。FEC 在接收端直接纠掉一部分错,不用等重传;纠不掉的,CRC 抓住,再走链路级重传。这套组合的代价也要算进去:FEC 本身要算力、要延迟、要功耗,Flit 格式改变了解码路径,等于用一部分延迟和芯片面积,换回了 PAM4 挤出来的带宽。带宽翻倍的账,减去纠错的开销,才是到手的好处。

机制在干什么
发送端均衡(Tx EQ,4 抽头)发之前先把信号预失真,抵消信道的高频衰减
接收端 CTLE + DFE收到后把糊掉的波形拉开、把残留的码间干扰减掉
FEC + CRC(Flit 256 字节)纠掉一部分错,纠不掉的靠校验发现、靠重传补回
Retimer信道实在太长时,中途重新定时、重新驱动,等于把一段长链路拆成两段短链路

NRZ 两个电平一位,PAM4 四个电平两位。符号率不变,信息量翻倍,代价是每个电平的判决裕量被压缩(示意图为程序绘制,非实测眼图)

第二笔代价在信道上。Gen6 的参考信道损耗指标是 16 GHz 处约 -32 dB³,这个数字翻译成工程语言就是:板材、走线长度、过孔、连接器,每一项都要比 Gen5 时代更讲究,超了指标,均衡再强也拉不回。上一期说的"信号糊了就降速",在 Gen6 会更常见,因为裕量本来就薄。机房里已经能看到的应对是 Retimer:链路中间加一级重新定时驱动,把长链路拆短³。Retimer 不是免费午餐,它要钱、要功耗、要板上位置,还会加一点延迟。买 Gen6 的系统时,Retimer 在不在 BOM 里,是一个值得单问的问题。

速率翻倍,账要三栏算

把三笔账并排放,Gen6 的"翻倍"就现了原形。第一栏是标称:64 GT/s 每通道,x16 双向约 256 GB/s¹。第二栏是纠错与均衡的开销:FEC 延迟、均衡功耗、Retimer 成本,这些不会出现在速率表里,但会出现在功耗表和报价单里。第三栏是部署现实:Gen6 先进数据中心和 AI 服务器,离通用机房还有距离,买方今天真正能验收的,更多是 Gen5 的链路质量,而不是 Gen6 的峰值数字。把三栏混成一栏"翻倍了",就是被营销数字带跑。

这也是 SerDes 这一行存在的意义。SerDes(串行器/解串器)做的事,从来不只是把并行变串行:它要在发送端预失真、在接收端做均衡、在协议层配合 FEC,把一条物理上已经不太可靠的信道,撑成一条逻辑上可靠的链路。PAM4 之后,SerDes 的活更重了,也更值钱了。芯片里 SerDes 面积和功耗的占比往上走,不是厂商在堆料,是物理规律在收税。

以小见大的一层判断:互联的演进史,就是一部"用算法和电路向物理赎买带宽"的历史。NRZ 到 PAM4,不是换个调制方式那么轻,是整个系统从"信号基本不出错"切换到"信号一定会错、但错了能纠回来"。这个切换一旦完成,就回不去了:往后的 Gen7、Gen8 仍走 PAM4 路线³,纠错只会更重,不会更轻。买服务器的人,不妨把问题从"速率是多少"换成"这套纠错在自家机房里立不立得住"。

没完全想通、留下一个问题:FEC 带来的固定延迟,在超低延迟的互联场景(比如 GPU 直连、内存语义访问)里,会不会从"可接受的开销"变成新的瓶颈?公开讨论多集中在带宽,延迟侧的实测还不多。

觉 然 小 注

带宽是挤出来的,不是长出来的。挤出来的每一比特,都有人在后面替它还账。

· · ·

九羲科技|服务器 · 私有 AI · 存力方案

系列目录
第1期 | 73% 的整机钱,都给了 GPU 板组
第2期 | 4500 颗芯片撑起 95% 的机架价值
第3期 | 拆一台 2U 双路:通用服务器的钱花在哪
第4期 | 大铁盒子,值钱的不是铁
第5期 | 冻结点:L5 之后结构不许再改
第6期 | 能点亮不等于能交付:十二层验什么
第7期 | 内存离 CPU 有多远:NUMA 的延迟税
第8期 | 带宽不是买速度,是买并行度
第9期 | 一颗坏芯片,怎样不拖垮整机
第10期 | 数据上台三步,每步都在花时间
第11期 | CXL 内存慢一档,为什么还值得买
第12期 | 存力只在关键路径上才算数
第13期 | 链路是谈出来的:开机几秒谈什么

引用与出处
[1] PCI-SIG. PCIe 6.0 FAQ:64 GT/s、PAM4、FEC 与 Flit 编码. pcisig.com. <a href="https://pcisig.com/faq?field_category_value%5B0%5D=pci_express_6.0&keys">https://pcisig.com/faq?field_category_value%5B0%5D=pci_express_6.0&keys</a>
[2] PCI-SIG. PCIe 6.0 FAQ:FEC 与 CRC 如何压低 PAM4 误码率(原始误码率 10⁻⁶ 对 NRZ 的 10⁻¹²). pcisig.com. <a href="https://pcisig.com/faq?field_category_value%5B%5D=pci_express_6.0&keys=PAM4">https://pcisig.com/faq?field_category_value%5B%5D=pci_express_6.0&keys=PAM4</a>
[3] Electronic Design. The Bandwidth Arms Race:Inside the Leap from PCIe Gen 6 to Gen 8(Gen6 信道损耗、均衡与 Retimer 整理). electronicdesign.com. <a href="https://www.electronicdesign.com/technologies/industrial/article/55399189/logic-fruit-technologies-the-bandwidth-arms-race-inside-the-leap-from-pcie-gen-6-to-gen-8">https://www.electronicdesign.com/technologies/industrial/article/55399189/logic-fruit-technologies-the-bandwidth-arms-race-inside-the-leap-from-pcie-gen-6-to-gen-8</a>

下一篇|第15期:交换机卖的是端口,不是带宽 —— 超订比怎么算,什么时候成立。

← 返回资讯中心