数据存储方案 | 第2期:GPU 直接吃数据了,存储怎么办?

存储专题 · · 九羲科技

10 月的存储圈,几件事看着不相干,放在一起却很整齐:AMD 把 GPU 直连存储做成了开源软件,IBM 把 Ceph 的元数据搬上了 SSD,向量数据库那边却传来讣告——有人说它要没了。

方向都指同一个地方:数据离算力越来越近。搬不动数据,就让算力去就数据;存不下的中间结果,找更近的地方放。这一期,我们拆开三份方案,看它们是怎么落的。

· · ·

① AMD 下场做存储:GPU 直连开源化

大模型训练和推理里,有一笔账谁都躲不过:checkpoint、KV Cache、权重,个头早就超过显存。Linux 默认的 IO 路径里,每个字节都要先过一遍主机内存的"中转站"才能到加速器——CPU 忙着搬箱子,GPU 在旁边等。

NVIDIA 很早就用 GPUDirect Storage(GDS)和 cuFile API 解决了这事:存储和显存之间直连 DMA,CPU 只发指令、不动手搬数据。现在 AMD 跟上了。10 月初发布的 ROCm 10.1,核心主题就是数据搬运,当家的是 AMD Infinity Storage(AIS)1。

1. AIS 是怎么搭的

AIS 是 AMD 旗下"让数据在存储和 GPU 显存之间直走"的软件总称,对外露出的库叫 hipFile(今年 7 月已 GA,随 ROCm 10.1 来到 0.5.0 版,开源)。它跟 cuFile 的 API 兼容到什么程度?AMD 在 HIPIFY 移植工具里直接给了 cuFile 到 hipFile 的映射表——写过 GDS 的代码,搬过去不费劲。

这版新东西有三件:异步快路径——读写走 HIP stream,能和算子执行重叠,checkpoint 引擎和 KV Cache 卸载直接受益;批量 IO API——一次提交一堆文件请求,内部线程池把 NVMe 队列喂满;三层 IO 统计——逐级细化的计数器进 ROCm profiler,运维一眼看出管线是卡在算、卡在内存还是卡在数据送达。

GPU 直连存储数据路径示意

图:GPU 直连存储数据路径示意(AI 生成示意,非实拍)

2. 诚实的一面:生态还很薄

软件有了,配套的存储厂商还没跟上。截至 10 月 12 日的公开信息:没有一家存储厂商宣布经过认证的 hipFile/AIS 支持。AMD 点名的 VAST Data、Dell PowerScale、HPE、NetApp,走的是 NFS over RDMA 协议兼容路线——协议通了,不等于厂商背书。

唯一拿出公开数字的是 VAST Data:MI355X 上跑 LMCache,经 800Gbps NFS over RDMA,宣称首 token 时间降 9 倍、吞吐涨 9.7 倍——厂商自己跑的测试,听个量级1。AMD 还埋了两颗钉子:一是快路径只认直连条件(O_DIRECT 打开、目标是显存、对齐满足、文件在 ext4/XFS 上),NVMe 后面垫了 LVM、MD RAID、dm-crypt 的,静默回退到主机中转模式,不报错;二是对象存储库 hipObject 要 2027 年上半年才来,WEKA、Lustre、IBM Storage Scale 都还在路线图上。

还有个细节挺有意思:hipFile 在 NVIDIA 卡上会直接委托给 cuFile——一份代码,两家卡都能跑。AMD 这次打的牌是开放和可移植,短板是生态深度。买 AMD 卡做大规模推理的客户,存储这一层现在还是"软件先行、厂商待定"。

② IBM Ceph:元数据搬上 SSD

Ceph 是老面孔了,开源分布式存储里块、文件、对象三栖的那位。IBM 从 Red Hat 手里接过企业版之后一直在加码,10 月 15 日的新版本,刀法很准:不动数据面,专治元数据2。

1. 三层结构:WAL、DB、SLOW

Ceph 的 BlueStore 有三级设备:WAL(最快,写前日志)、DB(中间层,放 BlueStore 内嵌的 RocksDB 元数据库)、SLOW(大块头,存实际对象数据,通常是 HDD)。DB 是可选的独立高速设备(SSD/NVMe),装得下多少元数据就装多少,装不下自动溢到 SLOW 上。

新版加了个 BlueFS Spillover Cleaner(智能分层管家):自动把热的 RocksDB 文件提到 DB 设备上,不活跃的沉到便宜介质。元数据访问快了,集群延迟就稳了——对象到块的映射查得快,业务体感最直接。

Ceph 三层存储结构示意

图:Ceph BlueStore 三层结构示意(AI 生成示意,非实拍)

2. 同期还动了三处

NVMe/TCP 网关的生命周期管理进了 Dashboard,好用、好管;RGW S3 对象浏览器支持按元数据和标签高级检索,大数据集的批量管理省事了;CephFS 子卷隔离(Subvolume Quarantine)上线——勒索病毒或恶意篡改之后,能把出事的子卷先圈起来。

这套思路值得琢磨:Ceph 的性能短板从来不在容量,在元数据。IBM 没去堆硬件参数,而是让"热的待在贵的上"自动化。分布式存储的运维成本,很大一块就是人肉调优分层——能自动化的,都该自动化。

③ 向量存储正在折叠:独立向量库还值吗

10 月上旬,检索圈最热的一篇讨论标题很直接:"RIP, vector database"——独立向量数据库这个品类,被宣判了3。同一份观察里还列了佐证:浏览器里跑的原生 RAG(RagIndex,纯 JS、连 embedding 都不要),10 万文档的知识库被讲成"一个周末能搭完的工程"。论点是:检索正在折叠回应用里,独立向量库从必选项变成了优化项。

1. 折叠的证据链

10 月 15 日,微软在 Microsoft Agent Framework 里加了 Python 原生向量存储支持,管 RAG 和 Agent 记忆——但官方自己标注还是实验性的,数据库集成包多是 alpha/beta4。10 月 20 日,Cognitum One 商业发布了 RuVector:Rust 引擎,向量检索(HNSW+SIMD)加知识图谱合一,能塞进 Postgres 当扩展用,宣称用反馈学习能把检索准确率提 10–30%——厂商宣称,未经独立验证5。

两条线其实说的是一件事:向量能力正在变成"库"和"扩展",而不是"又一个要运维的数据库"。几百万 chunk 以下的工作负载,pgvector、SQLite 系检索、甚至紧凑索引上的暴力重排,质量 hold 得住,还能砍掉一笔托管账单。

2. 落到选型的一句话

RAG 的数据到底存在哪一层?2026 年 10 月的答案是:先问规模。数据量没到必须独立集群的份上,向量就该待在业务数据库里(pgvector 兼容扩展是条捷径);真到了海量、要图谱、要反馈学习的份上,再谈独立引擎。存储选型跟算力选型一个道理:先够用,再好用。

前沿观察:MRAM 挂上了 CXL

10 月 5 日的 SNIA SDC 2026 上,Everspin 演示了世界首个 CXL 直连 MRAM 平台6:在 DRAM 和 NAND 之间,加了一层不断电也丢不了数据的持久内存。写速是 NAND 固态的 100 倍(厂商数据),缓存行级、纳秒级访问,断电重启数据还在——不用电池备援 DRAM,也不用先刷到 SSD。

演示机是 Supermicro 服务器 + AMD EPYC 9355 + Alveo U250 FPGA(Wolley CXL 控制器)+ Everspin PERSYST 1GB DDR4 MRAM,内存资源还能跨主机池化。Everspin 点名的两个 AI 场景:checkpoint 和持久化 KV Cache——正是这一期反复出现的那笔账。还是演示阶段,但"内存语义 + 断电不丢"这条路,KV Cache 的归宿又多了一个选项。

首个 CXL 连接 MRAM 平台

图:首个 CXL 连接 MRAM 平台(图片来源:Everspin,经 StorageNewsletter)

觉 然 小 注

存储和算力的距离,正在从"机柜"缩到"总线"。存力这门生意,拼的就是让数据离算力近、还离得便宜——选型时先问"离 GPU 几跳",再问多少钱一 TB。

· · ·

九羲科技|服务器 · 私有 AI · 存力方案

系列目录
第1期:数据不动,算力怎么吃饱?
第2期:GPU 直接吃数据了,存储怎么办?

引用与出处
[1] NAND Research. AMD Takes on AI Storage with ROCm 10.1 AIS. NAND Research, 2026. https://nand-research.com/amd-takes-on-ai-storage-with-rocm-10-1-ais/
[2] Blocks & Files. IBM Storage Ceph accelerates cluster performance. Blocks & Files, 2026. https://www.blocksandfiles.com/object/2026/10/15/ibm-storage-ceph-accelerates-cluster-performance/5303199
[3] Capernaum. The Vector Database Gets Its Obituary Read While RAG Quietly Shrinks. Capernaum, 2026. https://www.capernaums.com/d/digest-retrieval-search-1791183655.html
[4] Windows Forum. Microsoft Agent Framework Adds Experimental Python Vector Stores for RAG and Agent Memory. Windows Forum, 2026. https://windowsforum.com/news/microsoft-agent-framework-adds-experimental-python-vector-stores-for-rag-and-agent-memory.448460/
[5] Cognitum One. Cognitum One Launches Commercial RuVector, the Self-Learning Database Giving AI Agents Memory That Persists, Connects and Improves. Accesswire/Morningstar, 2026. https://www.morningstar.com/news/accesswire/1238912msn/cognitum-one-launches-commercial-ruvector-the-self-learning-database-giving-ai-agents-memory-that-persists-connects-and-improves
[6] StorageNewsletter. SNIA SDC 2026: Everspin Demonstrated World's First CXL-Connected MRAM. StorageNewsletter, 2026. https://www.storagenewsletter.com/2026/10/05/snia-sdc-2026-everspin-demonstrated-worlds-first-cxl-connected-mram/

下一篇|第3期预告 —— KV Cache 上盘之后,下一站在哪一层?

← 返回资讯中心