NVIDIA全栈协同设计破解AI内存瓶颈

NVIDIA这篇技术博客最重要的判断是：AI推理的瓶颈已经从“HBM容量不够”转向“每字节内存能产出多少有用token”，而解决之道不是往GPU上堆更多内存，是通过全栈协同设计（full-stack codesign）把模型权重、KV cache、RAG数据分别压缩、分层、调度，让同一块HBM服务更多并发用户。最硬的证据是这组对比：从Blackwell Ultra到Vera Rubin平台，每GPU的HBM容量只涨了约3%，但在SemiAnalysis AgentX基准上，agentic吞吐每美元最高提升30倍。

先看清压力从哪来

前沿模型参数已达万亿级别，这是压在HBM上的第一块石头。第二块是KV cache——模型理解每个活跃请求所需上下文的工作内存，它随请求增长而增长。第三块最容易被低估：agentic轨迹会把先前上下文跨越多轮模型调用和工具调用携带下去，某些情况下单条请求要处理多达300万token，工作内存随时间持续膨胀。RAG再往prompt里塞企业知识库检索结果，上下文进一步膨胀。推理时HBM同时装模型参数和KV cache，两头挤。

仓库与码头的比喻，说透了memory wall

NVIDIA用了一个很准的类比：HBM是仓库，内存带宽是装卸码头。仓库再大，码头吞吐量固定，单位时间进出多少货就固定。码头满负荷后，多堆的库存只会让响应变慢；一旦延迟超过服务等级要求，多出来的容量根本用不上，却照样吃电、吃成本。这就是工程师说的memory wall——内存带宽供数速度追不上计算消耗速度。所以“每GPU加HBM”是显而易见但错误的答案：容量只兑现带宽能搬运的部分。

容量只兑现带宽能搬运的部分。

三条压缩路径，各打一个低效源头

第一条打模型权重。NVFP4格式相比Hopper平台最低精度的FP8进一步压缩权重占用，而且这不是纸面规格——Black Forest Labs的FLUX.2 [klein]、Thinking Machines Lab的Inkling、Reflection的Beam 1.0、Meta的Muse Spark、StepFun的Step 5 Preview、NVIDIA自家Nemotron 3.5 Super VL都已发布NVFP4 checkpoint，模型厂商用脚投票说明4-bit推理进入生产采纳期。配合NVL72域内最多72块GPU分布式承载权重，单卡分摊的模型份额变小，省下的HBM留给KV cache和并发用户。

第二条打KV cache。同样上NVFP4压缩其占用，让更多上下文常驻HBM。Vera CPU在这里扮演两个角色：更快的工具执行缩短KV cache在工具调用期间闲置的时间窗口；它的大容量LPDDR内存通过NVLink-C2C与Rubin GPU相连，给暂停的上下文提供一个就近等待、快速返回的位置。真正不活跃的上下文则由Dynamo推理软件搬到CMX context memory storage——这一层按容量优化，每bit成本远低于HBM。CMX的定位很讲究：不同于本地SSD，它跨服务器共享；不同于企业级存储，它跳过了短期上下文根本不需要的长期数据保护开销。合作伙伴名单覆盖Cloudian、DDN、Dell、Everpure（原Pure Storage）、HPE、IBM、NetApp、VAST、WEKA，说明这是一层正在成形的独立产品品类。Dynamo的KV Cache Reuse把GPU内存、CPU内存、存储三层当作一个系统级资源统一管理，算过一次的上下文全系统复用。

第三条打RAG。Nemotron Retriever模型产出更小但检索精度更高的embedding，cuVS库让索引在CPU和存储上构建与服务，知识库永不占HBM，只有模型实际需要的段落才进入上下文。

所以呢：指标换了，采购逻辑也得换

看这组数字：GB300 NVL72在DeepSeek V4 Pro负载、每用户100 token/s条件下，吞吐每美元比H200平台高至多10倍，而每GPU HBM容量大约翻倍；Vera Rubin NVL72在125 token/s条件下比GB300 NVL72高至多30倍，HBM容量只涨约3%。容量增幅与收益增幅彻底脱钩，这传递的信号很明确——竞争维度从“谁的内存更大”变成“谁能让每字节做更多有用功”。

对AI工厂运营者，真正该盯的指标是在功率预算内、满足用户响应时间前提下能交付多少有用token。每瓦每秒token数决定同样电力产出多少收入和多少工作量，进而决定每token成本。这也解释了NVIDIA为什么反复强调自己是首家在加速计算栈中采用HBM3e和HBM4的厂商，却刻意不把叙事停在“我们内存最新最快”——在供应紧张、价格上涨且预计近期持续的趋势下，单靠抢购最新内存颗粒既不可持续也不构成护城河，能把内存层级调度好的软件栈才是。对从业者的含义是：推理优化的战场正从单卡kernel级优化上移到系统级数据放置策略，懂Dynamo这类编排层、懂KV cache生命周期管理、懂存储分层成本模型的人，价值会明显上升。