10 倍是拿去年的对手比的
SemiAnalysis 重算 Vera Rubin 的推理账
一句话结论:倍数是真的,但它取决于你拿谁当分母
同一台机器,换个基线,从「10 倍」变成「2 倍」
2026 年 7 月 22 日,CoreWeave 公布了 Vera Rubin NVL72 的推理实测:在每用户每秒约 150 个 token 的输出速度下,它的每兆瓦 token 吞吐是 GB200 NVL72 的 10 倍。这是英伟达新一代机柜的第一份公开成绩单,也是英伟达自己在营销材料里主推的那个数字。
SemiAnalysis 的这篇报告没有质疑数据本身,而是去追问一件更基础的事:那个「1 倍」是什么时候的 GB200?
答案是 2025 年的。CoreWeave 对标的 GB200 基线取自它自己一年前的测试——那时 GB200 刚上市,软件栈处于早期调优阶段。把 Rubin 的「今天」和 GB200 的「去年」放在一起比,倍数自然会被放大。SemiAnalysis 因此重算了三条基线:2026 年 7 月的 GB200、2026 年 7 月的 GB300,以及 CoreWeave 那条 2025 年的 GB200,并且把自家 InferenceX 的基准数据按 CoreWeave 的口径重新归一化,才让四条线可比。
用同期(2026 年 7 月)的 GB200 / GB300 做基线,Rubin 的每兆瓦吞吐优势是 1.88×–4.49×,成本优势是 1.49×–3.87×——不是 10 倍,但仍然是一次实打实的代际跃迁。而那条 2025 年基线之所以能给出 10.18×,是因为它衡量的是一套一年前的软件栈,不是今天你会买到的 GB200。
更重要的是,SemiAnalysis 提醒:Rubin 自己也还在早期——它现在跑的也是刚上线的软件栈,随着内核成熟,这个差距还会继续拉大。两边都不是终局读数。
先把口径讲清楚:这场对比在测什么
四个必须先懂的概念,否则后面的表看不出味道
这类推理基准测试对金融读者最不友好的地方,是它的横轴不是「多快」而是「多快地服务每一个用户」。先把四件事说清楚:
· 交互速度(interactivity)——横轴,单位 tok/s/user,即单个用户每秒能看到多少个字。数字越大,用户体感越快。报告里提到,约 150 tok/s/user 大概比今天前沿模型的「快速模式」还快 50%;
· 每兆瓦吞吐——纵轴之一,单位 tok/s/MW,即一兆瓦电力每秒能产出多少 token。这是数据中心最关心的效率指标,因为电力是硬约束;
· 每百万 token 成本——纵轴之二,把 TCO(含资本开支、电费、数据中心摊销)除以吞吐,单位美元。越低越好;
· 帕累托前沿——每条曲线都有一个尽头。一台机器不可能在任意快的交互速度下服务任意大的批量;曲线到哪里断掉,就是这台机器在这个速度上「根本跑不了」。报告里表格中的 impossible,指的就是这个。
推理服务有一个基本的取舍:要单用户快,就得把批量压小;批量一小,芯片的利用率就掉,每兆瓦吞吐随之崩塌。所以每台机器都存在一个「再快就服务不了」的临界点。这就是为什么本篇后面那句「350 tok/s/user 上只有 Rubin 有曲线」——不是 Rubin 比对手快多少倍的问题,而是对手在那个速度上不存在可用配置。
对投研来说,这条边界比任何倍数都更有信息量:它决定了哪一代硬件能接住「更快的模型体验」这个需求。
CoreWeave 那张图,有四处需要打折
数据没问题,但每一处口径都对某一方更有利
SemiAnalysis 先声明:这批数据来自 CoreWeave,它没有独立验证;英伟达已承诺在 2026 年三季度前向 InferenceX 提交可验证的数字,谷歌的 TPUv7、AMD 的 MI455X UALoE72 也都在排队。在那之前,任何单方发布的数字都只能当参考。公平地说,两边确实都开满了优化——CoreWeave 声称 GB200 基线和 Rubin 都启用了 NVFP4 精度、投机解码、分离式服务、宽专家并行,均通过 TensorRT-LLM。
在这之上,报告点出了四处口径问题:
| 口径 | CoreWeave 怎么测的 | 对谁更有利 |
|---|---|---|
| ① 对比基线 | 拿 2025 年的 GB200 当 1 倍 | 对 Rubin 有利(软件栈老一年) |
| ② 测试模型 | DeepSeek R1 671B,一个已不再广泛使用的模型 | 对 Blackwell 有利(见下) |
| ③ 工作负载 | 单轮对话,输入 8K / 输出 1K token | 对 Blackwell 有利(见下) |
| ④ 测试硬件 | 戴尔工程样机机架,无对外扩展网络 | 中性偏保守(尚非量产配置) |
第 ② 和 ③ 两处,方向和直觉相反——它们其实对 Blackwell 更有利。原因在于 Rubin 的长处集中在更大的内存容量与带宽:它更适合万亿参数级的巨型模型,也更适合多轮长上下文的智能体工作负载。而 CoreWeave 选的是一个 671B 的旧模型、跑的是单轮 8K/1K 的短任务,恰好把 Rubin 的两个主场都避开了。SemiAnalysis 顺口点评:至少 CoreWeave 没有像 AMD 那样,在 2026 年夏天还拿 GPT-OSS 120B 去测 MI455X。
换句话说,如果换成 Kimi K3、Qwen3.8 这类多万亿参数模型,或者换成真实的智能体编程负载,Rubin 的优势理论上还要更大——只是这次没测。
换成同期基线:每兆瓦吞吐的真实倍数
1.9 倍起步,2 百 tok/s/user 附近见顶到 4.5 倍
这是全篇最核心的一张表。四行读数、三行倍数,横轴是交互速度。impossible = 这台机器在该速度上没有可用配置。
| 交互速度 tok/s/user | 50 | 100 | 150 | 200 | 250 | 300 | 350 |
|---|---|---|---|---|---|---|---|
| GB200 NVL72(2026-07) | 705,543 | 558,569 | 287,289 | 77,218 | 36,394 | impossible | impossible |
| GB300 NVL72(2026-07) | 707,037 | 517,848 | 305,023 | 66,799 | 37,049 | 17,892 | impossible |
| CoreWeave GB200(2025) | 500,000 | 300,000 | 77,224 | 50,000 | 39,123 | impossible | impossible |
| Vera Rubin NVL72(2026-07) | 1,330,000 | 1,115,625 | 786,208 | 300,000 | 140,264 | 96,446 | 70,703 |
| Rubin vs GB200(同期) | 1.89× | 2.00× | 2.74× | 3.89× | 3.85× | — | — |
| Rubin vs GB300(同期) | 1.88× | 2.15× | 2.58× | 4.49× | 3.79× | 5.39× | — |
| Rubin vs CW GB200(2025) | 2.66× | 3.72× | 10.18× | 6.00× | 3.59× | — | — |
把最上面那行「10.18×」和它正上方的「2.74×」放在一起看,整篇报告的题眼就出来了:同一个交互速度(150 tok/s/user)、同一台 Rubin,对 2025 年的 GB200 是 10 倍,对 2026 年 7 月的 GB200 只有 2.7 倍。差出来的那 7 倍多,不是硬件,是一年的软件成熟度。
报告对此的表述很克制:那条 2025 年基线的数据「是准确的」,但它衡量的是一套一年前的软件栈,不是你今天会跑的 GB200。
那个 5.4 倍,是 GB300 崩了,不是 Rubin 冲了
比值失真的一个经典案例
表里还有一个数字容易被误读:300 tok/s/user 上 Rubin vs GB300 = 5.39×,看上去像是「越快 Rubin 越强」。SemiAnalysis 明确否认了这个读法。
真实的形状是:Rubin 对 GB300 的领先在低速区最小(约 1.9 倍),在 200 tok/s/user 附近见顶到 4.5 倍,之后开始收窄。到 300 tok/s/user 时之所以又弹回 5.39×,不是 Rubin 加速了——而是 GB300 已经跑在自己前沿上最后一个「勉强能用」的点,吞吐塌到 17,892,分母小了,比值自然被撑爆。同一个速度上,GB200 干脆完全跑不了。
底层机制很直接:Blackwell 在高交互速度下批量被压得很小,单卡吞吐掉得极快;而 Rubin 此时还在自己曲线比较平坦的那一段。
当分母跑在自己能力边界上时,比值反映的是分母的崩塌,不是分子的强大。这在硬件基准、也在财务同比里同样成立——SemiAnalysis 特意把这一句写出来,是提醒读者别把 5.39× 当成「Rubin 在高速区更神」的证据。真正的证据是下一节那件事:在 350 tok/s/user 上,对手根本没有曲线。
再折进成本:TCO 让倍数进一步缩水
Rubin 每 GPU 小时 $3.57,比 GB200 贵近一倍
每兆瓦吞吐只把性能对电力算了账。真正决定买不买的是每百万 token 的全成本——把资本开支、电费、数据中心成本一起摊进去。而这里有一个对 Rubin 不利的事实:它自己也更贵、更耗电。
Rubin 的单卡持有成本几乎是 GB200 的两倍。这意味着它的性价比优势必然小于性能优势——先看表:
| 每百万输出 token 成本 | 50 | 100 | 150 | 200 | 250 | 300 | 350 |
|---|---|---|---|---|---|---|---|
| GB200 NVL72(2026-07) | $0.333 | $0.423 | $0.799 | $3.016 | $6.471 | impossible | impossible |
| GB300 NVL72(2026-07) | $0.364 | $0.497 | $0.842 | $3.837 | $6.859 | $15.456 | impossible |
| CoreWeave GB200(2025) | $0.472 | $0.786 | $3.046 | $4.715 | $6.013 | impossible | impossible |
| Vera Rubin NVL72(2026-07) | $0.223 | $0.266 | $0.378 | $0.991 | $2.099 | $3.076 | $4.179 |
| GB200 ÷ Rubin(便宜几倍) | 1.49× | 1.59× | 2.11× | 3.04× | 3.08× | — | — |
| GB300 ÷ Rubin(便宜几倍) | 1.63× | 1.87× | 2.23× | 3.87× | 3.27× | 5.03× | — |
| CW GB200(2025)÷ Rubin | 2.12× | 2.95× | 8.06× | 4.76× | 2.86× | — | — |
性能优势 1.88×–4.49×,成本优势 1.49×–3.87×——后者系统性地小一档,差额正是 Rubin 那 94% 更高的单卡持有成本吃掉的。
但方向没有被改变:对同期的 GB200 和 GB300,Rubin 在每一个交互速度上都更便宜。低速区(≤100 tok/s/user)约便宜 1.5 倍,200–250 tok/s/user 区间拉开到约 3 倍,300 tok/s/user 上对 GB300 是 5.03 倍——而这最后一个数字,和上一节的 5.39× 一样,是 GB300 崩塌撑出来的,不是 Rubin 的功劳。
曲线右端:真正只有 Rubin 能站的地方
350 tok/s/user 上,对手连一条线都画不出来
把两张表最右边那一列单独拎出来,报告最有分量的判断就浮出来了:
· 250 tok/s/user 之后——GB200 已经没有可用工作点;
· 300 tok/s/user 之后——GB300 也没有了;
· 350 tok/s/user——只剩 Rubin 一条线:70,703 tok/s/MW,每百万输出 token $4.18。
报告用了一句很短的话总结:Rubin 会给我们多得多的「快速模式」。
Blackwell 世代(GB200 / GB300)
Vera Rubin NVL72
倍数会随基线变,边界不会。「有没有可用工作点」是二值的——如果模型厂商要把用户体感推到 300+ tok/s/user(更快的对话、更流畅的智能体、更短的思考等待),那么在 Blackwell 上不是贵一点的问题,是做不到。
这也解释了为什么 Rubin 更高的单卡成本仍然说得通:它买到的不只是效率,还有一片对手进不去的产品空间。
Rubin 凭什么:六处微架构改动
它不是全新架构,而是 Blackwell 的「加力版」——这恰恰是它的优势
SemiAnalysis 强调,完整的微架构拆解要等拿到 Rubin 系统的 ssh 权限才能做,但从英伟达已公开的 ISA 文档与提交的代码里,已经能读出六处关键改动:
| 改动 | Blackwell / Blackwell Ultra | Rubin(SM_107) | 为什么重要 |
|---|---|---|---|
| 张量核吞吐 | 基准 | FP8 / FP4 翻倍 | k 维度翻倍 → 同一个矩阵乘理论上少一半时钟周期 |
| 内存带宽 | 基准(Blackwell Ultra) | 2.8×(3D 堆叠 HBM4) | 解码阶段的主要瓶颈就是权重带宽 |
| 共享内存 SMEM | 228 KiB | 228 KiB(超容模式 328 KiB) | 更大的片上缓存,减少反复读写显存 |
| 张量内存 TMEM | 列数 512 | 列数 576 · 256 KiB | 多出的列专放块缩放因子,内核逻辑大幅简化 |
| TMA 描述符 | 换专家要改写内存中的描述符并同步 | 支持内联更新(.override) | MoE 模型换专家的开销被去掉 → 小批量解码更快 |
| NVLink 延迟 | 比 TPU / Trainium 高数倍 | counted writes 降延迟 | 减少 GPU 间来回消息数,这是 Blackwell 的明显短板 |
从 Hopper 到 Blackwell,工程师必须从零重写内核——Hopper 的内核在 Blackwell 上根本跑不起来。而 Rubin 可以直接跑 Blackwell 的 SM100 系内核(DeepGEMM、FlashMLA、CUTLASS 等主要库都覆盖)。
这是一个被市场低估的上量速度变量:追求极限性能仍需针对 Rubin 重写调优,但对于赶时间上线的团队,Blackwell 的内核可以直接搬过来先跑起来。英伟达也已首次公开发布 Rubin 软件栈(CUDA 13.4),并把相关改动合入 PyTorch、vLLM 与 OpenAI Triton 编译器。
报告顺带给了一个前瞻:下一代 Feynman 是 SM_140,一个全新架构族,Rubin → Feynman 的迁移会像当年 Hopper → Blackwell 一样痛——内核要大规模重写。
LUT B:把一个权重压到 3.125 比特
英伟达第一次让张量核在乘法内部解压「非均匀码本」
报告花了不小篇幅讲一个新特性:LUT B(查找表权重解压)。它值得单拎出来,因为它直接关系到一个模型需要几颗芯片才装得下。
机制并不复杂:在标准推理矩阵乘里,B 操作数存的是权重本身。在 LUT B 模式下,B 操作数存的是索引——每个权重位置只存 3 比特,用来从一张 8 项的查找表里挑一个值。查找表本身放在张量内存里,由该权重所在的 8×64 块共享。解压发生在乘法指令内部,内核完全不需要单独构造一个解压后的权重矩阵。
算总账:每个权重 3 比特索引,加上 8 项 × 8 比特 = 64 比特的码本摊到 512 个权重上,合计 3.125 比特/权重——这是完整的存储占用,码本和索引一起放在显存里。
为什么低比特率在推理上格外值钱?因为在小批量的解码阶段,限制速度的是读权重的带宽。每个权重少读几个字节,解码吞吐就直接上去;同时搬运的比特少了,功耗效率也跟着改善。
但报告没有把它吹成免费的午餐。LUT B 不必然比 MXFP4 / NVFP4 更准:它的码本可以按权重分布疏密自由摆放(比固定的浮点格点更灵活,理论上「每比特的精度」更高),可代价是一张码本要被 512 个权重共享,而 NVFP4 的缩放粒度小到 16 个权重。最终谁更准,取决于码本拟合算法、校准数据、量化感知训练,以及敏感层是否保留在更高精度。此外该模式不支持 B 矩阵转置。
Rubin 还新增了对激活值的 2:4 稀疏支持——每四个值保留两个,张量核跳过被清零的那些,矩阵乘以两倍速率跑。关键区别在于:英伟达早在 Ampere 时代就为权重做过 2:4,但没人用,因为那需要剪枝并重新训练;Rubin 把它用在运行时的激活值上,不需要重训。
但报告给了三个冷静的注脚:英伟达没有公布任何精度数据;在 softmax 之前扔掉一半注意力分数显然不是免费的;而 CoreWeave 这次的 DeepSeek R1 测试看起来也没有启用它。
换句话说,这和 LUT B 一样,都属于硅片上已经有、调优内核还没跟上的能力——它们构成了 SemiAnalysis 那句「Rubin 后面还有很长的跑道」的实际含义。
机架长什么样:185 千瓦与无线缆托盘
比性能更早兑现的优势,可能是上量速度
报告给出了 VR NVL72 的机架级构成与功耗建模。一个 48U 机架里装着:
· 18 个 1U 计算托盘——每个 2 颗 Vera CPU + 4 颗 Rubin GPU,合计 72 颗 GPU(分上下两组,各 9 个);
· 9 个 1U NVSwitch6 托盘——每个 4 颗 NVSwitch6,居中放置;
· 4 个 3U 电源架——每个 110kW(6 × 18.3kW),上下各两个;
· 顶部 2 个 1U 管理交换机,以及机架加固件与滴水盘。
还有一处对供应链更实际的判断:Rubin 的量产爬坡会比 Blackwell 快得多。原因有二——一是 Rubin 采用无线缆的计算托盘设计,装配大幅简化;二是英伟达在 Blackwell 的机柜级铜背板上已经踩过一轮坑并投入了大量精力去解决。CoreWeave 这次的测试虽然用的是工程样机、且没有对外扩展网络,但它跑通了宽专家并行与预填充/解码分离,等于证明了那块曾在 GB200 爬坡期屡出可靠性问题的 NVL72 背板,这回工作正常。
对照 AMD:MI355X 的数字目前不能用
一个软件 bug,把最好的成绩单作废了
报告还把 Rubin 和 AMD 的 MI355X 做了对照,但先给了一个前提:MI355X 在 DeepSeek R1 上目前最好的那组数字是无效的。原因是 SGLang 上的一个精度 bug——MoRI 专家并行的解码路径在低并发时会静默地损坏输出:服务器照常全速吐 token,但 gsm8k 测评分数直接掉到 0。
根因在 AITER 的 MoE 归约路径:中间结果的显存未初始化就分配,在专家并行模式下只有本地专家的槽位被填,其余槽位留着垃圾值,求和时把 NaN 折进输出。因为只有 M≈1024 那个调优档位会选中这个内核,污染只命中一小段低并发配置,中高并发反而是干净的。修复后并发 64 恢复正常,但并发 ≤32 仍然失败。
| 对照(输出 token/s/MW) | @50 tok/s/user | @135 tok/s/user |
|---|---|---|
| Vera Rubin NVL72 | 1,330,000 | 约 886,000 |
| MI355X(启用投机解码 MTP) | 434,235 | 187,848 |
| MI355X(未启用 MTP) | 约 32,000 | 约 6,000 |
| Rubin 领先倍数(对 MTP 版) | 3.06× | 4.72× |
| Rubin 领先倍数(对非 MTP 版) | 约 41.6× | 约 148× |
两点值得注意。其一,开不开投机解码,MI355X 的读数差出一到两个数量级——这提醒我们,这类基准比的从来不只是硅片,还有软件栈的成熟度。其二,SemiAnalysis 补了一句耐人寻味的观察:即便带着上述 bug,今天的 MI355X 仍然跑赢了 CoreWeave 拿来做营销基线的那个「去年的 GB200」。这从侧面再次说明:那条 2025 年基线的参考价值有多有限。
落点:这份成绩单该怎么用
三个可以拿走的判断,三个必须打的折
把全篇收束到投研上,有三个判断可以拿走:
· 代际跃迁是真的,但幅度是 2–4 倍不是 10 倍。任何引用「10 倍」的分析,都需要先问一句它的分母是哪一年的;
· Rubin 更贵,但每一个交互速度上都更便宜。$3.57 的单卡小时成本比 GB200 高 94%,可折算到每百万 token 后仍是全面胜出——这正是「性能/TCO」比「性能/卡」更该被用来做决策的原因;
· 真正的护城河在曲线右端。350 tok/s/user 上只有 Rubin 有解,这不是价格问题而是可行性问题。如果「更快的模型体验」是接下来一年的产品竞争焦点,那么这片区间的独占权,比任何倍数都值钱。
但三个折也必须打:
① 数据未经独立验证——全部 Rubin 读数来自 CoreWeave 自行提供,SemiAnalysis 明确声明未做独立验证。英伟达承诺 2026 年三季度前向 InferenceX 提交可验证数字,谷歌 TPUv7 与 AMD MI455X UALoE72 也在排队;真正的横向可比要等这批提交落地。
② 测试条件避开了 Rubin 的主场——单轮 8K/1K 的短任务 + 一个不再广泛使用的 671B 模型,恰好没有用上 Rubin 在容量与带宽上的长处。多轮长上下文的智能体负载理论上会拉大差距,但这次没测(SemiAnalysis 正在与 Weka、LMCache、vLLM/SGLang 社区、英伟达、AMD 等合作推 AgentX 基准来补这一块);
③ 两边都还没跑到终点——Rubin 目前跑的也是刚上线的软件栈,SemiAnalysis 预期差距还会继续扩大;而 LUT B 与 2:4 激活稀疏这两项能力,目前是有硅片、无调优内核的状态,尚未反映在任何读数里。
最后回到定价框架。报告用它此前提出的「一张图管所有」框架收尾:图上那条竖虚线是成本法定出的租金下限(低于它,算力租赁商达不到最低内部收益率门槛),横虚线是价值法定出的租金上限(高于它,客户宁可继续用老卡也不为性能提升买单)。SemiAnalysis 的判断是:把上面这些推理读数代进去,Rubin 从 GB300 那里拿到的 2.3–2.5 倍 FP8 算力跃升撑得住它较高的理论租金上限,而且随着软件成熟,这个差距还会继续拉开。
把这份成绩单放进更大的脉络里会更清楚——下面三篇分别接住本篇没展开的那一头。
- 01 Vera Rubin:极致协同设计 本篇的前传 讲的是这台机器被设计成什么样——6 颗芯片、无线缆托盘、NVLink 6、全液冷;而本篇回答的是它实际跑出了什么。设计意图与实测读数,合起来才是完整的一台机柜。
- 02 更快的核,还是更多的核 同一台机柜里的另一场争论 本篇算的是那 4 颗 Rubin GPU,这篇拆的是同一个托盘上那 2 颗 Vera CPU 与 AMD 的路线之争——服务器 CPU 该往单核更快走,还是往核更多走。
- 03 开源冲上 3 万亿:Kimi K3 是不是中国的「DeepSeek 2.0 时刻」 LUT B 算例里的主角 本篇 LUT B 那道「1,487 GB 权重压到 1,094 GB、6 颗封装变 4 颗」的算例,算的就是这个 2.8 万亿参数模型。它是「几颗芯片才装得下」这个问题的现实版本。
三篇加本篇共同回答同一个问题:当模型越来越大、用户要求越来越快时,一美元究竟能买到多少 token。