AI产业链地图·知识库 AI深度报告解析 · Rubin 推理 TCO
🚧 网站建设中 → 产业链图谱
AI 芯片 · 推理性能与拥有成本

10 倍是拿去年的对手比的
SemiAnalysis 重算 Vera Rubin 的推理账

英伟达新一代机柜 Vera Rubin NVL72 的第一份推理成绩单出自 CoreWeave:每兆瓦吞吐是 GB200 NVL7210 倍。SemiAnalysis 把这个数字拆开看——10 倍的分母是 2025 年的 GB200,一套跑了一年前软件栈的机器。换成同期基线重算,倍数落到 1.9–4.5 倍。但这篇报告真正值钱的判断,不在倍数被砍掉多少,而在曲线右端那一段:有一片工作区间,只有 Rubin 还画得出线。
作者 Alec Ibarra、Dylan Patel 等 8 人 日期 2026 年 7 月 23 日 来源 SemiAnalysis(付费报告)
01

一句话结论:倍数是真的,但它取决于你拿谁当分母

同一台机器,换个基线,从「10 倍」变成「2 倍」

2026 年 7 月 22 日,CoreWeave 公布了 Vera Rubin NVL72 的推理实测:在每用户每秒约 150 个 token 的输出速度下,它的每兆瓦 token 吞吐是 GB200 NVL72 的 10 倍。这是英伟达新一代机柜的第一份公开成绩单,也是英伟达自己在营销材料里主推的那个数字。

SemiAnalysis 的这篇报告没有质疑数据本身,而是去追问一件更基础的事:那个「1 倍」是什么时候的 GB200?

答案是 2025 年的。CoreWeave 对标的 GB200 基线取自它自己一年前的测试——那时 GB200 刚上市,软件栈处于早期调优阶段。把 Rubin 的「今天」和 GB200 的「去年」放在一起比,倍数自然会被放大。SemiAnalysis 因此重算了三条基线:2026 年 7 月的 GB200、2026 年 7 月的 GB300,以及 CoreWeave 那条 2025 年的 GB200,并且把自家 InferenceX 的基准数据按 CoreWeave 的口径重新归一化,才让四条线可比。

核心结论

同期(2026 年 7 月)的 GB200 / GB300 做基线,Rubin 的每兆瓦吞吐优势是 1.88×–4.49×,成本优势是 1.49×–3.87×——不是 10 倍,但仍然是一次实打实的代际跃迁。而那条 2025 年基线之所以能给出 10.18×,是因为它衡量的是一套一年前的软件栈,不是今天你会买到的 GB200。
更重要的是,SemiAnalysis 提醒:Rubin 自己也还在早期——它现在跑的也是刚上线的软件栈,随着内核成熟,这个差距还会继续拉大。两边都不是终局读数。

02

先把口径讲清楚:这场对比在测什么

四个必须先懂的概念,否则后面的表看不出味道

这类推理基准测试对金融读者最不友好的地方,是它的横轴不是「多快」而是「多快服务每一个用户」。先把四件事说清楚:

· 交互速度(interactivity——横轴,单位 tok/s/user,即单个用户每秒能看到多少个字。数字越大,用户体感越快。报告里提到,约 150 tok/s/user 大概比今天前沿模型的「快速模式」还快 50%;
· 每兆瓦吞吐——纵轴之一,单位 tok/s/MW,即一兆瓦电力每秒能产出多少 token。这是数据中心最关心的效率指标,因为电力是硬约束;
· 每百万 token 成本——纵轴之二,把 TCO(含资本开支、电费、数据中心摊销)除以吞吐,单位美元。越低越好
· 帕累托前沿——每条曲线都有一个尽头。一台机器不可能在任意快的交互速度下服务任意大的批量曲线到哪里断掉,就是这台机器在这个速度上「根本跑不了」。报告里表格中的 impossible,指的就是这个。

为什么「曲线在哪断掉」比倍数更重要

推理服务有一个基本的取舍:要单用户快,就得把批量压小;批量一小,芯片的利用率就掉,每兆瓦吞吐随之崩塌。所以每台机器都存在一个「再快就服务不了」的临界点。这就是为什么本篇后面那句「350 tok/s/user 上只有 Rubin 有曲线」——不是 Rubin 比对手快多少倍的问题,而是对手在那个速度上不存在可用配置
对投研来说,这条边界比任何倍数都更有信息量:它决定了哪一代硬件能接住「更快的模型体验」这个需求

03

CoreWeave 那张图,有四处需要打折

数据没问题,但每一处口径都对某一方更有利

SemiAnalysis 先声明:这批数据来自 CoreWeave,它没有独立验证;英伟达已承诺在 2026 年三季度前向 InferenceX 提交可验证的数字,谷歌的 TPUv7、AMD 的 MI455X UALoE72 也都在排队。在那之前,任何单方发布的数字都只能当参考。公平地说,两边确实都开满了优化——CoreWeave 声称 GB200 基线和 Rubin 都启用了 NVFP4 精度、投机解码分离式服务、宽专家并行,均通过 TensorRT-LLM。

在这之上,报告点出了四处口径问题:

口径CoreWeave 怎么测的对谁更有利
① 对比基线2025 年的 GB200 当 1 倍对 Rubin 有利(软件栈老一年)
② 测试模型DeepSeek R1 671B,一个已不再广泛使用的模型Blackwell 有利(见下)
③ 工作负载单轮对话,输入 8K / 输出 1K tokenBlackwell 有利(见下)
④ 测试硬件戴尔工程样机机架,无对外扩展网络中性偏保守(尚非量产配置)
据 SemiAnalysis 对 CoreWeave 2026 年 7 月 22 日发布数据的拆解。另有一处技术性口径:纵轴只统计输出 token 的吞吐,但功耗分母把 预填充与解码的 GPU 全算了进去;SemiAnalysis 为求可比,把自家 InferenceX 数据也做了同样的归一化。

第 ② 和 ③ 两处,方向和直觉相反——它们其实对 Blackwell 更有利。原因在于 Rubin 的长处集中在更大的内存容量与带宽:它更适合万亿参数级的巨型模型,也更适合多轮长上下文的智能体工作负载。而 CoreWeave 选的是一个 671B 的旧模型、跑的是单轮 8K/1K 的短任务,恰好把 Rubin 的两个主场都避开了。SemiAnalysis 顺口点评:至少 CoreWeave 没有像 AMD 那样,在 2026 年夏天还拿 GPT-OSS 120B 去测 MI455X。

换句话说,如果换成 Kimi K3、Qwen3.8 这类多万亿参数模型,或者换成真实的智能体编程负载,Rubin 的优势理论上还要更大——只是这次没测。

04

换成同期基线:每兆瓦吞吐的真实倍数

1.9 倍起步,2 百 tok/s/user 附近见顶到 4.5 倍

这是全篇最核心的一张表。四行读数、三行倍数,横轴是交互速度。impossible = 这台机器在该速度上没有可用配置

交互速度 tok/s/user50100150200250300350
GB200 NVL72(2026-07)705,543558,569287,28977,21836,394impossibleimpossible
GB300 NVL72(2026-07)707,037517,848305,02366,79937,04917,892impossible
CoreWeave GB200(2025500,000300,00077,22450,00039,123impossibleimpossible
Vera Rubin NVL72(2026-07)1,330,0001,115,625786,208300,000140,26496,44670,703
Rubin vs GB200(同期)1.89×2.00×2.74×3.89×3.85×
Rubin vs GB300(同期)1.88×2.15×2.58×4.49×3.79×5.39×
Rubin vs CW GB200(20252.66×3.72×10.18×6.00×3.59×
据 SemiAnalysis · InferenceX(重新归一化至 CoreWeave 口径)+ CoreWeave 公开数据。单位:输出 token/秒 / 全口径供电兆瓦。测试条件 DeepSeek R1 0528 671B · FP4 · 8K 输入 / 1K 输出。功耗基准:GB200 2.168kW、GB300 2.553kW、VR 3.337kW(每 GPU 全口径)。CoreWeave 数据由其自行提供,SemiAnalysis 未独立验证。

把最上面那行「10.18×」和它正上方的「2.74×」放在一起看,整篇报告的题眼就出来了:同一个交互速度(150 tok/s/user)、同一台 Rubin,对 2025 年的 GB200 是 10 倍,对 2026 年 7 月的 GB200 只有 2.7 倍。差出来的那 7 倍多,不是硬件,是一年的软件成熟度

报告对此的表述很克制:那条 2025 年基线的数据「是准确的」,但它衡量的是一套一年前的软件栈,不是你今天会跑的 GB200

@100 tok/s/user · Rubin vs 同期 GB300
2.15×
@150 tok/s/user · Rubin vs 同期 GB300
2.58×
@200 tok/s/user · Rubin vs 同期 GB300 · 同期口径峰值
4.49×
@150 tok/s/user · Rubin vs 2025 年 GB200 · 英伟达主推的那个数
10.18×
据 SemiAnalysis。条长按倍数归一(10.18×=100%)。前三条为同期基线(2026 年 7 月),第四条为 CoreWeave 采用的 2025 年基线——差异即一年的软件成熟度。
05

那个 5.4 倍,是 GB300 崩了,不是 Rubin 冲了

比值失真的一个经典案例

表里还有一个数字容易被误读:300 tok/s/user 上 Rubin vs GB300 = 5.39×,看上去像是「越快 Rubin 越强」。SemiAnalysis 明确否认了这个读法。

真实的形状是:Rubin 对 GB300 的领先在低速区最小(约 1.9 倍),在 200 tok/s/user 附近见顶到 4.5 倍,之后开始收窄。到 300 tok/s/user 时之所以又弹回 5.39×,不是 Rubin 加速了——而是 GB300 已经跑在自己前沿上最后一个「勉强能用」的点,吞吐塌到 17,892,分母小了,比值自然被撑爆。同一个速度上,GB200 干脆完全跑不了

底层机制很直接:Blackwell 在高交互速度下批量被压得很小,单卡吞吐掉得极快;而 Rubin 此时还在自己曲线比较平坦的那一段。

读比值的一个通用提醒

当分母跑在自己能力边界上时,比值反映的是分母的崩塌,不是分子的强大。这在硬件基准、也在财务同比里同样成立——SemiAnalysis 特意把这一句写出来,是提醒读者别把 5.39× 当成「Rubin 在高速区更神」的证据。真正的证据是下一节那件事:在 350 tok/s/user 上,对手根本没有曲线。

06

再折进成本:TCO 让倍数进一步缩水

Rubin 每 GPU 小时 $3.57,比 GB200 贵近一倍

每兆瓦吞吐只把性能对电力算了账。真正决定买不买的是每百万 token 的全成本——把资本开支、电费、数据中心成本一起摊进去。而这里有一个对 Rubin 不利的事实:它自己也更贵、更耗电

$1.84
GB200 NVL72 · 每 GPU 小时 TCO
全口径功耗 2.168 kW(1,885W × 1.15 PUE)
$2.36
GB300 NVL72 · 每 GPU 小时 TCO
全口径功耗 2.553 kW(2,220W × 1.15 PUE)
$3.57
Vera Rubin NVL72 · 每 GPU 小时 TCO
全口径功耗 3.337 kW(2,902W × 1.15 PUE)· 比 GB200 贵 94%
据 SemiAnalysis AI TCO Model。口径为自建自持(operator ownership)情形下的全口径拥有成本,不是对外租赁报价。含资本开支、电力与数据中心成本摊销。

Rubin 的单卡持有成本几乎是 GB200 的两倍。这意味着它的性价比优势必然小于性能优势——先看表:

每百万输出 token 成本50100150200250300350
GB200 NVL72(2026-07)$0.333$0.423$0.799$3.016$6.471impossibleimpossible
GB300 NVL72(2026-07)$0.364$0.497$0.842$3.837$6.859$15.456impossible
CoreWeave GB200(2025$0.472$0.786$3.046$4.715$6.013impossibleimpossible
Vera Rubin NVL72(2026-07)$0.223$0.266$0.378$0.991$2.099$3.076$4.179
GB200 ÷ Rubin(便宜几倍)1.49×1.59×2.11×3.04×3.08×
GB300 ÷ Rubin(便宜几倍)1.63×1.87×2.23×3.87×3.27×5.03×
CW GB200(2025)÷ Rubin2.12×2.95×8.06×4.76×2.86×
据 SemiAnalysis · AI TCO Model + InferenceX。单位:美元 / 百万输出 token,越低越好。成本按全部 GPU(预填充 + 解码)计算,故已包含预填充侧的 GPU 成本。同样的 2025 年基线问题在这张表里同样存在。
两张表放在一起看

性能优势 1.88×–4.49×,成本优势 1.49×–3.87×——后者系统性地小一档,差额正是 Rubin 那 94% 更高的单卡持有成本吃掉的。
但方向没有被改变:对同期的 GB200 和 GB300,Rubin 在每一个交互速度上都更便宜。低速区(≤100 tok/s/user)约便宜 1.5 倍,200–250 tok/s/user 区间拉开到约 3 倍,300 tok/s/user 上对 GB300 是 5.03 倍——而这最后一个数字,和上一节的 5.39× 一样,是 GB300 崩塌撑出来的,不是 Rubin 的功劳。

07

曲线右端:真正只有 Rubin 能站的地方

350 tok/s/user 上,对手连一条线都画不出来

把两张表最右边那一列单独拎出来,报告最有分量的判断就浮出来了:

· 250 tok/s/user 之后——GB200 已经没有可用工作点;
· 300 tok/s/user 之后——GB300 也没有了;
· 350 tok/s/user——只剩 Rubin 一条线:70,703 tok/s/MW,每百万输出 token $4.18

报告用了一句很短的话总结:Rubin 会给我们多得多的「快速模式」

Blackwell 世代(GB200 / GB300)

最高可服务交互速度250 / 300 tok/s/user
@300 tok/s/user 吞吐GB200 无 · GB300 17,892
@300 每百万 tokenGB300 $15.46
@350 tok/s/user两者均不可行
高速区表现批量一压小,吞吐骤降

Vera Rubin NVL72

最高可服务交互速度≥350 tok/s/user
@300 tok/s/user 吞吐96,446
@300 每百万 token$3.08
@350 tok/s/user70,703 · $4.18
高速区表现仍在曲线平坦段
据 SemiAnalysis · InferenceX + AI TCO Model。「不可行」= 该交互速度超出该配置的帕累托前沿,不存在能服务该负载的部署方案。
这一段为什么对产业更重要

倍数会随基线变,边界不会。「有没有可用工作点」是二值的——如果模型厂商要把用户体感推到 300+ tok/s/user(更快的对话、更流畅的智能体、更短的思考等待),那么在 Blackwell 上不是贵一点的问题,是做不到
这也解释了为什么 Rubin 更高的单卡成本仍然说得通:它买到的不只是效率,还有一片对手进不去的产品空间

08

Rubin 凭什么:六处微架构改动

它不是全新架构,而是 Blackwell 的「加力版」——这恰恰是它的优势

SemiAnalysis 强调,完整的微架构拆解要等拿到 Rubin 系统的 ssh 权限才能做,但从英伟达已公开的 ISA 文档与提交的代码里,已经能读出六处关键改动:

改动Blackwell / Blackwell UltraRubin(SM_107)为什么重要
张量核吞吐基准FP8 / FP4 翻倍k 维度翻倍 → 同一个矩阵乘理论上少一半时钟周期
内存带宽基准(Blackwell Ultra)2.8×(3D 堆叠 HBM4解码阶段的主要瓶颈就是权重带宽
共享内存 SMEM228 KiB228 KiB(超容模式 328 KiB更大的片上缓存,减少反复读写显存
张量内存 TMEM列数 512列数 576 · 256 KiB多出的列专放块缩放因子,内核逻辑大幅简化
TMA 描述符换专家要改写内存中的描述符并同步支持内联更新(.override)MoE 模型换专家的开销被去掉 → 小批量解码更快
NVLink 延迟比 TPU / Trainium 高数倍counted writes 降延迟减少 GPU 间来回消息数,这是 Blackwell 的明显短板
据 SemiAnalysis,引自 NVIDIA PTX 文档与公开提交。另有两项:BF16/FP16 的指数运算吞吐每时钟每 SM 再次翻倍(帮助注意力层的 softmax 与张量核计算重叠);FP32 吞吐相对 Blackwell Ultra 未变PDL 从网格级重叠细化到线程块级同步。
最被低估的一点:内核可以直接复用

从 Hopper 到 Blackwell,工程师必须从零重写内核——Hopper 的内核在 Blackwell 上根本跑不起来。而 Rubin 可以直接跑 Blackwell 的 SM100 系内核(DeepGEMM、FlashMLA、CUTLASS 等主要库都覆盖)。
这是一个被市场低估的上量速度变量:追求极限性能仍需针对 Rubin 重写调优,但对于赶时间上线的团队,Blackwell 的内核可以直接搬过来先跑起来。英伟达也已首次公开发布 Rubin 软件栈(CUDA 13.4),并把相关改动合入 PyTorch、vLLM 与 OpenAI Triton 编译器。
报告顺带给了一个前瞻:下一代 Feynman 是 SM_140,一个全新架构族,Rubin → Feynman 的迁移会像当年 Hopper → Blackwell 一样痛——内核要大规模重写

09

LUT B:把一个权重压到 3.125 比特

英伟达第一次让张量核在乘法内部解压「非均匀码本」

报告花了不小篇幅讲一个新特性:LUT B查找表权重解压)。它值得单拎出来,因为它直接关系到一个模型需要几颗芯片才装得下

机制并不复杂:在标准推理矩阵乘里,B 操作数存的是权重本身。在 LUT B 模式下,B 操作数存的是索引——每个权重位置只存 3 比特,用来从一张 8 项的查找表里挑一个值。查找表本身放在张量内存里,由该权重所在的 8×64 块共享。解压发生在乘法指令内部,内核完全不需要单独构造一个解压后的权重矩阵。

算总账:每个权重 3 比特索引,加上 8 项 × 8 比特 = 64 比特的码本摊到 512 个权重上,合计 3.125 比特/权重——这是完整的存储占用,码本和索引一起放在显存里。

1,487 GB
Kimi K3 2.8T · MXFP4 权重占用
按 4.25 比特/权重:2.8e12 × 4.25 ÷ 8
1,094 GB
同一模型 · Rubin LUT 格式
按 3.125 比特/权重 → 省下约 393.5 GB
4 颗
装下权重所需 Rubin 封装
每颗 288GB HBM4 · NVFP4 下需约 6 颗
据 SemiAnalysis 测算(GB = 1e9 字节)。仅覆盖权重本体,不含 KV 缓存、激活值与任何并行复制。原报告此处一处笔误(1,487.5 写作「1,4875」),此处按算式还原。

为什么低比特率在推理上格外值钱?因为在小批量的解码阶段,限制速度的是读权重的带宽。每个权重少读几个字节,解码吞吐就直接上去;同时搬运的比特少了,功耗效率也跟着改善

但报告没有把它吹成免费的午餐。LUT B 不必然比 MXFP4 / NVFP4 更准:它的码本可以按权重分布疏密自由摆放(比固定的浮点格点更灵活,理论上「每比特的精度」更高),可代价是一张码本要被 512 个权重共享,而 NVFP4 的缩放粒度小到 16 个权重。最终谁更准,取决于码本拟合算法、校准数据、量化感知训练,以及敏感层是否保留在更高精度。此外该模式不支持 B 矩阵转置

还有一个「有硅片、没内核」的特性

Rubin 还新增了对激活值2:4 稀疏支持——每四个值保留两个,张量核跳过被清零的那些,矩阵乘以两倍速率跑。关键区别在于:英伟达早在 Ampere 时代就为权重做过 2:4,但没人用,因为那需要剪枝并重新训练;Rubin 把它用在运行时的激活值上,不需要重训
但报告给了三个冷静的注脚:英伟达没有公布任何精度数据;在 softmax 之前扔掉一半注意力分数显然不是免费的;而 CoreWeave 这次的 DeepSeek R1 测试看起来也没有启用它
换句话说,这和 LUT B 一样,都属于硅片上已经有、调优内核还没跟上的能力——它们构成了 SemiAnalysis 那句「Rubin 后面还有很长的跑道」的实际含义。

10

机架长什么样:185 千瓦与无线缆托盘

比性能更早兑现的优势,可能是上量速度

报告给出了 VR NVL72 的机架级构成与功耗建模。一个 48U 机架里装着:

· 18 个 1U 计算托盘——每个 2 颗 Vera CPU + 4 颗 Rubin GPU,合计 72 颗 GPU(分上下两组,各 9 个);
· 9 个 1U NVSwitch6 托盘——每个 4 颗 NVSwitch6,居中放置;
· 4 个 3U 电源架——每个 110kW(6 × 18.3kW),上下各两个;
· 顶部 2 个 1U 管理交换机,以及机架加固件与滴水盘。

185 kW
VR NVL72 服务器级功耗(建模值)
不含网络设备 · Max-Q 配置 · SOCAMM 内存方案
1,800 W
单 GPU TDP(Max-Q 配置)
另有 2,300W 版本
2.3–2.5×
密集 FP8 算力 vs GB300
5,000 → 约 16,625(1,800W)/ 17,500(2,300W)TFLOPs
据 SemiAnalysis VR NVL72 BoM & Power Budget Model。「Max-Q」指以能效为优先的配置档。TDP=热设计功耗。

还有一处对供应链更实际的判断:Rubin 的量产爬坡会比 Blackwell 快得多。原因有二——一是 Rubin 采用无线缆的计算托盘设计,装配大幅简化;二是英伟达在 Blackwell 的机柜级铜背板上已经踩过一轮坑并投入了大量精力去解决。CoreWeave 这次的测试虽然用的是工程样机、且没有对外扩展网络,但它跑通了宽专家并行与预填充/解码分离,等于证明了那块曾在 GB200 爬坡期屡出可靠性问题的 NVL72 背板,这回工作正常

11

对照 AMD:MI355X 的数字目前不能用

一个软件 bug,把最好的成绩单作废了

报告还把 Rubin 和 AMD 的 MI355X 做了对照,但先给了一个前提:MI355X 在 DeepSeek R1 上目前最好的那组数字是无效的。原因是 SGLang 上的一个精度 bug——MoRI 专家并行的解码路径在低并发时会静默地损坏输出:服务器照常全速吐 token,但 gsm8k 测评分数直接掉到 0。

根因在 AITER 的 MoE 归约路径:中间结果的显存未初始化就分配,在专家并行模式下只有本地专家的槽位被填,其余槽位留着垃圾值,求和时把 NaN 折进输出。因为只有 M≈1024 那个调优档位会选中这个内核,污染只命中一小段低并发配置,中高并发反而是干净的。修复后并发 64 恢复正常,但并发 ≤32 仍然失败

对照(输出 token/s/MW)@50 tok/s/user@135 tok/s/user
Vera Rubin NVL721,330,000约 886,000
MI355X(启用投机解码 MTP)434,235187,848
MI355X(未启用 MTP)约 32,000约 6,000
Rubin 领先倍数(对 MTP 版)3.06×4.72×
Rubin 领先倍数(对非 MTP 版)约 41.6×约 148×
据 SemiAnalysis · InferenceX。均为预填充/解码分离部署。原报告以 MI355X 的 MTP 版为基准给出比值(Rubin 3.06× / 4.72×,非 MTP 版 0.074× / 0.032×);末行为按该组读数换算出的 Rubin 对非 MTP 版领先倍数。MTP=多 token 预测(投机解码)。

两点值得注意。其一,开不开投机解码,MI355X 的读数差出一到两个数量级——这提醒我们,这类基准比的从来不只是硅片,还有软件栈的成熟度。其二,SemiAnalysis 补了一句耐人寻味的观察:即便带着上述 bug,今天的 MI355X 仍然跑赢了 CoreWeave 拿来做营销基线的那个「去年的 GB200」。这从侧面再次说明:那条 2025 年基线的参考价值有多有限

12

落点:这份成绩单该怎么用

三个可以拿走的判断,三个必须打的折

把全篇收束到投研上,有三个判断可以拿走:

· 代际跃迁是真的,但幅度是 2–4 倍不是 10 倍。任何引用「10 倍」的分析,都需要先问一句它的分母是哪一年的;
· Rubin 更贵,但每一个交互速度上都更便宜。$3.57 的单卡小时成本比 GB200 高 94%,可折算到每百万 token 后仍是全面胜出——这正是「性能/TCO」比「性能/卡」更该被用来做决策的原因;
· 真正的护城河在曲线右端。350 tok/s/user 上只有 Rubin 有解,这不是价格问题而是可行性问题。如果「更快的模型体验」是接下来一年的产品竞争焦点,那么这片区间的独占权,比任何倍数都值钱。

但三个折也必须打:

三个必须打的折

① 数据未经独立验证——全部 Rubin 读数来自 CoreWeave 自行提供,SemiAnalysis 明确声明未做独立验证。英伟达承诺 2026 年三季度前向 InferenceX 提交可验证数字,谷歌 TPUv7 与 AMD MI455X UALoE72 也在排队;真正的横向可比要等这批提交落地
② 测试条件避开了 Rubin 的主场——单轮 8K/1K 的短任务 + 一个不再广泛使用的 671B 模型,恰好没有用上 Rubin 在容量与带宽上的长处。多轮长上下文的智能体负载理论上会拉大差距,但这次没测(SemiAnalysis 正在与 Weka、LMCache、vLLM/SGLang 社区、英伟达、AMD 等合作推 AgentX 基准来补这一块);
③ 两边都还没跑到终点——Rubin 目前跑的也是刚上线的软件栈,SemiAnalysis 预期差距还会继续扩大;而 LUT B 与 2:4 激活稀疏这两项能力,目前是有硅片、无调优内核的状态,尚未反映在任何读数里。

最后回到定价框架。报告用它此前提出的「一张图管所有」框架收尾:图上那条竖虚线是成本法定出的租金下限(低于它,算力租赁商达不到最低内部收益率门槛),横虚线是价值法定出的租金上限(高于它,客户宁可继续用老卡也不为性能提升买单)。SemiAnalysis 的判断是:把上面这些推理读数代进去,Rubin 从 GB300 那里拿到的 2.3–2.5 倍 FP8 算力跃升撑得住它较高的理论租金上限,而且随着软件成熟,这个差距还会继续拉开

延伸阅读

把这份成绩单放进更大的脉络里会更清楚——下面三篇分别接住本篇没展开的那一头。

  1. 01 Vera Rubin:极致协同设计 本篇的前传 讲的是这台机器被设计成什么样——6 颗芯片、无线缆托盘、NVLink 6、全液冷;而本篇回答的是它实际跑出了什么。设计意图与实测读数,合起来才是完整的一台机柜。
  2. 02 更快的核,还是更多的核 同一台机柜里的另一场争论 本篇算的是那 4 颗 Rubin GPU,这篇拆的是同一个托盘上那 2 颗 Vera CPU 与 AMD 的路线之争——服务器 CPU 该往单核更快走,还是往核更多走。
  3. 03 开源冲上 3 万亿:Kimi K3 是不是中国的「DeepSeek 2.0 时刻」 LUT B 算例里的主角 本篇 LUT B 那道「1,487 GB 权重压到 1,094 GB、6 颗封装变 4 颗」的算例,算的就是这个 2.8 万亿参数模型。它是「几颗芯片才装得下」这个问题的现实版本。

三篇加本篇共同回答同一个问题:当模型越来越大、用户要求越来越快时,一美元究竟能买到多少 token

SemiAnalysis · 2026-07-23 题眼:10× 的分母是 2025 年的 GB200 同期基线真实倍数 1.88×–4.49×(性能/MW) 成本优势 1.49×–3.87×(每百万 token) TCO $3.57/GPU·h vs GB200 $1.84(+94%) @350 tok/s/user 只有 Rubin 有曲线 5.39× 是 GB300 崩塌撑出来的,不是 Rubin 冲的 LUT B 3.125 比特/权重 · Kimi K3 权重 6 颗→4 颗封装 HBM4 带宽 2.8× · FP8/FP4 吞吐 2× · 内核可复用 Blackwell 机架 185kW · FP8 算力 2.3–2.5× vs GB300