大部分曲线上它都跑不过
头条数字是：在交互速度 100 tokens/s/用户这一点上，Ironwood（TPUv7）每百万 token 成本约 $0.181，B200 为 $0.222、B300 为 $0.276；报告给出的口径是「每美元性能最高好 50%」。
可是往下翻一页，报告自己写着一句话：「在原始性能曲线的大部分区间上，TPU 并不优于英伟达 GPU。」
两句话都是真的。因为省下来的钱不在芯片里，在每小时的账单里：这份测试给 TPU 用的机时成本是 $1.21/芯片·小时（外部买家口径），而 B200 是 $1.73、B300 是 $2.26。本篇要讲清九件事：这次到底测了什么、为什么说它是「第一次」；三条成本曲线各自在说什么；为什么赢的是账单而不是芯片；谷歌自己那本账（$1.03）和卖给你那本账（$1.21）之间差出的四倍结论；便宜的代价是首 token 多等一倍；把口径换成双方各自的最优服务模式，结论会反过来——GB300 反超约 30%；软件换栈（TorchAX → TorchTPU）为什么才是真正的胜负手；Ironwood 这颗芯片和它的网络长什么样；以及「形状税」——为什么 TPU 会挑模型。
TPU 是谷歌自己设计的 AI 芯片。从搜索、广告、YouTube 到每一代 Gemini，都跑在它上面。十年来行业对它的争论集中在一个问题：离开谷歌自己的软件栈和自己的工作负载，它还剩多少优势？这份报告就是在回答这个问题。
交互速度（tokens/s/user）是这篇的横轴。它指的是「单个用户每秒能看到多少个字」。同一块硬件，你可以让它同时服务很多人（每人慢一点、总吞吐高），也可以让它专心服务少数人（每人快、总吞吐低）。所以比较推理硬件不能只报一个数字，必须报一条曲线。
TCO（总拥有成本）决定另一个轴。每百万 token 的成本 ＝ 机时单价 ÷ 每小时产出的 token 数。分子是账单，分母是性能。本篇的全部张力都在这个分式里。
聚合服务与分离式服务是两种部署方式。前者把「读入提示词」和「逐字生成」放在同一批芯片上；后者把两件事拆到两个池子里分别调优。谷歌内部早就在用分离式，但外部版本还没做好——这一点决定了本篇第 06 节那个反转。
vLLM 与 SGLang 是两个开源推理引擎。它们是今天跑大模型服务的事实标准。本次测试中 TPU 侧用 vLLM，英伟达侧用 SGLang。
口径说明：本次测试的模型是 Qwen3.5 397B，FP8 精度，8K 输入／1K 输出，未启用 MTP。报告明确说明 Ironwood 没有原生 FP4，所以在 FP4 上英伟达仍然领先；FP8 对 FP8 才是无质量损失的同口径比较。凡本站自行计算、验算、推算或比对之处，均已逐处标注——报告原文没有给出的结论，本站不会伪装成报告的结论。
为什么说这是「第一次」
不是第一次有人夸 TPU，而是第一次有外人能把它跑起来并测出数
谷歌用 TPU 做自己的事，已经做了十几年。但外部客户能不能拿到同样的效果，一直没有可验证的答案，原因不在硬件，在软件：想在 TPU 上跑一个开源模型，过去要穿过一层框架翻译（下文第 07 节展开），而这条路的性能和稳定性都不理想。
报告给出的判断是：Ironwood 是第一代「谷歌拿着它去争抢别人的推理工作负载」的 TPU——它可以被直接买下，也可以通过谷歌云租用。而与之配套的新软件栈（TorchTPU）预计在 10 月中旬的 PyTorch 大会前后开源，目前仍处于私有测试阶段。
报告同时给出一条需求侧的背景：Anthropic 是 TPU 最大的外部用户，此前已承诺超过 100 万颗 TPU（其中约 40 万颗以上为直接采购、60 万颗以上通过谷歌云租用），主要用于训练、也用于推理；报告并称按其模型推算，Anthropic 将在 2029 年成为 TPU 的最大用户，超过谷歌 DeepMind 自身的用量。
价值：此前关于 TPU 性价比的讨论，几乎全部基于谷歌自己公布的数字或第三方的纸面推算。这次是把公开权重模型放进通用引擎、按同一套负载跑出来的可对照数据。
边界，本站认为有三条要记住：
① 这是官方预览（Official Preview）——报告明确致谢了谷歌的十余位工程师以及 Inferact、RedHat、RadixArk 等团队，说明测试是在厂商深度参与下完成的；
② 两侧用了不同的引擎（TPU 用 vLLM、GPU 用 SGLang），虽然都是主流方案，但不是同一套代码；
③ 成本侧用的是 SemiAnalysis 自家的 TCO 模型，不是买家实际支付的价格。整篇结论对这组机时单价高度敏感——第 03、04 节会把这一点算给你看。
头条数字：三个点位，三种说法
同一次测试，报告给出了三组对比——它们的差距从 8% 到 130%
| 对比点位 | 成本口径 | Ironwood | B200 | B300 | TPU 优势 |
|---|---|---|---|---|---|
| 交互 100 tok/s/用户 每百万 token 成本 | 外部 TPU TCO | $0.181 | $0.222 | $0.276 | 低 19% / 34% |
| 端到端中位 20 秒 每百万 token 成本 | 外部 TPU TCO | $0.098 | $0.106 | $0.132 | 低 8% / 25% |
| 交互 20 tok/s/用户 单芯片总吞吐 | — | 9,364 tok/s | 8,903 | 8,925 | 高约 5% |
| 同上，换算每美元 | 外部 TPU TCO | — | — | — | 多 50.4% / 96.0% |
| 并发 256 | 内部 TPU TCO | — | — | — | 多 76.7% / 130.2% |
这张表本身就是本篇最该记住的东西：同一次测试，TPU 的优势可以被说成 8%，也可以被说成 130%——差了十六倍。区别只在于你站在曲线的哪个点上、用谁的成本表。
报告没有回避这一点，它在给出 76.7%／130.2% 这组最大优势之后，紧接着写道：「前面讨论的 50% 到 96% 的优势，只适用于这个特定数据点，而不是每一个延迟目标。」
题眼：赢的不是芯片，是每小时的账单
把分子和分母拆开，这场胜负的来源一眼可见
报告在给出性价比优势之后，紧接着写了一段定性：「在原始性能曲线的大部分区间上，TPU 并不优于英伟达 GPU。然而这个比较没有考虑 TPU 更低的 TCO。TPU 的买家主要关心的是他们能赚多少钱，也就是每美元性能和每瓦性能。」
本站把这件事算成一句话：每百万 token 成本 ＝ 机时单价 ÷ 每小时 token 产出。在交互 20 tok/s/用户这个点上，TPU 的吞吐只比 B200 高约 5%，但机时单价低 30%（$1.21 vs $1.73，本站计算）。5% 来自芯片，30% 来自账单——把两者相乘，才凑出报告里那个「每美元多产出 50.4%」。
本站验算：1.05（吞吐比）× 1.43（成本倒数比，$1.73 ÷ $1.21）＝ 1.50，即多 50%，与报告的 50.4% 吻合。对 B300：1.049 × 1.868（$2.26 ÷ $1.21）＝ 1.96，即多 96%，与报告的 96.0% 吻合。
两条都能对上，说明这个分解是准确的：这场胜利里，约九成来自成本侧，约一成来自性能侧。
那么这个成本优势本身从哪来？报告给出的是协同设计（co-design）这个解释：谷歌不追求单芯片的最高性能，而是把计算裸片、芯片间互连、编译器当作一个系统一起设计，从而能把计算与通信作为整体去优化。
落到物料账上，报告给出两条结论：按单节点服务器成本计，TPUv7 不到 Blackwell 级机架式系统的一半；按每瓦资本开支计，它低于任何一种 Blackwell 或 GB 配置。
两本账：谷歌自己用 $1.03，卖给你 $1.21
同一份性能数据，换一本成本表，结论差出四倍
| TPUv7 内部 TCO 拆解（每芯片·小时） | 金额 | 占比 |
|---|---|---|
| 资本成本（Capital Cost per Unit, per Hour） | $0.68 | 66.5% |
| 运营成本（Operating Cost per Unit, per Hour） | $0.34 | 33.5% |
| 合计 | $1.02 | 100% |
这两本账的差距是 17.5%（$1.21 ÷ $1.03 − 1，本站计算）。听起来不大，但它把结论放大了很多倍：
- 用外部账（$1.21）：在交互 100 tok/s/用户上，TPU 比 B200 便宜 19%、比 B300 便宜 34%。
- 用内部账（$1.03）：在并发 256 上，每美元性能优势变成比 B200 高 76.7%、比 B300 高 130.2%。
本站提示：这两组数不是同一个点位（一个按交互速度、一个按并发数），所以不能直接相减来归因给成本表。但方向是清楚的——内部账让每一条曲线整体往下平移约 15%，而在曲线密集处，15% 的成本差会被放大成很大的排名差。
「内部 TCO」是拥有并运营这批芯片的超大规模厂商的成本——它不含卖方毛利，也不含云服务的运营加成。「外部 TCO」是一个实验室／企业去买或租这批芯片要付的钱。
这个区别在英伟达那侧同样存在：报告给出的 B200 $1.73、B300 $2.26 也是「拥有方超大规模厂商」口径——报告原文说 TPUv7 的每芯片·小时 TCO「远低于 B200 或 B300 的拥有方超大规模厂商成本」。所以这组比较在成本侧是对齐的：两边都是「自己买、自己运营」的口径，只有 TPU 那侧额外给了一个外部买家版本。
本站认为这点很重要：它意味着表里那个 $1.21 vs $1.73 的对比，其实是「外部买 TPU」对「自己拥有 B200」——对一个同样要外购 GPU 的第三方买家来说，GPU 侧的实际付出会更高，TPU 的相对优势可能比表面数字更大。但报告没有给出外部买家的 GPU 报价，所以这层只能定性，不能定量。
便宜的代价：首 token 要多等一倍
那个 130% 的最大优势，对应的是最差的响应体验
这是本篇第二个需要并排读的地方。在并发 256 这个点上，TPU 拿到了全篇最大的性价比优势（内部账口径下比 B300 高 130.2%）；而在同一个点上，它的首 token 等待时间是 B300 的 2.25 倍（5.41 ÷ 2.40，本站计算）。
这不是缺陷，是选择：把更多请求塞进同一批芯片，单位成本就低，但每个用户要排更久的队。报告自己的措辞是「这些高并发结果带有延迟上的取舍」。
吃得下的：批量文档处理、离线数据标注、代码库级别的分析、夜间跑的智能体任务——这些场景用户不盯着屏幕，等 5 秒还是 2 秒没有区别，单位成本才是唯一指标。
吃不下的：对话式产品、实时语音、IDE 里的代码补全——首 token 慢一秒，用户就能感觉到。
本站认为这正是本篇最实用的一条：如果你的业务是前一类，这份报告里 TPU 的优势是可以直接兑现的；如果是后一类，你得回到第 02 节那张表的第二行（端到端中位 20 秒），那里 TPU 的优势只剩 8%。
报告还诚实地补了一句：在中位响应时间约 30 秒附近的一小段曲线上，B200 反而领先；TPU 在更长的响应时间上重新拿回成本优势。
换成各自的最优部署，结论反过来
GB300 NVL72 用分离式服务，TPUv7 只能用聚合服务——中段差约 30%
前面所有对比都是同口径的：双方都用聚合服务。但这对英伟达并不公平，因为 GB300 NVL72 这类机架级系统的强项恰恰是分离式服务。
报告把这个对比单独起了一节，标题直白地叫「拿苹果比香蕉」（Apples to Bananas）：
- 谷歌内部已经用分离式服务跑了很多年，而且优化得很深；
- 但外部 TPU 服务栈还没有完全优化的分离式路径；
- 所以今天在分离式对分离式的比较中，GB200／GB300 NVL72 在每美元性能上更有竞争力。
即便让 TPUv7 用聚合服务去对 GB300 NVL72 的分离式服务（并且给 TPU 用内部成本口径），结论是：在低延迟段和高延迟段 TPU 仍有竞争力，但在中段，GB300 有约 30% 的每美元性能优势。
没推翻的：在同口径（都用聚合服务、都用 FP8）的对比里，TPU 的性价比确实更好——这一点报告用完整的曲线给出了证据。
推翻的：「TPU 每美元性能比英伟达好 50%」这个说法，不能被当成两种平台各自最优状态下的结论。今天真实的部署里，英伟达侧可以用分离式服务，TPU 的外部栈还不行。
报告自己的预期是「几个月内追上」——它说随着谷歌、Inferact、RadixArk 与 SemiAnalysis 落地优化，差距会在数月内收窄，并会另发一篇 TPUv7 分离式对 GB200／GB300 分离式的文章。报告还提出了一个硬件层面的理由：TPUv7 的机柜可以通过低延迟 ICI 互连扩展到 1,000 颗以上芯片，从而支持 NVL72 做不到的超大模型分离式与超宽专家并行。
本站提醒：这是一个待验证的预期，不是已实现的结果。在那篇后续文章出来之前，「TPU 便宜 50%」这句话应该带上「在聚合服务同口径下」这个限定语一起引用。
真正的胜负手是软件：从翻译层到原生后端
vLLM 上 TPU 支持的三个阶段，以及为什么第三个阶段才算数
最早的 TPU 原型
采用惰性执行模型：把操作收集成计算图交给 XLA 编译，而不是逐个立即执行 PyTorch 操作。
TorchAX 翻译层
有 TPU 优化过的 JAX 实现就用它，没有的话由 TorchAX 把 PyTorch 模型翻译成 JAX 能执行的操作。开发者写 PyTorch，JAX 在 TPU 上执行。报告称，正是这些翻译层带来了大量问题。
TPU 成为 PyTorch 的原生设备
利用 PyTorch 的 PrivateUse1 扩展点，让 device="tpu" 上的张量就是普通的 torch.Tensor，而不是包着 JAX 数组的壳。可以 eager 模式调试，也可以走 torch.compile 编译。编译路径仍由 XLA 承担（不是 Inductor/Triton），高性能算子仍用 TPU 专用的 Pallas 实现。
为什么这件事比任何一个基准数字都重要？因为它决定了「一个新模型出来，多久能在 TPU 上跑得好」。
报告说得很直接：今天 vLLM 和 SGLang 的 day-0 支持集中在英伟达，对 AMD 是「勉强可用」的 day-0 覆盖。而一旦 TorchTPU 足够稳定，这两个引擎的维护者有可能把 TPU 也加进 day-0 名单——那才是外部化真正完成的标志。
报告对谷歌能不能做成这件事，给出了一个带对比的判断：与「仍在学习如何建立测试优先的软件文化」的 AMD 不同，谷歌有数十年的软件工程经验和极为成熟的质量驱动文化，因此预计外部 TPU 软件会快速成熟。
路线图上的下一批模型是 Kimi K3、GLM5.3，以及谷歌自己的开源权重模型 Gemma4。
报告用了近十页篇幅列举这次 bring-up 的具体优化，本站挑出最有代表性的几条（均为报告披露的实测数字）：
① 合并通信：把专家 ID 与路由权重的两次 all-gather 合成一次，DeepSeek-V3 每层省约 80 微秒；该模型有 58 层需要这个操作，合计每次前向省约 4.64 毫秒。
② 把集合通信搬到 SparseCore：配合双缓冲重叠传输，8K/1K 负载在并发 64–512 区间吞吐提升 4.1%–14.2%（并发 256 时 +8.5%），1K/8K 负载并发 512 时 +26.1%。
③ 循环状态紧凑分配：回收约 76 GiB HBM，注意力块池扩大 71%，1K/8K 并发 64 的输出吞吐 +18%。
④ KV 缓存改用序列占通道（sequence-on-lane）布局：可用 KV 页从 5,141 翻到 10,283；代价是低并发下每 token 延迟约 +3%，但并发 128 时吞吐 +16.5%、中位 TTFT 降低 95%。
⑤ 拆开取数块与计算块的大小：解码吞吐从 64.9k 提到 96.3k tokens/秒（+49%），四次运行可复现。
本站提示：这些数字有两个含义。正面——外部栈还很年轻，剩余优化空间大，报告的「性能还会继续提升」不是空话。反面——这些收益都是人肉工程堆出来的，报告自己说这次 bring-up 花了「数百工程小时和大量 PR」，而且只针对一个模型。要覆盖行业里全部常用模型，工作量是线性叠加的。
Ironwood 这颗芯片：两个 die、四个 SparseCore、第一次原生 FP8
硬件侧的三处关键变化，都直接对应上面的性能数字
告别 MegaCore
TPU v4／v5p 时代把两个物理核心融合成一个共享内存空间的逻辑加速器（MegaCore）。Ironwood 改成两个独立的计算 die，各自是一个独立逻辑设备，靠高带宽 die-to-die 链路相连而非统一内存。JAX 等框架现在把一颗芯片暴露成两个设备。
2 个 TensorCore ＋ 4 个 SparseCore
每颗 Ironwood 芯片含 2 个 TensorCore 与 4 个第三代 SparseCore。SparseCore 专门加速嵌入查表等稀疏与不规则操作——而本次多项优化的核心手法，正是把数据搬运类的工作从 TensorCore 卸载到 SparseCore，腾出矩阵单元去算矩阵。
HBM 约为上一代 6 倍 · 首次原生 FP8
每颗芯片的 HBM 容量约为 Trillium 的 6 倍——直接决定 KV 缓存的余量与可用批大小。Ironwood 也是第一代硬件原生支持 FP8 的 TPU（此前各代靠软件模拟）。但它没有原生 FP4——这是本篇所有对比都只做 FP8 对 FP8 的原因。
今天的情况：英伟达 GPU 在 FP4 上仍然领先，因为 Ironwood 没有原生 FP4 算力。报告同时指出，在英伟达侧用 FP4 服务模型，相对 FP8 会有质量损失——所以 FP8 对 FP8 才是「无质量差异」的公平比较。
报告给出的转折点：谷歌的 TPUv8i 具备原生 FP4 加速。报告因此表态「强烈相信 TPUv8i（Boardfly）将能与 Rubin NVL72 竞争」，并称届时会做 FP4 对 FP4 的对比。
本站提示：这句话把整场竞争的时间轴讲清楚了——Ironwood 这一代是在英伟达的上一代（Blackwell／Blackwell Ultra）身上取得优势，而下一代的对手是 Rubin。评估这条线时，应该盯的是 TPUv8i 与 Rubin 的上市节奏，而不是把今天的 50% 直接外推。
形状税：为什么 TPU 会挑模型
一个 256×256 的矩阵单元，让模型的超参数变成了硬件账单
TPU 的矩阵乘法单元（MXU）是一个脉动阵列：权重装进阵列后保持不动，激活值从边缘流入，部分和在格子间逐级累加，结果从另一侧流出，整个过程中间不碰内存。
关键变化是阵列尺寸：TPU v5 及以前是 128×128，每周期 16,384 次乘加；从 v6e 开始到 Ironwood，阵列翻倍到 256×256，每周期 65,536 次乘加，单周期 FLOPs 是上一代的 4 倍。
但更大的阵列只有填满才划算。矩阵的维度必须补齐到阵列边长（老一代 128、v6e 与 v7 是 256），XLA 编译器会老老实实地把更小的轴补零——每一个补出来的格子仍然占用一个乘加单元，只是在乘零。
报告还举了第三个例子：DeepSeek 的 MLA 把查询／键维度拆成 128 加 64、合计 192——对任何 2 的幂次阵列都不好看，对更宽的阵列尤其难受。
而在 GPU 上，这笔税几乎不存在。报告的对照是：GPU 的矩阵核心吃的是小块（tile），所以各种头维度、专家宽度、分片后的 KV 头数都能接近峰值；在 H100 或 B200 上把维度从 128 改成 64，几乎不付代价，还换来一个更便宜的注意力层。
报告给出的推论比技术本身更值得记住：一个模型在 TPU 上的 bring-up 成本差异极大，而且与它有多流行几乎不相关。
形状对齐的模型，只需要调度、服务和调优工作，按周计；与瓦片几何打架的模型，则需要先写新的内核才能达到平手，更别说赢在性价比上。
报告的结论是：内核工程师是有限的，所以把外部化的顺序排向「硬件不是一开始就落后一圈」的模型，是理性的做法——它预计任何处在同样位置的加速器厂商都会这么干。
本站解读：这解释了为什么这次的首发模型是 Qwen3.5，而不是更知名的某个模型。读者在评估「TPU 能不能承接我的工作负载」时，第一件该做的事不是看基准分数，而是看自己的模型形状和 TPU 的瓦片几何合不合。
另一层含义：模型架构师在选头维度、专家宽度这些超参数时，正在无意中决定这个模型未来能在哪些硬件上跑得划算。这是一条从硬件反向传导到模型设计的约束。
网络：从 3D 环面到 Boardfly
TPU 规模化的老本行，以及下一代为推理单独设计的新拓扑
| 世代 | 拓扑 | 每芯片邻居 | 规模上限 / 关键参数 |
|---|---|---|---|
| TPU v2 / v3 | 2D 环面 | 4 | — |
| TPU v4 / v5p | 3D 环面 | 6 | v5p 最多 8,960 颗芯片 |
| TPUv7 Ironwood | 3D 环面（沿用） | 6 | 基本单元 4×4×4＝64 颗/机架；全超级机柜 9,216 颗，聚合算力 42.5 FP8 exaflops |
| TPUv8t（训练） | 3D 环面（延续） | 6 | 为 scale-up 保留环面血统 |
| TPUv8i（推理） | Boardfly 高基数交换 | — | 网络直径较同规模 3D 环面减少一半以上（1,024–1,152 颗规模下约 16 跳 → 约 7 跳）；ICI 带宽 19.2 Tb/s（翻倍）；片上 SRAM 384 MB（3 倍） |
环面拓扑与普通网格的差别在「绕回」链路：把一条线的两端接起来成环，最坏情况下的跳数就从 N 降到 N/2。报告用了一个很形象的比喻——这正是让吃豆人的迷宫感觉比实际更小的那个把戏。谷歌还在此基础上做了「扭曲环面」（twisted torus），用类似莫比乌斯带的绕回方式进一步压低平均跳数。
要超出单个 4×4×4 立方体，谷歌用光交换机（OCS）把多个立方体缝合起来，并在更大的可重构拓扑上保持绕回特性。OCS 的运维价值在于：链路或芯片故障时，可以用反射镜在几秒内把网络物理重连绕过去，而不必派技术员进机房重接铜缆。
这套设计当年是革命性的：在 NVL72 机架出现之前，装不进单个 8 卡节点的模型只能用流水线并行，因为跨节点的 InfiniBand 太慢。而在 TPU 机柜上，ICI 环面给了整个 pod 范围内的 NVLink 级带宽，DeepSeek-V3 规模的模型可以直接用张量并行 + 专家并行 + 数据并行铺满整个 pod，不必把层切到不同流水线级。
报告还预告了一个反直觉的结果：虽然 TPU 环面的跳数比单跳 NVLink 交换设计更多，但其即将发布的 CollectiveX／NetworkingX 结果显示，在许多情况下，对于小的专家并行消息，TPU 环面的延迟反而低于单跳 NVSwitch。
还没做的四件事
报告自己列的路线图——也是今天这组数字的上限说明
投机解码（MTP）
用一个便宜的小模型先猜几个 token，主模型一次前向把它们全部验证，猜错的丢掉——结果与主模型单独生成完全一致，无质量损失。之所以有效，是因为解码阶段瓶颈在带宽而非算力：为了吐一个字就要把整个模型权重从 HBM 里读一遍，而验证一个还是五个 token，这笔读取的开销几乎不变。本次测试未启用 MTP。
预填充—解码分离（PD 分离）
把「读入提示词」和「逐字生成」拆到两个独立的 TPU 池，各自按负载调优与扩缩。谷歌为 Gemini 服务内部跑这套已经很久，但外部化工作几个月前才开始——包括 llm-d 的 TPU 支持，以及开源 TPU-Sync（原名 TPU-raiden）这个分离式 KV 缓存传输库。报告判断：一旦 PD 分离到位，TPUv7 可以成为 GB200／GB300 的有力竞争者，甚至在每美元性能上胜出。
KV 缓存卸载与池化
大模型与中大批量场景下，HBM 装不下所有用户的 KV 缓存。TPU-Sync 原生支持把 KV 缓存卸载到 DRAM，并接入业界的 Mooncake Store 卸载库及其 DRAM P2P 池化能力——把每台主机的 KV 存储聚合成一个逻辑内存池，任一服务器上的 TPU 都能读到其他服务器的 KV 缓存。Mooncake Store 还能把多台服务器的 NVMe 池化成一个逻辑池。
智能体负载（AgentX）
报告定义了智能体负载的四个特征：多轮（一次会话几十上百轮）、长上下文（系统提示 + 工具定义 + 累积轮次）、高前缀复用（轮次线性推进，缓存命中率随轮数趋近 1）、子智能体突发（短生命周期子任务造成突发的缓存模式）。报告称已有许多谷歌 TPU 客户在问 AgentX 的成绩，团队正在把 TPU 接入这套评测。
今天这组数字，是在「四件事一件都没做」的状态下测出来的。本次测试未启用 MTP、未使用分离式服务、未做 KV 卸载、未覆盖智能体负载——报告还特别说明，为了控制 bring-up 的范围，谷歌初期只聚焦在 8K/1K 这一种负载形状上。
这同时是看多与看空两侧的论据。看多：剩余优化空间很大，报告明确预期「一旦双方都启用 MTP 与分离式服务，TPU 的每美元性能优势可以延续」。看空：今天的 50% 是在一个受限场景里取得的，而英伟达侧的 SGLang 栈是成熟的、被数万开发者打磨过的。
报告自己的收尾是一句克制的话：「罗马不是 day 0 建成的，所以我们不该指望 TPU 的外部化立刻完成。但我们强烈相信，它正在以极快的速度发生。」
本站解读：这份报告对产业链意味着什么
以下为本站推演，报告本身不讨论投资标的
需要先声明：SemiAnalysis 这篇文章是纯技术与成本分析，不给任何股票评级、不讨论标的。以下五条为本站结合报告数据的推演，不是报告的结论，也不构成投资建议。
- 威胁的性质变了，但尚未变成份额。过去 TPU 对英伟达的威胁是「谷歌自己少买一点」，属于需求侧的减法；这篇报告描述的是谷歌开始拿 TPU 去争抢别人的推理工作负载——性质变成了供给侧的竞争。但报告也清楚写明，外部软件栈尚未开源、分离式服务尚未就绪，所以这个威胁今天还停在「可验证的可能性」阶段。
- 真正的时间表锚点是 TPUv8i 对 Rubin，不是 Ironwood 对 Blackwell。报告自己把 FP4 这条线讲得很明白：Ironwood 缺原生 FP4，只能在 FP8 上比；下一代 TPUv8i 补上 FP4 后，对手就换成 Rubin NVL72。拿今天的 50% 去推演明年的格局，会算错一代。
- 受益最确定的一端是「推理成本下降」本身。无论最终是谁赢，报告给出的两组机时单价（$1.03–$1.21 vs $1.73–$2.26）说明：推理侧出现了一个成本显著更低的可选项。对下游做应用、卖 token 的公司而言，这是毛利率的利好；对上游而言，它意味着单位算力的价格竞争会更激烈。
- 软件生态是这场竞争里最难被资本开支买到的东西。本篇第 07 节那串优化清单，是「数百工程小时」堆出来的，而且只覆盖了一个模型。英伟达的护城河在这篇报告里体现得比在任何硬件参数表里都清楚：vLLM 与 SGLang 的 day-0 支持默认是给英伟达的。
- 形状税会反向影响模型设计。第 09 节那条约束意味着，未来模型架构师在选头维度、专家宽度时，会开始考虑目标硬件的瓦片几何。这是一条新出现的、从硬件回传到模型层的产业约束，值得长期跟踪。
① TorchTPU 是否如期在 10 月中旬前后开源，以及开源后 vLLM／SGLang 是否把 TPU 纳入 day-0 支持名单；
② TPUv7 分离式对 GB200／GB300 分离式的后续文章——这是本篇第 06 节那个反转能否被推翻的直接检验；
③ 启用 MTP（投机解码）与 PD 分离之后，TPU 的性价比优势是否如报告预期那样延续；
④ 智能体负载（AgentX）上的 TPU 成绩——报告说客户已经在问，但还没有数；
⑤ Kimi K3、GLM5.3、Gemma4 的 bring-up 速度，这是「加一个新模型是否真的变容易了」的检验；
⑥ TPUv8i 的实际上市节奏与 FP4 对 FP4 的对比结果。
本篇回答的是「TPU 跑得怎么样、便宜在哪」。这盘生意谷歌为什么要做、TPU 背后那条 ASIC 供应链归谁、以及英伟达自己那套推理成本账怎么算——下面三篇各接住一头。
- 01 120 亿的模型生意，换 2,000 亿的卖铲生意：SemiAnalysis 说谷歌已经算清了这笔账 本篇的商业动机版——谷歌为什么要把 TPU 卖给外人 本篇讲的是技术上能不能卖，那一篇讲的是商业上为什么要卖：谷歌为何宁愿让别人用 TPU 跑竞品模型，也要把这条云生意做大。两篇合读，才明白这轮外部化不是技术团队的兴趣，而是一笔算过账的战略。
- 02 新来的四个名字，没有一家坐在中间：摩根大通拆开博通四天跌掉 13% 的那场恐慌 TPU 上游——这颗芯片是谁帮着设计和流片的 Ironwood 跑得多好，最终要落到谁在这条 ASIC 供应链上收钱。那一篇拆的正是定制芯片这一格的竞争格局与客户结构。本篇的性价比数字若被市场接受，压力和红利会同时传导到那条链上。
- 03 10 倍是拿去年的对手比的：SemiAnalysis 重算 Vera Rubin 的推理账 对手那一侧的同一本账——而且是同一家机构算的 本篇第 08 节说 TPUv8i 的真正对手是 Rubin，那一篇正是把英伟达下一代的推理 TCO 拆开算了一遍，并指出「10 倍」这类宣称的比较基准问题。两篇用的是同一套 TCO 方法论，放在一起看才对得上口径。
三篇加本篇共同回答一个问题：同一个 token，用谁的硅、谁的软件、谁的电费去生成，最后成本差多少。