SemiAnalysis 实测谷歌 TPUv7：推理性价比比英伟达 B200 高 50%，赢在机时便宜不在芯片更快
- 同口径测试（都用聚合服务、FP8）下，TPUv7 每百万 token 成本比 B200 低 8% 到 34%，差多少取决于延迟目标。机时单价 $1.21 对 $1.73 贡献了九成差距，芯片吞吐本身只高约 5%。
- 便宜的代价是响应慢。高并发下 TPU 首 token 要等 5.4 秒，是 B300 的 2.25 倍，适合批处理，不适合对话类产品。
- 换成各自最优部署方式（英伟达用分离式服务），GB300 反超约 30%。外部 TPU 软件栈 TorchTPU 要到 10 月才开源，今天的 50% 是受限场景下的数字。
TPU 是谷歌自己设计的 AI 芯片。从搜索、广告、YouTube 到每一代 Gemini，都跑在它上面。十年来行业对它的争论集中在一个问题：离开谷歌自己的软件栈和自己的工作负载，它还剩多少优势？这份报告就是在回答这个问题。
交互速度（tokens/s/user）是这篇的横轴。它指的是「单个用户每秒能看到多少个字」。同一块硬件，你可以让它同时服务很多人（每人慢一点、总吞吐高），也可以让它专心服务少数人（每人快、总吞吐低）。所以比较推理硬件不能只报一个数字，必须报一条曲线。
TCO（总拥有成本）决定另一个轴。每百万 token 的成本 ＝ 机时单价 ÷ 每小时产出的 token 数。分子是账单，分母是性能。本篇所有比较都归结到这个分式。
聚合服务与分离式服务是两种部署方式。前者把「读入提示词」和「逐字生成」放在同一批芯片上；后者把两件事拆到两个池子里分别调优。谷歌内部早已使用分离式，外部版本还没做好，这是第 06 节结论变化的原因。
vLLM 与 SGLang 是两个开源推理引擎。它们是今天跑大模型服务的事实标准。本次测试中 TPU 侧用 vLLM，英伟达侧用 SGLang。
口径说明：本次测试的模型是 Qwen3.5 397B，FP8 精度，8K 输入／1K 输出，未启用 MTP。报告明确说明 Ironwood 没有原生 FP4，所以在 FP4 上英伟达仍然领先；FP8 对 FP8 才是无质量损失的同口径比较。凡本站自行计算、验算、推算或比对之处，均已逐处标注；报告没有给出的结论，不会写成报告的结论。
为什么说这是「第一次」
第一次有外部机构把 TPU 跑起来并测出可对照的数据
谷歌用 TPU 做自己的事，已经做了十几年。但外部客户能不能拿到同样的效果，一直没有可验证的答案，原因不在硬件，在软件：想在 TPU 上跑一个开源模型，过去要穿过一层框架翻译（下文第 07 节展开），而这条路的性能和稳定性都不理想。
报告的判断：Ironwood 是第一代谷歌用来争取外部推理工作负载的 TPU。它可以被直接买下，也可以通过谷歌云租用。而与之配套的新软件栈（TorchTPU）预计在 10 月中旬的 PyTorch 大会前后开源，目前仍处于私有测试阶段。
报告同时给出一条需求侧的背景：Anthropic 是 TPU 最大的外部用户，此前已承诺超过 100 万颗 TPU（其中约 40 万颗以上为直接采购、60 万颗以上通过谷歌云租用），主要用于训练、也用于推理；报告并称按其模型推算，Anthropic 将在 2029 年成为 TPU 的最大用户，超过谷歌 DeepMind 自身的用量。
价值：此前关于 TPU 性价比的讨论，几乎全部基于谷歌自己公布的数字或第三方的纸面推算。这次是把公开权重模型放进通用引擎、按同一套负载跑出来的可对照数据。
边界，本站认为有三条要记住：
① 这是官方预览（Official Preview）——报告明确致谢了谷歌的十余位工程师以及 Inferact、RedHat、RadixArk 等团队，说明测试是在厂商深度参与下完成的；
② 两侧用了不同的引擎（TPU 用 vLLM、GPU 用 SGLang），虽然都是主流方案，但不是同一套代码；
③ 成本侧用的是 SemiAnalysis 自家的 TCO 模型，不是买家实际支付的价格。整篇结论对这组机时单价高度敏感，第 03、04 节有具体计算。
注册免费，可读注册层内容；解锁全部档案凭会员兑换码 · 返回报告目录
- 📡Serenity 实时订阅 全网订阅第一「白毛股神」一手推文，分钟级中译直推邮箱，每天约 20~30 条，含她付费订阅才有的独家内容
- 💼白毛持仓 · 完整台账 她公开推文里亲口说过的持仓，整理成一张带原话出处的表：75 只在持 · 43 只明确否认 · 16 只已清仓，每条带首次披露日、成本锚与最后确认日，新披露实时上表。不是荐股，是「她说过什么」的可核对记录
- 📈大行研报 · ima 知识库对话 境内外一线投行研报每日汇入腾讯 ima 知识库（AI 相关精选 7,000+ 份、境内外日增 30+），你在库里通过 AI 对话随问随答、带出处，等于雇个 7×24 研究助理
- 🗺️知识库全开 + 深度报告解析 1,151 公司 / 694 概念全词条 + 全景图谱，外加 86 篇机构深度报告可视化解读、巨头供应链拆解、产业大事件复盘
- 🎓两套课程全解锁 金融人的产业链大课 18 讲（能源→芯片→基础设施→模型→应用，每周上新）＋ 公司深度研究 27 门（英伟达 / 台积电 / SK 海力士 / 博通 / 中际旭创…一家公司一门课，分单元、节节带测验、给成绩单）
- 💬会员微信群 入圈后可加入会员微信群，会员之间日常交流，我也在群里
9 月 30 日 12:00 到期 · 仅剩 13 天