SemiAnalysis TPU：智能体推理竞争力提升
- SemiAnalysis认为TPUv7在四个模型的智能体推理中已具竞争力或领先表现，开源生态正推动TPU走向外部客户。
- GLM-5.2同FP8测试中，TPUv7每美元输出为B200、B300和MI355X的1.2—2.7倍；FP4 GPU在多数速度下仍领先，但有精度损失。
- Qwen3.5的llm-d方案同FP8全面领先GB300；Kimi K3首发与GB300接近，英伟达四次更新后FP4性能价格比领先1.5—2.6倍。
TPU的软件生态开始形成竞争力
SemiAnalysis认为，TPU的进展已从芯片需求延伸到软件和开发者生态。谷歌正与PyTorch、vLLM、SGLang、llm-d和Ray等项目的维护者合作；此次四模型测试面向长上下文、多轮智能体服务，TPUv7对外部客户的性能价格比已经达到有竞争力或领先的水平。
报告同时把英伟达内部流程迟缓列为其护城河面临的重要问题，认为应减少官僚流程、向开源维护者提供更多算力。作者也指出，原CentML的英伟达vLLM团队在TPU和AMD加入大内核解码后，一周内便跟进合并支持。
四个模型的结果各有条件
| 模型 | 提交与软件栈 | 原文结果 | 条件 |
|---|---|---|---|
| Muse Spark Open | RadixArk／SGLang | 解码每美元表现有竞争力 | 端到端仍需优化预填充 |
| GLM-5.2 | vLLM／FP8 | 60—300 token/秒/用户：1.2—2.7倍 | 对比B200、B300、MI355X的FP8 |
| Qwen3.5 397B | vLLM／llm-d／FP8 | 所有交互速度下优于GB300 FP8 | 端到端仍落后TRTLLM FP4方案 |
| Kimi K3 | Inferact／vLLM | 首发每美元表现接近GB300 | 四次更新后GB300 FP4领先1.5—2.6倍 |
这里的AgentX包含多轮交互、不断累积的长上下文、高前缀复用，以及子智能体短时并发引起的缓存突发。报告称，TPU的TorchTPU vLLM软件栈已展示处理此类工作负载的能力。
Muse：面向GPU的模型也能运行得有竞争力
Meta已在生产环境使用SGLang-TorchTPU。RadixArk提交的8160亿参数Muse Spark Open测试显示，即使用Meta购买TPU的成本口径，TPUv7的解码性能价格比仍有竞争力；若看端到端延迟，预填充内核等环节还需继续优化。
该模型偏向GPU设计：注意力头维度为64，长上下文注意力会使TPU脉动阵列出现25%的填充。SGLang通过大内核融合消除解码内核启动延迟，并借助TPU-Sync把缓存卸载到主机内存，在高并发下改善前缀缓存命中。
GLM：同FP8领先，FP4仍有优势
在GLM-5.2的FP8测试里，60—300 token/秒/用户范围内，TPUv7每美元输出为B200、B300和MI355X的1.2—2.7倍；在150 token/秒/用户时，为H200的4.4倍。
原文也明确：多数速度下，FP4 GPU每美元输出仍更高；100 token/秒/用户时，GB300和GB200 FP4分别为TPUv7的3.6倍和3.5倍。GLM-5.3未原生采用分块缩放FP4量化感知训练，FP4相较FP8有轻微精度下降；TPUv7不原生支持FP4，作者预计支持FP4的TPUv8要等到2027年一季度。
GLM-5.3优化针对百万token上下文和超过90%的缓存复用：解码上下文并行按序列位置分割缓存；SparseCore收集每个查询选出的2048个条目，TensorCore同时计算注意力。索引器布局从原先对齐后的256字节改为132字节，仅浪费3字节；小解码步也加入4和8 token形状，减少原先填充到16的开销。
Qwen：解码与端到端的结果分开看
报告回顾，最初的Qwen3.5 397B AgentX结果中，TPUv7 FP8性能价格比为GB300 NVL72 FP4的1.67倍。英伟达首次反击提交在解码上超过TPUv7，却因过度优化解码、牺牲预填充而损伤端到端表现，端到端仍由TPU FP8领先。
在预填充与解码分离方案中，llm-d协调不同主机，每台4颗TPUv7，每组结果使用24—32颗。与GB300 FP8相比，TPUv7在所有交互水平都领先，高吞吐区超过2倍，极速区超过1000 token/秒/用户。最快点的p90首token等待为8.6秒，GB300 FP4最快点为11.1秒。
轮次路由仍使TPU的端到端表现落后于GB300 TRTLLM FP4，但优于GB300 NVL72的SGLang FP8和FP4方案。Qwen的优化包括大内核解码、主机内存卸载，以及按缓存位置路由；谷歌称精确路由到数据并行分片后，解码缓存命中率从56%升至76%。
Kimi：首发接近，更新后GPU重新领先
10月17日首发时，在50—200 token/秒/用户范围，TPUv7每美元输出为GB300的0.77—0.91倍；单用户速度为391对251 token/秒，原文概括为快1.6倍。按谷歌内部成本计算，TPU在100和200 token/秒/用户时优于GB300。
英伟达四次更新后，GB300 FP4每美元输出领先TPUv7 1.5—2.6倍；TPUv7相对GB200、B200、B300仍有1.15—2.5倍的表现。原文所列VR200达到TPUv7的4.3—5.6倍，另一组Rubin比较最高6倍；作者明确认为这是跨代比较，Rubin应与TPUv8i比较，而且Rubin结果仍属预览提交，尚待独立复现。
这份结果由Inferact与谷歌共同构建、提交。大内核作为vLLM模型运行器，只替换前向计算，调度、前缀缓存与KV传输保持原有工作方式；原文据此强调，TPU的进展来自开源生态，并非谷歌单独完成。
同一推理基础设施主题的已上线报告。
- TPUv7在四模型智能体推理中具备竞争力或领先表现，开源生态正加速外部化。
- Muse解码表现有竞争力；GLM同FP8领先，FP4优势与精度损失同时存在。
- Qwen的llm-d同FP8领先，端到端表现仍受软件栈和路由方案影响。
- Kimi首发接近GB300，四次更新后GB300 FP4领先；Rubin仍属跨代预览比较。