HBM（High Bandwidth Memory，高带宽内存）
AI 芯片的核心瓶颈之一。当代标配 HBM3E，单卡可达 192GB / 5.3 TB/s 带宽（AMD MI300X 配置）。大模型参数规模膨胀使"内存墙"成为决定性约束。
是什么
通过 3D 堆叠（TSV 通孔）多层 DRAM 芯片构建的高带宽、高容量内存。和 GPU/AI 芯片封装在一起（用 CoWoS 2.5D 封装），不是 PCB 上分立的内存条。
为什么关键
- 大模型推理是"内存带宽限制"，不是"算力限制" — 每生成一个 token 都要把所有参数读一遍
- AMD vs NVIDIA 差异化的关键 — MI300X 192GB vs H100 80GB，在大模型推理场景成本优势明显
- HBM 产能短缺 — 与 CoWoS 一起构成 AI 芯片供给瓶颈
主要玩家（全球）
演进路线
| 代际 | 带宽 | 容量 | 量产 |
|---|---|---|---|
| HBM2 | ~256 GB/s/stack | 16-32 GB | 2018 |
| HBM2E | ~410 GB/s | 32-48 GB | 2020 |
| HBM3 | ~600 GB/s | 64-96 GB | 2022 |
| HBM3E | ~1 TB/s | 96-144 GB | 2024（当代标配） |
| HBM4 | ~1.5+ TB/s | 192+ GB | 2026E |