SemiAnalysis：稀疏注意力没有消除内存瓶颈
- 稀疏注意力只减少每次 SDPA 读取的 KV 条目，top-k 筛选仍需要全上下文可访问；HiSparse 把未命中 KV 从 HBM 调入 DRAM，容量瓶颈是转移而非消失。
- B200 并发从 8 升到 16 时，HBM 复用占比从 90.3% 降至 54.8%，主机缓存从 6.0% 升至 40.3%，总命中率仍超过 95%，DRAM 承担了更多长上下文复用。
- 150 tok/s 下的最低成本取决于首 token 门槛：2 秒上限时 MI355X ATOM 约 0.0607 美元/百万 token，10 秒上限时 GB300 约 0.0451 美元，成本结论不能脱离时延条件。
标题问 DRAM TAM，正文先否掉一个直觉
稀疏注意力确实减少了注意力计算当下的读取量，但并不代表 KV Cache 可以不存。报告最重要的变化是内存层级被重新分工：HBM 留最热数据，主机 DRAM 接住更大的长上下文，存储引擎决定怎么在两者之间搬运。报告没有给出可直接转成市场规模的 DRAM/NAND 金额，因此本篇也不自行外推 TAM。
01
稀疏注意力省带宽，不直接省容量
top-k 减少本次计算读取，但筛选过程仍要找到全部历史
密集注意力会让每个新 token 读取大量历史 KV Cache。DeepSeek Sparse Attention 先用轻量索引器为历史 token 打分，再只让核心注意力读取 top-k。这会减少 SDPA 环节的访存量。
问题是，top-k 选中谁之前，系统仍需要让全上下文处于可访问状态。所以注意力计算可以稀疏，KV Cache 的总容量需求不会按同一比例消失。
| 环节 | 稀疏后变化 | 没有自动解决的问题 |
|---|---|---|
| top-k 索引 | 用低维 query/key 为历史 token 打分 | 仍要访问全文索引状态 |
| SDPA 读取 | 只读取选中的 top-k KV | 未选中 KV 仍要被保留 |
| 系统容量 | HBM 可只保留热数据 | 冷数据转到 DRAM/NAND，并非删除 |
登录 / 免费注册 →
注册免费，可读注册层内容；解锁全部档案凭会员兑换码 · 返回报告目录
有会员朋友？请 TA 用页面底部「分享 → 赠阅」发你一条赠阅链接，免登录可读全文（7 天有效）。
还没有兑换码？扫码加入知识星球即得
- 📡Serenity 实时订阅 全网订阅第一「白毛股神」一手推文，分钟级中译直推邮箱，每天约 20~30 条，含她付费订阅才有的独家内容
- 💼白毛持仓 · 完整台账 她公开推文里亲口说过的持仓，整理成一张带原话出处的表：75 只在持 · 43 只明确否认 · 16 只已清仓，每条带首次披露日、成本锚与最后确认日，新披露实时上表。不是荐股，是「她说过什么」的可核对记录
- 📈大行研报 · ima 知识库对话 境内外一线投行研报每日汇入腾讯 ima 知识库（AI 相关精选 7,000+ 份、境内外日增 30+），你在库里通过 AI 对话随问随答、带出处，等于雇个 7×24 研究助理
- 🗺️知识库全开 + 深度报告解析 1,151 公司 / 694 概念全词条 + 全景图谱，外加 86 篇机构深度报告可视化解读、巨头供应链拆解、产业大事件复盘
- 🎓两套课程全解锁 金融人的产业链大课 18 讲（能源→芯片→基础设施→模型→应用，每周上新）＋ 公司深度研究 27 门（英伟达 / 台积电 / SK 海力士 / 博通 / 中际旭创…一家公司一门课，分单元、节节带测验、给成绩单）
- 💬会员微信群 入圈后可加入会员微信群，会员之间日常交流，我也在群里
全站会员 ¥599 / 年 · 一天 1.6 元 · 7,000+ 份投行研报随问随答