语义缓存（Semantic Caching）
定义
例：
prompt 1: "怎么用 React 写一个 todo list"
prompt 2: "教我用 React 做待办清单"
# 两者语义相似度 0.97 → 直接命中缓存
工作机制
用户请求 →
1. Prompt → Embedding（用小模型，如 BGE/E5/text-embedding-3）
2. 向量数据库相似度查询（kNN）
3. Top-1 相似度 > 阈值 ?
├─ 是 → 返回缓存答案（毫秒级，零 GPU 成本）
└─ 否 → 转发到 LLM → 缓存新 Q&A pair
关键玩家
商业产品
- Fastly AI Accelerator边缘语义缓存，Fastly 的核心高利润率 AI 技术
- Cloudflare AI Gateway集成 Vectorize 做语义缓存
- Portkey / Helicone第三方 AI Gateway 自带语义缓存
开源
商业价值
- Token 成本降低 20-50% — 高频重复 prompt 场景
- 延迟从 1,500ms 降至 50ms — 用户体验跃升
- 不增加 GPU 投入 — 边缘 CPU + 向量数据库即可
- Fastly 高利润率引擎 — Fastly 2025 首次全年非 GAAP 盈利 $1,970 万，语义缓存是核心技术
适用场景
| 场景 | 重复率 | 节省潜力 |
|---|---|---|
| 客服机器人 | 70-90% | ★★★★★ |
| 文档问答（RAG） | 40-60% | ★★★★ |
| 代码助手 | 30-50% | ★★★ |
| 创意写作 | <10% | ★（不适合） |
| Agent 工具调用 | 30-50% | ★★★ |
技术挑战
- 相似度阈值难调 — 太松命中错误答案、太严缓存命中率低
- 多轮对话不易缓存 — 上下文敏感
- 个性化场景失效 — 用户身份相关请求不应缓存
- embedding 模型也需算力 — 但比 LLM 便宜 100-1,000 倍
行业趋势
- AI Gateway 标配 — 不带语义缓存的 AI Gateway 已无竞争力
- 从单 LLM 到 LLM Stack 全栈缓存 — Tool 调用、Agent 步骤都可缓存
- CDN 厂商抢占边缘语义缓存高地 — Fastly / Cloudflare 首发优势