轻量化 RAG
技术路径
| 技术 | 目的 |
|---|---|
| 模型量化 | INT4 / INT8 减少模型显存占用 |
| 知识蒸馏 | 大模型能力转移到小模型 |
| Sparse Activation | 仅激活相关参数 |
| 检索器轻量化 | 小型 嵌入向量 模型 + 本地向量库 |
| Cache / KV-Cache 优化 | KV-Cache 复用 |
应用场景
- 手机端 AI 助手Apple Intelligence / 小米 / 华为 HarmonyOS
- 智能音箱 / 智能车机离线语音问答
- AR / VR 眼镜Vision Pro / Quest 等
- 隐私敏感场景数据不出本地
战略意义（AI搜索与信息服务 视角）
AI搜索与信息服务 报告强调：
- AI 搜索从云端走向边缘减少云端推理成本（3-30 美分/次）
- 隐私优势配合 秘塔AI搜索 等隐私优先产品的差异化
- 响应速度本地推理延迟更低
- 离线可用弱网/无网环境保持基础搜索能力