云训练-边缘推理（Cloud Training + Edge Inference）
定义
- 训练阶段留在中心化超大型 GPU 集群（10,000-100,000 卡），需要规模化的 NVLink/InfiniBand 互联 + HBM 显存 + 持续数月的稳定算力
- 推理阶段下沉到 CDN 边缘节点 / 运营商 MEC / 终端设备，需要低延迟 + 全球分布 + 弹性扩缩
这是对早期"中心化 AI（训练+推理都在云）"和"端侧 AI（设备本地推理）"的折中方案。
为什么训练留在云、推理去边缘
| 维度 |
训练 |
推理 |
| 卡数需求 |
1K-100K 卡 |
1-8 卡 |
| 通信带宽 |
NVLink 900GB/s + IB |
普通以太网即可 |
| 显存需求 |
80GB+/卡（HBM） |
24-80GB |
| 持续时间 |
数周-数月 |
毫秒-秒 |
| 用户分布 |
集中 |
全球分散 |
| 延迟敏感 |
不敏感 |
强敏感 |
| 数据主权 |
模型权重 |
用户实时数据 |
| 单 token 成本 |
高 |
边缘可大幅降低 |
关键玩家与产品组合
海外
中国
与端侧 AI 的区别
| 维度 |
端侧 AI |
边缘 AI（CDN/MEC） |
云端 AI |
| 算力 |
NPU/GPU 1-20 TOPS |
GPU 100-1,000 TOPS |
GPU 集群 PFLOPS |
| 模型规模 |
<10B 参数 |
10B-70B |
100B-2T |
| 隐私 |
最强（不出设备） |
中（节点处理） |
弱（云端处理） |
| 网络依赖 |
离线可用 |
必须联网 |
必须联网 |
| 案例 |
Apple Intelligence / 高通 8 Gen 4 |
Cloudflare AI Gateway |
GPT-4 |
行业趋势
- 2026 边缘推理爆发 — 75% 数据将在边缘处理（IDC）
- 三层 AI 栈成共识 — 端 + 边 + 云协同
- CDN 厂商 AI 收入快速增长 — Cloudflare/Akamai/Fastly AI 收入 2024 <5% → 2027E 15-25%
- 混合编排框架 — LangChain / LiteLLM / Vercel AI SDK 默认支持多端部署
关联
