云训练-边缘推理（Cloud Training + Edge Inference）
定义
- 训练阶段 — 留在中心化超大型 GPU 集群（10,000-100,000 卡），需要规模化的 NVLink/InfiniBand 互联 + HBM 显存 + 持续数月的稳定算力
- 推理阶段 — 下沉到 CDN 边缘节点 / 运营商 MEC / 终端设备，需要低延迟 + 全球分布 + 弹性扩缩
这是对早期"中心化 AI（训练+推理都在云）"和"端侧 AI（设备本地推理）"的折中方案。
为什么训练留在云、推理去边缘
| 维度 | 训练 | 推理 |
|---|---|---|
| 卡数需求 | 1K-100K 卡 | 1-8 卡 |
| 通信带宽 | NVLink 900GB/s + IB | 普通以太网即可 |
| 显存需求 | 80GB+/卡（HBM） | 24-80GB |
| 持续时间 | 数周-数月 | 毫秒-秒 |
| 用户分布 | 集中 | 全球分散 |
| 延迟敏感 | 不敏感 | 强敏感 |
| 数据主权 | 模型权重 | 用户实时数据 |
| 单 token 成本 | 高 | 边缘可大幅降低 |
关键玩家与产品组合
海外
- Cloudflare — 训练用 CoreWeave / AWS，推理用 Workers AI + AI Gateway
- Akamai — 训练交付给 NVIDIA DGX，推理用 41 个新建 DC + NVIDIA B200
- Fastly — 不做训练，专攻 语义缓存 高利润率推理流量
- OpenAI / Anthropic — 训练用 微软Azure / AWS，开始与 Cloudflare/Akamai 合作 CDN 边缘部署
中国
- 网宿科技 — 训练协同 阿里云 / 腾讯云，推理用自有 2,800+ 节点 + Moltbot 平台
- 云工场科技 — 灵境云 2,000+ 区县级节点推理
- 字节跳动 / 火山引擎 — 训练自建，推理用全球 CDN
与端侧 AI 的区别
| 维度 | 端侧 AI | 边缘 AI（CDN/MEC） | 云端 AI |
|---|---|---|---|
| 算力 | NPU/GPU 1-20 TOPS | GPU 100-1,000 TOPS | GPU 集群 PFLOPS |
| 模型规模 | <10B 参数 | 10B-70B | 100B-2T |
| 隐私 | 最强（不出设备） | 中（节点处理） | 弱（云端处理） |
| 网络依赖 | 离线可用 | 必须联网 | 必须联网 |
| 案例 | Apple Intelligence / 高通 8 Gen 4 | Cloudflare AI Gateway | GPT-4 |
行业趋势
- 2026 边缘推理爆发 — 75% 数据将在边缘处理（IDC）
- 三层 AI 栈成共识 — 端 + 边 + 云协同
- CDN 厂商 AI 收入快速增长 — Cloudflare/Akamai/Fastly AI 收入 2024 <5% → 2027E 15-25%
- 混合编排框架 — LangChain / LiteLLM / Vercel AI SDK 默认支持多端部署