云-边-端协同

大模型从纯云端走向"云-边-端"分层协同部署的标准范式 — "小模型在端侧、大模型在云端、中等模型在边缘"。

定义

云-边-端协同是一种 AI 模型分层部署架构：

• 云端：大参数量模型（70B+），处理复杂任务、知识查询、生成
• 边缘：中等模型（7B-70B），处理区域性、隐私敏感任务
• 端侧：轻量模型（< 7B），处理低延迟、离线、个性化任务

核心驱动力

模型侧

• 模型轻量化：DeepSeek / Llama 3.2 / Gemma 2B / Phi-3-mini 等小模型涌现
• 知识蒸馏：华为 三级蒸馏框架（云端大模型→边缘中模型→端侧小模型）；端侧模型精度 +12%

硬件侧

• 端侧 NPU 算力突破：Qualcomm 骁龙 8 Elite 70+ TOPS，可端侧跑 7B 大模型
• 边缘 AI 芯片：算能科技 BM 系列、NVIDIA Jetson、华为 昇腾 310

应用侧

• 隐私敏感场景：医疗、金融、个人助手
• 低延迟需求：智驾、AR/VR、实时翻译
• 离线场景：户外、低连接环境

主要玩家

• 云端：阿里云 / 火山引擎 / 百度智能云 / 腾讯云 / 华为云
• 边缘 AI 芯片：算能科技 / NVIDIA Jetson / 地平线机器人
• 端侧 SoC：Qualcomm / 联发科 / 华为 海思 / Apple
• 跨层方案商：中科创达 / 华为

三级蒸馏框架（华为提出）

1. 云端大模型生成多样化样本
2. 边缘服务器提炼中间特征
3. 终端设备完成最终蒸馏

端侧模型精度提升 12%。

在 AI 产业链中的角色

• 推理普惠的必由之路：纯云端无法承载大规模并发；分层部署是 AI 走向消费级的关键
• 2026 行业共识范式：标杆案例 Microsoft Copilot+ PC、Apple Intelligence、华为盘古、小米澎湃 OS
• 催生端侧 AI 部署需求：推动 中科创达 / Qualcomm / 联发科 / 高端手机 OEM 等环节估值重估

相关概念

• 端侧AI
• 边缘 AI
• 知识蒸馏
• 模型量化
• 轻量化模型

∈ belongs_to::4-04-模型部署与优化