端侧AI
本概念与 云-边-端协同 互为关联——后者讲分层部署范式，本页聚焦"端侧"这一层本身。
核心逻辑
- 成本前置到硬件：有观点认为，若 agent 在端侧运行，用户购机时即一次性为算力付费，厂商无需为用户每次调用 agent 承担云端推理成本——对豆包、微信 agent、千问、携程、美团等 C 端应用是利好（系发帖人观点，未证实，据）。
- 硬件基础：依赖端侧 NPU 算力突破（如 Qualcomm 骁龙旗舰平台、Apple Neural Engine）+ 模型轻量化（模型量化 / 知识蒸馏 / 小模型）。
- 与云端分层：通常不是纯端侧，而是 云-边-端协同——小模型在端、中模型在边、大模型在云，必要时端侧调用云端兜底（如 Apple 的 Private Cloud Compute）。
主要玩家
- 终端厂商 / SoC：Apple（Apple Intelligence + Apple Silicon Neural Engine）/ Qualcomm / 联发科 / 华为 海思
- 云-端方案：华为 / 中科创达 等跨层方案商
- C 端应用：豆包、微信 agent、通义千问 等被认为受益于端侧推理降本（发帖人观点）
行业动态
- Apple 据 The Information 报道（转述，原文 PDF 未获取，未证实）再次尝试在端侧而非云端运行 AI agent，与其一贯的端侧优先战略一致（据）。
相关概念
所属子板块模型部署与优化