端侧AI

⚠️ Stub 页：由 /capture 从 苹果再次尝试端侧运行AI而非云端（端侧agent讨论） 自动创建（Tier D）。本概念与 云-边-端协同 互为关联——后者讲分层部署范式，本页聚焦"端侧"这一层本身。

定义

端侧 AI（on-device AI）指 AI 模型 / agent 直接在用户终端设备（手机、PC、可穿戴、车机等）本地运行推理，而非把请求发往云端数据中心。核心优势为隐私（数据不出端）、离线可用、低延迟、降低云端推理成本。

核心逻辑

• 成本前置到硬件：有观点认为，若 agent 在端侧运行，用户购机时即一次性为算力付费，厂商无需为用户每次调用 agent 承担云端推理成本——对豆包、微信 agent、千问、携程、美团等 C 端应用是利好（系发帖人观点，未证实，据）。
• 硬件基础：依赖端侧 NPU 算力突破（如 Qualcomm 骁龙旗舰平台、Apple Neural Engine）+ 模型轻量化（模型量化 / 知识蒸馏 / 小模型）。
• 与云端分层：通常不是纯端侧，而是 云-边-端协同——小模型在端、中模型在边、大模型在云，必要时端侧调用云端兜底（如 Apple 的 Private Cloud Compute）。

主要玩家

• 终端厂商 / SoC：Apple（Apple Intelligence + Apple Silicon Neural Engine）/ Qualcomm / 联发科 / 华为 海思
• 云-端方案：华为 / 中科创达 等跨层方案商
• C 端应用：豆包、微信 agent、通义千问 等被认为受益于端侧推理降本（发帖人观点）

行业动态

• Apple 据 The Information 报道（转述，原文 PDF 未获取，未证实）再次尝试在端侧而非云端运行 AI agent，与其一贯的端侧优先战略一致（据）。

相关概念

• 云-边-端协同
• 边缘 AI
• 模型量化

∈ belongs_to::4-04-模型部署与优化