4-04 模型部署与优化

AI 产业链中连接"模型训练"与"应用落地"的关键环节 — 把训练完成的 AI 模型以高效、低成本、可监控的方式推向生产，覆盖模型压缩/量化、推理引擎、端侧部署、MLOps 四大板块。

一句话定位

模型部署与优化是 AI 第四层的下游枢纽：上承 4-02-模型工厂 训出的权重，下接 3-01-云计算与智算平台 等基础设施，把模型加速、压缩、装服务化外壳后服务于第五层各行业应用。在 DeepSeek-R1 与"厘时代"定价驱动下，整个子行业进入推理普惠的爆发期 — 火山引擎、硅基流动、阿里云 百炼三家主导中国大模型公有云推理；vLLM + NVIDIA TensorRT-LLM 在引擎层形成开源/硬件厂商双轨；中科创达 + Qualcomm + 联发科 撑起端侧；第四范式 + Databricks + Weights & Biases 撑起 MLOps。

市场规模

全球竞争格局

推理引擎技术三大路线

• NVIDIA TensorRT-LLM GPU 推理事实标准（硬件厂商配套）
• vLLM 开源王者（UC Berkeley，GitHub 45,000+ Star）
• 硅基流动 自研 / DeepSpeed / SGLang — 独立服务商 + 开源新势力

模型服务化平台

• NVIDIA Triton Inference Server 企业级 GPU 推理服务主导
• Hugging Face Optimum — 全球最大开源模型社区 + 模型分发
• Ray / Anyscale — 分布式推理框架

MLOps 工具

• Databricks / MLflow — 全球数据+AI 平台，MLflow 月活 2,000 万+，估值 $620 亿
• Weights & Biases — 实验追踪标杆，OpenAI/NVIDIA/Meta 在用，估值 $13 亿
• Neptune.ai — 实验追踪 + 元数据
• Comet ML — 实验管理 + 生产监控

端侧/边缘 AI 芯片

• Qualcomm AI Engine — 骁龙 NPU 70+ TOPS，端侧 7B 大模型
• 联发科 — 天玑 APU，中端手机端侧 AI

中国玩家

A 股上市

• 中科创达（300496.SZ）★★★★★（端侧 AI 部署龙头，市值 ~￥240 亿，2024 营收 ￥54 亿）
• 浪潮信息（000977.SZ）★★★★★（AI 服务器龙头 + 边缘计算硬件，市值 ~￥600 亿，2024 营收 ~￥750 亿）
• 星环科技（688031.SH）★★★★（Sophon MLOps + 大数据，市值 ~￥70 亿；金融政务客户深）
• 瑞芯微（603893.SH）★★★★（AIoT 芯片龙头，RK3588 内置 6 TOPS NPU，市值 ~￥350 亿）
• 摩尔线程（688795.SH）★★★★（2025-12 科创板 IPO，国产 GPU + 推理软件栈，市值 ~￥3,000 亿）
• 科大讯飞（002230.SZ）★★★（端侧 AI 解决方案 + 教育/医疗模型部署）

港股上市

• 商汤科技（0020.HK）★★★★★（SenseCore 大装置 + "日日新"大模型，市值 ~500 亿港元）
• 第四范式（6682.HK）★★★★★（"先知"企业 AI 平台，金融业 AI 龙头，市值 ~250 亿港元）
• 地平线机器人（9660.HK）★★★★（征程系列智驾边缘 AI 芯片，征程出货 500 万+，市值 ~1,200 亿港元）

拟 IPO / 港股 18C 候选

• 硅基流动 ★★★★★（自研推理引擎 + SiliconCloud + 900 万用户，估值 $2 亿+，2-3 年 IPO 窗口；科创板/港股 18C 可选）
• 九章云极 ★★★★（曾筹备科创板，DingoDB + APS）
• 算能科技 ★★★★（国产边缘 AI 芯片 + 模组 BM1684 系列）

未上市（云厂商系，blocklist 内不新建）

• 火山引擎（字节跳动）— 方舟平台 49.2% 中国大模型公有云份额，"厘时代"定价主导
• 阿里云 百炼 — 通义系列 + 三方模型 MaaS，中国第二
• 华为云 / 昇腾 / MindSpore — 国产算力全栈
• 百度智能云 千帆 — 文心 + MaaS 早布局者
• 腾讯云 TI 平台 — 混元 + 高性能 HCC 推理

独立未上市

• Hugging Face — 国际，但与中国生态深度互通

核心技术维度

1. 模型量化与压缩：INT4 量化 / GPTQ / AWQ / GGUF / OneBit / 知识蒸馏 / 模型剪枝
2. 推理引擎核心算法：PagedAttention / Continuous Batching / 投机解码 / FlashAttention / KV-Cache
3. 模型服务化框架：NVIDIA Triton Inference Server / vLLM / Ray / SGLang / DeepSpeed
4. 端侧部署：ONNX Runtime / OpenVINO / llama.cpp / 云-边-端协同
5. MLOps 全生命周期：实验追踪 / 模型注册 / 特征存储 / 模型监控 / LLMOps / 数据漂移
6. MaaS（Model-as-a-Service）：MaaS / Agent Runtime / 多模型编排 / API 服务化

上下游关系

↑ up::4-02-模型工厂 4-03-模型生态与工具链 2-01-核心逻辑芯片 — 训练完毕的模型权重 + 工具链 + 推理芯片 ↓ down::3-01-云计算与智算平台 3-02-AI算力租赁-智算服务 5-01-智能驾驶 5-04-智慧医疗 — 推理服务承载在公有云、下沉至行业应用 ⚔ competitor::4-03-模型生态与工具链 — 推理引擎与训练框架边界模糊（如 PyTorch 兼推理） ∈ belongs_to::第四层-模型

关键趋势

1. 推理成本指数级下降，"推理普惠"主旋律 — 2024-25 主流大模型推理成本降约 90%，DeepSeek R1 仅 OpenAI o1 的 1/10；"厘时代"定价；驱动力是量化突破+引擎革新+推理芯片效率提升。
2. 云-边-端协同部署成为标准范式 — 华为三级蒸馏、骁龙 8 Elite 端侧 7B 大模型、Phi-3-mini/Gemma 2B 涌现，"小模型在端、大模型在云、中模型在边"成为共识。
3. 国产算力适配是中国 AI 部署的刚性需求 — 美国 AI 芯片管制升级，基于昇腾/海光/寒武纪/摩尔线程的部署优化成核心刚需；硅基流动率先跑通 DeepSeek-R1 国产算力商业化；2025 国产 AI 芯片占国内 ~30%。
4. MLOps → 必选，LLMOps 快速兴起 — 2026E 80%+ 企业采用 GenAI；LLMOps 须处理提示词管理、RAG 链路监控、幻觉检测、对齐评估；MLOps 从开发者工具向企业平台演进，CAGR 30-42%。
5. 推理服务从"基础设施"走向"智能体基础设施" — Agent 概念爆发推动推理平台 → 多模型编排 + 工具调用 + 记忆 + 工作流的智能体运行时；火山方舟、阿里云百炼已先发提供 Agent 能力。

资本运作要点

高吸引力被收购

• 硅基流动 ★★★★★（估值 $2 亿+，900 万用户 + 自研引擎 + 国产算力适配，对云厂商/芯片厂商战略价值最高）
• 九章云极 ★★★★（MLOps 头部 + 金融政府客户）
• 算能科技 ★★★★（边缘 AI 芯片成熟）
• 星环科技 ★★★★（市值 ~70 亿偏低 + 大数据 + MLOps 双栈）
• 商汤科技 ★★★（全栈 AI 基础设施但市值大，更可能业务剥离）
• 中科创达 ★★★（端侧 AI 龙头，汽车智能座舱业务可剥离）
• 第四范式 ★★★（企业级 AI 决策龙头，更可能战略合作）

主动收购方

• 字节跳动 / 火山引擎 ★★★★★
• 阿里巴巴 / 阿里云 ★★★★★
• 华为 / 华为云 ★★★★
• 腾讯 / 腾讯云 ★★★★
• 百度 ★★★
• 浪潮信息 ★★★（硬件→软件延伸）
• 美团 ★★★（硅基流动战略股东）
• 科大讯飞 ★★

高确定性 IPO

• 硅基流动 科创板 / 港股 18C ★★★★★（2-3 年窗口）
• 九章云极 科创板 ★★★★（曾筹备）
• 算能科技 科创板 ★★★★
• 摩尔线程 已 IPO 2025-12 科创板 ★★★★★
• Databricks 美股纳斯达克 ★★★★（估值 $620 亿，2025-26 窗口期）
• Weights & Biases 美股纳斯达克 ★★★

关键事件

• 2024-06-火山引擎豆包模型厘时代定价
• 2025-01-DeepSeek-R1震动全球AI界
• 2025-06-硅基流动A轮融资
• 2025-12-摩尔线程科创板上市

关联完整深度报告

→ 打开原始深度报告