AI产业链地图

LLMOps

又名 大模型运维 · 大模型 MLOps · 大语言模型运维

LLMOps 是 MLOps 在大语言模型时代的演进版本，针对 LLM / 多模态模型生产环境的特有挑战，提供运维工具与方法论

第四层 · AI 基础模型
首次提出2023关键参与方Databricks · Weights & Biases · Hugging Face

LLMOps

MLOps 的细分延伸，专门处理大语言模型生命周期管理特有的挑战（提示词、RAG 链路、幻觉、对齐评估）。

与传统 MLOps 的差异

维度 传统 MLOps LLMOps
模型类型 分类、回归、CV 等 LLM、多模态、Agent
关键资产 训练数据、模型权重 提示词、RAG 知识库、Agent 工作流
评估方式 准确率、F1 等 幻觉检测、对齐评估、人类反馈
监控指标 数据漂移、模型衰减 RAG 检索质量、提示词性能、token 成本
部署模式 API / 嵌入式 API + 工具链 + 多模型编排

核心能力

  • 提示词管理（Prompt Management）：版本管理、A/B 测试
  • RAG 链路监控：检索质量、嵌入向量漂移
  • 幻觉检测（Hallucination Detection）
  • 对齐评估：safety / helpfulness / honesty
  • Token 成本监控：按用户/应用/模型计费
  • 多模型编排：路由、降级、回退
  • Agent 工作流追踪

主要玩家

在 AI 产业链中的角色

  • 生成式 AI 浪潮的必备基础设施2026E 80%+ 企业将采用 GenAI，无 LLMOps 难以规模化
  • MLOps 厂商的关键演进路径W&B、Databricks 等老牌玩家通过加 LLMOps 能力实现估值重估
  • 新兴独立赛道LangSmith、Langfuse 等针对 LLM 应用层的专业工具

演进历史

相关概念

所属模型部署与优化