AgentOps（Agent Operations）
MLOps / LLMOps 在 AI Agent 时代 的最新演进 — 监控、追踪、调试、评估 Agent 工作流（包括工具调用、多步推理、多 Agent 协作），是 2025 年开始爆发的新中间件赛道。
定义
| 阶段 |
核心能力 |
| 开发 |
Agent 流程定义、工具注册、提示词管理 |
| 测试 |
任务集成功评估、多步推理追踪、回归测试 |
| 部署 |
Agent 版本控制、灰度发布、回滚 |
| 运行时监控 |
工具调用成功率、推理延迟、token 成本、循环检测 |
| 反馈循环 |
人类反馈、自动评估、改进迭代 |
与 LLMOps / MLOps 的差异
| 维度 |
MLOps |
LLMOps |
AgentOps |
| 核心实体 |
模型 |
LLM + 提示词 + RAG |
Agent + 工具 + 推理链 |
| 主要风险 |
数据漂移、模型衰减 |
幻觉、对齐 |
工具调用失败、无限循环、目标偏离 |
| 监控指标 |
准确率、F1 |
幻觉率、用户反馈 |
任务完成率、平均步数、token / 任务成本 |
| 追踪方式 |
模型日志 |
提示词版本 |
完整推理链 trace（OpenTelemetry GenAI semconv） |
| 工具支持 |
无 |
简单 RAG |
工具注册、MCP Server、权限管控 |
主要玩家
专业 AgentOps 工具
综合可观测性厂商扩展
中国
- 阿里云 百炼 / 字节 火山方舟 Agent 平台
- 腾讯 / 百度 等云厂商 AgentOps 模块
关键风险与挑战
- 追踪标准缺失 — OpenTelemetry GenAI semconv 仍在起草，跨工具兼容差
- 多 Agent 编排复杂度爆炸 — N 个 Agent 互相调用，trace 树指数增长
- 成本失控 — Agent "陷入循环" 一次任务跑掉数百 $token
- 评估难 — Agent 任务非确定性，难有自动化 ground truth
- 安全 & 权限 — Agent 调用真实世界工具（API、文件系统、支付）需精细管控
演进
相关
