数据引擎（Data Engine）
AI 基础模型产业链的最上游环节。把原始非结构化信息转化为可供大模型训练的高质量结构化语料，是决定 AI 模型质量上限的基础保障层。
定义
数据引擎 = 为大模型 Pre-training / SFT / RLHF 提供高质量训练数据的完整产业生态。涵盖四大细分板块：
- 版权数据 / IP 资产 — 拥有大规模优质文本、图像、音视频版权内容的企业（如 Reddit / 阅文集团 / 视觉中国）
- 数据标注 / RLHF — 把原始数据加工成可训练格式（如 Scale AI / 海天瑞声 / Labelbox）
- 合成数据 — 用 AI 生成训练数据（如 Gretel AI / MOSTLY AI / Syntho）
- 数据治理与合规 — 数据湖仓、血缘、隐私合规（如 Databricks / Snowflake / Informatica）
边界与上下游
- 边界界定：直接服务 AI 模型训练的数据供给环节，不包括通用数据分析（BI）、传统 ETL 工具、面向终端业务场景的数据应用
- 与下游"模型训练"区别：数据引擎聚焦"数据的生产与治理"，而非"模型的训练与推理"
在 AI 产业链中的角色
- AI 模型质量上限决定因素：业界共识"Garbage in, garbage out" — 数据质量直接决定模型上限
- 大模型对齐核心：RLHF / DPO / RLAIF 等对齐技术对高质量人类偏好数据的刚性需求
- 多模态需求驱动：视觉、语音、视频对标注数据指数级增长
关键技术维度
- 预训练数据：海量低单价多样化文本，主要靠版权数据 + 网络爬取
- SFT（指令微调）数据：高质量问答对，要求精度高
- RLHF 数据：人类偏好排序，对标注员专业度要求最高
- 合成数据：用 LLM / 扩散模型 / GAN / VAE 等生成
- 数据治理：血缘、隐私、合规、版本管理
演进历史
- 2010-2015：传统数据标注（Appen 等服务于搜索、翻译评估）
- 2016：Scale AI 创立，把数据标注产品化、规模化
- 2017：Lakehouse 概念提出（Databricks）
- 2022-11：ChatGPT 发布，RLHF 数据成为刚需，行业爆发
- 2024-05：中国 7 大国家级数据标注基地设立
- 2025-03：2025-03-NVIDIA收购Gretel AI，合成数据成为芯片巨头战略资产
- 2026E：高质量真实数据耗尽（Epoch AI 预测），合成数据占比超 60%
相关概念
∈ belongs_to::4-01-数据引擎