数据血缘(Data Lineage)
是什么
- 字段级血缘每个表的每个字段从哪个上游字段计算出来
- 作业级血缘哪些 ETL / 训练任务读了哪些数据
- 跨系统血缘从原始数据库 → ETL → 数据湖 → BI 工具的全链路追踪
在 AI 时代的关键作用
- AI Act 合规必须能追溯训练数据来源
- 版权诉讼证据证明训练数据是否包含特定版权内容
- 数据质量根因分析模型预测异常时,追溯到原始数据问题
- 隐私合规GDPR 个人信息删除请求的"右被遗忘"需要血缘追踪
主要厂商
- 专业血缘Informatica / Collibra / Alation / Atlan
- 平台内置Databricks Unity Catalog / Snowflake Horizon
- 开源OpenLineage / Marquez / Apache Atlas
演进
- 2005-2015传统 ETL 工具(Informatica 等)做表级血缘
- 2015-2022数据中台兴起,字段级血缘成标配
- 2024+AI 训练数据血缘成新焦点,把数据 → 模型 → 推理输出全链路打通