RLAIF（Reinforcement Learning from AI Feedback）

AI 反馈强化学习。用强 LLM 替代部分人类标注员，生成偏好排序数据，用于训练 reward model 或直接做 DPO。是 RLHF 的成本降低版本，也是 Anthropic Constitutional AI 的关键。

定义

经典 RLHF 需要人类对模型回答排序，Anthropic 2022 年提出 Constitutional AI 中引入"用 AI 自我评估"的思想。Google 2023 年发表《RLAIF: Scaling RLHF with AI Feedback》论文正式提出 RLAIF。

核心思想

• 用一个强 LLM（如 GPT-4 / Claude Opus）作为"评判员"，对另一个模型的回答按宪法原则或评估标准打分
• AI feedback 替代部分 human feedback
• 大幅降低标注成本（人类标注 $1/条 vs AI 标注 $0.01/条）

优点

• 大规模训练数据低成本生成 — 一夜可生成 10 万条偏好数据
• 可标注度量 — AI 评判员可以稳定打分，人类标注员之间差异大
• 可扩展到长上下文 — 人类不擅长比较两段长文，AI 反而可以

风险

• AI 反馈偏差 — 评判员模型本身的偏见会被放大
• 多样性下降 — AI 偏好可能与人类真实偏好背离
• "模型崩溃"风险 — 用 AI 数据训练 AI，长期可能质量退化

与 RLHF 数据产业的关系

• 冲击 Scale AI 等纯人工标注业务 — 大模型公司可能逐步内部化偏好数据生成
• 但人类高质量数据仍稀缺 — RLAIF 不能完全取代 RLHF，高难度领域（数学证明、医疗诊断）仍需人类专家
• 混合模式成主流 — RLAIF 处理大量场景 + RLHF 处理高难度边缘案例

主要玩家

• Anthropic — Constitutional AI 缔造者
• Google — 提出"RLAIF"术语并系统化
• OpenAI — 内部大量使用 AI 反馈作为辅助
• Scale AI — 把 RLAIF 与 RLHF 结合做混合数据服务

相关概念

• RLHF / DPO / Constitutional AI
• Auto-labeling / 合成数据

∈ belongs_to::4-01-数据引擎