RLAIF（Reinforcement Learning from AI Feedback）

AI 反馈强化学习。用强 LLM 替代部分人类标注员，生成偏好排序数据，用于训练 reward model 或直接做 DPO。是 RLHF 的成本降低版本，也是 Anthropic Constitutional AI 的关键。

核心思想

• 用一个强 LLM（如 GPT-4 / Claude Opus）作为"评判员"，对另一个模型的回答按宪法原则或评估标准打分
• AI feedback 替代部分 human feedback
• 大幅降低标注成本（人类标注 $1/条 vs AI 标注 $0.01/条）

优点

• 大规模训练数据低成本生成 — 一夜可生成 10 万条偏好数据
• 可标注度量 — AI 评判员可以稳定打分，人类标注员之间差异大
• 可扩展到长上下文 — 人类不擅长比较两段长文，AI 反而可以

风险

• AI 反馈偏差 — 评判员模型本身的偏见会被放大
• 多样性下降 — AI 偏好可能与人类真实偏好背离
• "模型崩溃"风险 — 用 AI 数据训练 AI，长期可能质量退化

与 RLHF 数据产业的关系

• 冲击 Scale AI 等纯人工标注业务 — 大模型公司可能逐步内部化偏好数据生成
• 但人类高质量数据仍稀缺 — RLAIF 不能完全取代 RLHF，高难度领域（数学证明、医疗诊断）仍需人类专家
• 混合模式成主流 — RLAIF 处理大量场景 + RLHF 处理高难度边缘案例

主要玩家

• Anthropic — Constitutional AI 缔造者
• Google — 提出"RLAIF"术语并系统化
• OpenAI — 内部大量使用 AI 反馈作为辅助
• Scale AI — 把 RLAIF 与 RLHF 结合做混合数据服务

相关概念

• RLHF / DPO / Constitutional AI
• Auto-labeling / 合成数据