RLHF（Reinforcement Learning from Human Feedback）

基于人类反馈的强化学习，是 GPT-3.5 / GPT-4 / Claude 等顶级 LLM 实现"对齐"的主流方法，让模型输出"对人类有帮助、无害、诚实"。

定义

1. 监督微调（SFT）：在精选指令数据上微调基础模型
2. 奖励模型训练（RM）：人类对模型多个输出排序 → 训练奖励模型
3. 强化学习（PPO / RLHF）：以奖励模型为信号，用 PPO 算法更新策略

RLHF 把"什么是好的回复"这一难以量化的目标，转化为可学习的奖励函数。

技术细节

• PPO：OpenAI 主流实现
• DPO（Direct Preference Optimization）：跳过显式奖励模型，直接基于偏好优化（更简单）
• GRPO / 其他变种 — 不断涌现

主要玩家

• OpenAI — RLHF 商业化先驱（InstructGPT / ChatGPT）
• Anthropic — 在 RLHF 基础上演化出 Constitutional AI（用 AI Feedback 替代 Human Feedback）
• 开源生态 — Llama / Qwen / DeepSeek 等都用 RLHF 或 DPO

在 AI 产业链中的角色

RLHF 是当前 LLM 对齐的"行业标准"，但人工标注成本高、规模化受限是其瓶颈。Constitutional AI / DPO / RLAIF 等都是为应对其局限演化出的新方法。

演进历史

• 2017 Christiano et al. 论文《Deep Reinforcement Learning from Human Preferences》奠基
• 2022 OpenAI InstructGPT 论文，RLHF 走向工业化
• 2022-12 ChatGPT 发布，RLHF 走入大众视野
• 2023 DPO / Constitutional AI 等改进方法涌现
• 2024-25 RLAIF（AI 反馈）逐渐替代部分 RLHF

相关概念

• Constitutional AI / DPO（衍生 / 替代方法）
• 红队测试（验证对齐效果）

在 数据引擎中的角色

RLHF 是 数据引擎 子行业最高价值的数据形态：

• 数据稀缺性最高 — 偏好排序要求标注员对领域有专业判断力，标注员单位时间产出低
• Scale AI 50%+ 营收来自 RLHF 类数据服务 — OpenAI / Anthropic / Meta / Google 的 RLHF 数据主要由 Scale 供给
• 海天瑞声 / 倍赛科技 / 整数智能 在国内做 RLHF 偏好数据
• 国内大厂自建 RLHF 团队（百度 / 字节 / 阿里）+ 外采 海天瑞声 / 倍赛科技 等供给