Что такое RLHF?
RLHF (Reinforcement Learning from Human Feedback) — это метод обучения языковой модели, при котором люди сравнивают и оценивают её ответы, а на этой обратной связи обучается отдельная модель вознаграждения. Дальше основная модель дообучается так, чтобы получать более высокую оценку от модели вознаграждения — то есть чаще выбирать ответы, которые реальные люди сочли полезными и безопасными.
Метод стал стандартом при подготовке современных ассистентов на базе больших языковых моделей: именно RLHF отвечает за то, что модель отвечает вежливо, по делу и отказывается от опасных или неуместных запросов, а не просто предсказывает статистически вероятное продолжение текста.
Зачем языковым моделям обратная связь от человека?
Языковая модель после базового обучения умеет продолжать текст правдоподобно, но не всегда полезно, безопасно или в нужном тоне. Автоматические метрики плохо улавливают такие качества, как такт, аккуратность формулировок или уместность отказа. Обратная связь человека даёт модели ориентир на реальные человеческие предпочтения, которые сложно описать формальными правилами.
Без этого шага модель может звучать грамотно, но давать неточные, шаблонные или потенциально вредные ответы. RLHF — это способ «настроить» поведение модели под ожидания людей уже после того, как она освоила язык и факты на этапе предобучения.
Как устроен процесс: от SFT до RLHF?
Полный цикл обучения ассистента на базе LLM обычно проходит три стадии: предобучение на больших текстовых корпусах, затем SFT (supervised fine-tuning) — дообучение на примерах правильных диалогов, и наконец RLHF — донастройка на сравнениях ответов. Каждая стадия решает свою задачу: язык и факты, формат ответа и следование инструкциям, затем тонкая настройка полезности и безопасности.
Схематично цепочку можно представить так:
| Этап | Что делает | Тип данных |
|---|---|---|
| Предобучение | Модель осваивает язык, факты, стиль | Большие текстовые корпусы без разметки |
| SFT | Модель учится следовать инструкциям | Пары «запрос-эталонный ответ» |
| RLHF | Модель учится выбирать лучший из вариантов | Сравнения и рейтинги ответов от людей |
RLHF не заменяет предыдущие этапы, а надстраивается над ними — без качественного SFT донастройка на сравнениях даёт заметно более слабый результат.
Что такое парные сравнения ответов?
Парное сравнение — базовый формат сбора обратной связи для RLHF: эксперту показывают один и тот же запрос с двумя (иногда больше) вариантами ответа модели, и он выбирает более полезный, точный и безопасный вариант. Такие сравнения проще и стабильнее прямой оценки ответа по шкале, поэтому именно они чаще всего используются для обучения модели вознаграждения.
Помимо простого выбора «лучше/хуже», разметчики нередко указывают причину предпочтения по нескольким критериям — фактическая точность, полнота, безопасность, стиль изложения. Это помогает модели вознаграждения учиться не на одном общем впечатлении, а на разложенных на составляющие критериях качества.
Кто размечает данные для RLHF?
Для повседневных бытовых запросов оценку обычно проводят обученные асессоры, которые работают по подробному гайдлайну с примерами хороших и плохих ответов. Для специализированных доменов — медицины, права, финансов, программирования — привлекают экспертов с профильным образованием, потому что только они способны надёжно судить о фактической точности и профессиональной уместности ответа.
Качество RLHF-разметки сильно зависит от согласованности оценщиков: если два эксперта регулярно расходятся во мнениях об одном и том же ответе, модель вознаграждения обучается на противоречивом сигнале. Поэтому в проектах RLHF отдельно измеряют межэкспертное согласие и периодически калибруют рубрики оценки.
Чем RLHF отличается от RLAIF?
RLAIF (Reinforcement Learning from AI Feedback) использует ту же схему, что и RLHF, но роль оценщика частично или полностью выполняет другая модель, а не человек. Это заметно ускоряет и удешевляет сбор сравнений на больших объёмах, но переносит на итоговую модель предвзятости и слепые зоны модели-судьи, поэтому критичные и спорные случаи чаще всего оставляют на проверку человеку.
На практике многие команды используют гибридный подход: RLAIF закрывает основной объём простых и однотипных сравнений, а RLHF с участием людей — сложные, неоднозначные или высокорисковые случаи, где цена ошибки высока. Такой баланс позволяет масштабировать разметку без потери качества там, где оно критично.
Почему RLHF стал одним из самых быстрорастущих сегментов рынка данных?
Спрос на RLHF растёт вместе с рынком больших языковых моделей: разработчики соревнуются не только в размере моделей, но и в качестве их поведения, а RLHF — главный инструмент для этой донастройки. По оценкам рынка, глобальный рынок разметки данных для ИИ вырастет примерно с 2,3 млрд долларов в 2026 году до 6,5 млрд долларов к 2031 году при среднегодовом росте около 23%.
Один из индикаторов зрелости сегмента — консолидация игроков: в 2025 году компания Meta приобрела 49% Scale AI, одного из крупнейших поставщиков RLHF-разметки, что вызвало заметный передел рынка и уход части клиентов к альтернативным подрядчикам. Для компаний, которые дообучают собственные модели или корпоративных ассистентов, это означает растущий выбор надёжных партнёров по разметке RLHF-данных, включая специализированные команды с экспертизой в узких доменах.