Какие данные нужны для обучения LLM?
Большой языковой модели данные нужны на разных этапах жизненного цикла, и на каждом этапе требуется свой тип данных: огромные текстовые корпуса для предобучения, пары «инструкция-ответ» для дообучения (SFT), сравнения ответов для RLHF и отдельные наборы примеров для оценки готовой модели. Смешивать эти типы данных нельзя — каждый решает свою задачу в цепочке обучения.
Ниже — по порядку, что происходит на каждом этапе и какие данные для этого нужны.
Что такое данные для предобучения?
Предобучение — первый и самый ресурсоёмкий этап, на котором модель учится на огромном объёме неразмеченного текста: книгах, статьях, коде, веб-страницах. Специальной разметки здесь не требуется — модель самообучается, предсказывая следующее слово в тексте, и так усваивает грамматику, факты о мире и базовые логические связи между понятиями.
Качество и разнообразие корпуса на этом этапе определяют «потолок» знаний модели: то, чего не было в обучающих текстах, модель не узнает на последующих этапах, сколько бы их ни было.
Какие данные нужны для SFT?
SFT (supervised fine-tuning) дообучает предобученную модель на размеченных парах «инструкция-эталонный ответ»: человек либо пишет образцовый ответ на запрос, либо проверяет и правит черновик, сгенерированный моделью. Именно на этом этапе модель учится следовать инструкциям, отвечать по формату и придерживаться заданного тона, а не просто продолжать текст.
Для SFT-датасетов особенно важна экспертиза авторов эталонных ответов: в узкой предметной области — юриспруденции, медицине, техподдержке конкретного продукта — писать образцовые ответы должен человек, разбирающийся в теме, иначе модель выучит поверхностные или ошибочные паттерны.
Какие данные нужны для RLHF?
Для RLHF нужны не эталонные ответы, а сравнения нескольких вариантов ответа модели на один и тот же запрос: эксперт выбирает более полезный, точный и безопасный вариант либо ранжирует все варианты по качеству. На этих сравнениях обучается отдельная модель вознаграждения, которая затем донастраивает основную модель в сторону предпочитаемых людьми ответов.
Подробно о механике этого этапа — в статье о том, что такое RLHF и как устроен процесс парных сравнений.
Как этапы обучения LLM выглядят вместе?
Три основных этапа — предобучение, SFT и RLHF — идут последовательно и решают разные задачи: язык и факты, следование инструкциям, тонкая настройка полезности и безопасности. Отдельно от обучения стоит этап оценки — на нём проверяют качество уже готовой модели на новых примерах, которые не участвовали в обучении.
| Этап | Тип данных | Кто готовит | Что получает модель |
|---|---|---|---|
| Предобучение | Большие текстовые корпуса | Автоматический сбор и фильтрация | Язык, факты, стиль |
| SFT | Пары «инструкция-эталонный ответ» | Асессоры и эксперты | Следование инструкциям, формат |
| RLHF | Сравнения и рейтинги ответов | Асессоры и доменные эксперты | Полезность, безопасность, тон |
| Оценка | Тестовые запросы и рубрики | Независимые эксперты | Отчёт о качестве, а не обучение |
Что важнее — качество или количество данных?
На этапе предобучения масштаб корпуса действительно важен, но на этапах SFT и RLHF решает именно качество: небольшой, тщательно выверенный набор инструкций и сравнений часто даёт лучший результат, чем огромный, но противоречивый массив. Модель одинаково хорошо выучивает и полезные паттерны, и ошибки разметки, поэтому шум в данных напрямую снижает качество ответов.
Это особенно заметно на RLHF: если два эксперта регулярно расходятся в оценке одного и того же ответа, модель вознаграждения обучается на противоречивом сигнале и хуже отличает действительно хорошие ответы от посредственных.
Поэтому в зрелых проектах по подготовке данных для LLM объём данных на каждом этапе постепенно снижается, а требования к качеству растут: предобучение опирается на терабайты текста, SFT — на десятки тысяч тщательно отобранных примеров, а RLHF — иногда на существенно меньший, но очень аккуратно откалиброванный набор сравнений.
Какую роль играют эксперты в подготовке данных для LLM?
Для типовых бытовых запросов достаточно обученных асессоров с понятным гайдлайном. Но как только речь заходит о медицине, праве, финансах или коде, качество данных начинает определять квалификация разметчика: только профильный эксперт способен написать корректный эталонный ответ или надёжно оценить его фактическую точность и профессиональную уместность.
Поэтому в проектах по подготовке данных для LLM команду обычно комплектуют смешанно: асессоры закрывают основной объём типовых задач, а эксперты — сложные, специализированные и высокорисковые случаи, где цена ошибки в данных выше всего.
Как оценивают качество ответов уже обученной модели?
После обучения модель проверяют на отдельном наборе примеров, которые не участвовали ни в предобучении, ни в SFT, ни в RLHF. Оценку проводят через side-by-side сравнения с ответами других моделей, экспертную проверку по заранее согласованным рубрикам и факт-чек ответов на вопросах с проверяемым правильным ответом.
Такая оценка не влияет на веса модели напрямую — она нужна, чтобы понять, где модель ещё ошибается, и решить, какие данные добавить на следующей итерации обучения: возможно, нужно больше примеров SFT в конкретном домене или дополнительный раунд RLHF на спорных случаях, которые оценка выявила как слабое место.