Что такое разметка текста для LLM?
Разметка текста для LLM — подготовка данных, на которых языковую модель дообучают следовать инструкциям, выбирать более удачные ответы и соблюдать правила безопасности. В отличие от разметки для узкой NLP-модели, здесь разметчик почти никогда не выбирает метку из готового списка: чаще он пишет, дорабатывает или сравнивает целые текстовые ответы по подробной инструкции.
Итог такой разметки — не набор тегов на тексте, а массив примеров «запрос → эталонный или предпочтительный ответ», на котором строится дообучение модели после этапа предобучения на большом неразмеченном корпусе текста.
Чем разметка для LLM отличается от классической NLP-разметки?
Классическая NLP-разметка размечает готовый текст фиксированным набором классов — сущность, тема, тональность, — и результат разметки строго ограничен таксономией. Разметка для LLM работает с открытым ответом: разметчик создаёт или оценивает целый текст по инструкции и рубрике, а не выбирает метку из списка, поэтому итог гораздо больше зависит от квалификации и интерпретации разметчика.
| Признак | Классическая NLP-разметка | Разметка текста для LLM |
|---|---|---|
| Результат разметки | Метка из фиксированного набора классов | Написанный или выбранный ответ |
| Таксономия | Жёсткий список категорий | Гибкая инструкция и рубрика оценки |
| Роль разметчика | Классифицировать готовый фрагмент | Создать, сравнить или оценить целый ответ |
| Основной риск ошибки | Неверный класс, размытая граница | Фактическая неточность, нарушение стиля или safety |
| Типовой пример | NER, тональность, интент | SFT-пара, ранжирование ответов, safety-разметка |
Оба вида разметки решают разные задачи и почти не пересекаются по формату результата, хотя на практике их часто заказывают в одном проекте: классическая NLP-разметка размечает пользовательские тексты, а разметка для LLM готовит данные для самой модели, которая с этими текстами работает.
Какие типы задач входят в разметку текста для LLM?
Разметка текста для LLM объединяет четыре основных типа задач: подготовку SFT-пар «инструкция-эталонный ответ», ранжирование или парное сравнение нескольких вариантов ответа модели, оценку ответов по рубрикам качества (полезность, точность, стиль) и safety-разметку — проверку ответов на небезопасный, вредный или недопустимый контент. На практике проект обычно сочетает сразу несколько типов.
- SFT-пары. Разметчик пишет образцовый ответ на инструкцию с нуля или правит черновик, сгенерированный моделью, до эталонного качества.
- Ранжирование ответов. Эксперту показывают несколько вариантов ответа модели на один запрос, и он выбирает лучший или выстраивает полный рейтинг — основа для RLHF.
- Рубрики качества. Ответ оценивают не одной общей меткой, а по нескольким критериям отдельно: фактическая точность, полнота, соответствие формату, тон.
- Safety-разметка. Отдельная проверка на вредные, небезопасные или неуместные ответы и корректность отказов модели на провокационные запросы.
Какие требования предъявляют к экспертам-разметчикам для LLM?
Для типовых бытовых инструкций достаточно обученного асессора с понятным гайдлайном и примерами. Но как только тема касается медицины, права, финансов или кода, писать эталонный ответ или оценивать его точность должен профильный эксперт — иначе модель выучит грамотно звучащий, но фактически неверный или профессионально некорректный паттерн ответа.
Помимо предметной экспертизы, от разметчика для LLM требуется способность формулировать развёрнутый текст самостоятельно, а не только классифицировать готовый фрагмент, — это отдельный навык, который проверяют на пилотной партии до допуска к основному объёму проекта.
Как устроен контроль качества разметки текста для LLM?
Контроль строится в несколько слоёв: часть примеров изначально размечают параллельно несколько человек и сравнивают расхождения, отдельная команда проводит выборочный аудит уже принятых ответов, а спорные или низкоуверенные случаи выносят на арбитраж более опытному эксперту или редактору. Итоговое качество отслеживают по согласованности оценщиков и доле правок на аудите, а не только по разовой проверке.
Такой многослойный контроль важнее для LLM-разметки, чем для классической, потому что здесь нет единственного «правильного» ответа для автоматической сверки — качество эталонного ответа или сравнения всегда остаётся экспертным суждением, которое нужно перепроверять и калибровать между разметчиками на протяжении всего проекта.