Что такое качество разметки данных?
Качество разметки данных — это степень соответствия меток эталонному, «правильному» ответу: насколько точно рамка вокруг объекта, транскрипт или тег сущности отражают реальность. Измеряется не «на глаз», а конкретными метриками — accuracy, IAA, precision и recall, — которые считают на контрольной выборке. Низкое качество разметки напрямую снижает точность обученной на этих данных модели.
Модель машинного обучения находит закономерность именно в тех примерах, которые ей показали. Если часть меток ошибочна или размечена непоследовательно — один разметчик обводит контур объекта плотно, другой с запасом, — модель обучается на противоречивых сигналах и хуже обобщает на новых данных. Чем ближе задача к критичной области (медицина, безопасность, финансы), тем дороже обходится каждая пропущенная ошибка разметки.
Поэтому качество разметки закладывают в проект с самого начала, а не проверяют только на выходе: чёткий гайдлайн, пилот на тестовой партии и регулярный контроль на протяжении всего объёма работы обходятся дешевле, чем переразметка готового датасета.
Какими метриками измеряют качество разметки?
Базовая метрика — accuracy: доля меток, совпавших с эталоном, на контрольной выборке, которую перепроверяет эксперт. Для задач с редким классом точнее показывают precision (доля верных среди найденных) и recall (доля найденных среди всех реальных), а их баланс — F1-мера. Для сегментации изображений отдельно считают Dice-коэффициент или IoU — насколько предсказанная маска совпадает с эталонной по площади пересечения.
Набор метрик зависит от типа задачи и данных:
- Классификация и теги — accuracy, precision, recall, F1-мера.
- Bounding box и детекция — IoU (Intersection over Union): пересечение размеченной и эталонной рамки, делённое на их объединение.
- Попиксельная сегментация — Dice-коэффициент или тот же IoU, но по маске, а не по прямоугольнику.
- Транскрибация речи — WER (Word Error Rate): доля слов, которые разметчик перепутал, пропустил или добавил лишние по сравнению с эталонной расшифровкой.
- NER и извлечение сущностей — F1-мера отдельно по каждому классу сущности, потому что редкие классы (например, суммы или адреса) обычно даются сложнее частых.
Ни одна метрика не рассказывает всю историю в одиночку: низкий IoU при высокой accuracy на классификации класса объекта, например, говорит о том, что тип объекта разметчики угадывают верно, а вот с границей рамки есть системная проблема.
Что такое IAA и коэффициент каппа?
Inter-annotator agreement (IAA) — согласие нескольких разметчиков, независимо получивших один и тот же пример: если два человека размечают одинаково, инструкция понятна и разметка воспроизводима. Простое совпадение в процентах искажает картину на несбалансированных данных, поэтому чаще считают коэффициент каппа Коэна — он учитывает вероятность случайного совпадения и даёт более честную оценку согласованности разметчиков.
Коэффициент каппа принимает значения от −1 до 1, где 1 — полное согласие, 0 — согласие на уровне случайности, а отрицательные значения означают, что разметчики расходятся систематически хуже, чем если бы отвечали наугад. Низкий IAA — не повод искать виноватого среди разметчиков: чаще это симптом того, что классы в гайдлайне описаны нечётко или пересекаются друг с другом, и разные люди трактуют границу между ними по-разному.
Регулярный замер IAA на выборке из текущего потока данных, а не только на старте проекта, помогает поймать момент, когда качество начинает «плыть» — например, из-за нового типа данных в партии, который гайдлайн не предусматривал.
Как работают консенсус и перекрёстная проверка?
Консенсусная разметка — когда один и тот же пример независимо размечают два-три специалиста, а итоговую метку определяют по большинству голосов или экспертным арбитражем спорных случаев. Перекрёстная проверка добавляет второй уровень: отдельный QA-специалист выборочно перепроверяет уже сданную работу, не зная исходных ответов разметчика, и возвращает партию на доработку при превышении порога расхождений.
Оба механизма решают разные задачи. Консенсус повышает точность самой метки — если трое согласны, вероятность случайной ошибки ниже, чем при разметке одним человеком. Перекрёстная проверка, в свою очередь, следит за стабильностью процесса во времени: она ловит не только случайные ошибки, но и постепенный дрейф — когда разметчик со временем начинает трактовать гайдлайн иначе, чем на старте проекта.
На практике консенсус чаще применяют на пилоте и на сложных, неоднозначных классах, а сплошную перекрёстную проверку — выборочно на протяжении всего промышленного этапа, чтобы контролировать затраты без потери контроля над качеством.
Как заказчику проверить качество работы подрядчика?
Перед стартом проекта стоит запросить у подрядчика четыре вещи: пример гайдлайна разметки, метрики качества на пилотной партии (accuracy и IAA), описание процесса перекрёстной проверки и формат отчёта по итогам сдачи. Отсутствие внятного ответа хотя бы на один пункт — сигнал, что контроль качества у подрядчика формальный, а не встроенный в процесс.
Короткий чек-лист для оценки подрядчика перед стартом промышленного объёма:
- Есть ли письменный гайдлайн с примерами правильных и спорных случаев, а не только устная инструкция.
- Проводится ли пилот на тестовой партии до старта основного объёма — и на каких условиях.
- Какие метрики отчётности предоставляются: accuracy, IAA, WER или другие — под тип конкретной задачи.
- Как устроена перекрёстная проверка: кто проверяет, какой процент партии, что происходит при превышении порога расхождений.
- Есть ли эскалация спорных случаев на более опытного специалиста или профильного эксперта — для регулируемых доменов это особенно важно.
- Что входит в итоговый отчёт: только цифры метрик или ещё и примеры проблемных случаев с объяснением.
Подрядчик, который спокойно и конкретно отвечает на все шесть пунктов ещё до подписания договора, обычно и на проекте держит заявленное качество, а не обещает его только на словах.
Какие ошибки чаще всего снижают качество разметки?
Чаще всего качество страдает не из-за невнимательности разметчиков, а из-за нечёткого гайдлайна: расплывчатые формулировки классов, отсутствие примеров пограничных случаев и правил для спорных ситуаций. Вторая типовая причина — отсутствие пилота: инструкцию не обкатали на тестовой партии, и ошибки толкования расползаются на весь объём ещё до первой проверки.
Из повторяющихся проблем также стоит отметить: смешение похожих классов без чётких критериев различия («грузовик» и «фургон», «негативный» и «нейтральный» тон), отсутствие единого эталона для сравнения при подсчёте accuracy и игнорирование дрейфа качества во времени — когда метрики меряют один раз на старте и больше не возвращаются к ним до самой сдачи проекта. Регулярный, а не разовый контроль на всех этапах — то, что отличает предсказуемое качество разметки от случайного.