Что такое аннотация данных?
Аннотация данных — это процесс добавления структурированных пометок к сырым данным, чтобы их могла использовать модель машинного обучения: класс объекта, граница на изображении, тег категории текста, транскрипт аудиозаписи. По сути это то же самое, что разметка данных, — термины употребляют как синонимы.
Слово «аннотация» пришло из общего английского annotation — «примечание», «пометка». В контексте машинного обучения оно закрепилось за конкретным действием: явно указать модели, что представляет собой пример данных, чтобы она могла на нём учиться. Аннотированные данные и размеченные данные — это один и тот же результат под двумя названиями, которые прижились в русскоязычной среде параллельно, во многом из-за буквального перевода английских data labeling и data annotation.
В англоязычных источниках чаще встречается data annotation, а data labeling используют как более узкий синоним — обычно применительно к классификации и разметке рамками. В русскоязычной среде обратная картина: «разметка данных» — более частый и привычный термин, а «аннотация данных» используется примерно вдвое реже, но означает ровно то же самое. Для поисковых систем и читателей оба варианта равнозначны, поэтому в этой статье они используются как взаимозаменяемые.
Чем аннотация данных отличается от разметки данных?
Формально аннотация — более широкое понятие: это любые пометки к данным, включая служебные метаданные, не обязательно предназначенные для обучения модели. Разметка данных — более узкий, прикладной термин: подготовка именно обучающей выборки под конкретную задачу машинного обучения с заданным форматом и метриками качества.
На практике эта разница почти стёрлась. В статьях, документации инструментов CVAT и Label Studio, в описаниях команд и процессов оба слова используют взаимозаменяемо: специалиста, который наносит метки на данные, называют и «разметчиком», и «аннотатором» — это одна и та же роль в проекте, а «разметить датасет» и «аннотировать датасет» — одно и то же действие с одним и тем же результатом. Если и есть предпочтение, то скорее отраслевое: команды, пришедшие из компьютерного зрения, чаще говорят «разметка», а команды, пришедшие из NLP и работы с текстом, — «аннотация». Смысл при этом не меняется, и путать эти два слова не страшно — собеседник поймёт вас правильно в любом случае.
Иногда термином «аннотация» отдельно называют более лёгкие, вспомогательные пометки — например, комментарий к спорному примеру или служебный тег для внутренней сортировки данных, — в отличие от «разметки» как полноценной обучающей метки. Но это скорее локальное соглашение внутри конкретной команды, а не общепринятое правило: в большинстве текстов и материалов по машинному обучению термины остаются полными синонимами.
Какие бывают типы аннотации данных?
Тип аннотации задаётся типом исходных данных и целью модели: аннотация изображений (bounding box, сегментация, ключевые точки), аннотация видео (трекинг объектов, разметка событий), аннотация текста (сущности, тональность, интенты), аннотация аудио (транскрибация, диаризация спикеров) и аннотация метаданных (теги, категории, атрибуты объекта).
Разберём типы подробнее:
- Аннотация изображений и видео. Bounding box, полигоны, попиксельная сегментация, ключевые точки — самый распространённый тип, основа компьютерного зрения.
- Аннотация текста. Именованные сущности (NER), классификация по темам, определение тональности, разметка интентов для чат-ботов и голосовых ассистентов.
- Аннотация аудио и речи. Транскрибация произнесённого текста, диаризация — кто из спикеров и когда говорит, метки эмоций и качества звука.
- Аннотация 3D-данных. 3D bounding box и сегментация облака точек LiDAR — тип, специфичный для беспилотного транспорта и робототехники.
- Аннотация метаданных. Более лёгкий тип: теги, категории, атрибуты объекта (цвет, состояние, бренд) — часто дополняет более сложную аннотацию как дополнительный признак.
Отдельно выделяют аннотацию для больших языковых моделей — оценку и ранжирование ответов LLM человеком (используется в RLHF), которая по формату сильно отличается от классической аннотации изображений или текста, но решает ту же задачу: дать модели понятный сигнал «что здесь правильно, а что нет».
Некоторые типы аннотации комбинируют: например, при разметке медицинского снимка одновременно нужны и контур патологии (аннотация изображения), и текстовое заключение врача (аннотация текста), и структурированные атрибуты вроде размера и локализации находки (аннотация метаданных). Чем сложнее продукт, тем чаще один датасет требует сразу нескольких типов аннотации данных, а не одного.
Кто выполняет аннотацию данных?
Аннотацию данных выполняет команда обученных разметчиков (аннотаторов), которая следует письменному гайдлайну с примерами правильных и спорных случаев, а спорные ситуации эскалирует более опытным коллегам. В сложных или регулируемых доменах — медицина, юриспруденция, финансы — аннотацию дополнительно проверяют профильные эксперты, а не только универсальные аннотаторы.
Всё чаще процесс строят гибридно: модель или скрипт готовит черновую аннотацию (предразметку), а человек только проверяет и правит результат, а не размечает с нуля. Это ускоряет работу в разы на простых, повторяющихся случаях, но не отменяет экспертной проверки там, где цена ошибки высока, — например, в аннотации медицинских снимков DICOM, где итоговый контур патологии обязательно подтверждает врач.
Команду аннотаторов обычно организуют по ролям: рядовые исполнители наносят метки по гайдлайну, старшие аннотаторы разбирают спорные случаи и обновляют инструкцию, а отдельный QA-специалист выборочно проверяет уже готовую партию перед сдачей. Такое разделение снижает субъективность: спорный пример не остаётся решением одного человека, а проходит через согласованную процедуру, которая одинакова для всей команды.
Как обеспечивается качество аннотации?
Качество аннотации проверяют так же, как и качество разметки: считают согласованность между разными аннотаторами (IAA) на одинаковых примерах и точность относительно эталонной, экспертной оценки. Расхождения выше допустимого порога говорят о нечётком гайдлайне, а не только об ошибках конкретного человека.
На практике это выглядит как многоуровневый процесс: гайдлайн с примерами, пилот на тестовой партии, промышленная аннотация с консенсусом на спорных случаях и выборочный аудит готового результата перед сдачей заказчику. Именно по такой схеме команда DataMarkup выполняет аннотацию и разметку данных под ключ — независимо от того, каким из двух терминов заказчик называет нужную ему задачу.
Показатель IAA обычно приводят в процентах согласия или в специализированных коэффициентах вроде каппы Коэна, которые учитывают вероятность случайного совпадения ответов. Чем выше согласованность аннотаторов на одинаковых примерах, тем надёжнее сама метка как обучающий сигнал — а значит, тем предсказуемее будет вести себя модель, обученная на этой аннотации, после запуска на новых данных.