Какие виды разметки данных существуют?
Вид разметки данных определяется типом исходных данных и задачей, которую должна решать модель: для изображений это bounding box, сегментация и keypoints, для видео — трекинг объектов, для текста — NER и классификация, для аудио — транскрибация и диаризация, а для облаков точек LiDAR — 3D bounding box и кубоиды. Один и тот же датасет иногда размечают сразу несколькими видами разметки под разные задачи модели.
Ниже — компактная матрица, которая помогает быстро сопоставить тип данных с подходящим видом разметки, и разбор каждого вида отдельно.
Границы между видами разметки не всегда жёсткие: например, трекинг объектов на видео технически строится на bounding box, повторённом на каждом кадре с сохранением идентификатора объекта, а разметка событий в аудио соседствует с транскрибацией и диаризацией. На практике команда чаще выбирает не один вид разметки, а их комбинацию под конкретный пайплайн обучения модели.
Как выбрать вид разметки под тип данных и задачу?
Выбор вида разметки зависит от того, что именно должна научиться делать модель: находить объект (bounding box), точно очертить его границы (сегментация), определить позу или структуру (keypoints), извлечь сущности из текста (NER) или распознать речь (транскрибация). Матрица ниже сопоставляет тип данных и типовую задачу ML с подходящим видом разметки.
| Тип данных | Типовая задача | Вид разметки |
|---|---|---|
| Изображения | Найти объект на кадре | Bounding box |
| Изображения | Точные границы объекта | Сегментация (семантическая / instance) |
| Изображения | Поза, скелет, черты лица | Keypoints (ключевые точки) |
| Видео | Отследить объект между кадрами | Трекинг + bounding box по кадрам |
| Текст | Извлечь сущности (имена, даты, суммы) | NER |
| Текст | Определить тему или тональность | Классификация текста |
| Аудио | Перевести речь в текст | Транскрибация |
| Аудио | Разделить реплики спикеров | Диаризация |
| LiDAR / 3D | Найти объект в облаке точек | 3D bounding box / кубоид |
Матрица задаёт стартовую точку, а не жёсткое правило: одну и ту же задачу иногда можно решить разными видами разметки с разным соотношением скорости и точности — например, приблизительное расположение объекта дешевле разметить bounding box, а точную форму получить только сегментацией, потратив на неё заметно больше времени.
Что такое bounding box и сегментация изображений?
Bounding box — это прямоугольная рамка, которая выделяет объект на изображении и подходит, когда модели достаточно знать примерное расположение и класс объекта. Сегментация размечает объект попиксельно и даёт точный контур, что нужно, например, для медицинской визуализации или задач, где важна точная граница, а не приблизительное расположение.
Между bounding box и сегментацией есть промежуточный вариант — полигональная разметка, которая даёт контур из точек без попиксельной точности маски, но заметно быстрее полной сегментации. Отдельно выделяют instance-сегментацию, которая различает не только класс объекта, но и каждый отдельный экземпляр — например, каждую машину на кадре по отдельности, а не единой маской «все машины».
Что такое разметка ключевых точек (keypoints)?
Keypoints — это разметка отдельных значимых точек на объекте: суставов тела человека, черт лица, углов детали на конвейере. Такой вид разметки используют для задач оценки позы, анализа движения и распознавания жестов, где важна не форма объекта целиком, а расположение конкретных опорных точек друг относительно друга.
Ключевые точки часто размечают вместе с bounding box: рамка задаёт область объекта, а точки внутри неё — его структуру и ориентацию. Число точек и их расположение фиксируют в гайдлайне заранее — например, схема из 17 точек тела человека для типовых задач оценки позы.
Что такое NER и разметка текста?
NER (named entity recognition, распознавание именованных сущностей) — вид разметки текста, при котором в тексте выделяют и классифицируют упоминания сущностей: имена людей, организации, даты, суммы, адреса. NER используют вместе с классификацией текста (определением темы или тональности) и разметкой интентов для обучения моделей обработки естественного языка.
Для задач LLM разметку текста дополнительно расширяют инструкциями и оценочными рубриками — это отдельный, специфичный для больших языковых моделей вид разметки. Кроме NER к разметке текста относят разбор отношений между сущностями (relation extraction) и суммаризацию с оценкой качества краткого пересказа.
Что такое транскрибация и разметка аудио?
Транскрибация — перевод речи из аудиозаписи в текст, который может быть дословным (verbatim) или очищенным от слов-паразитов и пауз. К разметке аудио также относят диаризацию — разделение записи на реплики разных спикеров, — таймкоды и разметку событий или эмоций, что нужно для обучения моделей распознавания и синтеза речи (ASR/TTS).
Речевые датасеты часто размечают комбинированно: транскрибация плюс диаризация плюс таймстемпы дают модели полный контекст записи, а не только сухой текст. Для синтеза речи (TTS) дополнительно размечают интонации, паузы и произношение, чтобы модель звучала естественно, а не просто читала текст.
Что такое 3D-разметка и кубоиды (cuboids)?
3D-разметка применяется к облакам точек LiDAR и объёмным сканам: объект выделяют не плоским прямоугольником, а трёхмерным кубоидом с заданными габаритами, положением и углом поворота в пространстве. Такой вид разметки используют в задачах для автономного транспорта и робототехники, где модели нужно понимать точное расположение объекта в трёхмерной сцене, а не только на плоском кадре.
3D-разметку часто совмещают с данными камеры (sensor fusion), чтобы модель сопоставляла объект в облаке точек с его видимым изображением и точнее оценивала расстояние до него. Помимо отдельных кубоидов, для LiDAR-сцен размечают семантическую сегментацию облака точек — метку класса для каждой точки — и трекинг объектов между последовательными сканами, что важно для беспилотного транспорта и робототехники.
Выбор конкретного вида разметки почти никогда не делается изолированно — он определяет и трудоёмкость проекта, и требования к квалификации разметчиков, и формат итогового датасета, поэтому его стоит зафиксировать в техническом задании ещё до старта работ.