Чем bounding box, сегментация и полигоны отличаются друг от друга?
Bounding box выделяет объект прямоугольной рамкой по двум угловым точкам, полигон обводит объект произвольным многоугольником по его контуру, а сегментация присваивает класс каждому отдельному пикселю изображения. Разница нарастает по мере перехода от bounding box к сегментации: растёт точность передачи формы объекта, но вместе с ней растёт и трудоёмкость, и, соответственно, стоимость разметки.
Все три подхода решают одну и ту же задачу — сообщить модели, где на изображении находится объект и какова его форма, — но с разной степенью детализации. Выбор конкретного вида разметки определяется не привычкой команды, а требованиями самой задачи: избыточная точность разметки — это просто лишние деньги и время, а недостаточная — риск того, что модель не научится нужному поведению.
На практике команда редко выбирает вид разметки один раз и на весь проект: чаще всего решение пересматривают после первой пилотной партии, когда становится видно, какого качества добивается модель на bounding box и оправдывает ли задача переход к более трудоёмкой сегментации.
Что такое bounding box и для каких задач его достаточно?
Bounding box — прямоугольная рамка вокруг объекта, заданная координатами двух противоположных углов. Это самый быстрый и дешёвый вид разметки, которого достаточно для задач детекции: подсчёта объектов, определения их класса и примерного расположения на кадре, когда точная форма или граница объекта моделью не используется.
Именно поэтому bounding box — стандарт для большинства моделей детекции вроде YOLO или Faster R-CNN: они предсказывают именно прямоугольные рамки, а не контуры. Разметчику достаточно поставить две точки на каждый объект, что делает bounding box в разы быстрее любого другого вида разметки на сопоставимом датасете.
Что такое полигональная разметка и чем она точнее bounding box?
Полигональная разметка обводит объект произвольным многоугольником из нескольких вершин, повторяя его реальный контур гораздо точнее прямоугольной рамки. Она подходит для объектов сложной или вытянутой формы — кабелей, дорожной инфраструктуры, деталей на конвейере, — где bounding box захватывает слишком много лишнего фона вокруг объекта.
Полигон — компромисс между скоростью bounding box и точностью попиксельной сегментации: разметчик расставляет опорные точки по контуру объекта, и итоговая форма получается близкой к реальной без затрат времени на прорисовку каждого пикселя маски. Из полигональной разметки при необходимости легко получить растровую маску программно, что удобно на этапе подготовки датасета под конкретный формат обучения.
Что такое сегментация и когда без неё нельзя обойтись?
Сегментация присваивает метку класса каждому пикселю изображения и даёт самую точную границу объекта из всех видов разметки. Она обязательна там, где решение модели напрямую зависит от точной формы: в медицинской визуализации при разметке патологий, в промышленной дефектоскопии и в задачах, где важна площадь или объём объекта, а не только факт его присутствия.
Различают семантическую сегментацию, которая размечает класс пикселя без разделения на отдельные экземпляры объекта, и instance-сегментацию, которая дополнительно различает каждый отдельный объект одного класса — например, каждую клетку на медицинском снимке по отдельности. Именно попиксельная точность делает сегментацию самым медленным и, соответственно, самым дорогим видом разметки изображений.
Как bounding box, полигоны и сегментация сравниваются по точности, скорости и стоимости?
По точности контура лидирует сегментация, за ней следуют полигоны, а bounding box передаёт только приблизительное расположение объекта. По скорости разметки порядок обратный: bounding box размечается быстрее всего, сегментация — медленнее всего. Относительная стоимость проекта следует за скоростью: сегментация обходится в разы дороже bounding box при сопоставимом объёме данных.
| Критерий | Bounding box | Полигоны | Сегментация |
|---|---|---|---|
| Точность контура объекта | Низкая (только прямоугольник) | Средняя-высокая | Максимальная (попиксельно) |
| Скорость разметки | Самая высокая | Средняя | Самая низкая |
| Относительная стоимость | Базовая, самая низкая | В 1,5–2 раза выше bbox | В несколько раз выше bbox |
| Типичные задачи | Детекция, подсчёт объектов | Объекты сложной формы, разметка сцен | Медицина, дефектоскопия, точная граница |
Таблица показывает не «лучший» вид разметки, а компромисс между точностью и бюджетом: чем больше точности контура требует задача модели, тем больше времени и денег закладывают в проект разметки, и наоборот.
Как выбрать вид разметки под свою задачу computer vision?
Выбор начинается с вопроса, что именно должна научиться делать модель: если достаточно найти и посчитать объекты — хватит bounding box, если важна форма объекта при разумном бюджете — подойдут полигоны, а если решение модели зависит от точной границы — нужна сегментация. Дополнительно учитывают форму объектов и требуемую скорость разметки датасета.
Полезная практика — не выбирать вид разметки один раз для всего проекта, а протестировать модель на небольшой пилотной партии с разными видами разметки и сравнить итоговое качество с затраченным на разметку временем. Часто выясняется, что модель показывает приемлемое качество уже на bounding box, и переход к сегментации не окупает дополнительных затрат.
Как выбор вида разметки влияет на бюджет проекта?
Вид разметки — один из главных факторов бюджета проекта разметки данных, потому что напрямую определяет время работы каждого разметчика на один объект. Переход с bounding box на полигоны увеличивает затраты в полтора-два раза, а переход на полную сегментацию — уже в несколько раз, особенно на изображениях с большим числом мелких или сложных по форме объектов.
Поэтому в техническом задании имеет смысл заранее прикинуть не только желаемую точность модели, но и то, какой вид разметки реально нужен для её достижения — часто комбинация bounding box для массовых классов и сегментации только для нескольких критичных типов объектов даёт нужное качество модели при заметно меньшем бюджете, чем сплошная сегментация всего датасета.
Такой смешанный подход особенно оправдан на крупных датасетах: если из двадцати классов объектов точная граница критична только для двух-трёх, разметка остальных bounding box экономит заметную часть бюджета без потери качества модели там, где точность действительно важна.