Что такое классификация изображений?
Классификация изображений — базовая задача компьютерного зрения, при которой модель анализирует изображение целиком и присваивает ему метку класса из заранее заданного набора: например, определяет породу животного на фото, тип дефекта на детали или категорию товара. Модель не указывает расположение объекта на кадре — только итоговую категорию для всего изображения.
Задача бывает бинарной (два класса, например «брак / не брак») или многоклассовой (десятки и сотни категорий), а также многометочной, когда одному изображению присваивают сразу несколько независимых меток — скажем, и «на улице», и «есть люди». Результат работы модели — не просто метка, а распределение вероятностей по всем классам, из которого выбирают наиболее вероятный.
Классификацию изображений применяют там, где не важно точное расположение объекта в кадре: сортировка фотографий по содержимому, контроль качества на конвейере по общему виду детали, модерация загружаемых пользователями изображений, диагностическая сортировка медицинских снимков по наличию патологии.
Чем классификация отличается от детекции и сегментации изображений?
Три задачи компьютерного зрения решают разный уровень детализации одного и того же изображения: классификация определяет только класс всего кадра, детекция дополнительно находит расположение каждого объекта рамкой, а сегментация очерчивает точный контур объекта попиксельно. Чем выше детализация задачи, тем сложнее и дороже требуемый вид разметки.
| Задача | Что определяет модель | Вид разметки | Типичный пример |
|---|---|---|---|
| Классификация | Класс изображения целиком | Тег/метка на всё изображение | «На фото — брак детали» |
| Детекция | Класс и положение каждого объекта | Bounding box вокруг объекта | Найти все дефекты и их места |
| Сегментация | Точный контур объекта | Попиксельная маска | Обвести границу дефекта |
Три задачи не исключают друг друга: на практике модель классификации часто работает в связке с детекцией — сначала объект находят рамкой, затем классифицируют уже вырезанный фрагмент отдельной моделью. Подробный разбор детекции объектов с архитектурами и метриками — в соседнем материале.
Какие архитектуры применяют для классификации изображений: CNN и ViT?
Свёрточные нейросети (CNN) — исторически основная архитектура для классификации: они последовательно извлекают локальные признаки изображения через свёрточные фильтры и постепенно собирают из них более сложные образы объектов. Vision Transformer (ViT) обрабатывает изображение как последовательность фрагментов-патчей и учится находить зависимости между удалёнными участками кадра через механизм внимания.
CNN остаются практичным выбором на умеренных объёмах данных и ограниченных вычислительных ресурсах благодаря встроенному в архитектуру знанию о локальности изображений. ViT обычно раскрывает преимущество на больших датасетах и при предобучении на широком корпусе изображений — тогда механизм внимания находит закономерности, которые свёрткам увидеть сложнее. На практике многие продакшн-системы используют CNN, дообученные под конкретную задачу (transfer learning), поскольку это быстрее и дешевле, чем обучение с нуля.
Качество классификатора принято оценивать не только по итоговой метке, но и по top-5 accuracy — доле случаев, когда правильный класс попал в пятёрку наиболее вероятных предсказаний модели. Такой подход честнее на задачах с большим числом похожих категорий, где даже сильная модель иногда путает соседние по смыслу классы местами.
Где применяется классификация изображений на практике?
Классификацию изображений применяют там, где решение принимается по кадру целиком: модерация загружаемого пользователями контента по категориям, сортировка товаров на складе по типу упаковки, диагностическая классификация медицинских снимков по наличию патологии, распознавание марки и модели транспорта по фотографии камеры фиксации.
Отдельный практический сценарий — классификация как первый, самый дешёвый фильтр в многоступенчатом пайплайне: система быстро отсеивает заведомо нерелевантные изображения простой моделью классификации и только оставшиеся кадры передаёт на более медленную и дорогую детекцию или сегментацию. Такой подход экономит вычислительные ресурсы на большом потоке данных, где обрабатывать каждый кадр тяжёлой моделью нецелесообразно.
Какие данные и разметка нужны для классификации изображений?
Для обучения классификатора нужен набор изображений, каждому из которых присвоена метка правильного класса — простейший и самый дешёвый вид разметки среди задач компьютерного зрения, поскольку не требует указывать расположение объекта. Ключевое требование — сбалансированность классов: если один класс встречается в тысячи раз чаще другого, модель начинает игнорировать редкие категории.
Помимо баланса классов важно разнообразие примеров внутри одной категории: ракурсы, освещение, фон, состояние объекта — иначе модель запоминает частные признаки конкретных фотографий вместо общих закономерностей класса и плохо работает на новых данных. Когда собрать достаточно примеров редкого класса невозможно, применяют аугментацию — программное создание вариаций существующих изображений поворотом, обрезкой или изменением яркости — либо взвешивание классов при обучении, чтобы редкая категория не терялась на фоне частых.
Разметку изображений по классам, включая сложные многометочные и иерархические схемы категорий, под задачу выполняет команда DataMarkup с бесплатным пилотом на тестовой партии.