Что такое классификация данных в машинном обучении?
Классификация — это задача машинного обучения, в которой модель относит объект к одной из заранее известных категорий на основе его признаков: изображение — к классу «кот» или «собака», письмо — к «спаму» или «не спаму», клиента — к группе риска. Модель учится этому на примерах, где правильный класс уже размечен человеком.
Классификация — одна из самых распространённых задач ML: на ней строятся антиспам-фильтры, медицинская диагностика по снимкам, модерация контента, скоринг клиентов и десятки других прикладных сценариев. Выбор конкретного алгоритма классификации данных определяет, насколько точно и быстро модель справится с задачей.
В отличие от кластеризации, где группы объектов модель ищет самостоятельно, классификация всегда работает с заранее известным, фиксированным набором категорий — это и делает её задачей обучения с учителем, а не поиском скрытых закономерностей вслепую.
Какие методы классификации данных существуют?
Методы классификации делятся на несколько семейств: линейные модели вроде логистической регрессии, деревья решений и их ансамбли — случайный лес и градиентный бустинг, метод опорных векторов (SVM) и нейросети. Каждое семейство по-своему находит границу между классами и по-разному ведёт себя на разном объёме и типе данных.
Выбор метода редко бывает произвольным: он зависит от объёма размеченных данных, числа признаков, требований к скорости предсказания и к интерпретируемости результата — то есть от того, насколько важно объяснить, почему модель приняла именно такое решение.
Ниже разбираем каждое семейство методов подробнее: как оно устроено, на каких данных раскрывается лучше всего и какие у него ограничения на практике.
Как работает логистическая регрессия?
Логистическая регрессия — линейный метод: она вычисляет взвешенную сумму признаков объекта и переводит её в вероятность принадлежности к классу через сигмоидную функцию. Метод прост, быстро обучается даже на скромном объёме данных и легко объясним — видно, какой признак и с каким весом повлиял на решение.
Ограничение логистической регрессии — она находит только линейную границу между классами. Если реальная закономерность в данных нелинейная (а на практике это чаще норма, чем исключение), точность метода заметно уступает более гибким алгоритмам. Тем не менее логистическую регрессию часто держат как быстрый базовый ориентир (baseline), с которым потом сравнивают более сложные модели, чтобы понять, оправдывает ли задача их дополнительную сложность.
Чем деревья решений и случайный лес отличаются от логрегрессии?
Дерево решений строит классификацию как последовательность вопросов о признаках — «значение больше X?» — пока не дойдёт до листа с ответом-классом. Случайный лес и градиентный бустинг объединяют десятки или сотни таких деревьев в ансамбль, усредняя их решения, что даёт заметно более высокую точность и устойчивость к переобучению одного дерева.
Деревья и их ансамбли хорошо работают на табличных данных с разнородными по природе признаками и не требуют предварительной нормализации значений — в отличие от линейных методов и нейросетей, — что делает их удобным выбором по умолчанию для многих бизнес-задач. Градиентный бустинг (например, реализации вроде XGBoost или CatBoost) на табличных данных нередко обходит и линейные методы, и нейросети по итоговой точности при умеренном объёме выборки.
Когда использовать метод опорных векторов (SVM)?
Метод опорных векторов ищет границу между классами так, чтобы расстояние до ближайших примеров каждого класса было максимальным, а с помощью ядерных функций может проводить и нелинейные границы. SVM хорошо показывает себя на данных с умеренным числом примеров и большим числом признаков — например, в задачах классификации текста по частотам слов.
Главный минус SVM — метод плохо масштабируется на очень больших датасетах: время обучения растёт нелинейно с числом примеров, поэтому на выборках в миллионы объектов чаще выбирают ансамбли деревьев или нейросети. Кроме того, SVM чувствителен к выбору ядерной функции и её параметров — без аккуратной настройки результат может заметно уступать более простым методам.
Как нейросети применяют для классификации данных?
Нейросети строят классификацию через последовательность слоёв, каждый из которых извлекает всё более сложные комбинации признаков из исходных данных — пикселей изображения, символов текста, отсчётов звука. Это делает их лидером на неструктурированных данных, где вручную задать признаки для линейных методов практически невозможно.
Плата за гибкость нейросетей — объём данных: чтобы обучиться с нуля, им обычно нужны десятки и сотни тысяч размеченных примеров. Это ограничение частично снимает transfer learning — дообучение уже предобученной на большом корпусе сети под конкретную узкую задачу на существенно меньшем датасете. Такой подход стал стандартом в прикладных проектах: он позволяет получить точность, близкую к обучению с нуля, но при заметно меньшем и потому более доступном объёме собственной размеченной выборки.
Как выбрать метод классификации для задачи?
Выбор метода классификации данных зависит от четырёх факторов: объёма размеченных данных, типа данных (табличные, изображения, текст, звук), требований к скорости предсказания и к тому, насколько важно объяснить решение модели человеку — например, регулятору в медицине или финансах, где решение нельзя оставить необъяснимым.
| Метод | Сильные стороны | Слабые стороны | Когда применять |
|---|---|---|---|
| Логистическая регрессия | Быстрая, интерпретируемая, мало данных | Только линейная граница | Простая бинарная задача, нужна объяснимость |
| Деревья / случайный лес | Точность на табличных данных, не требует нормализации | Может переобучаться на шуме без ансамбля | Табличные данные, разнородные признаки |
| SVM | Точен при малом числе примеров, работает с нелинейными границами | Плохо масштабируется на больших выборках | Текст, задачи с умеренным объёмом данных |
| Нейросети | Лучшая точность на неструктурированных данных | Нужен большой объём разметки, «чёрный ящик» | Изображения, текст, звук в большом объёме |
Какую роль играют размеченные данные в классификации?
Все перечисленные методы, кроме отдельных приёмов полу- и самообучения, относятся к обучению с учителем: они находят закономерность только на примерах, где правильный класс уже указан человеком. Без качественной, консистентной разметки даже самый совершенный алгоритм классификации выучит не реальную закономерность, а шум и ошибки в исходных метках.
Именно поэтому выбор алгоритма — лишь половина результата. Вторая половина — качество самих размеченных данных, на которых он обучается: полнота классов, точность меток и репрезентативность выборки напрямую определяют, насколько точной окажется классификация на новых, ранее не виденных примерах.
На практике команды нередко экономят на разметке и вкладываются только в подбор алгоритма — хотя грамотно собранный и последовательно размеченный датасет умеренного размера чаще даёт больший прирост точности, чем переход на более сложную модель поверх тех же посредственных данных.