Метрики качества модели: accuracy, precision, recall и другие

Что такое метрики качества модели и зачем они нужны?

Метрики качества модели — это числовые показатели, которые сравнивают предсказания модели с эталонными, заранее размеченными ответами на тестовой выборке и показывают, насколько хорошо модель справляется с задачей. Без метрик оценка качества сводится к субъективному впечатлению, а разные метрики раскрывают разные, часто скрытые друг от друга стороны ошибок модели.

Выбор метрики — не формальность: неподходящая метрика может показать красивую цифру при плохой реальной работе модели, особенно на данных с редким, но важным классом. Поэтому метрику подбирают под тип задачи и под то, какая ошибка обходится дороже — пропустить случай или ложно его обнаружить.

На практике имеет смысл считать не одну, а сразу несколько метрик и смотреть на них в связке: агрегированное число хорошо для быстрого сравнения версий модели, но детальную картину даёт только набор метрик вместе с разбивкой по классам.

Что такое confusion matrix простыми словами?

Confusion matrix (матрица ошибок) — это таблица, которая раскладывает предсказания модели на четыре группы: верно найденные положительные случаи, верно отклонённые отрицательные, ложные срабатывания (модель нашла то, чего не было) и пропуски (модель не нашла то, что было). Из этих четырёх чисел считают почти все остальные метрики классификации.

Например, для модели, которая ищет брак на производственной линии: верно найденный брак — истинно положительный результат, качественная деталь, ошибочно помеченная браком, — ложное срабатывание, а пропущенный настоящий брак — самая дорогая ошибка, ложноотрицательный результат. Именно из этих четырёх ячеек таблицы дальше выводят accuracy, precision, recall и F1 — все они лишь разные способы обобщить одну и ту же матрицу в единое число.

Что показывает accuracy и когда ей нельзя доверять?

Accuracy — это простыми словами доля правильных ответов модели среди всех предсказаний: сколько примеров она классифицировала верно из общего числа, включая и положительный, и отрицательный класс. Метрика интуитивно понятна, но становится обманчивой на несбалансированных данных, где один класс встречается намного реже другого.

Классический пример — редкое заболевание, которое встречается у одного пациента из ста. Модель, которая всегда предсказывает «здоров», получит accuracy 99% и при этом ни разу не найдёт ни одного реального случая заболевания — именно поэтому на таких задачах accuracy дополняют precision и recall. Высокая accuracy в таком сценарии не говорит о качестве модели вообще ничего полезного, и полагаться на неё как на единственный критерий приёмки — типичная ошибка при оценке моделей на несбалансированных данных.

Чем отличаются precision и recall?

Precision — точность простыми словами: какая доля из найденных моделью положительных случаев оказалась верной на самом деле. Recall — полнота: какую долю всех реальных положительных случаев модель нашла, а не пропустила. Высокий precision при низком recall означает, что модель осторожна, но многое пропускает; обратная ситуация — что она находит почти всё, но часто ошибается.

Какая метрика важнее, зависит от цены ошибки: в спам-фильтре дороже ложное срабатывание (важное письмо в спаме) — там ценят precision, а в поиске онкологии на снимках дороже пропуск — там приоритет отдают recall, даже ценой большего числа ложных тревог. Порог решения модели — тот рычаг, которым на практике сдвигают баланс между precision и recall под конкретную задачу и её допустимую цену ошибки.

Что такое F1-мера и зачем она нужна?

F1-мера — это среднее гармоническое precision и recall, единое число, которое высоко только тогда, когда обе метрики одновременно хороши. В отличие от простого среднего, F1 сильно штрафует ситуацию, где одна из метрик близка к нулю, — поэтому её удобно использовать как единый ориентир при сравнении моделей на несбалансированных данных.

F1-меру считают отдельно по каждому классу в многоклассовых задачах и затем усредняют — либо с равным весом на каждый класс (macro-F1), либо пропорционально частоте класса в данных (weighted-F1), и выбор способа усреднения заметно влияет на итоговую оценку редких классов. Macro-F1 честнее показывает проблему с редким классом, а weighted-F1 ближе к тому, что почувствуют пользователи в среднем по всему потоку запросов.

Что такое mAP в задачах детекции объектов?

mAP (mean Average Precision) — усреднённая точность обнаружения объектов на изображении по всем классам сразу, стандартная метрика для задач детекции. Она учитывает не только правильность класса найденного объекта, но и точность его рамки: насколько предсказанный bounding box совпадает с эталонным по метрике IoU при разных порогах уверенности модели.

Именно поэтому mAP — не одна цифра, а свёртка целой кривой precision-recall для каждого класса: сначала считают Average Precision отдельно по каждому классу объектов, а затем усредняют по всем классам, получая единую сводную оценку качества детектора. Часто указывают mAP при конкретном пороге IoU (например, mAP@0.5) или усреднённый по нескольким порогам сразу — это стоит уточнять при сравнении цифр из разных источников.

Чем IoU отличается от Dice-коэффициента?

IoU (Intersection over Union) — отношение площади пересечения предсказанной и эталонной области к площади их объединения; чем ближе к единице, тем точнее совпадение. Dice-коэффициент считает похожую идею иначе — как удвоенную площадь пересечения, делённую на сумму площадей обеих областей, — и при равном совпадении даёт немного более высокое значение, чем IoU.

Обе метрики применяют для сегментации и для оценки bounding box в детекции, но Dice чаще встречается в медицинских задачах сегментации снимков, а IoU — стандарт де-факто для общих задач компьютерного зрения вроде детекции объектов и семантической сегментации сцен. На практике разница между ними редко критична — важнее договориться заранее, какую из двух метрик использует команда, чтобы результаты разных экспериментов были сравнимы между собой.

Какие метрики выбрать для своей задачи?

Выбор метрики определяется типом задачи и структурой данных: для сбалансированной классификации подходит accuracy, для несбалансированной — F1, для детекции объектов — mAP, для сегментации — IoU или Dice. Ориентируясь только на тип задачи без учёта баланса классов, легко выбрать метрику, которая скроет реальную проблему модели.

Правильно подобранная метрика — это уже половина честной оценки модели; вторая половина — качество и консистентность эталонной разметки тестовой выборки, с которой эту метрику сравнивают.