Типовой сценарий: так выглядит проект такого класса

NER и классификация обращений: типовой сценарий для финтеха

Так выглядит типовой проект NER-разметки и классификации обращений для финтех-компании: объём данных, подход к разметке и метрики, которые мы закладываем в SLA. Это не кейс конкретного клиента — реального опыта такого масштаба у нас пока нет, цифры согласованы с открытым прайсом на /pricing/ и со страницей услуги «Разметка текста».

Accuracy-ориентир ≥97%Формат JSONПилот бесплатноДанные в РФ · 152-ФЗ

Какая была задача?

Финтех-компания хочет автоматически классифицировать входящие обращения клиентов по отделам и извлекать из текста ключевые сущности — суммы, даты, номера счетов и ФИО, — чтобы маршрутизировать заявку в нужную очередь поддержки без ручной сортировки операторами и сократить время первого ответа клиенту.

Такой сценарий типичен для компаний с большим потоком обращений, где ручная маршрутизация перегружает первую линию поддержки и увеличивает время ответа клиенту.

Какие данные и какой объём мы размечали?

В такой проект закладываем партию от 200 000 текстовых обращений — из чатов, писем и тикетов поддержки. На каждом тексте размечаются NER-сущности (суммы, даты, номера счетов, ФИО) и классификация по таксономии из 18 категорий обращений, согласованной с заказчиком на брифе.

Объём партии: от 200 000 текстовых обращений

Тип разметки: NER-сущности + классификация по категориям

Формат выгрузки: JSON (или CoNLL/CSV)

Инструмент разметки: Label Studio

Исходные тексты обращений в таком проекте обычно выгружает заказчик из своей системы поддержки; персональные данные в выборке можно обезличить до начала разметки по требованию.

Как проходила разметка: гайдлайн, инструменты и контроль качества?

Проект стартует с бесплатного пилота на тестовой выборке текстов: согласуем таксономию категорий и границы NER-сущностей — частый источник расхождений между разметчиками. Основной объём размечает команда лингвистов в Label Studio с консенсусом спорных случаев и метрикой IAA перед выгрузкой в JSON.

Бриф и гайдлайнСогласовали таксономию категорий обращений и список NER-сущностей.
Бесплатный пилотРазметили тестовую выборку текстов, зафиксировали инструкцию для лингвистов.
Промышленная разметкаМасштабировали разметку в Label Studio с консенсусом спорных случаев.
Контроль и приёмкаПроверили выборку, посчитали IAA и accuracy, выгрузили разметку в JSON.

Какие метрики и SLA закладываем в такой проект?

Целевая accuracy классификации по SLA для такого проекта — от 97%, срок на партию 200 000 обращений — ориентировочно 3 недели с учётом пилота. Дополнительно считаем согласованность разметчиков по NER-сущностям и фиксируем отчёт по итогам каждого этапа, включая точность извлечения ключевых сущностей.

Accuracy-ориентир

От 97% по классификации обращений и разметке NER-сущностей.

Срок

Ориентировочно 3 недели на партию 200 000 обращений, включая пилот.

Контроль качества

Консенсус спорных сущностей, метрика IAA на контрольной выборке.

Отчётность

Отчёт по accuracy и объёму разметки на каждом этапе проекта.

Точные пороги accuracy и срок фиксируем в договоре после бесплатного пилота на тестовой выборке — цифры выше ориентир для планирования, а не публичная оферта.

Какой результат получает модель?

Ориентир результата для модели маршрутизации — сокращение времени обработки обращения до 30% за счёт точной классификации и автоматического извлечения сущностей вместо ручной сортировки; итоговая цифра зависит от исходного процесса поддержки заказчика. Это целевой диапазон для обсуждения на брифе.

Итоговый эффект для модели маршрутизации проверяем на контрольной выборке обращений заказчика — так видно, действительно ли сократилось время обработки.

Планируете похожий проект?

Пришлите пример обращений и опишите задачу — вернёмся с гайдлайном, сроком и сметой по образцу этого сценария в течение 1 рабочего дня.

Оставить заявку на пилот

Смотрите также