Что такое анализ тональности (sentiment analysis)?
Анализ тональности — задача NLP, которая определяет эмоциональную окраску текста: позитивную, негативную или нейтральную. Модель или разметчик присваивают тексту метку тональности на основе слов, конструкций и контекста, а не только отдельных «эмоциональных» слов вроде «отлично» или «ужасно», которые сами по себе легко меняют смысл в отрицании или иронии.
Задачу часто называют sentiment analysis или просто «разметка тональности», и в основе почти всегда лежит размеченный людьми массив текстов с проставленными метками — на нём и обучается модель или проверяется точность уже готового классификатора.
На практике тональность редко ограничивается парой «хорошо/плохо»: тексты могут быть смешанными (часть отзыва хвалит товар, часть ругает доставку), нейтральными по содержанию или содержать сарказм, где буквальный смысл слов расходится с реальной оценкой автора.
Какие уровни есть у анализа тональности — документ, предложение, аспект?
Анализ тональности проводят на трёх уровнях детализации. Документ-уровень присваивает одну метку всему тексту целиком — быстро, но грубо для длинных смешанных отзывов. Уровень предложения оценивает каждое предложение отдельно. Аспектный анализ (ABSA) идёт глубже всех: выделяет конкретные аспекты объекта — цену, сервис, качество — и оценивает тональность по каждому из них отдельно.
| Уровень | Что оценивает | Пример |
|---|---|---|
| Документ | Весь текст одной меткой | Отзыв в целом: позитивный |
| Предложение | Каждое предложение отдельно | «Доставка быстрая» — позитив, «упаковка помялась» — негатив |
| Аспект (ABSA) | Отдельные свойства объекта | «еда» — позитив, «обслуживание» — негатив в одном отзыве |
Чем глубже уровень анализа, тем точнее итоговая оценка, но и тем дороже разметка: аспектный анализ требует сначала выделить сами аспекты в тексте, а уже потом проставить тональность для каждого из них.
Где применяется анализ тональности?
Чаще всего анализ тональности используют для обработки отзывов о товарах и услугах, мониторинга упоминаний бренда в соцсетях и СМИ, приоритизации обращений в службу поддержки и анализа открытых ответов в опросах вроде NPS. Общая цель — быстро понять эмоциональный настрой большого массива текстов, который невозможно прочитать вручную целиком.
Типичные сценарии применения:
- Отзывы и маркетплейсы — автоматическая сортировка отзывов по тональности для приоритизации ответа и выявления проблемных партий товара.
- Служба поддержки — маршрутизация обращений: явно негативные и эмоциональные тикеты уходят к живому оператору первыми.
- Мониторинг соцмедиа — отслеживание тональности упоминаний бренда в реальном времени для PR и репутационного менеджмента.
- Опросы и NPS — автоматическая разметка открытых текстовых комментариев респондентов вместо ручного чтения тысяч ответов.
Какие шкалы используют при разметке тональности?
Самая простая шкала — бинарная (позитив/негатив), которую используют, когда нейтральные тексты можно отбросить или их мало. Тернарная шкала добавляет «нейтрально» и подходит для большинства коммерческих задач. Пятибалльная или непрерывная числовая шкала (например, от −1 до 1) передаёт интенсивность эмоции точнее, но требует более детального гайдлайна для разметчиков.
Выбор шкалы напрямую влияет на согласованность разметки: чем больше градаций, тем чаще независимые разметчики расходятся в оценке пограничных случаев, поэтому расширение шкалы всегда стоит проверять пилотом, а не задавать «на глаз» до старта проекта.
Как размечают спорные случаи — сарказм, смешанные и нейтральные оценки?
Спорные случаи — сарказм, смешанная тональность внутри одного текста, формально нейтральные фразы с эмоциональным подтекстом — размечают по подробному гайдлайну с примерами, а не по интуиции отдельного асессора. Такие тексты обычно отдают на разметку нескольким людям одновременно и при расхождении оценок разбирают отдельно, фиксируя итоговое решение как новый пример в инструкции.
Сарказм — самый сложный случай: фраза «отличная работа, спасибо, что сломали заказ» формально содержит позитивные слова, но выражает явное недовольство. Автоматически такие тексты распознаются плохо, поэтому обучающая выборка с явными примерами сарказма особенно ценна для повышения устойчивости модели.
Какими метриками измеряют качество анализа тональности?
Базовые метрики — accuracy и F1-мера по каждому классу тональности, посчитанные на контрольной выборке с эталонными метками. Поскольку негативных или нейтральных отзывов обычно меньше, чем позитивных, точнее общей accuracy показывает macro-F1 — среднее по классам без перекоса в сторону самого частого. Отдельно на пилоте измеряют IAA между разметчиками, чтобы убедиться, что гайдлайн понятен и воспроизводим.
Полную методологию расчёта IAA, коэффициента каппа и чек-лист для проверки подрядчика по разметке разбирает отдельная статья о качестве разметки данных — те же принципы применимы к любой задаче разметки текста, не только к тональности.