Зачем ASR и TTS моделям размеченная речь?
Модели распознавания речи (ASR) и синтеза речи (TTS) учатся на парах «аудио — текст»: без точной разметки — кто говорит, что сказано и с какой интонацией — нейросеть не может связать звук со смыслом. Чем точнее и разнообразнее размеченный речевой корпус, тем увереннее модель работает с акцентами, шумом и живой речью.
Разметка речи отличается от разметки текста или изображений тем, что данные существуют одновременно в двух измерениях — звук и время. Модель должна научиться не только «что сказано», но и «когда» и «кем», а для синтеза речи — ещё и «как именно» это прозвучало.
Без размеченных данных модель ASR или TTS просто не с чем сопоставлять звук: сырое аудио без разметки — это набор колебаний воздуха, а не обучающий пример. Именно разметка превращает запись в пару «вход — правильный ответ», на которой модель проверяет и корректирует свои предсказания на каждом шаге обучения.
Голосовые ассистенты, субтитры в реальном времени, транскрибация звонков и озвучка текста синтетическим голосом — за всеми этими продуктами стоит именно качество и объём размеченной речи, на которой обучалась модель. Чем ближе разметка к реальным условиям использования — шуму, акцентам, разговорной речи, — тем увереннее модель работает не в лаборатории, а на живых пользователях.
Что включает разметка речи: диаризация, таймстемпы, эмоции?
Разметка речи — это не только текст записи: диаризация разделяет реплики по говорящим, таймстемпы привязывают слова или фразы к точному времени, а разметка эмоций и интонаций фиксирует тон голоса, паузы и невербальные сигналы. Отдельно размечают фоновые события — музыку, шум, тишину и наложение реплик друг на друга.
Типичный набор слоёв разметки речевого датасета:
- Транскрипция — дословный или литературный текст записи.
- Диаризация — метки говорящих (Speaker 1, Speaker 2 и так далее).
- Таймстемпы — время начала и конца слова, фразы или реплики.
- Эмоции и интонации — тон, эмоциональная окраска, паузы.
- Фоновые события — музыка, шум, тишина, наложение голосов.
Каждый слой добавляют по мере необходимости: для простой ASR-модели порой достаточно транскрипции и таймстемпов, для голосового ассистента с эмпатичными ответами понадобится и разметка эмоций.
Какие форматы используют для хранения размеченной речи?
Размеченную речь обычно хранят раздельно: сами аудиофайлы отдельно, а разметку — в текстовых форматах вроде TextGrid (Praat), ELAN, JSON с таймстемпами или CSV с колонками начала, конца и текста реплики. Формат выбирают под инструмент разметки и под пайплайн обучения, который будет читать готовый датасет.
Наиболее распространённые варианты:
- TextGrid (Praat) — классический формат фонетической разметки с несколькими уровнями (текст, спикер, события) на единой временной шкале.
- ELAN — формат для многоуровневой аннотации видео и аудио, удобен для сложной разметки с несколькими типами меток одновременно.
- JSON с таймстемпами — гибкий, легко читается программно, подходит для интеграции с пайплайном обучения ASR или TTS.
- CSV/TSV — простая табличная разметка с колонками времени начала, конца, спикера и текста реплики, удобна для быстрого анализа.
Выбор формата редко бывает окончательным: датасет часто конвертируют между форматами на разных этапах — от ручной разметки в специализированном редакторе до компактного JSON-манифеста, который читает пайплайн обучения модели.
Как собирают и размечают речевые датасеты?
Сбор речевого датасета начинается с записи голосов по сценарию или подбора уже существующих аудио с учётом прав на использование. Затем аудио нарезают на короткие фрагменты, транскрибируют, размечают спикеров, эмоции и события, а несколько специалистов проверяют результат и приводят разметку к единому формату для обучения модели.
Процесс редко бывает разовым: по мере роста задач добавляются новые голоса, языки и сценарии, поэтому речевые датасеты обычно собирают и обновляют итерациями, а не одним большим проектом раз и навсегда.
Процесс обычно проходит несколько этапов:
- Запись или сбор исходного аудио — студийная запись по сценарию, краудсорсинг голосов разных дикторов или обработка существующих записей с проверкой прав.
- Нарезка на фрагменты удобной для разметки длины и первичная транскрибация.
- Разметка слоёв — диаризация, таймстемпы, эмоции, фоновые события — по единому гайдлайну.
- Контроль качества — сверка нескольких разметчиков между собой и расчёт метрик точности.
- Приведение датасета к формату, который ожидает модель: JSON, TextGrid, CSV или собственная схема.
Для голосов часто нужен не один диктор, а десятки и сотни разных людей — так модель учится распознавать и синтезировать речь, а не запоминает особенности конкретного голоса. Поэтому сбор данных нередко идёт через краудсорсинг: запись голосов по сценарию силами большого числа участников с последующей разметкой и проверкой качества каждой записи.
Какие требования предъявляют к качеству речевого датасета?
Качественный речевой датасет разнообразен по голосам, акцентам, фоновому шуму и стилям речи, а разметка в нём согласована между специалистами (высокая межразметочная согласованность) и проверена метриками вроде WER. Важны также сбалансированный объём по классам событий и понятный формат хранения — JSON, TextGrid или собственная схема аннотаций.
Разнообразие данных не менее важно, чем точность разметки: модель, обученная только на чистых студийных записях одного диктора, плохо справится с уличным шумом, диалектами или разговором нескольких людей одновременно. Поэтому хороший речевой корпус специально собирают из записей разного качества, разных голосов и условий.
Отдельно стоит контролировать баланс редких классов: если фраз с определённой эмоцией, фоновым событием или акцентом в датасете мало, модель научится хуже именно на них — а на практике такие «редкие» случаи нередко оказываются самыми важными, например экстренный или конфликтный звонок в колл-центре.
Если для проекта нужен размеченный корпус со своим сценарием записи и особыми требованиями к диаризации, таймстемпам или эмоциям, подойдёт услуга разметки аудио и транскрибации речи — от гайдлайна и пилота до выгрузки в нужном формате. Готовые корпуса русской речи и варианты сбора записей под задачу перечислены в блоке ссылок ниже.