Датасеты для машинного обучения: подборка по категориям

Как выбрать датасет для машинного обучения?

Выбор датасета зависит от четырёх факторов: типа данных и задачи (классификация, детекция, генерация текста), объёма и разнообразия, которые нужны модели, языка и доменной специфики — например, русскоязычного текста или отраслевых снимков, — и лицензии, которая определяет, можно ли использовать данные в коммерческом продукте, а не только в исследовании.

Универсального «лучшего» датасета не существует: эталонный набор для бенчмарка исследовательской статьи и датасет для продакшен-модели конкретного бизнеса — разные по назначению вещи. Открытые датасеты хорошо подходят для обучения, экспериментов и сравнения архитектур; для продакшена под конкретную задачу и язык часто нужен собственный или заказной датасет.

Стоит заранее продумать и деление на выборки: даже самый известный датасет нужно правильно разбить на обучающую, валидационную и тестовую части и проверить, что между ними нет пересечений — иначе итоговая оценка качества модели окажется завышенной и не будет отражать реальность.

Какие датасеты для компьютерного зрения самые известные?

В компьютерном зрении сложился набор общепринятых эталонов: MNIST для базовой классификации рукописных цифр, ImageNet — один из крупнейших каталогов размеченных изображений по тысячам категорий, и COCO со сложной разметкой объектов и сегментацией. На них десятилетиями сравнивают архитектуры и алгоритмы.

• MNIST — рукописные цифры, классический учебный датасет для базовой классификации.
• CIFAR-10 — маленькие цветные изображения по десяти классам объектов, стандарт для быстрых экспериментов.
• ImageNet — один из крупнейших каталогов размеченных изображений по тысячам категорий, эталон для классификации.
• COCO (Common Objects in Context) — изображения со сложной разметкой объектов, сегментацией и подписями к сценам.
• Pascal VOC — один из первых стандартных бенчмарков для детекции и сегментации объектов.
• Open Images — крупный каталог изображений с разметкой объектов, отношений и сегментации.
• CelebA — датасет лиц с разметкой атрибутов, применяется в задачах распознавания и генерации лиц.
• Cityscapes — размеченные сцены городских улиц, стандарт для сегментации в задачах беспилотного транспорта.

Эти наборы стали общепринятыми бенчмарками именно потому, что позволяют сравнивать разные архитектуры на одних и тех же данных: без такого общего эталона объективно сопоставить прогресс новых моделей компьютерного зрения было бы гораздо сложнее.

Какие датасеты для обработки текста (NLP) стоит знать?

Для NLP есть свои эталоны: SQuAD и бенчмарк GLUE проверяют понимание текста и ответы на вопросы, корпуса вроде Common Crawl дают огромный объём сырого текста для предобучения языковых моделей, а для русского языка похожую роль играют SberQuAD и корпус Taiga.

• SQuAD (Stanford Question Answering Dataset) — вопросы и ответы по текстам статей, эталон для задач question answering.
• GLUE / SuperGLUE — набор бенчмарков для оценки понимания языка моделью сразу по нескольким задачам.
• IMDB Reviews — отзывы на фильмы с разметкой тональности, классический датасет для sentiment-анализа.
• CoNLL-2003 — размеченный корпус для распознавания именованных сущностей (NER).
• Common Crawl — огромный архив текста из открытого веба, основа предобучения многих языковых моделей.
• SberQuAD — русскоязычный аналог SQuAD, вопросы и ответы по текстам на русском языке.
• Taiga corpus — большой открытый корпус русскоязычных текстов из разных источников для обучения языковых моделей.

Для NLP объём датасета часто важнее его идеальной точности: языковые модели предобучают на огромных корпусах вроде Common Crawl, а затем уже дообучают и оценивают на компактных, тщательно размеченных наборах вроде SQuAD или GLUE под конкретную задачу.

Какие датасеты для аудио и распознавания речи популярны?

Для распознавания речи главные ориентиры — LibriSpeech и Common Voice: оба содержат тысячи часов размеченной речи на разных языках. Русскоязычная речь представлена датасетом Golos от Сбера, который стал одним из основных открытых наборов для обучения русскоязычных ASR-моделей.

• LibriSpeech — размеченные аудиокниги на английском языке, один из главных эталонов для ASR.
• Common Voice — краудсорсинговый датасет речи от Mozilla на десятках языков, включая русский.
• VoxCeleb — записи голосов, применяется для верификации и идентификации диктора.
• TED-LIUM — транскрибированные публичные выступления, используется для обучения и оценки распознавания речи.
• Golos — открытый русскоязычный речевой датасет от Сбера, один из основных наборов для русских ASR-моделей.

Для аудио разнообразие голосов, акцентов и условий записи не менее важно, чем объём: датасет, собранный только из чистых студийных записей, плохо подготовит модель к шумным звонкам колл-центра или разговорной речи с несколькими говорящими одновременно.

Какие датасеты для табличных данных и других задач используют?

Для табличных задач классикой остаётся коллекция UCI Machine Learning Repository — десятки разнородных наборов для классификации и регрессии, а также датасеты с открытых площадок вроде Kaggle: от учебного Titanic до датасетов рекомендаций MovieLens, на которых тестируют модели ранжирования и предсказания.

• UCI Machine Learning Repository — большая коллекция разнородных табличных датасетов для классификации и регрессии.
• Titanic (Kaggle) — учебный датасет пассажиров «Титаника», популярен для первого знакомства с классификацией.
• MovieLens — датасет оценок фильмов пользователями, стандарт для рекомендательных систем.
• Adult Income — данные переписи для предсказания уровня дохода, классический бенчмарк классификации.
• Amazon Reviews — отзывы покупателей на товары, применяется для sentiment-анализа и рекомендаций.

Табличные датасеты чаще всего используют не как готовое финальное решение, а как учебный полигон: на них удобно проверять новую архитектуру или гипотезу о признаках, прежде чем переносить подход на собственные, часто куда менее чистые корпоративные данные.

На что смотреть в лицензии датасета перед использованием?

Перед использованием датасета проверяют три вещи: разрешает ли лицензия коммерческое применение или ограничивает её только исследованием, требует ли она указания авторства, и не истекли ли права на отдельные данные внутри набора — например, изображения лиц или голоса людей, которые могли дать согласие на ограниченный срок.

Лицензии у датасетов сильно различаются: одни распространяются под открытыми лицензиями, разрешающими практически любое использование, другие — только для академических и исследовательских целей без права встраивать модель, обученную на них, в коммерческий продукт. Перед продакшен-использованием лицензию датасета стоит читать так же внимательно, как лицензию любого другого стороннего компонента в проекте.

Если ни один открытый датасет не закрывает задачу целиком — не хватает языка, домена или объёма, — стоит рассматривать открытые наборы как стартовую точку, а окончательный продакшен-датасет собирать и размечать индивидуально под требования проекта.

Хорошая практика перед стартом проекта — сверить сразу несколько кандидатов: сопоставить объём, охват классов, дату последнего обновления и лицензию двух-трёх подходящих датасетов, а не останавливаться на первом найденном наборе, который выглядит подходящим по названию.

Итоговый выбор стоит зафиксировать письменно — какой датасет использован, какой версии, по какой лицензии, — чтобы через год, когда потребуется переобучить или проверить модель, было легко восстановить, на каких именно данных она изначально обучалась.

Такая документация пригодится и при аудите проекта: если заказчик или регулятор спросит, на каких данных обучена модель, у команды должен быть быстрый и точный ответ, а не необходимость восстанавливать историю выбора датасета по памяти.