Разработчик выложил на Hugging Face датасет из 5,94 млрд видео TikTok¶
8.0/10
Разработчик под ником DataShack опубликовал на платформе Hugging Face бесплатный датасет, содержащий данные о 5,94 миллиарда видео и 3,23 миллиарда профилей TikTok, собранный всего за три недели. Для выгрузки массива автор применил метод обратного инжиниринга мобильного приложения TikTok, задействовав 24 эндпоинта API, доступных без аутентификации аккаунта. Опубликованная база данных охватывает сведения о роликах, профилях пользователей, комментариях, ответах, хэштегах и аудиозаписях. Хотя сам датасет выложен в открытый доступ для исследований в сфере машинного обучения, автор предоставляет полный код скрапера на платной основе и признает, что такой метод сбора данных, скорее всего, нарушает пользовательское соглашение (ToS) TikTok.
Контекст¶
Реверс-инжиниринг мобильных API позволяет извлекать структурированные данные напрямую из внутренне используемых эндпоинтов приложений, минуя ограничение веб-интерфейсов и необходимость авторизации. Платформа Hugging Face выступает одним из главных открытых репозиториев для размещения датасетов, необходимых для обучения рекомендательных систем и ИИ-моделей. При этом извлечение публичных метаданных в миллиардных масштабах регулярно находится в серой зоне и нарушает пользовательские соглашения (ToS) крупных социальных сетей.
Влияние¶
Исследователи в области машинного обучения получают доступ к крупнейшему открытому массиву метаданных TikTok для тренировки рекомендательных и исследовательских моделей. При этом высокая вероятность юридических претензий и нарушений правил платформы создает риск быстрого удаления этого набора данных.
Реакция сообщества¶
Пользователи Reddit поблагодарили автора за масштабную работу, однако призвали скачивать датасет без промедления из-за высокого риска его удаления сервисом TikTok. Дополнительно участники обсуждения выразили сомнения в легальности продажи кода для парсинга и критически оценили сопутствующее руководство, назвав его текст похожим на сгенерированный ИИ.
Покрытие источниками¶
Проверяются выбранные ключевые утверждения, а не истинность всей статьи целиком.
-
Только данные автора или производителя
Разработчик выложил на Hugging Face датасет из 5,94 млрд видео TikTok
-
Предварительно: новость слишком свежая
Для выгрузки массива автор применил метод обратного инжиниринга мобильного приложения TikTok, задействовав 24 эндпоинта API, доступных без аутентификации аккаунта.