Простой SPC побеждает SOTA-методы обнаружения аномалий во временных рядах¶
7.0/10
Эамонн Кио (Eamonn Keogh) опубликовал в Reddit критику популярного бенчмарка TSB-AD-M для обнаружения аномалий во временных рядах (TSAD). Он утверждает, что на большинстве наборов этого бенчмарка простая 100-летняя методика статистического контроля процессов (SPC) превосходит современные SOTA-методы, а на показанном примере с ЭКГ достигает идеальных результатов. По его словам, многие наборы, включая помеченные «TAO», тривиальны для SPC, поэтому выводы статей, опирающихся на TSB-AD-M, не подтверждают реального прогресса. Кио призывает сообщество к пересмотру оценочной методологии и отмечает, что уже подготовил 90% работы по введению более сложных задач TSAD (например, ездовые собаки, тунец, топливные элементы, умное производство).
Контекст¶
TSB-AD — это широко используемый бенчмарк для оценки методов обнаружения аномалий во временных рядах, содержащий размеченные временные ряды из разных областей с аномалиями разной длины и типов. Статистический контроль процессов (SPC) — это классический набор методов мониторинга стабильности процессов, основанных на контрольных картах и восходящих к началу XX века. Эмон Кио, известный исследователь в области анализа временных рядов, утверждает, что на многих наборах данных TSB-AD простая SPC превосходит современные методы, что ставит под сомнение значимость результатов, полученных на этом бенчмарке.
Влияние¶
Для исследователей TSAD это означает, что результаты работ, оцениваемых на TSB-AD-M, не демонстрируют превосходства над базовым статистическим контролем, и заявленный за последние годы прогресс требует пересмотра.
Обсуждение в сообществе¶
Комментаторы в целом поддержали критику: они отмечают, что проверка бенчмарков важнее погони за лидербордами, а один из участников напомнил, что похожий тезис уже высказывался в 2020 году. Также поднимаются вопросы о том, какие бенчмарки считать хорошими, и сомнение в том, что задача TSAD в принципе корректно поставлена.