Что на самом деле умеет NPU: тест TechnoTim на Frigate¶
8.0/10
ТехноТим проверил, для чего реально нужен NPU, на мини-ПК MINISFORUM MS-03 с Intel Core Ultra 9 386H. Он запускал одинаковую нагрузку — детекцию объектов Frigate через OpenVINO с моделью YOLOv9-tin (640×640) — на CPU, GPU и NPU, используя четыре виртуальных RTSP-потока из записанных в Миннеаполисе клипов. В контролируемом синхронном тесте NPU оказался быстрее GPU: 4,8 мс и 200,5 кадров/с против 5,5 мс и 179 кадров/с у GPU; CPU показал 29,3 мс и 34,2 кадров/с. Однако в реальном Frigate GPU не уступал, поэтому автор делает вывод: NPU не заменяет GPU, а предназначен для постоянных фоновых AI-задач, которые не должны занимать CPU или GPU.
Контекст¶
NPU (Neural Processing Unit) — специализированный процессор для ИИ-нагрузок, в отличие от гибкого CPU и мощного параллельного GPU. Frigate — открытая система видеонаблюдения, которая через Intel OpenVINO может выполнять детекцию объектов на CPU, GPU или NPU, что позволяет сравнить их на одной реальной задаче.
Влияние¶
Владельцы Frigate и homelab-систем могут разгрузить CPU и GPU, перенеся постоянную детекцию объектов на NPU, но не стоит ждать от NPU замены GPU для тяжёлых ИИ-задач.
Подробности¶
Для повторяемости ТехноТим записал четыре сцены в Миннеаполисе (трасса, перекрёсток, дорожка, парковка), зациклил их через FFmpeg и опубликовал как RTSP-потоки через go2rtc. В каждом прогоне использовались одинаковый образ Frigate, те же четыре потока, модель YOLOv9-tin и одинаковые настройки декодирования видео; тест длился около пяти минут и повторялся пять раз. Он измерял задержку инференса и частоту кадров детектора в UI Frigate. В живом тесте Frigate GPU не отставал от NPU, но в более контролируемом Frigate-подобном синхронном тесте NPU вышел вперёд (4,8 мс / 200,5 fps против 5,5 мс / 179 fps у GPU). Автор связывает расхождение с тем, что Frigate одновременно декодирует четыре потока и выполняет другую работу. Также отмечено, что NPU поддерживает LLM через OpenVINO, но в видео это не тестировалось; другие примеры — фоновые эффекты Zoom/Teams и живая транскрипция.