Быстрый NVFP4-квант Qwen3.8-27B для Blackwell: до 50% быстрее Q4 в prefill¶
7.0/10
Выпущен новый GGUF-квант NVFP4 для модели Qwen3.8-27B, оптимизированный для этапа prefill на видеокартах Blackwell. По заявлению автора, на RTX 5090 32GB он работает на 50% быстрее, чем Q4-квант с тем же объёмом памяти, и на 4-7% быстрее других NVFP4-квантов. В бенчмарке pp2048 скорость составила 6250 токенов/с против 6010 у unsloth NVFP4, 4130 у Q4_0 и 3210 у Q6_K. Квант также включает квантизированную MTP-голову (draft head), которая при рекомендованных настройках даёт дополнительное ускорение MTP на 15%. Репозиторий доступен на Hugging Face, где указаны подробности и рекомендуемые параметры запуска.
Контекст¶
NVFP4 — это формат 4-битного квантования с плавающей точкой, разработанный Nvidia для ускорения инференса на видеокартах архитектуры Blackwell (например, RTX 50-й серии). В отличие от целочисленных квантов вроде Q4_0, NVFP4 использует аппаратную поддержку Blackwell и может давать лучшую скорость при сопоставимом качестве. MTP (Multi-Token Prediction) — это механизм, при котором draft-голова предсказывает несколько токенов за раз, ускоряя генерацию.
Влияние¶
Пользователи с видеокартами RTX 5090 и другими GPU Blackwell, использующие Qwen3.8-27B, могут получить значительное ускорение prefill (до 50% по сравнению с Q4) и небольшой прирост скорости (4-7%) по сравнению с существующими NVFP4-квантами, а также дополнительное ускорение MTP на 15% при правильных настройках. Однако ускорение зависит от конкретного оборудования и конфигурации, и для других GPU (например, старых архитектур) эффект может быть меньше.
Обсуждение в сообществе¶
В комментариях отмечают, что поле развивается быстро, и существуют ещё более быстрые варианты, например GPTQ-W4A16 с DFlash2, который достигает 6882 токенов/с на pp8195 без вероятностного драфтинга. Пользователи также задают вопросы о совместимости с последней версией llama.cpp (нужна ли сборка из ветки) и выражают обеспокоенность по поводу качества кванта, указывая, что разные NVFP4-кванты могут сильно отличаться по качеству, как в сравнении Q2 и Q8.