Unsloth выпускает Qwen3.8-27B Dynamic V3 GGUF с улучшенной точностью и 1-битными квантизациями для 8 ГБ ОЗУ¶
8.0/10
Unsloth выпустил новые GGUF-квантизации Qwen3.8-27B на основе обновлённой версии Dynamic v3.0, которые обеспечивают более чем на 10% более высокую точность при том же размере файла по сравнению с предыдущими квантизациями, согласно бенчмаркам Div-300 и KLD. Также представлены 1-битные квантизации, сохраняющие 77% точности и работающие на устройствах с 8 ГБ ОЗУ. Команда подчёркивает, что не использует QAT или QAD, а применяет только пост-тренировочную квантизацию, и публикует imatrix-файл для сообщества. Релиз сопровождается блогом с подробностями и бенчмарками, а также обновлением Unsloth Desktop с функциями авто-компактизации и вызова инструментов через внешние API. Пользователи отмечают возможность запуска IQ4XS на 16 ГБ VRAM без MTP и интересуются сравнением с предыдущей версией UD 2.0.
Контекст¶
Квантизация — это процесс снижения точности весов модели для уменьшения её размера и требований к памяти, что позволяет запускать большие языковые модели на оборудовании с ограниченными ресурсами. Unsloth Dynamic — это метод пост-тренировочной квантизации, который стремится минимизировать потери точности при заданном размере файла, в отличие от QAT (квантизационное обучение) и QAD (квантизационная дистилляция), которые требуют дополнительного обучения. Предыдущая версия Dynamic 2.0 уже использовалась сообществом, и новый релиз v3.0 обещает значительное улучшение.
Влияние¶
Пользователи локальных LLM, особенно с 8-16 ГБ ОЗУ или VRAM, получат возможность запускать Qwen3.8-27B с более высокой точностью при том же размере файла, а 1-битные квантизации делают модель доступной на устройствах с 8 ГБ ОЗУ, что расширяет сферу применения.
Обсуждение в сообществе¶
Пользователи выражают благодарность команде Unsloth и просят добавить сравнение с предыдущей версией UD 2.0 для оценки улучшений. Некоторые отмечают, что теперь можно запускать IQ4XS на 16 ГБ VRAM без MTP, а также интересуются детальными метриками по категориям и KV-кэшу. Есть замечание о необходимости версионирования файлов GGUF, так как одинаковые имена файлов могут вводить в заблуждение.
Подробности¶
Unsloth Dynamic V3 достигает улучшения точности более чем на 10% на бенчмарках Div-300 и KLD по сравнению с другими квантизациями при том же размере. 1-битные квантизации сохраняют 77% точности, что позволяет запускать модель на 8 ГБ ОЗУ. Команда явно заявляет, что не использует QAT или QAD, а полагается только на пост-тренировочную квантизацию, и публикует imatrix-файл для проверки и дальнейших экспериментов. В блоге доступны полные бенчмарки и анализ переобучения. Обновление Unsloth Desktop включает авто-компактизацию и поддержку вызова инструментов через внешние API.
Покрытие источниками¶
Проверяются выбранные ключевые утверждения, а не истинность всей статьи целиком.
-
Значение зафиксировано прямым источником
Unsloth выпускает Qwen3.8-27B Dynamic V3 GGUF с улучшенной точностью и 1-битными квантизациями для 8 ГБ ОЗУ
- huggingface.co · подтверждает · первоисточник
- unsloth.ai · подтверждает · первоисточник
- huggingface.co · подтверждает · первоисточник
- orcarouter.ai · подтверждает · независимая публикация
-
Только данные автора или производителя
которые обеспечивают более чем на 10% более высокую точность при том же размере файла по сравнению с предыдущими квантизациями, согласно бенчмаркам Div-300 и KLD
-
Только данные автора или производителя
Также представлены 1-битные квантизации, сохраняющие 77% точности и работающие на устройствах с 8 ГБ ОЗУ