1.5B-модель превращает запросы в shell-команды на CPU¶
7.0/10
Автор представил тонкую настройку модели Qwen2.5-Coder-1.5B на 125 тысячах пар «естественный язык — shell-команда». Модель квантована до Q4_K_M (941 МБ) и работает через llama.cpp на ноутбучном CPU: 31,9 ток/с, медиана ответа 0,59 с, потребление 1,6 ГБ RAM. На бенчмарке InterCode-ALFA она набрала 0,620, что сопоставимо с ненастроенной 7B-моделью (0,613) и ниже GPT-4o (0,73). Веса опубликованы на Hugging Face, код — на GitHub, обе части под лицензией Apache-2.0. Это практичный инструмент для быстрого получения команд без поиска в интернете, хотя автор предупреждает о необходимости осторожности из-за возможности опасных команд.
Контекст¶
Модель Qwen2.5-Coder — это языковая модель от Alibaba Cloud, ориентированная на код; её можно дообучать для конкретной задачи, например превращения обычного запроса на естественном языке в команду оболочки. Квантизация (Q4_K_M) уменьшает размер весов, что позволяет запускать модель на CPU через llama.cpp. Бенчмарк InterCode-ALFA из работы NAACL 2025 оценивает такие команды, исполняя их в контейнере и сравнивая файловую систему и stdout с эталоном.
Влияние¶
Разработчики и продвинутые пользователи получили открытую локальную модель для преобразования описаний в shell-команды, которая работает на обычном ноутбуке примерно за секунду и по качеству сопоставима с семибиллионной моделью.
Обсуждение¶
В комментариях проект встретили позитивно: отметили полезность, пошутили, что это способ не читать man-страницы, и предложили сравнить с моделью Gemma Shellper.