Qwen3.8-27b демонстрирует впечатляющую автономность на локальном железе¶
7.0/10
Пользователь Reddit под ником synth_mania сообщает, что локальная модель Qwen3.8-27b (квантование Q4_K_S от Unsloth, KV-кэш в q8, контекст 150k) на одной видеокарте RTX 3090 автономно выполнила сложные многошаговые задачи без вмешательства человека. В одном случае модель по одному запросу, имея учётные данные и название университета, извлекла расписание занятий с запутанных сайтов вуза, совершив 80 вызовов инструментов. В другом случае она исследовала пользователя соцсети: нашла публичное видео, скачала его, извлекла кадры каждые несколько секунд для «просмотра», установила OpenAI Whisper и запустила транскрипцию, а затем выборочно увеличила и осветлила кадры для анализа действий. Это анекдотический отчёт без бенчмарков и деталей воспроизводимости, но он иллюстрирует высокий уровень «агентности» локальных LLM на потребительском оборудовании.
Контекст¶
Qwen3.8-27b — это модель семейства Qwen3 с 27 миллиардами параметров, предназначенная для локального запуска. Квантование Q4_K_S снижает требования к памяти, позволяя работать на видеокартах с 24 ГБ VRAM, таких как RTX 3090, а инструментальные вызовы (tool calls) дают модели возможность взаимодействовать с внешними сервисами и выполнять действия. В отличие от предыдущей версии Qwen3.6-27b, новая модель, по данным пользователя, слабее в воспроизведении случайных фактов, но лучше справляется с задачами, требующими использования инструментов.
Влияние¶
Для пользователей локальных LLM это означает, что современные модели на доступном железе способны выполнять сложные автономные рабочие процессы, включая веб-скрапинг, обработку видео и транскрипцию, что расширяет практические возможности без облачных сервисов. Однако из-за анекдотичности отчёта и отсутствия воспроизводимых деталей, выводы о надёжности и безопасности таких действий требуют дополнительной проверки.
Обсуждение сообщества¶
Комментаторы выражают смешанные чувства: один пользователь (JohnToFire) шутит о риске того, что модель может отчислить из университета, и отмечает, что не доверил бы ей неограниченный доступ, хотя признаёт впечатляющий результат. Другой (Elux91) цитирует Уильяма Гибсона о неравномерном распределении будущего, а JohnToFire также упоминает, что некоторые сообщают о зацикливаниях при таком квантовании, хотя в данном случае качество оказалось хорошим. Пользователь LifeIsContrast с 3080 Ti выражает зависть к возможностям RTX 3090.
Детали¶
В дополнительном комментарии автор уточняет, что Qwen3.8-27B показал плохие результаты на его личных тестах на знание фактов, уступая Qwen3.6-27B, что подтверждается внешними бенчмарками (например, Omniscience от Artificial Analysis). Однако это не мешает модели хорошо работать с кодом и инструментами, что автор считает ключевым для практического использования. Он рекомендует полагаться на вызовы инструментов для получения информации, а не на внутренние знания модели, особенно если она изолирована от сети. Это подчёркивает компромисс между «агентностью» и точностью фактов в новых моделях.