Перейти к содержанию

unsloth выложил GGUF-квантование DeepSeek-V4-Pro-0813

7.0/10

2026-08-13tech-newsreddit · r/LocalLLaMA · mossy_troll_84 · Aug 13, 15:19 · Обсуждениеhuggingface.co

На Hugging Face появилась страница GGUF-квантования модели DeepSeek-V4-Pro-0813 от unsloth; автор поста предполагает, что загрузка ещё идёт. Пользователи интересуются, получил ли unsloth новую версию, поскольку ранее DeepSeek отозвала свою версию из-за неудачной загрузки, приведшей к повреждению модели. Другие комментаторы надеются на выход более доступной модели с 30 миллиардами параметров, а также ждут V4-Mini 435B в квантовании Q1_XXXS. Один из участников обсуждает, действительно ли dsv4-flash-0731 является моделью на 745B параметров.

Контекст

DeepSeek V4 Pro — это большая языковая модель от DeepSeek, веса которой публикуются официально, однако GGUF-квантования компания не выпускает. Unsloth обычно публикует зеркала весов и затем собирает динамические GGUF-сборки для локального запуска; например, DeepSeek-V4-Flash-0731 считается лучшей по производительности для своего размера и поддерживает контекст в 1 млн токенов. Сообщество отмечает, что предыдущие версии V4 Pro иногда приходилось отзывать из-за неудачной загрузки, а объявленная модель DeepSeek-V4-Pro-0813, судя по публикации, ещё находится в процессе выгрузки.

Влияние

Публикация GGUF-версии DeepSeek-V4-Pro-0813 от unsloth означает, что энтузиасты локального ИИ получат возможность запустить эту модель вне облачного API, несмотря на то, что по предварительным данным она превосходит Opus 4.8 на Terminal Bench 2.1 и CyberGym и имеет контекст 1M токенов. Однако из-за огромного размера модели и того, что предыдущая попытка unsloth была отозвана после неудачной загрузки, пользователям следует ожидать, что рабочий файл потребует очень мощного оборудования и может оказаться нестабильным.

Обсуждение

Комментаторы в основном задают вопросы и делятся пожеланиями: спрашивают, получил ли unsloth новую версию после отзыва DeepSeek, надеются на появление более доступной модели 30B и ждут V4-Mini 435B в квантовании Q1_XXXS. Также есть уточнение о числе параметров dsv4-flash-0731 — предположительно 745B.

Источники