Перейти к содержанию

Исправленный Jinja-шаблон для Qwen 3.5, 3.6 и 3.8

7.0/10

Автор ex-arman68 опубликовал готовый заменяемый Jinja-шаблон для чат-интерфейса Qwen 3.5, 3.6 и новой 3.8, решающий несколько серьёзных проблем официального шаблона: крах при `enable_thinking=false`, «отравление» истории диалога пустыми `<think></think>` тегами, сбой вызова инструментов при передаче аргументов в формате JSON-строк и зависание многошаговых циклов агента из-за потери системных сообщений. В Qwen 3.8 добавлено управление глубиной рассуждений через `reasoning_effort` (`xhigh`, `high`, `medium`, `low`). Исправление размещено на Hugging Face в репозитории froggeric/Qwen-Fixed-Chat-Templates и поддерживает управление `reasoning_effort`, отключение рассуждений через kwargs или `<|think_off|>`, сохранение KV-кэша и нативный флаг llama.cpp `--reasoning-preserve`.

Контекст

Jinja-шаблон чата — это код, который определяет, как токены системных, пользовательских и ассистентских сообщений сшиваются в промпт перед генерацией; ошибки в нём приводят к непредсказуемым выводам и крахам. Qwen 3.8 стала первой моделью линейки с явной настройкой усилия рассуждения через `reasoning_effort`, но официальный шаблон содержал баги, из-за которых нельзя было отключить thinking и ломались tool-вызовы.

Влияние

Пользователи Qwen 3.5/3.6/3.8, которые применяют официальный шаблон, могут получить крахи или некорректные мульти-ходовые диалоги; заменяемый шаблон от сообщества устраняет эти проблемы без изменения самой модели. Следует учитывать, что это сторонний фикс, а не официальный патч.

Обсуждение

В комментариях пользователи спрашивают, почему команда Qwen не тестирует собственные шаблоны, а часть пишет, что не видела проблем с 3.5 и 3.6. Есть также благодарность и запрос аналогичного исправления для модели Laguna.