Инференс Qwen3.6-35B-A3B на двух APU BC-250 со скоростью 60 tok/s¶
5.0/10
Энтузиаст развернул бюджетную систему инференса на базе двух бывших в майнинге плат BC-250 стоимостью 115 долларов за штуку (около 300 долларов суммарно с блоком питания) под управлением Bazzite. Устройства объединены через 1Gb Ethernet с использованием llama.cpp по протоколу RPC и бэкенда Vulkan, обеспечивая суммарно порядка 27 ГБ видеопамяти. На данной связке квантованная MoE-модель Qwen3.6-35B-A3B формата Q4_K_M демонстрирует скорость генерации 60 токенов в секунду при размере контекста 64k.
Метод оптимизации¶
Техническая реализация основана на распределенном инференсе квантованной модели Qwen3.6-35B-A3B в формате Q4_K_M через бэкенд Vulkan в llama.cpp с использованием протокола RPC поверх сетевого соединения 1 Gbps Ethernet. Две майнинговые платы BC-250 на базе урезанных APU PlayStation 5 суммарно объединяют около 27 ГБ унифицированной памяти под управлением Bazzite OS, распределяя вычислительные слои модели между устройствами. Подобное шардирование позволяет аппаратно ускорять MoE-архитектуру на доступных APU-кластерах и удерживать контекстное окно вплоть до 64k токенов.
Экономическая и вычислительная эффективность¶
Сборка обеспечивает производительность 60 tok/s с окном контекста 64k при совокупных затратах на оборудование около 300 долларов за 27 ГБ объединенной видеопамяти.