Низколатентный ИИ-компаньон, играющий в Skyrim вместе с автором¶
6.0/10
Разработчик pantelisk показал низколатентного ИИ-компаньона, который работает параллельно с Skyrim и голосом реагирует на происходящее в игре. Для снижения задержки игра запущена на Windows, а обработка звука и инференс модели выполняются на отдельном Mac — M4 MacBook. В проекте используется собственная архитектура ALE, которая понимает разные формулировки команд, но её исходный код не открыт. По словам автора, всё могло бы работать и на Windows при наличии выделенной видеопамяти около 12 ГБ и более. Это скорее эффектный proof-of-concept, чем готовый широко применимый инструмент.
Контекст¶
Skyrim — это ролевая игра The Elder Scrolls V, где игроки исследуют мир и взаимодействуют с множеством NPC; в игре также есть такой предмет, как эль (ale), который можно найти в тавернах или украсть у стражников. Проект Varkos добавляет к этой игре ИИ-компаньона, который понимает голосовые команды и реагирует на происходящее в реальном времени. Чтобы добиться низкой задержки, автор разделил нагрузку: игра запущена на Windows, а обработка аудио и работа модели выполняются на отдельном MacBook M4, при этом для работы всего на одной машине требуется около 12 ГБ видеопамяти.
Влияние¶
Для моддеров и разработчиков игр проект остаётся демонстрацией подхода, а не готовой библиотекой: ALE не опубликован, а для локального воспроизведения нужна отдельная машина или GPU с примерно 12 ГБ памяти.
Обсуждение¶
В комментариях проект называют забавным и многообещающим, отмечают низкую задержку и удачную «собачью» персону, но сожалеют, что ALE не открыт. Часть участников предполагает, что будущие голосовые модели вроде GPT-Live могут решить проблему латентности без отдельного слоя ALE.