Проблемы автоматической маршрутизации в OpenRouter и их решение¶
5.0/10
Контекст¶
Главное преимущество сервиса OpenRouter заключается в автоматическом выборе наиболее выгодного провайдера и обработке отказов при обращении к единому эндпоинту модели. Однако скрытая проблема этого подхода заключается в том, что автовыбор бэкенда может нарушать воспроизводимость ответов.
Суть¶
Ссылаясь на наблюдения Мухаммеда Мустафы, Саймон Уиллисон отмечает, что динамическая маршрутизация приводит к непостоянному поведению моделей. Разные провайдеры используют отличающийся софт для инференса, оптимизации и настройки serving-систем. В результате одинаковые запросы к одному и тому же эндпоинту OpenRouter могут обрабатываться по-разному: у некоторых провайдеров может отсутствовать поддержка обработка изображений для мультимодальных моделей, а параметры уровня рассуждения (reasoning effort) могут интерпретироваться непредсказуемо. Чтобы избежать проблем с совместимостью, автор рекомендует явно зафиксировать целевого поставщика с помощью параметра `provider.only`, предварительно получив список доступных бэкендов для конкретной модели через метод `/endpoints`.
Вывод¶
Автоматическая оптимизация расходов в шлюзах LLM API способна нарушить предсказуемость приложения, поэтому для критичных задач важнее сохранять явный контроль над выбором провайдера.