Cognition представила новую модель SWE-2 на базе Kimi K3¶
7.0/10
Компания Cognition анонсировала модель SWE-2 для автоматизации разработки программного обеспечения, позиционируемую как конкурента Fable 5.1 и GPT-Astra. Новая система создана путем специализированного дообучения и обучения с подкреплением на базе модели Kimi K3. В тестировании SWE-2 демонстрирует результат 92,8% на бенчмарке Terminal Bench 2.1, но показывает лишь 27,3% на более новом Terminal Bench 4. Релиз направлен на развитие линейки ИИ-инструментов компании, однако полные спецификации и статус доступности весов модели на момент запуска не раскрыты.
Контекст¶
Компания Cognition известна как разработчик автономного ИИ-ассистента для программирования Devin. В модели SWE-2 разработчики применили дополнительное обучение с подкреплением поверх базовой модели Kimi K3 от Moonshot AI объемом 2,8 триллиона параметров.
Влияние¶
Резкое снижение показателей модели на обновленном бенчмарке указывает разработчикам на необходимость осторожной оценки SWE-2 и ее проверки на реальных задачах из-за вероятного оверфиттинга под старые тесты.
Обсуждение в сообществе¶
Пользователи выразили скепсис по поводу анонса, выделив огромную разницу между 92,8% на Terminal Bench 2.1 и 27,3% на недавно вышедшем Terminal Bench 4 как признак слабых возможностей обобщения. Дополнительную критику вызвали закрытый характер модели и прошлый негативный опыт использования продуктов компании.