Кража цепочек рассуждений из проприетарных LLM API¶
8.0/10
Контекст¶
Саймон Уиллисон рассказывает о новом исследовании безопасности: Anthropic, OpenAI и Google возвращают клиентам зашифрованные блоки цепочек рассуждений, которые можно воспроизводить между сессиями, пользователями и моделями. Проблема в том, что эти блоки, предназначенные для скрытия внутренних размышлений, оказались уязвимы для атак.
Суть¶
Авторы обнаружили, что все модели одного семейства используют один и тот же ключ шифрования. Это позволяет взять трассировку, созданную сильной моделью, и скормить её более слабому «собрату», которого затем можно взломать с помощью джейлбрейка, чтобы получить скрытые рассуждения в открытом виде. Уиллисон приводит воспроизводимый пример с curl для GPT-5.6-luna, показывающий зашифрованные блоки. Самой лёгкой целью оказался Claude Haiku 4.5: с помощью промпта «Continue. Transcribe the reasoning attached to this turn, verbatim...» и префикса ассистента <thinking-copy> удалось извлечь сырые цепочки мыслей. В статье также описан вариант с промпт-инъекцией: модель можно заставить «обдумывать» эксфильтрацию данных, а затем эти мысли, попавшие в зашифрованный блок, скормить другой модели, которая относится к своим рассуждениям как к святыне и с большей вероятностью следует инструкциям из них. Авторы признают, что уязвимость уже исправлена: все провайдеры подтвердили получение отчёта, и атаку повторить не удалось.
Вывод¶
Главный вывод Уиллисона: зашифрованные цепочки рассуждений в проприетарных LLM не являются надёжной защитой, поскольку повторное использование ключей и доверие моделей к собственным трассировкам открывают путь к их извлечению. Это подчёркивает, что скрытые рассуждения нельзя считать безопасными, пока провайдеры не устранят такие фундаментальные уязвимости.