Перейти к содержанию

Looped Transformers и скрытые рассуждения: разбор слухов о GPT-6 Astra

7.0/10

2026-09-10tech-newshackernews · ModelForge · Sep 9, 14:37 · Обсуждениеmagazine.sebastianraschka.com

Исследователь Себастьян Рашка (Sebastian Raschka) опубликовал технический разбор концепций рекуррентной глубины (recurrent depth) и циклических трансформаторов (looped transformers) в контексте слухов о модели GPT-6 Astra. В публикациях СМИ утверждалось, что циклические трансформаторы используются в Astra как секретная технология, скрывающая цепочки рассуждений (Chain-of-Thought) от внешнего мониторинга. Рашка разъясняет, что эта архитектура является развитием идей Universal Transformers и предназначена для повторного использования весов слоев с целью экономии видеопамяти GPU при увеличении эффективной глубины модели. Настоящее сокрытие процесса мышления происходит только при работе с рекурсивными состояниями в скрытом латентном пространстве (recursive latent reasoning), а не за счет базового повторного прохода данных через те же веса.

Контекст

Архитектура цикличных трансформаторов (looped transformers или recurrent depth) подразумевает повторное использование одних и тех же слоев модели с общими весами, что позволяет выполнять глубокие вычисления без увеличения количества параметров и расхода памяти. В контексте современных языковых моделей термин «скрытое рассуждение» (hidden reasoning) относится к генерации промежуточных цепочек мыслей (chain-of-thought) или работе в скрытом пространстве перед формированием финального ответа. Статья Себастьяна Рашки разбирает технические особенности этих подходов в связи с обсуждением архитектуры моделей класса GPT-6 Astra.

Влияние на индустрию

Анализ позволяет разработчикам и исследователям разграничить практическую оптимизацию использования памяти GPU через повторное использование весов от гипотетических архитектур с незаметным для пользователя латентным рассуждением.

Обсуждение в сообществе

Участники дискуссии подчеркивают, что циклические трансформаторы ошибочно воспринимаются как принципиально новая технология, хотя они опираются на давние исследования Universal Transformers. Также в сообществе обсуждаются теоретические пределы цепочек рассуждений и гипотетическая возможность обучения вспомогательных декодеров для расшифровки латентных состояний моделей.

Источники

Покрытие источниками

Проверяются выбранные ключевые утверждения, а не истинность всей статьи целиком.

  1. Предварительно: новость слишком свежая

    Looped Transformers и скрытые рассуждения: разбор слухов о GPT-6 Astra

  2. Найдена запись о релизе

    Исследователь Себастьян Рашка (Sebastian Raschka) опубликовал технический разбор концепций рекуррентной глубины (recurrent depth) и циклических трансформаторов (looped transformers) в контексте слухов о модели GPT-6 Astra.

  3. Предварительно: новость слишком свежая

    Рашка разъясняет, что эта архитектура является развитием идей Universal Transformers и предназначена для повторного использования весов слоев с целью экономии видеопамяти GPU при увеличении эффективной глубины модели.