14 сентября 2026
Оригинал
Looped Transformer сейчас одна из самых обсуждаемых архитектурных идей. В новом техническом отчёте цикл предлагают растянуть уже между токенами. Recurrent Looped Transformer делает декодер рекуррентным для каждого токена, включая и запрос, и ответ. Каузальный энкодер формирует общую KV-память. Для каждого нового токена декодер объединяет: > представление этого токена из энкодера > собственное финальное скрытое…
175 просмотров