← 返回资讯热点
AI热点MarkTechPost发布时间:2026-09-13 17:02热度 108.0000

普林斯顿研究员提出循环环状Transformer(RLT):跨token携带解码器状态,每token固定96个块,时间深度无界

张一凡(Yifan Zhang)的循环环状Transformer(RLT)技术报告提出一种因果编码器与循环解码器配对的架构。解码器跨每个提示和响应token携带最终隐藏状态和逐层滑动窗口注意力缓存,服务边界不重置。参考配置使用48个编码器层和48个解码器层,每token执行96个逻辑块,t个token后状态路径增长到48t个解码器块。设计还规定了硬件感知执行和精确的当前策略RL重放契约。尚未发布代码、权重或测量结果。

来源:MarkTechPost
说明:本站展示中文整理摘要,便于快速阅读;完整内容和版权归原站所有。