斯坦福与伯克利团队推出 TokenGate：用 Token 门控注意力把长上下文预填充提速至多 11.3 倍

斯坦福大学和加州大学伯克利分校的研究人员发布 TokenGate，这是一个可直接嵌入大语言模型的可学习 Token 剪枝模块。它能把长上下文预填充的首次 Token 生成时间缩短 1.4 至 11.3 倍，峰值内存降低 1.5 至 3.4 倍，且不损失准确率。该消息最初由 MarkTechPost 发布。