Zyphra 推出分层注意力 ZHA：迈向真正的亚二次注意力

Zyphra 发布层级注意力机制 ZHA，这是一种树索引的稀疏注意力方法。它通过约 40 亿 token 的蒸馏对冻结的大模型进行改造，在推理任务和 256K 长上下文检索基准上与稠密注意力表现相当，被视为通往真正亚二次复杂度注意力的一条可行路径。