H公司发布NeoMME：260M和800M单塔多模态编码器系列，舍弃视觉塔和因果解码器

我们来看NeoMME，这是H公司推出的260M和800M双向编码器系列。与ColPali风格检索器不同，它在单个Transformer中处理多语言文本令牌和原始32×32图像块，无需预训练视觉塔和因果解码器。我们涵盖了掩码离散扩散预训练目标、双密集和后期交互检索头，以及ViDoRe v3结果，其中260M模型达到0.523 nDCG@10。我们还分析了255×索引压缩、在单块L40S上每秒51.3页的索引吞吐量，以及作者承认的文本检索差距。原文首发于MarkTechPost。