Liquid AI 发布 LFM2.5-VL-3B-DSpark:为视觉语言模型引入推测解码,最高提速 3.13 倍
Liquid AI 发布 LFM2.5-VL-3B-DSpark,这是一个 2.795 亿参数的草稿模型,为其 LFM2.5-VL-3B 视觉语言模型引入推测解码。它在 Apple M5 Max 上最高实现 3.13 倍解码加速,在 H100 上为 2.66 倍,并且在贪心解码下输出完全一致。该功能已支持 llama.cpp、MLX-VLM 和 SGLang。
说明:本站展示中文整理摘要,便于快速阅读;完整内容和版权归原站所有。