Liquid AI开源多模态模型LFM2-VL，用4.5亿参数实现高效视觉理解

近期，英伟达研究团队发表的一项研究表明，小语言模型（SLMs，Small Language Models）在 AI 智能体（Agent）系统中具备巨大潜力，能够以更低的成本和延迟提供与大模型相当的性能。研究指出，当前 AI Agent 系统过度依赖大语言模型（LLMs，Large Language Models）的设计范式存在经济和环境可持续性问题，而小模型在专门化任务上往往能够达到甚至超越大模型的表现，同时其较低的计算需求和内存占用使其更适合在智能手机、边缘设备等终端环境中部署。越来越多的厂商也在推出更小规模的模型，例如谷歌最近推出的 270M 参数的 Gemma 3 270M 模型，显示出业界对高效小模型的重视。

图丨相关论文（来源：arXiv）

也正是在这一趋势下，脱胎于麻省理工学院（MIT）计算机科学与人工智能实验室（CSAIL）的人工智能公司 Liquid AI，正式推出了其首个视觉-语言基础模型系列 LFM2-VL。该系列模型就旨在解决当前多模态人工智能模型因体积庞大而难以在终端设备上部署的普遍问题，致力于为智能手机、笔记本电脑、可穿戴设备和各类嵌入式系统提供高效、低延迟的 AI 视觉理解能力。目前，LFM2-VL 系列的模型权重已在 Hugging Face 社区开源，供开发者和研究人员使用。

LFM2-VL 系列首批发布了两种不同参数规模的模型，以满足不同设备的部署需求。其中，LFM2-VL-450M 是一款拥有 4.5 亿参数的轻量级模型，主要面向资源极为有限的环境，如智能手表或基础物联网节点。

另一款 LFM2-VL-1.6B 则拥有 16 亿参数，提供更全面的性能，适用于高端智能手机、个人电脑以及配备单块 GPU 的设备。根据 Liquid AI 公布的数据，LFM2-VL 在 GPU 上的推理速度最高可达同类视觉语言模型的两倍，同时在图像描述、视觉问答等多个行业标准基准测试中，其表现与一些参数量更大的模型相比也具有竞争力，而内存占用则显著降低。

图丨基准测试结果（来源：Liquid AI）

LFM2-VL 的性能优势来源于其独特的底层架构。该模型构建于 Liquid AI 自家的液态基础模型（LFM, Liquid Foundation Models）之上，这一架构的设计灵感源自于动态系统与信号处理理论，与当前主流的 Transformer 架构在处理序列数据的方式上有所不同，为其带来了计算效率上的先天优势。具体到 LFM2-VL 的实现，其结构由语言模型主干、视觉编码器和多模态投影器三个核心模块组成。语言部分沿用了 LFM2 模型，而视觉编码器则采用了 SigLIP2 NaFlex。

图丨 LFM2-VL 架构与数据流示意图（来源：Liquid AI）

为了进一步提升效率，LFM2-VL 集成了一项名为“像素解混（pixel unshuffle）”的技术。该技术能够在处理图像时智能地减少需要分析的图像令牌（token）数量，从而降低计算负荷，加快处理速度。在处理图像输入方面，LFM2-VL 也避免了许多模型中常见的图像失真问题。它支持最高 512x512 像素的原生分辨率输入，无需对图像进行强制拉伸或裁剪。对于超过此尺寸的图像，模型会将其分割为多个无重叠的图块进行处理，并通过编码一幅完整的低分辨率缩略图来获取全局上下文信息，以此保证对图像细节和整体场景的全面理解。

在实际应用中，开发者可以根据具体需求，在不重新训练模型的情况下，通过调整输入模型的图像令牌和图块数量，来动态平衡模型的处理速度与分析精度。为了便于社区使用，LFM2-VL 已与 Hugging Face Transformers 等主流开发库集成，并支持量化技术，可通过降低数据精度来进一步压缩模型体积，适应边缘硬件的严苛要求。

在许可方面，该模型对年收入低于 1000 万美元的公司提供免费商业使用授权，而大型企业则需联系 Liquid AI 获取商业许可。

对于 AI Agent 和海量的终端设备而言，像 LFM2-VL 这样轻量、高效、专为端侧设计的模型，正是将 AI 能力从云端解放出来、推向大规模实际应用的关键。AI 的下一个浪潮，或许将由这些小而精悍的模型驱动，它们才是真正让智能无处不在的核心力量。

参考资料：