安爸-超级家庭

Liquid AI发布LFM2.5:一个用于真实设备代理的紧凑型AI模型家族

安爸 发布于

液态AI发布LFM2.5,新一代基于LFM2架构的小型基础模型,专注于设备边缘部署。该模型包括LFM2.5-1.2B-Base和LFM2.5-1.2B-Instruct,并可扩展到日语、视觉语言和音频语言变体。该模型作为开源权重发布在Hugging Face上,并通过LEAP平台提供。

架构和训练方案

LFM2.5保留了为在CPU和NPUs上实现快速和内存高效的推理设计的混合LFM2架构,并扩展了数据和后训练管道。1.2亿参数主干网络的预训练从10T扩展到28T tokens。随后,指令变体进行监督微调、偏好对齐和大规模多阶段强化学习,专注于指令遵循、工具使用、数学和知识推理。

亿级规模的文本模型性能

LFM2.5-1.2B-Instruct是主要的通用文本模型。液态AI团队报告了在GPQA、MMLU Pro、IFEval、IFBench及其它几个功能调用和编码套件上的基准结果。该模型在GPQA上达到38.89分,在MMLU Pro上达到44.35分。在Llama-3.2-1B Instruct和Gemma-3-1B IT等1B级开源模型在上述指标上的得分显著较低。

https://www.liquid.ai/blog/introducing-lfm2-5-the-next-generation-of-on-device-ai

在IFEval和IFBench这两项针对多步指令遵循和函数调用质量的测试中,LFM2.5-1.2B-Instruct分别报告了86.23和47.33分。这些值优于上述液态AI表中其他1B级基准。

日语优化变体

LFM2.5-1.2B-JP 是从同一主干网络派生出的日语优化文本模型。它针对JMMLU、日语版M-IFEval和GSM8K等任务。这个checkpoint在日语任务上优于通用指令模型,并在这些本地基准上与Qwen3-1.7B、Llama 3.2-1B Instruct和Gemma 3-1B IT等其他小型多语言模型竞争或超越。

用于多模态边缘工作的视觉语言模型

LFM2.5-VL-1.6B是系列中更新的视觉语言模型。它使用LFM2.5-1.2B-Base作为语言主干,并添加一个用于图像理解的视觉塔。该模型在各种视觉推理和OCR基准上进行调整,包括MMStar、MM IFEval、BLINK、InfoVQA、OCRBench v2、RealWorldQA、MMMU和多元语言MMBench。LFM2.5-VL-1.6B在大多数指标上优于之前的LFM2-VL-1.6B,并打算用于边缘约束下的真实世界任务,如文档理解、用户界面阅读和多图像推理。

具有本地语音生成的音频语言模型

LFM2.5-Audio-1.5B是一个本地音频语言模型,支持文本和音频的输入和输出。它作为一个从音频到音频的模型展示,并使用一个描述为比之前的基于Mimi的detokenizer在相同精度上快8倍的音频detokenizer。

该模型支持两种主要的生成模式。交错生成旨在实时语音到语音对话代理中,其中延迟占主导地位。顺序生成旨在自动语音识别和文本到语音等任务上,允许在不需要重新初始化模型的情况下切换生成的模态。音频堆栈使用量化感知训练在低精度下训练,这保持了如STOI和UTMOS等指标接近全精度基线,同时使在计算能力有限的设备上实现部署成为可能。

https://www.liquid.ai/blog/introducing-lfm2-5-the-next-generation-of-on-device-ai

主要结论

  • LFM2.5是一个1.2B级混合模型家族,基于LFM2设备优化架构构建,包括基座、指令、日语、视觉语言和音频语言变体,所有这些都作为开源权重发布在Hugging Face和LEAP上。
  • LFM2.5的预训练从10T扩展到28T tokens,指令模型增加了监督微调、偏好对齐和大规模多阶段强化学习,这使得指令遵循和工具使用质量超过了其他1B级基线。
  • LFM2.5-1.2B-Instruct在1B级尺度上提供了强大的文本基准性能,在GPQA上达到38.89分,在MMLU Pro上达到44.35分,并在IFEval和IFBench上领先Llama 3.2 1B Instruct、Gemma 3 1B IT和Granite 4.0 1B等同类模型。
  • 该家族包括专门的多模态和区域变体,其中LFM2.5-1.2B-JP在其规模上实现了日语基准的最先进结果,而LFM2.5-VL-1.6B和LFM2.5-Audio-1.5B则涵盖了边缘代理的视觉语言和本地音频语言工作负载。

请查看技术细节模型权重。也欢迎您关注我们的Twitter,不要忘记加入我们的100k+ 机器学习SubReddit并订阅我们的快讯。对了!你在电报上吗?现在您也可以加入我们

查看我们的最新发布产品ai2025.dev,这是一个2025年专注的分析平台,它将模型发布、基准测试和生态系统活动转化为可以过滤、比较和导出的结构化数据集。

液态AI发布LFM2.5:为真正设备端代理设计的紧凑型AI模型家族头稿最初发布在MarkTechPost


扫描二维码,在手机上阅读