用 LFM3 构建专用多模态模型

LFM3 是我们的新一代 Liquid Foundation Models（LFM），定位为专用智能的起点。它把文本、视觉、音频、omni 和决策模型放到同一个共享主干上，参数量都在 2B 级别。这意味着你可以为你的模态挑选模型，在自己的数据上微调

LFM3 是我们的新一代 Liquid Foundation Models（LFM），定位为专用智能的起点。它把文本、视觉、音频、omni 和决策模型放到同一个共享主干上，参数量都在 2B 级别。这意味着你可以为你的模态挑选模型，在单张 GPU 上用自己的数据微调，并部署到应用实际运行的地方。

相比上一代 LFM2 家族，LFM3 带来四项主要变化：

LFM2 证明了短卷积与注意力的混合架构可以在端侧高速运行而不牺牲质量。对于 LFM3，我们用硬件在环（hardware-in-the-loop）架构搜索为智能体用例重新设计了这一架构——这类用例需要更高的单参数能力与长上下文下的快速推理。此次搜索覆盖 14 种设备与后端组合，从手机和 Raspberry Pi 5，到笔记本、云端 CPU、GPU 和 Qualcomm Hexagon NPU。

LFM3-1.7B-Base 有 24 层，包含四项主要变化：

收益在长上下文中显现。按每参数衡量，LFM3-1.7B 在各边缘设备的短提示上与 LFM2-1.2B 相当，而上下文达到 8K token 时约快 25%。LFM3-1.7B-Base 以 22T token 预训练，词表与 LFM2.5-8B-A1B 相同，为 128K。最后 3.5T token 是在精选数据上的 mid-training 阶段，智能体轨迹和工具调用占比更高，同时也把上下文窗口扩展到 256K token。

每个主 LFM3 模型都从 LFM3-1.7B-Base 分支而来。你不必运行一个大而全的通用模型，而是挑选匹配自己输入的那个模型，加以定制，然后在设备端运行。

视觉和音频模型还配备了两个新的自研编码器：

每个模型都可在 transformers 中运行。下面的代码片段来自各模型卡，模型卡还列出了每个模型支持的其他推理引擎。

当你需要本地智能体、工具调用、结构化输出或领域微调基座时，选 LFM3-1.7B。它经过后训练，可运行在 Hermes Agent、Pi、OpenClaw 等智能体框架中。它以少 35% 的参数超越了前代 LFM2.5-2.6B，而提升最大的是智能体任务：在 WebArena-Verified 上得分为 38.42 对 3.02，在浏览器和商业应用的长任务上甚至胜过 Qwen3.5-9B。更多细节见 LFM3-1.7B 模型卡。

要运行 LFM3-1.7B，安装最新版 transformers：

本地智能体的配置参见 Agent Harnesses 指南。

当你需要端侧视觉理解时，选 LFM3-VL-2B。它是首个接受视频输入的 LFM 视觉模型；它在回答前会逐步推理，还能定位物体并推理物体间的位置关系，为机器人应用打下坚实基础。相比 LFM2.5-VL-3B，它参数更少（1.9B 对 3.1B），却把 62 项视觉基准的平均分从 57.6 提到 71.4，与体量大出六倍多的 Gemma 4 12B 相当。更多细节见 LFM3-VL-2B 模型卡。

要运行 LFM3-VL-2B，安装 transformers>=5.21.0 及其视觉依赖：

工具调用、工具搜索以及基于 llama.cpp 的端侧推理见 LFM3-VL-2B 模型卡。

当你需要在笔记本或边缘设备上做 18 种语言的语音对话、语音识别、语音合成或翻译时，选 LFM3-Audio-2B。它以文本或音频为输入，以文本、语音或两者兼有的方式回应，还能把口头请求转化为工具调用。相比 LFM2.5-Audio-1.5B，它采用新的自研音频编码器和语音编解码器，语音质量更高（UTMOSv2 3.83 对 3.22），并新增音频理解、通用音频推理和工具调用。更多细节见 LFM3-Audio-2B 模型卡。

要运行 LFM3-Audio-2B，安装 transformers>=5.20.2 及其音频依赖：

直接从 Hugging Face Hub 加载模型和处理器：

然后说出一个问题，就能得到文本加语音的回复：

实时语音识别、语音合成、音频理解和工具调用见 LFM3-Audio-2B 模型卡。

当你需要一个能看、能听、能开口回答的端侧模型，以取代独立的 ASR 模型、视觉语言模型、LLM 和 TTS 模型时，选 LFM3-Omni-2B。它可以口头回答关于图片的问题，边看边听视频，并把所见所闻转化为工具调用。这是我们的首个 omni 模型，接受文本、视觉和音频输入，同时提供文本和语音输出，并保留了各独立 LFM3 模型的核心能力，包括视觉问答、语音识别、语音合成和指令遵循。与 LFM3-Audio-2B 一样，它通过 LiquidCodec 发声，该编解码器把生成的 token 转成语音的速度快于实时，因此语音回复可以随模型生成而流式输出。在音视频理解上，它在 Daily-Omni、WorldSense 和 AV-SpeakerBench 上击败了最高 10.7B 参数的模型，例如 Qwen2.5-Omni-7B。更多细节见 LFM3-Omni-2B 模型卡。

要运行 LFM3-Omni-2B，安装 transformers>=5.20.2 及其视觉…