主要成果
Liquid AIが発表した「LFM3」は、単一の共通バックボーンに基づいた新世代のオープンウェイトモデル群である。パラメーター数2B規模のモデル6種が公開され、テキスト、ビジョン、音声、オムニ、意思決定の各機能をカバーしている。特筆すべきは効率性の向上で、テキストモデルのLFM3-1.7Bは、パラメーター数が35%少ないにもかかわらず、従来のLFM2.5-2.6Bを上回る性能を示した。また、ビジョンモデルのLFM3-VL-2Bは、6倍以上の規模を持つGemma 4 12Bに匹敵する性能を達成したとしている。
技術・詳細
LFM3の全モデルは、テキスト入出力を行う共通のLFM3-1.7B-Baseから派生している。各モデルの構成は以下の通りである。
- LFM3-VL-2B：テキスト、画像、動画を入力し、テキストを出力。
- LFM3-Audio-2B：テキストまたは音声を入力し、テキストまたは音声で応答。
- LFM3-Omni-2B：テキスト、画像、動画、音声を入力し、テキストと音声を生成。
- d1-2Bおよびd1-omni-2B：意思決定特化モデルで、確率的に調整された回答を返す。
アーキテクチャ面では、24層の構成（ゲート付き短畳み込み層13層、スライディングウィンドウ注意層5層、グローバル注意層6層）を採用し、畳み込みのカーネルサイズを7に拡大した。さらに、量子化時の外れ値を抑制するヘッド単位のゲート付き注意機構、部分的RoPE、サンドイッチ正規化を導入している。LFM3-1.7B-Baseは22Tトークンで事前学習され、最終段階ではエージェント的な実行過程やツール呼び出しのデータを強化し、コンテキスト長を256Kトークンまで拡張した。
背景・業界の文脈
本設計は、スマートフォン（Samsung Galaxy S26 Ultra等）やRaspberry Pi 5、Apple M4 Max、NVIDIA GPUなど、14通りのデバイスとバックエンドの組み合わせを用いた実機ベースのアーキテクチャ探索から導き出された。これにより、4ビット精度でのメモリー使用量を約1GBに抑えつつ、高いスループットを実現している。具体的にLFM3-1.7Bを単一のNVIDIA B300で運用し、1,024件の同時リクエストを処理した場合、1日あたり36億トークンの生成が可能という。
今後の展望
Liquid AIは、単一GPUでのファインチューニングを可能にし、SFTやDPO、GRPOなどのノートブックを公開した。実用例として、風力タービンのブレード写真を用いた欠陥分類精度の向上や、15種類のロボット形態における操作向けモデルへの適応が挙げられており、後者ではLIBEROスイートで平均成功率96.2%を記録した。また、Ambarella、AMD、Arm、Intel、NVIDIA、Qualcomm、Vercelなどの広範なパートナーシップを通じて、多様なハードウェアへの展開が進む見通しである。
元記事: https://www.unite.ai/ja/liquid-ai-launches-lfm3-family-of-six-open-weight-2b-class-models/
毎週の技術動向レポートを無料でお届け
各分野の分析レポートを読む価値があるかどうか一目で判断できるインフォグラフィックをメールで受け取れます。
📢 メールマガジンに無料登録（週刊・技術動向レポート）
ご登録いただくと、Troy-Technical から週刊で技術動向レポート（メールマガジン）をお届けします。
- 取得したメールアドレス・選択分野は配信目的にのみ使用します。
- 第三者へ提供することはありません。
- 配信はいつでも解除できます（各メール下部のリンクから）。
詳しくはプライバシーポリシーをご覧ください。
登録は1分・いつでも解除できます
