主要成果
Metaが公開した「Muse Spark Open」は、現時点で米国における最も有能なオープンウェイトモデルとされる。このモデルは、マルチファイルのリファクタリングや長時間のデバッグセッションといった実際の開発ワークフローに基づいて最適化されており、計画、実行、観察、自己修正を行うエージェント的なコーディング能力に特化している。また、画像、音声、ビデオを同時に入力できるため、スクリーンショットの読み取りや音声メモの聴取、画面録画の視聴を行いながらコードを記述することが可能である。
技術・詳細
アーキテクチャにはMixture-of-Experts（MoE）を採用しており、総パラメータ数は約8160億、1トークンあたりのアクティブパラメータ数は約420億となっている。モデルは62層で構成され、隠れ次元は8192、Grouped-query attention（GQA）を実装している。各層のMoEブロックには256のエキスパートが存在し、ルーターがトークンごとに8つのエキスパートを選択して実行する。これにより、メモリには816Bモデル分の容量が必要だが、計算速度は42Bモデル相当の高速動作を実現している。
マルチモーダル処理については、以下の構成となっている。
- 画像・ビデオ：18億パラメータの知覚エンコーダーを使用し、画像を14×14のパッチに分割して処理する。
- 音声：畳み込みピラミッド構造のオーディオエンコーダーを搭載し、80ミリ秒につき1つのオーディオトークンを生成する（秒間12.5トークン）。
- コンテキスト：最大104万8576トークンのウィンドウを持ち、テキスト、画像、ビデオ、音声トークンを同一ウィンドウ内で処理できる。
展開形式としては、BF16チェックポイント（約1.5 TB）のほか、NVIDIA Blackwell GPU向けに精度損失を最小限に抑えた4ビット精度のNVFP4チェックポイントが提供されている。
背景・業界の文脈
本モデルは、先にリリースされた小型の密（dense）モデル「Muse Glimmer」と同じシリーズに属しており、同一のトークナイザーと語彙を使用している。Muse Glimmerがローカル実行に適した設計であるのに対し、Muse Spark Openはより大規模なスケールでMoEアーキテクチャを導入したフルサイズモデルとして位置づけられている。
今後の展望
Metaは、開発者がこのモデルを容易に利用できるよう、llama.cpp、vLLM、SGLangなどのレシピを提供している。また、マルチモーダル入力からテキストを生成するための「MuseSparkForConditionalGeneration」や、会話準備用の「MuseSparkProcessor」といった実装も提供されており、高度なコーディングエージェントの開発への活用が期待される。
元記事: https://huggingface.co/blog/meta-muse-spark-open
毎週の技術動向レポートを無料でお届け
各分野の分析レポートを読む価値があるかどうか一目で判断できるインフォグラフィックをメールで受け取れます。
📢 メールマガジンに無料登録（週刊・技術動向レポート）
ご登録いただくと、Troy-Technical から週刊で技術動向レポート（メールマガジン）をお届けします。
- 取得したメールアドレス・選択分野は配信目的にのみ使用します。
- 第三者へ提供することはありません。
- 配信はいつでも解除できます（各メール下部のリンクから）。
詳しくはプライバシーポリシーをご覧ください。
登録は1分・いつでも解除できます
