主要成果
Apertus 1.5は、前世代のApertus 1.0をベースに、マルチモーダル理解、推論能力を向上させる「思考モード」、および大幅に拡張されたコンテキストウィンドウを実装したモデルです。8Bモデルには4兆トークン、70Bモデルには2兆トークンのテキストおよびマルチモーダル学習データを追加し、合計でそれぞれ19Tおよび17Tのトークンでトレーニングされました。モデルの重みは2026年7月24日にApache 2.0ライセンスでHugging Faceに公開されています。
技術・詳細
本モデルの最大の特徴は、アーキテクチャを変更せずにマルチモーダル化を実現した「早期融合（early-fusion）」アプローチです。画像はEmu3.5トークナイザー（512×512ピクセルを1,024トークンに変換）、音声はWavTokenizer（1秒あたり40トークン）を用いて離散トークン化され、テキストと同じシーケンスとして処理されます。これにより、テキストのみのトレーニング速度を維持したまま、画像や音声の入力が可能となりました。なお、出力はテキストのみに限定されています。
トレーニングは、未ペアデータによる新モダリティの学習、ペアデータによる言語整合、高品質データによるクールダウン、そしてコンテキストウィンドウを8kから262kまで段階的に拡大させるロングコンテキスト学習の4段階で構成されています。ポストトレーニングでは、SFT、ロングコンテキストSFT、RLVR（検証可能な報酬を用いた強化学習）、DPO、そしてApertus憲章に準拠させるSDPOの5段階を経て最適化されています。
背景・業界の文脈
評価面では、MLLM-eval-suiteやlm-evaluation-harnessのフォーク版を用い、透明性の高いベンチマークを実施しています。Apertus 1.5 8Bは、同サイズのオープンウェイトモデルと比較して命令追従（IF）や多言語タスクで優れた性能を示しました。特に翻訳能力においては、Last Translation BenchmarkでGPT-OSS-20Bに匹敵し、Claude Haiku 4.5やGoogle Translateを上回る結果を記録しています。また、スイスの法律関連タスクにおいても、主要なオープンウェイトモデルと同等の性能を達成しています。
今後の展望
マルチモーダル性能については、Gemma 4 12Bなどの現行オープンウェイトモデルに近い水準に達しており、特に空間理解やドキュメント・チャートの理解において競争力を備えています。また、EvalEval Coalitionとの連携により、スコアだけでなく生成設定や評価手法を含む「Every Eval Ever (EEE)」スキーマでの結果公開を行っており、再現性の高いオープンな評価エコシステムの構築を目指しています。
元記事: https://huggingface.co/blog/swiss-ai/apertus-v15-release-notes
毎週の技術動向レポートを無料でお届け
各分野の分析レポートを読む価値があるかどうか一目で判断できるインフォグラフィックをメールで受け取れます。
📢 メールマガジンに無料登録（週刊・技術動向レポート）
ご登録いただくと、Troy-Technical から週刊で技術動向レポート（メールマガジン）をお届けします。
- 取得したメールアドレス・選択分野は配信目的にのみ使用します。
- 第三者へ提供することはありません。
- 配信はいつでも解除できます（各メール下部のリンクから）。
詳しくはプライバシーポリシーをご覧ください。
登録は1分・いつでも解除できます
