Axelera AI Titania|次世代AI推論アーキテクチャの性能とTCO・電力効率

Business Wire(Yahoo Finance掲載) オランダ
概要
Axelera AIが、チップレット設計を採用した第3世代シリコンアーキテクチャ「Titania」を公開しました。既存のデータセンターの電力・冷却制限内で動作し、最高性能のデータセンター向けサーバーと比較して最大7倍のワット当たりスループットと、最大20倍のTCO(総所有コスト)改善を実現するととしています。これにより、高額な液冷ラックへの設備投資なしで、企業が自社で大規模なAI推論インフラを所有・制御することが可能になります。
詳細

主要成果

Axelera AIが発表した「Titania」は、既存のデータセンター設備で動作しつつ、HPC(ハイパフォーマンスコンピューティング)クラスのAI応答性を実現する第3世代のチップレット設計アーキテクチャです。特筆すべきは、現代の最高密度GPUシステムが要求する100kW以上の液冷ラックを必要とせず、空冷環境を含む既存のラックに適合する点です。性能面では、現行の最高水準のデータセンター向けサーバーに対し、ワット当たりのスループットで最大7倍、TCO(総所有コスト)で最大20倍の向上を見込んでいます。

技術・詳細

Titaniaは、同社のデジタル・インメモリ・コンピューティング(D-IMC)アーキテクチャをベースに、チップレット設計、大容量のLPDDR6メモリ、高帯域幅のスケールアップ接続、およびプログラム可能なRISC-Vコンピューティングを統合しています。特にメモリ戦略において、希少で高価なHBM(高帯域幅メモリ)に頼らず、低コストで入手容易なLPDDR6を採用した点が特徴です。これにより、パッケージあたり128GBの容量を確保しつつ、メモリ電力を低減しています。これは、パラメータ総数は多いがアクティブなパラメータは少ない「Sparse Mixture-of-Experts(疎な混合専門家)」モデルにおいて、ピーク帯域幅よりもメモリ容量と有効利用率が重要であるという設計思想に基づいています。

具体的な構成例として、8つのSiP(システム・イン・パッケージ)アクセラレータを搭載したリファレンスサーバー「AX8」では、標準的な4U空冷サーバー内で以下の性能を提供します。

  • FP8演算性能:20 PFLOPS
  • アクセラレータメモリ:1 TB
  • メモリ帯域幅:19.6 TB/s
  • 典型的な消費電力:5-6kW

この構成により、FP4精度で1.6兆パラメータのモデルを保持でき、従来の15kWラックに2台、30kW空冷ラックに5台のサーバーを収容可能です。

背景・業界の文脈

現在、AIのワークロードが推論へと移行する中で、多くの組織がインフラの「トークノミクス(コスト効率)」という課題に直面しています。特に企業にとって、データセンターの設備刷新を含む膨大なCAPEX(設備投資)を伴う自社インフラの所有は困難であり、小・中規模モデルしか扱えないサーバーか、あるいは専用インフラを必要とする100万ドル以上の高額なサーバーかの二択を迫られていました。Titaniaは、このコストとインフラの障壁を取り除き、企業やソブリンクラウド、通信事業者が自前で推論インフラを制御することを可能にします。

今後の展望

Titaniaは、先行するMetisおよびEuropaのプログラマビリティと効率性を継承し、エッジやエンタープライズAIから大規模データセンター推論まで製品ラインを拡大します。フォームファクタは標準的なPCIeカードから、OCP準拠のUBBベースボード(8つのTitania OAMモジュールを接続)まで幅広く展開され、OEMパートナーを通じて提供されます。ソフトウェア面ではVoyagerツールチェーンにより、テンソル・エキスパート・パイプライン並列化に加え、投機的デコードやKVキャッシュのオフロード・分離などの機能を標準でサポートし、効率的なモデル運用を実現します。

元記事: https://finance.yahoo.com/technology/ai/articles/axelera-ai-unveils-titania-architecture-140000512.html

毎週の技術動向レポートを無料でお届け

各分野の分析レポートを読む価値があるかどうか一目で判断できるインフォグラフィックをメールで受け取れます。

📢 メールマガジンに無料登録(週刊・技術動向レポート)

ご登録いただくと、Troy-Technical から週刊で技術動向レポート(メールマガジン)をお届けします。

  • 取得したメールアドレス・選択分野は配信目的にのみ使用します。
  • 第三者へ提供することはありません。
  • 配信はいつでも解除できます(各メール下部のリンクから)。

詳しくはプライバシーポリシーをご覧ください。

登録は1分・いつでも解除できます

この記事は Troy-Technical が公開しています。素材メーカーで技術開発に携わってきた技術者が、個人で運営しているサイトです。
運営者について / お問い合わせ info@troy-technical.jp
よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

目次