主要成果
Stanford HAIによる一連の評価から、現在の最先端AIエージェントは、実際の医療現場における実務の半分未満しか完遂できないことが明らかになりました。LLM（大規模言語モデル）は医師免許試験などの選択式テストではほぼ満点に近いスコアを記録しますが、電子健康記録（EHR）などのシステムを横断し、複数のドキュメントを参照してタスクを完遂させる実務能力には大きな課題が残っています。
技術・詳細
研究チームは3年間で、段階的に現実的なタスクへと移行する3つのベンチマークを構築しました。
- MedHELM： 29人の臨床医の協力を得て、5つのカテゴリー、22のサブカテゴリー、121のタスクからなるタキソノミーを構築。単一のプロンプトに対する回答を評価する形式で、9つの最先端モデルを検証しました。その結果、「患者へのコミュニケーションと教育」の勝率は0.76〜0.89と高かった一方、「管理およびワークフロー」は0.53〜0.63と最も低い数値となりました。
- MedAgentBench： 仮想的なEHR環境において、100人の患者プロフィールに基づいた300のタスクを検証。2025年初頭の時点では最先端モデルでもタスク完遂率は70%未満でしたが、2026年にはエージェント機能の向上により90%を超えるモデルが登場しています。
- PhysicianBench： 21の専門分野にわたる、プライマリケア医と専門医の実際の診療に基づいた100の「ロングホライズン（長期的な）」かつ多段階のタスクを検証し、より高度な実務能力を測定しています。
背景・業界の文脈
医療AIにおける最大の課題は、単なる「予測」や「回答」と、それが実際の「患者への介入」や「業務完遂」につながることの間にある深い溝（チャズム）にあります。特に米国では、医療管理コストが年間1兆ドルを超えており、医療機関は管理業務や臨床意思決定の自動化によるコスト削減を強く求めています。しかし、MedHELMの結果が示す通り、最もリターンの大きい管理・ワークフロー分野こそが、AIにとって最も困難な領域となっています。
今後の展望
単一の回答を採点する評価手法では、事前承認手続きのように「EHRの確認→基準チェック→書類収集→フォーム入力→提出→記録」という多段階のプロセスを完遂できるかを判断できません。今後は、AIに環境とツールを与えて実際に動作させ、環境にどのような変化が生じたかを確認するエージェントベースの評価が不可欠となります。AIが「できると言っていること」と「実際にできること」の乖離を埋めることが、臨床的に有用なAIを実現するための鍵となります。
元記事: https://hai.stanford.edu/news/measuring-what-medical-ai-can-actually-do
毎週の技術動向レポートを無料でお届け
各分野の分析レポートを読む価値があるかどうか一目で判断できるインフォグラフィックをメールで受け取れます。
📢 メールマガジンに無料登録（週刊・技術動向レポート）
ご登録いただくと、Troy-Technical から週刊で技術動向レポート（メールマガジン）をお届けします。
- 取得したメールアドレス・選択分野は配信目的にのみ使用します。
- 第三者へ提供することはありません。
- 配信はいつでも解除できます（各メール下部のリンクから）。
詳しくはプライバシーポリシーをご覧ください。
登録は1分・いつでも解除できます
