主要成果
AIエージェントが、研究レベルの理論物理学における複雑な問題解決において、ほぼ完璧な精度を達成した。検証の結果、Codexで活用された「GPT-6-Astra」が、未公開の理論物理学問題50問に対して98%という極めて高い正解率を記録した。特筆すべきは、この高度なタスクを1問あたり平均3米ドル未満という低コストで完結させた点である。
技術・詳細
本テストでは、人間がAIの支援なしに解く場合、世界の専門家であっても1問に約1日かかるとされる、検証可能な回答を持つ未公開の研究レベル問題が用いられた。AIエージェントには、現実的な設定に基づいたツールへのアクセス権が付与されており、具体的には以下の機能が利用可能であった。
- 既存の文献の検索
- 数値計算および記号計算のためのスクリプト作成・実行
また、Web検索や背景となる研究論文へのアクセスを制限した条件下でも、正解率に大きな変化は見られなかった。この結果は、AIモデルが既存の文献を大幅に記憶している可能性を示唆している。
背景・業界の文脈
今回の検証では、AIの回答精度だけでなく、人間側が作成した正解の妥当性についても重要な知見が得られた。当初、評価者はGPT-6-Astraがいくつかの問題で誤りを犯したと判断していた。しかし、専門家と改めて精査したところ、元の正解データ側に微細な誤りがあることが判明した。専門家が正解を修正した結果、AIによる解答が正しかったことが確認されており、特定の領域においてAIが人間の専門家を上回る精度で計算を遂行できる状況が浮き彫りとなった。
今後の展望
今回の結果は、最新のAIエージェントが理論物理学の研究において必要とされる具体的な計算を、正確に実行できる能力を備えていることを示している。人間が数値を理解し解釈する能力は依然として重要であるものの、計算処理というプロセスにおいては、AIが極めて効率的なツールとして機能することが実証された。研究レベルの難問を低コストかつ自律的に解決できる能力は、今後の科学研究の進展速度を加速させる可能性がある。
元記事: https://humanprogress.org/ai-agent-nears-perfection-on-research-level-physics-test/
毎週の技術動向レポートを無料でお届け
各分野の分析レポートを読む価値があるかどうか一目で判断できるインフォグラフィックをメールで受け取れます。
📢 メールマガジンに無料登録（週刊・技術動向レポート）
ご登録いただくと、Troy-Technical から週刊で技術動向レポート（メールマガジン）をお届けします。
- 取得したメールアドレス・選択分野は配信目的にのみ使用します。
- 第三者へ提供することはありません。
- 配信はいつでも解除できます（各メール下部のリンクから）。
詳しくはプライバシーポリシーをご覧ください。
登録は1分・いつでも解除できます
