T最新テックトレンド

OpenAIがコーディングベンチマークの再定義へ：SWE-bench Verifiedの限界とSWE-bench Proへの展望

Latent Space
0:00--:--

近年、人工知能、特に大規模言語モデル（LLM）の進化は目覚ましく、その能力はコード生成の分野においても劇的な進歩を遂げています。GitHub Copilotのようなツールは、開発者の日常業務に深く浸透し、生産性向上に貢献しています。しかし、これらのAIモデルの真のコーディング能力を客観的かつ厳密に評価するためのベンチマークは、常にその進化を追いかける必要があります。OpenAIは、これまでコーディング能力の進捗を測る上で重要な役割を担ってきたベンチマーク「SWE-bench Verified（SWE-bench-V）」の限界を指摘し、より高度で、より現実世界に即した評価を目指す新しいベンチマーク「SWE-bench Pro」への移行を発表しました。

本記事では、OpenAIの研究者であるMia Glaese氏（研究担当VP）とOlivia Watkins氏（研究者）へのインタビューに基づき、SWE-bench-Vがなぜその役割を終え、SWE-bench Proがどのような課題を解決し、今後のAIコーディング能力の評価にどのような影響を与えるのかを詳細に分析します。また、OpenAIがAI開発の安全性と社会への責任を果たすために構築している「準備フレームワーク」の中で、これらのベンチマークがどのような位置づけにあるのかについても深く掘り下げていきます。

SWE-bench Verifiedの功績と飽和の兆候：コーディングベンチマークの夜明けと限界

AIによるコード生成能力の評価は、その黎明期から多くの課題を抱えていました。従来のアルゴリズム的な問題解決能力を測るベンチマークでは、リアルワールドの複雑なソフトウェア開発タスクにおけるAIの性能を十分に捉えきれませんでした。このような状況の中、OpenAIが発表したSWE-bench Verified（SWE-bench-V）は、コーディング能力を測る上で画期的なベンチマークとして登場しました。

SWE-bench-Vの最も特徴的な点は、その問題が実際のソフトウェア開発現場で発生したGitHubイシューから直接抽出されたという点にあります。このベンチマークでは、AIエージェントに対してコードベース全体と、GitHubイシューとして提示されるタスクの記述が与えられます。エージェントは、この情報を基に、問題解決のための適切なコード変更（パッチ）を生成し、その変更が既存のテストをパスするかどうかで評価されます。OpenAIは、Princeton大学が開発した学術ベンチマーク「SWE-bench」をベースに、より厳密な検証とデータキュレーションを加え、「Verified」版として公開しました。

当初、SWE-bench-Vは、リアルワールドのコーディングベンチマークが不足していたAI研究コミュニティにおいて、瞬く間に主要な評価指標の一つとなりました。AIモデルの能力が向上するにつれて、モデルがSWE-bench-Vでどれだけ高いスコアを出せるかが、そのモデルのコーディング能力を測る重要な尺度として広く認識されるようになりました。多くの研究機関や企業が、自社のAIモデルの優位性を示すために、SWE-bench-Vのスコアを競い合いました。

しかし、この成功の裏側で、SWE-bench-Vは二つの大きな課題に直面していました。それが「飽和」と「汚染」です。

「飽和」の問題 AIモデルの性能が著しく向上した結果、多くのフロンティアモデルがSWE-bench-Vで非常に高いスコアを達成するようになりました。これは一見喜ばしい進歩のように思えますが、ベンチマークとしては、モデル間のわずかな性能差しか捉えられない状態を意味します。モデルが90%台後半のスコアを安定して出すようになると、「0.1%の改善」が本当に意味のある進歩なのかを判断することが難しくなります。ベンチマークが飽和してしまうと、もはやそのベンチマークで得られるスコアが、モデルの真のコーディング能力の改善を適切に反映しているとは言えなくなります。

「汚染」の問題 さらに深刻な問題として、「汚染（Contamination）」が指摘されました。SWE-bench-Vの問題は、オープンソースのGitHubリポジトリから収集されたものです。LLMは、インターネット上の膨大なテキストデータで訓練されますが、これにはGitHubの公開リポジトリも含まれます。その結果、モデルが訓練段階でベンチマークの問題文や、その問題に対する実際の解決策（パッチ）を学習してしまう可能性が生じます。

OpenAIの検証では、この汚染が実際に発生していることが明らかになりました。例えば、特定のタスクにおいて、モデルが問題の記述には明示されていない、過去のリポジトリのバージョンで実装されていた特定の引数名を「推論」し、それを用いてテストをパスするケースが見られました。モデルが単に問題解決能力が高いのではなく、訓練データに含まれる「記憶」に頼ってしまっている可能性が高いということです。このような汚染されたベンチマークでは、モデルの汎用的な推論能力や問題解決能力ではなく、訓練データへのアクセス度合いや記憶能力を測ってしまっていることになり、ベンチマークとしての価値が損なわれます。

Mia Glaese氏が指摘するように、「モデルはもはやコーディング能力の改善を適切に測定できていない」という現状は、AI研究コミュニティ全体が直視すべき課題となっています。

OpenAIによる厳格な検証プロセス：なぜ人間による介入が必要だったのか

SWE-bench-Vが直面した飽和と汚染の問題は、OpenAIが「準備フレームワーク（Preparedness Framework）」の一環として行った徹底的な検証によって浮き彫りになりました。このフレームワークは、AIモデルのフロンティアリスク（バイオリスク、サイバーセキュリティ、モデルの自律性・研究自動化など）を評価・追跡するために設計されており、コーディング能力は特に「研究自動化」と「モデルの自律性」の分野で重要な指標とされています。

OpenAIのチームは、当初SWE-bench-Vをフロンティアリスクの評価指標として採用しましたが、モデルの性能が頭打ちになるにつれ、単にモデルの能力が停滞しているのか、それともベンチマーク自体に問題があるのかという疑問が生じました。この疑問に応えるため、OpenAIは前例のない規模の人的データキャンペーンに着手しました。

約100人の専門家によるレビュー OpenAIは、約100人の経験豊富なソフトウェアエンジニアを雇い、SWE-bench-Vの個々の問題を詳細にレビューする作業を行いました。この作業は非常に労力を要するものでした。エンジニアたちは、コードベース全体の文脈を理解した上で、提示されたタスクが明確に定義されているか、そしてそのタスクを解決するためのテストが公平であるか、といった点を評価しました。Mia Glaese氏は、この作業の困難さについて「問題文とパッチを見るだけではない。コードベースの文脈でそれを理解し、タスクを解決する必要がある。非常に複雑な問題だった」と語っています。

この詳細なレビューの結果、驚くべき事実が判明しました。多くのケースでエージェントが失敗していたのは、モデルの能力不足ではなく、**「問題設定自体が不適切（bad problem setups）」**だったのです。たとえば、問題の記述が曖昧であったり、テストが特定の非自明な実装詳細に依存していたりすることがありました。Olivia Watkins氏は、「一部のケースでは、モデルが失敗したのが、単にモデルが『バカ』だったからではなく、問題設定自体に欠陥があったからだと判明した」と述べています。

汚染の深層分析とCoTの証拠 さらに、この人的レビューは、ベンチマーク汚染のより深い側面を明らかにしました。OpenAIの「GPT-4 Thought (CoT)」というモデルの思考プロセスを可視化する技術を用いることで、モデルが訓練データからの「記憶」に頼って問題を解決していることを示す具体的な証拠が見つかりました。

Olivia Watkins氏は、あるタスクで、モデルが特定の引数を追加するように求められていなかったにもかかわらず、その引数を追加することでテストをパスした例を挙げました。CoTの出力を見ると、モデルは「このリポジトリの以前のバージョンでは、この特定の引数が実装されていた可能性がある。たぶんそれも追加すべきだ」といった推論を展開していたのです。これは、モデルが訓練データからリポジトリの特定の歴史的情報にアクセスし、それを利用して問題を解決していることを示唆しています。

このような汚染は、単にテストにパスしたかどうかという表面的な結果だけでは見抜くことが困難です。人間の専門家がモデルの出力と、そのモデルが利用可能な知識の範囲を照らし合わせることで初めて、汚染の証拠を特定できました。Mia Glaese氏も、「ベンチマークが汚染されているかどうかを業界全体で理解するための本格的な調査が必要だった」と強調しています。

この大規模な人的検証作業は、膨大なリソースと時間を要しました。しかし、これによりOpenAIは、SWE-bench-Vの500のタスクのうち、約半数に何らかの問題があることを特定し、真にクリーンで公平なベンチマークの必要性を強く認識するに至りました。これは、ベンチマーク自体の信頼性を確保するために、多大な投資が必要であることを示すと同時に、AI評価の厳格化に向けたOpenAIのコミットメントを示すものでもあります。

SWE-bench Pro：次世代のコーディングベンチマークでAIの真価を問う

SWE-bench Verifiedが直面した飽和と汚染の問題を受け、OpenAIは次なる進化として「SWE-bench Pro」の開発を発表しました。この新しいベンチマークは、AIモデルのコーディング能力をより正確に、そしてより深く評価することを目的としています。SWE-bench Proは、Scalesとの協業によって構築されており、従来の課題を克服するためのいくつかの重要な特徴を持っています。

1. 難易度と多様性の大幅な向上 SWE-bench Proは、SWE-bench-Vよりも質的・量的に難しいタスクで構成されています。SWE-bench-Vのタスクの多くは、熟練したエンジニアであれば1時間未満で解決できると推定されていましたが、SWE-bench Proのタスクは、**「トップクラスのエンジニアでも数ヶ月、チームであれば数週間を要するような種類のタスク」**を目指しています。これは、AIモデルがより複雑な問題解決能力、長期的な計画能力、そして大規模なコードベースへの深い理解を必要とすることを意味します。

また、ベンチマークの問題は、単一のプログラミング言語やリポジトリに限定されず、複数の言語、多様なオープンソースリポジトリ（例：Djangoなど）、そしてさまざまな種類の問題を網羅しています。これにより、特定のドメインや言語に特化したモデルだけでなく、汎用的なコーディング能力を持つモデルの評価が可能になります。Olivia Watkins氏は、「（SWE-bench Proの）問題は、より大きく、より難しく、そしてより多様なリポジトリ、複数の言語、質的にも異なるタイプの問題を特徴としている」と述べています。

2. 徹底した汚染対策 SWE-bench-Vで明らかになった汚染の問題は、SWE-bench Proでは最も重要な対策領域の一つです。OpenAIは、以下のような多層的なアプローチで汚染を最小限に抑えています。

  • カナリア・ストリングス（Canary Strings）: 訓練データからベンチマークの問題を容易に識別・除外できるように、問題の記述に特殊な識別子を埋め込みます。これにより、モデルがベンチマークデータを「学習」することを防ぎます。
  • 厳密なデータクリーニング: GitHubリポジトリの履歴、Stack Overflow、その他の公開コードリソースなど、モデルがアクセスしうる可能性のあるすべての公開データソースから、ベンチマークの問題およびその解決策が訓練データに含まれないように厳密なクリーニングプロセスが実施されます。
  • 継続的な監査: ベンチマークは一度作成すれば終わりではなく、AIモデルの進化とともに汚染の形態も変化するため、継続的に汚染を監視し、対策を更新していく体制が不可欠です。

Olivia Watkins氏は、SWE-bench Proにおける汚染対策について、「汚染検出エージェントが発見した汚染は『非常に軽い』もので、いくつかのモデルが1つか2つのソースリポジトリに非常に軽く馴染んでいる可能性があることを示唆する程度だった」と語り、その厳密さを強調しています。

3. 評価軸の進化：コードの品質と設計判断 単なる「テストをパスするかどうか」という二値的な評価を超え、SWE-bench Proは、より高度な評価軸の導入を目指しています。これは、GPT-4oのような最新のAIモデルが、単に機能するコードを生成するだけでなく、より人間らしい「良いコード」を書く能力を持ち始めていることに対応するものです。

Mia Glaese氏が指摘するように、熟練したソフトウェアエンジニアは、単に問題を解決するだけでなく、コードの「設計センス」、すなわち可読性、保守性、スケーラビリティ、パフォーマンス、セキュリティといった要素を考慮します。また、問題の記述が曖昧な場合でも、適切な設計判断を下す能力も重要です。SWE-bench Proは、AIモデルがこのような「オープンエンドな設計判断」をどの程度合理的かつ創造的に行えるかを評価することを目指しています。

これは、自動評価が難しい領域であり、人間による定性的なレビューが引き続き重要な役割を果たすことを意味します。AIモデルが生成したコードが「きれいか」「適切に書かれているか」「将来のメンテナンスが容易か」といった、より抽象的な品質をどのように測るかは、今後のベンチマーク開発における大きな挑戦です。

SWE-bench Proは、AIのコーディング能力評価を次のレベルへと引き上げるための重要な一歩です。難易度の向上、徹底した汚染対策、そして質的な評価軸の導入により、AIが本当に複雑な現実世界の問題を、人間と同等かそれ以上の品質で解決できるかを問うことが可能になります。

準備フレームワークとAGIへの道：コーディング能力がAIの未来をどう形作るか

OpenAIがSWE-bench Verifiedの限界を指摘し、SWE-bench Proへと移行する背景には、単なるベンチマークの技術的改善に留まらない、より大きなビジョンがあります。それは、OpenAIが「安全な汎用人工知能（AGI）」の開発に向けて構築している「準備フレームワーク（Preparedness Framework）」です。このフレームワークは、AIの進歩に伴う潜在的なリスクを理解し、管理するための重要なツールであり、コーディング能力の評価はその中核をなす要素の一つです。

準備フレームワークにおけるコーディング能力の位置づけ OpenAIの準備フレームワークは、AIが社会に与えうるフロンティアリスクを、主に以下の3つのカテゴリーで追跡しています。

  1. バイオリスク（Bio-risk）: AIが生物学的な脅威（例：新しい病原体の設計）を生み出す可能性。
  2. サイバーセキュリティ（Cybersecurity）: AIがサイバー攻撃を高度化させたり、新たな脆弱性を生み出したりする可能性。
  3. 研究自動化とモデルの自律性（Research Automation & Model Autonomy）: AIが自律的に研究開発を行い、自らの能力を向上させたり、人間の監督なしに複雑なタスクを実行したりする可能性。

この中で、コーディング能力は特に3番目の「研究自動化とモデルの自律性」と深く関連しています。AIがコードを生成し、デバッグし、改善する能力は、科学研究の自動化や、AIシステムがより複雑な目標を自律的に達成するための基盤となります。Olivia Watkins氏が述べるように、コーディングは「自動化された研究のすべての部分ではないが、非常に重要な主要コンポーネントである」と認識されています。

人間によるホワイトカラー業務の自動化と拡張 AIのコーディング能力が向上することは、単にソフトウェア開発の効率化に留まらない、より広範な社会的・経済的影響をもたらします。コーディングの自動化は、弁護士、会計士、コンサルタント、データアナリストなど、多くの「ホワイトカラー」職種における作業プロセスを大きく変革する可能性を秘めています。AIが定型的なコード作成やデータ分析、文書作成などを自動化することで、人間の専門家はより創造的で戦略的なタスクに集中できるようになるかもしれません。

しかし、この変革は同時に、労働市場の変化や、AIシステムの品質管理、倫理的ガバナンスといった新たな課題も提起します。OpenAIの準備フレームワークは、これらの潜在的な「ダウンサイド」に社会全体が備えるためのガイドラインを提供します。

実世界メトリクスの重要性と長期的な展望 AIの能力を評価する上で、単に特定のベンチマークスコアを追跡するだけでなく、**「実世界のインパクト」**を測るメトリクスがますます重要になるとOpenAIは考えています。Olivia Watkins氏は、「実際の利用状況、AIがどれだけフィールドで使われているか、どれだけ人の仕事を置き換えているか、どれだけ生産性を高めているかといった、実世界のメトリクスを追跡したい」と語ります。これは、AIが社会に与える真の影響を理解し、その恩恵を最大化し、リスクを最小化するための重要な視点です。

また、AIが進化するにつれて、ベンチマーク自体も常に進化し続ける必要があります。Mia Glaese氏が指摘するように、「ある時点では非常に価値あるベンチマークだったものが、モデルが強力になるにつれて意味をなさなくなる」のは、AIの進化における自然なプロセスです。AIがより複雑な、抽象的な、あるいは創造的なタスクをこなせるようになるにつれて、ベンチマークもまた、以下のような「測定困難な能力」を評価するように進化していくでしょう。

  • 設計センス（Design Taste）: 生成されたコードが、単に機能するだけでなく、エレガントで、効率的で、将来の拡張性を考慮しているか。
  • 保守性（Maintainability）: コードが長期的に維持・管理しやすい構造になっているか。
  • 複雑な問題解決の戦略: 明確な解決策がないオープンエンドな問題に対して、AIがどのようなアプローチを取り、多段階の思考プロセスを経て解決に至るか。

OpenAIは、このような高次の能力を評価するために、人間の介入を伴う厳格なレビュープロセスを重視しています。SWE-bench Proは、人間の専門家が数ヶ月を要するような、より「長く複雑なタスク」を通じて、AIが自律的に問題を分析し、設計判断を下し、高品質なコードを生成する能力を測ることを目指します。これは、最終的にはAIが人間のような思考と創造性をもって現実世界の問題に取り組む「AGI」へと向かう道のりにおける、重要なマイルストーンとなるでしょう。

まとめ

OpenAIがSWE-bench Verifiedの限界を認識し、SWE-bench Proという新しいコーディングベンチマークへと移行する決定は、AI技術の急速な進化と、それに対する評価方法の継続的な改善の必要性を鮮明に示しています。SWE-bench-Vは、その登場時には画期的なベンチマークでしたが、AIモデルの能力向上と訓練データの汚染によってその有効性が失われました。

OpenAIは、大規模な人的検証とGPT-4 Thought (CoT) のような先進的な分析ツールを駆使し、ベンチマークの根本的な問題を深く掘り下げました。この厳格なプロセスを経て、より難易度が高く、多様で、汚染対策が徹底されたSWE-bench Proが誕生しました。この新しいベンチマークは、AIモデルが単に問題を解決するだけでなく、コードの品質、設計判断、保守性といった、より高度で人間的な側面をどの程度理解し、実行できるかを評価することを目指しています。

この移行は、OpenAIの「準備フレームワーク」というより大きな安全保障戦略の中で位置づけられています。AIのコーディング能力は、研究自動化やモデルの自律性といったフロンティアリスクの評価に不可欠であり、社会全体がAIの潜在的な影響（肯定的および否定的側面の両方）に備えるための重要な指標となります。

今後、AIモデルの能力がさらに進化するにつれて、ベンチマークもまた、より複雑で、より人間らしい知能の側面を評価するように変化し続けるでしょう。OpenAIのこの取り組みは、AI開発における透明性、厳格な評価、そして社会への責任という重要な価値を強調するものです。SWE-bench Proは、AIがAGIへと向かう道のりにおいて、私たち人間がその進捗を理解し、安全な未来を築くための羅針盤となるでしょう。

← 一覧に戻る