フロンティアAIの知能を測る競争の最前線：独立した評価機関が拓く未来
新しい兆ドル規模の産業が誕生する時、そこには必ず、その中核を成す技術の信頼性、安全性、そして真の能力を客観的に測るための独立した評価メカニズムが求められます。現在、私たちはまさにそのような転換点に立っています。人工知能、特にその最前線にある「フロンティアAIモデル」の進化は目覚ましく、私たちの社会、経済、そして生活のあらゆる側面に計り知れない影響を与えようとしています。しかし、その知能を正確に、公平に、そして継続的に評価する方法論は、まだ発展途上にあります。
本記事では、このフロンティアAIの知能を測る「評価（Evals）」という新たな産業の最前線に迫ります。独立した評価機関の必要性から、評価プロセスの具体的な課題、ビジネスへの深い影響、そして政策立案におけるその役割に至るまで、詳細かつ多角的に分析し、この分野がどのように未来を形作っていくのかを探ります。
第1章：フロンティアAI評価の誕生と必然性
1.1 公開ベンチマークの限界と自己申告の危険性
2024年の初頭、AI業界は大きな転換点を迎えました。それまでモデルの進歩を測る主要な手段とされてきた公開ベンチマークの多くが、フロンティアモデルの真の能力を捉えきれていないという認識が広まったのです。
この問題が顕在化した象徴的な事例として、Metaが「Llama 4」をリリースした際の出来事が挙げられます。当時、主要な公開ベンチマークではLlama 4が驚異的な性能を示し、その能力を高く評価する声が上がりました。しかし、我々のような独立した評価機関が、外部に公開されていない独自の非公開ベンチマークで検証したところ、Llama 4は残念ながら期待を下回る結果となったのです。
この「公開ベンチマークに基づく自己申告」と「より質の高い、シグナルの強いベンチマークで実際に確認された内容」との間には、巨大な乖離が存在していました。この乖離は、オープンソース化された評価基準や問題設定が、モデルによって「ハッキング」されやすいという構造的な問題を示唆しています。モデル開発者は、公開されているベンチマークの特性を学習し、そのスコアを最大化するようにモデルを最適化することが可能だからです。これは、特定の試験に合わせて学習することで高得点を取る人間の受験生と似た構図と言えるでしょう。
このような状況では、モデルの真の能力や、それが社会に与えうる潜在的なリスクを正確に評価することが極めて困難になります。特に、フロンティアモデルは予測不可能な能力を発現する可能性があり、その影響は甚大です。そのため、開発ラボが自社のモデルの能力を自己申告するだけでは、市場の健全性や社会の安全性を保つことができないという認識が高まりました。
1.2 なぜ独立した第三者機関が必要なのか？
では、なぜモデルを最もよく知る開発ラボ自身が、信頼できるベンチマークの「評価機関」になれないのでしょうか？彼らは社内で素晴らしいベンチマークを多く構築しており、それがモデルの進歩を牽引しているのは事実です。しかし、自己申告には根本的なインセンティブの歪みが存在します。
数十億ドルもの巨額を投じて新しいモデルを構築した際、その投資を正当化し、市場にその価値を訴求するためには、客観的な証拠が必要です。開発ラボは、自社のモデルが優れていることを証明したいという強い動機を持っています。この動機が、ベンチマークの設定や結果の解釈に無意識的、あるいは意図的な偏りをもたらす可能性があります。これは、監査法人が監査先の企業に対してコンサルティングも行っている場合に、インセンティブ構造が混在し、監査の公平性が損なわれるリスクがあるのと同様の構図です。
健全な市場の発展のためには、このようなインセンティブの混在を解消し、客観的で中立的な評価が不可欠です。デミス・ハサビス（DeepMind共同創業者）をはじめとする業界のリーダーたちも、サードパーティの評価機関によるエコシステムの必要性を訴え始めています。独立した評価機関は、特定のモデル開発者や利害関係者から独立し、公平な基準でモデルの能力、安全性、信頼性を評価することで、市場全体の透明性と信頼性を向上させます。
1.3 歴史的類似事例に見る独立評価の普遍性
歴史を振り返ると、新しい「兆ドル規模」の産業が生まれるたびに、同様の独立したテスト機関や評価メカニズムが必要とされてきました。例えば、金融業界における格付け機関（Moody's, S&P）や、企業財務における監査法人（Big Four）がその典型です。これらの機関は、市場の参加者（投資家、企業、消費者）が客観的な情報に基づいて意思決定を行えるよう、中立的な立場から評価を提供することで、市場の機能不支を支えてきました。
AI分野は急速に、そして広範囲にわたって社会に浸透しており、その影響力は金融や企業会計をはるかに凌駕する可能性があります。そのため、こうした独立した評価の仕組みが、AI分野においても必然的に生まれる必要があったのです。
我々のような評価機関は、市場の両側に価値を提供することを目指しています。一つは、モデル開発ラボが新しいモデルの能力を客観的に証明するためのメカニズムを提供すること。もう一つは、企業がどのモデルを、どのような導入戦略で活用すれば最大の投資対効果（ROI）を得られるかを見極めるための情報を提供することです。この二つのニーズが、独立したフロンティアAI評価機関の存在意義をより強固なものにしています。
第2章：評価プロセスの進化と技術的課題の深掘り
フロンティアAIの評価は、単にベンチマークテストを実行するだけではありません。それは、AIモデルの進化に追随し、その複雑な能力を多角的に捉え、同時に評価プロセス自体の効率性と信頼性を確保するための、絶え間ない技術革新と試行錯誤のプロセスです。
2.1 スピードと規模の要求：モデル公開直前の「6時間」の戦い
モデルの評価は、特にフロンティアモデルのリリース直前においては、時間との戦いとなります。開発ラボは、革新的なモデルをできるだけ早く市場に投入したいと願っています。しかし、そのモデルが安全で、期待通りの性能を発揮するかどうかを、リリース前に検証することは極めて重要です。
この「モデル公開前の6時間」という極めて短い期間に、我々は数百億ものトークン処理を実行し、最大限のシグナルを抽出する必要があります。このプロセスは、ローンチを遅らせることなく、迅速かつ効率的に行われなければなりません。初期の頃は、共同創業者たちが徹夜で作業し、手動で多くの評価をこなしていました。しかし、モデルの規模と数が増大するにつれて、このような人間主導のプロセスは持続不可能になります。
そこで、我々は評価インフラに多額の投資を行い、評価を大規模かつ分散的に実行できるシステムを構築しました。例えば、社内システム「スティーブ」は、「Economic Valves」の従業員というユーモラスな名前がつけられていますが、人間が担っていた作業を徐々に自動化し、すべてのアクセス可能なモデルに対して実質的に最大レートで評価を実行できるようになっています。これにより、高速かつ信頼性の高い評価が可能となり、モデルリリースの遅延を避けることができます。
2.2 人間知能の評価の難しさと「ベンチマークハッキング」への対抗
AIの知能を評価する上で、最大の根源的な課題の一つは、「人間の知能とは何か」という問い自体が未だに確立された手法や共通の評価基準を持たない点にあります。IQテストやEQ、ビッグファイブ性格検査など、人間を評価するための様々なツールは存在しますが、これらも完璧ではなく、多くの懸念が指摘されています。
この問題は、AIモデルの評価においても同様に、あるいはそれ以上に複雑な様相を呈します。モデルは、特定のベンチマークを「ハック」すること、つまり、そのベンチマークで高得点を出すために最適化されることに非常に長けているからです。例えば、特定の法律事務所におけるアソシエイトとパートナーの明確な違いを測るテストが存在しないのと同様に、AIモデルが現実世界の複雑なワークフローにおいてどのように振る舞うかを評価する明確な基準はまだ確立されていません。
この課題に対応するため、我々は「曖昧に分散していた評価を明示化する」というアプローチを取っています。企業や現実世界のワークフローにおける人間の基盤行動や成果を詳細に分析し、それをモデルをテストするための明確な基準として確立することを目指します。長期的には、この「企業とその評価指標を明確化する能力」が、モデルのどのシグナルを重視して改善し、どこで実際に導入を進めるべきかを判断する最大のボトルネックになると考えています。
2.3 動的なベンチマーク：陳腐化との戦い
ベンチマークは、モデルの進化とともに陳腐化する運命にあります。かつてのImageNetのような画像認識のベンチマークが、数年のうちにフロンティアモデルにとっては「簡単すぎる」ものになったように、AIの進歩はベンチマークの寿命を急速に短縮させます。
我々には「常にさらなる高みへ」という非公式なモットーがあります。これは、基盤モデルの研究機関が絶えず新しい「山」に登り続けている限り、我々はその「山」を絶えず作り続け、次の挑戦を提供し続ける使命があることを意味します。ベンチマークを廃止し、新しいベンチマークを導入するというアプローチは、この「無限ゲーム」の一部なのです。
この考え方は、経済が自然と機能してきた仕組みや、社会における専門資格の認定プロセスと類似しています。時間が経つにつれて、労働市場における農業の重要性が低下するように、社会は人口に対して新しい形態の労働を求めるようになります。同様に、AIモデルに何を期待するのかというフロンティアが変化するにつれて、ベンチマークも進化させていくべきなのです。
また、ベンチマークは常に「世界の現状」を反映しているべきです。弁護士が定期的に司法試験を再受験したり、建築家や医師が継続的な認定を受けたりするのと同様に、AIモデルも現在の世界の状況、最新の医学知識、あるいは最新の法体系に基づいてテストされるべきです。例えば、判例法の更新を法的調査のベンチマークに反映させることは、モデルが社会の最新の規範と知識に適応しているかを測る上で不可欠です。
2.4 エージェントの自律的タスクと多軸評価の複雑化
これまでのモデル評価は、プロンプトへの回答の正確性や多段階の質問への対応能力を測るものが中心でした。しかし、現在では金融や法務、特にコーディングの分野で、エージェントによる自律的な作業が大幅に増加しています。バックグラウンドで非同期にタスクを完遂できるエージェントは、もはや単一の質問応答とは異なる評価フレームワークを必要とします。
このようなエージェントの出現は、評価インフラの構築方法や、モデル・エージェント自体の能力を評価する考え方を根本から変えています。
- インフラの安定性: モデルが数時間、数日、時には数週間稼働し続ける能力をテストするため、評価を支えるインフラは極めて安定している必要があります。リクエストが失敗した場合でも、全体をやり直すのではなく、失敗した箇所から再試行できるような堅牢な仕組みが求められます。
- サンプルサイズの減少と評価基準の増大: 評価が複雑になるほど、テストできるタスクのサンプルサイズは小さくなる傾向があります。しかし同時に、それらのタスクに求められる基準や期待値は増大します。初期のImageNetが数百万枚の画像に対して基本的な分類を行う（1対1の入力と出力）シンプルな評価だったのに対し、現在では「フルスタックのWebアプリを50個生成して」といった、生成された出力の評価メカニズムが非常に複雑なタスクが増えています。タスクの数は減るが、それぞれのタスクの評価は圧倒的に複雑化しているのです。
- 多様な評価軸の組み込み: 評価はもはや「能力」だけを測るものではありません。コスト、レイテンシ、そしてモデルがより広範な領域やタスクに対応できる「柔軟性」など、ビジネスにとって重要な追加パラメータも評価に組み込む必要があります。これは、単に最高性能のモデルを選ぶだけでなく、特定のユースケースにおけるROIを最大化するために、複数の要素を考慮した最適解を見つけ出すことを意味します。
このような状況は、評価フレームワーク自体がリアルタイムなメカニズムへと進化していく可能性を示唆しています。例えば、Stripeが買収したOpenRouterのようなサービスは、複数のモデルのゲートウェイとして機能しますが、ルーティングの最も難しい点は、特定のアプリケーションに対してどの知能のセットを使うべきかを判断する評価手法（evals）の構築にあります。そのため、企業による評価手法の構築を支援する我々の取り組みは、結果的に多くの企業が最適なルーターを採用する後押しにもなっています。
第3章：ビジネスへの深い影響と企業戦略の変革
AIモデルの評価は、単に研究室での進歩を測るだけでなく、企業がAIを導入し、競争力を維持するための死活問題へと変化しています。フロンティアAIのコストと価値がますます高まる中で、企業は自社のビジネスニーズに最適なモデルをいかに選び、活用するかに頭を悩ませています。
3.1 企業にとっての「Evals」：ROIとトークンコストの課題
モデル開発ラボにとって評価の必要性は明らかですが、まだ過小評価されているのが、企業側にとっての評価の重要性です。AIの導入は、従来のエンタープライズソフトウェアの導入とは異なり、その投資収益率（ROI）が非常に不透明です。特に、大規模言語モデル（LLM）の利用は「トークン」という形でコストが発生し、その支出が急速に増大しています。
あるフォーチュン10企業のエピソードが、この問題を如実に物語っています。彼らはエンジニア一人あたり1日100ドル程度の予算でCloudCodeを導入しました。しかし、レート制限が午後4時にリセットされるため、午後4時から6時の間が最も生産性の高い時間帯となり、それ以外の時間帯にはエンジニアが散歩に出かけたりする「空白の時間」が生まれていました。これは、スタックのあらゆる階層において「インテリジェンス（知能）」の価値評価が誤って行われていることを示しています。エンジニアに100ドル分の利用枠が与えられていても、それをどう割り当てれば最大限の生産性を得られるかを本当には理解できていなかったのです。
この企業は後に、利用枠を従業員一人あたり300ドルへと引き上げました。これは、従業員の給与に近い額がトークン利用料として充てられているようなものです。Anthropic社のようなモデル提供企業が薄利で運営していることを考えると、モデル利用のコストは決して安くありません。適切な利用制限がどれくらいなのかを定量化するのは難しく、多くの場合、恣意的な判断に頼らざるを得ないのが現状です。
私たちは今、トークンの支出が給与の支出を上回り始めるような方向に、社会全体が進んでいると考えています。AIがコストにおいてこれほど大きな項目になるのであれば、企業は過去6ヶ月間よりもはるかに明確にそのROIを正当化しなければなりません。長期的には、企業の本質は「評価（evals）」にあると我々は考えています。ROIの計算を解くために自社の評価を明確化できる能力こそが、長期的にはその企業が競合他社に打ち勝つ理由となるでしょう。
3.2 企業が直面する複雑なモデル選択と「ValSmith」
多くの企業が、社内でAIの専門知識を養うことを推奨しています。しかし、今日の知能の爆発的な増加と、それに伴う複雑性の増大を考えると、それだけが解決策であるべきではありません。基盤モデルを扱うラボは増え続け、各ラボがこれまで以上に多くのモデルを、さらに多様なハイパーパラメータのオプションとともにリリースしています。それらは複雑なハーネスやエージェントのセットの中に存在しており、インテリジェンスの選択肢は増え続けています。
さらに、企業はAIモデルを使いたい新たな場所を今も発見し続けており、ユースケースも複雑さを増しています。そのため、企業にとっては、選択肢の増加と、それを自社で評価することの複雑さが積み重なる状況にあります。
この課題を解決するため、我々は企業がよりオープンに利用できる製品のリリースを開始しました。その第一弾が「ValSmith」です。ValSmithは、エンタープライズAIにおいて最も拡大している分野の一つである「コード生成」に焦点を当てています。これを使えば、企業は自社のGitHubコードベースを取り込み、独自のコーディングベンチマークを構築できます。これにより、どのコーディングエージェントが最も高性能か、また何がパレート最適で最大のROIをもたらすかを把握することが可能になります。
3.3 Valves内部でのValSmith活用事例：トークン消費の狂気から効率化へ
我々自身もValSmithや多くのVal（評価ツール）を内部で活用しており、このツールの価値を実感しています。ある時、我々のチームは、トークンを最大限活用する実験として、1ヶ月間、いくつかのコーディングツールへの無制限アクセス権を取得しました。その結果は驚くべきものでした。多くのエンジニアが1日に10億から20億トークンを消費し、ピーク時には一人のエンジニアだけで60億トークンを消費した日もあったのです。
計算してみたところ、その1ヶ月間で約150万ドル相当のトークンを消費したことが分かりました。これは、その月の従業員の給与の実に10倍にあたる額でした。振り返ってみて興味深かったのは、人々がエージェントをどこで使っていたかを確認できたことです。あらゆる場面で常にモデルを使うことへの不安のようなものが感じられました。
この状況に直面し、我々は翌月も同じ運用方法を続けることはできないと悟りました。どのチームのどのプロジェクトに、どのツールを使うのが最適なのかを、どうすれば賢明に判断できるでしょうか？
そこで我々は、実際に行われた作業を検証する実験を行いました。多くのトレース情報を調べ、GitHubリポジトリを精査し、ValSmithツールを構築しました。すると、かなり驚くべき知見が得られました。例えば、Cognition社のDevinというツールは、実は非常にトークン効率が良いことが判明したのです。そのため、我々はそれをより多く採用することにしました。また、トークンベースの料金体系よりも、サブスクリプション方式の方が優れた価格モデルを提供できる場合が多いという結論に至りました。
この戦略の結果、我々は月額150万ドルを費やすことなく、いかに効果的にトークンを最大化できるかという運用モードに移行できました。現在の運用では、よりトークン効率の高いハーネスとモデルを基本としつつ、より高度で困難なタスクには、人々がより柔軟にトークンベースのモデルを使えるようにしています。すべてのツールへのアクセスは可能ですが、GitHubのイシューやチケットごとに、セッションをどこから始めるべきかという推奨事項を自動的に提示し、タスクに必要な知能レベルに応じて実際の使用量を調整するようにしています。
この事例は、プライベートリポジトリでベンチマークを取ることで、公開ベンチマークを使用したフロンティアモデルとは全く異なるパフォーマンスやコストの挙動が判明する可能性を示しています。今日においても、OpenAIの最高のモデルとAnthropicの最高のモデルのどちらが、特定の企業のリポジトリにとって最適なのかは依然として非常に不明確です。SonnetがOpusよりも高コストになりうるケースがあるように、モデル選択は直感的ではありません。この混沌とした状況下で、企業は独自の評価フレームワークを通じて最適な選択を行うことが不可欠なのです。
3.4 評価フレームワークの汎用性：ナレッジワークへの適用
コーディングの分野で確立された評価のプリミティブ（基本要素）の多くは、他のナレッジワーク領域にも引き継がれる可能性が高いと考えています。優れたコーディングエージェントがあれば、PowerPointのスライド作成やExcelでのDCF（割引キャッシュフロー）分析も、高い能力で行えるモデルである可能性が高いからです。
多くの業界で私たちが活用すべきは、評価を構築するための仕組みとして、これまでに蓄積されてきた「作業の記録」です。私たちは「人間の知性とは何か」という問いを完全に解決したわけではありませんが、多くの業界には、どのような仕事が行われてきたかという膨大なデータが蓄積されています。それを評価指標として体系化し、動的な状態を保ちつつ、人間の作業が行われている場所でモデルを正当に評価することが、今後の課題となるでしょう。
第4章：政策、規制、そして地政学的な課題
フロンティアAIの進化が社会に与える影響は計り知れず、その評価は政策立案や国際協調においても極めて重要な役割を担います。技術の進化速度が法律の動きをはるかに凌駕する中で、誰が基準を定め、どのようにリスクを管理していくべきかという問いは、喫緊の課題となっています。
4.1 政策の遅延と「証拠収集モード」の重要性
技術進化のスピードは驚異的であり、それに対して政策の動きははるかに遅いのが現状です。このギャップを埋めるためには、政策立案者がAIモデルの現実的な能力、リスク、そしてビジネスへの影響を正確に理解することが不可欠です。
ベンチマークが急速に陳腐化するように、政策分野ではさらに深刻な問題が生じます。ここ数年行われてきた政策対話は非常に抽象的であり、政策が何をカバーすべきかを判断するための具体的な根拠が欠けていました。例えば、「10の26乗フロップス」といった、やや極端な計算能力のモデルを規制対象とするような議論も存在しました。
我々のような第三者の評価機関の役割は、特に初期段階において、モデルが何ができるのか、どこにリスクがあるのかといった多くの情報や実証データを収集する「証拠収集モード」にあると考えています。我々は現在、モデルの能力とリスクに関する調査結果について、行政府や立法府向けに定期的なブリーフィングを行っています。そうすることで、関係者が現状を迅速に把握し、将来の問題を予測・追跡できるようになります。データに基づいた具体的な情報が、より洗練された政策対話の基礎となるはずです。
4.2 誰が基準を定めるべきか？政府と民間企業の役割分担
誰がフロンティアAIの基準を定めるべきかという問いに対し、端的に言えば「全員が関与すべき」だと考えます。多様な視点を取り入れることにはメリットがあるはずです。ラボ、独立した評価機関、顧客、そして政府がそれぞれ独自の役割を果たす必要があります。
政府機関は、大手研究所から「これはバイオハッキングにつながる」「サイバーセキュリティのリスクになる」といった警告を数多く受け取っています。政府がなすべきことは、そのモデルに能力があるのか、そして誰かが市場を促して実際に違法行為を行わせることが可能なのかを見極めることでしょう。市場において避けるべき事柄を具体的に特定し、第三者に評価させるのが良いのではないでしょうか。
政府はバイオハッキングやサイバーハッキングなど、何に対して懸念を抱いているかという傾向はある程度把握しています。しかし、そこで問題になるのは「果たしてモデルにそれが可能なのか」ということです。そして「そのモデルにそれを実行させられるのか」という点です。これら二つの能力については、誰かが実際に評価を下さなければなりません。後者に関しては、特に時間の経過とともに、政府はあまり適任ではないと私は考えています。それは政府が本来果たすべき機能ではありません。
しかし、ルールを執行できる以上、ルールを定めることに関しては政府は非常に優れています。政府がルールを定め強制し、非常に有能な民間企業がルール違反を報告するという組み合わせが理想的だと思います。大手研究所が「モデルには能力があり、悪用することもできる。だから、誰にも使わせないことにする。自分たちだけで使い、スタッフが悪用しないよう徹底管理しよう」と考え始めているのは興味深い流れですが、それさえ常にうまくいくとは限りません。
政策立案者が評価者と具体的に連携するには、まず洞察やデータを政府の関連部署へ直接伝えられる仕組みが必要です。我々は定期的なブリーフィングを通じて、モデルの能力とリスクに関する調査結果を提供し、政策立案者が迅速に現状を把握し、将来の問題を予測・追跡できるよう支援しています。そこから先は、どのような政策を望むのかを決めるのは立法府の人々の役割です。もし彼らが、特定のモデルが社会に重大なリスクをもたらすと判断したならば、それを政策に反映させるのは彼らの務めです。
4.3 地政学的側面とソブリンAI：国際協調の必要性
フロンティアAIの評価は、地政学的な側面においても複雑な課題を抱えています。モデルの評価基準は、モデルそのものや開発者の価値観を反映するものであり、当然のことながら、国やその国内にある研究所によって、重要視する点は異なります。例えば、中国のAIモデルは、その国の歴史や政治体制に関連する特定のトピックについて、自由に語ることができないように制約が加えられています。
このような状況では、異なる地域の異なるモデル研究所によって評価やベンチマークが扱われる際、それらが標準化や役割においてどのように機能するのかという問いが浮上します。私個人の非常に理想主義的な視点からすると、「ソブリンAI」（主権AI）へのこれほど多くの投資には驚かされます。データセンターを次々と建設し、データ確保のプロセスを複製し、非常に巨大なモデルを学習させるのは極めて非効率的であり、実際にはこうした取り組みの多くを集約できるはずだからです。
しかし、私たちがいる世界や向かっている先はそうではないようで、実際にソブリンな形でAIを構築しようとする動きは強まっています。だからこそ、評価の枠組みについて議論し、リスクに対して私たちがどのように集団的に歩調を合わせていくかについて、共通言語を持つ必要があるのだと思います。
この点については、核の分野から学べることも多いのではないでしょうか。レーガン大統領の「信頼せよ、されど確認せよ」という言葉があります。国際的な信頼関係を築きつつも、実際に検証を行うための明確な手段が存在しない限り、真の合意は困難です。AIの社会的リスクや存続に関わるリスクが懸念されるならば、検証プロセスを行うために評価の共通言語を構築することが不可欠になるでしょう。かつての核弾頭保有数の監査のように、領空飛行による視察といった具体的な検証メカニズムが存在したように、AIのリスク評価においても、客観的な共通の評価基準と検証プロセスが求められます。
国際的な政策の調和は困難を極めます。国内でさえ難しいことを世界規模に広げるとなると、相手は企業顧客ではなく、互いに競合関係にある政府です。しかし、サイバーセキュリティのリスクやバイオセキュリティに関する懸念については、相互の利益が一致する領域が明確に存在します。これらの分野での衝突を回避するための調整において、小さな一歩から始める必要があると考えています。
長期的にもっとも興味深いのは、再帰的自己改善（RSI）の可能性です。ある国や企業が先行して、我々が詳細を知らないモデルを生み出したり、未知の方法で運用したりする事態も考えられます。そのため、再帰的自己改善に関連して、どこまでのペースなら許容できるか、どこからが開発ペースを超えているのかを共同で定義する手法を持つことが非常に重要になります。これこそが、CloserUsLabsの研究者たちが今日、政府間での共同対話を求めている理由の一つだと考えられます。
第5章：フロンティアAI評価の将来展望
AIモデルの能力は日進月歩で進化し、それに伴い評価のフロンティアも常に変化していきます。我々の使命は、この変化の最前線を捉え続け、社会にとって最も価値のある評価を提供し続けることです。
5.1 フロンティアを捉えるベンチマークの継続的開発
今後の状況では、現在では多様な能力を持つモデルが登場し、また国によって重視する開発分野も異なります。RSI（再帰的自己改善）は誰しもが注視していますが、バイオやサイバーといった分野では、攻撃的か防御的かなど、それぞれ関心事が少しずつ異なっています。そうした状況において、我々はフロンティアを捉えるベンチマークの構築に、極めて注力していきます。
フロンティアにおける新たな能力やリスクの領域が見えてくる限り、それをvalis.ai上で、しっかりと文書化できる評価指標にしていきたいと考えています。そして、それには時間をかけてカバー範囲を拡大していく必要があります。
例えば、サイバーセキュリティの分野では、これまでの取り組みの多くは、コード内に存在する脆弱性やメモリリークといった問題を中心に進められてきました。しかし実際には、最大級の懸念やリスクは「インフラレベル」に存在しています。つまり、これらはコードとして表現されるものではなく、エンタープライズ向けのクラウドインフラや電力網といった、より大規模な環境をシミュレーションしなければ、モデルの攻撃的・防御的能力を評価することはできないのです。ですから、こうした新たな領域を反映した評価を行うことは、我々の取り組みにおいて非常に重要です。
5.2 再帰的自己改善（RSI）の評価と次世代モデルの育成
再帰的自己改善（RSI）は、フロンティアモデルが自ら次世代のモデルを学習・改善する可能性を示唆する、極めて重要な概念です。理想を言えば、フロンティアモデルを使って次世代モデルを学習させ、どこに差が出るのかを確認するのがベストでしょう。しかし、それは明らかに非常にコストがかかり、時間もかかります。
そこで我々が取り組んでいるのは、次世代モデルの構築に必要となるプロセスのあらゆる部分に対して、プロキシ（代替指標）のセットを形成することです。つまり、事前学習や事後学習、ハーネスレベルのエンジニアリングなどに関する取り組みです。そして、モデルがどのメカニズムや挙動において優れた研究成果を出し、新しいものを構築できるのか、またどこで苦戦しているのかを確認しています。
このRSIベンチマークは、多くの大手研究所が議論し始めており、モデルカードでも報告されつつあるトピックです。しかし、モデルのRSIの可能性について語るための共通言語がまだ存在していないのが現状です。そこで我々は、モデル間を公平に比較できるベンチマークとしてこれを開発し、フロンティアモデルがその能力を積み重ねて進歩を測定する手法を研究コミュニティで大流行させることを目指しています。
5.3 評価が牽引するAIエコシステムの構築
最終的に、このビジネスにおいて最も価値があるのは、モデル開発のプロセスを支援するのではなく、質の高い評価を行うというインセンティブに基づき、モデルが時間とともに改善される仕組みを支えることだと考えています。
これは、モデル開発者、導入企業、政策立案者、そして社会全体の全てのステークホルダーが、客観的で信頼できる情報に基づいて意思決定を行えるようなエコシステムを構築することを意味します。独立した評価機関は、このエコシステムの健全な機能にとって不可欠な存在となります。
フロンティアAIの知能を測る競争は、単なる技術的な挑戦を超え、社会と技術の調和、倫理的な発展、そして人類の未来を左右する重要な営みです。我々は、この競争の最前線で、客観性と専門性をもって、AIの可能性を最大限に引き出しつつ、そのリスクを管理するための道筋を照らし続けていきます。