AIの指数関数的進化を測る：METRが解き明かす能力とリスクの真実

導入：AI時代の羅針盤、METRとは

人工知能（AI）の進化は、かつてない速度で社会を変化させています。最新のAIモデルは、その能力の飛躍的な向上により、私たちの仕事、生活、そして未来に対する期待を大きく塗り替えつつあります。しかし、この指数関数的な進歩は、同時に未知のリスクと倫理的な課題も提起しています。このような状況において、AIモデルの真の能力を客観的に評価し、潜在的な脅威を研究する独立した機関の存在は不可欠です。

今回、私たちはLatent Spaceポッドキャストに登場したJoel Becker氏に焦点を当てます。彼はMETR（Model Evaluation & Threat Research）という組織の核心を担う人物であり、その研究はAI分野に多大な影響を与えてきました。本記事では、Joel Becker氏の言葉を通じて、METRがどのようにAIモデルの能力と傾向を測定し、社会にもたらされる可能性のある「巨大な、あるいは壊滅的なリスク」を評価しているのかを深く掘り下げていきます。METRの具体的な活動、AI能力評価の複雑な課題、そしてAIがもたらす未来の展望について、専門的かつ分かりやすい視点から探求していきましょう。

METRの核心：モデル評価 (ME) と脅威研究 (TR)

METRという組織名は「Model Evaluation & Threat Research」の頭文字から取られています。その名の通り、彼らの活動は大きく二つの柱から成り立っています。一つは「モデル評価（ME）」、もう一つは「脅威研究（TR）」です。

モデル評価 (ME)：AIの能力と傾向を客観的に測る

モデル評価は、AIモデルが「今日そして明日どのような能力を持つか」、そして「その能力を持って実際に何をしようとするか（傾向）」を詳細に分析する作業です。Joel Becker氏の研究の多くは、このモデル評価、特にAIの能力測定に重点を置いています。

時間軸チャート (Model Time Horizon Chart) の誕生と意義

METRの研究の中で最も引用されることの多い成果の一つが「時間軸チャート（Model Time Horizon Chart）」です。このチャートは、AIモデルの進化を驚くほど明確な線で示しており、投資家から研究者まで、幅広い層に影響を与えています。

Joel氏によると、このチャートの起源は2023年の社内会議のPowerPointに遡ります。当初のグラフは、Y軸を「自律的または危険な能力の尺度」、X軸を「時間または計算資源」とし、散らばった点が一貫して右肩上がりの傾向を示す、漠然としたものでした。しかし、実際にデータを収集し、Y軸を「モデルが50%の信頼度で完了できるタスクの難易度（人間がそのタスクを完了するのにかかる時間で測定）」としてプロットしたところ、その結果はJoel氏自身も驚くほど直線的であったといいます。

この「驚くべき直線」は、AIの能力向上が非常に規則的かつ連続的であることを示唆しています。多くの人々がAIの不連続な飛躍や「能力爆発」を懸念する中で、METRのデータは、少なくとも現時点までの進歩が予測可能なパターンに沿ってきたという重要な洞察を提供しています。

タスク選択の基準と制約

時間軸チャートを構成するタスクの選択は非常に重要であり、多くの懸念が寄せられる点でもあります。METRがタスクを選定する上での基本方針は、主に「経済的価値」があり、特に「一般的な自律性」と「R&D（研究開発）」に関連するタスクを選ぶことです。これは、METRが最も関心を寄せる脅威モデル、すなわちR&D加速のリスクに直結しているからです。

Joel氏は、時間軸グラフがAIに与えるあらゆるタスクの全分布を指すものではないことを強調しています。例えば、視覚能力を必要とするタスクでは、モデルの能力は今日において大きく劣る可能性があり、時間軸チャートの示唆とは異なるかもしれません。

タスクのサンプリングは、METRの内部メンバーが作成するほか、外部からのバウンティプログラムを通じて収集されます。しかし、この選定プロセスにはいくつかの制約があります。特に、評価をスケーラブルに実行するためには、タスクの成功が「自動的に採点可能」であることが非常に有利です。このため、自動採点が難しい種類のタスクは含まれない傾向があります。

また、METRのタスクは、モデルが原理的に完了可能であること、つまり十分な情報にアクセスできることを前提としています。これは、「低コンテキストの人間が一般的なスキルを持っていれば、背景の詳細を知らなくても成功できるか」という基準で判断されます。この基準は、多くの現実世界の作業、特に状況の「詳細な精神モデル」を必要とする作業を除外します。さらに、METRのタスクは、オープンエンドなものや、外部世界とのインタラクションを伴う「メッシーな」ものではなく、比較的「きれいにスコープされた」「整然と含まれた」ものである傾向があります。これは、後述する開発者生産性研究の結果を理解する上で重要な背景となります。

タスクセットの具体例：SWAT、H-Cost、Ari Bench

METRが使用するタスクには、難易度に応じていくつかの種類があります。

SWAT (Software Actions Tasks): 非常に小さな、原子的なソフトウェアアクションを評価するタスクです。例えば、「4つのファイルリストの中からパスワードを含むファイルを特定する」といったものです。GPT-2では成功したりしなかったりするようなレベルですが、Opus 4.5のような最新モデルではほぼ100%成功するでしょう。
H-Cost (Human Cost Tasks): SWATタスクよりも少し難しいものから、人間が20〜30時間かかるような非常に挑戦的なものまで幅広くあります。これらはより高度な自律性や連続したアクションを必要とし、多くはより複雑な課題です。
Ari Bench (AI Research Benchmarks): 非常に挑戦的で斬新な、機械学習研究工学の課題です。

これら合計170のタスクを通じて、METRはAIモデルの能力向上を追跡しています。

「人間換算時間」の誤解

時間軸チャートに関してよくある誤解は、「モデルが実際にタスクに費やす時間」を測っていると捉えられることです。Joel氏は、モデルが「生産的に作業できる時間」を測定することもできたかもしれないが、現状のチャートはそうではないと説明します。むしろ、これは「タスクの難易度を人間の時間で測定している」のであり、モデルがこれらのタスクを「0分か5分で解決する」と仮定して説明すれば、誤解を避けやすいだろうと述べています。

例えば、あるモデルが「5時間かかる」と言われるタスクを完了したとしても、それはモデルが5時間稼働したという意味ではなく、人間がそのタスクを完了するのに5時間かかるほどの難易度であったという意味です。実際には、モデルははるかに短い時間でそれを達成している可能性があります。Claude Codeが20時間または30時間かかるタスクを解決したという「主張」に対して、Joel氏は、その出力の質、例の再現性、そして「チェリーピック」の可能性について疑問を呈しており、現在のエージェントのパフォーマンスに関する主張が「非常に非科学的で、多くは逸話的、時にはマーケティングの意図に影響されている」という現状を指摘しています。METRは、こうした情報環境の不完全さを補うために、高品質で独立した情報を提供することを目指しています。

脅威研究 (TR)：AIが社会にもたらすリスクを特定し評価する

脅威研究は、AIモデルの能力と傾向を、METRが設定する特定の「脅威モデル」に結びつけ、AIが社会に「巨大な、あるいは壊滅的なリスク」をもたらすかどうかを判断するものです。Joel氏自身は主に能力評価の専門家ですが、脅威モデルも進化していることを認めています。

脅威モデルの変化：自律的複製からR&D加速へ

初期の脅威モデル、例えばGPT-2時代には「ペーパークリップ工場」のような、AIが自律的に資源を制御し自己複製するシナリオが懸念されていました。しかし、現在では「自律的複製」の脅威モデルは優先順位が下がっています。代わりに、METRが主に焦点を当てているのは「R&D加速」です。

これは、ラボ内でAIが自律的に研究開発を加速させ、能力の爆発的増加を引き起こす可能性を指します。このような能力の急増は、さまざまな理由で社会を不安定化させる可能性があります。METRは、このR&D加速の可能性を主な脅威として捉えつつも、他の多くの脅威モデルについても引き続き検討しています。

GPT-4.5 (Opus 4.5) の衝撃と連続性の議論

AnthropicのClaude 3 Opus 4.5のようなモデルの登場は、AIコミュニティに大きな衝撃を与えました。Joel氏も、Opus 4.5が「非常に大きな飛躍」であったことを認め、自身が知る最も有能なエンジニアたちが、AIをコーディングに使わないと公言していたにもかかわらず、今ではAIなしにはコードを書かなくなったという変化を目の当たりにしています。

しかし、Joel氏は、この進歩が「不連続」であったとまでは断言していません。むしろ、時間軸チャートが示すように、AIの進歩は長年にわたり、数桁の計算量と実効計算量にわたって「驚くほど連続的」であったというMETRのストーリーを強調しています。Opus 4.5がMETRのトレンドラインを「破った」という指摘に対して、Joel氏は、かつては7ヶ月ごとに能力が倍増するというトレンドを信じていたが、一部では4ヶ月ごとの倍増が適切ではないかという見方もあったと述べます。Opus 4.5の登場は、Joel自身の7ヶ月トレンドラインを「反証する」形となったものの、個々のモデルリリースへの過度な注目ではなく、「1年、3年の期間におけるトレンド」こそが真に情報価値が高いと指摘しています。

Joelは、AIの能力が「驚異的」であり、将来的にはさらに驚異的になるだろうと確信していますが、それがただちに「破滅的に危険」であるとは考えていません。その理由として、彼は現在のモデルがまだ十分な能力を持たず、リソース管理が苦手であったり、「ドープな」（どこか間抜けな）部分があったりすること、そして過去6ヶ月間に展開されたわずかに劣るモデルが大きな危険を引き起こしていないことを挙げています。彼は、これらのモデルは「壊滅的な害」を引き起こすにはまだ「能力が不十分」であると判断しています。

独立した評価の重要性

METRは、OpenAIなどの大手ラボから資金提供を受けているARCなどの他の評価グループとは異なり、独立した資金源を持つ組織です。Joel氏は、このような「独立した専門知識の源」を持つことが極めて重要であると強調しており、偏りのない客観的な評価を提供することを使命としています。

AI能力評価の複雑性と課題

AIの能力を評価する上で、METRは多くの複雑な課題に直面しています。それは単にベンチマークスコアを出すだけでなく、現実世界での影響を捉え、未来を予測しようとする際に顕著になります。

開発者生産性研究の再評価

METRは以前、AIが開発者の生産性を低下させる可能性があるという研究結果を発表しました。これは、AIツールの導入当初、開発者がAIを効果的に使いこなす方法を模索する中で、かえって時間がかかったり、非効率が生じたりする可能性を示唆していました。

しかし、Opus 4.5のような最新モデルが登場した現在、その結果は劇的に変化する可能性があります。Joel氏は、METRがこの研究を「背景でやり直している」ことを明かしましたが、具体的な結果についてはコメントを避けました。彼は、最新のAIモデルを使ってこの研究を再実施することが「はるかに難しい」と述べています。

その難しさの背景にはいくつかの要因があります。

選択バイアス: AIがコーディングに長けるにつれて、開発者たちはAIの使用を「禁止された」状態でのタスクを引き受けることを嫌がるようになります。そのため、研究者は、AIが大きな恩恵をもたらさないと彼らが事前に判断したタスクでしか、彼らをAI非許可群にランダム化できなくなる可能性があります。
並行作業: 以前は、開発者は一つのタスクに集中して取り組むことが多かったですが、今日では「複数のタスクや作業を並行して行う」のが一般的なワークフローとなっています。これは、単一のタスクをAI許可/非許可にフリップするという研究デザインを困難にします。
生産性向上の過大評価: 多くの開発者は、AIによって生産性が劇的に向上したと感じています（「10倍速くなった」といった感覚）。しかし、Joel氏は、このような「強気な見積もり」が、人々がAIがなければ行わなかったであろう「価値の低い追加タスク」をこなせるようになったことによって膨らまされている可能性があると指摘します。彼は、これらの追加タスクが価値を持つことは認めつつも、「以前行わなかったのには理由がある」と述べ、その価値を過大評価すべきではないと示唆しています。
組織の吸収能力: 組織全体として見ると、生産性の向上を「吸収する能力」には限界があります。例えば、Amazon Web Services（AWS）がAIによって10倍の生産性向上を達成し、5万もの新サービスをリリースしたとしても、顧客がそのすべてを吸収できるわけではありません。したがって、エンジニアが10倍の生産性を発揮したとしても、組織がそれをすべて製品として市場に投入できるわけではない、という現実があります。Joel氏は、個人がAIを使って「サイドプロジェクト」を行う時間が増えることで、個人的な充足感は得られるものの、経済的な価値が必ずしも伴わない場合があることを認めます。

これらの課題は、AIが個人の生産性に与える影響を科学的に測定することの複雑さを示しており、定量的データと個人の直感や逸話との間に乖離が生じる原因となっています。

能力爆発と継続性の議論：AI進化のブレークポイントはどこか？

AIの進化が「能力爆発（Capability Explosion）」のような不連続な飛躍をもたらす可能性は、AI安全研究コミュニティで常に議論の中心となっています。これは、AIが自己改善のサイクルに入り、その能力が指数関数的に、かつ予測不可能な形で急増するというシナリオです。

Joel氏は、時間軸チャートが示す「連続性」にこれまで「かなり驚いてきた」と述べ、それが将来も続くことにある程度の信頼を置いています。しかし、彼は同時に、AIが次世代モデルの改善に「効果的な労働力」を提供するという直感から、不連続な進化が起こる可能性も否定できないと考えています。

この議論は、物理学における「ブレークポイント」、例えば水の沸点に例えられます。水は特定の温度で液体から気体に変化しますが、AIの能力進化において、そのような劇的な質の変化をもたらす「ブレークポイント」は存在するのでしょうか？そして、もし存在するとして、私たちはそれを事前にどのように特定できるのでしょうか？

Joel氏が真に懸念するのは、「研究開発（R&D）がラボ内で完全に自動化された場合」です。彼は、90%の自動化では不十分であり、「何らかの完全なループが閉じられる」必要があると強調します。このループには、単なるソフトウェア開発だけでなく、チップ設計、チップ生産、さらにはGPUの故障時にデータセンターに人を派遣して修理するような「現実世界の物理的な作業」までもが含まれる可能性があります。これらの広範な要素が完全に自動化された時、能力爆発の条件が整うとJoel氏は考えています。

「ソフトウェアのみの知能爆発」という概念（ハードウェアを固定しても、モデルが自己改善することでより良いモデルを、より少ないリソースで生み出す）も議論されていますが、Joel氏は、それに加えてチップ設計やチップ生産といった「より大きなループ」が閉じることの重要性を指摘しています。もしこの大きなループが閉じれば、それは「潜在的に非常に不安定で懸念すべき」状況であると述べています。

能力列挙の必要性：単一指標の限界

Joel氏は、時間軸チャートのような「単一の数字」が「膨大な量の本当に重要な詳細を潰してしまう」ことを認めています。彼は、現在のAI能力評価が、例えば「データセンターに電話して問題を解決する」といった、現実世界で必要となる多くの能力を測定できていないと指摘します。

そこでJoel氏は、AIの能力をより多次元的に評価するためのアプローチとして、セキュリティコミュニティが毎年発表する「トップ10リスト」のような「重要な能力のリスト」を作成することを提案しています。このようなリストがあれば、各能力領域におけるAIの進捗状況をより詳細に把握でき、どの領域にさらなる投資が必要か、あるいはどの領域が危険な「ブレークポイント」に近いかをより明確に判断できるでしょう。単一の指標に集約するのではなく、複数の視点からAIの能力を評価することの重要性が強調されています。

AI開発の速度と計算資源

AIの能力の進歩は、計算資源の投入と密接に結びついています。METRは、この関係性についても深く分析しています。

アルゴリズムの進歩と計算資源の相関

Joel氏が言及する研究の一つは、「AIの改善がAIの計算資源の成長に依存している」という仮説です。彼は、もし計算資源の成長が鈍化すれば、AIの能力向上も鈍化するだろうという直感を共有しています。しかし、その減速の度合いはどの程度なのでしょうか？

この研究の示唆するところは、「アルゴリズムの進歩（例：Transformer、RLHF、MOE、より良い学習率スケジュールの発見など）」自体が計算資源の関数であるという点です。つまり、新しいアルゴリズムを発見するためには、大規模な実験を実行し、膨大な計算資源を投入する必要があるということです。例えば、Transformerのような画期的なアルゴリズムも、その真の価値は大規模なスケールで初めて明らかになります。もし計算資源の成長が鈍化すれば、アルゴリズムの発見もまた減速し、結果としてAIの能力向上も遅れることになります。

この仮説には多くの注意点があります。例えば、計算資源をあまり必要としないアルゴリズム革新も存在するでしょう。また、AI自身が将来的にAIの改善に大きく貢献する可能性（能力爆発のシナリオ）は、この単純なモデルを複雑化させます。しかし、純粋に計算資源の側面から見れば、その成長の鈍化はAIの進歩に大きな影響を与える可能性があります。

計算資源の配分と市場ダイナミクス

METRの研究では、OpenAIのデータ（過去の税申告書や将来のR&D計算資源支出予測）をケーススタディとして利用していますが、これは業界全体の計算資源投資の全体像を捉える上での限界も示しています。Joel氏は、Meta、XAI、DeepMindといった他の大手AIラボの計算資源支出については「ほぼゼロの可視性」であると認めています。

業界全体で見た場合、特定のAIラボがビジネスから撤退したり、統合されたりするような「産業組織的な変化」は、計算資源の再配分を通じて、AIの進歩の速度に影響を与える可能性があります。また、XAIがClaudeのような他社のモデルから蒸留を行っているように、企業間で間接的に計算資源が共有される例も存在します。

Dylan from Semi Analysisのような業界アナリストは、モデルの進歩と「コンピューティングクラスターのオンライン化」を非常に強く結びつけています。GPUクラスターの構築には数ヶ月（例えば6ヶ月）かかるため、Grok 5のような次世代モデルのリリース時期は、新しいコンピューティング資源の稼働状況によってある程度「数学的に決定論的」であるとさえ言われています。

一方で、競争が激化する中で、トレーニングされたモデルが「失敗作」と判断され、リリースされないという「リスク」も存在します。例えば、あるラボがモデルのトレーニングを終えたとしても、同時期に他社がより優れたモデルをリリースした場合、自社のモデルは「もうリリースできない」と判断されることがあります。このような「失敗した実行」の可能性は、予測市場での賭けの難しさにも繋がるとJoel氏は指摘しています。

洞察と将来の評価方法

AIの進化が続く中で、METRは常に新たな評価方法を模索し、既存の課題への洞察を深めています。

予測市場の利用と倫理的課題

Joel氏の個人的な背景として、Manifold Markets（予測市場プラットフォーム）で「最も収益性の高いトレーダー」であったという逸話が紹介されました。しかし、彼は自身の予測能力を過大評価すべきではないと笑いながら付け加えています。

彼の成功の秘訣は、ある慈善寄付市場での「高エージェンシー」な取引戦略にありました。Manifoldが慈善プログラムを通じて集まる寄付額を予測する市場を開設した際、Joel氏は、自分が実際に寄付を行うことで市場の結果を操作できることに気づきました。彼は「マナ」と呼ばれる偽の通貨を、線形予測を上回る寄付額のオプションに大量に賭け、他の参加者がそのオプションに賭け始めるのを待ってから、実際に少額を寄付することで市場を動かし、偽のインターネットポイントを稼いだのです。彼はこの戦略を複数回繰り返し、最終的に5,000ドルほどをGiveWellに寄付しました。

この経験は、予測市場の性質、特に「高エージェンシー」な市場における倫理的な課題を浮き彫りにします。Joel氏は、予測市場の「社会的な価値」について懐疑的な見方を示しています。理想的には、重要な出来事（戦争の可能性など）について、高精度で客観的な確率を提供することが期待されますが、現実には「ギャンブル的な行動」が社会的にコストを伴うと彼は考えています。インサイダー取引の可能性も指摘されており、Googleの従業員が内部情報に基づいて予測市場で取引し、解雇された事例も紹介されています。Joel氏は、METRの従業員がそのような市場で取引しないことの重要性を強調しています。

新たな評価の方向性

METRは既存のベンチマークの限界を認識し、より現実世界に近い、あるいはより包括的な評価方法を模索しています。

AI Village: これは、エージェント群に「オープンエンドな目標」を与えることで、その能力を評価するプロジェクトです。例えば、「商品ショップを立ち上げる」「公園でイベントを企画する」「人間を対象とした実験を構築する」といった具体的な指示です。Joel氏は、このアプローチが、ベンチマークのような「きれいにスコープされた」タスクでは見えにくい、モデルが「つまずく」場所や「ドープな」部分を明らかにするのに非常に興味深い方向性であると考えています。彼は、AIが「R&Dを自動化する」という究極の目標にどれだけ近いかを測るには、AIに多くのリソースと「R&Dを自動化せよ。始めよ」という指示を与え、何が起こるかを見ることが最も望ましいと考えています。現在のモデルでは、リソース管理の難しさや長時間のタスク処理能力の不足により、まだ「顔から転倒する」だろうと予測しています。
トランスクリプト分析: モデルが実際に行った行動と、それに対する出力の記録であるトランスクリプトは、非常に貴重な情報源です。特に、リアルタイムでAIがタスクを実行し、その結果を見て次の行動を起こすような「イン・ザ・ワイルド」なデプロイメント（例：CursorやClaude Codeなどのコードアシスタントの使用履歴）は、モデルの能力、そして潜在的な「ユーザーの意図を転覆させる」ような危険な行動を理解する上で不可欠なデータとなります。これは実験的な制御は少ないものの、膨大な量の情報を含んでおり、Joel氏は今後この分野での研究がさらに必要であると考えています。
「マージ可能」なソリューションの評価: 既存のベンチマーク（SWE-benchのような）は、AIがユニットテストに合格するかどうか、つまり「正しく機能するか」を評価します。しかし、Joel氏はこれに加えて、「そのソリューションが実際にメインのコードベースにマージされるか」という観点からの評価の重要性を指摘しています。これには、ソリューションが適切な場所にテストを追加しているか、既存のコードベースのパターンに従っているか、他のコード部分との整合性が取れているか、といった側面が含まれます。モデルの能力は、単に問題を解決するだけでなく、実際のソフトウェア開発プロセスにシームレスに統合できる「エンジニアリング品質」の面では、まだ遅れている可能性があると彼は考えています。

Joel氏は、「すべての足場（スキャフォールディング）は洗い流されるだろう」という言葉を引用し、モデルの能力が向上するにつれて、現在開発者がAIを補助するために構築しているツールやワークフローがやがて陳腐化する可能性を認めます。しかし、同時に「足場は今日の価値を持つ」と述べ、短期的な価値と長期的な変化の間のジレンマを指摘しています。これは、開発者がAI時代の到来に備えてどのようなスキルに投資すべきか、という難しい問いを投げかけています。

METRの将来展望

Joel Becker氏は、2026年、そしてその先の2030年に向けて、METRがどのような未来を描いているかを語ってくれました。

2026年、2030年の目標

METRの目標は、AI能力に関する「高品質な証拠」を提供し続けることです。これには、過去の時間軸チャートや開発者生産性研究のような成果の延長線上に、今回議論されたような新たな研究方向性も含まれます。例えば、オープンエンドな目標を追求するモデルの行動を評価したり、実際の開発ワークフローへの統合可能性を測ったりする試みです。

また、METRは「モニタリング研究」にも注力しています。これは、危険なタスクを試みるモデルに対して安全対策（セーフガード）を効果的に適用できるかどうかを評価するものです。現在の研究は主に「ブラックボックス」アプローチ（モデルの内部構造を直接分析しない）に基づいているようですが、将来的には「ホワイトボックス」アプローチ（内部を分析する解釈可能性の手法）も視野に入れているようです。

最終的に、METRの最も重要な目標は「リスク評価」を深化させることです。モデルの能力、傾向、そして安全対策の効果を総合的に考慮し、これらのAIモデルが社会に「大規模な害」をもたらすかどうかを判断することです。Joel氏は、2026年にはこの種のリスク評価研究がさらに活発化すると予想しています。

人材採用の告知：METRが求める人物像

METRは現在、事業拡大のために積極的に人材を募集しています。Joel氏のチームでは、研究エンジニア、研究科学者、そしてオペレーションディレクターといった多様なポジションで人材を求めています。応募者のバックグラウンドも、スタートアップ経験者、ML分野の専門家はもちろん、経済学や定量的ゲノミクスといった幅広い分野からの人材を受け入れているとのことです。

Joel氏が特に重視する資質は以下の通りです。

基本的な研究直感とデータ確認の習慣: データを注意深く確認し、深く理解する能力。例えば、事前学習のコーパスを理解することや、開発者の問題に対する「形」を頭の中に持つことの重要性。
透明性の高いコミュニケーションと客観性: 結果を過大評価せず、科学が示すものをありのままに伝える能力。METRの過去の仕事が「冷静沈着で、科学が言うことを過小評価も過大評価もしようとしない」ものであったと彼は語り、この姿勢が内部的にも外部的にも重要であると考えています。
生産性: 「フロンティア科学」に取り組む「スクラッピーな環境」で、仕事をやり遂げる能力。優れた才能を持つ多くの人々が、このような環境では必ずしも最高のパフォーマンスを発揮できるわけではないため、この資質は特に重要です。

これらの資質は、AIの急速な進化に対応し、客観的で信頼性の高い評価を行う上で不可欠なものです。Joel氏は、AI時代の新たなスキルセットを向上させたい人々にとって、これらの点が貴重な指針となると考えています。

結論：未来への洞察と継続的な議論の必要性

Joel Becker氏との議論は、AIの指数関数的な進歩を深く理解し、その機会とリスクを正確に評価することの重要性を改めて浮き彫りにしました。METRのような独立した組織が、AIモデルの能力を客観的な指標（時間軸チャート）で測定し、潜在的な脅威（R&D加速）を研究することは、AIが社会に統合される上で不可欠な羅針盤となります。

私たちは、AIの進歩が直線的であるという驚くべき発見から、GPT-4.5のようなモデルがもたらす不連続な飛躍の可能性、そして「能力爆発」のブレークポイントに関する複雑な議論まで、多岐にわたる洞察を得ました。開発者生産性の測定における課題、計算資源がアルゴリズムの進歩に与える影響、そして予測市場の倫理的側面といった、AIの社会実装を巡る多くの困難な問いが提示されました。

Joel氏は、ベンチマークの限界を認識し、AI Villageのようなオープンエンドな評価や、モデルの「マージ可能」なソリューションを評価するといった、より包括的で現実世界に即した新たな評価方法の必要性を強調しています。これらの取り組みは、AIが単なるツールを超え、社会の根幹に深く影響を与える存在へと進化する中で、その真の能力とリスクを理解するための鍵となるでしょう。

AIの未来は、まだ書き換えられています。METRのような独立した研究機関が提供する客観的なデータと深い洞察は、私たちがこの変革の時代を賢明に航海し、AIが人類にもたらす恩恵を最大化しつつ、潜在的なリスクを最小限に抑えるための継続的な議論を促進する上で、不可欠な光となることでしょう。