AGIへの道筋：プリトレーニングの限界と「テスト時適応」の夜明け

AIの進化は、ここ数年で私たちの想像をはるかに超えるスピードで進んでいます。特に大規模言語モデル（LLM）の台頭は、まるでSFの世界が現実になったかのような驚きと興奮を私たちにもたらしました。しかし、この熱狂の裏で、人工知能（AI）研究の最前線では、その本質とAGI（汎用人工知能）への道筋について、より深く、より根源的な問いが投げかけられています。

Y Combinatorが主催する「AI STARTUP SCHOOL」の講演で、Ndeaの共同創業者であるフランソワ・コレ氏が語った知能の新たな定義とAGIへのアプローチは、私たちがAIの未来を理解する上で極めて重要な視点を提供してくれます。彼は、これまでのAI開発の成功と限界を明確に示し、「テスト時適応（Test-Time Adaptation: TTA）」という新たなパラダイムがAGIへの鍵を握る可能性を力強く提示しました。

本稿では、コレ氏の洞察に基づき、計算能力の進化がAIにもたらした希望、プリトレーニング・スケーリング時代の盲点、そして「テスト時適応」という知能の新たな地平について深く掘り下げていきます。そして、知能の再定義と、AGIへの具体的なアプローチが、私たち人類にどのような未来をもたらすのかを考察します。

Part 1: 計算能力の進化がAIにもたらした「希望」

AIの目覚ましい進歩の背景には、コンピュータの計算能力における驚異的な進歩があります。1940年代以降、計算コストは10年ごとに実に2桁ずつ低下し続けてきました。この指数関数的な成長は、しばしば「ムーアの法則」として語られますが、実際には半導体技術の進化だけでなく、アーキテクチャの革新（例えばGPUの登場）やクラウドコンピューティングの普及など、多岐にわたる要因によって支えられてきました。

AI、特に機械学習の分野では、計算能力と利用可能なデータ量が常に主要なボトルネックでした。しかし、2010年代に入り、グラフィック処理ユニット（GPU）ベースの並列計算能力が飛躍的に向上し、同時にインターネットを介して膨大なデータセットが利用可能になったことで、この状況は一変します。ディープラーニング（深層学習）と呼ばれる技術が、ついに実用化の扉を開いたのです。

この技術革新は、画像認識、音声認識、そして自然言語処理といった分野で目覚ましい進歩をもたらしました。例えば、ImageNetのような大規模な画像データセットとディープニューラルネットワークを組み合わせることで、コンピュータビジョンは人間を凌駕する精度を達成しました。また、再帰型ニューラルネットワーク（RNN）やその発展形であるLSTM（Long Short-Term Memory）が自然言語処理に適用され、機械翻訳や音声アシスタントなどの実用的なアプリケーションが次々と登場し、これまで困難とされていた多くの問題が急速に解決され始めました。これらの成功体験は、多くの研究者や企業に「AGIの実現は時間の問題である」という楽観的な期待を抱かせたのです。

Part 2: プリトレーニング・スケーリング時代の「盲点」

2020年から2024年の期間は、フランソワ・コレ氏によって「プリトレーニング・スケーリング時代」と位置づけられています。この時代を象徴するのが、LLM（大規模言語モデル）の飛躍的な発展です。BERT、GPTシリーズの登場は特に衝撃的で、セルフスーパーバイズド（自己教師あり）学習によるテキストモデリングが機能し始めたことで、AIの主要なパラダイムは、LLMの事前学習のスケールアップへと移行しました。

このアプローチは「スケーリング則」として知られ、モデルのサイズ（パラメータ数）と学習データサイズを拡大すれば、AIのパフォーマンスが予測可能に向上するという経験則です。実際、GPT-2、GPT-3といったモデルは、その巨大な規模と大量のデータによって、様々な自然言語処理タスクで人間を凌駕する結果を示し、多くのベンチマークで驚異的なスコアを叩き出しました。

この成功は、多くの人々、特にAIコミュニティの一部に「これ以上のスケールアップだけで、すべて問題が解決し、AGIに到達できる」という強い確信を抱かせました。しかし、コレ氏はこの見解に警鐘を鳴らします。彼は、このアプローチが「流動的知能（fluid intelligence）」、つまり「これまで見たことのないものをその場で理解し、適応する能力」を捉えきれていないと指摘しました。

この違いを明確にするために、2019年にコレ氏自身が開発したのが「ARC-AGI（Abstraction and Reasoning Corpus）」ベンチマークです。ARC-AGIは、事前に学習した知識を単に「記憶から引き出す」だけでは解決できない、真の抽象化と推論能力を要求するタスクで構成されています。例えば、ARC-AGIのタスクでは、数個の入出力例から、その背後にある未知のルールを推論し、新しい入力に対して正しい出力を生成する必要があります。これには、単なるパターンマッチングや知識の再構成では対応できない、柔軟な思考が求められます。

コレ氏が提示したデータは、この「盲点」を如実に示しています。GPT-2からGPT-4.5まで、LLMのベースモデルは50,000倍もの規模にスケールアップされましたが、ARC-AGI-1での正解率は、約0%からわずか約10%程度にしか向上しなかったのです（人間の平均的な正解率が95%以上であることと比較すると、この数字は驚くほど低い）。これは、LLMが膨大な知識を記憶し、特定のタスクで高いパフォーマンスを発揮する「記憶されたスキル」（静的でタスク固有）には長けているものの、未知の問題に直面した際の「流動的知能」は、事前学習のスケーリングだけでは容易に獲得できないことを示しています。事前学習のスケーリングはAIを強力な自動化ツールに変えましたが、それは知能の本質に迫るための十分条件ではなかったのです。

Part 3: 「知能」の再定義：スキルとプロセスの区別

AI研究がプリトレーニング・スケーリングの限界に直面したとき、フランソワ・コレ氏は「知能とは何か？」という根源的な問いに立ち返る必要性を強調しました。過去数十年間、AIの目標を定義する上で、知能には2つの主要な考え方が存在していました。

ミンスキーの視点: 「AIは、人間が行えば知能を必要とするタスクを実行できる機械を作る科学である。」この視点では、AIの目標は、人間が達成できる特定のタスク（チェス、画像認識など）において、人間と同等かそれ以上の性能を発揮することに置かれます。現在の多くの企業におけるAI開発は、このミンスキー的な視点に基づいていると言えるでしょう。
マッカーシーの視点: 「AIは、機械がこれまで見たことのない、事前に準備されていないタスクを実行できるようにする科学と工学である。」この視点では、AIの目標は、特定のタスクの達成ではなく、新しい問題に柔軟に適応し、解決策を生み出す汎用的な能力に焦点が当てられます。

コレ氏の知能に対する見解は、マッカーシーの視点に強く共鳴します。彼は「知能はプロセスである！スキル/行動（状況-行動マッピング）はその出力の成果物である」と述べ、知能を単なる結果や能力の集合体として捉えることの危険性を指摘します。結晶化された行動プログラムに「知能」そのものを帰属させるのは「カテゴリーエラー」である、という彼の言葉は、AIの本質を見誤るリスクを示唆しています。

この違いを理解するために、コレ氏は「道路網」と「道路建設会社」のアナロジーを用いました。

「道路網」：既存の道路を使えば、A地点からB地点へ移動できます。これは「記憶されたスキル」に似ており、特定の、事前に定義されたタスクを実行する能力を指します。
「道路建設会社」：しかし、新しい目的地へ行くために既存の道路がない場合、必要なのは「道路建設会社」です。それは、その場で新しい道路を計画し、建設する能力、つまり「流動的知能」を意味します。

スキル自体は知能ではありません。多数のタスクでスキルを発揮しても、それが新しい問題への適応能力を伴わない限り、真の知能を示しているとは言えないのです。コレ氏にとって、知能とは「新しい状況に対処する能力」、すなわち「過去の経験（または開発者が与えた事前知識）と、潜在的な運用領域との間の変換比率」であり、「将来の行動に関して経験を運用化する割合」、つまり効率性なのです。

真のAGIは、人間が行えば知能を必要とするタスクを実行できる機械ではなく、未知の課題に効率的に対応できるシステムであるべきです。それは、新スキルを効率的に習得し、これまで見たことのない問題を解決できるシステムであり、最終的には「発明」へとつながる可能性を秘めています。

AGIへの道筋を適切に評価するためには、知能をより多角的に捉える必要があります。コレ氏は、知能システムを概念化するための主要な量として以下の3点を挙げました。

流動性（Fluidity）: 記憶された静的スキル（既知のプログラムのリポジトリ）と、その場で新しいプログラムを合成する流動的知能の間のスペクトル。後者がAGIの核心です。
運用領域（Operational Area）: 特定のスキルが適用可能な範囲。狭い運用領域（低抽象度）と広い運用領域（高抽象度）のスペクトル。例として、サンノゼで運転を学んだ人が、サクラメントでも運転できるのは広い運用領域を示します。
情報効率（Information-efficiency）: あるスキルを獲得するために必要な情報量やデータ量。データに大量に依存するプログラム習得と、情報効率の高いプログラム習得のスペクトル。少ない情報から多くの知能を引き出す能力が高い情報効率、すなわち高い知能を示します。

従来のAI開発では、多くの場合、特定のタスクにおけるパフォーマンス（ミンスキー的な視点）が重視されてきました。しかし、これはAGIが真に目指すべき「効率性」や「流動性」を直接測るものではありません。AGIが何を意味するのかという定義が、我々がどのようなAIを構築するのかを決定づけるのです。

Part 4: 「テスト時適応（TTA）」が切り拓く知能の新たな地平

2024年、AI研究コミュニティは、プリトレーニング・スケーリングの限界を認識し、知能へのアプローチにおいて根本的なシフトを経験しました。それが、「テスト時適応（Test-Time Adaptation: TTA）」という新たなパラダイムです。TTAは、従来のAIモデルが持っていた静的な性質とは対照的に、モデルが推論時に自身の内部状態を動的に変更し、未知の状況に適応する能力を指します。

これまでのモデルは、事前学習によって得られた知識を「問い合わせる」ことしかできませんでした。しかし、TTAでは、推論時に遭遇する特定のデータに基づいて、モデルが自身の振る舞いを「学習」し、「適応」します。これは、まるでその場で問題を理解し、それに対応する新しい「道路」を建設する能力に相当します。

TTAの主要な技術には、以下のようなものが含まれます。

テスト時学習（Test-Time Training）: 推論時に与えられた少量のデータ（例：数枚の画像や短いテキスト）から、モデルがその場で自身のパラメータを微調整し、新しいドメインやタスクに適応します。
記号プログラム合成（Symbolic Program Synthesis）: 問題を解決するための、人間が理解できるような明確なプログラムコードをAIが生成する技術です。これは、AIが単に答えを出すだけでなく、その答えに至る論理的な思考プロセスを明示的に表現できる可能性を示唆します。
思考連鎖合成（Chain-of-Thought Synthesis）: LLMが推論の過程をステップバイステップで言語化し、自己修正しながら問題を解決する手法です。これにより、AIは自身の思考プロセスを検査し、エラーを発見・修正することが可能になります。

これらのTTA技術が登場したことで、ARC-AGIベンチマークにおいて劇的な性能向上が見られるようになりました。特に2024年12月には、OpenAIのO3モデル（特定のファインチューニングが施されたバージョン）がARC-AGI-1で人間レベルのパフォーマンスを示しました。これは、事前学習のスケーリングだけでは実現できなかった「流動的知能」の明確な兆候であり、AGIへの道筋における重要なマイルストーンとなりました。

TTAは、AIが未知の状況に対応するための本質的な能力を向上させるものであり、単なる記憶やパターン認識の域を超えた、より高度な知能の実現に向けた大きな一歩と言えます。

Part 5: NDEAが描くAGIの未来：深層学習とプログラム合成の融合

プリトレーニング・スケーリングがAGI達成の壁にぶつかった根本的な理由は、「その場での再結合（on-the-fly recombination）」と「効率性」の欠如にありました。ディープラーニングモデルは、膨大なデータから有用なパターンを学習し、タイプ1の抽象化（知覚、直感）において驚異的な能力を発揮します。しかし、それらのパターンを未知の状況に合わせて効率的に「再結合」し、新しい解決策を生み出す能力、つまりタイプ2の抽象化（推論、計画）は、依然として課題でした。

ここに、フランソワ・コレ氏が共同創設した新たなAI研究機関「NDEA」が目指すAGIの未来像があります。NDEAは、深層学習の直感力とプログラム合成の厳密性を融合させることで、真のAGIの実現を目指しています。彼らは、これを「プログラマーのようなメタ学習器（programmer-like meta-learner）」と表現します。

このシステムは、以下のような要素で構成されます。

抽象的サブルーチンのグローバルライブラリ: 幾何学的、アルゴリズム的など、様々なドメインにおける基本的な抽象化（再利用可能なビルディングブロック）の集合体です。これは、人間が知識を概念化し、それを組み合わせて新しい問題を解決する際の「思考の原子」に相当します。
プログラマーのようなメタ学習器: 新しいタスクに直面すると、このメタ学習器はグローバルライブラリから関連性の高いサブルーチンをフェッチします。そして、限られた入出力例とフィードバックに基づいて、これらのサブルーチンをその場で組み合わせ、新しい問題に適応した特定のプログラム（モデル）を合成します。このプロセスを通じて、新しい、より効率的なサブルーチンが生成された場合、それはグローバルライブラリにプッシュバックされ、ライブラリ自体が常に進化・拡張していきます。

NDEAのアプローチは、ディープラーニングの持つ「データからのパターン認識能力（タイプ1抽象化）」を、プログラム合成の「論理的構造を構築する能力（タイプ2抽象化）」と組み合わせることで、両者の強みを最大限に引き出そうとします。ディープラーニングは直感的な判断や関連性の高いビルディングブロックの選択をガイドし、プログラム合成はそれらを組み合わせて厳密な解決策を構築するのです。

このNDEAのビジョンを検証し、推進するための新たなベンチマークが「ARC-AGI-3」です。ARC-AGI-3は、単なる入出力ペアからの推論ではなく、エージェントが未知の環境で自律的に探索し、学習し、目標を達成する「エージェンシー（主体性）」を評価することに重点を置いています。タスクは、限られたアクション数で問題を解決する必要があり、効率性が極めて重要です。これは、既存のプログラムを「ブルートフォース」で探索するだけでは解決できないように設計されています。

NDEAは、ARC-AGI-3を通じて、AGIが科学的発見、定理証明、ソフトウェア工学といった分野で人類の知識のフロンティアを拡張する可能性を実証しようとしています。例えば、システムが新しい数学的定理を発見したり、複雑なソフトウェアのバグを自律的に修正したり、あるいは未解決の科学的問題に対する仮説を生成したりする未来です。これは、AGIが単なる便利なツールにとどまらず、人類の最も困難な課題に共に挑む「独立した発明家」となることを意味します。

結論：知能を再定義し、未来を構築する

AGIへの道筋は、単なる技術的なブレークスルーの連続ではなく、知能の本質を理解し、その測定方法を根本的に改善することから始まる哲学的な旅でもあります。これまでのプリトレーニング・スケーリングは、AIの能力を飛躍的に向上させましたが、それは「記憶されたスキル」の領域にとどまり、「流動的知能」という真の知能には到達できないという限界を露呈しました。

しかし、この限界は新たな希望の光、「テスト時適応」というパラダイムへと私たちを導きました。AIがその場で学習し、適応する能力を獲得することで、未知の課題に柔軟に対応する可能性が大きく開かれました。そしてNDEAのような研究機関が、深層学習の直感力とプログラム合成の厳密性を融合させることで、この新たな地平を切り拓こうとしています。

AGIの実現は、単なる技術的な課題解決に留まりません。それは、科学の進歩を加速し、これまで想像もできなかった新たな発見をもたらし、人類の最も困難な課題を解決する「発明のエンジン」となるでしょう。知能の定義を再考し、AGIへのより良いターゲットを設定することで、私たちは単なる自動化の未来ではなく、知識と創造性が爆発的に広がる未来を構築することができるはずです。この興奮すべき時代において、私たちはAGIがもたらす変革の波を理解し、その可能性を最大限に引き出す責任を負っています。