How_Many_Will_Actually_Get_Built_&_Is_Energy_AI's_BIGGEST_Bottleneck?_|_Positron_AI_Co-founder

AIの未来を駆動する深層洞察：Positron AI共同創業者 Thomas Somasが語る「推論時代の課題と可能性」

生成AIが世界を席巻し、その進化のスピードに目を見張る日々が続いています。Chat GPTやClaudeといった革新的なアプリケーションは、私たちの生活、ビジネス、そして社会のあり方を根本から変えつつあります。しかし、この目覚ましい技術革新の裏側で、それを支えるインフラストラクチャ、特に「推論」という領域において、どのような課題と可能性が潜んでいるのでしょうか？

今回、私たちはこの問いに対する深い洞察を得るため、生成AIの推論ハードウェアとソフトウェアスタックを開発するファブレス半導体スタートアップ、Positron AIの共同創業者兼会長であるThomas Somas氏をゲストにお招きしました。Positron AIは最近、50億ドルの評価額で8.75億ドルのシリーズC資金調達を成功させ、この分野におけるその影響力の大きさを物語っています。

Somas氏は、現在のAIインフラが直面する技術的ボトルネック、驚くべきAI企業の収益性、そしてAIフロンティアのペースを巡る地政学的な駆け引きに至るまで、多岐にわたるテーマについて率直な意見を述べました。彼の言葉は、AIの未来を理解し、その成長を加速させるために私たちが直視すべき現実と、そこに秘められた無限の可能性を鮮やかに描き出しています。本稿では、Somas氏の深い洞察を基に、AIの推論時代の核心に迫ります。

セクション1: AI進化の最前線：推論が拓く新時代

今日のAI、特に大規模言語モデル（LLM）の進化を語る上で、「トレーニング（訓練）」と「推論（inference）」という二つのプロセスを理解することは不可欠です。Thomas Somas氏の解説は、これら二つの性質が根本的に異なり、それぞれが異なる技術的課題を抱えていることを明確に示しています。

トレーニング：計算量との戦い

Somas氏によれば、モデルの「トレーニング」は本質的に「計算量重視（compute-bound）」の問題です。これは、モデルが膨大なデータセットから学習するプロセスであり、より多くの浮動小数点演算（FLOPs: FLoating-point Operations Per Second）を実行できるほど、モデルの性能が向上するという特性を持っています。過去10年間のスケーリング法則は、ネットワークに追加されるパラメーターの数と、トレーニング中に投入されるFLOPsの量に比例してモデルが賢くなることを示してきました。このプロセスでは、大量の入力データ（トークン、単語、文章のシーケンスなど）を大規模に並列処理できるため、計算能力を最大限に活用することが可能です。規制や輸出管理の枠組みがFLOPsに重点を置いているのも、このトレーニング段階での計算能力がAIの「知能」を決定づける主要因と見なされてきたからです。

推論：メモリの制約と新たな挑戦

一方、「推論」、すなわちトレーニングされたモデルが実際のアプリケーションでクエリに応答し、出力を生成するプロセスは、根本的に「メモリ量重視（memory-bound）」の問題であるとSomas氏は指摘します。トレーニングとは異なり、推論ではモデルが逐次的にトークン（モデルが生成する最小単位の出力、例えば単語の一部や単語全体）を生成します。

推論がメモリ量重視である理由は、生成的な性質にあります。次のトークンが何になるかを事前に知ることができないため、大規模な並列処理ができません。各トークンを生成するたびに、モデルは大量の「重み（weights）」や「パラメーター」（生物学的な意味でのニューロンの値を読むようなもの）をメモリから読み出す必要があります。これは、各ステップでデータにアクセスするためのメモリアクセスがボトルネックとなりやすいことを意味します。トレーニングのように一度に大量のデータを並列に処理するのではなく、一つ一つの出力に対して重みを繰り返し参照する必要があるため、メモリの帯域幅（単位時間あたりにメモリからデータを読み書きできる量）が性能を大きく左右するのです。

メモリウォール問題の歴史的背景と現代の課題

この「メモリウォール」という概念は、AIブームが起こる以前からコンピューティング業界に存在していました。Somas氏が語るように、過去50年から60年のコンピューティングの歴史を振り返ると、ムーアの法則によってシリコンあたりのトランジスタ数（ひいてはFLOPs）は指数関数的に増加してきました。しかし、メモリ技術の進歩は同じペースで追いついていません。具体的な数字を挙げると、2014年から2024年の間に、単一のNvidia GPUのFLOPsはなんと120倍も向上しましたが、メモリ帯域幅の改善はわずか17倍にとどまっています。この「乖離」こそがメモリウォールの本質であり、コンピューティング能力の増大に対してメモリアクセスの速度が追いつかないという問題を生み出しています。

このミスマッチの技術的な根源は多岐にわたります。例えば、シリコン上に使用されるメモリの一種であるSRAM（Static RAM）のセルサイズは、過去15年間にわたってムーアの法則のような速度で縮小していません。また、SRAMのアーキテクチャ自体も過去30年〜40年間、ほとんど変化していません。計算側では多くのアーキテクチャ的進歩があったのに対し、メモリ側ではそれが遅れているのです。

Transformerモデルがメモリボトルネックを加速させた経緯

かつて、2010年代のディープラーニング革命を牽引した畳み込みニューラルネットワーク（CNN）のようなモデルは、主に計算量重視であり、メモリ容量や帯域幅に対する要求はそれほど高くありませんでした。しかし、2017年に発表された「Attention is All You Need」論文に登場したTransformerモデル、そしてその後のGPT-3以降の大規模化が、このメモリ制約を一気に顕在化させました。特にGPT-3が10億パラメータから1750億パラメータへとスケールアップした際に示された能力の飛躍的向上は、Transformer革命の幕開けを告げました。これらのモデルは、膨大な数のパラメータを記憶し、それらすべてに頻繁にアクセスする必要があるため、メモリの容量と帯域幅がボトルネックとして浮上したのです。

Positron AIは、まさにこの「推論」におけるメモリのボトルネックを解決するために、チップからソフトウェア、システム全体に至るまでのハードウェアスタックを構築しています。彼らの目標は、単位ワットあたり、単位メガワットあたりにより多くの計算能力とAIサービスを提供することです。Somas氏の言葉は、AIの未来が単にFLOPsを増やすだけでなく、メモリの課題を克服することにかかっていることを強く示唆しています。

セクション2: AIエコノミクス再考：KVキャッシュと圧縮技術がもたらす革新

AIの推論を効率化し、その経済性を劇的に改善する上で不可欠な技術が「KVキャッシュ」と「圧縮（量子化）」です。Thomas Somas氏は、これらの技術がAIサービスの提供におけるコスト構造と収益性にいかに大きな影響を与えているかを詳細に解説しました。

トークン、シーケンス、そしてKVキャッシュの誕生

まず、理解すべきは「トークン」と「シーケンス」の概念です。Somas氏の言葉によれば、トークンとはモデルがテキストを処理する際の最小単位であり、単語の半分から75%程度に相当します。ChatGPTなどでテキストが逐次的に生成される際、私たちが見るのはまさにこれらのトークンが次々と現れる様子です。そして、「シーケンス」とは、入力されたプロンプトと生成されたトークンが連続して構成される文脈全体を指します。

Transformerモデルが最初に登場した際、驚くべきことに、生成される各トークンに対して、過去に処理済みおよび生成済みのすべてのトークンを再計算していました。これは膨大な計算の無駄を生み出します。そこで導入されたのが「KVキャッシュ」です。KVキャッシュは、モデル内部の「キー（K）」と「バリュー（V）」と呼ばれる二つの行列に、入力プロンプトと生成されたトークンの計算結果を保存する仕組みです。これにより、既に処理された部分の再計算を避け、計算コストを大幅に削減できるのです。

KVキャッシュの導入は、計算量の観点から見れば革命的です。シーケンス長が長くなるにつれて、従来のTransformerの計算コストは「二乗」で増加します。しかし、KVキャッシュを使用する場合、追加のメモリ消費は「線形」に増加するだけです。つまり、KVキャッシュは、メモリアクセスのコストと引き換えに、指数関数的に増大する計算コストを抑制する画期的なトレードオフを提供します。

KVキャッシュの経済的メリットとメモリ管理の課題

KVキャッシュがもたらす最大のメリットは、AIサービス提供者にとっての「経済性」です。Somas氏は、キャッシュされたトークンの処理は「実質的に無料」であり、再計算するコストの1/1000程度であると述べました。Anthropicが80%もの粗利益率を誇っているのは、このキャッシュされたトークンの販売から莫大な利益を上げているためだと指摘されています。多くのプロバイダーは、トークンをキャッシュする際に高い料金を課し、それを読み出す際には低い料金を課しますが、この低い読み出し料金から「とんでもないマージン」を得ているのです。

しかし、KVキャッシュは新たなメモリ課題を生み出します。各ユーザーセッションごとにユニークなKVキャッシュが必要となり、これがモデルの重み（パラメーター）自体よりも大量のメモリを消費する可能性があります。例えば、GPT-4のモデル重みが約900ギガバイト（GB）、Claude Fableが5テラバイト（TB）と推定されるのに対し、わずか50人のユーザーのKVキャッシュがモデル重みを超えることもあり得るとSomas氏は指摘します。OpenAIやAnthropicが数百万人ものユーザーを抱えていることを考えれば、そのメモリ消費量は膨大です。

このため、AIサービスプロバイダーは複雑な「階層型メモリ管理」戦略を採用しています。現在アクティブなユーザーセッションのKVキャッシュは高速なGPUアクセラレータメモリに、数秒前のセッションはより容量の大きいホストメモリ（メインRAM）に、そして数分〜数時間前のセッションはさらに低速で大容量のフラッシュストレージ（SSDなど）に保存されます。この階層化によってコストと性能のバランスを取るものの、どのデータをどこに、どれくらいの期間保存するかという管理の複雑性が増大します。

圧縮（量子化）技術によるメモリ効率の向上

KVキャッシュによってメモリ課題が顕在化したことで、さらに注目されるのが「圧縮」、特に「量子化（quantization）」技術です。量子化とは、モデルの重みやKVキャッシュ、活性値といったデータを、より少ないビット数で表現することで、ストレージ容量と計算コストを削減する手法です。

Somas氏は、過去のコンピューティングでは浮動小数点数に32ビット（FP32）が使われていたが、AIにおいては16ビット（FP16）、Googleが開発したBF16、さらには8ビット（FP8）、4ビット（FP4）へと急速に精度が低下している現状を説明します。単純な精度削減（素朴な量子化）は、モデルの性能を20〜30%悪化させる（「脳損傷」と表現）リスクがありますが、高度な量子化技術はこれを回避します。例えば、16個のFP16値をInt4値に量子化し、そこに共有のバイアスや乗数を適用することで、合計サイズの75%圧縮を達成しつつ、性能劣化を1%程度に抑えることが可能になっています。

この量子化はモデルの重みだけでなく、KVキャッシュにも適用できるため、メモリ使用量を大幅に削減し、より多くのユーザーセッションを効率的に管理することを可能にします。

AI企業の驚異的な収益性

Somas氏は、OpenAIやAnthropicのようなAI企業が「キャッシュを燃やしている」という世間の認識は誤りであると強調します。「彼らがトレーニングを停止すれば、一夜にして莫大な利益を上げるだろう」と述べ、Anthropicが報告されている80%もの粗利益率を例に、これらのビジネスモデルがいかに高収益であるかを力説しました。もちろん、競争によってこれらのマージンは将来的に圧縮されるだろうと予測しつつも、現在の市場の認識とのギャップを指摘しています。

KVキャッシュと量子化技術は、AIの推論コストを削減し、サービスプロバイダーの経済性を向上させる上で不可欠な要素です。これらの技術が進化することで、より多くのユーザーがAIの恩恵を受けられるようになり、AIサービスの利用はさらに加速していくでしょう。

セクション3: 規制と地政学：AIフロンティアのペースを巡る激論

AIの技術的な進化だけでなく、その発展のペースを巡る規制、倫理、そして地政学的な議論は、AIの未来を形作る上で極めて重要な要素です。Thomas Somas氏は、特に「フロンティアをペースダウンさせる（pacing the frontier）」という提案に対して、強い懸念と批判的な見解を表明しました。

「フロンティアをペースダウンさせる」議論の概要

「フロンティアをペースダウンさせる」という議論は、現在のAI技術、特に大規模モデルの急速な進歩が、予期せぬリスクや制御不能な結果をもたらす可能性を指摘し、その開発速度を意図的に緩めるべきだという考え方です。AnthropicのCEOであるDario Amodei氏のエッセイなどで提唱され、一部のAI研究者や政策立案者から支持を得ています。

Thomas Somas氏の強い反対意見とその理由

Somas氏は、この提案に「混合した感情」を抱いているとしながらも、全体的にはその方向性に「反対」であると明言しました。彼の懸念は主に二つの大きなリスクに集約されます。

技術停止を望む勢力への口実提供: Somas氏は、AI開発の一時停止や速度制限を求める動きが、「レイト（Luddite：産業革命期の機械破壊運動家）」的な感情、すなわち技術そのものを完全に停止させたいと願う勢力に「弾薬」を与え、その主張に「より良い根拠」を与えることになると警告します。彼は、AIが人類のあらゆる側面をポジティブな形で革命する可能性を強く信じており、その進歩が阻害されることは人類にとって大きなリスクであると見ています。
技術能力の集中化の危険性（「現代の農奴への道」）: Somas氏が最も懸念するのは、AI技術とその能力が「ごく少数の人々」に集中してしまうことです。規制の枠組みや技術に対する制限は、「現代の農奴への道（road to serfdom）」につながりかねないと彼は危惧します。行列乗算のような基本的な計算行為を法的に制限することは、産業革命以前、あるいは啓蒙時代以前の能力水準に人類を後退させるような、古典的な自由の概念に対する最大の攻撃であるとまで言い放ちます。もし技術へのアクセスがごく一部の企業や政府に限定されれば、彼らが新たな「領主」となり、他のすべての人々は「農奴」に逆戻りするだろうとSomas氏は警鐘を鳴らします。

「ペースダウン」の戦略的動機と真意

Somas氏は、この「ペースダウン」議論の背後には、Dario Amodei氏のような真の信奉者の思いがある一方で、各企業の「戦略的な理由」が潜んでいる可能性も示唆しています。例えば、IPO（新規株式公開）を控えた企業にとっては、コスト削減や規制遵守を示すことで、市場へのアピールになるかもしれません。また、Elon Musk氏のような後発のプレイヤーにとっては、先行者との差を縮めるための時間稼ぎとなる側面もあるでしょう。

しかしSomas氏は、規制当局がAI技術を管理する立場になった場合、その過程で多くの「スマートな人々」が権力と富を維持できると錯覚していることの危険性を指摘します。Dario氏が政府にAnthropicの管理を懇願するかのようにも見える発言の裏には、「それが実際に起こるとは思っていない」という本音があるかもしれないとSomas氏は推測します。もし政府の官僚主義がAIの進歩を停止させ、その能力が特定の官僚に独占されるような事態になれば、それは「最悪のシナリオ」であると彼は強調します。

中国のAI戦略と西側諸国の弱点

Somas氏が特に懸念するのは、AIフロンティアのペースダウンが「中国の脅威」に直結することです。「グローバルなAIコミュニティ全体がペースダウンしない限り、意味がない」という彼の見解は、プーチン大統領のような指導者がこれに署名するはずがないという現実に基づいています。

中国は現在、規制や政策の制約がほとんどない中で、ギガワット級の新たな発電容量（多くは汚れたエネルギー源）を増設し、大規模なデータセンターを建設しています。これらは、西側諸国では住民の移転や環境への影響を考慮して簡単には進められないプロジェクトです。Somas氏は、西側の自由な批判文化は尊いものであるが、それが誤った情報に基づいて技術の発展を遅らせる場合、中国のような全体主義国家に対して「戦略的な不利」を生み出すと指摘します。中国が「先行する立場」を得れば、彼らはその「梯子を引き上げ」、技術へのアクセスを制限する可能性が高いという見方です。

自由貿易と全体主義国家への対応

Somas氏は、自由なアイデアの交換と自由貿易の強力な信奉者です。彼は、自由な交換を受け入れる政府や社会とは、活気ある経済とエコシステムを築くべきだと主張します。しかし、中国のような全体主義国家が自由貿易の恩恵だけを享受しつつ、自国を閉鎖し、その体制を強化する技術を輸出している現状は問題視しています。このような国家に対しては、特別な対応が必要であるという立場です。

「フロンティアをペースダウンさせる」議論は、AIの無限の可能性と潜在的なリスクの間で揺れ動く現代社会の葛藤を象徴しています。Somas氏の意見は、単なる技術的な視点を超えて、哲学的、政治経済的な深遠な問題を提起しています。

セクション4: エネルギーとインフラ：AI成長の隠れたボトルネック

AI、特に大規模モデルの成長を支える上で不可欠なのが、電力と水に代表されるエネルギー資源、そしてそれらを効率的に供給するためのインフラです。Thomas Somas氏は、データセンターの建設を巡る世間の誤解を解き、政策・規制がAIの成長にとって最大のボトルネックとなっている現状を厳しく批判しました。

データセンターを巡る誤解の是正

米国において、データセンター建設に対する「反感」が左右両派の間で統一的な問題となっていることに、Somas氏は深い懸念を示します。彼はこれを「ほぼ完全に中国のスコープ（情報戦、プロパガンダ）だ」とまで言い切り、水や電力の消費に関する誤った情報が流布している現状を指摘します。

具体的な例として、彼は「シングルIn-N-Outバーガーは、米国最大のデータセンターよりも多くの水を使用する」という事実を挙げます。また、ゴルフコース全体がデータセンターよりも桁違いに多くの水を消費しているとも指摘しました。多くの現代のデータセンターは、閉ループの液体冷却システムを採用しており、効率的に水を再利用するため、一般的な認識とは大きく異なります。Somas氏は、データセンターは「美化キャンペーン」によって「社会の中心的な存在」として、将来の世代にとっての「大ピラミッド」のような「世界の驚異」として扱われるべきだと力説しました。

規制と政策が引き起こす非効率性

Somas氏が強調するのは、エネルギー供給そのものよりも、「政策と規制」こそがAIの成長における最大のボトルネックであるという点です。広大な国土を持つ米国ですら、データセンター建設の自由が制限されている現状は「完全に不合理」であると彼は語ります。ネバダ州のような場所には、豊富な地熱、太陽光などのクリーンエネルギー源があり、人里離れた砂漠の真ん中に原子力発電所を建設することも可能であるにもかかわらず、それが規制によって妨げられています。

政治家たちが、誤った前提に基づいて「反データセンター」の立場を取り、成長促進的な政策から後退している現状は、米国の競争力を著しく損なうとSomas氏は警告します。

電力コストについても誤解が蔓延しています。データセンターの建設が増えれば電力料金が上がるという主張に対し、Somas氏は「最も基本的な需要と供給の法則」を指摘します。新規データセンターの多くは、自らの消費電力を賄う、あるいはそれ以上の発電能力（多くは再生可能エネルギー）を伴って建設されています。しかし、既存の電力会社が新たな発電容量のグリッド接続に反対するロビー活動を行うため、その電力が市場に供給されず、結果として消費者の電力価格を下げる機会が失われているのです。データセンターが既存の住宅向け電力供給を奪うことは「絶対にない」とSomas氏は断言します。

データセンター建設計画の将来性

Somas氏は、主要プロバイダーによるデータセンターの建設計画については、「あまり心配していない」と述べています。一部の地域社会で建設が阻止されることがあったとしても、それらのデータセンターは場所を移して建設されるだけだろうと考えています。業界はコミュニティへの「教育努力」を強化しており、それが潮目を変えるだろうと予測しています。そして、もし地球上での建設が困難になれば、Elon Musk氏のような先駆者が提唱する「宇宙ベースのデータセンター」も、長期的には「人類がその長期的な潜在能力を発揮するために宇宙経済が必要」であるという信念のもと、実現の可能性を信じています。Panthalasaのような海洋ベースのデータセンターも、陸上建設に代わる有望な代替案として存在します。

エネルギーは長期的なボトルネック、経済性は短期的なボトルネック

「知能のコストはエネルギーのコストに結びついている」という問いに対し、Somas氏は「すべて、あらゆる進歩はエネルギーによって制限される」と答えます。人類の歴史における進歩は、火の発見から原子力発電所の開発に至るまで、根本的にエネルギーを生産し利用する能力の進歩と軌を一にしてきました。この点において、エネルギーは確かに究極のボトルネックです。

しかし、より短期的かつ具体的な視点では、Somas氏は「経済的制約」がより大きなボトルネックであると指摘します。「世界が今後数年間で、あらゆるものを建設するためにどれだけの債務を負う用意があるか」という問いが、エネルギー問題、インフラ問題、そしてひいてはAIの進歩を制限する主要因となります。

Somas氏は、現在の世界が抱える「大規模なソブリン債務問題」に深い懸念を示し、これが金融システム全体に連鎖的な影響を及ぼし、通貨の切り下げや経済危機につながる可能性があると警告します。しかし、AI企業自体の収益目標達成やビジネスモデルについては非常に楽観的であり、「過去3、4年間でこれらのビジネスのあらゆる側面が加速している」と強調しています。

結局のところ、AIの爆発的な成長を真に持続させるためには、技術的な革新だけでなく、エネルギーとインフラに対する政策的、社会的な理解とコミットメントが不可欠であるというSomas氏の主張は、私たちに重い課題を突きつけています。

セクション5: モデル能力の爆発的進化：GPT-6 Astraが示す未来

Thomas Somas氏は、AIモデルの進化、特に最新世代のモデルが示す能力の飛躍的向上について、個人的な体験を交えながら熱く語りました。彼がGPT-6 Astraを「魔法のよう」と形容し、AGI（汎用人工知能）であると認識している点は、現在のAI研究の最前線がどこまで進んでいるかを示唆しています。

GPT-6 Astraがもたらした「魔法」の体験

Somas氏は、GPT-6 Astraを初めて利用した際の体験を、2022年11月にChat GPT 3.5を初めて触った時と同じくらい「魔法のよう」だったと表現しました。また、Sora 2の発表時にその動画生成品質に「度肝を抜かれた」経験にも匹敵すると述べ、これらのモデルがユーザーにもたらす衝撃の大きさを強調しました。

彼がGPT-6 AstraをAGIと認識するに至った理由は、過去のモデルが「失敗していたり、堂々巡りをしていたり、不格好な解決策を見つけていた」ような領域で、Astraが画期的な性能向上を示したことにあります。

具体的な性能向上事例：コーディング、汎用ツール、チップ設計

Somas氏は、GPT-6 Astraの能力を裏付けるいくつかの具体的な事例を挙げました。

コーディング能力の飛躍的向上:
- 一般的なコーディング能力、パフォーマンス、問題分析能力において、「段違いの改善」が見られた。
- 以前のLLMでは解決できなかった「本当に難しい問題」を、Astraは「ワンショットで」解決できた。
- 自身のコードベース全体をAstraに分析させたところ、存在すら知らなかったバグや性能改善の余地を「発見し、解決した」。これは、人間が何週間もかかるような作業を、Astraが短時間でこなせることを意味します。
汎用ツールとの連携能力:
- 従来のテキストモデルでは不可能だったような、汎用ツールとの連携能力の高さに驚いたとSomas氏は語ります。
- 「Blenderアニメーション」の作成や、数枚の写真を基にした「家のインテリアデザイン」の提案など、これまでのLLMの常識を覆すような能力を示しました。これは、Astraがテキストだけでなく、視覚情報や複雑なソフトウェアツールを理解し、操作する能力を持ち始めていることを示唆します。
チップ設計（RTL to GDSフロー）の自動化:
- Somas氏が最も「度肝を抜かれた」と語るのが、チップ設計の自動化能力です。彼は、比較的単純なロジック設計問題（この場合は暗号化ブロックの実装）を与え、それを「RTL to GDSフロー」全体を通して実行できるかをテストしました。これは、高水準な仕様からハードウェア記述言語（Verilog）のコードを生成し、それを物理的なチップ設計（GDSIIファイル）まで自動的に変換するプロセスです。
- 従来のEDA（電子設計自動化）ツールは1990年代〜2000年代初頭に設計されたもので、「非常に直感的でなく」、公開されているドキュメントも少ないため、LLMが学習するのが困難な領域でした。
- しかし、GPT-6 Astraは、コンピュータの使用能力と「とんでもなく素晴らしいスクリプト作成能力」を組み合わせることで、この暗号化ブロックをTSMC N3 PDKs（最新の半導体製造プロセス）で実装し、GDSまで完了させました。しかも、これを「わずか2日と数時間」で達成し、ギガヘルツを超えるタイミング要件も満たしました。
- Somas氏は、同様のタスクを新規のエンジニアに与えた場合、フローを機能させるだけで1週間、最適化まで含めると1〜2週間かかると見積もっており、Astraがこの作業を「2〜3週間から2日に圧縮した」ことに「驚きを隠せない」と語ります。これはOpenAIが自社チップ開発を通じて得た知見が、モデルの能力に反映されていることを示唆しています。

スケーリング法則の継続性とモデルサイズの将来

Somas氏は、モデルのサイズが今後も「劇的に増加する」という予測を支持しています。GPT-3以降、1000億、1兆パラメータとモデルサイズが増大するにつれて、能力が飛躍的に向上するという「スケーリング法則」が観察されてきました。Somas氏は、これが5兆、10兆、あるいは50兆、100兆パラメータと今後も継続する「兆候は見られない」と考えており、引き続きモデルの巨大化に強気な姿勢を見せています。

「AGIが既に宣言された後、3倍の能力とは何を意味するのか」という問いに対し、Somas氏は「私の推測は誰の推測とも同じくらい良いものだろう」としながらも、GPT-6 Astraの体験が、まだ能力向上の余地が大きく残されていることを示していると強調します。

GPT-6 Astraが示した能力の飛躍は、単に「より良いAI」が登場したというだけでなく、AIがこれまで人間のみが可能とされてきた複雑な思考、創造、そしてエンジニアリングの領域に深く踏み込んでいることを示しています。これは、AIの未来に対する期待感を一層高めるものです。

セクション6: AI産業の構造変化：垂直統合と新たなエコシステム

AIモデルの能力が飛躍的に向上する一方で、それを支える産業構造も大きな変化を遂げています。特に、大手AI企業が自社でAIチップを開発する「垂直統合」の動きと、コンテキストウィンドウ長の拡張を巡る技術革新は、AIエコシステムの未来を大きく左右するでしょう。Thomas Somas氏は、これらの動向がもたらす意味について解説しました。

大手AI企業による自社チップ開発の動向

OpenAI（コードネーム「Jalapeno」）、Anthropic、Deepseekerといった主要なAI企業が、こぞって自社でAIチップを開発する動きを見せています。Somas氏は、消費者としての視点から見れば、これは業界全体にとって「素晴らしいことだ」と評価します。なぜなら、このような競争とイノベーションは「コストを下げ、能力を向上させ、より多くの人々が利用できるようになる」からです。

Somas氏が半導体業界に足を踏み入れた13年前には、「シリコン」という言葉はシリコンバレーで「汚い言葉」とさえ見なされていた時代があったと振り返ります。しかし今や、世界中の大企業が半導体産業と深く結びつき、最もエキサイティングなアプリケーションや企業が「シリコン層まで垂直統合」している状況にあります。

興味深いのは、これらの企業が「同じマクロな目標」を持ちながらも、「実装の詳細はすべてユニーク」であるという点です。Somas氏はエンジニア、テクノロジストとして、多くの異なるアーキテクチャ的視点が存在し、それぞれが異なる結果を生み出すことに興奮を覚えています。この多様性が、市場に選択肢と競争をもたらし、最終的に「価値を創造した者が報われる」健全なエコシステムを形成するとSomas氏は見ています。Positron AIもまた、独自のアーキテクチャ的見解に基づき、差別化されたアプローチで市場に貢献していく考えです。

コンテキストウィンドウ長の無限の拡張可能性

「コンテキストウィンドウ長」とは、モデルが一度に処理できる情報の量であり、その拡張はAIモデルの能力を大きく左右します。Somas氏は、従来の線形または二次の注意機構では、ハードウェアが提供できるスケーラビリティに限界があると指摘します。

しかし、Positron AIのような企業は、この課題に積極的に取り組んでいます。Somas氏は、Positron AIの次世代製品が「Nvidiaの最高メモリSKUよりも8倍のメモリ容量を持つ」ことを明かし、デバイスあたりのメモリ容量を大幅に増やすことでこのボトルネックを解消しようとしています。Nvidiaが市場のメモリ状況に応じてデバイスあたりのメモリ量を減らしているのとは対照的なアプローチです。

アルゴリズム的進歩がもたらす革新：中国の貢献

さらに注目すべきは、過去1年間で起こった「アルゴリズム的進歩」です。特に「線形注意機構」や「疎注意機構」などの技術革新により、コンテキストを処理するために必要なストレージと計算量をさらに削減することが可能になりました。Somas氏は、これらのイノベーションが「中国のモデル研究所」によって大きく推進されてきたことを高く評価しています。

これは、米国がチップの輸出管理によって中国に制約を課したことが、逆に中国の研究者たちに「より少ないリソースでより多くを成し遂げる」ための革新を促した良い例であるとSomas氏は指摘します。例えば、DeepSeek V3が導入した「マルチヘッド潜在注意機構（MLA）」は、KVキャッシュサイズを大幅に削減するために、より多くのFLOPsを費やすというトレードオフを採用しました。Somas氏のお気に入りである「Gated Delta Net」とその派生形は、注意機構にかかる総時間を75%削減できる可能性を秘めています。

ただしSomas氏は、「無料のランチはない」と釘を刺します。MLAのような圧縮技術は、何らかの形でモデルの能力を犠牲にする可能性があるため、米国の主要研究所はまだこれを採用していないと述べています。しかし、より長いコンテキスト長に対する需要は高く、1000万トークン規模のコンテキスト長があれば、複数の大規模コードベースを同時に処理し、エージェント型コーディングモデル間でクロスコンパイル（相互作用）させることが可能になるとSomas氏は予測します。

オープンソースモデルとクラウドモデルの共存

モデルサイズの増大に関する問いに対し、Somas氏は「フロンティアモデル」と「小型モデル」の二層構造で考えるべきだと提言します。OpenAIやAnthropicなどがフロンティアを押し広げ続ける一方で、多くの企業はオンプレミスでオープンソースベースの小型モデルを採用するでしょう。

しかし、Somas氏は、この「小型モデル」の台頭が、クラウドの大規模モデルの利用を減らすという見方に「反対」します。むしろ「逆だ」と彼は主張します。例えば、スマートフォン上で動作するLLMがメール、カレンダー、メッセージなどを常時チェックし、ローカルで処理できることはローカルで処理し、より高度な知能が必要な場合にのみクラウドの大規模モデルに問い合わせるようになれば、一人あたりのトークン消費量は「劇的に増加する」と彼は予測します。人間がAIに問い合わせる頻度は限られているが、ローカルAIが自律的にクラウドAIに問い合わせるようになれば、その頻度は爆発的に高まるでしょう。

この構造変化は、AIエコシステムが単なる競争だけでなく、多様なモデルとサービスが共存し、相互に利用を促進し合う、より複雑で豊かな形へと進化していく可能性を示唆しています。

セクション7: AIの経済的価値と将来の測定基準

AIの技術的進化が加速する中で、その経済的価値の測定基準もまた変化しています。Thomas Somas氏は、トークン価格の劇的な下落と、それにもかかわらずAIが提供する価値が飛躍的に向上している現状について、深い洞察を共有しました。さらに、将来のAIサービスの課金モデルについても興味深い予測を提示しています。

トークン価格の劇的な下落と価値の向上

Somas氏が指摘する衝撃的な事実として、Silicon Data Token Price Indexによると、5年前には100万トークンあたり60ドルだった価格が、現在では1ドルを下回っているというデータがあります。これは5年間で60分の1以下という驚異的な価格下落です。

しかし、Somas氏はこの数字だけを見てはいけないと強く主張します。彼の視点によれば、「5年前の60ドルのトークンは、今日の1セントの価値もない」のです。そして、「今日の1ドルで得られるトークンの品質は、5年前のそれよりも天文学的に価値が高い」と語ります。これはモデルの能力が劇的に向上したためです。

例えば、2021年の世界最高のモデルはGPT-3であり、その後の約2年半、GPT-3.5（これはGPT-3のベースモデルに人間フィードバックによる強化学習を追加したものに過ぎない）の時代が続きました。Somas氏は、GPT-3.5の「ひどさ」と、それが経済的生産性にもたらした価値を思い起こさせます。それに対し、現在のGPT-6（または任意の最新モデル）がもたらす価値は、個人の生活、企業のビジネス慣行などを改善する上で「桁違いに、おそらく100倍から1000倍も高い」と評価します。

つまり、トークン価格が60分の1になったとしても、そのトークンが提供する価値は100倍、あるいは1000倍になっている可能性があるため、「知能の単位あたりの価値」は実際には「千倍近く」向上しているとSomas氏は主張するのです。

「トークンあたりのコスト」から「有用な結果あたりのコスト」へ？

このような価値の変遷を踏まえ、Somas氏はOpenAIのGreg Brockman氏がGPT-6の発表時に言及した興味深い見解を紹介します。Brockman氏は、将来的に「トークンあたりのコスト」で課金することはなくなり、「有用な結果あたりのコスト」で価格設定を行う方向へ移行したいと考えているというのです。

Somas氏は、この考え方自体は理にかなっているとしながらも、「それが実現するかどうかは分からない」と慎重な姿勢を見せます。なぜなら、「有用な結果」を定量化し、価格を設定することは非常に困難であり、主観的な要素が大きくなるからです。

それに対し、「トークンあたりの価格」は、計算コストを容易に算出でき、マージンを設定し、多くの顧客に一括で販売しやすいという明確な利点があります。そのため、Somas氏は、この測定基準が今後も「大きく残るだろう」と予測しています。

将来のAIサービスの課金モデルの可能性

一方で、最も先進的なAIプロバイダー（OpenAIなど）のビジネスモデルは進化する可能性を秘めています。Somas氏は、もしGPT-7やGPT-8が「超人的」な能力を持ち、「従業員として完全に機能する」ような存在になった場合を想定します。そのようなモデルを運用し続けるコストが、例えば数十万ドルであったとしても、OpenAIはより多くの採用を促すために「年間100万ドル」といった固定料金で「無制限の利用」を提供するビジネスモデルを採用する可能性もあると予測します。つまり、トークン単位の従量課金ではなく、仮想エージェントへのアクセス権という形でサブスクリプション料金を徴収するモデルです。

業界の成長と潜在的な課題

AI産業の「パラボリックな成長」がいつまで続くかという問いに対し、Somas氏は、オープンソースモデルやローカルAIの発展が、かえってクラウドの大規模モデルの利用を促進するという見方を改めて強調します。彼は、多くのAIアプリケーションにおける現在のボトルネックが「人間」であると指摘します。人間は、LLMにいつ何を尋ねるべきかという思考によって利用が制限されています。

しかし、もしラップトップやスマートフォン上で動作するローカルLLMが、常にユーザーのデータ（メール、カレンダー、メッセージなど）にアクセスし、自律的に状況を判断し、必要に応じてよりスマートなクラウドベースのモデルに問い合わせるようになれば、状況は一変します。人間が個別にプロンプトを打つ代わりに、ローカルAIが「よりスマートなモデルに、さらに幅広いタスクを実行させるためにプロンプトを出す」ことで、一人あたりのトークン消費量は「桁違いに」増加するでしょう。Somas氏は、人間がローカルLLMを信頼し、より自律的な行動を許容するようになることが、次の大きな飛躍であると考えています。

また、MerorやServeといったデータエコノミーを支える企業についても、Somas氏はその成長可能性を高く評価しています。垂直統合が進まない限り、これらの企業が数十兆ドル規模のビジネスになることも「完全に可能だ」と見ています。

Somas氏の言葉は、AIの経済的価値が単なる計算能力やトークン数で測られる時代から、その「有用性」と「自律性」が新たな評価軸となる未来へと向かっていることを示唆しています。

結論: 人間アライメントが拓く、AI共存の未来

Thomas Somas氏との対話は、AIが単なる技術的現象に留まらず、地政学、経済、社会、そして人類の根源的なあり方に深く関わる多面的なテーマであることを強く認識させてくれました。彼の言葉から浮かび上がるAIの未来像は、計り知れない可能性と同時に、私たち人類が乗り越えるべき重大な課題に満ちています。

AIアライメントを超えた「人間アライメント」の重要性

Somas氏が最も情熱を込めて語ったのは、AIの「ポジティブな変革」を最大化するために不可欠な「人間アライメント」という概念です。彼は、AIアライメント（AIが人類の価値観と目標に沿うようにすること）に関するスマートな人々による研究に深く共感しつつも、それ以前に「私たち人類が社会として、良い結果を出すためにどうアラインするか」という「人間アライメント」が重要であると指摘します。

私たちは現在、規制の枠組み、エネルギー生産、データセンターの配置といった具体的な問題において、地政学的、社会的な分断に直面しています。Somas氏は、これらの問題をAIアライメントと同様の「技術的な問題」として捉え、賢明な人々が「経済的要因」も考慮に入れながら、合理的に解決策を導き出すべきだと訴えます。なぜなら、最終的には「経済的要因こそが、真の意思決定と行動を駆動する」からです。

AIがもたらすポジティブな変革への期待

Somas氏の楽観主義は、AIが人類にもたらすポジティブな変革への揺るぎない信念に基づいています。彼は、GPT-6 Astraが示したような、コーディング、創造性、さらには複雑なエンジニアリングタスクにおけるAIの飛躍的な能力向上を目の当たりにし、「魔法のような体験」と表現しました。このようなAIの進化は、私たちの生産性を劇的に高め、これまで想像もできなかった領域でのイノベーションを可能にするでしょう。

Positron AIは、推論におけるメモリのボトルネックを打破し、単位ワットあたり、単位メガワットあたりにより多くの知能を提供することで、このAI革命の根幹を支えようとしています。彼らの挑戦は、モデルの巨大化とコンテキストウィンドウ長の拡張という、AIの質的・量的進化の限界を押し広げることに貢献するでしょう。

課題の克服に向けて

もちろん、Somas氏が指摘した課題は山積しています。技術能力の集中化を防ぎ、自由なイノベーションの精神を維持すること。誤った情報や政治的思惑に基づくデータセンターへの反感を解消し、持続可能なインフラを整備すること。そして、エネルギー供給の制約を克服し、経済的な安定を保ちながらAIの成長を支えること。

これらの課題は複雑で相互に関連していますが、Somas氏のメッセージは明確です。それは、単に技術を進歩させるだけでなく、私たち人類がより高いレベルで協力し、理性と現実に基づいたアプローチでこれらの問題に立ち向かう必要があるということです。AIが人類の潜在能力を最大限に引き出す未来を実現するためには、私たち自身の「人間アライメント」が何よりも重要となるでしょう。

Thomas Somas氏との議論は、AIの技術的深淵から社会構造の未来に至るまで、多岐にわたり、私たちに多くの示唆を与えてくれました。彼の知見は、AI時代の羅針盤として、私たちが直面する複雑な道のりを照らす光となることでしょう。