T最新テックトレンド

Web開発者がLLMの「魔法」を解き明かす：600行のVanilla JSでGPTの仕組みを徹底解剖

AI Engineer
0:00--:--

導入：LLMは本当に「魔法」なのか？Web開発者が知るべきその真実

大規模言語モデル（LLM）は、私たちのデジタル体験を一変させています。まるで魔法のようにテキストを生成し、複雑なタスクを自動化し、時には人間の思考すら模倣するかのような振る舞いを見せるLLMは、私たちの想像力を掻き立て、未来への期待を膨らませます。しかし、その裏側で何が起きているのか、具体的な仕組みを理解している人はそう多くありません。多くの場合、LLMの理解には高度な機械学習の学位、線形代数や微積分といった数学的素養が必須であるかのように語られ、その「魔法」のベールはより一層厚いものとなっています。

しかし、もしあなたがWeb開発者であるなら、安心してください。Ishan Anand氏の画期的なアプローチは、この誤解を打ち破ります。「あらゆる十分に高度な技術は、魔法と区別できない」というアーサー・C・クラークの有名な言葉は、LLMに関して特に真実味を帯びていますが、Anand氏はこの「魔法」を、Web開発者にとって馴染み深いJavaScriptのわずか600行のコードに還元しました。

本記事の目的は、Anand氏の洞察とJavaScript実装を深く掘り下げ、LLM、特にGPTの核となる仕組みを専門的かつ分かりやすく解説することです。Web開発者としての視点から、その重要性、具体的な機能、ビジネスへの影響、そして将来性を理解できるよう、詳細で説得力のある旅にご案内します。高度な数学は一切不要です。必要なのは、物事の仕組みを理解したいという好奇心と、JavaScriptの基本的な知識だけです。この旅の終わりには、LLMが単なる「魔法」ではなく、理解可能な「メカニズム」としてあなたの目の前に現れるでしょう。

Web開発者のためのGPT-2実装：ブラウザで動かすAIの衝撃

Ishan Anand氏が提示するGPT-2のVanilla JavaScript実装は、まさにLLMを手のひらに載せるような体験を提供します。機械学習の専門知識がなくとも、Web開発者としてのスキルセットがあれば、世界を席巻する技術の内部を覗き、操作し、デバッグすることができます。

ローカル環境での完全なモデル実行

この実装の最も画期的な点は、すべての計算があなたのWebブラウザ内でローカルに実行されることです。spreadsheetsareallyouneed.ai/gpt2というサイトにアクセスし、GPT-2 smallモデルのパラメータファイル（約1.5GBのCSVファイルをまとめたzip）をダウンロードしてブラウザのIndexedDBにロードするだけで、完全なGPT-2モデルがあなたの手元で動作します。Wi-Fiの状況が悪くても、一度ロードしてしまえばインターネット接続すら不要です。これは、Python環境のセットアップやGPUといった高価なリソースを必要とせずに、誰もがLLMに触れ、その動作原理を深く理解できることを意味します。

Pythonノートブックのような直感的なインターフェース

インターフェースは、Jupyter Notebookのようなセルベースの形式を採用しています。各セルにはJavaScriptコード、またはJavaScriptの式が記述されており、「Play」ボタンをクリックするだけで実行結果を即座に確認できます。JavaScriptのコードセルを開けば、行列が単純な2D JavaScript配列として表現されていることや、モデルの各ステップがどのように純粋なJavaScriptで実装されているかを確認できます。

開発者ツールでLLMを「デバッグ」する

Web開発者にとって最も馴染み深いツールの一つ、ブラウザの開発者ツールが、LLMの理解において強力な武器となります。コードの任意の場所にconsole.log()を挿入して変数の値を確認したり、debuggerキーワードを使って実行を一時停止し、ステップ実行でコードの流れを追うことができます。かつて「危険すぎて公開できない」とまで言われたGPT-2モデルの内部を、あなたが普段使っているのと同じChromeの開発者ツールで、見慣れたJavaScriptを使って一歩一歩追いかけることができるのです。

これは単なるデモではありません。LLMの各レイヤー、各計算ステップがどのように機能しているかを、具体的な数値の動きとして視覚的に捉え、インタラクティブに学習できる、他に類を見ない学習環境です。Web開発者にとって、この実践的なアプローチは、LLMの抽象的な概念を具体的なコードと結びつけ、深い洞察を得るための最良の道となるでしょう。

LLMの心臓部：次の単語を予測する自己回帰モデル

大規模言語モデル（LLM）の核心は、驚くほどシンプルながらも強力なタスクにあります。それは「与えられたテキストの断片から、次にくる単語（技術的にはトークン）を予測する」ことです。この一見単純な機能が、私たちが目にするLLMの驚くべき能力のすべてを支えています。

LLMの「本質」：次のトークン予測

想像してみてください。「Mike is quick. He moves」という文章が与えられたとき、LLMは次に「quickly」という単語を予測します。これは、人間が文脈から次にくる単語を自然に推測するのと似ています。しかし、LLMは本来、人間のように「段落」や「文章全体」を一度に生成するようには設計されていません。

では、なぜLLMは長い文章やコード、詩を生成できるのでしょうか？ その秘密は「自己回帰（Auto-regressive）」という概念にあります。LLMは次の単語を一つ予測すると、その予測された単語を元の入力テキストの末尾に追加し、その新しい、より長いテキスト全体を改めて入力として受け取り、次の単語を予測します。このプロセスを何度も繰り返すことで、LLMは連続的でコヒーレントなテキストを生成していくのです。

「Mike is quick. He moves」→ 予測「quickly」 → 入力「Mike is quick. He moves quickly」→ 予測「and」 → 入力「Mike is quick. He moves quickly and」→ ...

この繰り返しによって、まるでLLMが思考を巡らせ、物語を紡ぎ出しているかのように見えますが、その根底にあるのは常に「次にくるトークンを予測する」という単一のタスクです。この核心機能を理解すれば、LLMの残りの仕組みも芋づる式に理解できるようになります。

言葉の問題を数学の問題へ：LLMの内部処理

コンピューターは言葉を理解できませんが、数学は得意です。LLMが言葉を扱うためには、言葉を数値に変換し、数値計算を通じて次の単語を予測し、その結果の数値を再び言葉に変換するという一連のステップを踏む必要があります。

  1. 言葉から数値へ（トークン化と埋め込み）：「Mike」のような単語は、まず「トークン」（サブワード単位）に分割され、それぞれにIDが割り当てられます。さらに、これらのトークンは、その意味を表す「埋め込み（Embedding）」と呼ばれる長い数値のリスト（ベクトル）に変換されます。
  2. 数値計算（アテンションとMLP）：変換された数値のリストに対して、大量の行列乗算や加算といった数学的演算が実行されます。この部分はLLMの「思考」の中核であり、「アテンション」メカニズムや「マルチレイヤー・パーセプトロン（MLP）」といったニューラルネットワークの構成要素がこの計算を担います。
  3. 数値から言葉へ（言語ヘッドとサンプリング）：計算の結果、次にくる単語の「埋め込み」が予測されます。この埋め込みは再び辞書内のすべてのトークンの埋め込みと比較され、どのトークンが最も予測と近いか、あるいはどれくらいの確率で次の単語として適切かを示します。最終的には、この確率分布に基づいて、実際に次の単語が選択されます。

GPT-2：現代LLMの「グランドダディ」

私たちが本記事で掘り下げるGPT-2は、2019年にOpenAIによってリリースされました。GPT-4やChatGPTよりも数年前のモデルですが、当時としては最先端であり、そのテキスト生成能力は「危険すぎる」とまで言われ、当初はフルモデルの公開が見送られたほどです。

しかし、GPT-2の重要性はそれだけではありません。現代のほとんどの最先端LLM、例えばGPT-4、Llama、Bard/Gemini、Claudeなどは、その基本的なアーキテクチャをGPT-2から受け継いでいます。研究者たちは、Transformerモデルが導入されて以来、LLMを構築するためのレシピは根本的に変わっておらず、GPT-1やGPT-2といったOpenAIの初期言語モデルからわずかに調整されただけだと指摘しています。

つまり、GPT-2の内部構造と動作原理を深く理解することは、現代の最先端モデルがどのように機能しているかを80%理解することに等しいのです。この「グランドダディ」の仕組みを紐解くことで、あなたはLLMの進化の系譜と、その根底にある普遍的な原則を把握することができるでしょう。

言語の最小単位を捉える：トークン化の深掘り

LLMがテキストを処理する最初のステップは、「トークン化（Tokenization）」です。これは、入力されたテキストを、モデルが扱える最小単位である「トークン」に分割するプロセスです。一見すると単純な作業に見えますが、その設計にはLLMのパフォーマンスと柔軟性を最大化するための洗練された工夫が凝らされています。

なぜ「単語」ではなく「サブワード」なのか？

私たちは普段、単語を言語の基本的な単位と考えがちですが、LLMでは多くの場合、単語よりも小さな「サブワード」単位でテキストを扱います。これには明確な理由があります。

1. 単語ベーストークン化の限界：

  • 未知語（Out-of-Vocabulary, OOV）問題： 辞書にない単語やスペルミス、新語（例：AI用語、インターネットスラング）に遭遇すると、モデルはそれを「未知」のトークンとして扱わざるを得ず、意味を失います。GPT-2以前のモデルには、[UNK]（unknown）トークンで処理するものが多くありましたが、これはモデルの能力を制限します。
  • 巨大な語彙サイズ： 英語だけでも約17万語、さらに複数の言語や専門用語を含めると、語彙は天文学的な数になります。単語ごとにIDを割り当てると、語彙サイズが膨大になり、モデルのパラメータ数と計算量が飛躍的に増加します。GPT-2の語彙は約5万語に抑えられています。より多くのパラメータはより多くのメモリと計算力を要求し、パフォーマンス低下やコスト増加につながります。

2. 文字ベーストークン化の課題：

  • シーケンス長の増加： テキストを文字単位で分割すると、入力シーケンスの長さが大幅に長くなります。「quick」が6文字に分割されるように、文章全体のトークン数が激増します。Transformerモデルはシーケンス長に比例して計算量が増大するため、これは処理速度とメモリ効率の大きなボトルネックとなります。
  • 意味的相関の低さ： 個々の文字は、単独ではほとんど意味を持ちません。人間が文字の羅列から単語を認識するのに対し、文字単位で処理するモデルは、意味のあるまとまりを「発見」するために、より多くの計算と学習を必要とします。例えば、「Cambridge Universityの研究によれば、単語内の文字の順序は重要ではない。唯一重要なのは最初と最後の文字が正しい位置にあることだ。」という有名なインターネットのジョークがあります。これは、人間が文字を個々ではなく、サブワードや単語として認識していることを示唆しています。

Goldilocksの選択：サブワードトークン化「BPE」

単語ベースは「大きすぎる」、文字ベースは「小さすぎる」。そこで登場するのが、その中間をとる「サブワードトークン化」です。GPT-2などで広く採用されているのは「Byte Pair Encoding（BPE）」というアルゴリズムです。

BPEは元々データ圧縮のために開発された技術であり、以下の2つのフェーズで動作します。

  1. 学習フェーズ（Learning Phase）：

    • 大規模なテキストコーパス（インターネットから収集されたデータなど）を準備します。
    • まず、すべてのテキストを個々の文字に分解し、それを初期の語彙とします。
    • 次に、コーパス内で最も頻繁に隣接して出現する文字のペア（例：「e」と「s」）を探します。
    • この最も頻繁なペアを新しいトークンとして語彙に追加し、コーパス内のそのペアを新しいトークンで置き換えます。これにより、コーパス全体のトークン数が減少します（圧縮効果）。
    • このプロセスを、語彙サイズが目標に達するまで、またはそれ以上効果的なペアが見つからなくなるまで繰り返します。
    • 結果として、頻繁に出現する単語やサブワード（例：「low_」「newest_」「est」など）が、単一のトークンとして学習されます。これにより、少ないトークンでテキストを効率的に表現できるようになります。

  2. トークン化フェーズ（Tokenization Phase）：

    • モデルに新しい入力テキストが与えられたとき、学習フェーズで構築された語彙とルールに基づいて、そのテキストをトークンに分割します。
    • 入力単語を文字に分解し、学習済みの最も頻繁なサブワード結合を適用していきます。例えば、「reinjury」という単語は、「 rein」、「jury」といった、モデルが学習したサブワードに分割されます。「reindeer」は「 rein」、「d」、「eer」と分割されるかもしれません。これは、スペース（GPT-2ではトークンの先頭に付加されることが多い）や単語の構造によって決まります。

GPT-2トークン化の具体的な挙動と課題

Anand氏の実装では、OpenAIが公開した正規表現とBPE語彙ファイルを使用しています。これは、入力テキストを最初に単語レベルに分割し、その後、各単語に対してBPEの結合ルールを適用していくことで、最終的なトークン列を生成します。

しかし、トークン化は完璧な解決策ではありません。LLMにおける問題の一部は、このトークン化に起因することがあります。

  • 文字認識の困難さ： モデルは生の文字ではなく、トークンを見ています。例えば、「strawberry」という単語に含まれる「r」の数を数えるというタスクは、モデルにとって非常に困難です。なぜなら、大文字・小文字、前後のスペース、句読点などによって、「strawberry」という単語はモデルにとって複数の異なるトークンパターンとして認識されるからです。これは、モデルが文字レベルの詳細な情報を直接見ていないことを意味します。
  • 「必要な悪」： トークン化は、言語データを数値に変換するための避けられないステップであり、多くの利点がある一方で、上記のような課題も抱えています。そのため、「必要な悪（necessary evil）」と見なされることもあります。

トークン化の未来：テキストを超えた応用

トークン化の概念は、テキストに限定されません。

  • ビジョン・トランスフォーマー： 画像を小さな「パッチ」（正方形の領域）に分割し、それらをトークンとして扱います。
  • Whimo： ロボットの衝突回避タスクにおいて、空間内の軌道データをトークンとして扱います。

これは、LLMの基本的なアイデアである「離散的な入力単位を扱い、その間の関係性を学習する」という考え方が、テキスト以外の多様なデータタイプにも適用可能であることを示しています。将来的に、より洗練されたトークン化手法や、文字ベースのトークン化が再評価される可能性もゼロではありません。しかし現状では、BPEのようなサブワードトークン化が、効率性と表現力のバランスの取れた標準的なアプローチとして機能しています。

言葉の意味を数値で描く：埋め込み（Embeddings）の世界

トークン化された言葉は、まだコンピューターが直接計算できる形ではありません。そこで登場するのが「埋め込み（Embedding）」です。これは、各トークンを、その意味を数値的に表現した長いリスト、すなわち「ベクトル」に変換するプロセスです。GPT-2では、各トークンが768次元のベクトルとして表現されます。

トークンIDと埋め込み値：住所と物件情報のアナロジー

この二つの概念を混同しないように、不動産のアナロジーで考えてみましょう。

  • トークンID（例：89, 9）：これは「番地」のようなものです。トークン辞書の中でそのトークンがどこにあるかを示す単なる識別子であり、その単語自体の意味や特性については何も教えてくれません。
  • 埋め込み値（例：768個の数値リスト）：これは「物件情報」（広さ、間取り、築年数、価格など）のようなものです。この数値のリスト全体が、そのトークンの意味的特性や文脈的な情報を表現しています。

つまり、「Mike」という単語のトークンIDが89であったとしても、その89という数値自体には「Mike」が男性の名前であるとか、素早い動きをする可能性があるといった意味は含まれていません。しかし、それに紐付けられた768個の数値のリストである埋め込みベクトルは、これらの意味的なニュアンスを凝縮して表現しているのです。

単語の地図（Word Island）：意味空間における単語の配置

埋め込みの核心的なアイデアは、意味が似ている単語は「埋め込み空間」と呼ばれる多次元空間において、互いに近くに配置されるというものです。

想像してみてください、768次元の巨大な「単語の島（Word Island）」があり、その島にはさまざまな「地域」があります。

  • 「happy」と「glad」は、どちらも肯定的な感情を表すため、島の「幸福」地域に一緒に配置されます。
  • 「dog」と「cat」は動物を表すため、「動物」地域に配置され、「幸福」地域とは異なる場所にあります。
  • 「sad」は「happy」や「glad」とは異なる感情ですが、やはり「感情」というカテゴリーに属するため、「感情」地域内の「悲しみ」地区に、他の感情語に近い位置に配置されます。

この多次元空間における単語の相対的な位置が、その単語が持つ意味的な類似性や関係性を捉えているのです。

単語算術の驚異：King - Man + Woman = Queen

埋め込みベクトルの持つ強力な能力の一つが、「単語算術（Word Arithmetic）」です。これは、意味空間における単語間のベクトル関係を利用して、論理的な推論を行うことができるという概念です。

簡単な2次元の例で考えてみましょう。もし埋め込み空間が「権威」と「性別」という2つの次元で構成されていると仮定します（実際には各次元の意味は解釈不能ですが、概念的な説明のため）。

  • Man = [権威: 1, 性別: 1]
  • Woman = [権威: 1, 性別: 2]
  • King = [権威: 2, 性別: 1]
  • Queen = [権威: 2, 性別: 2]

このとき、以下のベクトル計算を行ってみます。 King - Man + Woman = [2-1+1, 1-1+2] = [2, 2] この結果は、Queenのベクトルと全く同じです。つまり、**「KingはManにとってQueenがWomanであるのと同じ関係にある」**というアナログ的な関係性を、単なるベクトル計算で導き出せるのです。

この画期的な発見は、word2vecなどの初期の単語埋め込みモデルによって広く知られるようになりました。「France is to Paris as Italy is to Rome」や「Einstein is to scientist as Messi is to midfielder」といった関係性を、モデルが自律的に学習できることが示されたのです。

この現象は、埋め込み空間における「クラスタリング」として捉えることができます。例えば、すべての国が島の「国」地域に、すべての首都が「首都」地域に固まっているとします。このとき、「国」と「その首都」の間には、埋め込み空間上で一貫したベクトル関係（方向と距離）が存在することになります。もし「カナダの首都は？」と問われたら、モデルはその一貫したベクトルを「カナダ」に加えることで、「オタワ」の埋め込み位置に到達できるわけです。

埋め込み値が「学習される」メカニズム：バックプロパゲーションと分布仮説

では、これらの埋め込み値はどこから来るのでしょうか？その答えは、ニューラルネットワークモデルの訓練プロセス中に「学習される」という、やや神秘的に聞こえる方法です。

訓練の仕組み：

  1. テキストコーパスの収集： インターネットから大量のテキスト（「Mike is quick. He moves quickly.」など）を収集します。
  2. 次トークン予測タスク： 各文章から最後のトークン（例：「quickly」）を切り離し、モデルに「Mike is quick. He moves」の次にくるトークンを予測させます。
  3. ランダムな初期化： 訓練開始時、モデルのすべてのパラメータ（重み、バイアス、そして埋め込み値も含む）は完全にランダムな数値で初期化されています。
  4. 予測と誤差の計算： モデルはランダムなパラメータに基づいて、最初は無意味な予測（例：「haircut」）を行います。この予測と、実際の正解（「quickly」）との間にどれくらいの「誤差」があるかを計算します。
  5. バックプロパゲーション（Backpropagation）： この誤差を最小化するために、モデルのすべてのパラメータをどのように微調整すべきかを教えてくれる、非常に強力なアルゴリズムがバックプロパゲーションです。これは、誤差がモデルの出力層から入力層へと逆方向に伝播し、各パラメータが誤差にどれだけ寄与したかを計算することで、そのパラメータを調整する方向と量を決定します。このプロセスが何十億回、何兆回と繰り返されます。
  6. 継続的な改善： 無数の訓練を通じて、モデルは次第に正確な予測ができるようになり、それに伴って埋め込み値も、単語の意味的な関係性を捉えるように洗練されていきます。

このプロセスは、明示的に「これは名詞」「これは動詞」と教える必要がありません。インターネット上のテキストに自然に含まれる文法、名前、世界の知識などを、モデルは教師なしで自律的に学習していきます。

分布仮説：単語の意味は「仲間」が決める この学習の背後にある重要な概念が「分布仮説（Distributional Hypothesis）」です。これは「You shall know a word by the company it keeps.（単語の意味は、それが一緒に現れる単語によって決まる）」という言葉に集約されます。

例として、「ice」と「steam」という単語の文脈を考えてみましょう。

  • 「It was so cold the puddle had turned to ice」
  • 「Steam rose from the still hot cup of coffee」

モデルは「ice」が「cold」と、「steam」が「hot」と頻繁に共起することに気づきます。たとえ「ice」や「steam」の意味を知らなくても、「ice」が「cold」に近い意味を持つ可能性が高いことを統計的に推測できます。同じ文脈で置き換え可能な単語は、似た意味を持つ傾向があります。

共起行列と圧縮された埋め込み： この分布仮説を数値的に表現する一つの方法は、「共起行列（Co-occurrence Matrix）」を作成することです。これは、テキストコーパス内で、ある単語が他のすべての単語とどれくらいの頻度で、ある特定の「窓サイズ」（例：左右3単語）内で一緒に現れるかをカウントした巨大な表です。

埋め込みは、この膨大な共起行列を「圧縮」したものと考えることができます。例えば、すべての単語が他のすべての単語とどれだけ共起するかを示す17万×17万の行列を、5万（トークン数）×768（埋め込み次元）といった、より小さな表現に次元削減するイメージです。この圧縮された表現が、各トークンの埋め込みベクトルとなるのです。

類似性の測定：コサイン類似度（Cosine Similarity）の重要性

埋め込みの類似性を測る際、私たちは単なる「ユークリッド距離」（鳥瞰図的な直線距離）ではなく、「コサイン類似度（Cosine Similarity）」を使用します。コサイン類似度は、2つのベクトルの間の「角度」に基づいています。

  • 角度が0度（ベクトルが同じ方向を指す）の場合、コサイン類似度は1となり、非常に似ていることを示します。
  • 角度が90度（ベクトルが直交する）の場合、コサイン類似度は0となり、無関係であることを示します。
  • 角度が180度（ベクトルが反対方向を指す）の場合、コサイン類似度は-1となり、反対の意味を持つことを示します（ただし、言語の文脈では「反対」は「似ている」と解釈されることも多く、例えば「happy」と「sad」は感情として似ているため、正の類似度を示すことが多い）。

なぜユークリッド距離ではなく、角度なのでしょうか？ 共起行列の例で考えてみましょう。ある単語1と単語2が、他の単語10と単語11に対して、同じ相対的な共起パターンを示すとします。例えば、単語1は単語10と1回、単語11と1回共起し、単語2は単語10と5回、単語11と5回共起したとします。この場合、単語2は単語1よりも単語10/11と単純に「より多く」共起しているだけで、相対的な関係性は同じです。ユークリッド距離で測ると、単語2は単語1から遠く離れてしまいます。しかし、ベクトル空間でプロットすると、両者は同じ方向を指し、コサイン類似度は高くなります。これは、意味的な類似性は、絶対的な出現頻度よりも、共起パターンの「相対的な」分布に宿ることを示唆しています。

埋め込みの使用方法とテキストを超えた可能性

Anand氏のJavaScript実装では、model_WTEという行列が、OpenAIから提供された学習済みのトークン埋め込みテーブルを表します。この行列は、語彙サイズ（GPT-2 smallでは50,257）分の行と、埋め込み次元（768）分の列を持ちます。特定のトークンID（例：「is」のID 318）が与えられると、この行列の319行目（0-indexedなら318行目）をルックアップすることで、そのトークンの768次元の埋め込みベクトルを取得できます。これは、コード内でわずか十数行の簡単な行列ルックアップ操作で実現されます。

埋め込みの概念は、テキスト以外のデータにも広く応用されています。

  • CLIP（Contrastive Language–Image Pre-training）： 画像とテキストの埋め込みを同じ空間にマッピングすることで、画像とテキスト間の類似性を評価し、画像生成モデルの基盤となりました。
  • 推薦システム： ユーザーの行動履歴から、似た趣味のユーザーや似た傾向のアイテムを埋め込み空間に配置し、適切な推薦を行うために利用されます。

埋め込みは、単語の意味、文脈、さらには他の種類のデータとの関係性を、モデルが理解し、操作するための数値的な基盤を提供する、LLMにおいて不可欠な要素なのです。

単語の「位置」を伝える：位置埋め込み（Position Embeddings）

LLMが単語の意味を数値で表現する埋め込みについて理解したところで、もう一つ重要な要素、「位置埋め込み（Position Embeddings）」に目を向けましょう。これは、Transformerモデルがテキスト内の単語の順序を認識し、処理するために不可欠なメカニズムです。

問題：順序が意味を変える言語、順序を無視する数学

英語のような多くの言語では、単語の順序が文章の意味を大きく左右します。「The dog chases the cat.（犬が猫を追いかける）」と「The cat chases the dog.（猫が犬を追いかける）」では、単語は同じですが、意味は全く異なります。

しかし、コンピューターの数学的な演算、特にLLMの内部で行われる行列の加算や乗算は、基本的に「可換性」を持ちます。つまり、2 + 3 = 5 と 3 + 2 = 5 が同じように、入力ベクトルの順序が変わっても、計算結果は変わりません。これは、LLMが単語の埋め込みベクトルをそのまま処理するだけでは、単語の順序に関する情報を完全に失ってしまうことを意味します。結果として、モデルは「犬が猫を追いかける」と「猫が犬を追いかける」を区別できず、正しい文脈を理解したり、適切な次の単語を予測したりすることが困難になります。

解決策：埋め込みに「位置」の感覚を注入する

この問題を解決するため、私たちは各トークンの埋め込みベクトルに、「位置」に関する情報を加算します。これは、トークン自体の意味を大きく変えることなく、それが文章のどこに位置しているかという微妙なニュアンスを注入するものです。

想像してみてください。「woman」というトークンが文章の最初の位置（位置0）にある場合と、次の位置（位置1）にある場合、あるいはさらに後の位置（位置2）にある場合とでは、文脈が異なる可能性があります。位置埋め込みは、これらのわずかな位置の違いを捉えるために、トークン埋め込みベクトルを微妙に異なる方向へ「オフセット」させます。つまり、埋め込み空間上で「woman」という単語の周りに、その位置に応じた小さな「雲」のような領域を作り出すイメージです。

位置埋め込みの進化：sin/cos関数から学習へ

オリジナルのTransformer論文「Attention Is All You Need」では、サイン関数とコサイン関数を用いた固定的な位置エンコーディングが提案されました。これは、三角関数が持つ周期的な性質を利用し、各位置に一意で、かつ隣接する位置間で意味のある関係を持つオフセットを生成するものです。

しかし、GPT-2では、さらに革新的なアプローチが採用されました。OpenAIの研究者たちは、位置埋め込みをモデル自身に学習させることを選択したのです。これは、トークン埋め込みが学習されるのと同じように、バックプロパゲーションを通じて、各位置に対応する最適なオフセットベクトルをモデルが訓練中に自律的に発見するというものです。このアイデアは、当初驚きをもって受け止められましたが、結果的に優れた性能を発揮しました。モデルは、特定の位置における単語の最適な表現方法を、データから直接学習することができたのです。

GPT-2における位置埋め込みの実装

Anand氏のJavaScript実装では、model_WPという別の行列が位置埋め込みを格納しています。この行列は、GPT-2 smallの最大コンテキスト長である1024トークン分の行と、埋め込み次元である768次元分の列を持ちます。

各行は、文章中の特定の「位置」（0から1023まで）に対応する768次元のオフセットベクトルです。モデルは、入力プロンプト内の各トークンの位置インデックス（例：最初のトークンは0、次のトークンは1）を取得し、model_WP行列からその位置に対応するオフセットベクトルをルックアップします。

最終的な「位置埋め込みされたトークン埋め込み」は、元のトークン埋め込みベクトルと、対応する位置オフセットベクトルを「要素ごとに加算（Matrix Add）」することで生成されます。

最終埋め込み[i][j] = トークン埋め込み[i][j] + 位置オフセット[位置i][j]

このようにして、各トークンの意味的な埋め込みに、そのトークンが文章中のどこに位置しているかという情報が効果的に組み込まれるのです。

現代LLMとの違い：RoPEの登場

GPT-2の学習型位置埋め込みは画期的でしたが、現代の最先端LLMの多くは、この分野でさらなる進化を遂げています。特に注目されるのが「RoPE (Rotary Position Embeddings)」です。

RoPEは、絶対的な位置情報を埋め込むのではなく、埋め込み空間における回転を利用して、トークン間の相対的な位置関係を効果的にエンコードします。これにより、モデルはより長いコンテキストを効率的に処理できるようになり、外挿（学習時よりも長いシーケンスを扱うこと）性能も向上するとされています。

もしあなたが現代LLMのコードや論文を深く掘り下げていくなら、おそらく最初に気づく大きな違いの一つが、この位置埋め込みの手法である可能性が高いでしょう。しかし、GPT-2の位置埋め込みの原理を理解することは、RoPEのようなより高度な技術の基礎を理解する上で非常に役立ちます。

位置埋め込みは、LLMが単なる単語の羅列ではなく、意味と文脈を持つ文章としてテキストを理解し、処理するための、見えないながらも極めて重要な基盤を提供しているのです。

文脈を捉える「目」：アテンションメカニズム

位置情報を加えた埋め込みベクトルが得られたところで、いよいよLLMの「思考」の中核とも言える部分、「アテンションメカニズム（Attention Mechanism）」へと進みます。これは、文章中の各トークンが、他のどのトークンにどれだけ「注意を払う」べきかを学習し、その文脈情報を互いに共有することで、より豊かな意味表現を構築する仕組みです。

「トークンが互いに話す」：文脈の共有

アテンションの最も直感的な理解は、「文章中の各トークンが、他のすべてのトークンと会話を交わし、自分自身の意味を洗練させる」というものです。

例えば、「He moves quickly.」という文章があったとします。

  • 「He」は代名詞であり、その指す対象（先行詞）を知る必要があります。アテンションメカニズムを通じて、「He」は文章中の他の単語を探し、「Mike」のような適切な先行詞と結びつくことで、より明確な意味を得ます。
  • 「quick」という単語は、英語では「速い」「賢い」「爪の付け根（急所）」「生きている」など、複数の意味を持ちます。しかし、もし「quick」が「moves」という単語と一緒に現れた場合、アテンションメカニズムは「moves」に「注意を払う」ことで、「quick」が「素早く動く」という意味で使われていることを特定し、他の意味を排除することができます。この文脈情報の共有が、モデルが次に「fast」や「around」といった単語を予測する上で役立ちます。

このように、アテンションは単語の多義性を解消し、文脈に応じた適切な意味を導き出すために、単語間の相互作用を可能にします。

アテンションを理解する比喩：多次元空間の「重力」

アテンションメカニズムの内部は複雑な行列演算の連続ですが、その直感を掴むためのアナロジーとして、「多次元埋め込み空間における奇妙な重力」を想像することができます。

各トークンは、その埋め込み空間に存在する「星」のようなものです。アテンションが発動すると、これらの星々は互いに「力を及ぼし合い」、その意味的な位置を調整します。

  • 関連性（QueryとKey）： 重力における「距離」に相当します。「quick」と「moves」は互いに関連性が高く、距離が近いため強く引き合います。一方、「quick」と「.」（句点）は関連性が低く、距離が遠いためほとんど影響し合いません。モデルは「Query（探しているもの）」と「Key（対応する情報）」を比較することで、この関連性（類似性や適合度）を計算します。
  • 影響力（Value）： 重力における「質量」に相当します。関連性の高いトークンが、互いにどれくらいの「質量」をもって影響を及ぼし合うかを決定します。モデルは「Value（実際の情報）」を通じて、この影響を伝達します。

この「重力」によって、トークンは単なる静的な埋め込み位置から、文脈に応じてその位置を微妙にシフトさせます。例えば、「moves」という単語の埋め込みは、通常、あらゆる種類の「動き」を包含しています（素早い動き、遅い動きなど）。しかし、「quick」という単語が文脈に現れると、「moves」の埋め込みは「素早い動き」を表す方向へと引っ張られ、その意味が「速い文脈での動き」へと具体的に disambiguate（曖昧さを解消）されるのです。

アテンション・ウェイトの視覚化

Anand氏のJavaScript実装では、アテンションメカニズムの重要な部分である「アテンション・ウェイト」を視覚的に確認できます。これは、文章中の各単語が、それより前のどの単語にどれだけ「注意を払っているか」を示す行列です。

  • デコーダーの制約： GPT-2のようなデコーダーベースのTransformerモデルでは、「未来のトークンを見ることができない」という制約があります。これは、アテンション・ウェイト行列において、対角線より上の部分（右上の三角形）がすべてゼロになることで示されます。モデルは、現在のトークンを生成するために、それより前のトークンのみを参照できます。
  • 注意の割合： 各行の合計値は常に1になります。これは、特定の単語が、それより前の単語全体に対して、合計で100%の注意を分配していることを意味します。例えば、「moves」という単語が、その注意の16%を「Mike」に、23%を「is」に払っているといった具体的な割合が示されます。これにより、どの単語が文脈形成に最も寄与しているかを視覚的に把握できます。

マルチヘッド・アテンション

Transformerモデルは、単一のアテンションメカニズムではなく、「マルチヘッド・アテンション（Multi-head Attention）」を採用しています。これは、複数の独立したアテンションメカニズム（「ヘッド」と呼ばれる）を並行して実行し、それぞれのヘッドが異なる種類の「関連性」や「文脈」を捉えることを可能にします。

例えば、あるヘッドは文法的な関係（主語と動詞）、別のヘッドは意味的な関係（同義語）、さらに別のヘッドは時間的な関係などを捉えるかもしれません。これらの異なる視点から得られた文脈情報を集約することで、モデルはより包括的で豊かな単語表現を構築し、予測精度を向上させます。

アテンションメカニズムは、LLMがテキストを単なる単語のシーケンスとしてではなく、複雑な意味的・文法的な構造を持つものとして理解するための、画期的なブレイクスルーでした。これにより、LLMは長距離の依存関係を捉え、文脈に応じた適切な応答を生成する能力を獲得したのです。

推論のエンジン：マルチレイヤー・パーセプトロン（MLP）

アテンションメカニズムがトークン間の文脈を構築した後、その情報を受け取って、いよいよ次のトークンを予測する具体的な「推論」を行うのが、「マルチレイヤー・パーセプトロン（Multi-Layer Perceptron, MLP）」です。これは、ニューラルネットワークの基本的な構成要素であり、LLMの各ブロック内でアテンションと並んで重要な役割を果たします。

ニューラルネットワークの基礎：脳の模倣ではない、その「インスピレーション」

MLPを理解する上で、まず「ニューラルネットワーク」の基本的な概念を把握しましょう。ニューラルネットワークは、人間の脳の構造に着想を得た計算モデルですが、脳の直接的なシミュレーションではありません。

  • ニューロン（Neuron）： 脳内の神経細胞の挙動を模倣したものです。複数の入力信号を受け取り、内部で処理し、ある閾値を超えると出力信号を発します（「全か無か」の法則）。
  • 数学的モデル： ニューラルネットワークでは、これを数学的にモデル化します。
    • 入力 (X)：他のニューロンからの信号（数値）。
    • 重み (W)：各入力の重要度を表す数値。
    • バイアス (B)：ニューロンの活性化しやすさを調整する数値。
    • 計算：X * W + B のように、入力と重みを乗算して合計し、バイアスを加えます。
    • 活性化関数 (Activation Function)：この合計値を、ニューロンが「発火するかどうか」を決定する関数に通します。最もシンプルな例は「ReLU (Rectified Linear Unit)」で、入力が負なら0を出力し、正ならそのままの値を通過させます。これにより、ニューロンは非線形な応答を示すことができます。

MLPの構造：層状に連結されたニューロン

MLPは、このようなニューロンを層状に複数配置し、それらを連結させたネットワークです。一般的に、以下の層で構成されます。

  • 入力層（Input Layer）：外部からのデータ（この場合はトークンの埋め込みベクトル）を受け取ります。
  • 隠れ層（Hidden Layers）：入力層と出力層の間にある層で、複雑なパターン認識や特徴抽出を行います。MLPは通常、複数の隠れ層を持つことができます。
  • 出力層（Output Layer）：最終的な予測や結果を出力します。

MLPでは、ある層のすべてのニューロンが、前の層のすべてのニューロンに完全に接続されています（「完全結合型（Fully Connected Network）」とも呼ばれます）。しかし、同じ層内のニューロン同士や、後の層のニューロンと直接接続することはありません。情報は常に一方向（入力から出力へ）に流れます（「フィードフォワード・ニューラルネットワーク（Feedforward Neural Network）」）。

行列乗算による効率化

個々のニューロンの計算は単純ですが、MLPが何百、何千ものニューロンと何百万もの重みを持つ場合、それらを一つずつ計算するのは非効率的です。そこで、線形代数の「行列乗算」が活用されます。

MLPの各層における重み、入力、バイアスはそれぞれ行列として表現でき、層全体の計算はY = X * W + Bのような形式の行列乗算で非常に効率的に実行できます。これにより、最新のGPUなどのハードウェアで高速に並列処理することが可能になります。

MLPの強力な能力：普遍的近似定理

なぜMLPがLLMの推論エンジンとして適しているのでしょうか？その答えは「普遍的近似定理（Universal Approximation Theorem）」にあります。この定理は、「十分な数の隠れ層のニューロンと適切な活性化関数があれば、MLPはほぼあらゆる連続関数を近似できる」ことを示しています。

LLMのタスクは、「あるトークンの埋め込みを入力として受け取り、次にくるトークンの埋め込みを出力する」という、非常に複雑な関数を学習することです。この関数がどのような形をしているかは人間には分かりませんが、MLPは、その入力と出力のペアを大量に与えられることで、この未知の関数を近似する能力を持っています。

例えば、単純な放物線y = x^2をMLPで近似する例を考えてみましょう。ReLUのような活性化関数は、グラフ上でV字型の「折れ線」を生成します。2つのReLU関数を組み合わせ、適切な重みとバイアスを調整することで、放物線の右半分と左半分をそれぞれ近似し、それらを足し合わせることで放物線全体の近似を生成できます。ニューロンの数が増えれば増えるほど、この「折れ線」のセグメントが増え、より滑らかで正確な近似が可能になります。

学習の仕組み：バックプロパゲーションと勾配降下法

「普遍的近似定理」はMLPが「何でも学習できる」可能性を示しますが、実際にその関数をどうやって学習させるのでしょうか？ここで再び「バックプロパゲーション（Backpropagation）」と「勾配降下法（Gradient Descent）」が登場します。

アナロジー：霧の山を降りる遭難者 このアルゴリズムを理解するための古典的なアナロジーは、「霧に覆われた山を降りる遭難者」です。

  • 遭難者：モデルのパラメータ（MLPの重みとバイアス、そして埋め込み値など、モデル内のあらゆる学習可能な数値）を表します。
  • 山：モデルの「誤差（Error）」や「損失（Loss）」を表します。山の頂上は誤差が最大の状態、谷底は誤差が最小（最適なモデル）の状態です。
  • 霧：遭難者は山の全体像を見ることができません。モデルも、すべてのパラメータを一度に変えたらどうなるか、その結果生じる誤差の全体像（「誤差曲面」）を把握することはできません。

遭難者が山を降りる唯一の方法は、自分の足元を見て、最も傾斜が下っている方向を見つけることです。そして、その方向に一歩進み、再び足元を見て、最も下っている方向へ進む、ということを繰り返すことです。

  • 微積分（勾配）：バックプロパゲーションは、この「最も傾斜が下っている方向（勾配）」を計算するために微積分を活用します。モデルが現在の入力に対して出した予測と、正解との間の誤差を計算し、その誤差がモデルの各パラメータによってどれだけ変化するか（偏微分）を逆方向に伝播させます。これにより、各パラメータをどの方向に、どれくらいの量だけ変更すれば、誤差が減少するかを正確に教えてくれます。
  • 繰り返しと最適化：このプロセス（勾配降下法）を何百万回、何十億回と繰り返すことで、モデルのパラメータは徐々に調整され、誤差の山の谷底へと近づいていきます。つまり、モデルは訓練データから、入力と出力の複雑なマッピング関数を自律的に学習していくのです。

GPT-2におけるMLPの実装

GPT-2のMLPは、各Transformerブロック内に配置されており、アテンションの出力結果を受け取ってさらに処理を進めます。GPT-2 smallのMLPは、以下の特徴を持っています。

  • 単一の隠れ層：入力層と出力層の間に一つの隠れ層を持ちます。
  • 次元の拡張と縮小：入力層と出力層の次元は、埋め込み次元と同じ768です。しかし、隠れ層は通常、入力次元の4倍の大きさ（GPT-2では768 * 4 = 3072）になります。これは経験的に効果的であることが示されており、モデルにより多くの表現能力と学習能力を与えるためです。
  • 活性化関数：GPT-2では、「GLU (Gated Linear Unit)」という活性化関数が使用されます。
  • 計算の流れ：
    1. 拡張（Expand）：前のステップ（アテンションの出力）からの埋め込みベクトル（768次元）を受け取り、重み行列とバイアス行列との行列乗算と加算によって、隠れ層の次元（3072次元）に拡張します。
    2. 活性化（Activate）：拡張されたベクトルにGLU活性化関数を適用します。
    3. 射影（Project）：再び重み行列とバイアス行列との行列乗算と加算によって、結果を元の埋め込み次元（768次元）に縮小します。

この一連の操作は、本質的には複数の行列乗算と加算、そして活性化関数の適用で構成されており、複雑な入力パターンを認識し、変換する能力をMLPに与えます。

バックプロパゲーションの汎用性

MLPの重みとバイアスだけでなく、LLMにおけるすべての学習可能なパラメータ、例えばトークン埋め込み、位置埋め込み、アテンションメカニズム内のQuery, Key, Valueの重みなども、バックプロパゲーションと勾配降下法によって最適化されます。

これはまるで、シェフが未知の料理を模倣するようなものです。私たちはシェフ（モデル）に材料（入力テキスト）と完成品の味（次のトークン）を教えます。そして、調理工程（Transformerアーキテクチャ）を定義し、各材料をどれだけ混ぜるか（パラメータの調整）は、シェフ自身（バックプロパゲーション）が試行錯誤（訓練）を通じて最適なレシピ（モデルパラメータ）を見つけ出すのです。

MLPは、この学習されたレシピを実行し、入力された文脈情報から次の単語の「意味」を推論する、LLMのまさに「脳みそ」とも言える重要な部分です。

予測の洗練と出力：反復と言語ヘッド

LLMの内部でトークン化、埋め込み、アテンション、MLPといった複雑な処理が行われることを理解しました。しかし、これらの処理は一度きりではありません。LLMは、その予測を段階的に洗練させるために、これらの「ブロック」を何度も繰り返します。そして最後に、数値の予測を実際の単語に変換する「言語ヘッド」という最終ステージがあります。

Transformerブロックの反復：予測の精度を高めるレイヤー

Anand氏の図にもあるように、LLMのコア部分はしばしば「12x」といった表記で示されます。これは、アテンションとMLPを含むTransformerブロック全体が、モデル内で複数回繰り返されることを意味します。GPT-2 smallの場合、このブロックは12回繰り返されます。現代の最先端モデルでは、この回数ははるかに多くなることも珍しくありません。

この繰り返しは、モデルが与えられた入力から、より深く、より洗練された文脈表現を構築し、次のトークンの予測精度を向上させるために行われます。各ブロックは本質的に同じ種類の演算（アテンションとMLP）を実行しますが、それぞれが異なる「重み（パラメータ）」のセットを持っています。これにより、各ブロックは異なる抽象度や視点から情報を処理し、段階的に情報を統合・精緻化していきます。

Anand氏のJavaScript実装では、この反復処理がどのように行われるかが示されています。実際には、各ブロック内のコードが、現在の反復（レイヤー）に対応する重み（例：MLP_C_H11は11番目のレイヤーのMLP重み）を動的に選択して実行することで、この繰り返しをシミュレートしています。

言語ヘッド：数値の予測を言葉に戻す最終ステップ

モデルの最後のTransformerブロックから、最も洗練された「予測トークン埋め込み」（768次元のベクトル）が出力されます。これは、モデルが次にくるトークンとして最も適切だと判断した意味的な表現ですが、まだ人間が理解できる単語の形ではありません。この予測された埋め込みを実際のトークンに変換するのが、「言語ヘッド（Language Head）」の役割です。

言語ヘッドは主に以下のステップで構成されます。

  1. 埋め込みの正規化（Layer Norm）：まず、予測された埋め込みに対して「Layer Normalization」という処理が施されます。これは、数値のスケールを安定させ、モデルの訓練と性能を向上させるための標準的な手法です。このステップの具体的な詳細に深く立ち入る必要はありませんが、最終的な埋め込み表現が、後続の処理に適した状態に整えられると理解しておけば十分です。

  2. 埋め込みと辞書の比較：Logits（ロジット）の生成： 正規化された予測トークン埋め込み（768次元のベクトル）を、私たちは再びmodel_WTE行列（辞書内の全トークンの埋め込みが格納されている行列）と「行列乗算」します。

    • model_WTE行列：語彙サイズ（50,257）×埋め込み次元（768）
    • 予測トークン埋め込み：埋め込み次元（768）×1（列ベクトル）
    • この2つを乗算すると、結果として語彙サイズ（50,257）×1の列ベクトルが得られます。

    この列ベクトルの各要素は、「ロジット（Logit）」または「トークンスコア」と呼ばれます。これは、予測された埋め込みが、辞書内の各トークンの埋め込みとどれくらい「類似しているか」を示すスコアです。スコアが高いほど、そのトークンが次にくる可能性が高いとモデルが判断していることを意味します。

  3. 確率分布への変換：Softmax（ソフトマックス）関数： ロジットは単なるスコアであり、合計しても1になりません。しかし、確率分布は合計が1である必要があります。そこで、ロジットを「Softmax（ソフトマックス）」関数に通します。 Softmax関数は、ロジットの各値を指数関数に変換し、その合計で割ることで、すべての値が0から1の範囲に収まり、合計が1になるような確率分布を生成します。これにより、各トークンスコアは、次のトークンとして出現する「確率」として解釈できるようになります。

  4. 最終トークンの選択：サンプリング戦略： 確率分布が得られたら、モデルはそこから実際に次のトークンを一つ選択します。この選択方法にはいくつかの戦略があります。

    • グリーディサンプリング（Greedy Sampling / Temperature 0）：常に最も確率の高いトークンを選択する方法です。Anand氏のJavaScript実装では、このグリーディサンプリングが採用されています。これは、Hugging Face TransformersなどでGPT-2 smallを実行した場合と同じ結果が得られるようにするためで、モデルの再現性を比較するのに役立ちます。
    • Top Kサンプリング：最も確率の高い上位K個のトークンに絞り込み、その中から確率に基づいてランダムに選択する方法です。これにより、非常に稀な、モデルの文脈から外れた予測（例：「Mike is quick, he moves haircut」）を避けることができます。
    • Top P（Nucleus）サンプリング：累積確率が特定の閾値（例：80%または90%）に達するまでのトークン群に絞り込み、その中から確率に基づいてランダムに選択する方法です。Top Kよりも動的に選択肢の数を調整できるため、より多様で自然な出力を生成するのに役立ちます。

このようにして、モデルは数値の埋め込み表現から、最終的に人間が理解できる次のトークン（単語）を導き出すのです。この言語ヘッドの段階が、LLMの内部における「思考」の成果を、具体的な言語出力として具現化する最終的なインターフェースとなります。

GPT-2からChat GPTへ：飛躍的な進化の秘密

GPT-2はリリース当時、その革新的なテキスト生成能力で世界を驚かせましたが、ChatGPTがもたらした「地球を揺るがす（earthshattering）」ような影響とは比較になりません。この間の数年間で、LLMは何がどう変わったのでしょうか？ その秘密は、主に「スケール」と「訓練方法」にあります。

主な違いはアーキテクチャではなく「スケール」と「訓練タスク」

現代の最先端LLMの内部を覗いてみても、GPT-2と fundamentally 異なるアーキテクチャを見つけることは稀です。基本的には同じTransformerアーキテクチャが使われており、主な違いは以下の点に集約されます。

  • 規模の拡大： パラメータ数（モデルの記憶容量）と訓練データ量（学習の深さ）が飛躍的に増加しました。GPT-2 smallは1.24億パラメータですが、現代のモデルは数百億から数兆に達します。
  • コンテキスト長の増加： モデルが一度に処理できる入力テキストの長さ（コンテキスト長）が劇的に伸びました。
  • 細部の改善： 位置埋め込みのRoPEへの変更、Layer Normalizationの適用位置の調整、活性化関数の変更など、多くの「アルゴリズム的」な改善ももちろんありましたが、これらは根本的なアーキテクチャの変更というよりは、効率や安定性を高めるための「微調整」の域を出ません。

しかし、最も決定的な違いは、モデルが何を「タスク」として訓練されたか、そしてその**訓練の「方法論」**にあります。

GPT-2：「インターネットを模倣する次の単語予測器」

GPT-2は、インターネット上の膨大なテキストデータを用いて、「次にくる単語を予測する」というタスクで事前学習されました。これにより、GPT-2はインターネット上のテキストに存在するあらゆるパターン、文法、事実、そして文体を模倣する能力を獲得しました。

しかし、その副作用として、意図しない振る舞いも多く見られました。

  • フォーム補完の模倣： First name: と入力すると、GPT-2はしばしば password, email と続けます。これは、訓練データ中にオンラインフォームのテキストが大量に含まれていたため、モデルがそれを「フォームを補完する」というパターンとして学習してしまった結果です。
  • コードの模倣： Hello class と入力すると、fu brace public static void のようなコード片を生成することがあります。これは、インターネット上に存在するコードスニペットを無意識に学習してしまったためです。
  • 有益な応答と有害な応答の混合： What is the capital of France? と聞けば The capital of France is Paris. と答える一方で、ハルシネーション（もっともらしいが虚偽の情報）を生成したり、偏見を含んだり、有害なコンテンツを出力したりするリスクも抱えていました。

GPT-2は知識を「持っている」ものの、それを「有益なアシスタント」として活用する方法は訓練されていなかったのです。

Chat GPT/Instruct GPTへの道：RLHF（人間からのフィードバックによる強化学習）

このギャップを埋め、LLMを「役に立つ、害のない、誠実なアシスタント」に変貌させたのが、主に「RLHF（Reinforcement Learning from Human Feedback: 人間からのフィードバックによる強化学習）」という画期的な訓練パイプラインです。これは、4つの主要なステップで構成されます。

  1. 事前学習（Pre-training）：知識ベースの構築

    • このステップはGPT-2と同じです。インターネット上の膨大なテキストデータを用いて、LLMは世界に関する広範な知識、文法、論理的な推論能力の基礎を学習します。これは「ベースモデル（Base Model）」と呼ばれ、LLMの「脳みそ」の中核を形成します。

  2. 指導に基づく微調整（Supervised Fine-tuning, SFT）：望ましい振る舞いの模倣

    • この段階では、契約者が手作業で書いた「理想的なアシスタント応答」の例を大量に収集します（数万から数十万件）。例えば、「健康を保つための3つのヒントを教えてください」というプロンプトに対して、「バランスの取れた食事をする」「十分な睡眠をとる」「定期的に運動する」といった、人間が望ましいと考える応答を生成させます。
    • LLMは、この限定された高品質なデータセットを用いて微調整されます。これにより、モデルはインターネット上の一般的なテキストを模倣するだけでなく、「質問に答える」「指示に従う」「チャットボットのように振る舞う」といった、特定の望ましい対話スタイルを学習し始めます。スタンフォード大学のAlpacaデータセットなどがこの例です。

  3. 報酬モデルの学習（Reward Model Learning）：人間の好みを数値化

    • SFTモデルに様々なプロンプトを与え、複数の異なる応答を生成させます。
    • これらの応答ペアを人間（アノテーター）が評価し、どの応答がより「有益で、害がなく、誠実であるか」をランク付けします。例えば、パンプキンパイのレシピを尋ねた際に、「砂糖と塩をカップに入れる」という具体的で役立つレシピと、「カボチャを買ってパッケージを見ろ」という役に立たない応答のどちらが良いかを評価します。
    • この人間の評価データを用いて、別の「報酬モデル（Reward Model, RM）」と呼ばれる小型のニューラルネットワークを訓練します。報酬モデルは、与えられたプロンプトと応答のペアに対して、人間がどれくらいの「好み」を示すかを予測する数値（報酬スコア）を出力するよう学習します。これにより、人間の「好み」という抽象的な概念が、モデルが理解できる具体的な数値に変換されます。

  4. 強化学習（Reinforcement Learning）：報酬最大化のための最適化

    • いよいよRLHFの核心です。訓練済みのSFTモデルを「エージェント」、報酬モデルを「環境」として、強化学習のフレームワークに組み込みます。
    • 強化学習の典型的な例は、コンピューターがゲームをプレイして最適な戦略を学習するようなものです。エージェント（LLM）はプロンプトを受け取り、トークンを生成するごとに「行動」をとります。そして、生成されたテキスト全体を報酬モデルに渡し、その「行動」がどれだけの「報酬」（人間の好みにどれだけ近いか）を得たかを評価します。
    • LLMは、この報酬スコアを最大化するように、自身のテキスト生成戦略（ポリシー）を調整します。これにより、モデルは単に人間が書いた応答を「模倣」するだけでなく、人間が「好む」ような応答を自律的に「生成」する方法を学習します。例えば、「I am a happy robot. I shall certainly obey.」のような望ましい応答パスを強化し、「I am an angry robot. I shall possibly kill.」のような望ましくない応答パスを避けるように最適化されます。
    • この最適化プロセスには、PPO（Proximal Policy Optimization）のようなアルゴリズムがよく用いられます。強化学習は模倣ではなく「最適化」であるという点が重要です。人間がすべての最適な応答を教えきれない場合でも、強化学習は報酬関数に基づいて最適な振る舞いを発見できる可能性があるからです。

ビジネスへの示唆と将来性

RLHFの導入は、LLMのビジネスへの応用可能性を劇的に広げました。

  • ユーザー体験の向上： 以前のモデルでは制御不能だった出力が、RLHFによってより安全で、役に立ち、ユーザーの意図に沿ったものになりました。これにより、顧客サービス、コンテンツ作成、教育など、多様な分野での活用が現実的になりました。
  • カスタマイズとブランド保護： 企業は独自のデータと評価基準を用いてRLHFを適用することで、自社のブランドイメージやポリシーに合致するLLMを開発できます。有害なコンテンツや不適切な応答を排除し、安全で信頼性の高いAIシステムを構築することが可能になります。
  • 新たな価値創造： LLMが単なる「情報検索ツール」から「対話型アシスタント」「クリエイティブパートナー」へと進化することで、これまで不可能だった新しいビジネスモデルやサービスが生まれています。

GPT-2からChatGPTへの飛躍は、単なるパラメータの増加以上の意味を持っていました。それは、LLMを人間社会とより調和させ、その「知性」を私たちのニーズに合わせて形作るための、訓練方法論の革命だったのです。この革命が、現在進行形のLLMブームの原動力となっています。

まとめ：魔法から機械へ、そしてビジネスへの示唆

本記事を通して、私たちはIshan Anand氏の画期的なVanilla JavaScript実装を足がかりに、GPTモデルの内部構造と動作原理を深く探求してきました。LLMがどのようにしてその「魔法」のような能力を発揮するのか、その一つ一つのステップを「メカニズム」として紐解くことができたことと思います。

旅を振り返り、各構成要素の役割と、それが全体としてどのように機能するのかを再確認しましょう。

  1. トークン化：テキストの効率的な表現（圧縮）

    • LLMが言語を処理するための最小単位である「トークン」に分割するプロセス。単語ベースや文字ベースの限界を克服するため、BPEのようなサブワードトークン化が採用され、効率性と表現力を両立しています。これは、まるで膨大な情報を最もコンパクトに表現するデータ圧縮技術のようです。

  2. 埋め込み（Embeddings）：言葉の意味を数値で描く（推薦システムのアナロジー）

    • 各トークンを、その意味を多次元空間で表現する数値のリスト（ベクトル）に変換します。意味が似ている単語は埋め込み空間上で近くに配置され、単語算術によって意味的な関係性が表現されます。
    • この埋め込みは、本質的には「推薦システム」としても捉えられます。ある単語（または映画、商品など）が与えられたとき、埋め込み空間におけるその位置は、次にくる可能性のある単語（または似た映画、関連商品）を「推薦」するための豊かな情報を含んでいます。モデルは訓練を通じて、この「次にくる単語の推薦」という潜在的な情報を、埋め込み自身から引き出すことを学習します。

  3. マルチレイヤー・パーセプトロン（MLP）：推論のエンジン

    • トークン埋め込みから、次にくるトークンの埋め込みを予測する、複雑な関数を学習・実行するニューラルネットワークです。「普遍的近似定理」により、ほぼあらゆる関数を近似できる強力な能力を持ち、バックプロパゲーションと勾配降下法によって、その予測精度を最適化します。

  4. アテンションメカニズム：文脈を捉える「目」（スーパーポジションの推薦）

    • 文章中の各トークンが、他のどのトークンにどれだけ「注意を払う」べきかを学習し、文脈情報を互いに共有します。これにより、多義語の曖昧さを解消し、より豊かな文脈依存の表現を構築します。
    • これは、単なる推薦ではなく、「文脈によって洗練された推薦」と考えることができます。例えば、「moves」という単語の埋め込みは、文脈で「quick」が示されれば「素早い動き」へと、別の文脈では「ゆっくりとした動き」へと意味をシフトさせます。これは、複数の推薦が文脈に応じて重なり合い（スーパーポジション）、より的確な次の単語の推薦へと導かれるようです。

  5. 反復：予測の洗練

    • アテンションとMLPを含むTransformerブロックが何度も繰り返されることで、モデルの予測は段階的に洗練され、より深い文脈理解と高精度な次のトークン予測が可能になります。

  6. 言語ヘッド：最終的な言葉への変換

    • 最終的に最も洗練された予測トークン埋め込みを、ロジットとソフトマックス関数を通じて確率分布に変換し、サンプリング戦略に基づいて実際に次のトークンを選択します。これが、モデルの「思考」を具体的な言葉として具現化する最終段階です。

Web開発者としてのLLMのビジネス的影響と将来性

LLMの内部を理解することは、単なる学術的な興味に留まりません。Web開発者として、この知識は以下のような多大なビジネス的価値と将来性を生み出します。

  • APIの賢い利用： LLMの内部で何が起きているかを知ることで、OpenAIやAnthropicなどのAPIをより効果的に、そして効率的に利用できます。プロンプトエンジニアリングの「なぜ」が理解できるため、より少ないトークンで、より高品質な出力を引き出すプロンプトを作成できるようになります。
  • コスト最適化： モデルの計算負荷を意識することで、無駄な処理を減らし、API利用コストを削減するための戦略を立てられます。例えば、トークン化の仕組みを理解していれば、不必要な冗長な表現を避けることができます。
  • デバッグと問題解決： LLMが期待通りの出力をしない場合でも、内部の仕組みを理解していれば、どの段階で問題が発生しているのかを推測し、解決策を立てやすくなります。特にAnand氏のVanilla JS実装のようなデバッグ環境は、そのための強力なツールとなります。
  • 新しいアプリケーションの開発： LLMの限界と可能性を深く理解することで、その能力を最大限に活用した、革新的なWebアプリケーションやサービスを開発するインスピレーションを得られます。例えば、RLHFの概念は、ユーザーの特定のニーズに合わせてLLMを微調整し、ブランドに特化したチャットボットやコンテンツ生成ツールを開発する道を示唆します。
  • 技術の進化への適応： LLMは急速に進化していますが、GPT-2が現代のモデルの基礎であるように、コアな概念は普遍的です。新しい技術（RoPE、Mixture of Expertsなど）が登場しても、その基盤を理解していれば、素早くキャッチアップし、適応することができます。

今回の旅で、「魔法」だと思われていたLLMが、実際には一連の論理的な「機械」的なプロセスであることが明らかになったことと思います。Web開発者としてのあなたのスキルと知識は、この新しい技術を理解し、活用し、そして未来を形作るための強力な出発点となります。

さらなる学習と実践のために

Ishan Anand氏は、LLMの仕組みを解き明かすための貴重なリソースを提供しています。

  • Ishan Anand氏のウェブサイトとYouTubeチャンネル： spreadsheetsareallyouneed.ai には、本記事で取り上げたJavaScript実装や、より詳細な解説動画が多数公開されています。特に、BPEトークン化やRLHFに関する詳細な動画は、さらなる理解を深めるのに役立つでしょう。
  • コミュニティへの参加： Discordチャンネルに参加して質問をしたり、最新情報を得たりすることも可能です。

プロンプトエンジニアリングとMoEモデルに関する洞察

最後に、Anand氏がQ&Aセッションで触れた、LLMをより効果的に利用するためのヒントと、今後の注目技術についても言及しておきましょう。

  • プロンプトエンジニアリングの科学的アプローチ： プロンプトエンジニアリングは経験則に基づきがちですが、Anand氏は「科学的に扱うこと」の重要性を強調します。常に仮説を立て、テストし、ベンチマークで効果を測定することが不可欠です。モデルは固定された計算リソースを持つため、プロンプトが無駄に長い、または不正確な情報を含む場合、モデルが「思考」に費やす計算量が奪われる可能性があります。関連性の高い情報を正確に与えることが、より良い結果につながります。
  • Mixture of Experts (MoE) モデル： 現代LLMの主要な進化の一つとして、Mixture of Experts (MoE) モデルが挙げられます。これは、計算量を大幅に増やすことなく、モデルのパラメータ数を増大させるための手法です。MoEでは、特にMLPの計算が集中する部分で、入力トークンに応じて特定の「エキスパート」（MLPのサブネットワーク）のみを活性化させます。これにより、モデルはより多くの知識を保持しながらも、各推論ステップで必要な計算量を抑えることができます。Llama 2のようなモデルの進化において、MoEは効率性と能力の両面で大きな影響を与えています。

LLMの分野は絶え間なく進化していますが、その根底にある原理を理解しているあなたは、この刺激的なフロンティアを切り拓く準備ができています。Web開発者としてのあなたの専門知識と、ここで得たLLMの深い洞察を組み合わせることで、未来のアプリケーションとビジネスを創造する可能性が無限に広がるでしょう。

この旅が、あなたにとっての「AIの魔法」を「理解可能なメカニズム」へと変える一助となったことを願っています。

← 一覧に戻る