Pinterestの検索を革新するLLM：AIエンジニアワールドフェアでの深い学び
今日のデジタル時代において、私たちが情報を発見し、インスピレーションを得る方法は絶えず進化しています。ビジュアルディスカバリープラットフォームの先駆者であるPinterestは、その最前線に立ち、ユーザーが「好きな人生を創造するためのインスピレーションを見つける」ことを可能にしています。この目標を達成するための鍵となるのが、同社の検索システムの精度と関連性です。AI Engineer World's Fairでのプレゼンテーションで、PinterestのSearch RelevanceチームのHan WangとMukuntha Narayananは、「Pinterest検索における大規模言語モデル（LLM）の使用から学んだこと」というテーマで、彼らの画期的な取り組みとそこから得られた貴重な洞察を共有しました。本記事では、その発表内容を深く掘り下げ、LLMがPinterestの検索機能にもたらした具体的な改善、ビジネスへの影響、そしてその将来性について詳細に解説します。
Pinterest検索の規模と重要性：なぜLLMが不可欠なのか
Pinterestの検索機能は、単なるキーワードマッチングを超えた、ユーザーの意図を深く理解するビジュアル検索体験を提供しています。その規模と影響力は計り知れません。
- 驚異的な検索量: Pinterestは毎月60億回以上の検索を処理しており、その数は数十億ものピン（画像や動画コンテンツ）を対象としています。ユーザーは、ホームデコレーションのアイデア、旅行の計画、最新のファッショントレンド、料理のレシピなど、ありとあらゆるトピックについてインスピレーションを求めています。
- グローバルなリーチ: Pinterestの検索は、実にグローバルで多言語に対応しています。英語、スペイン語、ポルトガル語を中心に45以上の言語をサポートし、米国、ブラジル、インド、インドネシアなど100カ国以上のユーザーにリーチしています。この多言語・多文化環境で、すべてのユーザーに質の高い検索結果を提供することは、極めて複雑な課題です。
これらの数字は、Pinterestの検索がユーザー体験の中心であり、LLMへの投資が単なる技術的アップグレードではなく、プラットフォームの根幹を強化するための戦略的な動きであることを明確に示しています。検索関連性を向上させることは、ユーザーエンゲージメントを高め、最終的にはPinterestのビジネス成長に直結します。
Pinterest検索システムの全体像とLLMの役割
Pinterestの検索システムは、業界の多くのレコメンデーションシステムと同様に、複数の複雑なステージを経て機能しています。
- クエリ/ユーザー理解 (Query / User Understanding): ユーザーが入力したクエリの意図を解釈し、ユーザーの過去の行動や興味を理解します。
- 検索 + 軽量スコアリング (Retrieval + Lightweight Scoring): 数十億のピンの中から、関連性のありそうな候補を効率的に絞り込み、初期的なスコアリングを行います。
- 再ランキング (Reranking): ここがLLMが最も重要な役割を果たすステージです。検索された候補ピンを、エンゲージメントと「意味的関連性」に基づいて再ランキングします。
- ブレンディング (Blending): 再ランキングされたピンと、その他のモジュール（例：広告、関連するボード、アイデアピンなど）を組み合わせて、最終的な表示結果を構成します。
- 結果 (Results): ユーザーにパーソナライズされた検索結果が表示されます。
今回のプレゼンテーションでは、特に再ランキングステージで行われる意味的関連性モデリングに焦点が当てられました。Pinterestでは、検索クエリと個々のピンが入力として与えられた際に、そのピンがクエリにどれだけ関連しているかを5段階のスケール（5: 最も関連性が高い ～ 1: 最も関連性がない/不快）で予測する分類モデルを使用しています。LLMは、このモデルの精度を飛躍的に向上させる可能性を秘めていました。
学び1: LLMは関連性予測に優れている
PinterestチームがLLMを活用して得た最初の重要な学びは、LLMが検索関連性の予測において非常に高い能力を発揮するという事実でした。
モデルアーキテクチャ:
チームは、マルチクラス分類問題として検索関連性モデルを構築しました。その核となるのは、クロスエンコーダー構造を持つLLMです。これは、検索クエリとピンのテキストを結合し（[CLS] Query [SEP] Pin Text の形式）、それをLLMに入力して埋め込み（Embedding）を生成し、その後多層パーセプトロン（MLP）を介して5段階の関連性スコアを出力するものです。特に注目すべきは、Pinterestの内部データセットを使用して、オープンソースのLLMをファインチューニングした点です。これにより、モデルをPinterest独自のコンテンツとユーザー行動の特性により良く適応させることができました。
LLMの性能: 実験結果は、LLMの優位性を明確に示しています。ベースラインとしてPinterest社内で開発されたコンテンツおよびクエリ埋め込みモデルである「SearchSAGE」や、多言語対応の「mBERT_base」と比較して、LLMは顕著な性能向上を達成しました。
| モデル名 | Accuracy | AUROC (3+)(関連性が3以上) | AUROC (4+)(関連性が4以上) | AUROC (5+)(関連性が5) |
|---|---|---|---|---|
| SearchSAGE | 0.513 | 0.878 | 0.865 | 0.831 |
| mBERT_base | 0.535 | 0.887 | 0.861 | 0.841 |
| T5_base | 0.549 | 0.904 | 0.886 | 0.861 |
| mDeBERTaV3_base | 0.581 | 0.917 | 0.892 | 0.895 |
| XLM-RoBERTa_large | 0.581 | 0.919 | 0.897 | 0.901 |
| Llama-3-8B | 0.602 | 0.930 | 0.908 | 0.908 |
特に、Llama-3-8Bモデルは、mBERT baseモデルと比較して関連性予測の精度（AUROC）が12%向上し、SearchSAGE埋め込みモデルと比較すると20%もの大幅な改善を記録しました。この結果は、より洗練された言語モデルと大規模なモデルサイズが、検索関連性の予測性能を継続的に向上させることを強く示唆しています。LLMは、クエリとピンの間に存在する複雑なセマンティックな関係を、これまでのモデルよりもはるかに深く、正確に理解する能力を持っているのです。
学び2: VLMキャプションとユーザーアクションは有用なコンテンツアノテーションである
LLMを検索関連性予測に効果的に利用するためには、各ピンの豊富なテキスト表現を構築することが不可欠です。Pinterestチームは、従来のメタデータだけでなく、以下に示す多岐にわたる情報源からテキスト特徴を抽出し、活用しました。
- ピンのタイトルと説明: ピンを作成したユーザーが直接割り当てたテキスト。
- ビジュアル言語モデル（VLM）からの合成画像キャプション: BLIP（オフザシェルフの画像キャプションモデル）のようなVLMを用いて、画像自体から直接生成された合成画像の説明。これは、画像の内容を言語で表現する上で極めて強力な情報源となります。
- リンクのタイトルと説明: ピンがリンクしている外部Webページのタイトルと説明。
- ユーザーがキュレーションしたボードのタイトル: ピンが保存されたボードのタイトル。ユーザーの興味やコンテキストを反映する重要な情報です。
- 高エンゲージメントクエリトークン: 過去2年間で、そのピンが検索結果で最も高いエンゲージメント（クリックや保存など）を得たユニークなクエリ。これは、ユーザーが実際にそのピンをどのように探しているかを示す貴重なインサイトです。
特に、VLMによって生成されたキャプションと、ユーザーの行動履歴に基づく特徴（ボードのタイトルや高エンゲージメントクエリ）は、コンテンツの「追加アノテーション」として機能し、モデルがピンの多様な側面をより深く理解するのに大きく貢献しました。
テキスト特徴の性能: チームは、アブレーションスタディを通じて、各テキスト特徴が関連性予測に与える影響を分析しました。
| テキスト特徴 | Accuracy | AUROC (3+) | AUROC (4+) | AUROC (5+) |
|---|---|---|---|---|
| Synthetic image caption | 0.457 | 0.838 | 0.781 | 0.760 |
| + Pin title and description | 0.561 | 0.906 | 0.875 | 0.873 |
| + Link title and description | 0.565 | 0.910 | 0.880 | 0.880 |
| + User-curated board titles | 0.577 | 0.916 | 0.888 | 0.890 |
| + High-engagement query tokens | 0.581 | 0.917 | 0.893 | 0.895 |
この表が示すように、VLM生成キャプションだけでも、すでに堅牢なベースラインを提供しています。そこにピンのタイトルや説明、リンク情報、そして最も効果的だったユーザーキュレーションボードのタイトルや高エンゲージメントクエリを追加していくにつれて、関連性予測の性能は着実に向上しました。
この結果は、ユーザーエンゲージメントデータがコンテンツアノテーションの重要な情報源となること、そして豊富なテキスト特徴とメタデータを組み合わせることで、より堅牢で包括的な関連性モデルを構築できることを実証しています。
学び3: 知識蒸留は効率的なサービングの鍵である
LLMが関連性予測において優れた能力を持つ一方で、その巨大なモデルサイズと計算要件は、Pinterestのような大規模な本番環境でリアルタイムに展開する際の大きな課題となります。この課題を解決するために、Pinterestチームは**知識蒸留（Knowledge Distillation）**という手法を導入しました。
知識蒸留のプロセス: 知識蒸留は、大規模で複雑な「教師モデル」の知識を、より小さく効率的な「学生モデル」に転移させるプロセスです。
LLM教師モデルの訓練:
- まず、人間が手作業でラベル付けした、比較的小規模なデータセット（特定のセグメントや言語に特化したデータ）を用いて、高性能なLLMを「教師モデル」としてファインチューニングします。この教師モデルは、非常に正確な5段階の関連性予測を行うことができます。
- この教師モデルの際立った特徴は、その多言語能力です。米国以外の市場で収集されたデータが限定的であっても、多言語対応のLLM教師モデルは、それらの市場で質の高いラベルを生成する能力を持っています。
データ拡張とラベルの蒸留:
- Pinterestは毎日生成される膨大な検索ログからデータをサンプリングし、この未ラベルのデータに対してLLM教師モデルを使用して関連性スコアを予測させます。これにより、人間が手作業でアノテーションするよりも100倍以上もの大量の「蒸留されたラベル」が生成されます。
- このアプローチにより、米国データに偏っていた人間のラベル付けデータセットの限界を克服し、世界中の多様なドメイン、言語、国にわたる、はるかに豊富な訓練データセットを構築することが可能になりました。また、このプロセスには最新のトレンドクエリや新しくアップロードされたピンも含まれるため、モデルの鮮度も保たれます。
関連性学生モデルの訓練とサービング:
- 生成された大量の「蒸留されたラベル」を用いて、より軽量で高速な「学生モデル」を訓練します。この学生モデルは、教師モデルの複雑な知識を効率的に学習し、本番環境でのスケーラビリティと低レイテンシを実現します。
- 学生モデルは、実際のユーザー検索に対して「関連性スコア」を生成し、これが検索パイプラインの最終段階であるリアルタイムサービングに利用されます。
学生モデルのアーキテクチャとスケーリングの秘訣: 本番環境で稼働する学生モデルもLLM（例：xlm-roberta-base）を使用しますが、教師モデルとは異なり、バイエンコーダー構造を採用しています。
- ピン埋め込みのオフライン推論: ピンのテキスト特徴（VLMキャプション、タイトル、説明など）は、オフラインでLLMエンコーダーを介して埋め込みとして推論され、何十億ものピンに対して実行されます。この埋め込みはキャッシュされ、リアルタイムの推論は必要ありません。入力データ（例：ピンのテキスト）が大幅に変更された場合にのみ再推論されます。
- クエリ埋め込みのリアルタイム推論: 検索クエリはユーザーが入力するたびに、LLMエンコーダーを介してリアルタイムで埋め込みとして推論されます。検索クエリは通常短く、使用するトークン数が少ないため、推論レイテンシを数ミリ秒に抑えることができます。さらに、検索クエリの多くは繰り返されるため、キャッシュメカニズムを導入することで、約85%の高いキャッシュヒット率を達成し、全体の推論コストとレイテンシをさらに削減しています。
- その他の特徴: 学生モデルは、ピン特徴、クエリ特徴、そしてBM25のようなピン-クエリテキストマッチング統計など、LLMが提供する埋め込み以外の追加の特徴も組み合わせて利用します。
このバイエンコーダー構造とオフライン推論、キャッシング戦略の組み合わせが、PinterestがLLMを効率的かつ大規模に本番環境でサービングするための鍵となりました。
オンライン結果: この知識蒸留とスケーリング戦略の結果、Pinterestのオンライン検索で顕著な改善が見られました。
関連性メトリクスの向上:
- 米国でのnDCG@30: +2.58%
- 米国でのprecision@8: +2.0%
- ドイツでのprecision@8: +1.64%
- フランスでのprecision@8: +1.84%
検索エンゲージメントメトリクス（Search Fulfillment）の向上:
- 米国でのSearch Fulfillment: +1.2%
- 非米国地域でのSearch Fulfillment: +2.1%
注目すべきは、米国データセットからスタートしたにもかかわらず、LLMの多言語能力と知識蒸留戦略により、ドイツやフランスといった非米国地域でも関連性およびエンゲージメントの向上が見られたことです。これは、LLMが明示的に訓練されていないドメイン、言語、国境を越えて、優れた性能を発揮できることを示しています。
学び4: 関連性チューニングされたLLMは、リッチな汎用セマンティック表現を生成する
LLMが検索関連性予測において素晴らしい成果を上げただけでなく、Pinterestチームはもう一つの重要な発見をしました。それは、関連性チューニングされたLLMが生成する埋め込みが、単なる特定のタスクのためのものではなく、非常にリッチで汎用的なセマンティック表現として機能するということです。
LLM埋め込みの「フリー」な価値: 学生モデルの訓練プロセスで生成されるピン埋め込みとクエリ埋め込みは、それ自体がPinterest内の様々な下流アプリケーションで利用可能な「フリー」の強力な表現となります。これらの埋め込みは、ピンや検索クエリだけでなく、ボードのタイトルなどの他のエンティティを表現するためにも使用できます。
LLM埋め込みの応用例: これらのLLM埋め込みは、Pinterestの広範なエコシステム内で多岐にわたるアプリケーションに活用され、目覚ましい改善をもたらしました。
- コンテンツ推薦と発見:
- 関連ピンランキングにおけるピン共有数: +1.1%
- 関連ピンの新規検索（新鮮なコンテンツの発見）におけるリピン数: +0.85%
- ショッパー埋め込み検索におけるリコール@10: +16%
- ホームボードモジュールフィードにおけるリピン数: +1.4%
- コンテンツ管理:
- コンテンツモデレーションモデルの精度: 2.7倍向上
- ユーザーエンゲージメント:
- ホームフィードモジュールランキングからの5分未満のセッション: +0.12%
これらの結果は、関連性チューニングによってLLMがコンテンツのセマンティックな意味を深く理解するようになり、その結果として得られる埋め込みが、ユーザーにパーソナライズされた体験を提供したり、プラットフォームのコンテンツ品質を維持したりするなど、様々な目的で非常に有効であることを明確に示しています。これは、AIモデルへの投資が、単一の機能改善にとどまらず、プラットフォーム全体の価値向上に貢献しうることを意味します。
結論と将来の展望
Pinterestの検索システムにおけるLLMの活用は、AI技術がどのように大規模なビジュアルディスカバリープラットフォームを革新できるかを示す強力な事例です。今回のAI Engineer World's Fairで共有された4つの学びは、PinterestがLLMを効果的に統合し、ユーザー体験とビジネスパフォーマンスの両方で顕著な成果を上げたことを明確に示しています。
- LLMの優れた関連性予測能力: LLMは、クエリとピン間の複雑な関係を深く理解し、関連性予測の精度を大幅に向上させました。
- 豊富なコンテンツアノテーションの重要性: VLMキャプションとユーザーエンゲージメントデータは、ピンの多様な側面を捉え、モデルの理解度を高める上で不可欠な要素です。
- 知識蒸留による効率的なスケーリング: 大規模なLLMを本番環境で利用可能にするため、知識蒸留とバイエンコーダー構造を組み合わせることで、コスト効率と低レイテンシを実現しました。
- 汎用セマンティック表現の生成: 関連性チューニングされたLLMから得られる埋め込みは、検索関連性予測を超え、プラットフォーム全体の多岐にわたるアプリケーションに価値をもたらす強力な汎用表現として機能します。
Pinterestは、これらの取り組みを通じて、ユーザーがより簡単かつ効率的にインスピレーションを見つけ、彼らの「好きな人生」を創造できるよう支援するというミッションを強化しています。LLMは、コンテンツの多様な側面を理解し、ユーザーの意図を汲み取り、国境や言語の壁を越えて高品質な結果を提供する能力を持っています。
今後、AI技術の進化は、Pinterestの検索をさらにパーソナライズされ、直感的で、魅力的なものへと変貌させていくでしょう。LLMは、ユーザーがまだ意識していないニーズさえも予測し、新たな発見の道を拓く可能性を秘めています。Pinterestの取り組みは、AIが単なるツールではなく、ユーザーとコンテンツを結びつけ、豊かなデジタル体験を創造するための強力なパートナーであることを示しています。