AIエンジニア・ワールド・フェア2025：RecSysトラックから未来の推薦システムと検索技術を探る

Of course, here's the blog post based on the video content you provided.

AI Engineer World's Fair 2025のRecSysトラックでは、推薦システムと検索技術の未来を形作る画期的なアプローチが紹介されました。特に、LLM（大規模言語モデル）技術を活用したイノベーションに焦点が当てられ、その詳細な機能、ビジネスへの影響、そして今後の可能性について深く掘り下げられています。

本記事では、このイベントで発表された内容を包括的に分析し、それぞれの技術がどのように推薦システムと検索の課題を解決し、ユーザー体験とビジネス価値を向上させるのかを詳しく解説します。

はじめに：LLMが変革するRecSysと検索のランドスケープ

推薦システム（RecSys）と検索技術は、デジタルエコシステムにおいて不可欠な存在です。Eコマースからコンテンツ消費まで、あらゆる場面でユーザーが求める情報や製品にアクセスできるよう支援しています。しかし、従来のシステムは「コールドスタート問題」や「スパース性問題」、そして複雑なメタデータの管理といった課題に直面してきました。

AI Engineer World's Fair 2025のRecSysトラックでは、これらの課題に対し、LLM技術を応用した新たなアプローチが提示されました。セマンティックID、データ拡張、そして統合モデルといった概念が、どのようにRecSysと検索の性能を劇的に向上させるのか、その核心に迫ります。

1. セマンティックID：コールドスタートとスパース性問題への抜本的解決策

1.1. 既存の課題：ハッシュベースアイテムIDの限界

従来の推薦システムでは、各アイテムは一意のハッシュベースIDによって識別されます。このID自体はアイテムのコンテンツ情報を直接エンコードしないため、システムは以下の問題に直面します。

コールドスタート問題（Cold-start problem）：新しいアイテムが追加された際、そのアイテムに関するユーザーインタラクションデータが不足しているため、適切な推薦ができません。システムはそのアイテムについて「最初から学び直す」必要があり、時間がかかります。
スパース性問題（Sparsity）：インタラクションが少ないテールアイテム（人気のないアイテム）についても、学習データが不足するため、効果的な推薦が困難です。人気のあるアイテムばかりが推薦されがちになり、多様性が失われる原因となります。

これらの問題は、推薦システムが「人気バイアス」に陥りやすく、新しいコンテンツやニッチなコンテンツがユーザーに届きにくいという状況を生み出します。

1.2. 解決策：マルチモーダルコンテンツに基づくセマンティックIDの導入

この課題に対する解決策として提案されたのが、「マルチモーダルコンテンツ」に基づく「セマンティックID」です。セマンティックIDは、アイテムのコンテンツ（画像、テキスト、音声など）が持つ意味的情報を直接エンコードするため、ハッシュベースIDの限界を克服します。

この概念を実現する具体的な事例として、中国のショートビデオプラットフォーム「Kuaishou（快手）」の取り組みが紹介されました。KuaishouはTikTokのようなプラットフォームで、毎日数億本のショートビデオがアップロードされます。この膨大な量の新しいコンテンツに対して、従来のシステムではコールドスタート問題が深刻でした。

Kuaishouは、静的なコンテンツエンベディングと動的なユーザー行動を組み合わせることで、この問題を解決しました。彼らは、次のアプローチで「Trainable, multimodal, semantic IDs」を開発しました。

二塔モデル（Two-tower model）：ユーザーエンベディング層とアイテムエンベディング層を持つ標準的な二塔ネットワークを使用します。
マルチモーダルエンコーダ：各アイテムのコンテンツ（視覚情報、ビデオ説明テキスト、音声）をエンコードするために、ResNet（視覚）、BERT（テキスト）、VGGish（音声）といった既存の強力なエンコーダモデルをそれぞれ使用します。
エンベディングの連結とクラスタリング：これらマルチモーダルエンコーダから得られたエンベディングを連結し、K-meansクラスタリングを通じて数千のクラスタID（セマンティックID）を学習します。これにより、アイテムのコンテンツ情報を意味的にグループ化します。
コンテンツ空間から行動空間へのマッピング：訓練可能な埋め込みテーブルを持つクラスタIDを導入し、モデルエンコーダはコンテンツ空間（アイテムの特徴）を行動空間（ユーザーの行動履歴）にマッピングすることを学習します。これにより、アイテムのコンテンツとユーザーの行動を効果的に結びつけます。

1.3. セマンティックIDのビジネスインパクト

このセマンティックIDの実装により、Kuaishouでは驚くべき成果が得られました。

クリック数：+3.4%
「いいね」数：+3.0%
コールドスタートカバー率：+3.6%
コールドスタート速度：+1.2%

特に、コールドスタート関連の指標が大きく改善されたことは注目に値します。新しい動画がアップロードされた際に、過去のインタラクションデータがなくても、そのコンテンツの意味を理解し、適切なユーザーに素早く推薦できるようになったことを意味します。これにより、ユーザーはより多様なコンテンツを発見できるようになり、コンテンツクリエイターは新しい作品が埋もれることなく、より早くリーチできる機会を得られます。

さらに、セマンティックIDは推薦システムにコンテンツを「理解する」能力をもたらします。例えば、「美しい景色とオーケストラが特徴のインディーズ映画がお好きだから」といった、人間が理解できる説明を付けて推薦することが可能になります。これにより、推薦の透明性とユーザーの信頼が向上します。

2. データ拡張：LLMによる高品質メタデータの自動生成とスパース性解消

2.1. 既存の課題：高品質メタデータのコストと労力

機械学習、特に検索や推薦システムにおいて、「良質なデータ」は生命線です。検索エンジンや推薦システムが機能するためには、アイテムに関する豊富なメタデータ（説明、タグ、カテゴリ、属性など）が不可欠です。しかし、この高品質なメタデータを大規模に取得するには、膨大なコストと労力がかかります。

手動アノテーションの限界：人間による手動アノテーションは非常に正確ですが、費用が高く、時間もかかります。新しいアイテムが日々大量に発生する環境では、追いつくことが困難です。
自動生成の品質課題：既存の自動生成手法では、品質が不十分であったり、汎用的な情報しか得られなかったりする場合があります。
スパース性問題の再燃：特にテールアイテムにおいては、メタデータ自体が不足していることが多く、これがスパース性問題の一因となります。

2.2. 解決策：LLMによる合成データとラベルの生成

LLMは、このメタデータ生成の課題に対して非常に強力な解決策を提供します。LLMの持つ高度なテキスト生成能力と推論能力を活用することで、高品質な合成データやラベルを自動的に生成し、既存のデータを増強することが可能です。

具体的な事例として、Indeedの「低品質な求人推薦のフィルタリング」とSpotifyの「探索的検索クエリの拡充」の取り組みが紹介されました。

2.2.1. Indeed：LLMによる低品質な求人推薦のフィルタリング

Indeedはユーザーに求人推薦をメールで送信していますが、低品質な推薦はユーザー体験を損ね、サービスの信頼を低下させる原因となっていました。ユーザーは不適切な推薦を受け取ると、購読解除してしまう可能性が高く、一度失ったユーザーを取り戻すのは非常に困難です。

Indeedは、コールドスタートや不正確な暗黙的フィードバック（クリックしなかった理由が「好きではない」のか「タイミングではない」のか不明）といった課題に直面していました。そこで彼らは、LLMを活用して「悪い推薦」をフィルタリングする軽量な分類器を開発しました。

評価セットの構築：まず、専門家が求人推薦とユーザーの履歴（レジュメ、アクティビティデータ）のペアを評価し、「良い/悪い」のラベル付けを行いました。
オープンLLMの試行：Llama2やMistral-7BといったオープンなLLMにプロンプトを与えて試しましたが、求人レジュメと職務記述書の情報を適切に考慮できず、性能は不十分でした。出力も非常に一般的でした。
GPT-4の導入とコスト課題：次に、GPT-4を試したところ、90%以上の精度と再現率を達成し、非常に良い性能を示しました。しかし、GPT-4は非常に高コストで処理速度も遅く（約22秒）、リアルタイムのフィルタリングシステムには不向きでした。
GPT-3.5のファインチューニングと課題：GPT-3.5を試したところ、GPT-4よりは高速ですが、悪いマッチに対する精度が0.63と低く、依然として多くの良い推薦を「悪い」と判断してしまう問題がありました。これは、せっかくの良い求人情報のうち37%を捨ててしまうことを意味します。
軽量分類器の蒸留：最終的に、彼らはファインチューニングしたGPT-3.5が生成したラベルを使って、より軽量な分類器を蒸留（Distillation）しました。この軽量分類器は、GPT-4の1/4のコストとレイテンシーで0.90の精度を達成し（ただし、依然として6.7秒とオンラインシステムには遅い）、十分な性能を発揮しました。

この結果、Indeedでは以下の改善が見られました。

悪い推薦の減少：-17.68%
購読解除率：-4.97%
応募率：+4.13%

この成果は、「量だけでなく質が重要である」という推薦システムの重要な教訓を示しています。単に推薦数を減らすだけでなく、質の高い推薦だけを送ることで、ユーザーエンゲージメントとビジネス成果の両方を向上できることを証明しました。

2.2.2. Spotify：LLMによる探索的検索クエリの拡充

Spotifyは音楽・アーティスト検索に強みを持つプラットフォームですが、近年はポッドキャストやオーディオブックといった新しいアイテムカテゴリにも事業を拡大しています。この新しいカテゴリにおいて、ユーザーがそれらの存在を知らず、適切に検索できないという「カテゴリ全体でのコールドスタート問題」に直面していました。

彼らの目標は、ユーザーが知っているアイテム（音楽）のカタログから、新しいアイテム（ポッドキャスト、オーディオブック）を検索できるように支援することです。この課題を解決するため、Spotifyは「クエリ推薦システム」を開発しました。

既存データからのクエリ生成：
- カタログタイトル、プレイリスト名、ポッドキャストなどから既存のクエリを抽出。
- 過去の検索ログからクエリをマイニング。
- ユーザーの最近の検索履歴や保存されたアイテムを利用。
- メタデータ拡張ルール（例：<artist> + "cover"）を適用。これらの手法で既存データから学習できるものを活用します。
LLMによる自然言語クエリの生成と拡張：Doc2QueryやInParsといったLLMを応用した技術を使用して、自然言語の探索的クエリを生成し、既存のクエリを拡張します。これにより、ユーザーがまだ明示的に検索していないが、興味を持つ可能性のある新しいクエリを予測します。
検索結果の提示：ユーザーが検索を行うと、従来の検索結果に加えて、LLMが生成した新しい探索的クエリに基づく結果も表示します。これらの新しいクエリは、ストリーミングやプレイリストへの追加などの目的に合わせてランク付けされます。

このアプローチにより、Spotifyでは以下の結果が得られました。

探索的クエリの増加：+9%
クエリ長の増加：+10%

これは、ユーザーがより多くの新しいカテゴリのアイテムを発見し、探索的な検索を行うようになったことを示しています。10%のユーザーが毎日新しい製品カテゴリを探求するようになることは、新しい製品の成長を指数関数的に加速させ、ビジネスに大きなインパクトを与えます。

2.3. LLMで拡張された合成データのメリット

IndeedとSpotifyの事例から、LLMで拡張された合成データのメリットは明らかです。

大規模かつ高品質なデータ：特にテールクエリやコールドスタートアイテムなど、従来のデータが不足しがちな領域でも、LLMによってより豊かで高品質なデータを大規模に生成できます。
コストと労力の削減：人間による手動アノテーションと比較して、はるかに低いコストと労力でデータ生成が可能です。
スパース性問題の解決：不足しているメタデータをLLMが補完することで、コールドスタートやスパース性の課題を効果的に解決します。

3. 統合モデル：システムの簡素化と転移学習の恩恵

3.1. 既存の課題：タスク特化型モデルの複雑性

現在の多くの企業では、推薦、検索、広告といった異なるタスクや、ホームページ推薦、アイテム間推薦、事前クエリ推薦といったユースケースごとに、それぞれ異なるモデルを構築・運用しています。これにより、以下の課題が生じます。

エンジニアリングの重複：類似の機能を持つモデルをそれぞれ開発するため、エンジニアリングリソースの重複が生じます。
運用コストの増加：多数のモデルを維持・管理するための運用コストが増大します。
メンテナンスの複雑性：各モデルが独立しているため、システムの全体像が複雑になり、メンテナンスが困難になります。
転移学習の機会損失：あるタスクで得られた知識が別のタスクに自然に転移されないため、効率的な学習が阻害されます。

3.2. 解決策：複数タスクを統合する「Unified Models」

この課題に対し、視覚や言語分野で成功を収めている「Unified Models（統合モデル）」のアプローチを推薦システムにも適用することが提案されました。統合モデルは、複数の異なるタスクやユースケースを単一のモデルで処理することを目指します。

具体例として、Netflixの「検索と推薦のための統合ランカー（Unified Ranker）」とEtsyの「統一エンベディング」が紹介されました。

3.2.1. Netflix：検索と推薦のための統合コンテキストランカー（UnCoRe）

Netflixでは、検索、類似アイテム推薦、事前クエリ推薦といった様々なタスクに対して、それぞれ専用のモデルが存在し、その複雑性が課題となっていました。そこで彼らは、これらのタスクを統合する「Unified Contextual Ranker (UnCoRe)」と呼ばれる単一のモデルを開発しました。

統一入力（Unified Input）：UnCoReモデルは、ユーザーID、アイテムID、検索クエリ（もしあれば）、国、そして「タスク」の種類といった統一された入力データスキーマを使用します。
ユーザーとコンテンツの埋め込み：ユーザーの視聴履歴からユーザーの好みを学習する「ユーザーファウンデーションモデル」と、ビデオコンテンツを理解する「コンテキストとターゲットビデオ特徴」を使用します。
欠損コンテキストの補完：もし検索クエリのようなコンテキストが欠損している場合（例：アイテム間推薦の場合）、そのアイテムの表示名を検索クエリとして補完するなど、スマートな手法で情報を埋めます。
単一モデルによる複数タスク処理：この統合された入力とモデル構造により、検索、事前クエリ推薦、類似アイテム推薦といった複数のタスクを、単一のモデルで学習・予測することが可能になります。

このNetflixの統合ランカーは、個別の専門モデルの指標に匹敵するか、それを上回るパフォーマンスを複数のタスクで達成しました。これは、技術的負債を解消し、より効率的な開発と運用を可能にする画期的な成果です。複数のモデルを個別に改善する代わりに、単一のモデルを改善することで、すべてのタスクに恩恵が及ぶ可能性があります。

3.2.2. Etsy：統一埋め込みによる検索品質向上

Etsyは、非常に多様で常に変化するハンドメイド商品の在庫を持つEコマースプラットフォームです。このため、「母の日ギフト」のような非常に特定のクエリや、非常に広範なクエリに対して、ユーザーが求める結果を提供することが困難でした。また、従来のレキシカル（キーワード）ベースや埋め込みベースの検索では、ユーザーの個々の好み（パーソナライゼーション）が十分に考慮されないという問題もありました。

Etsyは、これらの課題を解決するために「Unified Embeddings（統一埋め込み）」とリトリーバル（検索）システムを開発しました。

プロダクトエンコーダとクエリエンコーダの共有：
- プロダクト（商品）エンコーダは、商品のテキスト情報（タイトル、説明など）をT5-smallモデルで埋め込みます。さらに、商品カテゴリ、場所、ユーザーロケールなど、様々な商品のメタデータを考慮します。
- クエリエンコーダは、ユーザーの検索クエリと、そのクエリでクリックまたは購入された商品タグのログを埋め込みます。
- 両エンコーダは、トークン（テキスト）、商品カテゴリ、場所、ユーザーロケールといった共通の特徴に対するエンコーダを共有します。これにより、プロダクトとクエリのセマンティックなアラインメントを強化します。
品質ベクトルの導入：検索結果の品質を確保するため、プロダクトエンベディングには「品質ベクトル」が連結されます。この品質ベクトルは、商品の評価、鮮度、コンバージョン率といった指標を含み、検索結果の信頼性と魅力度を高めます。
ユーザー嗜好のエンコード：ユーザーの過去の検索行動や購入履歴などの嗜好情報をエンコードし、クエリエンコーダに統合することで、検索結果のパーソナライゼーションを実現します。

このEtsyの統一埋め込みシステムは、以下のような素晴らしい結果をもたらしました。

サイト全体のコンバージョン率：+2.63%
検索購入率：+5.58%

これは、特にEコマースにおいては驚異的な数字です。ユーザーがより的確な検索結果を得られるようになったことで、購入へと繋がりやすくなったことを示しています。統一埋め込みによって、ユーザーの意図と商品の意味がより深く理解され、パーソナライズされた高品質な検索体験が実現したと言えるでしょう。

3.3. 統合モデルのメリット

NetflixとEtsyの事例が示すように、統合モデルには多くのメリットがあります。

システムの簡素化：複数の専用モデルを単一のモデルに統合することで、システムの複雑性を大幅に軽減します。
メンテナンスオーバーヘッドの削減：管理・更新するモデルの数が減るため、メンテナンスの負担が軽減されます。
転移学習の促進：複数のタスクが同じモデルで学習されるため、あるタスクで得られた知識が他のタスクに転移しやすくなります。これにより、特にデータが少ない新しいユースケースやテールアイテムの性能向上に貢献します。
タスクの断片化の解消：異なるタスク間で共通の表現を学習することで、サイロ化された開発を避け、全体として一貫したユーザー体験を提供できるようになります。
効率的なイテレーション：より強固で汎用的な基盤モデルを構築することで、将来的な機能追加や改善をより迅速に行えるようになります。

ただし、注意点として「アラインメント税（alignment tax）」が存在する可能性があります。これは、単一モデルで複数のタスクの性能を同時に最適化しようとすると、一部のタスクで性能が低下するトレードオフが生じる可能性があることを指します。このため、場合によっては複数の統合モデルに分割する必要があるかもしれません。

まとめ：未来を形作る3つの主要な方向性

AI Engineer World's Fair 2025のRecSysトラックでは、LLM技術が推薦システムと検索技術の未来をどのように変革するかを示す、3つの重要な方向性が示されました。

セマンティックID：アイテムのコンテンツ情報を直接エンコードすることで、コールドスタート問題やスパース性問題を解決し、より効果的で説明可能な推薦を可能にします。
データ拡張：LLMを活用して高品質な合成データやラベルを生成することで、メタデータの不足を補い、システムの学習能力と汎用性を高めます。特に、テールアイテムや新しいカテゴリのデータを効率的に増強できます。
統合モデル：複数のタスクやユースケースを単一のモデルで処理することで、システムの複雑性を簡素化し、運用コストを削減し、転移学習の恩恵を最大限に活用します。

これらのアプローチは、AIエンジニアリングの最前線を示しており、今後のデジタルサービスのあり方を大きく変える可能性を秘めています。よりパーソナライズされ、ユーザーの意図を深く理解し、常に新しい発見を提供する、そんな未来の推薦システムと検索技術の実現に向けたロードマップが、このイベントで示されました。