自己回帰型の生成モデルがデータを分割する「トークン」の構造が、生成時の探索効率を大きく左右する可能性が示された。EPFLの研究チームは、画像生成を題材に、粗密の情報を持つ1次元の順序付きトークンが、従来の2次元格子構造よりもテスト時の計算資源を有効活用できることを実証。この発見は、大規模言語モデルを含む生成AIの推論コスト競争に新たな設計指針を与える。

トークンの「並び方」が探索効率を決める

研究チームは、自己回帰モデルが画像やテキストを処理する際の基本単位である「トークン」の構造に着目した。従来の画像生成では、ピクセル領域を2次元の格子状に分割する手法が一般的だったが、近年は1次元の順序付きトークンを用いる手法も登場している。今回の実験では、粗い情報から細かい情報へと段階的に詳細化する「粗密構造」を持つ1次元トークンが、テスト時の探索において際立った性能を示した。中間段階のトークンが意味的な情報を含むため、外部の評価器が生成の良し悪しを早期に判断でき、効率的な探索を可能にするという。

既存の探索手法が構造によって異なる顔を見せる

研究では、best-of-N法、ビームサーチ、先読み探索といった古典的なテスト時探索アルゴリズムとトークン構造の相性が体系的に分析された。その結果、1次元の順序付きトークンで訓練された自己回帰モデルは、2次元格子構造と比べてテスト時の計算量を増やした際の性能向上（スケーリング特性）が優れていると判明した。さらに、テキストと画像の対応を評価するモデルを誘導役とすることで、自己回帰モデルを全く訓練せずとも、ランダムなトークン列から画像を生成できる「訓練不要の生成」が可能であることも示された。

推論コスト競争に持ち込まれる新たな設計変数

大規模言語モデルの分野では、推論時に多くの計算資源を投入して回答の質を高める「テスト時計算スケーリング」が重要な競争領域になりつつある。今回の成果は、モデルのサイズや学習データ量だけでなく、データをどのようなトークン列に変換するかという「トークナイザー設計」自体が、推論コスト対効果の重要な制御因子になり得ることを示唆する。特に、テキストや動画など他のモダリティへの応用を視野に入れた場合、粗密構造を持つトークナイザーの研究開発は、推論時の探索を前提とした新しいモデル設計の起点となる可能性がある。

評価器の役割が拡大する生成パイプライン

本研究は、生成プロセスを誘導する「評価器（ベリファイア）」の重要性も浮き彫りにした。テスト時探索では、複数の生成候補を評価器が採点し、最良のものを選ぶ仕組みが不可欠である。1次元の順序付きトークンは、生成途中の未完成な状態でも評価器が意味を解釈しやすいため、評価器の選択や設計が生成品質に直接的な影響を与える。これは、画像生成に留まらず、外部のフィードバックを活用して自律的に振る舞いを改善するエージェント型AIの開発においても、中間表現をどう設計するかという根本的な課題に接続する。