大規模言語モデル（LLM）が複雑な問題を解く際、その推論過程はしばしば不安定で、多様な思考パターンを獲得しにくい。UCLA中心の研究チームがICML 2026で発表した「Ctrl-R」は、強化学習の探索段階でAIの思考経路を制御し、未習得の推論パターン獲得を促す枠組みだ。数学推論で一貫した性能向上を示し、AIがより信頼性の高い思考プロセスを身につけるための新たな道筋を提供する。

「待てよ」だけではない、AIが備えるべき多様な思考習慣

LLMは時に「wait,（待てよ）」といった自己検証の言葉を発し、連鎖的に思考する能力の片鱗を見せる。しかし、こうした発現は偶発的で、複雑な推論を要する場面では多様な思考パターンが自然に生まれることは稀だ。標準的な強化学習では、モデルが既知の成功パターンに固執し、真に新しい問題解決ルートを探索できない課題があった。Ctrl-Rはこの「思考の硬直化」を問題視し、特定の推論パターンを狙って探索させることで、AIが未習得の思考習慣を体系的に身につけることを目指す。

Ctrl-Rの核心、思考経路を操る「扱いやすい軌道制御」

Ctrl-Rの技術的な鍵は、強化学習のロールアウト（試行）プロセスを積極的に誘導する「軌道制御」にある。従来のようにランダムな出力に頼るのではなく、あるべき推論パターンに沿った思考経路の生成を促す。これにより、これまで探索されにくかった領域のデータが収集可能になる。さらに、偏りのないポリシー最適化のために重点サンプリングを用い、通常の枠組みでは安定性を損ねる例外的な思考経路からも選択的に学べるよう、サンプリング重みにべき乗スケーリング係数を導入した点が特徴だ。

言語と視覚の壁を越える、数学推論で示した一貫した性能向上

研究チームはCtrl-Rの有効性を、純粋な言語モデルだけでなく、視覚と言語を扱うビジョン・ランゲージモデルにおいても検証した。数学的推論を必要とするタスクで実験した結果、いずれのモデルにおいても一貫した性能向上を確認している。これは、Ctrl-Rが特定のモデル構造やモダリティに依存する手法ではなく、推論プロセスそのものの獲得を支援する汎用的な学習枠組みであることを示唆する。

「探索」の質が次の競争軸に、AI開発におけるRLの役割再考

ChatGPT以降、AIの推論能力は飛躍的に向上したが、その内部でどう思考が組み立てられているかの制御は次の大きな課題だ。Ctrl-Rの発表は、高性能なAIを作る競争の焦点が、単に大規模なモデルを大量のデータで訓練することから、学習プロセスそのもの、とりわけ強化学習における「探索の質」の設計へと移行していることを示している。AIにどう試行錯誤させるかが、モデルの賢さを最終的に左右する時代に入りつつある。