大規模言語モデル（LLM）で広く使われるMoE（Mixture-of-Experts）は、トークン処理を複数の「専門家」に分散させることで効率化を図るが、各層で独立した経路選択が行われ、計算資源に無駄が生じていた。この構造的課題に対し、専門家の選択経路を層のブロック間で共有する「PathMoE」が提案された。補助的な損失関数を排除しながら、学習の安定性と効率を高める設計は、MoEアーキテクチャの新たな設計軸を提示する。

MoEが抱える「使われない経路」問題

MoEアーキテクチャでは、数十から数百に及ぶ専門家ネットワークの一部だけをトークンごとに選択する。理論上は、層の数に応じて選択可能な経路数は指数関数的に増大する。しかし研究チームの分析により、実際に使用される経路はごくわずかであり、特定の言語機能に結びついたクラスターに集中していることが判明した。大半の経路は全く探索されず、統計的に非効率なモデル設計となっていた。この知見は、専門家のルーティングを層間で独立させる従来手法の限界を浮き彫りにしている。

PathMoEの核心：ルーターパラメータのブロック共有

この課題に対処するため、研究チームは「エキスパートパス（専門家の選択経路）」という視点からMoEを再定義し、PathMoEを設計した。最大の特徴は、連続する複数の層ブロック間でルーターのパラメータを共有することにある。これにより、モデルは各層でバラバラに専門家を選ぶのではなく、ある程度の一貫性を持った経路をトークンに割り当てるよう促される。0.9Bと16Bのパラメータ規模で行われた実験では、この制約が経路の集中度とレイヤー間のルーティング一貫性を高め、混乱度や下流タスクの性能を独立ルーティング方式から一貫して改善した。

補助損失不要の学習安定性が意味するもの

従来のMoE学習では、一部の専門家に処理が偏りモデルが崩壊するのを防ぐため、負荷分散を強制する補助損失の導入が必須だった。これは性能と学習安定性の間のトレードオフを生み出していた。PathMoEはルーター共有という構造的制約によって自然な負荷分散を促すため、この補助損失を完全に排除できる。この発見は、アーキテクチャ設計そのものが正則化の役割を果たしうることを示しており、今後のMoE研究において、ルーティング機構の独立性を見直す流れを加速させる可能性がある。

設計思想の転換：ルーティング機構から経路構造へ

研究成果の本質は、PathMoEという単一の手法の提案ではなく、「エキスパートパス」をMoEアーキテクチャの主要な設計軸として確立した点にある。従来の研究が各層のルーティングロジックの改良に集中していたのに対し、本研究は経路全体の空間をどのように制約し設計するかという、より上位の視点を提供した。ルーターの共有以外にも、経路空間を制限する多様なアプローチが考えられ、今後のMoE研究は「いかに独立したルーターを設計するか」から「いかに有効な経路構造を構築するか」へと重心が移行していくと予想される。