オープンソースのローカルLLM実行プラットフォーム「Ollama」の最新バージョンv0.31.2が公開された。今回のアップデートは小規模ながら、NVIDIAの旧世代GPUにおけるFlash Attentionの有効化や、Apple Silicon向けMLXバックエンドの再実装など、特定のハードウェアで推論効率を高める修正が含まれている。
旧世代のNVIDIA GPUでFlash Attentionが稼働
今回の変更の核心は、NVIDIAのCompute Capability 6.x世代（GeForce 10シリーズなど）のGPUでFlash Attentionが有効化された点にある。これはOllamaがバックエンドで利用するllama.cppのアップデートによるもので、VRAM使用効率の改善と推論速度の向上が期待される。Flash Attentionは従来、より新しいアーキテクチャのGPUでのみ利用可能だったが、この対応により、2016年発売のPascalアーキテクチャ搭載カードを持つユーザーの実行環境が改善される。
Apple Silicon向けMLXバックエンドを再構築
Appleの独自チップ上で高速な機械学習処理を可能にするMLXフレームワークのバックエンド実装が、「x/create rewrite」として全面的に書き直された。コードの再構築によりメンテナンス性が高まったと同時に、依存するMLXライブラリ自体もde7b4ed9バージョンへ更新されている。この変更は短期的な機能追加ではないが、今後のパフォーマンス最適化や新機能の追加を加速させる基盤となる動きだ。
不要コードの削除と安定性への回帰
複数のコミットが、実験的な機能の削除やサポート終了ハードウェアの整理に費やされている。サーバーモードからは非推奨となっていたOLLAMA_EXPERIMENT=client2環境変数の処理が除去され、ROCmではサポートが終了した旧AMD GPUがリストから削除された。また、並列処理の過剰なリソース消費を防ぐ修正や、ファイル名のUTF-8互換性問題への対処といった、実運用での安定性を重視した変更が際立つ。
