Qualcomm

llama.cppの最新ビルドでは、投機的デコーディングにおけるドラフトモデルから冗長なロジット計算を省く最適化により、オンデバイスAIの応答速度と消費電力が大幅に改善された。

llama.cppのビルドb9257では、Vulkanバックエンドのシェーダー最適化により、特定GPUに依存しないオンデバイスAI推論の性能が底上げされ、エッジ環境でのコスト削減とプライバシー保護に貢献する一歩となった。

Hexagonの技術者がllama.cppのsoftmax演算にREPL最適化を適用するプルリクエストを提出した背景と、それがモバイルLLM推論やエッジAI市場全体に及ぼす構造的影響を解説する。

放射線被曝をスマートフォンで測定するDNA損傷検出技術が変える医療とAI半導体 米国の研究チームが開発した新しいDNA損傷測定技術は、放射線治療の精度向上だけでなく、AI向け先端半導体の品質管理や災害時緊急対応までを包含する産業横断的な波及力を持つ。

モバイルAI推論ライブラリの最新アップデートでは、Qualcomm製チップ向けに再設計された演算カーネルが従来比2倍の処理速度を実現し、通信コストや遅延を根本的に解消するエッジコンピューティングの普及を加速させている。

ローカル推論エンジン「llama.cpp」が動画に直接対応したことで、NVIDIAの独占構造を揺るがしエッジデバイス上でのAI処理を加速させる可能性が生まれた。

クアルコムのHexagonプロセッサがllama.cppで新演算を獲得する理由 llama.cppの最新ビルドb9222において、クアルコムのDSP「Hexagon」向けにTRI演算が追加された。

llama.cppビルドb9240のリリースバイナリ構成は、幅広いOSとバックエンドへの対応拡大を通じて、AI推論の主戦場がクラウドからエッジへと不可逆的に移行しつつある産業構造の変化を如実に示している。

QualcommのSnapdragon搭載デバイス上で、llama.cppがMoEモデルの量子化推論を正式サポートし、数百億パラメータの大規模言語モデルを4GB台のRAMで実行可能にした。