企業が生成AIを本格導入する際の障壁となってきた、推論処理中のデータやモデルを狙うセキュリティリスク。NVIDIAは、最新GPUブラックウェルに組み込んだハードウェア直結の機密コンピューティング機能により、暗号化状態のままAI推論を実行しても速度低下が2%程度に抑えられることを実証した。

GPUの「出生証明書」が起点、改ざん不能な信頼の鎖

今回の技術の中核は、ブラックウェルGPUの製造時にチップ内部へ溶融書き込みされる秘密署名鍵だ。この鍵はソフトウェアやOSからは一切アクセスできないため、物理的な改ざんが不可能な「ハードウェアルート・オブ・トラスト」として機能する。推論を始める前には、NVIDIA Remote Attestation ServiceがGPUの正当性とソフトウェアの無改変状態を遠隔検証する。この仕組みにより、データやモデルが暗号化されたまま安全に処理される実行環境を、監査可能な形で保証できるようになった。

暗号化通信の壁を破る「推論速度の最適化」三本柱

ハードウェアレベルでの暗号化処理と、GPU間通信の暗号化はセキュリティを高める一方で、処理の複雑化を招く。これによる速度低下を抑えるため、チームは三つのソフトウェア最適化を実装した。具体的には、機密環境でも動作する演算ライブラリFlashInferの自動調整機能、CPUとGPU間データの非同期転送機構、そして処理を小分けにして実行効率を高めるCUDAグラフ技術である。これらをNVIDIAが開発する大規模言語モデル向け推論フレームワーク「SGLang」に統合し、暗号化によるオーバーヘッドを最小化した。

実測で示された「2%以内の遅延」、1回の検証で持続可能に

HGX B300にQwen 3.5の大規模モデルを搭載したベンチマーク試験では、同時接続数や処理する文章の長さを変えたあらゆる条件で、機密コンピューティング有効時のスループット低下が8%未満に抑えられた。さらに、サービスとして連続稼働する際に重要な「トークンあたりの生成遅延時間（インター・トークンレイテンシ）」は、有効化前とほぼ変わらないか、差が2%以内に収まるケースが大半だった。性能を大きく損ねない理由の一つは、セキュリティの検証がクラウドインスタンスの起動時に一度だけ行われ、その後の推論リクエスト応答には繰り返し介在しない設計にある。

「機密性」が生む産業機会、機密データを預かるAIサービスの再定義

この技術の成立は、単にセキュアなAIチップができた以上の意味を持つ。金融、医療、法律といった高い守秘義務が課される産業において、外部のAIサービス事業者がユーザーのデータや独自開発した高精度モデルの重みそのものを一切覗き見できない状態で、高性能な推論サービスを提供できる基盤が整う。また、複数の組織が各々の機密データを統合して一つのAIモデルを学習・推論させる「フェデレーテッド・ユースケース」でも、信頼の前提を「契約」から「技術的証明」に移行できる。これにより、クラウド事業者を含むAIインフラ供給側の信頼構築手法と競争軸が変化していく可能性がある。