NVIDIA、RTXを最高のAI PCプラットフォームに： RTX AI Toolkit、AIM SDK、ACE With NIMs、RTX GPUをサポートするCopilotランタイムを発表

NVIDIAは、本日発表された最新のRTX技術により、AI PCプラットフォームで可能なことをさらに推し進める。

NVIDIAは、いくつかのキーテクノロジーでAI PCプラットフォームを前進させます： RTX AIツールキット、CoPilot向けRTXアクセラレーション、AI推論マネージャSDKなど

エヌビディアと、AI PCの領域で旅を始めたばかりの他の企業との違いは、最初から明らかです。

他社が自社のハードウェアであるNPUがいかにライバルよりも高速であるかを主に語るのに対し、NVIDIAはいくつかの新機能を導入することでAI PCプラットフォームを活気づけている。

同社は、RTXプラットフォームを実行するAI PCコンシューマーがすでに利用可能な技術のリストを持っている。

例えば、最も顕著なDLSS（ディープラーニング・スーパーサンプリング）機能は、ゲームの実行と見た目をより良くするためにニューラルネットワークを追加する無数のアップデートが行われている。

同社はまた、PC上でローカルに動作し、アシスタントとして機能するチャットボット「RTX Chat」という形で、複数のアシスタントを提供している。

また、Windowsに追加されたTensorRTとTensorRT-LLMのサポートは、クラウドに行くことなくクライアント・プラットフォーム上で生成AIとLLMモデルを加速させ、ACE（アバター・クラウド・エンジン）のようなAI強化を利用するいくつかのゲーム技術が将来登場する予定です。

NVIDIAはまた、AI計算能力の現在の状況を示し、GeForce RTX 4000デスクトップCPUがエントリーレベルで242TOPSからハイエンドで1321TOPSまでどのようにスケールアップするかを示している。

これは、今年のSOCに搭載されるであろう最新の45〜50TOPSのAI NPUと比較して、最下位で4.84倍、最上位で26.42倍の増加である。

NVIDIA RTX 4000 AI TOPS

RTX 4050のようなノート型NVIDIA GeForce RTX 4000オプションでさえ、最速のNPUの3.88倍の194TOPSから始まり、RTX 4090ノート型チップは686TOPSで13.72倍のスピードアップを実現しています。

Microsoft CopilotランタイムにRTXアクセラレーションを追加

本日の発表では、まずWindows Copilot RuntimeにローカルPC SLM（Small Language Models）用のRTXアクセラレーションが追加される。

Copilotは、AI PCの展望におけるMicrosoftの次の大物と見られており、事実上すべての人がこのバンドワゴンに乗ろうとしている。

MicrosoftとNVIDIAは、開発者がGPUアクセラレーションによるSLMとRAGへの容易なAPIアクセスを提供することで、Windows OSとWebアプリケーションに新しい生成AI機能をもたらすことができるように協力している。

NVIDIAは、RTX GPUがこれらの新しいAI機能を加速し、Windows搭載デバイス上で高速で応答性の高いAI体験を提供するとしている。

NVIDIA RTX AIツールキットとNVIDIA AIM SDKは、開発者がAI体験をより速く、より優れたものにすることを補助する

2つ目のアップデートは、NVIDIA RTX AIツールキットの発表です。このツールキットは、開発者がPC上で実行できるアプリケーション固有のAIモデルを構築するのにも役立ちます。

RTX AIツールキットには、RTX AI PC上でのモデルのカスタマイズ（QLoRa）、最適化（TensorRT Model Optimizer）、デプロイメント（TensorRT Cloud）のための一連のツールとSDKが含まれ、6月に利用可能になる予定だ。

新しいRTX AI Toolkitにより、開発者はモデルを4倍速く、3倍小さなパッケージでデプロイできるようになり、ロールアウトプロセスが加速し、ユーザーに新しい体験をより早く提供できるようになります。

標準的な「汎用」モデルとRTX AI Tooklit最適化モデルの比較も紹介されています。

GPモデルはRTX 4090上で動作し、17GBのVRAMを必要としながら48トークン/秒を出力する。一方、RTX 4050 GPU上で動作するRTX AIツールキット最適化モデルは、わずか5GBのVRAMを必要としながら、ほぼ4倍の187トークン/秒を出力します。

RTX AI Toolkitは、Adobe、Blackmagic Design、Topazなどのソフトウェアパートナーにも活用されており、最も人気のあるクリエイティブアプリケーションのいくつかにそのコンポーネントを統合している。

また、新しいNVIDIA AI Inference Manager（AIM）SDKも展開されており、これはPC開発者向けの合理化されたAIデプロイメントTooLKITです。AIMは開発者に以下を提供します：

すべてのバックエンド（NIM、DML、TRTなど）とハードウェア（クラウド、ローカルGPUなど）用の統合推論APU
PCとクラウド推論のハイブリッドオーケストレーションとPCの能力チェック
PC上でモデルとランタイム環境のダウンロードと設定
ゲームパイプラインへの低レイテンシー統合
CUDAとグラフィックスの同時実行

NVIDIA AIM SDKは、現在早期アクセスで入手可能で、GPU、CPU、およびNPU全体で、TensorRT、DirectML、Llama.cpp、およびPyTorch CUDAなどのすべての主要な推論バックエンドをサポートしています。

NVIDIA ACE NIMがComputexでフル展示、GenAIデジタルアバターマイクロサービスがRTX AI PCで利用可能に

最後に、NVIDIAのACE NIMが本日デビューした。これらの新しいACE推論マイクロサービスは、ACEモデルのデプロイ時間を数週間から数分に短縮し、自然言語理解、音声合成、フェイシャルアニメーションなどをPCデバイス上でローカルに実行します。

NVIDIAは、Inworld AIが開発したCovert Protocol Tech DemoをComputexで展示する予定である。

また、Aww IncのDigital brand ambassador (Audio2Face)、OutPalmのCode Z (Audio2Face)、Perfect WorldのMulti-Lingual Demo (Audio2Face)、SoulshellのSocial Engineering Demo (Audio2Face)、UneeQのSophie (Audio2Face)などの開発者が、独自のACEモデルをComputexで展示する予定である。