AIがゲームプレイを助けてくれる？　NVIDIAがゲームにAIを応用する「Project G-Assist」や「RTX AI Toolkit」を発表

　2024年6月4日に開幕する大規模展示会「COMPUTEX 2024」に合わせて，NVIDIAは，AIをゲームに応用する重要な発表をいくつか行った。簡単にまとめてみよう。

ゲーム中にプレイヤーにAIがアドバイスする「Project G-Assist」

　AIをゲームで応用する試みのひとつが，「Project G-Assist」（以下，G-Assist）だ。G-Assistは，ゲームをプレイ中にAIからアドバイスが得られるという，一種のデジタルアシスタント機能である。NVIDIAが公開した動画を見ると，イメージを掴みやすいだろう。


　動画の中では，「ARK: Survival Evolved」（以下，ARK）をプレイ中にG-Assistに声でアドバイスを求めると，G-Assistがテキストと音声でそこそこ的確なアドバイスを行うという例が出てくる。

「序盤でベストな武器はなに？」と声で質問すると，AIがそれを聞き取って，「Spear（槍）です」と，理由や製法付きで回答している

ゲーム内で出てきた生物についてのあいまいな質問にも，適切な回答を返す。つまり，ゲーム画面を認識しているわけだ

　ここで注目してほしいのは「What is that thing？」（あれは何？）というプレイヤーの質問に対して，G-Assistが「ティラノサウルスだ」と正しく返答している点だ。このことから，G-Assistはプレイ中のゲーム画面を認識していることが分かる。

　G-Assistは，テキストや音声，画像を認識することが可能で，それら入力の中から，ゲームに関する学習結果を参照して大規模言語モデルでアドバイスを生成している。NVIDIAによると，ARKのデモでは大規模言語モデルとして「GPT-4」を使い，学習データとしては，ARKに関するネット上のWikiを参照しているとのことだった。

G-Assistの概念図。左端が入力で，AI Agent Frameworkが認識と回答生成を行い，G-Assistアプリで出力する

　なかなか便利そうなシステムだが，「Project」と名前にあるとおり，「G-Assistはまだ構想段階」とのこと。ARKのデモは一例であるし，大規模言語モデルもGPT-4に限定しているわけではないそうだ。G-Assistで何をしたいか，ゲーム開発者やプレイヤーの意見を求めているそうなので，いろいろとアイデアを出してみるといいかもしれない。
　パっと思いついたが，G-Assistを活用して，チュートリアルをより楽しくするのはどうだろう。ゲームによるが，チュートリアルを苦行に感じることもあるだろう。プレイヤーに寄り添って相談に乗ってくれるAIとチュートリアルで遊べれば，楽しくかつスピーディーにゲームに馴染めそうだ。

「RTX AI PC」でAIを動かす「RTX AI Toolkit」

　従来のNVIDIAは，NVIDIA製GPUを搭載したワークステーションや，クラウド上のインスタンスでAIモデルの作成や学習，チューニングを行い，完成したAIモデルをクラウド上で利用する使い方を推進していた。一方，Microsoftは，Windows PCにローカルで動作するAI機能を統合するなど，AIをローカルPC側で利用する方向に動き出している。

　そこでNVIDIAも，2023年頃からGeForce RTXシリーズを搭載したノートPCを「RTX AI PC」と呼んで，スタンドアロンでのAI性能をアピールするようになった。COMPUTEX 2024でも，RTX AI PCの新製品が多数，発表される予定だ。

ASUSTeK ComputerやMSI Computerから，GeForce RTX 40シリーズを搭載するRTX AI PCの新製品が発表される予定

　そしてAIをローカルPC上で動作させるという路線を，NVIDIAとしてさらに強く後押しするのが「RTX AI Toolkit」である。これは，事前学習済みのAIモデルをカスタマイズして，RTX AI PC上で動作させるランタイムまでを含んだツールキットだ

RTX AI Toolkitの概念図

　RTX AI Toolkitは，事前学習済みのAIモデルを用途向けにファインチューニングする「QLoRA」，チューニング済みのモデルを，NVIDIA製GPUの「Tensor Core」向けに最適化する「TensorRT Model Optimizer」を含んでいる。これらを使って作成したAIモデルは，クラウド上にモデルを出力して動作させる「NVIDIA NIM」で利用できるほか，「AI Inference Manager」（AIM）を利用してRTX AI PC上で動作させることも可能だ。
　AIMは，クラウド上の基盤であるNVIDIA NIMと互換性のあるAPIを，RTX AI PC上に提供するものである。Tensor Coreを使って，AIモデルを低レイテンシーで利用できるので，「ゲームにAIMを組み込むことが可能になる」とNVIDIAは強調している。

RTX AI Toolkitに含まれるAIM SDKは，同じAIモデルをローカルとクラウドの両方で動作させることを可能にする

　RTX AI Toolkitを使うと，ゲームで何ができるのかを示したのが，次のスライドだ。

左がLlama3を素で使った場合の，右がRTX AI Toolkitを使ってファインチューニングおよび最適化を行った場合のNPCの台詞

　これはファンタジーゲームを想定した例だ。左側は汎用の学習済み大規模言語モデルLlama3を使ったもの，右はLlama3をベースにファンタジーゲーム向けのファインチューニングを行い，モデルサイズを削減してTensor Core向けに最適化を行ったものを使い，NPCの台詞を生成した。Llama3のままだと，ファンタジーゲームに登場するモンスターらしくない台詞なのに対して，ファインチューニング済みの左はそれっぽい台詞になっているのが分かる

　Llama3をローカルPCで動かすには，デスクトップPC向けの「GeForce RTX 4090」が必要で，グラフィックスメモリも実に17GBを使用している。それに対して，RTX AI Toolkitを使って軽量化と最適化を行ったモデルは，ノートPC向けの「GeForce RTX 4050 Laptop GPU」でもレスポンスが速く，メモリ消費量も5GBと少ない。

　これまでNVIDIAは，ゲームにAIキャラクタを登場させる「ACE（Avatar Cloud Engine） for Games」の開発を推し進めてきたが，従来のACEは，AIキャラクタをクラウドで動作させていた。これがRTX AI Toolkitによって，ローカルPC上で動くAIキャラクタをゲームに組み込むことも，現実的になるわけだ。

　さらにNVIDIAは，COMPUTEX 2024で，AIMを土台にして，ACEをクラウドとローカルPCの両対応にする計画「NVIDIA ACE NIMs for RTX AI PCs」を明らかにした。

クラウド専用だったACEを，AIMを土台として，クラウドでもローカルPCでも動作できるように

　AIキャラクタをローカルPCで動作させることは，ゲーム開発者にとっても利点が大きいだろう。クラウドにAIキャラクタを置く場合，サービス期間中に発生する多大なクラウドのコストを運営側，あるいはゲーマーが負担することになるが，ローカルPCで動くのなら，継続的な負担が発生することはないからだ。

　もっとも，RTX AI PCでしか動かないAIキャラクタをゲームに登場させることもまた，現実的とは言えない。GeForce RTXシリーズを搭載していないPCだとNPCの反応が違うとか，著しく遅いという状況をゲーマーが受け入れるとは思えない。
　ローカルPCとクラウドを併用するとか，あるいはCPUに組み込まれつつあるNPUを活用するといった方向も考えられるが，ゲーム内のAIキャラクタがどういう形で登場してくるのかは，まだ少し予想しにくいところがある。だが，いずれ遠くない将来，大規模言語モデルをベースにして賢く振る舞うキャラクタが，ゲーム内に登場してくることは間違いないだろう。その中で，NVIDIAの取り組みがどう扱われていくのかが，ポイントになりそうだ。

過去の名作タイトルをリメイクするRTX RemixにもAIを応用

　NVIDIAは，DirectX 8/9の時代に作られたゲームタイトルを，DirectX 12の最新技術で蘇らせる技術「RTX Remix」を展開している。2023年には，DirectX 8/9のグラフィックスパイプラインを，レイトレーシングなど最新のグラフィックス技術と組み合わせてDirectX 12上で動作させる「RTX Remix Runtime」をオープンソース化している。

　COMPUTEX 2024に合わせて同社は，ソフトウェア開発キットである「RTX Remix Runtime SDK」や，ゲーム中の素材などを現代の水準に高品質化するツールなどを含む「RTX Remix Toolkit」のオープンソース化を発表した。これでRTX Remixにおける構成要素の大部分が，オープンソースになったわけで，誰でも自由に，RTX Remixの資源を使って過去作をリメイクできる環境が整ったと言えよう。

RTX Remix Toolkitをオープンソース化

　RTX RemixにもAIを導入していることも，今回の発表におけるポイントだ。。具体的には，画像生成AI「Stable Diffusion」のUIである「ComfyUI」を，GeForce RTXでアクセラレーションできるようにする。そしてComfyUIを使って，過去作品における素材のリマスター化を行えるようになると，NVIDIAはアピールしている。

GeForce RTXシリーズによるComfyUIのアクセラレーション対応により，画像生成の効率が大幅に向上する

ComfyUIによるテクスチャのリマスタの一例。単に高解像度化するだけでなく，「苔むした石垣」といった指示をComfyUIに与えることで，異なる質感に変えることも

　そのほかにもNVIDIAは，動画のアップスケーリングおよびHDR化を行う「RTX Video」が，オープンソースの動画プレイヤー「VLC Media Player」と，動画編集ソフト「DaVinci Resolve」で利用可能になることが発表となった。これもGeForce RTXシリーズのユーザーにとっては，地味に嬉しい発表だろう。
　VLC Media PlayerのソースにRTX Videoが組み込まれることで，他のオープンソース動画関連ツールでも，RTX Video対応が広がることを期待できるかもしれない。

NVIDIAのCOMPUTEX 2024特設Webページ

4GamerのCOMPUTEX 2024記事