3Dゲームをリアルタイムにまるごと生成する「GameNGen」が発表される。「DOOM」を“移植”ではなく“生成”する時代へ

　Google Researchの研究員ら4名は2024年8月27日，ニューラルモデルのみを搭載したゲームエンジン「GameNGen」を発表した。従来のゲームエンジンを一切使用せずに，プレイヤーの入力に合わせ「DOOM」をリアルタイムに描画できる。

画像は公開された動画（外部リンク）をキャプチャしたもの

　「GameNGen」で特徴的なのが，プレイヤーがインタラクト可能という点だ。現在の画像から次のフレームをシミュレートするときに，プレイヤーの入力を含めて考える場合，前進したのか，後退したのか，視点を動かしたのか，銃を撃ったのかなど，各入力を受けて画面は複雑に変化する。それぞれの条件に対応するため，膨大なデータが必要になる。

　「GameNGen」では，まず，機械学習（RL，Reinforcement Learning）エージェントにゲームのプレイを学習させ，大量のデータを収集する。次に，画像生成で有名な「Stable Diffusion」を使用し，エージェント（プレイヤー）のアクションと過去のフレームを条件として，次のフレームを生成するように学習させる。

画像はプロジェクトページ（外部リンク）より

　発表された論文（外部リンク）によると，単一のTPU（Tensor Processing Unit，Googleが開発した機械学習専用のプロセッサ）で，描画速度は20FPS以上を実現したそうだ。

「GameNGen」プロジェクトページ