［GTC 2016］NVIDIAの最新VR技術や「Jetson TX1」搭載ロボットに注目集まるGTC展示会場レポート

　GPU技術関連の学術会議「GPU Technology Conference 2016」（以下，GTC 2016）では，各企業が自社のソリューションを披露する展示エリアもある。そこで本稿では，GTC 2016の主催者にして，最も広いスペースで展示を行っていたNVIDIAブースで見かけた興味深い製品や技術をレポートしよう。

GTC 2016の展示エリアで，最大規模のスペースを擁するのはNVIDIAだ

NVIDIAの新社屋を完成前に体験できる「VR Village」

　仮想現実（以下，VR）分野に力を入れているNVIDIAは，GTC 2016の展示会場に，VR対応ライブラリ「VRWorks」を活用するパートナー企業のVRコンテンツを体験できるコーナー「VR Village」を展開していた。

NVIDIAが2013年に公表した新本社のイメージCG

　筆者が体験したVRコンテンツの1つめは，カリフォルニア州サンタクララに現在建設中であるNVIDIAの新しい本社ビルの様子を撮影したタイムラプス映像をVRで体験するというものだった。
　「自社ビルの建設記録映像」というと，単なる企業のプロモーションビデオなのではないか思われそうだが，実は，コンピュータサイエンス的な研究テーマとして，真面目に取り組まれているプロジェクトなのだ。

　そのタイムラプス映像は，3Dグラフィックスで描かれているのだが，なんと1日1回，建設現場にカメラ付きドローンを飛ばして，現場全域を3Dデータ化したものをベースにしているというのだ。建設現場のタイムラプス映像というだけなら決して珍しいものではないが，これを3DのVR体験としたものは見たことがない。

NVIDIA新本社の建設風景を撮影したタイムラプス映像から。土地が整地されて，先端を落とした三角形のようなビルの基盤ができあがっていく

　ドローンで撮影したデータは，1日当たり1.5GBにもなるそうで，建設開始から約80日にわたって撮影したデータは，すでに120GBを超えているそうだ。建設期間は2年の見込みとのことで，総容量は1TBになると予想されている。
　取得した3Dデータはポリゴンモデルではなく，XYZの座標値と色属性を持った「点」によるポイントクラウドデータになっているとのこと。その数は，1日当たり約3億個にもなるそうだ。
　3億個からなる建設現場のポイントクラウドは，ボリュームレンダリングによって「塊」として描画されるので，体験者はジオラマ的な3Dシーンとして上空から俯瞰で見たり，地面に立った視点で見たりできるようになっていた。

両手にViveのコントローラを握り，建設中の新社屋をVR HMDで眺めている筆者

　使用していたVRヘッドマウントディスプレイ（以下，HMD）はHTCの「Vive」で，Vive付属のコントローラにあるトラックパッドを使って時間を進めると，社屋が建てられる様子を早回しで見られた（といってもまだ建設途中だが）。また，2本のコントローラを使い，空中でピンチイン/アウト操作をすると，建築現場ジオラマを自由に拡大縮小できる。
　その場にいた担当者は「まだ，未完成」と述べていたものの，タイムラプス映像の新形態として，かなり新鮮な体験であった。

　新社屋関連のVRコンテンツはほかにも，クラウドレンダリングソリューション「Iray」のVR版である「Iray VR」を使用し，新社屋の玄関ロビーをレイトレーシングで描画した情景をVR HMDで体験できるというものがあった。
　頭を動かして，見たい方向見るだけのシンプルなVR体験だが，間接照明にまで配慮したフォトリアルな情景によって，本当に新社屋の玄関に立っているかのような感覚が味わえた。

NVIDIA新社屋の玄関をVRで体験できるデモは，「Iray VR」によるもの。Irayでプリレンダリングしたパノラマ映像を，リアルタイムレンダリングした深度バッファと対応づけてサンプリングすることで，3D映像を合成するという。元の映像がプリレンダリングなので，シーン内を歩き回ることはできない

　さらに，GDC 2016で披露されて好評を博した「Star Wars VR Experience ― Trials on Tatooine」も出展されていたので，筆者も体験してみることに。

　こちらは，ストゥームトルーパーが撃ってくるブラスターの光弾を，ライトセーバーに見立てたViveのコントローラを振りまわして打ち返すといった内容で，VRゲーム体験としてはシンプルである。
　ただ，映画でお馴染みのキャラクターたちが画面に現れたり，スターウォーズの音楽が鳴り響いたりするので，映画に登場したかのような気分になれるのが楽しい。筆者のジェダイなりきりプレイは，来場者の注目を集めたようで，HMDを外したときには，大勢の人に笑われていたほどだ。

ライトセーバーを振り回して戦っているつもりの筆者。ゲーム体験としてはテニスゲーム的な内容だが，なりきって楽しむのが「吉」

Pascal世代GPUと使ったDGX-1とDrive PX2が出展

　NVIDIAブースの製品展示コーナーは，GTC 2016の基調講演で紹介されたディープラーニング向けコンピュータ「DGX-1」と，CES 2016で発表となった車載用コンピュータ「Drive PX2」を展示していた。

　DGX-1は，Pascal世代のGPUコア「GP100」を搭載するGPU「Tesla P100」を8基も搭載したスーパーコンピュータだ。1台で計170 TFLOPSという半精度浮動小数点演算性能を誇るマシンで，画像認識分類システム「AlexNet」の学習処理をCPUで行った場合と比べて，70〜80倍高速であるとNVIDIAは主張している。その発表直後には，機械学習に関わる研究者による賞賛が，Twitter上に多数投稿されたという。

「世界初の機械学習向け1ボックススーパーコンピュータ」という触れ込みのDGX-1

大きなヒートシンクの下に，計8基のTesla P100がある

「Tegra 3」を運転席のダッシュボード表示用に採用したBMWのハイブリッドスーパーカー「i8」が展示されていた。これ1台で約1500万円というから，DGX-1 1台分と同額である（笑）

　価格は1台で12万9000ドル（約1400万円）もするだけに，一般ユーザーには縁のない代物だが，世界中の機械学習研究者からすれば，今，最も注目すべき製品といっても過言ではない。実際，筆者が付き合いのある日本企業のR＆D部門に勤務する研究者にも，DGX-1を発表直後に注文した人が2人もいたというから，その盛り上がりぶりは決して誇張ではない。

　ちなみに，ブース内に展示してあったDGX-1の実機は，これまでに見たどのNVIDIA製品よりも慎重かつ厳重に警備されていた。来場者が近づきすぎないように柵が設けられたうえ，脇にはガードマンが立っており，製品の裏側は黒いカーテンで覆われて後ろから近づけないようにするといった具合だ。警備のものものしさたるや，ほとんどスーパーカーや宝石なみ。一種の演出かもしれないが，それだけ貴重かつ高価な製品であるとはいえよう。

　一方のDrive PX2は，すでに発表済みの製品であるためか，普通に近づいて撮影ができた。
　Drive PX2は，基板の表面に，PascalコアのGPUを統合した新世代のTegraシリーズSoC（System-on-a-Chip）となる「Parker」（開発コードネーム）を2基搭載し，GP100とはまた別の，GDDR5メモリを組み合わせたPascalコアベースの未発表GPUを背面に搭載した自動運転用開発ボードである。

Drive PX2。2つの大きなプロセッサは，新世代TegraのParkerだ

　ParkerのCPU部分は，64bitの「ARMv8」命令セットに対応するNVIDIA独自のCPUコア「Denver」を2基と，ARM製の64bit CPUである「Cortex-A57」を4基搭載する構成であるという。GPU部分はPascal世代とのことだが，内蔵するCUDAコア数といった仕様の詳細は不明だ。
　Pascal世代の未発表GPUも，同様に仕様は非公開。ただ，おそらくは，アッパーミドルクラスのGeForce製品として発表されると思われる。

背面側に見える2つのサブ基板に載っているのが，未発表のPascalベースGPUだ。ちなみに，基板の左端にある青緑色のコネクタは，カメラやセンサー類の接続端子である

人間の表情をリアルタイムで映像中の人物に適用する「Face2Face」

　NVIDIAブースではほかにも，GPUを活用したさまざまな技術論文のデモが展示されていた。その中でも，見た目に分かりやすくて，技術的なすごさも伝わるものとして注目を集めていたのが，「Face2Face: Real-time Face Capture and Reenactment of RGB Videos」（以下，Face2Face）という論文のものだ。
　ドイツのUniversity of Erlangen-Nuremberg（フリードリヒ・アレクサンダー大学エアランゲン＝ニュルンベルク）と，同じくドイツのMax Planck Institute for Informatics（マックス・プランク情報科学研究所），そして米Stanford University（スタンフォード大学）という3機関共同による研究である。

「Face2Face」実演ブース。コンピュータビジョン処理には，「GeForce GTX TITAN X」搭載PCを使用していた

　Face2Faceは，いわゆるコンピュータビジョンをテーマにした技術論文で，ビデオカメラで捉えた被写体の顔面をリアルタイム認識して，そこから表情を検出。まったく別のビデオ映像に登場する人物の顔面に対して，リアルタイムの画像加工を行いながらその表情を適用してしまうという技術である。事前計算はまったく不要で，リアルタイムにこの処理を行うところが革新的だ。

Face2Faceの例。「Input」の横にあるのが入力映像と適用前の映像を並べたもので，「Reenactment」にあるのが適用結果。とくに眉や口に注目すると，変化が分かりやすい

　まず，入力映像から顔を検出して，顔がどこを向いているかや，目鼻の位置，口の動きなどを認識し，それにもとづいてテンプレートとなっている顔面3Dモデルをアニメーションさせる。
　表情適用前の映像にある顔も同じように処理して，テンプレート顔面3Dモデルをアニメーションさせる。すると入力側と出力側（適用前）という2つのアニメーション状態が把握できたことになるので，出力側の表情を加工すれば，入力側の表情を出力側に適用できるという仕組みだ。
　単純にいえば，顔認識と3D顔面モデルのテンプレートを用いて，画像のモーフィング処理を精度よく行う技術といったところか。ブースでのデモを撮影したビデオを見ると，リアルタイムに処理している様子が分かるだろう。


　なお，入力側映像が口を開けているのに，出力側が口を閉じているような場合，システム内「口データベース」から，適切なものを選択してはめ込む処理をしているそうだ。
　ブースでの実演では，各国の首長やハリウッド俳優などのインタビュー映像を，表情の動きでコントロールして遊べるようになっていた。公式サイト上で公開されているデモ映像にもその様子が描かれているので，興味がある人はそのクオリティの高さを確認してみてほしい。

積載重量10kgを誇る6輪走行配達ロボットはJetson TX1搭載

会場内をぐるぐる走り回って圧倒的な存在感を示していた配達ロボ「deliver」

　NVIDIAブース内では，Tegraベースの開発プラットフォームであるJetsonシリーズを活用したドローンやロボットなども展示されていたのだが，なかでも大きな図体で注目を集めていたのだ，Starship Technologiesなる企業（関連リンク）が開発した，自律走行型配達ロボット「deliver」だ。

　飛行型ドローンを使った宅配サービスや物流技術が注目を集めているが，空を飛ぶ以上，万が一の故障時には落下という重大なトラブルを招く危険性があることを懸念する声は少なくない。そもそも，空飛ぶドローンは積載量が小さく，小物しか運べないという制約があるため，そこを弱点として指摘する人もいる。
　そこで，「陸送こそが安定物流の基本」という立場で開発されたのが，この6輪走行の配達ロボットというわけだ。積載量は10kg程度で，配達可能範囲は半径5kmに及ぶという。

　配達ロボットは，配達元から配達先までをGPSデータをもとに位置を確認しながら走行するが，基本的には車道ではなく歩道を走行するそうだ。当然ながら，歩道の場所を認識する必要があるし，歩行者や障害物があれば避けて走行しなくてはならないので，リアルタイムのコンピュータビジョン処理が必要になるのである。
　そして，これら一連の処理は，NVIDIA製SoC「Tegra X1」を搭載した開発キット「Jetson TX1」で行われているとのこと。具体的には，前方に7基，後方に2基という計9基のカメラを搭載して，全方位の映像をリアルタイム処理して動作を決定しているという。

積載スペースは意外に大きい。積載量は10kgまで

先端にライトの付いた長いアンテナのようなものは，実際にはアンテナではなく，自分の位置を周囲に知らせるためのマーカーであるそうだ

　運搬の道中は，カーゴ（貨物室）のフタはロックされており，中身を盗んだりできないようになっている。目的地に着いたらロックが解除されるので，配達先の人が荷物を取りだして配達終了をスマートフォンなどで通知すると，ロボットは自分で運送会社に戻るそうだ。
　万が一，配達ロボット自体が盗まれるようなことがあった場合も，搭載カメラの映像は運送会社側で監視しているので，追跡が可能だとのこと。また，本体が不用意に移動させられたり揺らされたりすると，ロボット本体が大きな音で泣き叫ぶ（Scream）と説明員は述べていた。

　ロボットが宅配便を運ぶSF的な世界が，現実に始まりつつあるような気がする。

食品を認識して自動調理するTegra搭載オーブンレンジ

　コンピュータビジョン技術を家電に応用したユニークな事例として反響を呼んでいたのが，「June Intelligent Oven」（以下，Juneオーブン）だ。「世界初のTegra K1搭載オーブン」として，4gamerでも紹介済みだったりする。
　そのJuneオーブンの実機が，展示会場で調理の実演を披露していた。

見かけは普通のオーブンレンジであるJuneオーブン。サイズは550（W）×450（D）×330（H）mm程度とのことで，サイズもごく一般的といっていい

　Juneオーブンは，内側の天板部にフルHD解像度のカメラを備えており，オーブン内に入れた食品をコンピュータビジョン技術で自動認識する。そして，食品に適した温度と時間で焼く。このコンピュータビジョン処理を担当するのが，Tegra K1というわけだ

2つのLED照明の間にあるのが，食品を撮影するカメラである。解像度はフルHD程度と，それほど高解像度ではない

クッキーを入れればクッキーとして認識し，焼き上げるためのプログラムを実行する

　IEEE802.11nに対応した無線LAN機能も搭載しており，インターネット経由でクラウド側の調理データベースを参照できるので，いつも食品に適した調理が行える。筆者が日本から来た記者と気が付いた説明員氏は，「残念ながら日本食のレシピは，まだ1つもないが，そうしたものはサーバー側に適宜アップロードしていく方針だ」と述べていた。
　ちなみに，普段使うときはネットワークに接続しておく必要はないそうで，基本となる食品の調理レシピはプリセットされているそうである。

　Juneオーブンは2段構成になっているので，上段と下段で異なる焼き加減を設定することも可能とのこと。その場合は，どちらかの食品に付属の温度センサーを差し込んで，カスタムでプログラムするそうだ。

上段，あるいは下段側に置いた食品に温度センサーを差し込めば，上段と下段でそれぞれ異なるの調理が可能

操作パネルとして，タッチ対応の5インチサイズで解像度1280×720ドットの液晶ディスプレイを備える

　価格は1495ドルを予定しており，2016年末に発売するとのこと。コンピュータビジョン技術を活用した調理家電は，料理大国である日本にこそ，あって然るべき製品であるように思う。日本の家電メーカーは，こうした製品に取り組んでもらいたいものだ。

GTC 2016公式Webサイト