Microsoft，「Kinect for Windows」を使った「人間にとって自然なインタフェース」への取り組みを紹介

Kinect for Windows

　Microsoftの日本法人である日本マイクロソフトは2013年1月28日，都内で「マイクロソフトのナチュラルユーザーインターフェイスへの取り組みと，その最新動向について」と題する報道関係者向け説明会を開催した。
　Microsoftは以前から，同社が「Natural User Interface」（ナチュラルユーザーインタフェース，以下 NUI）と呼ぶユーザーインタフェース（以下，UI）に取り組んでいるのだが，今回はその成果紹介と，国内発売から1年が経った“PC向けKinect”こと「Kinect for Windows」が，NUIのセンサーとして応用が進む現状のアピールが行われている。ゲームと関連した話題もあったので，簡単に内容を紹介してみたい。

「人間にとって自然なUI」の時代に入りつつある〜応用が進むKinect

加治佐俊一氏（マイクロソフトデベロップメント代表取締役社長 兼 日本マイクロソフト業務執行役員最高技術責任者）

　説明会で登壇したのは，マイクロソフト ディベロップメントの社長を務める加治佐俊一氏だ。加治佐氏はUIの進化を振り返りつつ「すでにNUIの時代に入りつつある」と，現状をまとめてみせた。

　「そもそもNUIとは何か」だが，これは「人間にとってごく自然にそうさできるUI」程度の意味だと考えればいいだろう。具体的には，ジェスチャーや人の表情をPCが読み取って機能したり，自然な会話でPCを操作できたりといったことを目指すのがNUIだ。モーションセンサーであるKinectは，ジェスチャーなどといった人間の動作を読み取れるデバイスなので，NUIに応用できるというわけである。

PCのUIはシンプルなCUI（CLI）からグラフィックスを用いたGUIに進化し，さらにNUIへと進化するのだと加治佐氏。「すでにNUIの時代に入りつつある」とのことだ

　2012年初頭のKinect for Windows国内発売から1年が経ち，Kinect for Windowsの応用例となる実際のサービスや製品も登場してきているとして，一部はデモも披露されたので，以下のとおりまとめてみたい。

手術を行う執刀医が，手を触れることなくジェスチャーでCT画像などを操作する「OPECT」というシステム。すでに医療現場で利用されているという

OPECTのデモ。執刀医（の格好をした人）がKinectに向かって手を動かすと，診断画像の操作ができる。2D画像の操作はすでに実用化されており，3D画像の操作も実用化が近いとのこと

重度の障碍がある人でもPCの操作が行えるという製品「OAK」。たとえば口の動きなどをKinectで検出して，それでPCを操作できたりするというものだ

これは説明会場入り口に置かれていた「Hello Counter」（※リンクアンカーをクリックするとpdfファイルを開きます）。Kinectを使って人の流れをカウントするシステムだ

ちょっとゲームっぽい「AIR SHODOU」。アクションを交えて文字を描く書道という感じのソフトウェアである。加治佐氏自らデモを披露した

リハビリを助けるという「リハビリウム起立君」。起立運動をKinectで検出し，画面上に楽しいメッセージを表示させたり，音楽やアナウンスを流したりする。ゲームっぽいかもしれない

　加治佐氏によれば，Microsoftが把握しているものだけでも，国内で150ものKinect for Windows応用研究が進められているとのこと。入手のしやすさや，強力な開発キットが用意されていることなど，Kinect for Windowsには，従来のモーションセンサーに比べて利用のハードルが低い利点があるが，それが，こうしたさまざまな広がりにつながっているのではなかろうか。

2013 CESで話題を集めたIllumiRoomにもKinectを活用

　これら国内の取り組みに続いて，米本社の研究部門・Microsoft Researchで行われている最先端の研究も一部が紹介された。そのなかでも非常に興味深かったのが，「Digits」（ディジッツ）というモーションセンサーデバイスだ。
　Digitsは腕に取り付けるタイプのモーションセンサーで，加治佐氏は「内部に2つの赤外線センサーが組み込まれている」と説明していたので，さほど複雑なものではないようだ。説明会で披露されたデモムービーを見る限り，手の動きをリアルタイムかつ正確に検出できているようで，ゲームのコントローラとして利用も可能かもしれない。

Digitsは腕につけるセンサーで，手の動きのみを検出するものだが，デモムービーを見る限り，非常に正確かつ高速に検出できているようだった。研究段階なので大きく見えるが，小型化は十分に可能だろう
Digitsはもちろんゲームのコントローラにもなる。パワーグローブの夢，再び（？）

　もう1つ，4Gamerでもお伝えしているとおり，Microsoftは，2013 International CESのタイミングで，ゲーム関連の技術デモ「IllumiRoom」（イルミルーム）を披露していた。
　これは，ゲームをプレイしているディスプレイ機器の周りに，“画面の外”にある3D映像をプロジェクターで投影するというもので，ゲームの臨場感を増加させるための新たな試みとなる。

IllumiRoom。残念ながらデモは行われなかったが，これにもKinectが利用されているそうだ

　加治佐氏は，このIllumiRoomでもKinectが用いられているとしていた。IllumiRoomでは，Kinectで部屋をモデリングして正確に映像を投影する技術が使われているのだそうだ。そのため，ディスプレイに表示される内容と自然に馴染む映像が部屋に投影できているということなのだろう。
　ちなみにこのIllumiRoomについては，4月に行われる「CHI」（Conference on Human Factors in Computing Systems）という学会で，より詳しい発表が行われることが予告されていた。興味がある読者はチェックしておくのがよさそうだ。

Kinect for Windows SDKのリリース実績と今後

　さらに加治佐氏は，Kinect for Windows SDK（Software Development Kit，ソフトウェア開発キット）の新バージョンが近々登場することも明らかにした。氏によれば，「vNext」と呼ばれる次期SDKでは，Kinectを使って現実の物体の形状を3DモデルとしてPCに取り込む機能である「Kinect Fusion」が実装されるとのことだ。
　Kinect Fusionでは，GPUを用いた，リアルタイムでの取り込みがウリになっているようだが，披露されたデモムービーを見る限り，かなり高い精度で3Dモデルとして周りの風景を取り込めているようだった。

Kinect for Windows用の次期SDKでは，物体をリアルタイムでスキャンし，PCに3Dオブジェクトとして取り込める技術が，Kinect Fusionとして追加される予定だ。デモムービーを見る限り，リアルタイムかつ高精度で，物体の形状を3Dオブジェクトとして取り込めているようだった

Kinect Fusionのデモムービーより。「RAW Depth」はKinectが捉えた深度の生データで，下の2つは，そのデータを基にモデリングした画像である。Kinect Fusionでは，GPUを使うことにより，こうした処理をリアルタイムで行えるようだ

現実の映像（右）に，ティーポットだけ，3Dグラフィックスを重ねているデモ。こういったAR的な使い方を加治佐氏は提案していた

　加治佐氏はKinect Fusionの応用例として，拡張現実（Augmented Reality，AR）などが考えられるとしていた。いまのところ，ゲームにおける拡張現実の採用は，カメラを備えるモバイルゲーム機やモバイル端末向けタイトルにほぼ限られている印象だが，Kinect Fusionが登場すると，状況が変わるかもしれない。
　Xbox 360からスタートしたKinectも予想以上に利用が広がっているようで，将来が少し楽しみだ。

Kinect for Windows直販ページ