Access Accepted第609回：StarCraftでも人類陥落。AIの進化は止まらない

　ゲームAIの分野では最近，機械学習（マシンラーニング）という言葉をよく耳にするようになった。AIが自分で学習して進化するという仕組みが，ゲームという我々にとって身近な娯楽を舞台に成果を挙げているのだ。今週は，Google傘下の研究機関Google DeepMindの最新プログラム，「AlphaStar」と，サンフランシスコを拠点にするOpen AIの取り組みを紹介したい。

最新AIプログラム「AlphaStar」がプロゲーマーに挑戦

　Google傘下のAI研究開発企業Google DeepMind（以下，DeepMind）が，Blizzard Entertainmentの人気RTS「StarCraft II」に挑戦状を叩きつけたのは，2016年10月に開催された「BlizzCon 2016」でのことだった（関連記事）。
　DeepMindが開発した囲碁プログラム「AlphaGo」が2015年10月，ハンディキャップなしで世界トップ棋士を破ったことは，一般メディアでも大きなニュースになったので，ご存じの読者も多いはず。「AlphaGo」はすでに引退したが，その進化形として，リアルタイムでゲームが進む「StarCraft II」に挑むAIの開発が始まったのだ。


　そして2018年12月19日，DeepMindが開発した最新AI「AlphaStar」は，「StarCraft II」の世界的な強豪チームとして知られるTeam Liquidのスター選手である，MaNaことGrzegorz Komincz選手とのテストマッチを行い，プロトーナメントと同じ条件のもと，5対0でMaNa選手を破った。1月24日にはライブストリーミングで再戦が配信されたが，ここでも再び「AlphaStar」が勝利を収めている。

　「StarCraft II」は，Terran，Protoss，そしてZergという3つの勢力から好きなものを選び，施設を建設してユニットを生産し，マップを探索しながら敵と戦っていくというRTSだ。それぞれの勢力のユニットは異なる特性を持ち，ユニット同士の相性はジャンケンのような3すくみ状態になっているため，パターンは非常に複雑になる。変化する状況をすばやく判断して対応する能力が求められ，プロゲーマーは平均して1分間にマウスを280回もクリック（またはキーボードの押下）するという。

　2018年4月6日に掲載した「西川善司の3DGE：囲碁でトッププロに勝利したDeepMindのAIは，『StarCraft II』でも人間に勝てるか？」でお伝えしたように，記事掲載の段階ではまだ人間にはかなわなかったようだが，その後，MaNa選手と同じTeam Liquidに所属するTLOことDario Wünsch選手の試合運びを学習させ，さまざまな試合展開に対応した複数のAIプログラムを開発。そのうえで，「AlphaStar League」という仮想的なリーグ戦を実施して，勝ち抜いた上位5つのAIプログラムを元に常勝アルゴリズムを解析した。リーグ戦は，人間同士が行ったなら200年間にも達する期間に達したという。

　TLO選手の個人ランキングはMaNa選手より下だが，そんなTLO選手のプレイを取り込んだAIがMaNa選手を破ったことになり，これも興味深い部分だ。ただし，現在の「AlphaStar」にはいくつかの制約があり，例えば，「StarCraft II」のバージョンは，「BlizzCon 2018」の時点のv4.6.2のみに対応しており，また，マップは「Catalyst」だけ，さらにマッチはProtoss対Protossに限定されるという。もっとも，バージョンアップへの対応やマップ，勢力の拡張については，さらに時間をかければ解決するだろう。

機械学習によって驚くべきスピードで進化するAI

　さらに，テスト段階での「AlphaStar」は，「StarCraft II」のゲームエンジンに直接アクセスする仕様だったという。これでは相手の情報が分かってしまうために，フェアな対戦とは言いづらく，たとえれば，マップをすべて鳥瞰しながら，フォッグ・オブ・ウォーもないといった感じだろう。このときには，1秒間に30回ほどの判断を行い，これは，NaMa選手やTLO選手とほぼ同じレベルだという。こうした研究結果は，DeepMindのブログ記事で詳しくレポートされているので，気になる人は一読してほしい。

自分の知識が「AlphaStar」に取り入れられたTeam LiquidのTLO選手（右）と，TLO選手より格上ながら，「『StarCraft II』でAIに負けた史上初のプロゲーマー」になったMaNa選手（左）

　2018年12月以降は，視覚に入る範囲の情報だけで判断するように改められ，より人間に近い条件での対戦が可能になった。ここで，プログラム開発は最終段階に移行し，2019年1月24日のMaNa選手との対戦には，強化訓練をしなおした2種類のAIプログラムが使われたという。

　試合後，MaNa選手は「非常に人間的なプレイをするが，これまでに人間同士の試合で使われたことのないような戦術も見られ，予想外のプレイスタイルに翻弄されてしまった」とのこと。ただし，この日行われた6試合のうちの1試合はMaNa選手が一矢を報いているので，まだAIの「完全勝利」というわけではない。

　DeepMindは，最終段階での強化学習期間が短かったことから，「AlphaStar」を進化させる余地は残っているとしている。だが，マクロとマイクロ，両面のマネジメントを同時に行うという点では，MaNa選手やTLO選手のレベルには達していないことも同時に認めている。
　ちなみに，IBMの「Deep Blue」が，“20手先まで読む”と言われるチェスのグランドマスターを破ったのが1997年のこと。一手につき，次の手が200パターン以上考えられるという囲碁で勝利を収めるまでには，それから19年かかっている。
　しかし，ほぼ無限の手が存在しそうなRTSの場合は，わずか2年ほどで人の知能を超えてしまったようだ。高速で先読みを行う「Deep Blue」から機械学習へのブレイクスルーを経て，プロゲーマーを高い確率で破ることができるまでになったわけで，AI技術の進歩の速さを感じずにはいられない。

訓練を重ねたAIプログラムは進歩を続け，TLO選手やMaNa選手を超えて，グランドマスター以上のレベルに達した。とはいえ，2週間の強化訓練でもブロンズを超えられないダメAIもいるようで，9年間もプレイしながら，まったく進歩の感じられない筆者は親近感を覚える

チーム対戦にも対応した「OpenAI Five」

　人工知能の能力向上だけでなく，社会的な認知度も高めるという目的で2010年に研究者達が設立したDeep Mindは，2014年にGoogleに買収されている。成長分野ではあるものの，同社は今のところ利益を挙げていないため，Googleなどのスポンサーの存在が欠かせないのだ。2018年の時点では，「StarCraft II」のほか，「QuakeIII Team Arena」や「Dota 2」などでも成果を挙げており，少なくとも囲碁やゲームを通じたAIの認知度向上には成功している。

　2015年に設立されたOpenAIは，「全人類のためのAI」をスローガンに掲げる非営利団体で，設立当時には30歳に満たなかった実業家のサム・アルトマン氏や，Teslaのイーロン・マスク氏が創業に参加していることが話題になった。そのOpenAIも最近，「Dota 2」の世界大会「The International 2018」でチャンピオンになったTeam OGと対戦して，グループマッチで勝利を収めている。

　「OpenAI Five」と呼ばれるプログラムを使った試合の様子は，Twitchの公式チャンネルなどで確認できるが，AIが2-0の圧勝を収めた。どの試合も，開始から20分くらいまでは互角だが，その後，メンタル面での疲れを知らない「精神力の強さ」を見せた「OpenAI Five」が有利にゲームを運んだという印象だ。ちなみに，強豪チームであるTeam Lithium，SG esports，そしてAllianceにも「OpenAI Five」は全勝している。
　公式サイトには，「『AlphaStar』はプロに勝利したが，ライブストリーミングでは負けている。『OpenAI Five』は，ライブストリーミングでも勝利した最初のAIだ」などと，「OpenAI Five」の優位性をライバル意識むき出しで書き込んでいる。

　しかし「OpenAI Five」は，「Dota 2」対戦の基本技である，敵のスポーンに合わせたタイミングで攻撃を止めて引き下がり，試合を有利な状況に持っていくPullingやStackingなどのプレイには対応できておらず，人間らしい狡猾さまでは会得していないようだ。そのぶん，必勝パターンを弛みなく続けるという無機質なゲーム運びに終始しており，AIらしいと言えばAIらしい雰囲気が強い。半透明になった敵のヒーローへの対応に手こずるなど，改良の余地もありそうだ。OpenAIは今後も「Dota 2」を使ったプログラムの開発を行っていくとしている。

AIプログラム「OpenAI Five」とプロチームが「Dota 2」で対戦する様子。ちなみにOpenAIは，我々の職業を奪い去りそうな「自動テキストジェネレーター」の開発も行っているが，フェイクニュースやスパムに悪用される懸念から，一般公開されていない

　2045年には，人工知能が人間の脳を超える「シンギュラリティ」（技術的特異点）が訪れると言われているが，我々ゲーマーにとっては，これまでは差が大きすぎてあまり面白くなかった「人間対AI」の試合に脚光が当たり始めているのが興味深いところだろう。「AlphaStar」や「OpenAI Five」などで得られた成果が，人類の未来にどのように関わっていくことになるのか，進化し続けるAIの姿を見聞しつつ，想像に浸ってみよう。

著者紹介：奥谷海人
　4Gamer海外特派員。サンフランシスコ在住のゲームジャーナリストで，本連載「奥谷海人のAccess Accepted」は，2004年の開始以来，4Gamerで最も長く続く連載記事。欧米ゲーム業界に知り合いも多く，またゲームイベントの取材などを通じて，欧米ゲーム業界の“今”をウォッチし続けている。