Google DeepMindは、プレイヤーと一緒にゲームをしたり、プレイヤーの指揮に従うことができるAIをもたらしています。
グーグルのDeepMindは現地時間3月13日、SIMA（Scalable Instructable Multiworld Agent、拡張可能、指導可能、多世界のインテリジェント）というAIインテリジェント（AI Agent）を発売した。これを世界初の広範な3 D仮想環境とビデオゲームで自然言語命令に従うことができる「汎用AIインテリジェント」と呼んだ。
AIがプレイヤーがゲームをプレイするのを助けることができるのは珍しいことではないが、このSIMAの違いは、「バックグラウンド操作」によってプレイヤーが単純にゲームで勝利するのではなく、「仲間」のようにプレイヤーが自然言語で与えた命令に従い、多種の3 Dゲームでプレイヤーが複雑なタスクを遂行するのを補助することだ。
複数のゲームに適応できる汎用型ゲームAIを訓練するために、DeepMindは複数のゲーム開発者と協力関係を構築し、『無人深空』『シミュレーションヤギ3』『幸福工場』など9つの遊び方や操作が全く異なるビデオゲームでSIMAを訓練し、テストした。DeepMindはSIMAのために異なるゲームと自由に遊ぶビデオを組み合わせて展示し、大量のデータの入力を通じてSIMAに一般的なプレイヤー操作、言語と行為の間のつながりをまとめさせる。
SIMAのトレーニングプロセス。出典：DeepMind公式サイト
また、DeepMindは、Unityを使用して作成された新しい環境を含む4つの研究環境（「the Construction Lab」）を使用しています。この環境では、エージェントはブロックを使用して彫刻を構築し、物体の操作能力と物理世界の理解をテストする必要があります。
全体的なアーキテクチャでは、SIMAは事前訓練された視覚モデルと自己監督学習のTransformerを結合し、ユーザーから言語命令を受信し、環境から画像観察結果を取得し、それをキーボードとマウスアクションに出力してゲーム内のロールを操作する。
これは、SIMAがゲームのソースコードにアクセスする必要はなく、カスタマイズされたAPIを使用する必要もなく、画面上の画像とユーザーが提供する自然言語命令の2つの入力だけで、あらゆる潜在的な仮想環境と対話することができることを意味しています。
DeepMind氏は、「SIMAはAIエージェントであり、さまざまな環境を感知し理解し、指定された目標を達成するために行動することができる。正確な画像言語マッピングのためのモデルと、画面上で次に何が起こるかを予測するためのビデオモデルを含む。SIMAに関連する特定の3 D設定のデータを利用してモデルを微調整する」と述べた。
現在のバージョンのSIMAは、ナビゲーション（たとえば「左に曲がる」）、オブジェクトインタラクション（「はしごを登る」）、メニュー使用（「地図を開く」）など、600種類の基本的なスキルで評価されているという。DeepMindの訓練を経て、SIMAは約10秒以内に完了できる簡単なタスクを実行できるようになった。最終的には、SIMAは、線形終了経路のないゲームやオープンワールドゲームでも、どのようにビデオゲームを楽しむかを学ぶことになります。
SIMAが身につけたゲームスキルの一部。出典：DeepMind公式サイト
評価テストでは、研究者はSIMAに9つの3 Dゲームセットで訓練を受けさせ、その表現は単一ゲームだけで専門的に訓練されたエージェントより著しく優れており、訓練されていないゲームでの表現はこのゲームデータセットを専門に使用して訓練されたエージェント表現と同じように良く、SIMAが新しい環境で汎化能力を備えていることを証明した。
SIMAが示していることは間違いなく、ゲームにおけるAIのパフォーマンスは依然として潜在力がある。近い将来、AIが駆動するNPC（非プレイキャラクター）も、既定のコードだけではなく、人間のようにプレイヤーと一緒にゲームをすることができるようになるかもしれない。
先月には、DeepMindチームは、合成画像、写真、スケッチから動作制御可能な2 D世界を生成できる基礎世界モデルGenieも展示した。そのモデルパラメータは110億しかなく、人間が2 Dプラットフォーム類のゲームをする20万時間以上の動画に基づいて無監督訓練を行っている。しかし、Genieが生成した「ゲーム」は画質がよく、リアルタイムでプレイできるのには程遠い。