AWS for Games ではより早い開発、よりスマートな運営、そしてより楽しいゲームへの成長という Build、Run、Grow の 3 つの柱に沿ってサポートします。本記事は Build と Grow の柱、 クラウドゲーム開発の分野で生成 AI を利用したものになります。

ゲーム開発は機能の開発、チェックの繰り返しで行われます。新しい機能やゲームバランス調整などゲームに手を加えたものが正しく動作しているか、面白くなっているか、など様々なチェックを行っています。全てのチェックをゲーム開発者やテスター
が行えばよいのですが、それでは人的なコストが多くかかってしまいます。同じ作業を行ってなんらかの数値を取得したい、ただゲームがクラッシュしないか確認がしたい、といった簡易チェックなどは人ではなく自動で行わせることでコストを削減することができます。

例えば、出来上がった ROM が問題ないかを確認するための簡易チェック、処理負荷を確認するために様々なステージやシステムに移動し CPU 使用率や FPS (frame per seconds) メモリ容量など処理上げに必要な数値の取得、ゲームを長時間動作させても問題がないか確認するためのエージングテスト、など開発中盤以降で様々な要件で自動プレイをさせたい場面は増えてきます。

多くの場合、自動プレイはエンジニアが専用のコードを組み込んだり、FSM (Finante State Machine) ツールなどを作成し、それを利用してもらうことで実現されることが多いです。「このボタンを押して、次にこのボタンを押して」といった簡単なシーケンス移動でも個別でリソース作成やプログラムの組み込みが必要となります。

この自動プレイ部分を生成 AI が行うことができれば、エンジニアが専用プログラムを作成する必要もなく、テスト専用の FSM リソースなどを作る必要もなくなります。そのことにより属人性の削減やテスト効率が上がるだけでなく、テストやデバッグ用の組み込みプログラムの量が減ることによるエンバグの防止やユーザーと同じ操作での動作確認が可能なので、よりユーザーのプレイを模倣した確認を行うことができます。

もし生成 AI による自動プレイが簡単に実装できれば上記のようなユースケースの実装が楽になり開発効率や QA 効率が上がりそうです。今回は Amazon Bedrock で利用できる LLM モデルの一つである Antropic 社が提供している Claude 3.5 Sonnet v2 の新機能である Computer Use を使用して実際に AWS メンバーが作成したゲームを自動プレイできるかを確認してみます。

Anthropic 社が提供している Claude 3.5 v2 で新しく追加された機能です。Claude が入力されたプロンプトをもとに指定されたコンピューターを操作するという機能です。ユーザーは、Claude に画面を確認させたり、カーソルを移動させたり、ボタンを押させたり、テキストを入力させたり、など Claude に指示することで自身のコンピューターを操作させることができます。このことにより Claude にコンピューター上の様々なアプリケーションなどを使ってあるタスクを行わせる、など LLM 単体だけではできない作業を指示して行わせることができます。

記事を執筆した 2025 年 1 月では Computer Use はまだパブリックベータ版の機能となります。そのため今後機能の内容が変わる可能性もあります。また Anthropic からも Computer Use を使用する際には以下の注意事項の記載があります。

Caution
Computer use is a beta feature. Please be aware that computer use poses unique risks that are distinct from standard API features or chat interfaces. These risks are heightened when using computer use to interact with the internet. To minimize risks, consider taking precautions such as:
1.Use a dedicated virtual machine or container with minimal privileges to prevent direct system attacks or accidents.
2.Avoid giving the model access to sensitive data, such as account login information, to prevent information theft.
3.Limit internet access to an allowlist of domains to reduce exposure to malicious content.
4.Ask a human to confirm decisions that may result in meaningful real-world consequences as well as any tasks requiring affirmative consent, such as accepting cookies, executing financial transactions, or agreeing to terms of service.
In some circumstances, Claude will follow commands found in content even if it conflicts with the user's instructions. For example, instructions on webpages or contained in images may override user instructions or cause Claude to make mistakes. We suggest taking precautions to isolate Claude from sensitive data and actions to avoid risks related to prompt injection.
Finally, please inform end users of relevant risks and obtain their consent prior to enabling computer use in your own products.

(引用元) https://github.com/anthropics/anthropic-quickstarts/tree/main/computer-use-demo

要約すると

• 標準的な API やチャットインターフェースとは異なるリスクが存在している。インターネットを操作する際にはリスクが高まる。
• Claude が誤った操作をする可能性がある。そのため情報漏洩などのリスクがある。機密情報を扱うようなタスクには注意が必要。
• リスクを最小限に抑えるためにアクセス制限などセキュリティの設定と、サンドボックス環境 (仮想マシンやコンテナ) での利用をお勧めする。

この機能はユーザーがプロンプトを記載して自身のパソコンを Claude に操作させて様々なタスクを実行させるため、誤ったプロンプトを記載することにより意図していない行動をとる可能性があります。その結果、ネットワーク上のどこかにパソコン内の機密情報などを送信してしまったり、自身のコンピューターの環境を壊してしまうなどの事故が発生する可能性があります。また、現在はプライベートベータのため不具合やエラーなどが発生することもあるかもしれません。そのため Anthorpic 社からはサンドボックス環境での利用やネットワークに繋いでの利用の注意などが促されています。
※今回の利用に関しても細心の注意を払って実装と検証をしておりますが、実際にお試しいただく際には上記注意点を踏まえた上で検証などを行ってください。

上記注意点などを守りながら実際に Compute Use を使ってゲームを自動操作させてみましょう。

本章の作業は、オレゴンリージョンで行います。Bedrock 上の Anthropic Claude 3.5 Sonnet v2 が利用可能なリージョンは今後追加される可能性もありますので、詳しくは こちらのドキュメント をご覧ください。

まず Amazon Bedrock にアクセスできる IAM ユーザーを作成し、AmazonBedrockFullAcces というポリシーをアタッチします。FullAccess を使用すると簡単に始められますが、本番環境では必要最小限の権限を持つカスタムポリシーを作成することを強く推奨します。

ローカルターミナルで AWS CLI でプロファイルを設定します。以下のコマンドを実行し、プロンプトに従います。アクセスキー ID、シークレットアクセスキー、デフォルトリージョン (us-west-2)、出力形式を入力します。

入力例：

AWS プロファイルの設定が完了しましたら、Anthropic が共有した Computer Use の Quick Start リポジトリをクローンします。このリポジトリは、必要な依存関係をすべて含む Docker コンテナを作成するためのビルドファイルや Bedrock を使用して Claude 3 Sonnet v2 モデルにアクセスするためのエージェントループ実装例が含まれていますので、Computer Use 利用を開始するのに役立ちます。

その後、下記のコマンドでディレクトリを移動します。

最後は aws configure で設定したプロファイルを利用し、Docker を起動します。

Computer Use のチャット UI にプロンプトを入力することで、Claude がマシンを操作し色々なタスクをこなすことができます。まず、ブラウザを開いてゲームのリンクを開いてくださいという指示を出してみます。

動画で示されているように、Claude は 'computer' というツール機能を使用して、マウス操作、文字入力、スクリーンショット撮影などを行いながら、その結果を確認しています。

『Find The Icon』ゲームのスタート画面が表示される際に Claude から「ゲームを開始するには "Start match!" ボタンをクリックする必要があります。ボタンの位置にカーソルを移動してクリックします。」と判断し、自動でマッチング画面まで進めることができました。

それでは早速、プレイを始めましょう ! Claude には初めてのゲームなので、基本的な画面操作から丁寧に説明していきます。正確にプレイできるよう、まずはゲームの概要、操作方法、スコアシステムについて順を追って説明します：

動画からわかるように、アイコンを直接クリックするのではなく、十字キーを使って丁寧にアイコンを探していきます。実際の動作では、十字キーによる移動、アイコンの確認、スコアの変化など、一連の処理が順序立てて行われているのが確認できます。なお、動画は再生速度を調整することで、全体の流れをより速く把握することもできます。

ゲームの結果を分析すると、興味深い傾向が見られました。最初の問題「Amazon FSx」と 2 問目の「AWS Cloud9」については、Claude は効率的に対応し、それぞれ約 1 分という比較的短時間でアイコンを特定することができました。これらのアイコンには特徴的な文字が含まれていたことが、素早い識別を可能にした要因と考えられます。

しかしながら、3 問目の「Amazon Aurora」については状況が大きく異なりました。2 分 30 秒という長い時間をかけ、画面上の様々なアイコンを慎重に確認し、複数回の試行錯誤を繰り返しましたが、最終的にアイコンを見つけることができませんでした。

これらの観察結果は、AI の視覚認識システムにおける学習データの多様性と量の重要性を浮き彫りにしています。特定の分野や文脈に特化したアイコンやシンボルの認識精度を向上させるには、それらに関する十分な学習データの蓄積が必要かもしれません。

現時点で生成AIをゲーム QA に活用する場合、その効果的な活用には明確な「向いているケース」と「向いていないケース」があることが、今回の検証で明らかになりました。

生成 AI による自動プレイの実験から、興味深い発見と課題が見えてきました。現時点では、ゲームの基本的な UI 要素の認識や文字情報を含むアイコンの識別、画面上のナビゲーションなどで予想以上の成果を上げていますが、状況判断のスピードが遅い場面が多く、複雑な判断や即時対応が必要な状況での信頼性にはまだ課題が残ります。

一方で、ゲームのチュートリアル自動化や UI/UX テスト、アクセシビリティ評価といった分野などリアルタイム性が求められないテストでの実用化の可能性は十分に感じられます。

適切な学習データの提供と継続的な改善により、これらの課題は徐々に解決できると考えられますが、現段階では完全な自動化というよりも、開発者やテスターの作業を支援する補助的なツールとしての活用が現実的な方向性だと思います。