Computer-Use Agent：AI にあなたの PC を操作させる

Claude 3.5 Sonnet は、Computer Use 機能を提供する初のフロンティアモデルです。OSWorld ベンチマークでは 14.9% を記録し、2 位の倍近いスコアを出しました。画面を見て、マウスを動かし、ボタンを押し、フォームに入力する——まるで人間が PC を操作しているかのようです。これは RPA のような事前スクリプトではなく、AI が画面の内容を理解して動的に判断する仕組みで、UI が変われば自分で調整します。

Computer-Use Agent は 3 つのツールで実現されます。Computer Tool がマウスとキーボードを操作し、Text Editor がファイルを扱い、Bash Tool がシステムコマンドを実行します。この記事では、原理から実践までを一通り解説します。Docker でのデプロイ方法、コード例、競合分析、そしてセキュリティのベストプラクティス。大前提は一つ——必ずサンドボックス環境で動かし、AI にメインマシンを直接操作させないことです。

Computer-Use Agent とは

ひとことで言えば、Computer-Use Agent は PC を直接操作できる AI です。

従来の AI は「話す」ことしかできませんでした。質問すれば答えを返してくれます。一方で Computer-Use Agent は「行動」できます。タスクを渡すと、画面を見て、キーボードとマウスを操作し、仕事を仕上げてくれるのです。

たとえば「この Excel の表のデータを、あの Web フォームに入力して」と頼むと、こう動きます：

1. Excel を開いてデータを読み取る
2. ブラウザを開いて目的の Web ページにアクセスする
3. 各フィールドに内容を入力する
4. 送信ボタンを押す

途中であなたが手を出す必要はなく、開発者がソフトごとに専用の連携コードを書く必要もありません。

従来の自動化との違い

「これって RPA（Robotic Process Automation）と同じでは？」と思うかもしれません。

たしかに少し似ています。ですが、本質は違います。

RPA は「スクリプト」です。操作手順を記録しておけば、その通りに再生します。ただし Web ページのレイアウトが変わったり、ボタンの位置がずれたりすると、スクリプトは途端に使えなくなります。

Computer-Use Agent は「エージェント」です。画面を読み取り、いまの状態を理解し、変化があれば自分で調整します。ボタンが左から右へ移動しても、人間ならひと目で気づくのと同じで、Claude も同じように対応できます。

さらに重要なのは、RPA では一手ずつ細かく書く必要があるのに対し、Computer-Use Agent には「何をしたいか」を伝えるだけでいいという点です。「どうやるか」はエージェント自身が決めます。

Claude Computer Use 技術の解説

2024 年 10 月、Anthropic は Claude 3.5 Sonnet が Computer Use に対応したと発表しました。この能力を提供したフロンティア AI モデルとしては、これが初めてです。

仕組み

全体の流れは、人間が PC を操作するプロセスによく似ています：

KiloClaw - 企業向けマネージド OpenClaw、AI エージェントのオーケストレーションとスマートルーティングを加速

今すぐ始める →広告

画面を見る → 内容を分析 → 動作を決定 → 操作を実行 → フィードバックで調整

もう少し具体的に見てみましょう：

1. スクリーンショットの分析：Claude は現在の画面をキャプチャし、視覚能力で画面上の文字、ボタン、入力欄などの要素を認識します。

2. 座標へのマッピング：ここが最も核となる技術的ブレークスルーです。モデルは、画面上の視覚要素を具体的なピクセル座標に対応づける方法を学習します。たとえば「送信ボタンは座標 (320, 450) にある」というように。

3. 動作の実行：タスクの内容に応じて、Claude はどの動作を実行するかを決めます。指定位置へマウスを移動する、クリックする、文字を入力する、ページをスクロールする、などです。

4. フィードバックループ：一つの動作を実行したら、Claude はもう一度スクリーンショットを撮り、何が変わったかを確認してから次の手を決めます。

この「観察 → 判断 → 行動 → フィードバック」のループこそが、Computer-Use Agent の中核となる動作パターンです。

3 つのコアツール

Claude の Computer Use は、3 つのツールで実現されています。

Computer Tool：マウスとキーボードを操作

• マウスの移動、クリック、ダブルクリック、右クリック
• キーボード入力、ショートカット
• 画面のスクロール

Text Editor Tool：ファイルを操作

• ファイル内容の表示
• ファイルの編集、作成
• 検索と置換

Bash Tool：システムコマンドを実行

• shell スクリプトの実行
• パッケージのインストール
• システム管理タスク

この 3 つを組み合わせれば、人間が PC でできる操作のほとんどをカバーできます。

パフォーマンス

Anthropic が公開したデータによると、OSWorld ベンチマーク（AI の PC 操作能力を評価するデータセット）での Claude 3.5 Sonnet のスコアは 14.9% でした。高くないように聞こえますか？ ですが 2 位はわずか 7.8% で、その差は倍近くあります。

WebArena（Web 自動化のテスト）でも、Claude は業界トップクラスの水準に達しています。

とはいえ正直なところ、この能力はまだ初期段階です。Anthropic 自身も認めているように、動作は遅めで、ときどき間違えますし、ドラッグやズームといった細かい操作はまだできません。そのため、今のところはサンドボックス環境でのテスト利用が中心になります。

さっそく実践

理論はこのくらいにして、実際の使い方を見ていきましょう。

環境の準備

最も手軽な入門方法は、公式が用意している Docker デモを使うことです。

ステップ 1：API Key を取得する

• Anthropic Console でアカウントを登録する
• API Key を生成する
• 少額をチャージする（テストではほとんどお金はかかりません）

ステップ 2：Docker コンテナを起動する

# 環境変数を設定
export ANTHROPIC_API_KEY="your_key_here"

# 公式デモを実行
docker run \
  -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
  -v $HOME/.anthropic:/home/computeruse/.anthropic \
  -p 5900:5900 \
  -p 8501:8501 \
  -p 6080:6080 \
  -p 8080:8080 \
  -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

このコマンドを実行すると、Ubuntu デスクトップ環境を含むコンテナが起動し、いくつかのポートが公開されます：

• 6080：Web VNC（ブラウザでデスクトップを表示）
• 5900：VNC
• 8080：API インターフェース
• 8501：Streamlit の画面

ステップ 3：デスクトップにアクセスする

ブラウザで http://localhost:6080 を開くと、Ubuntu のデスクトップ環境が見えます。これが、Claude に操作させる「PC」です。

最初のタスク：フォームの自動入力

まずは、Claude にフォーム入力を手伝ってもらいましょう。

Alibaba Cloud - 開発者向けクラウドの第一候補、Lighthouse サーバー15%OFF、プロジェクトの迅速な立ち上げを支援

15%割引を入手 →広告

たとえば、顧客情報が入った CSV ファイルがあり、その内容を Web フォームに入力したいとします。従来ならスクリプトを書くか、手作業でコピー＆ペーストしていた作業ですが、これを Claude に任せられます。

Streamlit の画面（http://localhost:8501）を開き、タスクを入力します：

~/data/customers.csv ファイルを開き、その中のデータを https://example.com/form のフォームに入力してください。
各レコードでは、氏名・メールアドレス・電話番号の 3 項目を入力します。

Claude が作業を始めると、その様子を VNC 画面で見られます：

• まずファイルマネージャーを開く
• CSV ファイルを見つける
• テキストエディターで開いて内容を確認する
• ブラウザを開いて目的の Web ページにアクセスする
• 各フィールドに入力していく
• 送信ボタンを押す

全体で数分かかることもあります（たしかに人間より遅いです）が、その間あなたが手を出す必要はありません。

応用：複数ステップのワークフロー

もう少し複雑なタスク、たとえば「データベースからデータを書き出し、レポートを生成し、メールを送る」場合はこうなります：

# これはコンセプトを示す例で、実際には具体的な環境との組み合わせが必要です
import anthropic

client = anthropic.Anthropic()

message = client.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    tools=[
        {
            "type": "computer_20241022",
            "name": "computer"
        },
        {
            "type": "text_editor_20241022",
            "name": "text_editor"
        },
        {
            "type": "bash_20241022",
            "name": "bash"
        }
    ],
    messages=[
        {
            "role": "user",
            "content": """
            次のタスクを実行してください:
            1. PostgreSQL データベースから今月の売上データを書き出す
            2. Python で棒グラフのレポートを生成する
            3. レポートを PDF として保存する
            4. [email protected] にメールを送る
            """
        }
    ]
)

# Claude のレスポンスを処理する
for block in message.content:
    if block.type == "tool_use":
        # ツール呼び出しを実行する
        result = execute_tool(block.name, block.input)
        # 結果を Claude に返す
        # ...

この例は、API 経由で Computer Use を呼び出す方法を示しています。もちろん実際にデプロイする際は、権限管理、エラー処理、セキュリティの境界など、多くの細部を扱う必要があります。

競合分析：Anthropic だけではない

Computer-Use Agent は注目の領域で、各社がこぞって取り組んでいます。

Google Gemini Mariner

Google のソリューションは、自社エコシステムと深く統合されています。Gemini は Chrome ブラウザを操作し、Google サービス（Gmail、Docs、Sheets など）にアクセスできます。強みは Google Workspace との緊密な連携ですが、現時点ではまだクローズドベータの段階です。

Microsoft Copilot Studio

Microsoft は企業向けの自動化で持ち前の強みを発揮します。Copilot Studio はローコードの画面を提供し、技術者でなくても自動化フローを構成できます。しかも Microsoft がホストするインフラ上で動くため、企業が自前でサーバーを立てる必要はありません。

Amazon Nova Act

Amazon は Bedrock プラットフォームを通じて同様の能力を提供し、AWS エコシステムと深く統合されています。すでに AWS を使っているなら、有力な選択肢になります。

オープンソースのソリューション

Agent S2 や Open Interpreter といったオープンソースのプロジェクトも、この方向を模索しています。コントロールしやすく、自前でデプロイできるのが利点ですが、その分より高い技術力が求められます。

セキュリティ：ここが最も大切

正直に言うと、AI に PC を操作させるのはそれなりにリスクがあります。考えてみてください。AI はあなたのファイルにアクセスでき、システムコマンドを実行でき、重要なデータを誤って消してしまう可能性すらあります。だからこそ、セキュリティが最優先なのです。

必ずサンドボックス環境で実行する

Claude にメインマシンを直接操作させてはいけません。絶対にです。Docker コンテナか仮想マシンで隔離しましょう。

公式デモはデフォルトでコンテナ内で動くようになっており、これはとても良い設計です。ただし本番環境に組み込むなら、さらに多くの防御策が必要です：

• ネットワークの隔離（必要なサイトにしかアクセスできないようにする）
• ファイルシステムの制限（指定したディレクトリにしかアクセスできないようにする）
• API 呼び出しの監査（すべての操作を記録する）

権限管理

すべてのタスクに、完全な PC 制御の権限が必要なわけではありません。たとえば：

• 文書を処理するだけのタスクなら、ネットワークアクセスを無効にできる
• データを読み取るだけのタスクなら、読み取り専用モードにできる

システムを設計するときは「最小権限の原則」に従い、タスクを完了するのに必要な最小限の権限だけを Claude に与えましょう。

機密データの取り扱い

機密データ（顧客情報、財務データなど）を Claude に扱わせる場合は、特に注意が必要です：

Railway - モダンなデプロイプラットフォーム、煩わしい運用から解放、数分で公開

今すぐ始める →広告

• API Key をコードに書かず、環境変数を使う
• 機密データは暗号化して保存する
• 操作ログはマスキング処理をする
• アクセス記録を定期的に監査する

Anthropic のセキュリティ対策

Anthropic はこの面でも多くの取り組みをしています：

• Computer Use モデルには安全性のトレーニングを施している
• beta header の仕組みを用意し、明示的に有効化する必要がある
• ユーザーにサンドボックス環境でのテストを推奨している
• 安全性に関する研究手法を公開している

とはいえ、最終的な安全の責任は使う側にあります。車の運転と同じです。メーカーがエアバッグを用意してくれても、ドライバーはシートベルトを締め、交通ルールを守る必要があります。

これからの展望

Computer-Use Agent はまだ初期段階ですが、進む方向ははっきりしています。

技術はますます強くなる

今の弱点——動作が遅い、精度が足りない、ドラッグができない——は、いずれ改善されるでしょう。モデルはより速く、より正確になり、より複雑な操作もこなせるようになります。

応用範囲は広がる

単純なフォーム入力から、複雑なアプリ横断のワークフローへ。開発とテストから、企業の運用へ。個人の効率化ツールから、エンタープライズ級の自動化プラットフォームへ。可能性は大きく広がっています。

開発者への影響

あなたが開発者なら、この流れは注目に値します：

• RPA の開発者は、スクリプトを書く仕事からエージェントの振る舞いを設計する仕事へと、転換を迫られるかもしれない
• テストエンジニアは、AI を使って UI 自動テストを行える
• 運用エンジニアは、AI に点検や障害切り分けを任せられる
• プロダクトマネージャーは、業務自動化のアイデアをすばやく検証できる

業界の変化

長い目で見れば、Computer-Use Agent はソフトウェアとの関わり方そのものを変えるかもしれません：

• ソフトごとに操作方法を覚える必要がなくなる——AI に「やりたいこと」を伝えればいい
• フローごとに連携コードを書く必要がなくなる——AI が自分で操作する
• PC の前に座って繰り返し作業をする必要がなくなる——AI が代わりにやってくれる

もちろん、それには時間がかかります。ですが、その流れはすでに始まっています。

まとめ

Computer-Use Agent は、AI が「対話アシスタント」から「行動する主体」へと進化したことを示しています。画面を理解し、インターフェースを操作し、タスクを完了する——まるで人間が PC を操作しているかのように。

開発者にとって、これは深く探る価値のある方向です：

• 技術面では、その仕組みと実装方法を理解する
• 実践面では、安全な環境でテストし、検証する
• 応用面では、どんな場面で使えるか、どう使うかを考える

覚えておきたいのは 2 点です：

1. セキュリティ最優先——テストは必ずサンドボックス環境で
2. 動向に注目——この領域は変化がとても速い

さらに深く知りたいなら、こうしたリソースが参考になります：

• Anthropic Computer Use 公式ドキュメント
• Computer Use Demo リポジトリ
• API ドキュメント

次に繰り返しの PC 作業にうんざりしたら、思い出してください——その仕事、AI に任せられるかもしれません。