AI にブラウザ操作を任せると何が起きるのか — 画面操作の壊れ方と、取り消せない操作
「ブラウザを開いて、この手続きをしておいて」と AI に頼めるようになりました。頼んだ瞬間から、その AI は画面を操作する道具になります。工場に例えると、操作盤の前に座ったロボットが画面を触っている状態です。
壊れ方は RPA と同じ
画面を操作する道具は、画面の作りが変われば止まります。ここは RPA と同じで、AI でも変わりません。加えてブラウザ操作には、ログインの壁があります。
| 起きること | 中身 |
|---|---|
| 画面が変わると止まる | ボタンの位置や名前が変われば、手順は当たらなくなる |
| ログイン状態が要る | 未ログインの画面では、その先へ進めない。認証の 2 段目（コード入力）はなおさら |
| 手順が決まっていない | RPA は決められた動きの繰り返し。AI はその場で判断するので、同じ指示でも通る道が変わりうる |
3 つ目が RPA との一番の違いです。手順が決まっていないので、止まらずに進むことがあります。
取り消せない操作まで届く
画面の中には、押したら戻せないボタンがあります。送信・購入・申請・削除です。Google は Gemini の代行機能について「Gemini は誤った判断を下し、予期せぬ購入やサードパーティとのデータ共有を行う可能性がある」と自ら書いています（公式ヘルプ）。提供元が先に書いているとおり、間違いが画面の外へ出るのがブラウザ操作の性質です。
| 効く止め方 | 何を止めるか |
|---|---|
| 人の確認を挟む | 送信・購入・申請の手前で止め、人が押すまで進めない |
| 外への通信を絞る | 読み込んだ文書の指示で外へ送られる経路を断つ（間接プロンプトインジェクション） |
| 隔離して動かす | 壊れても捨てられる環境の中で動かす（サンドボックス） |
こう決める — 任せる前の手順
| 順 | 手順 | こう判定する |
|---|---|---|
| 1 | 任せたい手続きを、読む作業と変える作業に分ける | 読むだけなら止め方は軽くて済む。変える作業が入るなら 2 へ |
| 2 | その画面で戻せない操作を書き出す | 送信・購入・申請・削除が 1 つでもあれば、人の確認を必須にする |
| 3 | ログイン状態をどう用意するかを決める | 人がログインした画面を使うのか、資格情報を渡すのか。渡すなら範囲と期限を決める（OAuth） |
| 4 | 画面が変わったときに誰が直すかを決める | 直す人が決まらないなら、画面操作ではなく API を探す（RPA の業務を API へ） |
| 5 | 記録が残るかを確かめる | 何をしたか後から追えるか（調査記録の「記録」欄） |
どの製品がどこまで画面を触れるか（利用形態・隔離・記録）は RenkeiMap の AI ツール一覧 の欄に出典つきで置いてあります。手が届く範囲と戻せる範囲の全体像は ChatAI と AI エージェントの違い に置きました。
調査記録で確かめる
失敗したときの扱いと、どこで動くかの 2 列です。
比較項目:
| システム | 導入・利用しやすさ | 業務安定性 |
|---|---|---|
| 利用形態 | 壊れ方（止まるか・間違えて進むか） | |
| Agentforce（エージェントフォース） | 公式FAQに「Salesforceのお客様は、Enterprise Edition以上の無料のアドオンである Salesforce Foundationsを使用して、Agentforceを無料でお試しいただけるようになりました」と記載され、Foundations には Agentforce for Service との最初の会話1,000回分のクレジットが含まれるとされている。エージェントの作成は Agent Builder で行い、「Salesforceのシステム管理者と開発者は、自然言語を使用して、AIエージェントに対して実行するジョブ、指示、アクション、ガードレールを作成できます」と記載されている。 | 有害と判定された生成物は表示前に遮る ベンダー公表 自分の手に負えない用件に当たったときは、人の担当者に引き継ぐと公式に説明されている。 これは会話の相手をする場面についての説明で、処理そのものが失敗したときに止まるのか続けるのかを述べたものではない。後者を説明した記述は、開いた範囲では見つからなかった。 生成された内容は表示前に検査され、有害と判定されたものは利用者に見せる前に自動で遮られる、と公式に説明されている。 検査の対象として挙がっているのは、憎悪表現・偏り・嫌がらせなど方針に反する兆候。答えの内容が業務上正しいかどうかを判定する仕組みではない。 |
| Antigravity（Google） | macOS は「Min Version 12 (Monterey)」で Apple Silicon / Intel 版、Windows は「Windows 10 (64 bit)」で x64 / ARM64 版、Linux は「glibc >= 2.28, glibcxx >= 3.4.25 (e.g. Ubuntu 20, Debian 10, Fedora 36, RHEL 8)」と記載されている。 | エージェントの行為の責任は利用者 ベンダー公表 計画を立ててから実行する使い方では、変更を加える前に必ず止まって承認を求めるか、一切止まらずに実行するかを、設定で選ぶ。既定として勧められているのは、止まって承認を求める側。 これは「人が見る前に変更が入るかどうか」の設定であって、実行が失敗したときに処理を止めるのか続けるのかを説明したものではない。後者を述べた記述は、開いた範囲では見つからなかった。なお、隔離を有効にしている場合は、コマンドを実行する直前に「隔離を外して実行する」という逃げ道が選択肢として出る。 規約は、エージェントが行った行為の責任は利用者にあると定め、本番環境で使う場合は、起こしうる被害を避けるために判断と監督を行うことを利用者の責任として挙げている。 |
| Claude Code | CLIはmacOS・Linux・WSLおよびWindows（PowerShell／CMD）に対応し、デスクトップアプリはmacOSとWindows（x64・ARM64）向けに配布され、ブラウザ版とClaude iOSアプリでも利用できます。 ネイティブWindowsではBashツールを使うためにGit for Windowsの導入が推奨されると記載されています。 | 照合できない命令は承認を求める側に倒れる ベンダー公表 隔離の壁に阻まれてコマンドが失敗したとき、失敗の中身が出力に足されてそのまま渡り、別のやり方（壁の外で実行し直す）を試すことがある。作業を止める側には倒れない。 止めたい場合は、その逃げ道を設定で閉じられる。閉じると、すべてのコマンドは壁の中で動くか、あらかじめ例外に挙げられているかのどちらかになる。壁の外での実行し直しは通常の承認の流れに戻るため、手動の設定では確認を求められる。 照合できなかったコマンドは、手動の設定では承認を求める側に倒れると明記されている。 原文の見出しは「Fail-closed matching」。ただしこれは権限の照合についての記述で、作業そのものが失敗したときの扱いではない。 |
| Claude Cowork | デスクトップアプリを中心に提供され、公式製品ページでは「runs on web, desktop, and mobile」「Rolling out on web, mobile (beta)」と記載され、ダウンロードはmacOS・Windows（x64／arm64）・ChromeOS・Linux向けが用意されています。 | 道具の実行が失敗すると、その結果に失敗した印と失敗の内容が残る。Claude への要求が失敗したときはやり直しが行われ、何回目かが記録される。 失敗したあとに、その先の作業を止めるのか続けるのかを説明した記述は、開いた範囲では見つからなかった。記録の項目としては、成功したかどうか・失敗の内容・試行回数までが公開されている。 |
| Cline（クライン） | ひとつずつ承認する設定なら操作のたびに止まり、自動承認にすると止まらずに進む。公式ドキュメントは、自動承認では気づく前に多くの変更が加わりうると書き、控えからの巻き戻しを前提にするよう案内している。 すべてを自動で承認する設定については、起こりうることとして「警告なしに大事なファイルを消す」「システム設定を変えるコマンドを実行する」「設定ファイルを上書きする」「パッケージを入れたり消したりする」「版管理に変更を確定して送信する」が公式に列挙されている。安全でない扱いにするコマンドは固定の一覧ではなく、モデルがコマンドごとに判定すると明記され、「これは例であって保証ではない」と書かれている。 | |
| Codex（OpenAI） | CLIはmacOS・Linux・Windowsに対応し（curl／PowerShell／npm／Homebrewでインストール）、ほかにIDE拡張、ChatGPTデスクトップアプリ、Web、iOSから利用できます。 | 確認役を自動の別の判定に切り替えている場合は、許可されればそのまま進み、拒否されたときは「もっと安全な別の道を探す」か「止めて人に聞く」よう指示が返る。 壁の中で許される範囲の操作は、確認も判定も通らずそのまま進む。隔離した状態では動かせないコマンドは、通常の確認の流れに戻る。 |
| CrewAI（クルーAI） | 自社運用は Python 3.10〜3.13 が要る ベンダー公表 自分の環境で動かす場合はプログラミングが前提で、Python（>=3.10 かつ <3.14）と依存管理ツール uv が必要と公式ドキュメントに記載され、macOS / Linux と Windows の手順が示されている。一方 SaaS 版については「Zero installation required - just sign up for free at app.crewai.com」と記載され、ブラウザだけで始められるとしている。プラットフォーム側のドキュメントでは Crew Studio が「no-code/low-code interface」と説明されている。 | もっともらしいが事実と違う答えが出ることを公式に認めており、企業向けの機能として、出来上がりを参照資料と突き合わせて 0〜10 点で採点する検査役が用意されている。検査に落ちた仕事は、完了扱いにならずに失敗として扱われる。 この検査役は仕事ごとに付けて初めて働く。付けていない仕事の出来上がりが突き合わされることはない。点数の合格ラインは自分で決められ、公式には重要な内容なら 8〜10、一般的な内容なら 6〜7 が目安として示されている。1 回の検査で 1〜3 秒ほど余計にかかるとも書かれている。 |
| Cursor | 公式ドキュメントに「It is available across the Agents window, editor, CLI, Cursor SDK, and the iOS app.」と記載されており、デスクトップのエディタ、コマンドライン、クラウドエージェント、iOSアプリで利用します。 | 規約は、生成される提案に誤りや誤解を招く情報が含まれうること、その評価とそれに伴うリスクは利用者が負うことを明記しています。さらに、人の確認を経ずにコードの提案を自動実行する機能があり、それを有効にした場合はシステム停止・不具合・データ損失などのリスクをすべて利用者が引き受ける、と定めています。 自動実行が有効なときは画面にその旨が明示されると規約に書かれています。誤った方向へ進んだ場合に備えて、作業中に自動で作られる復元ポイントから戻す運用が案内されており、失敗したら処理を止めるという説明は見当たりません。 |
| Devin | 規約は、出力が不正確だったり用途に合わなかったりすることがあり、使う前に人の確認が要るかどうかを判断する責任は利用者にあると定めています。コードの点検結果についても、問題をすべて拾えるとは保証せず、利用者自身の確認・テスト・監査の代わりにはならないと明記しています。 レビュー機能の指摘も、確信度の高い「不具合」と、利用者が自分で調べて実際に問題かどうか確かめる「要調査」に分けて示されます。設定を入れれば、指摘や CI の失敗に人手を介さず自動で対応し続けます。 | |
| GitHub Copilot | 開発用エディタ（デスクトップ）、GitHub.com（ブラウザ）、GitHub Mobile（スマホ）、GitHub CLI（コマンドライン）。 | 公式の「限界」の章が、存在しない問題を指摘してしまうこと、一見正しく見えても意味的・文法的に誤ったコードを出しうること、生成したコードに脆弱性が含まれうることを明記し、いずれも人が確認して試すよう求めています。止まるのではなく、誤ったまま先へ進みうる前提で書かれています。 端末側では危険なコマンドの実行前に許可を求める仕組みがあり、実行されたコマンドの最終的な責任は利用者にあると明記されています。 |
| Hermes Agent（ヘルメス・エージェント） | macOS・Linux・WSL2・Termux と Windows ネイティブに対応し、デスクトップアプリもある。導入はインストーラ 1 行（macOS / Linux / WSL2 は curl、Windows は PowerShell）で、uv・Python 3.11・Node.js・ripgrep・ffmpeg までまとめて入る。利用にはモデル提供元の API キーか、手元で動かすモデルサーバーが別途要る。 | |
| Kiro（AWS） | IDE は「macOS (Intel + Apple Silicon), Windows 10/11 (64-bit), or Linux (Ubuntu 24+, Debian 13+, Fedora 40+, Arch, Mint 22+)」、CLI は「macOS, Windows 11 (PowerShell), or Linux (glibc 2.34+ or musl variant)」、Web は「Any modern browser. No local installation required.」、モバイルは「iOS, distributed through Apple TestFlight during early access.」、Crew は「macOS, Linux (x86_64 and ARM), or Windows. Python 3.9+ required for source installs.」と記載されている。 | まかせきりで動かす設定のときは、途中で判断がつかなくなると勝手に進めず「要対応」の状態に移り、利用者の入力を待ちます。この設定は既定では切ってあり、切っている間は一手ずつ一緒に進める形です。 作業は隔離された環境で行われ、成果はプルリクエストとして出てくるため、確認してから取り込む前提になっています。誤った内容のまま先へ進んだ場合にどう扱うかを述べた記述は、開いた範囲には見当たりません。 |
| Manus（マヌス） | ウェブ、モバイルアプリ、ブラウザー拡張機能（プライバシーポリシー表記「Manus AIプラットフォーム、ならびにManus AIに関連するモバイルアプリおよびブラウザー拡張機能」）。公式トップページではデスクトップアプリの配布も案内されています。 | 公式ヘルプは、自信ありげに見えても不正確・不完全な内容を出すことがあると認めたうえで、重要な判断に関わる話題では注意書きを出すものの、手伝いを断ったり会話を止めたりはしないと明記しています。つまり誤ったまま先へ進みうる形で、確かめるのは利用者の側とされています。 一方、混雑でシステム側が作業を打ち切ったときは止まり、続けるか、やめてクレジットの払い戻しを受けるかを利用者が選べます。 |
| OpenClaw（オープンクロー） | コマンドラインからの導入・運用が前提です（`npm install -g openclaw@latest --allow-scripts=openclaw` でインストールし、`openclaw onboard --install-daemon` で常駐設定、`openclaw dashboard` でウェブ管理画面を開く）。動作要件は Node.js 26 推奨、ほかに Node 22.22.3+ / 24.15+ / 25.9+。公式サイトは macOS・Linux・Windows で動作すると記載しています。 | 公式ドキュメントは、この種の失敗の大半は珍しい攻撃ではなく「誰かが話しかけて、その通りに実行してしまった」ものだと述べ、モデルは操られうる前提で被害範囲を小さく設計するよう求めています。一方で、隔離環境を明示的に指定した実行は、その環境が用意されていなければ動かずに落ちる（安全側で止まる）と明記されています。 実行の許可を毎回求めるかどうかは設定で、個人用の構成では既定で許可を求めない側に倒してあり、それは意図した使い勝手であって欠陥ではないと書かれています。厳しくするかどうかは利用者が決める形です。 |
◎ 条件なしで当てはまる ○ 条件つき・一部 △ 限定・要申請・無いと明記 × 当てはまらないと明記 ？ 編集部がまだ確認していません ― 提供元が公開していない（編集部が調べた） — 記号は編集部の札から機械で付けています。物差しは項目ごとに違い、列の見出しがその項目の意味です。札の意味と根拠は各セルの要約を押すと出ます。
材料の調査日（最新）: 2026-09-05