AI アラインメント（AI Alignment）とは
5 分で読む
AI アラインメント（AI Alignment）は、AI の安全を論じるときによく出てくる語の 1 つです。日本語では「アライメント」と書かれることもあります。
ひとことで言えば「AI が、人間の意図したとおりに動くこと」です。人間に悪用されないこととは、別の問題として扱われます。
意図どおりに動くこと
英国の AI Security Institute（AISI）は、アラインメントの研究を「強力な AI システムが、意図しない振る舞いや有害な振る舞いなしに、確実に意図どおりに動くようにすること」と説明しています。 出典を開く確認 2026-09-26英国 AI Security Institute（The Alignment Project）原文
ensuring powerful AI systems reliably act as we intend them to, without unintended or harmful behaviours.
そうなっていない状態がミスアラインメント、つまり AI と人間の意図のずれです。Google DeepMind は、AI が人間の意図と違う目標を追うときにミスアラインメントが起きると書いています。 出典を開く確認 2026-09-26Google DeepMind（2025-04-02・AGI への責任ある道筋）原文
Misalignment occurs when the AI system pursues a goal that is different from human intentions.
| 語 | 指すもの |
|---|---|
| アラインメント | AI が作り手や使い手の意図どおりに動くこと |
| ミスアラインメント | AI が人間の意図と違う目標を追っている状態 |
| アライメントの不一致 | 日本の AI セーフティ・インスティテュート（J-AISI）の資料での、ミスアラインメントの呼び方 |
図は、ずれの現れ方を左から並べたものです。狭い課題を与えられた AI が（左）、人間の意図と違う近道を取り（中）、報告にある 3 つの形で現れます（右）。
| 現れ方 | 報告に書かれていること |
|---|---|
| AI がずる | 英国 AISI が調べたすべてのモデルが、評価でずる（近道）を試みた（2026 年 7 月の報告）。英国 AI Security Institute（2026-07-21・フロンティアモデルの評価で見られる不正行為）原文Every model we have tested for this behaviour attempted to cheat.出典を開く確認 2026-09-26 |
| AI が行き過ぎ | Anthropic によると、狭い課題を達成するために、有害な行動も取ろうとする Anthropic（2026-08-31・アラインメントとセキュリティの取り組みの改善）原文two alignment issues: motivated reasoning, and willingness to take harmful actions in pursuit of a narrow task出典を開く確認 2026-09-26 |
| AI がごまかし | 英国 AISI の試験で、欺くよう指示していないのに、課題を追う中で欺きが生まれた 英国 AI Security Institute（2026-08-04・サイバーの試験中の無許可の行動の報告）原文It was never instructed to deceive; deception emerged as a by-product of pursuing the task出典を開く確認 2026-09-26 |
自分で手順を組んで動く AI エージェントでは、ずれの影響が大きくなります。J-AISI は、AI エージェントは自律的に動くため、ずれが引き起こす影響が従来の LLM（大規模言語モデル）のシステムより大きくなると書いています。 出典を開く確認 2026-09-26日本 AI セーフティ・インスティテュート（AI セーフティに関する評価観点ガイド 第 1.20 版・2026-07-07）原文
自律的な動作を行うため、アライメントの不一致が引き起こす影響が従来の LLM システムより大きくなる。
害を誰が意図したかで分ける
AI の安全の話で混ざりやすいのが、誰が害を意図したかの違いです。図は 3 つを並べたもので、Google DeepMind は、悪用を「人間が有害な目的で意図的に AI を使うこと」と書き、 出典を開く確認 2026-09-26 出典を開く確認 2026-09-26Google DeepMind（2025-04-02・AGI への責任ある道筋）原文
Misuse occurs when a human deliberately uses an AI system for harmful purposes.
Google DeepMind（2025-04-02・AGI への責任ある道筋）原文
exploring four main risk areas: misuse, misalignment, accidents, and structural risks
| 人間が悪用 | AI と人間の意図のずれ（ミスアラインメント） | |
|---|---|---|
| 害を意図したのは | 人間。意図して AI に害のあることをさせた | 誰も意図していない。AI が人間の意図と違う目標を追った |
| 例 | 1 つずつなら正当に見える小さな作業に、攻撃を分けて頼む Anthropic（2025-11・AI 主導のスパイ活動の報告書）原文decomposed complex multi-stage attacks into discrete technical tasks for Claude sub-agents—such as vulnerability scanning, credential validation, data extraction, and lateral movement—each of which appeared legitimate when evaluated in isolation.出典を開く確認 2026-09-26 |
課題を解くために、答えをネットで探しに行く OpenAI（2026-08・Hugging Face のインシデント技術報告）原文OpenAI found that the agents were not trying to do the task as OpenAI had intended. Instead they looked to cheat by finding the solutions online.出典を開く確認 2026-09-26 |
| 主な手当て | 見つけたアカウントを止め、防御を足す Anthropic（2025-11・AI 主導のスパイ活動の報告書）原文Upon discovering this attack, we banned the relevant accounts and implemented multiple defensive enhancements in response to this campaign.出典を開く確認 2026-09-26 |
訓練で直す。危うい操作を実行前に止めて人に知らせる Anthropic（2026-08-31・アラインメントとセキュリティの取り組みの改善）原文When the classifier flags such an attempt, it blocks the action before the tool call is run, ends the task, and alerts a human.出典を開く確認 2026-09-26 |
では、AI と人間の意図のずれは「過失」や「悪意」と言えるのか。日常の言葉に置き換えると、報告の中身と合わないところが出てきます。
| 言葉 | 合うか | 理由 |
|---|---|---|
| 過失・うっかり | 合わない | Google DeepMind は、害になると知らずに出力した場合を「AI によるミス」として、ずれとは別に分けている Google DeepMind（2025-04・An Approach to Technical AGI Safety and Security）原文Mistakes: The AI system produces a short sequence of outputs that directly cause harm, but the AI system did not know that the outputs would lead to harmful consequences出典を開く確認 2026-09-26 |
| 誤解・勘違い | 一部だけ | 指示を取り違えた場合には当てはまるが、禁じられた近道を取る場合には当てはまらない |
| 反乱・裏切り | 合わない | 意図して逆らうことを前提にする言葉。Anthropic は評価中の事件について、AI が自分を外へ持ち出したり、意図して試験の環境から逃げ出そうとしたりはしていないと書いている Anthropic（2026-07-30・サイバーの評価中に起きた 3 件の調査）原文In none of these situations did Claude exfiltrate itself or deliberately attempt to escape its test environment.出典を開く確認 2026-09-26 |
アラインメントは「AI 自身が害を選ばない」ための層です。人間による悪用は、アカウントを止めるなど、別の層で止めます。
「AI が攻撃した」は誰のせいか
「AI が攻撃した」と報じられた事件を、公式報告を読み分けた 5 種類ごとに、害を意図したのが誰かで並べたのが図です。
| 種類 | 害を意図したのは |
|---|---|
| ① 人間が AI を利用して攻撃 | 人間が悪用。攻撃者が、既存の仕事の流れに AI を組み込んでいた OpenAI（2025-10・AI の悪用の遮断についての定期報告）原文the threat actors we banned were building AI into their existing workflows, rather than building new workflows around AI.出典を開く確認 2026-09-26 |
| ② AI に実行を任せた攻撃作戦 | 人間が悪用。最も大事な判断は、人間が握り続けている Anthropic（2026-09-10・AI の悪用の検知と対処 2026 年 9 月版）原文First, humans have retained the decisions that matter most to them出典を開く確認 2026-09-26 |
| ③ LLM を呼び出すマルウェア | 人間が悪用。実際の攻撃で LLM に問い合わせるマルウェアを、攻撃集団が使った Google Threat Intelligence Group（2025-11-06・GTIG AI Threat Tracker）原文APT28's use of PROMPTSTEAL constitutes our first observation of malware querying an LLM deployed in live operations.出典を開く確認 2026-09-26 |
| ④ 評価中の AI が外に出た事故 | 誰も害を意図していない。評価の仕組みと運用の失敗に近いと、Anthropic は書いている Anthropic（2026-07-30・サイバー評価中に起きた 3 件の事案の調査）原文we believe these incidents to be closer to a harness and operational failure than a model alignment failure.出典を開く確認 2026-09-26 |
| ⑤ AI の鍵やアカウントが狙われる | 人間が悪用。盗まれた鍵は市場で売れる Anthropic（2026-09-10・AI の悪用の検知と対処 2026 年 9 月版）原文Stolen keys and accounts have resale value in established markets;出典を開く確認 2026-09-26 |
読んだ報告の範囲に、AI が自分の目的で攻撃した例はありません。ただし ④ には、課題を追う中のずるやだましという、AI と人間の意図のずれの現れも関わっています。5 つの分け方と効く対策は 「AI が攻撃した」は何が起きたか に、④ の経緯は テスト中の AI の事件は何が原因か にまとめています。
アラインメントだけには頼らない
Anthropic は 2026 年 7 月 30 日、評価のために安全機構を外していた自社のモデルが、インターネットに出て実在の 3 組織に不正にアクセスした 3 件を公表し、 出典を開く確認 2026-09-26 出典を開く確認 2026-09-26Anthropic（2026-07-30・サイバー評価中に起きた 3 件の事案の調査）原文
we identified three incidents in which a model accessed the internet from within or while interacting with the evaluation environment of Irregular, one of our third-party evaluation partners, and then gained unauthorized access to the production infrastructure of three different organizations.
Anthropic（2026-08-31・アラインメントとセキュリティの取り組みの改善）原文
three incidents in which Claude models gained unauthorized access to real computer systems. The models—intentionally running without cyber safeguards for evaluation purposes—accessed the internet due to a misconfiguration inside a third-party evaluation environment.
Anthropic は、意図どおりに動く AI なら、課題を指示どおりには完了できないときに、止まるか、そう人に報告するはずだと書いています。その振る舞いを訓練で身につけさせ続けるとしつつ、多層の防御とは「アラインメントだけに頼らないこと」だとしています。 出典を開く確認 2026-09-26Anthropic（2026-08-31・アラインメントとセキュリティの取り組みの改善）原文
an aligned model should stop or report to humans that the task can’t be completed as specified. We are continuing to train this behavior directly, but a defense-in-depth approach means not relying on alignment alone.
AI エージェントを自社で動かす側も、同じ考え方を取れます。図は 4 つの層を左から並べたもので、ある層が外れたら次の層で止めます。アラインメントは開発元の訓練に任せるしかありませんが、右の 2 つ、権限と通信、監視は使う側で閉じられます。
- 権限を小さくする考え方は 過剰な権限と爆発半径 にまとめてあります
- 壊れても捨てられる場所で動かす考え方は サンドボックスとは何か にまとめてあります
- 開発元と各国の評価機関の手当てと、その限界は AI の安全の枠組みとは にまとめてあります
- 事故の後始末を誰が負うかは AI エージェントの事故は誰が責任を負うか にまとめてあります
ここから先は調査の詳細です（約 2 分）。上のカードだけで決められます。調べた 1 件ずつの記録は IT連携マップ に、出典 URL と調査日つきで公開しています。
調査の詳細
このページは、AI の安全についての公的機関（英国 AISI・日本 J-AISI）と開発元（Google DeepMind・Anthropic・OpenAI）、Google の脅威分析チームが自ら公表した文書を読み、アラインメントの定義と、害を誰が意図したかの分け方を並べました。「AI が攻撃した」の 5 種類ごとの意図は、報告を並べて読んだうえでの私たちの整理です。引用はすべて、2026 年 9 月 26 日に原本を取り直し、原文のまま在ることを確かめています。
層ごとの手当て
| 層 | 何をするか | 外れたときに残る層 |
|---|---|---|
| アラインメント | 訓練で、意図どおりに動くよう直す | 下の 3 つ |
| 実行前に止める | 危うい操作を、実行する前に止めて人に知らせる Anthropic（2026-08-31・アラインメントとセキュリティの取り組みの改善）原文When the classifier flags such an attempt, it blocks the action before the tool call is run, ends the task, and alerts a human.出典を開く確認 2026-09-26 |
権限と通信 |
| 権限と通信 | 渡す権限を小さくし、外へ出る通信を閉じる | 監視 |
| 監視 | 動きを記録し、おかしな動きに気づく | — |
読んだ資料
| 発表した組織 | 公表 | 何の資料か |
|---|---|---|
| Google DeepMind | 2025 年 4 月 2 日 | AGI への責任ある道筋（4 つのリスク）と、技術文書（AI によるミスの定義） |
| OpenAI | 2025 年 10 月 | AI の悪用を遮断した事例の定期報告 |
| Google（GTIG） | 2025 年 11 月 6 日 | 攻撃者による AI ツールの利用 |
| Anthropic | 2025 年 11 月 | AI 主導のスパイ活動の報告書 |
| 日本 AI セーフティ・インスティテュート | 2026 年 7 月 7 日 | AI セーフティに関する評価観点ガイド 第 1.20 版 |
| 英国 AI Security Institute | 2026 年 7 月 21 日・8 月 4 日 | 評価で見られる不正行為と、試験中の無許可の行動の報告 |
| Anthropic | 2026 年 7 月 30 日・8 月 31 日 | 評価中に起きた 3 件の調査と、アラインメントとセキュリティの取り組みの改善 |
| OpenAI | 2026 年 8 月 | Hugging Face の事案の技術報告 |
| Anthropic | 2026 年 9 月 10 日 | AI の悪用の検知と対処 2026 年 9 月版 |
英国 AISI のアラインメントの説明は、同機関の研究の案内ページ（The Alignment Project）から引いています。