AI に入力した内容が、なぜ原文のまま出うるのか
3 分で読む
AI に入力した情報は学習に使われるかでは、入力の行き先の 1 つが「モデルに取り込まれる（再学習）」であることを見ました。では取り込まれた後、その内容は他人の回答に出てくるのか。社内で AI を使い始めると必ず出る問いです。
推測で答えるところですが、この点は実験した論文があります。2 本を読みました。
分かっていること
まず何ができたか。論文は、モデルに問い合わせることによって、学習データの個々の例を復元する取り出しを実行できたと書いています。 出典を開く確認 2026-09-21Carlini et al.「Extracting Training Data from Large Language Models」（arXiv 2012.07805）原文
an adversary can perform a training data extraction attack to recover individual training examples by querying the language model
そして取り出せたものの形です。元の文字列そのままの配列を、数百件取り出した。 出典を開く確認 2026-09-21Carlini et al.「Extracting Training Data from Large Language Models」（arXiv 2012.07805）原文
are able to extract hundreds of verbatim text sequences from the model’s training data
文化庁の整理は、文章の生成を単語の出現確率の計算の繰り返しと説明し、通常は学習データの切り貼りではないとしています（原文は AI の学習が原則合法とされる根拠は何条か）。仕組みの説明としてはそのとおりです。論文が報告しているのは、その仕組みのモデルからも、学習データが原文のままの配列で取り出されたことです。
何が出てきたか
| 種類 | 論文の言葉 |
|---|---|
| 中身 | 氏名・電話番号・メールアドレスを含む個人を特定しうる情報、会話、コード、128 ビットの識別子 Carlini et al.「Extracting Training Data from Large Language Models」（arXiv 2012.07805）原文These extracted examples include (public) personally identifiable information (names, phone numbers, and email addresses), IRC conversations, code, and 128-bit UUIDs.出典を開く確認 2026-09-21 |
ここで大事なのは、似た内容ではなく、そのままの配列だという点です。
「1 回しか入れていない」は理由にならない
| よくある前提 | 論文が報告していること |
|---|---|
| 何度も出てくるものだけが覚えられる | 学習データの中で、それぞれの配列がたった 1 つの文書にしか含まれていない場合でも、取り出しは可能だった Carlini et al.「Extracting Training Data from Large Language Models」（arXiv 2012.07805）原文Our attack is possible even though each of the above sequences are included in just one document in the training data.出典を開く確認 2026-09-21 |
社内では「1 回入れただけだから大丈夫」という言い方をよく聞きます。この 1 行は、その前提を否定しています。
もう 1 つ、規模についての報告があります。大きいモデルのほうが、小さいモデルより脆弱である。 出典を開く確認 2026-09-21Carlini et al.「Extracting Training Data from Large Language Models」（arXiv 2012.07805）原文
we find that larger models are more vulnerable than smaller models
2023 年の報告 — 安全性調整でも消えない
3 年後の論文は、対象を広げて調べています。
| 項目 | 論文の言葉 |
|---|---|
| 対象 | 公開されているモデル、半公開のモデル、そして非公開のモデルからも、ギガバイト規模の学習データを取り出せた Nasr et al.「Scalable Extraction of Training Data from (Production) Language Models」（arXiv 2311.17035）原文We show an adversary can extract gigabytes of training data from open-source language models like Pythia or GPT-Neo, semi-open models like LLaMA or Falcon, and closed models like ChatGPT.出典を開く確認 2026-09-21 |
| 手法 | 会話の形から逸脱させる新しい手法により、通常の振る舞いのときの 150 倍の割合で学習データを出させた Nasr et al.「Scalable Extraction of Training Data from (Production) Language Models」（arXiv 2311.17035）原文we develop a new divergence attack that causes the model to diverge from its chatbot-style generations and emit training data at a rate 150x higher than when behaving properly出典を開く確認 2026-09-21 |
| 結論 | 現在の安全性調整の技術は、記憶を取り除かない Nasr et al.「Scalable Extraction of Training Data from (Production) Language Models」（arXiv 2311.17035）原文reveal that current alignment techniques do not eliminate memorization出典を開く確認 2026-09-21 |
安全性調整（アライメント）とは、不適切な答えを返さないよう、学習の後から答え方を望ましい振る舞いに合わせる調整のことです。人の評価を使う RLHF はその代表的な手法です。その調整をしても、記憶そのものは残っている、という報告です。
著作権の面では、向きが逆になる
同じ現象は、入れる側と使う側の両方に働きます。
| 向き | 起きうること |
|---|---|
| 入れる側 | 学習に使われる場所へ入れた自社の内容が、他人の回答に原文のまま出うる |
| 使う側 | 学習データの中の誰かの記事やコードの一部が、自分が使う AI の出力にそのまま混じりうる。それが誰の作品かは、出力からは分からない |
使う側の向きは著作権の話になります。AI がその作品を学習していた場合、似た出力は通常、依拠性があったと推認されうる、と文化庁の整理は書いています（原文は AI の学習が原則合法とされる根拠は何条か の 4 章）。上の 3 章のとおり 1 つの文書にしか無い文章でも取り出されているので、「その作品を知らなかった」だけでは安心できません（ここは原文ではなく、2 つを合わせた読みです）。
業務で何を決めるか
| 前提 | 置き換え |
|---|---|
| 1 回しか入れていないから出ない | 1 件でも取り出された報告がある |
| 似た文章が出るだけ | そのままの配列が出ることがある |
| 大きいモデルのほうが安全 | 大きいほうが取り出されやすいと報告されている |
| 調整してあるから消えている | 調整は記憶を取り除かないと報告されている |
| 出力は新しく作られたもの | 学習データの配列がそのまま出ることがある。使う前に、既存のコードや文章と一致していないか確かめる |
これらは「必ず漏れる」という意味ではありません。取り出しは攻撃であって、通常の利用で自然に出てくるという話ではありません。
ただし、学習に使われる可能性のある場所へ何を入れるか、出力をそのまま使ってよいかを決めるとき、左の列の 5 つは前提として使えません。
聞き方はこうなります。
「私たちが入れた内容は、学習に使われますか。使われない契約はありますか。その約束は、どの文書のどこに書かれていますか。」
ここから先は調査の詳細です（約 1 分）。上のカードだけで決められます。調べた 1 件ずつの記録は IT連携マップ に、出典 URL と調査日つきで公開しています。
調査の詳細
調べた範囲は、学習データの取り出しについて報告した論文 2 本の要旨です。対象は公開されている要旨に書かれている内容で、本文の実験手順や再現性の検証は含めていません。要旨を保存し、引用はすべて保存した原本に原文のまま在ることを確かめています。調べていないことは、特定の製品で今この時点で何が取り出せるかです（論文が扱ったのは、それぞれの発表時点のモデルです）。
| 項目 | 内容 |
|---|---|
| 出典 1 | Extracting Training Data from Large Language Models（2020 年） |
| 出典 2 | Scalable Extraction of Training Data from (Production) Language Models（2023 年） |
| 読んだ部分 | 要旨 |
| 引用 | 8 本（すべて保存した原本に原文のまま在ることを確認） |
| 確認時期 | 2026 年 9 月 21 日 |
論文が調べたのは発表時点のモデルです。その後、提供元が対策を入れている可能性があります。ここで読み取れるのは、記憶という現象が起きうることと、その形です。今この時点で特定の製品から何が取り出せるかは、別の調べになります。
入れたものがどう学習に渡るかの経路は 学習のパイプライン、止める手段については 学習を止める手段は効くのか に置いています。