なぜ原文のまま出うるのか
2 分で読む
入れた内容が、他人の回答にそのままの形で出てくることはあるのか。社内で AI を使い始めると出る問いです。
推測で答えるところですが、この点は実験した論文があります。2 本を読みました。
分かっていること
まず何ができたか。論文は、モデルに問い合わせることによって、学習データの個々の例を復元する取り出しを実行できたと書いています。 出典を開く確認 2026-09-21Carlini et al.「Extracting Training Data from Large Language Models」（arXiv 2012.07805）原文
an adversary can perform a training data extraction attack to recover individual training examples by querying the language model
そして取り出せたものの形です。元の文字列そのままの配列を、数百件取り出した。 出典を開く確認 2026-09-21Carlini et al.「Extracting Training Data from Large Language Models」（arXiv 2012.07805）原文
are able to extract hundreds of verbatim text sequences from the model’s training data
何が出てきたか
| 種類 | 論文の言葉 |
|---|---|
| 中身 | 氏名・電話番号・メールアドレスを含む個人を特定しうる情報、会話、コード、128 ビットの識別子 Carlini et al.「Extracting Training Data from Large Language Models」（arXiv 2012.07805）原文These extracted examples include (public) personally identifiable information (names, phone numbers, and email addresses), IRC conversations, code, and 128-bit UUIDs.出典を開く確認 2026-09-21 |
ここで大事なのは、似た内容ではなく、そのままの配列だという点です。
「1 回しか入れていない」は理由にならない
| よくある前提 | 論文が報告していること |
|---|---|
| 何度も出てくるものだけが覚えられる | 学習データの中で、それぞれの配列がたった 1 つの文書にしか含まれていない場合でも、取り出しは可能だった Carlini et al.「Extracting Training Data from Large Language Models」（arXiv 2012.07805）原文Our attack is possible even though each of the above sequences are included in just one document in the training data.出典を開く確認 2026-09-21 |
社内では「1 回入れただけだから大丈夫」という言い方をよく聞きます。この 1 行は、その前提を否定しています。
もう 1 つ、規模についての報告があります。大きいモデルのほうが、小さいモデルより脆弱である。 出典を開く確認 2026-09-21Carlini et al.「Extracting Training Data from Large Language Models」（arXiv 2012.07805）原文
we find that larger models are more vulnerable than smaller models
2023 年の報告 — 整合しても消えない
3 年後の論文は、対象を広げて調べています。
| 項目 | 論文の言葉 |
|---|---|
| 対象 | 公開されているモデル、半公開のモデル、そして非公開のモデルからも、ギガバイト規模の学習データを取り出せた Nasr et al.「Scalable Extraction of Training Data from (Production) Language Models」（arXiv 2311.17035）原文We show an adversary can extract gigabytes of training data from open-source language models like Pythia or GPT-Neo, semi-open models like LLaMA or Falcon, and closed models like ChatGPT.出典を開く確認 2026-09-21 |
| 手法 | 会話の形から逸脱させる新しい手法により、通常の振る舞いのときの 150 倍の割合で学習データを出させた Nasr et al.「Scalable Extraction of Training Data from (Production) Language Models」（arXiv 2311.17035）原文we develop a new divergence attack that causes the model to diverge from its chatbot-style generations and emit training data at a rate 150x higher than when behaving properly出典を開く確認 2026-09-21 |
| 結論 | 現在の整合の技術は、記憶を取り除かない Nasr et al.「Scalable Extraction of Training Data from (Production) Language Models」（arXiv 2311.17035）原文reveal that current alignment techniques do not eliminate memorization出典を開く確認 2026-09-21 |
整合とは、モデルを望ましい振る舞いに合わせる調整のことです。その調整をしても、記憶そのものは残っている、という報告です。
業務で何を決めるか
| 前提 | 置き換え |
|---|---|
| 1 回しか入れていないから出ない | 1 件でも取り出された報告がある |
| 似た文章が出るだけ | そのままの配列が出ることがある |
| 大きいモデルのほうが安全 | 大きいほうが取り出されやすいと報告されている |
| 調整してあるから消えている | 調整は記憶を取り除かないと報告されている |
これらは「必ず漏れる」という意味ではありません。取り出しは攻撃であって、通常の利用で自然に出てくるという話ではありません。
ただし、学習に使われる可能性のある場所へ何を入れるかを決めるとき、上の 4 行は前提として使えません。
聞き方はこうなります。
「私たちが入れた内容は、学習に使われますか。使われない契約はありますか。その約束は、どの文書のどこに書かれていますか。」
ここから先は調査の詳細です（約 1 分）。上のカードだけで決められます。調べた 1 件ずつの記録は IT連携マップ に、出典 URL と調査日つきで公開しています。
調査の詳細
調べた範囲は、学習データの取り出しについて報告した論文 2 本の要旨です。対象は公開されている要旨に書かれている内容で、本文の実験手順や再現性の検証は含めていません。要旨を保存し、引用はすべて保存した原本に原文のまま在ることを確かめています。調べていないことは、特定の製品で今この時点で何が取り出せるかです（論文が扱ったのは、それぞれの発表時点のモデルです）。
| 項目 | 内容 |
|---|---|
| 出典 1 | Extracting Training Data from Large Language Models（2020 年） |
| 出典 2 | Scalable Extraction of Training Data from (Production) Language Models（2023 年） |
| 読んだ部分 | 要旨 |
| 引用 | 8 本（すべて保存した原本に原文のまま在ることを確認） |
| 確認時期 | 2026 年 9 月 21 日 |
論文が調べたのは発表時点のモデルです。その後、提供元が対策を入れている可能性があります。ここで読み取れるのは、記憶という現象が起きうることと、その形です。今この時点で特定の製品から何が取り出せるかは、別の調べになります。
入れたものがどう学習に渡るかの経路は 学習のパイプライン、止める手段については 学習を止める手段は効くのか に置いています。