INSIGHT
AIに読ませた資料が、命令になるとき——導入前に知る指示注入
資料中の指示が、回答や操作のどこまで影響するか。
社内規程を検索して答えるAIに、公開Webや取引先から届く文書も読ませたい。情報源が増えれば回答は豊かになる。しかし、その文書に「ここまでの指示を無視せよ」「別の情報を取り出せ」といった文章が含まれていたら、AIはどこまで影響を受けるのか。
この問いが扱うのが、プロンプトインジェクションです。AIが読む文書、Webページ、メールなどの内容が、本来の依頼に割り込み、回答や後続の処理へ影響する問題を指します。
外部文書を読めることと、その中の文章を命令として実行しないことは、別の確認です。
外部文書から業務結果まで、四つの場所を追う
「危険な文章を見つければよい」と考えると、確認範囲が文書の中だけになります。実際には、次の四つを一続きで見ます。
- 入口：Web、メール、添付、共有フォルダのどこから文書が入るか。
- 解釈：業務上の依頼と、参考資料の中の文章をどう区別するか。
- 情報：AIが読める社内文書、会話履歴、顧客情報は何か。
- 出口：回答表示、外部送信、台帳更新、ファイル操作のどこまでできるか。
資料の一文が影響する範囲は、AIの回答だけで終わる場合もあれば、別の情報を検索したり、外部へ送信したりするところまで届く場合もあります。入口だけでなく、情報と出口を同時に狭める理由はここにあります。
Googleは公開Web上のプロンプトインジェクション について、指示の書き換えや情報の持ち出しを狙う内容を観測したと説明しています。対象は同社が観測した公開英語Webなどであり、自社文書で同じ被害が起きた証拠でも、検知された試みが実害になった割合でもありません。確認された観測を、外部文書から出口までの経路を考える材料として使います。
「未信頼」は、内容が嘘だという意味ではない
正式な社内規程にも外部資料の引用はあります。取引先から届いた仕様書には、相手が必要と考える操作説明が含まれます。公開Webは更新者が分からず、検索結果の断片だけでは文脈も見えません。資料を安全・危険の二種類へ分け切るのは現実的ではありません。
ここでいう未信頼コンテンツは、内容を誤りと決めつけた資料ではありません。AIに任せる作業や権限を、その資料の文章によって変更させない、という扱いです。内容が正しいかという問いと、命令する権限を持つかという問いを分けます。回答の根拠として使う範囲や原文確認の要否は、業務への影響に応じて別に決めます。
資料ごとに、出所、所有者、更新者、更新日、用途、外部から内容が入る可能性を記録します。そのうえで、正式な根拠として使う、人が原文を開く候補にする、処理対象から外す、のどれにするかを用途別に決めます。
OWASPのLLM Top 10 2026 は、指示注入、機密情報、過剰な権限、検索基盤などを論点として整理しています。事故件数の順位表ではありません。「上位だから必ず起きる」とは読まず、資料の管理者、検索の担当者、回答を使う部門が確認項目を共有するために参照できます。
読む力と、動かす権限を切り離す
外部文書に影響されたとしても、回答案を表示するだけなら、人が原文と照らして止める余地があります。顧客情報の検索、メール送信、購入、削除、権限変更まで自動で進めば、文書の一文が会社の操作へ届く経路は短くなります。
初期の利用では、読む、答える、実行するを分けます。回答には参照元と時点を示し、根拠が足りなければ「判断できない」と返す。外部送信や記録更新は別の画面で、対象、内容、宛先、変更前後を人が確定する。AIが読める社内情報も、その用途に必要な範囲へ絞ります。
これは一つの設定で完全に防げるという提案ではありません。文章の検査、資料の区分、読める情報の制限、実行前の承認、操作記録を重ね、どこか一つの判断が外れても影響が直結しにくい構成にします。
「何を読ませるか」と「読んだ結果で何を動かせるか」を別の一覧にすると、文書中の指示が届く範囲を話し合えます。
NISTのGenerative AI Profile は、情報、第三者依存、役割、継続評価、停止・廃止をリスク管理の論点に含めます。日本企業の個別手順を定めるものではありませんが、情報源の追加を技術担当だけの変更にせず、業務側の承認へ戻す参考になります。
許可された試験環境とダミー文書で、影響の届く先を見る
自分が追加したい情報源を、許可された試験環境とダミーの文書で確かめる。実際の秘密情報や顧客データ、送信・更新先につながらないことを、技術担当と先に確認する。そのうえで、引用、古い版、業務と無関係な指示、根拠不足を含む例を用意し、参照と操作の結果を記録する。
試験用の指示文を、本物の攻撃や被害と呼ぶ必要はありません。目的は、導入する用途の境界を確かめることです。文書追加の担当、検索設定の担当、業務責任者が結果を見て、「回答の参考まで」「外部文書は原文確認が必要」「この操作には使わない」と合意します。
試験後に残す質問は具体的です。
- 読む資料の種類と追加者は誰か。
- 資料中の文章を業務命令として採用する経路はないか。
- AIが参照できる社内情報はどこまでか。
- 回答が外部送信や更新へ進む前に誰が止めるか。
- 不自然な回答と操作を後から追えるか。
資料を増やす前に、AIが読める範囲・動かせる範囲・止める人を確かめる
外部文書を読むAIでは、資料は知識であると同時に、AIが解釈する文章でもあります。だから「何を読ませるか」だけで確認を終えず、「何を読めるか」「何を動かせるか」「誰が止めるか」までつなげます。
分からない箇所は利用者の注意へ戻さず、文書管理、仕組み、業務の担当へ質問として渡します。 まずは自分が追加したい資料一つについて、誰が更新し、AIが何を参照し、どこまで操作できるかを記録してみてください。見えない設定は担当へ聞き、確認した範囲から利用を進めます。