AI時代のセキュリティのあるべき姿　生成AIへの入力・プロンプトインジェクション・AIエージェントに企業はどう備えるか

IPA が2026年1月に公表した「情報セキュリティ10大脅威 2026」（組織編）で、「AIの利用をめぐるサイバーリスク」が初めて選ばれ、3位となりました。1位のランサム攻撃、2位のサプライチェーン攻撃に次ぐ位置です [1]。

AI のセキュリティは、従来の「外からの攻撃を防ぐ」だけでは足りません。当サイトでは、企業が備えるべきリスクを次の3つに分けて考えています。

1. 入力する情報：社員が生成AIに入力した情報が、意図しない形で使われるリスク
2. AIが読む情報：AI が読み込んだ文書やウェブページに仕込まれた指示で、AI の動きを乗っ取られるリスク（プロンプトインジェクション）
3. AIに与える権限：メール送信やデータ更新などを任せた AI エージェントが、想定外の操作をするリスク

特にプロンプトインジェクションについては、確実に防ぐ方法があるかは不明とされています [3]。そのため、「どこまで AI に任せるか」を決めるルール（AIガバナンス）と、技術的な対策を組み合わせることが、あるべき姿だと当サイトでは考えます。

1. 入力する情報：個人情報を入れる前に確認すること

個人情報保護委員会は、2023年6月2日に「生成AIサービスの利用に関する注意喚起等」を公表しています [2]。企業（個人情報取扱事業者）に向けた注意点は、次の2つです。

• 個人情報を含むプロンプト（AIへの指示文）を入力する場合は、その個人情報の利用目的を達成するために必要な範囲内かを十分に確認すること
• 本人の同意なく個人データを入力し、そのデータが回答の作成以外の目的で使われる場合、個人情報保護法に違反する可能性がある。そのため、AIサービスの提供事業者が、入力したデータを機械学習に使わないことなどを十分に確認すること

一般の利用者に向けても、入力した個人情報が AI の学習に使われ、不正確な内容を含めて出力されるリスクがあると注意を促しています [2]。

企業として決めておくべきことは、「どの AI サービスに」「どの種類の情報までなら」入力してよいかです。たとえば、学習に使わない設定や契約を確認できたサービスに限って社内資料の入力を認め、個人データの入力は原則として禁止する、といった線引きが考えられます。

2. AIが読む情報：プロンプトインジェクション

プロンプトインジェクションは、AI への入力によって、AI の振る舞いや出力を意図しない方向に変えられてしまう脆弱性です。セキュリティの国際的なコミュニティ OWASP は、大規模言語モデル（LLM）を使うアプリのリスク一覧「OWASP Top 10 for LLM Applications 2025」で、これを**1位（LLM01）**に置いています [3]。

特に注意が必要なのは、間接的なプロンプトインジェクションです。OWASP は、AI がウェブサイトやファイルなど外部の情報を読み込んだとき、その中に仕込まれた指示によって動きが変えられてしまうものと説明しています [3]。人の目には見えない形で仕込まれていても、AI が読み取れれば成立します [3]。

社内の文書を読み込んで答える AI（RAG）や、ウェブを調べて要約する AI は、まさに外部の情報を読み込む仕組みです。OWASP は、RAG やファインチューニングでもプロンプトインジェクションは完全には防げないとしています [3]。

OWASP は、生成AIの性質上、確実に防ぐ方法があるかは不明としたうえで、被害を小さくする対策として次のものを挙げています [3]。

• AI の役割・できること・制限をシステムの指示で明確にする
• 出力の形式を決め、プログラムで検証する
• 入力と出力をフィルタで確認する
• AI に与える権限を必要最小限にする
• 影響の大きい操作の前に、人の承認を必須にする
• 外部から読み込んだ情報を、信頼できない情報として区別する
• 攻撃を想定したテストを定期的に行う

3. AIに与える権限：AIエージェント

AI エージェントは、AI が自分で判断して、メールの送信、ファイルの操作、システムの更新などを行う仕組みです。便利な反面、プロンプトインジェクションと組み合わさると、乗っ取られた AI が、与えられた権限の範囲で実際に操作をしてしまうおそれがあります。

OWASP は、これを「Excessive Agency（過剰な権限）」として同じ一覧の6位（LLM06）に挙げ、原因を次の3つに分けています [4]。

原因	OWASP が挙げる例 [4]
機能が多すぎる	文書を読むだけでよいのに、使った拡張機能に変更・削除の機能まで含まれていた
権限が強すぎる	データを読むだけの機能が、更新・追加・削除までできる権限でデータベースにつながっていた
自律性が高すぎる	利用者の文書を削除できる機能が、確認なしに削除を実行した

対策として OWASP は、使わせる機能を最小限にする、権限を最小限にする、操作はその利用者の権限で行う、影響の大きい操作は人が承認してから実行する、といった方法を挙げています [4]。

国内では、総務省と経済産業省の「AI事業者ガイドライン」が、2026年3月31日公表の第1.2版で、AI エージェントに関するリスクや留意すべき事項を追記しました [5]。また、2025年6月4日に公布された AI法（人工知能関連技術の研究開発及び活用の推進に関する法律）は、9月1日に全面施行されています [6]。

企業が決めておくべきこと

ここまでの一次情報をもとに、当サイトで整理した確認項目です。

決めておくこと	具体的な内容	根拠
入力してよい情報の範囲	サービスごとに、入力してよい情報の種類（公開情報／社内資料／個人データ）を決める。学習に使われない設定・契約を確認する	[2]
AI が読み込む情報の扱い	外部のウェブページ・受信したメール・添付ファイルを、信頼できない情報として扱う	[3]
AI に与える権限	読むだけでよい処理には読み取りの権限だけを与える。使わない機能は外す	[3][4]
人が承認する操作	送信・削除・支払い・公開など、取り消せない操作は人の承認を必須にする	[3][4]
評価・テスト	攻撃を想定したテスト（レッドチーミング）を、導入前と定期的に行う	[3][7]
社内の体制	誰がルールを決め、誰が例外を承認し、事故が起きたら誰に報告するかを決める	[5]

評価・テストについては、日本の AI セーフティ・インスティテュート（AISI）が「AIセーフティに関するレッドチーミング手法ガイド」（第1.10版、2025年3月31日）や「AIセーフティに関する評価観点ガイド」（第1.20版、2026年7月7日）を公開しています [7]。

外部の支援を検討する場合：当サイトの掲載状況

社内だけで体制を作るのが難しい場合は、AI ガバナンスやセキュリティの支援を行う企業に相談する方法があります。

当サイトで「AIガバナンス・セキュリティ」を掲げている企業として掲載しているのは 24社です（2026年10月22日時点）[8]。

• 掲げている領域が3つ以内の企業は 11社、残る13社は4つ以上の領域を掲げています。AI ガバナンス・セキュリティを主力とする企業か、提供サービスの一つとして扱う企業かは、発注前にご確認いただくことをおすすめします
• 料金の公開の有無を判断できた9社のうち、料金を公開している企業は 6社です
• 実績を公開している企業は 19社です

掲げている領域が3つ以内の11社は、次のとおりです（掲載順）。

• 株式会社Citadel AI
• 株式会社ChillStack
• NRIセキュアテクノロジーズ株式会社
• インキュデータ株式会社
• GMOサイバーセキュリティ byイエラエ株式会社
• 三井物産セキュアディレクション株式会社
• AIセキュリティ株式会社
• KPMGコンサルティング株式会社
• プロティビティ合同会社
• 株式会社ラック
• EYストラテジー・アンド・コンサルティング株式会社

当サイトは各社から掲載料を受け取っておらず、順位付けは行っていません。掲載内容は、各社の公式サイトで確認できた事実に限っています。24社の一覧は AIガバナンス・セキュリティを掲げている企業の開示状況 をご覧ください。AI エージェントの開発を依頼する場合は、AIエージェント開発を掲げている企業の開示状況 もあわせてご確認ください。

相談する際は、次の点を確認すると比較しやすくなります。

• 支援の範囲（ルール作り・体制づくり・技術的な診断・テストのどれを含むか）
• プロンプトインジェクションや AI エージェントの権限についての診断・テストに対応しているか
• 料金の目安と、実績として公開している事例

よくある質問

社員の生成AIの利用を禁止すれば、リスクはなくなりますか

禁止しても、私物の端末や個人のアカウントで使われると、会社として把握できないまま情報が入力されるおそれがあります。当サイトでは、使ってよいサービスと入力してよい情報の範囲を決めて、認めた範囲で使えるようにするほうが、管理しやすいと考えます。

プロンプトインジェクションは、AI の製品を選べば防げますか

OWASP は、生成AIの性質上、確実に防ぐ方法があるかは不明としています [3]。製品の対策に加えて、AI に与える権限を小さくし、影響の大きい操作は人が承認する仕組みを組み合わせることが、被害を小さくするうえで重要です [3][4]。

AI のセキュリティについて、守らなければならない法律はありますか

個人情報を入力する場合は、個人情報保護法の規律に従う必要があります [2]。また、AI法（2025年9月1日全面施行）は、イノベーションの促進とリスクへの対応を目的とし、国・地方公共団体・事業者などの責務を定めています。事業者については「国等の施策に協力しなければならない」とされています [6]。具体的な取り組みの指針としては、AI事業者ガイドライン [5] が参考になります。個別の判断は、弁護士などの専門家にご相談ください。