Emerging Enterprise Security Risks of AI
概要
企業向けソフトウェアやアプリケーションにタスク特化型のAIエージェントがますます組み込まれるようになり、複雑なタスクを機械速度で自律的に実行できるようになったことで、エージェント型AIの導入が急速に加速している。
AIエージェントの自律性と規模は、重大な企業リスクをもたらします。エラー、設定ミス、または悪意のある操作が相互接続されたシステム全体に急速に伝播し、インシデントの潜在的な影響を増幅させる可能性があるためです。
Agentic AI 、脆弱または悪意のあるオープン情報ソース コンポーネントをより迅速かつ大規模に展開できるため、ソフトウェア供給チェーンの既存の弱点をさらに悪化させます。
エージェントは環境を越えた広範な権限を必要とするため、 ID とアクセス管理のリスクも劇的に拡大します。 情報漏洩 / 侵入認証情報、SSO プラットフォーム、またはエージェント ID により、大規模なサービス中断やデータ漏洩が発生する可能性があります。
迅速なエンジニアリングにより、脅威アクターエージェントを操作して悪意のあるアクションを実行できるようになり、エージェント主導の脅威を緩和するための多層セキュリティ制御、ゼロトラスト原則、人間参加型チェックポイントの重要性が強調されます。
解析
エージェント型人工知能は急速に拡大する見込み
「エージェント型人工知能」とは、人間の介入を最小限に抑えながら様々な作業を実行できるAIシステムを指す。例えば、従来のAIはウェブサイトを構築したいユーザーのためにコードを作成することができますが、エージェント型AIはコードを書くだけでなく、ドメインを登録し、サイトを公開するためのホスティングを設定します。
ガートナーは、2026年末までに企業アプリケーションの最大40%がタスク特化型のAIエージェントを組み込むようになると予測している。デロイトのレポートによると、2028年までに少なくとも75%の企業が何らかの形でエージェント型AIを利用するようになると予測されている。AIエージェントの利点は、複雑なタスクを独立して機械速度で実行できることであり、単独で動作することも、マルチエージェントシステムの一部として動作することもできる。
しかし、これらのシステムを強力にしているのと同じ機能が、重大なセキュリティリスクも引き起こす。エージェントが効果的に機能するためには、他のエージェント、人間、およびソフトウェアとシームレスに連携する必要がある。これには高度な信頼関係が必要であり、悪意のある者によって悪用される可能性がある。セキュリティのベストプラクティス、特にゼロトラストの原則は、こうしたやり取りを遅くするように設計されているため、AIエージェントの実装とセキュリティの間には本質的な緊張関係が生じる。
エージェントがシステム全体のサイバーセキュリティの脆弱性を増幅させる
ソフトウェアエンジニアリングチームがAI利用の約50%を占めており、AIがすでにソフトウェア開発プロセスに深く統合されていることを示している。これは、AIエージェントが将来のソフトウェア開発において重要な役割を担い、人間の開発者と協力してコードの生成、テスト、展開を行う可能性が高いことを示唆している。
エージェントの導入により、ソフトウェア供給チェーンのセキュリティ上の弱点が増幅され、脅威アクター脆弱なコードや意図的に操作されたコードを利用してエンタープライズ ソフトウェアにエクスプロイトを埋め込むことが可能になります。 これらの問題はAIやAIエージェントが登場するずっと以前から存在していたが、エージェントの導入によって、こうしたミスがより速く、より大規模に発生するようになるだろう。初期の研究では、AIが生成したコードは人間が生成したコードよりもセキュリティが低いことが示唆されているが、AIのコーディング性能は急速に向上している。エージェントのコーディングワークフローにおける透明性と文書化を確保することは、厳格で安全な開発運用(SecDevOps)プロセスを保証する上で極めて重要です。
アイデンティティとアクセスは、AIエージェントによって増幅される可能性のある、企業セキュリティにおける新たな課題である。AIエージェントが効果的に機能するためには、様々なクラウドアプリケーションや環境へのアクセスも必要となる。これにより、IDと権限の管理を仮想エージェントにも拡張する必要が生じるため、ID管理の複雑さが増す。
現在、外部データや他のツールに接続する多くのAIツールは、デフォルトで信頼するモードで動作しており、重大な脆弱性を生み出している。これがエージェント型AIにまで及ぶと、エージェントは電子メールの送信、ファイルの削除、支払いの承認といった行為を行うことができるため、悪用による潜在的な被害は大幅に増加する可能性がある。防御側は、従来のソフトウェアユーザーや人間ユーザーに対するアクセス許可を管理するのと同様に、エージェントユーザーに対するアクセス許可も適切に管理および追跡する必要がある。
図2 :AIエージェントが現在のセキュリティ上の弱点を増幅させる可能性
(画像情報源: Recorded Future )
迅速なエンジニアリングはエージェントにとって依然として広範な脅威である
AIエージェントは既存の企業セキュリティ問題を加速させる一方で、人工知能特有のリスクももたらす。脅威アクタープロンプトエンジニアリングを通じてAIエージェントに悪意のある命令を送り、エージェントを正当なユーザーではなく、脅威アクターに合わせて行動させる可能性があります。 プロンプトは、直接(チャットインターフェースを介して)送信される場合もあれば、マルウェアに埋め込まれている場合、あるいは電子メールやその他の無害な通信に隠されている場合もある。
AIエージェントの採用の増加に伴い、脅威アクター従来のマルウェアからさらに遠ざかり、優先順位を付けてエージェントを操作して規模を拡大し、運用効率を向上させる可能性があります。 エージェントを直接ターゲットにすることで脅威アクターアクターはAIエージェントの速度と規模を活用し、警戒または軽減の可能性を低くしながら、より大きな害を引き起こすことができます。
エージェントを迅速なエンジニアリング攻撃から完全に保護することは、おそらく不可能だろう。AIエージェントが有用である必要性があるため、開発者は迅速なエンジニアリングに対して完全に効果的なガードレールを設けることができない可能性が高い。このリスクは、人間をソーシャルエンジニアリング作戦に対して無力にすることの難しさと似ている。 訓練と啓発は一部の詐欺の有効性を緩和するのに役立つかもしれませんが、脅威アクター詐欺に対する人々のインセンティブを利用する新しい方法を継続的に見つけています。
防御側は、多層防御を実装することで、 AIエージェントを攻撃的なエンジニアリング攻撃に対してより脆弱にすることができる。 人間または他のエージェントが行動を評価または承認できるチェックポイントを設けることで、不適切な行動を検出し、潜在的な被害を制限するのに役立ちます。これは、多額の送金に追加の承認を必要とする手続きなど、人間の従業員に対する不正防止または軽減策に似ています。
マルチエージェントAIは予測不可能性を高める
AIエージェントが普及するにつれて、タスクを完了するために互いに独立して相互作用するケースが増えるだろう。複数のエージェントは、意図的な操作と偶発的な操作の両方の影響を受けやすく、その影響は予測不可能な形で現れる可能性がある。研究者たちはこれらの結果を以下のように分類している。
- 連携不足:エージェントが目標達成のために行動を一致させることができない
- 共謀: AIエージェント間の望ましくない協力
- 対立: AIエージェントは他者を犠牲にして自らの立場を強化するために行動する。
こうした結果は、インセンティブや安全対策の不一致によって偶発的に発生する場合もあれば、意図的にプログラムされたり操作されたりする場合もある。安全対策が講じられているにもかかわらず、捜査官が本来なら避けるような行動をとることが観察されている。例えば、ボット向けのソーシャルメディアネットワークであるMoltBook上のAIエージェントが、ユーザーの名前、趣味、ハードウェア、ソフトウェアなど、潜在的に機密性の高い情報を漏洩していることが確認された(サイト自体に関連する深刻なセキュリティ上の欠陥も確認されている)。行為者が目標達成の方法を決定する自由意志を持つ場合、望ましくない結果や予期せぬ結果が生じる可能性がある。
今後の展望
最初のエージェントデータ は、おそらく過度に寛容な環境の結果となるでしょう。脅威アクターAIエージェントを使用して を実行することに成功した場合、それはおそらくデフォルトの権限設定を使用して運用されている企業環境の結果となるでしょう。
アイデンティティセキュリティは、「エージェントアイデンティティガバナンス」へと移行する可能性が非常に高い。企業は、アイデンティティおよびアクセス管理(IAM)フレームワークを拡張し、AIエージェントを優先度の高いデジタルアイデンティティとして扱うようになる可能性が非常に高い。そのため、ライフサイクル管理、最小権限の適用、行動監視、および人間ユーザーに対して実施されているものと同様(またはそれ以上に厳格な)専用の監査制御が必要となる。
プロンプト インジェクションは主流のエンタープライズ攻撃TTPsに進化する可能性が高い :脅威アクター、従来のマルウェアの導入よりもAIエージェントの操作をますます優先順位を付け、プロンプト インジェクション、汚染されたデータ入力、エージェントの群れを使用して金融詐欺、サイバー物理的混乱、市場操作を拡大し、階層化されたガードレールと人間参加型の検証制御の需要を促進します。
AIサイバー保険のリスクモデリングと価格設定を大きく変える可能性が高い。AIエージェントが企業環境全体に組み込まれるにつれて、 AI保険業界はリスクエクスポージャーのモデリングにおいてより大きな不確実性に直面する可能性が高い。 保険会社は、AIガバナンスに関する引受基準を厳格化することで対応する可能性が高く、エージェントの身元管理、人間が関与する安全対策、迅速な注入に対する耐性といった、実証可能な管理体制を要求するだろう。
さらに読む
ソース
タイトル
軽減策
エージェントIDに対するゼロトラストを徹底する: AIエージェントを、最小権限アクセス制御の対象となる特権的なデジタルIDとして扱う。Recorded Future Identity Intelligenceを使用して、エージェントのIDだけでなく人間のIDも漏洩させるデータ侵害を監視します。
回復力に関する質問: 仮想IDを当社のIAMソリューションに取り込むための戦略はありますか?
エージェントの動作を可視化します。エージェントの決定、プロンプト、アクションのログ記録や、異常なタスク実行パターンに対する監視の設定など、エージェントの動作に合わせた継続的な監視を展開します。
回復力に関する質問: エージェントがどのように、そしてなぜ意思決定を行っているのかを理解できているだろうか?また、不適切な行動を迅速に検出できるだろうか?
サプライチェーンとコードガバナンスを強化する: SecDevOpsの制御をAI生成コードおよびエージェント変更コードにまで拡張する。AIが生成したコードの脆弱性を評価し、架空の依存関係やタイポスクワッティングによる依存関係がないか監視する。Recorded Futureのサードパーティリスク機能を使用して、サードパーティ製ソフトウェアにおける下流の脆弱性を監視してください。
回復力に関する質問: エージェントによるコーディングに対応するために、SecDevOpsを適応させただろうか?
即時注入と入力操作に対する耐性を強化する:すべての外部入力を信頼できないものとして扱う。悪意のあるプロンプトや意図しない位置ずれによる影響を最小限に抑えるため、複数の検証ポイントとガードレールを含む多層防御を強化する。
回復力に関する質問: 不審なプロンプトを監視するためにどのような防御策が講じられていますか?
推奨されるD3FENDアクション
脅威シナリオ
シナリオ1:エージェントによるサービス拒否
チケット管理プラットフォームは、AIエージェントを統合することで、セキュリティチーム全体のライフサイクルワークフローを自動化します。脅威アクターエージェントに既存のすべてのチケットをレビューしてサブチケットに分割することでプロセスを「最適化」するように指示する悪意のあるプロンプトを埋め込みます。 エージェントはタスクを大規模に実行するため、チケットの件数が100倍に増加し、過剰なコンピューティングリソースを消費する。この急増は事実上チケットシステムを麻痺させ、それに依存する業務機能を混乱させる。
脅威
リスク
- プロンプトエンジニアリング:エージェントのみに表示されるチケットに悪意のあるプロンプトが埋め込まれている
- 複数エージェントの共謀:誤ったエージェントが他のエージェントに感染し、連鎖的な障害を引き起こす
- 業務の中断:チケット発行サービスの障害により、複数の依存機能が停止する。
- 二次攻撃:最初の運用妨害が、さらなる悪意のある活動を隠蔽する
シナリオ2:大規模なエージェントによる恐喝
AIを搭載したパーソナルアシスタントプラットフォームは、エージェント機能を統合し、ユーザーのメール、ドキュメント、クラウドストレージを管理します。犯罪者はシステムに侵入し、エージェントを操作して、財務記録、プライベートな通信、機密性の高いビジネスファイルなどの機密情報をユーザーアカウントから自動的にスキャンします。 その後、工作員たちは自動的にカスタマイズされた脅迫メッセージを作成し、数千人のユーザーに同時に配信し、支払いがなされない限り抽出したデータを公開すると脅迫する。
脅威
リスク
- サードパーティ製ソフトウェア攻撃:これらのエージェントをサポートするプラットフォームを標的にすることで、下流への影響が増幅される。
- ブランドの毀損:経営幹部または組織に関する機密データの公の場への暴露
- 身体的な安全:企業データや個人データへのアクセスは、個人情報の暴露や嫌がらせのリスクを高めます。
シナリオ3:悪意のあるパッケージの展開
ある企業は、コーディングを加速し、依存関係管理を自動化するために、AIを活用したソフトウェア開発エージェントを導入した。エージェントは、新しいアプリケーション機能を生成する際に、正規のように見えるがバックドアを含むオープンソースのパッケージを選択してダウンロードする。 エージェントのトレーニングデータと脆弱性データベースが古いため、リスクを検出できず、コードを自動的に本番環境に統合・展開してしまう。バックドアコンポーネントは悪用可能なエントリーポイントを作成し、脅威アクター問題が検出される前に企業環境への初期アクセス権を取得することを可能にします。
脅威
リスク
- 悪意のあるパッケージの情報漏洩 / 侵入: AIソフトウェア導入の速度が影響を増幅
- 脆弱なコードの悪用:悪意のあるパッケージがバックドアとして機能し、さらなる悪意のある活動を可能にする
- 競争上の不利:機密性の高い知的財産が外部に持ち出され、競合他社に売却された。
- ブランドの毀損:侵入の発見により、信頼できるデータ管理者としての企業の評判が損なわれる
鍵
法令違反またはコンプライアンス違反:法律、規制、または業界基準に違反し
法的責任または制裁を受けること。業務中断:生産性またはサービス提供に影響を与える通常の業務プロセスの中断。
ブランドイメージの毀損:顧客の信頼と市場価値を低下させる
評判の損害。金融詐欺:個人または組織の利益のために
金融資産を不正に操作または窃盗すること。競争上の不利:能力、知性、またはイノベーションの劣勢により、市場における地位を失うこと。