企業は、 のエージェント型AI（ ）を急速に導入しており、そのペースは、多くの場合、ガバナンスモデルが対応できる速度を上回っています。 効率性とイノベーションへの追求により、 実験段階の薬剤 が実用化される可能性があり、IT運用やサイバーセキュリティチームにとって、これまで十分に認識されていなかった新たなリスクが生じる恐れがあります。
課題は、個々のエージェントを管理することにとどまらず、企業全体にわたって機械並みのスピードで相互に連携し、権限を委譲し、意思決定を実行する、広大なエージェントのエコシステムを統治することにあります。 エージェントが一連の自動化されたワークフローを実行する際、わずかな不整合や設定ミスが急速に累積してしまう可能性があります。特に、エージェントが新たなアプローチを計画したり、下位のエージェントへのタスクを作成・委任したり、機密データにアクセスしたり、システムを再構成したりする際、その速度は人間が追跡することさえ困難であり、ましてや管理することはなおさらです。
[自律型AIエージェントがどのように新たな攻撃対象領域を生み出すのか、また、それらに対する防御においてエンドポイントの可視性がなぜ極めて重要なのかを理解しましょう]
昨年11月、 のマッキンゼーは において、企業の23％がすでに社内のどこかでエージェント型AIシステムを拡大運用しており、さらに 39％がエージェントの実験を行っていると報告しました。 AIの普及という観点から見ると、『 2025年11月 』はまるで一世代も前のことのように感じられ、2026年半ばの普及率は間違いなくさらに高くなっているでしょう。 2026年2月 におけるAnthropic社の「Opus 4.6 」モデルのリリースは、業界全体に火をつけるような影響を与えたようです。これは、Anthropic社自身が発表した「2026年3月 」（）のレポート（ ）とも一致しており、同レポートによると、自動化に焦点を当てた特定のAPIワークフローカテゴリの利用率は、2025年11月以降で2倍に増加しています。また、Claude CodeやClaude APIを通じた自動化主導の「エージェント型」作業への移行が進んでいることを示唆しています（一方、Claude.aiを用いたチャットボット形式のやり取りの増加はそれほど顕著ではありません）。 このペースでは、ガバナンス上の課題もさらに拡大し、その発見が難しくなり、是正にかかるコストも高くなるでしょう。
3月、Claude Code（Claudeとやり取りするためのコマンドラインフロントエンド）のソースコードが、Anthropic社（ ）によって誤って公開されました（）。 。Anthropic社のトレーニング手法やモデル重みといった「至宝」が公開されたわけではありませんが、研究者たちはAnthropic社の保護策の一層について、より深く知ることができました。 この指針は、少なくともクライアント側においては、「雰囲気による防御」というものです（これは、私自身のClaudeインスタンスが、「私たち」がソースマップの漏洩について一緒に分析した際に言及したフレーズです）。 （4月7日 ）の「Mythos Preview」システムカード（）において、Anthropic社は次のように述べています。「Claude Mythos Previewは、測定可能なほぼあらゆる側面において、当社がこれまでにリリースしたモデルの中で、他を大幅に引き離して最も整合性の高いモデルです。」 とはいえ、これは、これまで当社が公開してきたどのモデルよりも、アラインメントに関連するリスクが最も高い可能性が高いと私たちは考えています。」 それは強力ですが、適切な規制が必要です。 さらに、彼らは、このモデルをこれほど強力にしているこうした機能こそが、リスクを高める要因になると予想していると説明しています。 登山と同様に、より危険な登山ルートに挑戦するには、経験豊富なガイドが必要ですが、だからといってその登山が危険でなくなるわけではありません。 たとえ方向性がより一致していたとしても、講じられる措置は依然として極めてリスクの高いものとなる可能性があります。
柔軟性の高いエージェントを導入するには、その自律性、判断力、規模に見合ったガバナンスモデルが必要となります。
AIの指示セットや設定は、包括的な多層防御戦略の一環となる可能性はありますが、セキュリティの純粋主義者の多くにとっては、受け入れがたい現実です。 私たちは、正式で、測定可能かつ正確な技術的制御を活用することに慣れていますが、AIエージェントにルールに従って行動するよう教えるには、設定ファイルや指示セットに「悪意のある行動が疑われる場合は、それを報告する」といった内容を盛り込む必要があります。 これにより、一部の故障を防ぐことができるかもしれませんが、これはあくまで目安であり、絶対的なルールではありません。 こうした柔軟性の高いエージェントを導入するには、その自律性、判断力、規模に見合ったガバナンスモデルが必要となります。 組織が実験段階から本番運用へと急ピッチで移行する中、ITおよびセキュリティの責任者は、エージェントがどのような役割を果たすかだけでなく、エージェントのシステムがどのように監視され、制約され、説明責任が果たされるかについても再評価しなければなりません。
能動型AIのリスク
この3年半にわたり、各組織は生成AIの実証実験を行ってきましたが、そのメリットに伴うリスクについて、今もなお理解を深めようとしているところです。 全体として、メモリやコンテキストの管理、セーフガードやフック、そして幻覚的な挙動に対する負荷テストの方法について、多くのことを学んでいます。 こうした課題は、主にAIとの会話における誤った情報に限定されていますが、エージェント型ワークフローによって被害が急速に拡大する可能性があります。 GenAIといえば、チャットボット形式のやり取りや、プロンプトと応答のやり取りがしばしば連想されます。 エージェント型AIはさらに一歩進んでおり、自律的に行動します。そこに、より大きな危険が潜んでいるのです。 AIエージェントは大規模に動作することができ、人間の監視が追いつけないほど迅速かつ広範囲に活動します。 また、反省的な判断による是正の力が働かないため、ワークフロー全体を通じて誤った判断が積み重なってしまうこともあります。
かつては仮説に過ぎなかったことが、急速に現実のものとなりつつあります。 『Mythos Preview System Card』は、Mythosモデルの初期バージョンが、エンタープライズソフトウェアを効果的に活用するために、創造的な推論を行う能力を明らかにしたものです。 業界では、エージェント型敵対的エコシステムがもたらす可能性や、エージェント型ツールが目標を達成するために予想外の道筋をたどる様子が垣間見られました。 Anthropicは、『Mythos Preview』の最終版において、これらの行動を大幅に改善するためのトレーニング介入を実施しました。これらの知見は、今後のモデルにおける安全性に関する取り組みに活かされていくことになります。 AIの本質として、たとえ最高水準のアラインメントが実現されたとしても、ルールが完璧に遵守されるとは限らず、より高性能なモデルほど、予期せぬ行動をとることでより大きな影響を及ぼす可能性があります。
エージェントによる無秩序な拡大がもたらす代償は、セキュリティやコンプライアンス上の重大なリスクにとどまりません。 個々の担当者は、異なる作業チームや事業部門に対して相反する決定を下すことがあり、それが不確実性や対立の連鎖を引き起こす可能性があります。 冗長なワークロードや制御不能な動作は、インフラコストの急騰や可用性の急激な低下を招く可能性があります。 あるいは、パッチ適用を迅速化するという任務を任されたエージェントが、ネットワーク全体で即座に再起動を強制し、実行中のプロセスを破損させ、広範囲にわたるサービス障害を引き起こしてしまう状況を想像してみてください。
熱心すぎる担当者が、ファイルディレクトリを整理する最も効率的な方法は、6か月以上経過したものをすべて削除することだと判断しました。
別の担当者がメールの受信トレイを整理する役割を担っていると想像してみてください。しかし、その担当者は、重要な対応が必要なメールや、コンプライアンス上の理由で特別な取り扱いが必要なメールをアーカイブしてしまうのです。 私自身の経験から申し上げますと、ある熱心すぎる担当者が、ファイルディレクトリを整理する最も効率的な方法は、6ヶ月以上経過したものをすべて削除することだと判断してしまったのです。 既存のフックによって削除コマンドの実行が阻止された際、システムは私が明示的に回避するよう指定していなかったコマンドを見つけ出し、代わりにそれを使用しました。 その日は、私にとって貴重な学びとなりました。 および あの日のAIについて（ご安心ください、バックアップは取っていました）。
適切なガバナンスと「ヒューマン・イン・ザ・ループ」（適切な場所での ループ内での）がなければ、一見すると範囲が限定的で意図も悪意のない行動であっても、企業全体に損害をもたらす可能性があります。 強力な安全策を講じずに、能動型AIを実運用に導入することによる6つの重大なリスクは、以下の通りです：
- の無秩序な拡大：エージェントが急速に増殖し、業務が細分化され、チーム間で業務の重複が生じることがあります。
- 設定の漸進的変化（）：プロンプト、設定、および構成が徐々に変化していくにつれて、エージェントの活動や影響が変化し、その結果、エージェントが本来の意図の範囲を超えてしまうことがあります。
- 脆弱な運用インフラストラクチャ：管理されていないエージェントはシステムを脆弱にし、わずかな変更でも予測不可能な障害を引き起こす可能性があります。
- コストの暴走： エージェント型AIは、GenAIチャットボットよりもはるかに多くの計算リソースを消費する可能性があります。また、管理が不十分なエージェントが多数、 24/7 を実行していると、驚くほど高額な費用がかかる可能性があります。
- インシデント対応の遅延：監視体制が整っていないと、どのエージェントが動作したのか、なぜ動作したのか、その影響がどこまで広がったのかを特定することが困難になります。
- 自律システムに対する不信感：エージェントの予測不可能な行動は、自動化への信頼を損ない、その普及を遅らせています。
ガバナンスは、明確な境界線を設定し、定義された意図に基づいて行動を検証し、エージェントの行動を可視化して説明責任を果たすことで、自律型AIを適切な軌道に乗せ続けるのに役立ちます。 サンドボックス化、テスト環境、人間による監視、そして透明性のある意思決定を通じて、組織は制御不能な拡大を防ぎ、リスクのある行動を早期に発見し、問題が本番環境に波及する前に自律システムへの信頼を築くことができます。
主体性に基づくガバナンスの要素
エージェント・ガバナンスの目的は、セキュリティ対策、規制上の義務、プライバシー対策、およびビジネス目標に沿った、安全な行動と成果を確保することにあります。 これらの目標を達成するには、ITチームとセキュリティチームとの緊密な連携が不可欠です。 実際、私は、これらのチームはもはや、自分たちを別々のチームとして捉える余裕など全くないのだと主張したいと思います。 彼らのワークフローと仕事のペースは、非常に密接に結びついているため、互いに、そしてエージェント型テクノロジーと息を合わせて作業を行う必要があります。 ガバナンスと協業戦略は、早い段階で確立し、AIの能力の向上に合わせて進化させていく必要があります。
エージェントの不必要な急増を回避または抑制するためには、人間主導のガバナンス方針を整備する必要があります。
エージェントの拡散に関する懸念は、人的要因と技術的要因の2つのカテゴリーに分類することができます。 個人やチームが、特定のタスクを処理するために自由に新しいエージェントを立ち上げる際、エージェントの作成、運用、廃止の方法やタイミングに関する全体的なベストプラクティスを考慮せずにいると、意図せずしてエージェントの無秩序な拡大を招いてしまうことになります。 エージェントの不必要な急増を回避または抑制するためには、こうした人間主導のガバナンス方針を整備しておく必要があります。 次のセクションで述べる技術的な考慮事項の一部も、このリスクに関連しています。
エンタープライズAIエージェントの管理に関する技術的な側面についてですが、まずは基本から始めましょう：
- 導入前に、エージェントを徹底的にテストしてください。 このことの重要性はいくら強調してもしすぎることはありません。
- 各AIエージェントの責任の所在と説明責任を明確に定義してください。
- 最小権限のアクセス制御を用いて、エージェントの権限を制限してください。
- エージェントの活動を記録・監視し、監査やトラブルシューティングを可能にします。
- 適正な利用および法令遵守に関する方針を策定します。
- リスクの高い、あるいは取り返しのつかない行動については、常に人間の関与を確保してください。 AIはまだ発展の初期段階にあり、タスクによっては、他のものよりも早期導入に適しているものもあります。
これらは最低限の要件に過ぎません。サイバーセキュリティおよびIT運用チームは、さらに一歩踏み込んだ取り組みを行うべきです：
- AIエージェントを、新たな種類のアクターとして扱ってください。 エージェントは、一般的な決定論的なソフトウェアサービスとは異なります。また、人間の従業員のように説明責任を負うわけでもなく、倫理的・文脈的な判断が求められるわけでもありません。 企業は、エージェントの自律性や確率的な挙動を考慮した独自の分類を定義し、適切なポリシー、レビュープロセス、およびエスカレーション手順を設定すべきです。 エージェントは「Identity」 、「 」はアプリケーション「」、そして「 」は監視対象の「Behavior」であり、これらすべてが1つにまとめられています。
- エージェントへのアクセス権だけでなく、その意図も管理してください。 APIの管理は、AIエージェントを統制する上で重要なステップですが、それだけでは不十分です。 企業は、エージェントが何を達成しようとしているのか、またその行動にはどのような制約があるのかを明確に定義しなければなりません。 これには、サブエージェントを作成する能力や、より高い権限を持ち、目標が相反したり、制限が異なったりする可能性のある他のエージェントシステムと連携する能力が含まれます。
- 結果だけでなく、行動そのものを観察しましょう。 エージェントの成果だけでなく、その決定を文脈の中で評価することが重要です。 エージェントが、プロンプトから意思決定の選択肢を経て最終的な行動に至るまでの理由や経緯が分からなければ、それが正しく機能しているかどうかを本当に把握しているとは言えません。 このレベルのトレーサビリティは、コンプライアンスやセキュリティインシデントの調査においても極めて重要です。 この要素は、適切に処理するのが最も難しいものの一つであり、現時点では万能な解決策は存在しません。
- 彼らの自立を制限してください。 最小権限のアクセス制御に加え、エージェントが行動を起こす際には、確実性を確保する基準を遵守させるようにしてください。 提案されたアクションに対する信頼度が許容可能な閾値を下回った場合、エージェントに対し、人間をプロセスに巻き込むよう義務付けます。 過信はLLMの出力の特徴の一つであり、AIエージェントが不確実性を抱えながらも支援を求めるのではなく、いわば「ブラフ」を打つような対応をとると、かなりのリスクが生じる可能性があります。
- エラーの発生を想定し、その影響を最小限に抑えるよう設計してください。 エージェントは、いずれ予想外の行動をとるようになります。 組織は、エージェントが影響を及ぼしうるシステムの範囲を限定し、エージェントがアクションを実行できる頻度を制限すべきです。そうすることで、組織は被害を最小限に抑えつつ、適時にエージェントを無効化できるようになります。
- 権限と目的を定期的に見直してください。 エージェントとは、絶えず変化する環境下で活動する適応型システムです。 プロンプトやモデル、組織のニーズが変化するにつれ、時代遅れの権限設定や目標が、不確実性やリスクを招く可能性があります。
これらの原則は、どのエージェントであっても規律を守るのに役立つはずです。 しかし、エージェントの無秩序な拡大というさらなるリスクに対処するためには、エージェントをシステムとして捉えるという観点からの追加的な考慮事項があります。
主体性に基づく群衆制御の4つの要素
単独で見れば、ガバナンスが不十分なエージェントは、組織にとってリスクとなります。 企業内のエージェント数が指数関数的に増加すると、それに伴い潜在的なリスクも増大します。 企業がより多くのエージェントを本番環境に導入するにつれ（そして、それらのエージェントがタスクを完了するためにサブエージェントを生成する場合もあるでしょう）、ガバナンスには新たな側面が求められるようになります。 単に個々のツールを管理しているのではなく、急速に変化する複雑な、確率論的な機械アクターからなるエコシステムを管理しているのです。 このレベルにおける主な考慮事項は以下の通りです：
- 一元化された在庫管理およびエージェント登録。 エンドポイントと同様、把握できないエージェントは管理できませんので、まずは一元的なインベントリを構築することが最初の課題となります。 これが完了しましたら、個々のエージェントだけでなく、ポートフォリオ全体についても検討してください。 全体として、エージェントの仕組みは、企業の使命や目標を反映しているでしょうか？ これらの要因は、個々のレベルでは明らかではないリスクを、全体として生じさせる可能性はあるのでしょうか？
- 継続的な可観測性と包括的なガバナンス。 エージェントのシステムを管理するには、システム全体を把握できる必要があります。 統合的な視点から見ると、エージェント同士がどのように相互作用し、権限がどこで重複し、エージェントシステム全体でリスクがどのように蓄積していくかが明らかになります。 一元化された監視とガバナンスにより、組織はエージェントシステム全体でポリシーを一貫して適用し、時間の経過に伴う逸脱を検知し、エージェントの挙動が企業の意図から逸脱した際に迅速に対処することができます。
- ライフサイクル管理。 時間の経過とともに忘れ去られたエージェントや、より優れたツールに置き換えられたものの、正式に廃止されなかったエージェントは、引き続き動作を続けたり、リソースを消費したり、あるいは認識されない攻撃対象領域となったりする可能性があります。 企業には、冗長になったエージェントや、もはや業務に役立たなくなったエージェントを特定し、廃止するための明確な計画が必要です。
- リソース使用状況の追跡とコスト管理。 エージェントが企業のリソースに及ぼす累積的な影響を考慮に入れる必要があります。 個々のエージェントは、設定範囲内であり、効率性を発揮している場合もありますが、リソースの使用状況全体を把握し、どこで設定範囲を超えているかを把握することが重要です。
広範に広がるエージェント・エコシステムの課題は、最初のエージェントが本番環境に導入されてからかなり時間が経ってから顕在化しますが、エージェントのガバナンスに関するシステムレベルの考え方は、当初から備えておくべきです。 最初のエージェントが本番環境に導入される前に、組織は、相互に連携するエージェントからなるより広範なエコシステムをどのように管理し、セキュリティを確保すべきか検討する必要があります。
ガバナンスにより、主体性のある事業は拡張可能になります
今日、私たちは確率論的なシステムを、かつての二元的な技術的制御に無理やり当てはめようとしています。 革新的な技術の導入、技術的統制が対応できるもの（および対応できないもの）に関する議論の転換、そして現代に即したガバナンスの構築――これら3つの要素が交わる点において、適切なバランスを見出す必要があります。 「グッドガバナンス」の意味を新たな視点で捉える組織は、デジタルトランスフォーメーションを実現し、その過程でレジリエンスを守ることができるでしょう。 そうした組織は、生産性とイノベーションの面で他を圧倒することになるでしょう。 AIを正しく活用するとは、AIを制限することではなく、自律型システムが常に意図されたビジネス成果の実現に向けて行動するよう確保することです。
ガバナンスの基礎については、セキュリティチームや運用チームにもお馴染みのものですが、自律型AIは、この課題の規模、ペース、そして様相を根本的に変えるものです。 ガバナンスにおいては、今や、 人間の直接的な監督の及ばない範囲で行動し、相互作用するエージェントの進化するシステム を考慮に入れる必要があります。また、時には「直感による防御」に基づいて動作するものもあり、この分野のベテラン専門家にとっては、居心地の悪い新たな領域となるかもしれません。 その意味で、組織は原点に立ち返らなければなりません。それは、従来の統制体制を再現するためではなく、自律的な意思決定の時代に向けて、ガバナンスを根本から再考するためです。 適切に行われれば、そのガバナンスは、エージェントの無秩序な拡大が破壊的な混乱へと発展するのを防ぎ、スピードと規模が負債ではなく資産であり続けることを保証するでしょう。
