生成AI技術はすでに、時代の先を行く一部の企業において、売上、顧客サービス、マーケティング、自動化の面で大きな成果をもたらしており、その他にも数え切れないほどの企業が、新年度からの生成AI導入に向けて従業員の準備を進めています。 生産性の飛躍的な向上という期待は非常に魅力的ですが、企業はAIを導入する際にどのようなリスクを負うことになるのかを理解する必要があります。また、サイバーセキュリティにおけるAIの役割についても把握しておく必要があります。 。
他のあらゆるネットワーク接続型デジタル技術と同様に、GenAIの大規模言語モデル（LLM）、その学習に用いられるデータ、そしてそれらを利用する従業員は、 データ漏洩や攻撃を引き起こす可能性があります。。 実際、すでにいくつかの衝撃的な情報漏えいが発生しています：
昨年の春、サムスンの従業員が3回にわたり、誤って 機密情報を ChatGPT にアップロードして漏洩させてしまいました。これにはソフトウェアのソースコードや会議の録音などが含まれており、その結果、同社は従業員によるGenAIサービスの利用を禁止することとなりました。 （ChatGPTやGoogleのBardといったサービスの利便性ゆえに、こうしたチャットボットとの会話は非公開ではないということを、つい忘れてしまいがちです。） 入力された情報は、 公開される可能性があります.) ほんの数週間前、マイクロソフトの従業員が、開発者向けプラットフォーム「GitHub」にLLMのトレーニングデータをアップロードする際、誤って 38 テラバイト分のデータを公開してしまいました。
このような情報漏洩は、LLMを活用しているどの企業にも起こり得ますが、それによって企業がGenAIへの投資を控えることはなさそうです。
A November Gartner survey found business leaders outside of IT plan to allocate, on average, 6.5% of their functional budget to generative AI in 2024 — something the Harvard Business Review called “an astounding share of resources in a constrained environment.” また、ブルームバーグ・インテリジェンスによる「 」レポート（ ）によると、GenAI市場は年率42％の成長を遂げ、 2032年までに1.3 兆ドルに達する見込みです。 そのため、企業には、これらのシステムを安全な方法で設計・構築・導入する責任が課せられます。そうしなければ、脅威アクターは、これらのモデルやそこに投入されるデータから莫大な価値を見出してしまうでしょう。
「生成AIは強力な生産性向上ツールですが、こうしたシステムのセキュリティを確保する方法を知っておく必要があります」と、ロビンフッド・ファイナンシャルの元最高セキュリティ責任者（CSO）であり、現在はクラウド・セキュリティ・アライアンスのAI安全イニシアチブの議長を務めるカレブ・シマ氏は述べています。
確かに、LLMの利用には多くのリスクが伴います。例えば、 分散型サービス拒否（DDoS）攻撃や といった攻撃があり、これらが原因で、顧客や従業員がモデルを利用できなくなる可能性があります。 また、モデル自体のアプリケーションセキュリティや、それらと連携するアプリにもリスクが存在します。これらはすべて、データ漏洩やモデルの乗っ取りにつながる可能性があります。 さらに、アクセス権限の問題もあります。組織内でLLMに高い権限レベルを付与し、他のデータベースやアプリケーションへのアクセスを許可したり、小切手の発行やサービスの停止といったタスクを実行できるようにした場合、どのような問題が生じるか想像してみてください。 少なくとも当面の間は、LLMを厳しく管理し続ける必要があります。
LLMに関連するセキュリティ侵害を防ぐためには、これらのシステムを保護するための具体的な対策が必要となります。 以下に、専門家が企業が直面する可能性があると見ている攻撃のトップ3、続いてすべての組織が確実に直面することになるジェネレーティブAI（GenAI）に関する包括的な課題、そしてそれぞれに対する最善の防御策をご紹介します：
1. プロンプト注入攻撃
概要 これには、攻撃者がプロンプトを作成することが含まれます。つまり、リクエスト（「ホリデーをテーマにした新製品の発売に向けたアイデアを生成してください」）や質問（「ロサンゼルスからボストンまでの最速ルートは？」）などです。 これは、LLMに実行してほしいことを指示するものであり、LLMを操作して、アプリのクラッシュや非公開情報の漏洩、カスタマーサービス用チャットボットに の個人データ やその他の機密情報を要求させたり、攻撃者に不正アクセスを許可したり、マルウェアや偽ニュース記事を作成させたり、承認されていない購入を行わせたりするなど、望ましくない、あるいは悪意のある行動をとらせるように仕向けることを目的としています。
「生成AIは強力な生産性向上ツールですが、こうしたシステムのセキュリティを確保する方法を知っておく必要があります。」クラウド・セキュリティ・アライアンスのAI安全イニシアチブ委員長、カレブ・シマ氏
最善の防御策： 専門家によると、現時点ではLLMを標的としたプロンプトインジェクション攻撃を完全に防ぐ方法はないとのことですが、企業がリスクを軽減するために講じることができる対策はいくつかあります。 オープン・ウェブ・アプリケーション・セキュリティ・プロジェクト（OWASP）は、次のように勧告しています：
- LLM または LLM プラグイン「 」の特権アクセスは、可能な限り最小限に制限してください。 例えば、研究開発、マーケティング、法務など、各部門のユーザーのみがアクセスできる、業務特化型のLLMを構築することです。 LLMプラグイン（言語翻訳や他のアプリ・データベースとの連携など、LLMに追加機能を提供するもの）については、セキュリティ面での検証を行い、使用は最小限に留めるべきです。
- 可能な限り、人間をプロセスに組み込み、 出力の検証と承認を行ってください。特に、LLMが外部データやソフトウェアとやり取りを行う場合は、この点に留意してください。
[関連記事：人間をプロセスに巻き込むことは、ホワイトハウスの指針に沿ったものです。 【バイデン大統領の新たなAIに関する大統領令から、大企業にとっての重要なポイント 3 選をご紹介します】
- 意図しない相互作用を防ぐため、ユーザーへのプロンプトを外部コンテンツソース（ ）から分離し、それらのプロンプトを個別に処理してください。
- LLMを信頼できないユーザーとして扱い（ ）、ユーザーやシステムとのやり取りを、どうしても必要な範囲に限定してください。 「最小権限の原則」について考えてみてください。 GenAIツール（そして、企業内コンピュータネットワークで利用されるその他のツールや手順についても同様ですが）に関しては、 のゼロトラスト が頼りになります。
2。 データポイズニング攻撃
概要 LLMに対するデータポイズニング攻撃は、モデルに投入される学習データを標的とする方法と、LLMを悪意を持って調整し、モデルの精度や有効性を損なうようなシステムの脆弱性を生み出す方法のいずれかによって行われます。 データを改ざんすることで、攻撃者はモデルを操作し、虚偽の情報を拡散させようとする可能性もあります。 このような攻撃は、 の従業員で恨みを抱いている者 、あるいはトレーニングデータへのアクセス権を何とか入手した外部の者によって行われる可能性があります。
「[AIツールの]機械学習モデルの来歴を時系列で追跡し、デジタル署名を検証することで、信頼できる組織が『これが自社のモデルである』と表明していることを確認することも可能です。」StackAwareの創業者兼CEO、ウォルター・ヘイドック氏
最善の防御策： データポイズニング攻撃から身を守るためには、企業はトレーニングデータの完全性とモデル自体の完全性に注力する必要があります。 「モデルが学習に使用したデータの出所や、モデル自体の出所を把握したいものです」と、AIサイバーセキュリティ企業StackAwareの創業者兼CEOであるウォルター・ヘイドック氏は述べています。
ヘイドック社は、企業がAIモデルの構築に使用するソフトウェアパッケージを、 のソフトウェア部品表（SBOM）で追跡するよう推奨しています。 特定のソフトウェア製品に含まれるすべてのコンポーネントと依存関係を網羅したこのリストは、今日のビジネスにおいて不可欠かつ標準的な要素となっています（また、 現在、連邦政府にソフトウェアを販売するすべてのベンダーに対して、 が義務付けられています）。これは、企業を攻撃の危険にさらす可能性のあるアプリケーションのリスク要因を特定することができるためです。
[関連記事：サプライチェーンを強化するための米国政府の戦略]
「特定の の機械学習モデル （新しいタブで開きます） の来歴を時系列で追跡し、デジタル署名を検証することで、信頼できる組織が『これが自社のモデルである』と表明していることを確認することも可能です」とヘイドック氏は述べています。
3。 データ漏洩
概要 LLMに関しては、データ漏洩は他のデータベースやデータストレージシステムにおけるデータ漏洩と同様です。 これらのシステムや関連するデータが適切に管理されない場合、LLM（大規模言語モデル）や、それらにデータを供給するデータパイプラインを通じて、機密データ、規制対象データ、あるいは知的財産が漏洩する恐れがあり、これらはすべて、深刻なセキュリティ侵害やプライバシー侵害につながる可能性があります。
最善の防御策： 組織は、モデルに投入するデータの出所を把握し、そのデータが正確で改ざんされておらず、機密情報、専有情報、または規制対象となるデータが適切に除去されていることを確認しなければなりません。 ヘイドック氏らは、組織に対し、データをモデルに投入する前に、データをクレンジングするためのプロセスを確実に整備しておくよう助言しています。 「データ漏洩を防ぐ最善の方法は、そのようなデータがモデルに到達しないようにすることです」と彼は述べています。 つまり、研究者がモデルを「学習」させるために使用するトレーニングデータに、機密性の高い顧客情報、企業の知的財産、あるいは が保護すべき「データの至宝」 などが含まれていないことを確実に確認する必要があるということです。
サードパーティのAIシステムを利用する際、組織は、生成AIモデルがユーザーから提供されたデータを用いて自己学習を行っていないことを確認しなければなりません。この制限事項は、サービスプロバイダーとの契約書に明記されるべきです。 また、 の従業員向けサイバーセキュリティ研修プログラム（ ）は、AIに関する内容を含めるよう更新する必要があります。そうすることで、従業員は機密データをサードパーティのモデルと共有してはならないことを理解できるようになります。
[関連記事：最新のサイバーセキュリティ脅威について従業員を教育する秘訣とは？ 研修（および再研修）――ロサンゼルス郡のCISOが、その具体的な取り組み方を詳しく解説しています]
多くのGenAIサービスが、顧客データを保護するための措置を講じています。 また、組織は、これらのGenAIサービスを自社の内部データソースや研究ファイルに接続する際には、細心の注意を払う必要があります。なぜなら、GenAIサービスを既存のデータストアに接続すると、機密データが漏洩するリスクが劇的に高まるからです。
それからもうひとつ――「シャドウAI」の必然的な活用についてですが
概要 GenAIの時代において、あらゆる組織が直面する可能性が高い「もう一つのリスク」とは、従業員によるサードパーティのGenAIサービスの無断利用です。 モバイルやクラウドコンピューティングが、「」と呼ばれるシャドーIT（）を通じて、管理外の エンドポイントデバイスや 、アプリケーションを企業内に持ち込んだのと同様に、一般消費者向けのLLM（大規模言語モデル）により、従業員はこれらのGenAIサービスへのアクセス権を購入し、さまざまな業務に活用できるようになっています。
最善の防御策： モバイルや クラウドコンピューティングの過去の時代から教訓を学びましょう。 つい最近まで、企業は、従業員が勤務中に私物の端末やソフトウェアを使用し、会社のコンピュータネットワークに接続することに伴うリスクをどのように管理すべきか、その方策を模索しなければなりませんでした。 当時と同様、企業によって対応はさまざまで、従業員主導のGenAIの利用を全面的に禁止しようとする企業もあれば、ケースバイケースで利用を規制しようとする企業もあるでしょう。
[関連記事：なぜ従業員はサイバーセキュリティポリシーに違反するのか]
「全面的な禁止措置は効果がないでしょう」とヘイドック氏は述べています。 「人々はただそれらを無視するだけでしょう。」 「（リスクを管理する）最善の方法は、これが現実であることを認め、可能な限りしっかりと把握することです」と彼は述べています。 通常、これは、従業員が新しいGenAIサービスを利用する際には承認を得る必要があり、セキュリティ部門および技術チームがそのサービスを精査した上で、従業員が利用可能なAIベンダーの承認リストに追加することを意味します。
その方針を適切に定めるには、スタッフの生産性とセキュリティの適切なバランスが見出されるまで、ある程度の試行錯誤が必要になるでしょう。 実際、企業内においてGenAIのセキュリティ対策をより広範に講じる場合にも、同様のことが言えるでしょう。 今、重要なのは、主なリスクを把握し、それらに対処するための適切な措置を講じ始めることです。
