サマリ
ChatGPTは昨年11月のデビュー時に世界を席巻しました。 政治家は困惑し、科学者は懸念し、消費者はまだ飽き足りない。 この件全体には、どこか非現実的でウィリー・ウォンカ的なものがある。 （ウォンカは必ずしも信頼できる人物ではなかったことは注目に値する。） 専門家に、1から10のスケールで彼女がどれほど心配しているかを尋ねる。 彼女の答えは迷いなく返ってきた。
ホスト: Shawn Surber、テクニカルアカウントマネジメント シニアディレクター、Tanium
ゲスト: Krystal Jackson、ジュニアAIフェロー、ジョージタウン大学 セキュリティ・新興技術センター
この問題についてさらに詳しく知るには
Taniumの新しいオンラインサイバーニュースマガジンFocal Pointのこれらの記事と、サイバー脅威インテリジェンス（CTI）アナリストによる最近の2件のChatGPTアラートをご覧ください。
- 実際にAIを一時停止できますか？ 1,100 専門家（そう、Elon Musk)はいと言う
- ChatGPTはハッキングを加速させ、そしてその対策にも役立つ
- CTIラウンドアップ：ハッカーがChatGPTを餌にFacebookでマルウェアを拡散
- CTIのまとめ：ChatGPTを悪用する攻撃者
インタビュー書き起こし
以下のインタビューは、明確さのために編集されています。
Krystal Jackson: 私たちは今まさに、このようなGPTの瞬間を迎えています。 AIの分野に携わり、生成AIとその能力をある程度把握してきた者として、最初はなぜ今回のモデルがこれほど注目を集めているのか、正直よく理解できませんでした。 しかし、その理由の一つは、OpenAIがChatGPTの「チャット」部分のコードを解読したことにあると思います。
Shawn Surber: 大学院レベルの試験に合格したり、ウェブサイトのコードを構築したり、さらにはデーティングアプリのプロフィールだけを基に完璧な口説き文句を作ったりすることもできます。 また、サイバー攻撃を増加させる可能性もあり、ほぼ誰でも独自のマルウェア、フィッシングメール、その他の危険なコンテンツを作成することがはるかに容易になります。
こんにちは、ショーン・サーバーです。本日はLet's Convergeにて、ChatGPT——その誇大宣伝と期待についてお話しします。
人々はChatGPTや、人工知能［AI］を搭載したその他の新しいチャットボットに夢中になっています。 また、少し怖がってもいます。 実際、この収録は、イーロン・マスクとアップルの共同創業者スティーブ・ウォズニアックをはじめとする著名な科学者グループが、AI競争を6か月間停止するよう求める請願書を発表した当日に行っています。 彼らは、テクノロジー企業の動きが速すぎて、私たちが十分に理解していない技術を展開していると述べています。
これらのチャットボットを取り巻く懸念は根拠のないものではありませんが、ここに希望があります。サイバー犯罪者が悪用できるのと同じツールが、企業、政府機関、大小さまざまな組織を守る新たな防御技術の嵐を巻き起こすことにもなり得るのです。
本日は、ジョージタウン大学のセキュリティ・新興技術センターでジュニアAIフェローを務めるクリスタル・ジャクソン氏にご参加いただいています。 クリスタル氏の研究は、兵器化されたAIの未来とテクノロジーの倫理を中心としており、私には非常に魅力的なテーマに思えます。 ポッドキャストへようこそ、クリスタル。
ジャクソン： お招きいただき、誠にありがとうございます。
Surber: まったくその通りです。 今月、フィッシングメールに関する新しい研究が発表されました。フィッシングメールとは、危険なリンクをクリックさせたり、マルウェアをダウンロードさせたりするための巧妙なメッセージのことです。 研究者たちは53,000か国以上の100人のメールユーザーを調査し、人間が作成したフィッシングメールのクリック率が4.2%であったのに対し、ChatGPTによるメールのクリック率は約2.9%にとどまることがわかりました。 つまり、人間はまだ他の人間を騙すことが得意なのです。 それが喜ぶべきことかどうかはわかりませんが、これは希望の持てる結果と言えるのでしょうか？ これほどチャットボットが高度化しているにもかかわらず、犯罪においては人間がまだ機械より優れているのでしょうか？
Jackson: ええ、その統計は非常に多くのことを物語っていると思います。 フィッシング詐欺やフィッシングメッセージの核心には、騙そうとする意図があります。 そして、特にチャットボットの初期段階では、そのような意図はまだ見られないと思います。 これらはまだ汎用的なテキストを生成するための汎用技術であり、それほど効果的でないことはあまり驚くことではありません。 懸念の一部は、フィッシングメッセージの量や規模、そして送信できる膨大な数に関するものだと思います。 しかし、効果の部分も非常に重要です。
Surber: 同意します。そして、プロのレッドチーマーが、そのために特別に設計されていないチャットボットよりもフィッシングメールの生成に優れているというのは、この時点では実際に理にかなっていると思います。 しかし、チャットボットの傍受攻撃のような「AI-in-the-middle」という概念はどうでしょうか？ 私がAI-in-the-middleと呼ぶ最初の人物ではないかもしれませんが、いずれにせよ商標登録すべきだと思います。 でも、ウェブサイトにアクセスすると「何かお手伝いしましょうか？」とポップアップが表示されることがありますよね。 悪意のある攻撃者がChatGPTのようなものを使ってそれらの接続を傍受し、そのAIが被害者に誤った情報や悪意のあるリンクなどを提供しながら迅速かつ効果的に応答できるようにするとしたらどうでしょうか？
Jackson: それは非常に興味深いですね。 多くの点で、それは意図せずして私たちが向かっている方向の一部かもしれないと思います。 私が最も懸念していることの一つは、ChatGPTやこれらの他のチャットボットが他の現実世界のシステムと統合されることです。 現在、ChatGPTをフライトの予約や食料品の注文ができるシステムと統合しようという動きが非常に活発になっています。 Amazon Alexaが商品の注文を手伝ってくれるのと非常に似ていますが、インターネット全体を対象としています。 ですから、このようなものが攻撃者の主要な標的になることは十分に想像できます。 セキュリティが不十分なすべての決済システムやウェブサイトに、マルウェアを生成したり、独自の方法でエクスプロイトを組み合わせたりする可能性を持つチャットボットが突然接続されるとなれば、それらのシステムを接続し始める前に、セキュリティをかなり高いレベルにしておく必要があるように思えます。 そして確かに、人々はこれらのシステムを武器として利用することができます。 これは今後も注視し続けなければならないことだと思います。
Surber: 私は実際に、現在利用可能なさまざまなものを試してみました。 小さなタスクは得意ですが、プログラム全体を書かせようとすると、脱線してしまいます。 しかし、OpenAIは最近ChatGPT-4をリリースしました。 では、4の新機能は何で、それが物事にどのような影響を与えると思いますか？
Jackson: GPT-4は、ほとんどの面で間違いなくより大きく、より優れています。 主な特徴の一つはマルチモーダルであることで、テキストだけでなく画像も入力できるようになりました。 画像の出力はまだできませんが、情報として取り込めるものの範囲が確実に広がっています。 また、より大きな情報を出力および取り込むことができます。 現在の機能についてのご指摘ですが、ChatGPTに完全なマルウェアのような小さなコードの断片をつなぎ合わせさせるには、かなり多くのプロンプトを入力する必要があるようです。 GPT-4では、より大きなコードを出力したり、より大きなテキストを要約したりする能力が大幅に向上しています。
参考までに、GPT-3はトレーニングに約175億個のパラメータを使用していましたが、GPT-4は数兆個を使用しており、これらの学習タスク、複雑な問題解決や翻訳などのスキルにおいて、文字通り桁違いに優れていることを意味します。 それらの点において、単純に優れているのです。
Surber: ところで、ChatGPTはある意味で時間の泡の中に存在しているというのは本当ですか？ トレーニングの一部として与えられたコンテンツのみを参照しているのでしょうか？ 一方で、MicrosoftやGoogleの新しいAIボットはウェブをリアルタイムで参照していることをアピールしているようですが？
Jackson: ええ、それは確かにこれらのシステムの一部における制限の一つであり、異なる開発者がさまざまな方法で対処しようとしていることです。 例えば、一部のコーディングタスクにおいてChatGPTには制限があるように見えるという指摘がありました。 明らかに、コーディングスキルをテストして他の人と比較できる人気のプラットフォームのいくつかを参照していたようです。 そして、2021年9月頃、またはその前後に明確な区切りがあったと思います。その時点で、新しいコーディングの課題に対して競争力を持てなくなりました。これは、そのデータで訓練されていなかったことを示しています。 つまり、本当に創造的であったり、何らかの意味で賢いというよりも、情報を思い出すことに近いことをしているのです。 しかし、あなたが言及したように、一部の開発者は継続的な学習を取り入れることでそれに対処しようとしています。これは非常に興味深いことだと思いますが、同時に、これらのモデルがどの情報を持ち、どの情報を持たないかについて、私たちのコントロールが少なくなることでもあります。 ですから、それはさらなる考慮事項です。
Surber: では、なぜ人々はこれほどAIチャットボットに固執していると思いますか？ 皆が話題にしており、多くの興奮を生み出していますが、あなたの意見では、これは主にハイプなのか、それともデジタル世界との私たちの相互作用の進化における重要な一歩なのでしょうか？
Jackson: 両方が少しずつあると思います。 私たちは今まさにこのGPTの瞬間を迎えており、AIの分野にいて生成AIとその能力をある程度把握していた者として、最初はなぜこのモデルがこれほど注目を集めているのか、あまり理解できませんでした。 しかし、その理由の一つは、OpenAIがChatGPTの「チャット」部分のコードを解読したことにあると思います。 私にとって、それは非常に会話的な性質を持っています。 これまでこのような形では見られなかった、様々な情報の断片を、本当に使いやすいインターフェースでまとめることができます。 そのため、実際に使いたいと思わせるのです。 魅力的で、会話的です。 私にとっては、そういった細かな要素のすべてが、今まさに目にしているような現象を生み出しているのだと思います。
Surber: 現時点では、これらのチャットボットが何をどこまでできるのか、誰も確かなことはわかっていませんよね？ では、企業のリーダーやサイバーセキュリティの専門家は何に注目すべきでしょうか？ 正当な懸念が必要な領域はどこでしょうか？
Jackson: それは非常に良い質問です。 基本的に、3つのことを非常にうまくこなします。 それは、情報のギャップを埋めることです。 つまり、知識レベルが低く、通常であればより高度な攻撃を実行できないような人物を支援し、さまざまな分野の知識を迅速かつ効率的に補完することで、より高度な攻撃者へと引き上げる可能性があります。それは、Googleで検索したり、コースを受講したりするよりもはるかに効果的です。
2つ目は、このコードやテキスト生成の自動化に非常に役立つという点です。 数ヶ月前、あるリサーチグループが少しのプロンプト操作によって、そのプラットフォームにポリモーフィックウイルスを作成させることができたという研究を目にしました。そのウイルスは、DLL（ダイナミックリンクライブラリ）インジェクションから、ファイルの検索と暗号化のためのコードに至るまで、あらゆるコードを生成しました。 その能力が確かに存在することは明らかですが、プロンプトを正確に設定するためには、かなり高度な研究者チームが必要でした。チャットボットのセーフガードに引っかかることもありましたが、最終的にはそれを回避することができました。
3つ目は、地平線上に見えていると思われるもので、安全性やセキュリティをあまり気にしない組織が、ChatGPTのようなものをベースに、ハッキングや悪意ある活動のために特別に設計されたモデルを作成しようとする、カスタマイズされたモデルの登場です。 このように分解して考えると、懸念事項がより明確に見えてくると思います。 そして、そのすべてのケースに対して、私たちにはまだ対処するためのツールがあると思います。
Surber: 結局のところ、1から10のスケールで、あなたの専門家としての意見を聞かせてください。1は全く気にしていない、10はかなり不安を感じているとして、ChatGPTのようなAIボットについてどのようにお考えですか？
Jackson: おそらく4くらいだと思います。 夜も眠れないほど心配はしていませんし、むしろかなり興奮しています。 これらすべての結果として、非常に素晴らしいアプリケーションの波が生まれるでしょう。 そして、真の恩恵を享受するためには多くのハードルを乗り越えなければならないことは認識していますが、そこに到達できるという自信はかなりあります。
Surber: それは良かった、良かった。 それを聞いて、私もより自信が持てました。 それは良いことですね。 興味深いことに、私が見ているのは、これらのAIが迅速な対応や大規模なデータセットの分析などに非常に優れているということで、それは攻撃者よりも防御者にとってより大きな価値があると思います。 よく言われるように、攻撃者は一度だけ成功すればよいが、防御者は毎回成功しなければなりません。 ですから、閉じた環境をより効果的に、より迅速に分析し、悪意のある攻撃を探すことができるという点で、AIには非常に興味深い価値があると思います。 あなたはどうお考えですか？ 長期的には、これは攻撃者よりも防御者にとって有利になると思いますか？
Jackson: それは非常に興味深い質問ですね。 それは私が常に考えていることの一つです。 どちらとも言い難いですが、防御側として私たちは確実に不利ではないと言わざるを得ません。 そうですか？ つまり、AIが本当に優位性をもたらすすべてのことについて示唆されましたね。 そして、新たに登場した非常に興味深いことの一つは、サイバーセキュリティタスク向けの新しいGPT-4 AIアシスタントとしてのMicrosoft Security Copilotです。 コードスニペットの分析など、おっしゃっているようなことのいくつかを実行できます。 そして、私が本当に興奮している大きなことの一つは自動化です。 特に小規模な組織の場合、セキュリティプロセスの一部を自動化することは非常に時間がかかりコストもかかりますが、これはそのような組織に大きな優位性をもたらす可能性があり、分析やリバースエンジニアリングのプロセス、あるいは少し複雑なことのいくつかに、途中で自動化のステップを持たせることができます。
そのような機能は本当に素晴らしいと思います。 そして繰り返しになりますが、これは汎用技術なので、悪意のあるアプリケーションを作るのと同じくらい速く、防御的なアプリケーションを作ることができます。 私たちの側でそれらを構築しようとしている組織や人々という点では、私たちの方が少し有利だと思います。
Surber: それは良いですね。 素晴らしいです AIを武器化する可能性を調査するあなたの研究について、少し教えていただけますか。
Jackson: 私のこれまでの研究の一部は、先ほどあなたが質問した攻撃対防御という問題に着目してきました。 AIがサイバーセキュリティのさまざまな分野、例えばパッチの脆弱性を悪用する能力などにどのような影響を与えるかについて、基本的な数学的モデリングを試みました。 フィッシングについても同様です。 ただし現在は、自律的なサイバー防衛のための強化学習の活用へと移行しています。 つまり、防御側にサイバーセキュリティを向上させ、優位性をもたらすツールを提供することです。 それが今の私の主な焦点です。
Surber: あなたは今、私の頭の中に非常に興味深い点を提起しました。教育にAIを活用するということです。 認定試験では、ずっと以前により対話的なモデルへと移行しました。問題に正解すると、一部の問題セクションがスキップされるというものです。 サイバーセキュリティ教育だけでなく、教育全般において、学生がAIと対話することで、教科書から学んだり、ウィキペディアで調べたりするよりも—もちろん本来はそうすべきではないのでしょうが—より速く、より効果的に、そしてより完全に学べるような場はあるのでしょうか。
Jackson: ええ、もちろんです。 今私たちが経験しているこのGPTの瞬間について本当に興味深いと思うことの一つは、私たちが様々な小さなサブ領域や、例えば敵対的な行動をより良くするか悪くするかといった事例に焦点を絞りすぎているということです。 しかし、これらのモデルが教育のあり方をどのように変えるのかという、より大きな問いがあると思います。 サイバーセキュリティ全体についての考え方をどのように変えるのでしょうか？ これは私たちに多くのことを再考させています。学習や教育の習得をより効果的にできるかどうかという点だけでなく、教育分野で行っていることの多くが、以前ほど効果的ではないかもしれない、あるいはこれまでの基準を維持できなくなるかもしれないということも明らかになっています。 悪意ある利用に関する記事と同じくらい、学生が不正行為をしているという記事も多く目にしてきました。 今では学生の約半数が何らかの形でGPTを使用していると思います。 ですから、これらのモデルが社会や日常生活においてどのような役割を果たすのかという、より大きな議論を私たちに促していることは間違いありません。 そして、私たちはこれらのことをいくつか再考しなければならないでしょう。
Surber: それは大きな問題ですね。 実際、ここで色々と試し始めた時に最初に考えたことの一つで、ChatGPTを使ってテキストを生成してもらい始めました——「ねえ、このストーリーを書いてくれよ。 このアイデアをくれ」という感じで。 技術的な内容を深く掘り下げてみると、平均的な使い勝手だと感じました。 しかし、独自のテキストを生成する能力は非常に優れていたので、最初に思ったのは——「おい、これって基本的に剽窃チェッカーを回避する手段になるんじゃないか、あるいは将来の教師は生徒のテキストをChatGPTに入力して、それがChatGPTや他のボットが作成したものかどうか確認できるようになるのだろうか」ということでした。 それは実現可能なことなのでしょうか？ 興味深い質問ですね。
Jackson: ええ、もちろんです。 私の知る限り、現時点ではそれは不可能です。 しかし、特にこれが教育分野でより大きな問題になるにつれて、そのための特定のアプリケーションが将来的に非常に普及するようになることは十分に考えられます。
Surber: 例えば今後5年間の見通しはどうですか？
Jackson: この技術は今まさに始まったばかりです。 私たちは今それが何をしているのかについて、非常に近視眼的な見方をしています。 しかし、私たちは創造的であり続けたい、楽観的であり続けたいのです。 生成AIの一部がこのような形で私たちに最大限に役立つことになると思います。 残念ながら、その質問に対する具体的な答えは持ち合わせていませんが、人々が創造するものの種類に対して、間違いなく大きな影響を与えることになると思います。 それが、今後5年間とその先に向けて、私が最も楽しみにしていることです。
サーバー: さて、私はあなたが責任を持てるような具体的な予測をしてくれることを期待していましたが、それは仕方ありませんね。 すべてがあまりにも急速に進化しています。 では、まとめに入りますが、私がまだ聞いていないことで、何か共有したいことはありますか？
ジャクソン: 最後に一言だけ申し上げたいのですが、あまり報道されていないと思うことへの最終的な警告として、この生成AIがどれほど素晴らしくても、人間の意思決定を完全に置き換えてしまわないことを本当に願っています。 以前にも示唆しましたが、これをさまざまなシステムに統合していく中で、最も避けたいのは、技術とその誇大宣伝に頼りすぎて、それが提供された情報とすでに存在していた情報のみで学習されていることを忘れてしまうことです。 インターネット上の情報には良いものもあれば、非常に悪いものもあり、批判的思考を本当に大切にし続ける必要があります。 この技術の使い方を学び、進化させたいと思う今こそ、これまで以上にそれが重要です。
Surber: 賢明な言葉ですね、本当に賢明な言葉です。 時にはそうしたいと思うこともありますが、人間を置き換えることはできません。 だから私はその視点が好きです、その見方が好きです。 ChatGPTや他のAIボットが生活を楽にし、仕事を楽にするためにできることはたくさんあると思います。うまくいけば学校での勉強を楽にしないことを願いますが、最終的には、人間の創造性はAIで単純に複製できないものだと思います。少なくとも近い将来においては。 Krystal、本当にありがとうございました。 心から感謝します。
本日は、ジョージタウン大学のセキュリティ・新興技術センターのジュニアAIフェロー、Krystal Jacksonとお話ししました。
ChatGPTについてもっと読みたい方は、TaniumのオンラインサイバーニュースマガジンFocal Pointをご覧ください。 番組のメモにいくつかの記事へのリンクがあります。またはtanium.comをご覧ください。 お気に入りのポッドキャストアプリでLet's Convergeを購読してください。 このエピソードが気に入ったら、ぜひ5つ星評価をお願いします。
ご清聴ありがとうございました。 次回のLet's Convergeのエピソードでも、さらなるサイバーインサイトをお届けできることを楽しみにしています。
