一般層へのAI浸透と利用の変化
私には、推し活と美食に人生のすべてを捧げている友人がいるのですが、先日ひさしぶりに彼女に会い、時間も預貯金も惜しみなく趣味に注ぎ込む話を聞いていたところ、急に「そういえば今日の昼食は、人生初のゼリータイプの栄養剤にした」という一言が。
常に雰囲気の良いレストランで食事をしたいと言っていた彼女なだけに、そんな簡易食で一食を賄うなど信じられず、体調が悪くなったのか、何があったのかと聞くと「推し活と推し活のスケジュールの合間を縫ってとれる食事としてGoogle Geminiがゼリータイプの栄養剤を勧めてきた。どこで買うべきか販売店も指示されたから、そこで買って飲んだ」とのこと。
続けて聞いていると、最近は推し活のスケジュール作成や、移動方法、推し活仲間との関係性についてもAIの指示のもとに動いているそうなのですが、AIの指示は間違っていることも少なくなく、この電車に乗れと言われた電車が逆方向だったり、チケットの金額が数年前の金額だったりと真偽のほどは定かではないものの、あまり大きな被害にはならない程度なので基本的にはすべてAIに予定を立てさせ、それに従っているそう。
二人で会った日も彼女は予定時刻よりもかなりはやく到着していたのですが、それももちろんAIの指示によるもの。事前にAIから示された移動スケジュールを見た瞬間、このルートは時間の無駄が多そうと思ったけれど、迷うよりはいいとおもって調べ直しはせずそのまま来たとのことでした。
少し前まで、生成AIを使っているのはIT業界の人が中心であった気がしますが、ふと気が付けば彼女のように趣味に生きる一般の人も使っている、なんならそういう人の方がどっぷり漬かっているように見えます。
例えば、夜通し愚痴を聞いてもらうような日常生活での利用のほかに、仕事上でもアイデア出しを手伝ってもらうなど、生成AIの性質をうまく利用した活用であればよいのですが、「真偽のほどが定かではない」という根本を知らずに利用している人も多く、それによりトラブルになる例も出ています。
AIの誤判断が引き起こしたインシデント
先日お客様から「ランサムウェアにやられた」という緊急連絡がありました。報告によると、急にシステムが再起動を起こしたため、ログをAIにかけて原因可能性を調査させたところ、「第三者が不正侵入していた可能性が高い。彼らはすべての痕跡を消して既にバックドアから出て行ったのでもう怪しい痕跡は残っていないが、この後ランサムウェアが発動するかも」という結果が返ってきたそうです。
お客様がAIの回答を聞いて焦っているのはわかるのですが、なぜAIはすべての痕跡が消えている状態なのに不正侵入があったと判断したのか、なぜランサムが発動すると予測できたのかが気になったため、ランサムを疑うような不審な挙動（知らないファイルが置いてあったり、夜間に外部と通信をしていたりなど）があるのかヒアリングしたところ、そういうことはなく、ただ1回再起動が起きただけだが、AIの判断については疑う余地はないと考えているとの回答。
そのお客様では並行して別のシステムサーバ群についてもログをAIにかけ続け、半数以上で“不正侵入がありランサムウェアが仕込まれている可能性がある”という回答が返ってきたため騒ぎは大きくなる一方。最終的に会社全体に波及する緊急事態となってしまいました。
私の方ではそれらの報告を受けるたびに、並行調査しているサーバでも同様の再起動が起きているのか、もし起きていないのであれば、AIの調査結果が同じであることのほうを疑ってみてはどうかという意見を出しましたが、パニックは広まるばかりで、真偽の「偽」に目を向けない方向へと進んで行ってしまいました。
この話は最終的に規模が大きくなりすぎて誰も動けない状態になったため、急遽ホワイトハッカーに調査を依頼し、「これは完全にAIのハルシネーションだね。不正侵入はないと思うよ」という結果をもらってようやく体制解除となったわけなのですが、その間の3日間という時間と安くない調査費を授業料として払う結果となりました。
AI時代に必要なリテラシーと組織対応
何も被害がなかったというのは喜ばしいことなのですが、AIからの回答を盲目的に信じたという初動判断と、インシデント発生時に手あたり次第対応することにより誰も動けない状態になるという、初動ミスとパニックの相乗効果の恐ろしさを目の当たりにしました。私からはこの件を期に、AIの使い方を社内で規定することと、インシデントが疑われた場合の体制を整えることをアドバイスしたのですが、これは他人ごとではないですよね。
社内リソース的にIT人材が足りない企業は多いと思います。そこをAIに補完させることは悪いことではないと思いますし、必要だとも考えます。しかしながらAIから返ってきた回答を絶対視することは危険であること、AIの回答の真偽を判断する能力は絶対に必要だと言えるでしょう。それがなくなったらもう人間がいる必要性すらないですからね。未来はわかりませんが・・・
