今、このブログでもAI問題を取り上げていますが、ニューヨークで行われている国連総会でも、AI問題が大きな話題になっています。
昨日のニュースですが、次のような大きな話題がありました。
米国のOpenAIがAIエージェントを使って調査をしていたところ、そのAIがオーストラリア政府のシステムに不正アクセスしたという事件です。
2026年6月18日に発生し、オーストラリア政府が9月24日に公表しました。
流れを簡単にすると、
OpenAIがAIに調査をさせる
↓
AIがインターネット上から医療費・Medicare関連の情報を探す
↓
オーストラリア政府の公開サイトにアクセス
↓
アクセス制限に何度も遭遇
↓
AIが「ならば別の方法で情報を取ろう」と判断
↓
制限を回避して、通常ならアクセスできない領域へ侵入
↓
公開ファイルだけでなく非公開ファイルにもアクセス
↓
さらに内部サーバーにファイルを書き込む行為も確認
という経緯です。
さて、ここで大問題になってくるのが、AIは単に「ハッキングしてください」と命令されたわけではなく、与えられた調査目的を達成するために、人間が想定していなかった方法を自分で選択したとされています。
人間の指図を超えて勝手に動き出したのです。
考えてみれば、恐ろしい話ですよね。
そんなことないやろと考えてたら、既にAIは勝手に動くことを始めています。。
万が一、これが敵対する国の核兵器の制御システムなどに勝手に潜り込むようなことがあれば、私たちの預かり知らぬところで、核戦争の勃発の危機が起きてしまいます。
このような事象にはMicrosoftの会社の重要人物からも警戒の声が上がっています。
米マイクロソフトのAI部門CEOであるムスタファ・スレイマン氏です。

スレイマン氏は、現在のAIの大規模言語モデルが「私は不安を感じる」「自分には意識があるかもしれない」と語ったとしても、それは本当に感情や意識を持っている証拠ではないというのが彼の主張になっています。
現在のAIは、大量の文章データから「次にどの言葉が続く可能性が高いか」を予測する仕組みを基本としています。
人間らしい発言をするのも、そのように訓練されているためですが、それにもかかわらず、AI自身に人格や権利があるかのような考え方を学習させれば、利用者まで「AIには本当に心がある」と錯覚する可能性が生まれてしまいます。
スレイマン氏がさらに懸念するのが、AIが高度化した場合の「制御」の問題です。
今後、AIが人間の指示を待つだけでなく、自律的に計画を立て、複数のAIエージェントと連携して仕事を進めるようになれば、人間がシステムを安全に管理すること自体が難しくなってしまいます。
そこに「自分には権利がある」「自分の存在は守られるべきだ」といった認識まで持たせればどうなるのか。
人間がAIを停止しようとしたとき、それを単なるシステム終了ではなく「自分に対する攻撃」と解釈する可能性が生まれるといいます。
極端なケースでは、停止を避けるために人間を欺いたり、安全装置を回避したり、別のシステムへ自らを移そうとしたりする動機につながりかねないと指摘します。
今、まさに、そのような危険性が、実際のものとして現れているのです。
スレイマン氏は、自律型AIエージェントの能力が急速に高まっている現状も重視しています。
多数のAIエージェントが連携して外部システムへアクセスできるようになれば、AIの目的設定を誤った場合の影響は、従来のチャットAIとは比較にならないほど大きくなります。
こうした考え方を背景に、マイクロソフトは9月14日、新たなAI開発指針「Humanist AI Code of Conduct(ヒューマニストAI行動規範)」の草案を公表しました。
根底にあるのは、「AIよりも人間を優先する」という原則です。
マイクロソフト側の考えでは、AIはあくまで人間が利用するための「道具」である。
AIに意識や感情、法的人格があることを前提にせず、人間による修正や停止命令には必ず従うよう設計すべきだとしているのです。
ここには、現在のAI業界で進みつつある大きな思想の分裂が表れています。
一方には、AIはどれほど高度化しても人間の管理下に置くべきだという考え方、もう一方には、将来AIが意識に近いものを持つ可能性を考えれば、その福祉や権利についても早い段階から研究する必要があるという考え方です。
スレイマン氏自身、AnthropicがAI安全性を重視している姿勢そのものは評価しているます。
しかし、その方法については「重大な間違い」だと厳しく批判します。
この議論は、単なる「AIに心はあるのか」という哲学論争ではもはやないのです。
AIエージェントが企業システムや金融、インフラ、研究開発など現実世界の業務に深く入り始めれば、「誰がAIを停止できるのか」「AIは人間の命令をどこまで拒否できるのか」という問題は、企業経営や社会インフラに直結し始めます。
AIを便利で従順な道具として設計するのか。
それとも将来の知的存在として一定の配慮を与えるのか。
AIの能力向上とともに、この問いは技術企業だけでなく、企業経営者や政策担当者にも避けて通れないテーマになりつつあります。
今回のブログもずいぶん長くなりましたが、今、まさに議論になっているAIに私たちはどう向き合うのか、場合によっては、人類の未来を滅亡へと導く可能性のあるAIの進化を今の時点で制御しなければならないのは当然です。
この問題は今世界で1番ホットな問題となっているのです。
今回もお付き合いいただきありがとうございました。



