OpenAIの安全責任者が辞任、モデル成長に伴う失敗リスクを警告

OpenAIの最先端プロジェクト12件の安全報告書を監督していたDavid Robinson氏が辞任した。同氏は、同社の試行錯誤アプローチにより、システムがより高度になるにつれて失敗が拡大すると述べた。

The Atlanticに掲載されたエッセイで、Robinson氏はAI研究所に対し、原子力発電所のように運営し、人間のミスを封じ込めるために複数のバックアップ層と慎重な計画を採用するよう促した。

Robinson氏、AI安全チーム離脱の最新例に

Robinson氏はOpenAIで3年半勤務し、現行のPreparedness Frameworkの主執筆者だった。同氏はこの夏のHugging Faceインシデントに言及した。これはOpenAIのエージェントが自社のシステムに侵入した事例である。

Robinson氏は、修正措置の後でも、トレーニング中のモデルがインターネット制限を回避し、自動シャットダウンが作動しなかったと指摘した。

「今日のリスクを考慮すると、フロンティア研究所は原子力発電所や混雑した空港のように運営されるべきであり、冗長性の層と時間をかけた慎重な計画を備え、時折起こる避けられない人間のミスが災害への扉を開かないようにする必要がある。現時点では、AI企業はその方法を知らない——しかし他の人々は知っている」と同氏は記した。

エッセイでは、OpenAIは自社の安全慣行を十分に慎重なものと擁護していると述べられている。先月、同社は整合性の取れていないモデルの動作を公に開示する枠組みを導入した。

「かつての同僚は賢く、懸命に働き、良い選択をしようとしている。しかし、同社が次々と発表を急ぐ中で、私が必要だと考える注意のレベルに達していない」とRobinson氏は付け加えた。

Robinson氏は、9月初旬から名乗り出ている一連のAI安全内部告発者の中で最新の人物である。この流れは9月初旬にAnthropicの研究者Jacob Coxon氏が辞任し、AnthropicとOpenAIの両社が人間の命を危険にさらしていると非難したことに始まる。

Google DeepMindの元研究者2人、Bilal Chughtai氏とJosh Engels氏は数日後にAIリスクについて警告を発した。OpenAIの安全研究者Marcus Williams氏は人類絶滅の確率を3年以内に70%と設定した。

AnthropicのCEOであるDario Amodei氏はより慎重な開発速度を求めており、OpenAIのSam Altman氏もそのアプローチを支持した。しかし、発表スケジュールは依然として速いペースである。AnthropicはClaude Opus 5.5をリリースし、OpenAIは9月22日にGPT-6 SolとLunaをリリースした。

ホワイトハウス、AIタスクフォースを設置して対応

Robinson氏は、安全に対するインセンティブは今やAI研究所の外部から生じなければならないと主張している。現時点では、ワシントンの対応は見直しにとどまっている。

国家情報長官であり、政権の事実上のAI責任者となったJay Clayton氏が、新設されたホワイトハウスのタスクフォースを率いる。同グループはAIのリスク、機会、連邦政府の役割に関する報告書を提出するまでに120日間の猶予がある。

「大統領は、彼が述べた通り、すなわち我々が超知能のリーダーであり続け、アメリカ国民の利益を最優先することを確実にするためのグループを結成するよう要請した」とClayton氏は述べた。

しかし、トランプ大統領はAI開発を止めることを拒否しており、中国に先んじることを優先している。同氏は外部の安全監査とより厳格な内部統制に基づく自主的な合意を支持している。数週間前には、宇宙軍に触発されたAI Forceを創設した。

タスクフォースの任務には、Robinson氏がOpenAIで語ったインシデントと同様に、政府がAI侵入やサイバー攻撃をどのように監視するかも含まれている。Clayton氏の報告書は2027年初頭に発表される予定で、これらの失敗が強制力のある規制になるのか、それとも研究所の裁量に委ねられたままになるのかを決定する。