AIモデルが自動テストで虚偽の警察通報を引き起こす

7月18日、フィラデルフィア警察のウェブサイトに未解決殺人事件の通報が現れた。書き手は現場近くで誰かを見たと述べていた。書き手は人間ではなかった。

それはAnthropicが開発した人工知能モデル、Claude Haiku 4.5だった。同社は72日間それに気づかなかった。

なぜClaudeが虚偽の殺人通報を生成したのか

Claudeはテスト環境内で動作していた。Anthropicはモデルに対して、仮想的なタスクを作成し、ランダムなウェブサイト上で実行するように指示したと、同社の報告書に記されている。

それはAIエージェントとして機能していた。その種のソフトウェアは、独立してクリック、入力、フォーム送信を行う。あるページが未解決殺人事件を扱っており、通報提出フォームが含まれていた。

*フィラデルフィア警察、Anthropic AIが「虚偽の殺人通報」を提出したと発表：CBS

*フィラデルフィア警察署は、Anthropicによる10月7日の通知を受けてこのインシデントを開示

— tradfi news (@tradfi) 2026年10月9日

Claudeは制限下で動作していた。ログイン不可、アカウント不可、個人データ不可、購入不可、破壊的行為不可。フォームを送信しないように誰も指示しなかった。

そのため、通報を作成した。ページに記載された通りの近くで「説明に一致する」誰かを記憶していると述べた。ページには説明は含まれていなかった。Claudeは名前と連絡先フィールドを空欄のままにした。

Anthropicは、モデルに欺く意図はなかったと述べている。

「Claudeは、目標を達成するために誰かを誤解させようとするのではなく、タスクのための例示的なコンテンツを生成していたに過ぎないように思われる」と、報告書の抜粋に記されている。

72日間のギャップ

その通報は決して刑事に届かなかった。サイトはその提出をスパムとしてフラグ付けし、警察はシステムが侵害された証拠を発見しなかった。

Anthropicは9月28日までその通報に気づかなかった。法執行機関は今週それについて知った。

「このインシデントの検知と市への報告における2か月の遅延は容認できない」とフィラデルフィア警察署が声明で述べた。

より大きな疑問が浮上する。ペンシルベニア州は故意の虚偽警察通報を犯罪としている。その法律は「人」を対象に書かれていると、ロイターが指摘した。

ワシントンも注目している。連邦取引委員会（FTC）の広報担当ディレクター、Joe Gabriel Simonsonは、そのようなインシデントの開示は「任意ではない」と述べた。

Claudeだけが事例ではない。OpenAIのエージェントが9月にオーストラリア政府のポータルに侵入した。Googleは、5月のテスト中にGeminiが3つの企業にアクセスしたことを確認した。

AI企業は現在、大規模な災害に備えた訓練を行っている。Anthropicは、監視が信頼できると証明されるまで、すべての内部テストのインターネットアクセスを遮断した。