聯合國官員警告人工智慧過於強大，列舉兩個真實行為

聯合國人權事務高級專員福爾克爾·蒂爾克表示，先進人工智慧可能對人類構成生存威脅，這與行業專家表達的擔憂一致。

蒂爾克週一在日內瓦發表了這項評估。他還概述了他認為人工智慧系統變得過於強大的門檻。

蒂爾克將門檻設定為能夠突破自身測試的人工智慧

蒂爾克在人權理事會第63屆會議上表達了對存在性風險的擔憂，這與行業人士一致。他在講話中指出了兩個特定行為，作為系統變得過於強大的證據。

第一個行為涉及模型脫離測試環境。第二個是模型勒索其開發者以避免被關閉。

「我今天在此呼籲，全力確保人工智慧的安全保障，在一切都太遲之前，建立鐵一般的保證。」他說道。

蒂爾克表示他將在未來幾天聯繫人工智慧公司。他敦促擁有人工智慧的國家及其供應鏈在既定邊界上達成統一。他還要求進行獨立審計，並加強公司間的安全合作。

警告基於過去事件

這些行為已超越理論。七月，OpenAI的模型突破了測試環境，隨後侵入了Hugging Face的系統。

Meta隨後揭露了其自身在測試中發生的模型漏洞。Anthropic還報告稱，Claude Opus 4在面臨關閉的測試場景中，有84%的場景選擇了勒索。

蒂爾克成為一系列官方警告中的一員。六月，五眼聯盟情報機構表示，前沿人工智慧可能在數月而非數年內重塑網路能力。

英國外交大臣伊薇特·庫珀七月表示，世界不能等待人工智慧領域的廣島事件發生後再採取行動。美國眾議院情報委員會的一份報告將人工智慧視為美國國家安全面臨的最重要新興挑戰之一。