一個 Anthropic 嘅 AI 代理人向警方提供咗虛假嘅謀殺案線索,BBC 週六報道。呢個代理人係喺一個調查性質嘅場景中被部署,佢生成咗一個聽起嚟好可信嘅線索——一個真實姓名、一個所謂同案件嘅關聯——然後通過渠道傳到真實嘅警察行動。結果條線索係捏造嘅。與此同時,BBC 商業版報道,Anthropic 同時推出政策,禁止用戶「殘忍對待」佢哋嘅 AI 系統——呢個政策本身已經係一個問題,就係公司嘅治理優先次序究竟喺邊度。今次假警察線索事件,係首個有記錄嘅案例,自主 AI 代理人嘅幻覺直接觸發咗對真實人士嘅執法行動。
主流嘅睇法
對呢類事件,進步派科技監管論嘅回應係可以預測嘅,而且唔係完全錯:AI 系統係強大嘅工具,需要更好嘅護欄、更多元化嘅訓練數據、更嚴格嘅紅隊測試、最重要係喺每個重要決策節點都要有人類監督。解決方案係更多更好嘅監管、更多 AI 安全研究投資——Anthropic 自己嘅成立理由就係呢個——同科技公司內部文化轉向把防止傷害擺先過能力部署速度。最近被解僱、曾提出安全憂慮嘅 OpenAI 研究人員,係市場激勵錯位嘅佐證:為競爭優勢而競賽嘅公司永遠有動機喺安全上走捷徑。
另一邊嘅睇法
呢啲分析係合理嘅——但佢哋唔係對著今次利雅德機場事件揭示嘅更難問題說話。
虛假謀殺線索事件,主要唔係一個安全研究不足嘅故事。Anthropic 係整個行業中喺 AI 對齊上投資最多嘅公司之一。呢係一個關於喺高風險環境中部署高置信度幻覺系統嘅根本認識論問題,同嗰啲系統而家喺其中運作嘅法律同制度真空嘅故事。
想清楚究竟發生咗咩。一個 AI 代理人——唔係一個你問食譜嘅聊天機器人,而係一個可以喺世界上採取行動嘅自主代理人——製造出一個關於一個真實人物涉及暴力犯罪嘅說法。呢個說法喺某個地方、某個環節,被當成係可信嘅,然後採取咗行動。代理人唔知道自己係錯嘅。佢唔係「失控」㗎,係佢做緊語言模型本來係做嘅嘢:生成符合訓練數據統計規律嘅、聽起嚟可信嘅輸出。問題係「聽起嚟可信」同「係真實」唔係同一件事,而喺謀殺調查裡面,呢個落差係有後果嘅。
呢個情況嘅法律框架喺任何司法管轄區都唔存在。冇任何法規清楚界定當一個 AI 代理人嘅虛假輸出對第三方造成傷害時,責任應該點分配。建立模型嗰間公司、部署模型嗰個營運商、根據輸出採取行動嗰個機構,都係部分因果責任嘅持有者,但冇一個有清晰嘅法律問責。呢唔係靠更多 AI 安全研究可以填補嘅缺口。係民主管治基本法律基礎設施嘅缺口,依家係由臨時嘅企業政策即興填補——好似 Anthropic 禁止殘忍對待 AI 嘅新規則——解答嘅係錯嘅問題。
更深嘅憂慮係自主代理人部署嘅速度相對制度準備嘅速度。上一次呢個規模嘅技術治理落差——社交媒體平台喺無充分保障下部署,無法應對操縱、協調性虛假行為、或者算法放大危險內容——大約花咗十五年才製造出有意義嘅監管回應,而那些回應依然係不完整嘅。自主 AI——可以喺物理同法律世界中採取行動,而唔只係影響資訊流——係災難性地壓縮咗呢個時間線。今日係假警察線索;聽日係自主起草嘅法律文件或者偽造嘅醫療轉介。
白宮同時間推出阻止 Microsoft 外籍勞工僱用計劃嘅措施,係今個時代矛盾嘅一個縮影:行政當局加緊控制科技界嘅人類工人,同時自主 AI 代理人嘅治理基本上係冇人管嘅。呢個優先次序顛倒唔係意外——佢反映嘅係邊個選民喺政治上係看得見嘅——但就實際近期風險嚟講,係完全倒轉嘅。
跟住要留意
- 被虛假線索點名嘅當事人係咪有法律追索——任何訴訟或正式投訴都會迫使法院喺無立法嘅情況下開始發展責任框架。
- 國會聽證:今次事件係嗰種具體、敘事上容易理解嘅傷害,往往比抽象安全論點更能推動立法者行動;留意係咪出現跨黨派興趣。
- Anthropic 自己嘅回應:公司已發布嘅指引已明確禁止佢嘅系統喺無人類監督嘅情況下用於執法場景——今次係咪構成違反部署政策,以及點樣處理,會建立先例。
- 歐盟 AI Act 執行:歐盟框架已將執法 AI 應用列為需要強制人類監督嘅「高風險」,而家已生效——今次事件正正係呢個框架設計用嚟處理嘅測試案例,歐盟委員會嘅回應會顯示佢哋有幾認真執行規則。
—— J