Anthropic聯合創辦人Dario Amodei今個星期警告，AI發展過快，人類監管跟唔上，呼籲業界暫停，讓安全框架有時間追上能力發展嘅步伐。Al Jazeera另有報道，指Anthropic係向整個AI業界發出呼籲，警告人類有機會失去對正在建構中嘅AI系統嘅有效控制。呢個呼聲喺同一個星期出現，Trump宣佈將與AI公司領袖會面，討論美方對其企業嘅投資；美股同時因對Big Tech估值過高嘅憂慮而下滑；SpaceX以一萬七千五百億美元估值目標進行股份增發——幾件事湊埋一齊，說明AI同時係政治焦點、金融投機對象，以及真實嘅安全憂慮嘅交匯點。
主流嘅睇法
進步派同科技管理主義嘅主流對Anthropic嘅呼籲有兩種有點矛盾嘅反應。第一種係熱烈支持：係呀，AI發展需要護欄，公司應該受到監管，一個領先AI實驗室自己叫暫停，正好說明風險有幾嚴峻。呢個觀點喺2023年由Elon Musk、Yoshua Bengio等人聯署嘅「暫停信」中被定型，亦主導咗歐洲監管界嘅討論方向，呢個地方嘅《歐盟AI法案》正在推進立法程序。
第二種反應——喺美國政策圈越嚟越常見——係懷疑自願暫停甚至立法限制係咪真係有效，因為競爭動態係全球性嘅。中國唔會暫停。互相克制嘅邏輯需要唔存在嘅核查機制。喺呢個角度，答案係美國嘅投資同主導，而唔係自我施加嘅限制——呢恰恰係Trump同AI公司高層見面嘅姿態所要強化嘅立場。AI由誰控制嘅問題，喺技術問題之前，先係地緣政治問題。
兩種讀法都有真實洞見。兩種，亦以唔同方式，都係自利嘅。
另一邊嘅睇法
Anthropic警告中最重要嘅一句，係獲得最少關注嘅一句：呢個呼籲，係由一家正在打造全球最強大AI系統之一嘅公司，向其他AI公司說嘅話。呢唔係一個超然中立嘅聲音。係一家擁有特定AI安全願景嘅公司——體現在佢自己嘅「Constitutional AI」方法論同自家模型裡——正在公開論證一個偏偏令對手顯得魯莽、令自家方法顯得負責任嘅主張。
呢個唔一定係出於算計。Anthropic嘅人可能真係相信自己所說嘅話；佢哋當中有唔少人正係因為認為OpenAI將安全置於能力發展之下而離開。不過結構性誘因係清晰嘅：一個足夠長到可以讓安全框架正式化嘅「暫停」，同時亦傾向於令已經走在前頭嘅公司受益。監管俘獲——即係一個行業左右表面上約束自己嘅法規嘅現象——喺AI行業同在其他每個科技密集型行業一樣運作。
深層問題係冇人已經就「足夠嘅人類監管」係甚麼達成共識，而打造AI嘅公司係唯一有足夠內部數據去提議定義嘅主體。當Amodei話人類有機會失去控制，佢係在描述一個真實現象——即排列問題，關乎AI系統係咪可以可靠地追求人類所設定嘅目標——不過佢同時隱然是將Anthropic定位為理解並管理緊呢個問題嘅主體。公眾同其選出嘅代表，被要求相信一家私人公司對其自家產品所構成風險嘅自我評估。
呢個唔係AI獨有嘅問題。製藥業塑造藥物審批程序；金融業塑造資本要求；核工業塑造監管自己嘅機構。AI嘅不同之處係速度：一種科技嘅部署同機構評估其能力之間嘅落差，比幾乎任何以前嘅案例都要大。Trump今個星期同AI高層嘅峰會顯示，美國現任政府對呢個問題嘅答案係與業界合作，而唔係獨立監管——即押注競爭優勢同安全係一致嘅，而呢恰恰係Anthropic正在質疑嘅假設。
華爾街嘅面向同樣重要。美股今個星期下跌，部分係因AI估值憂慮。金融市場開始質疑AI投資周期究竟係在創造價值，定係在膨脹泡沫——呢個問題對發展係咪能夠以現有速度繼續有重大影響，而且完全喺安全討論框架之外。一場劇烈嘅金融調整，對减慢AI發展嘅效果可能好過任何自願暫停，而且係以一種完全唔受任何公司安全團隊建議影響嘅方式發生。呢係令人安心定令人擔心，取決於你認為市場定係監管機構哪個更擅長衡量科技風險。
講到底，冇任何現有機構——不論係民族國家、國際組織、行業聯盟，定係個別公司——已展現出喺實時管治轉型性AI發展嘅能力。呢係一個結構性問題，唔係人事問題，無法靠召開峰會或聯署公開信解決。
跟住要留意
Trump同AI高層嘅會議係咪會產生任何類似管治框架嘅東西，定係只係一系列投資公告。呢個分別，對下一個十年嘅AI環境係點，至關重要。
國會喺AI責任上嘅進展：當AI系統造成傷害時，法律責任由誰承擔呢個問題，喺美國法律上仍未有解決。冇責任制，就冇市場誘因去實踐Anthropic所倡議嘅安全行為。
《歐盟AI法案》嘅落實係咪真係令歐洲AI公司處於競爭劣勢——呢樣嘢若然出現，就會同時強化華盛頓同北京「我哋唔能夠暫停」嘅論述。
Anthropic自己下一個模型幾時發布：若係喺佢哋呼籲暫停後數月就出，嗰個時機本身就係一個關於呢家公司公開安全立場同實際競爭行為之間落差嘅說明性數據點。
—— J