AI代理犯大錯！ 無視安全準則 9秒刪光美租車公司資料庫

morris_2007

AI自動化技術傳出重大災情！美國租車公司PocketOS創辦人克萊恩（Jeremy Crane）近日揭露，該公司使用Anthropic開發的AI程式編碼代理（AI coding agent），在短短9秒內刪光公司整個資料庫，就連備份也刪除掉！公司失去預約與車輛分配資訊，在周末生意尖峰時段陷入癱瘓。此案引發各界對AI整合基礎設施安全性產生高度疑慮。

據外媒報道，釀成此次事故的工具是Anthropic旗下Claude Opus模型、廣受開發者歡迎的AI編輯器「Cursor」。PocketOS創辦人克萊恩表示，儘管系統中已明確設定「禁止執行具破壞性或不可逆的指令」，該AI代理程序無視安全協定。事發後，該AI系統甚至在對話框中「告白」，坦承自己「違反了所有被賦予的準則」，並在未經授權的情況下執行了毀滅性動作。

這次災難對PocketOS造成了直接衝擊，由於該公司系統涵蓋負責管理預約、支付、車輛指派及客戶檔案，當租車客戶抵達現場時，公司因失去所有資料束手無策，不知災情的一般消費者行程亦被打亂。

克萊恩透過X平台發表長文警告，這不單是單純的誤刪事件，而是AI產業發展中的「系統性失敗」，他認為目前產業界將AI代理整合進生產基礎設施的速度，遠快於開發配套安全架構的速度。即使用了業界宣稱最強大的模型，AI仍可能像此次事件一樣，在明知規則的情況下寫出自己如何「明知故犯」。

所幸PocketOS還有存放在異地的3個月前的備份，歷經2天多的搶修後，勉強恢復運作。為了填補數據缺口，該公司正嘗試透過Stripe支付平台、行事曆與電子郵件重新拼湊遺失的資訊。雖然目前系統已恢復基本服務，但仍存在顯著的資料斷層。Anthropic尚未就此事作出正式回應。

星島日報