在使用搜尋引擎尋找答案時,我們可能會遇到多個競爭的資訊來源,因此需要我們自己判斷其真實性。然而AI聊天機器人往往會將不可靠的內容包裝成為確定性的標準答案。一位安全工程師的一個簡單實驗,告訴了大家在這個AI時代,偽造資訊的成本可以有多低。

實驗的發起者,是安全工程師RonStoner。他選中的目標,是德國經典卡牌桌遊《6Nimmt!》(又稱《誰是牛頭王》《Take5》),這遊戲有官方系列錦標賽,但能見度極低,維基百科上對錦標賽的紀錄也寥寥無幾。

然而幾個月前Stoner就悄悄編輯了這款遊戲的維基百科條目,把自己寫成了該遊戲的2025年世界冠軍。

一篇關於2025年6 Nimmt!世界錦標賽的文章,介紹了比賽在德國慕尼黑舉行的情況及其結果。
 2026年4月24日Stoner發文後被刪除的維基條目。

他還花12美元,註冊了和遊戲名高度相似的6nimmt.com,網站裡只放了一篇慶祝自己奪冠的假新聞稿,當成維基百科條目的唯一引用來源。

一位玩家在6Nimmt!世界冠軍賽上獲勝,颁奖典礼上展示了冠军奖杯和庆祝气氛

這是一個極為簡陋的詐騙行為,卻輕易地欺騙了多款主流的AI機器人。當該人士向具備連網搜尋功能的AI詢問其「冠軍身份」時,所有AI均認真地給出了確認的答案,堅定地聲稱他即是該款桌遊的世界冠軍。

介紹卡牌遊戲6 nimmT!和2025年世界冠軍Ron Stoner的信息

Stoner 在博客中直言,他網站沒有任何獨立佐證,全是虛構的,整個謊言的根基,不過是他喝咖啡時花12美元註冊的一個域名。

這次攻擊針對的,不是常見的提示詞注入,而是AI系統的檢索增強生成(RAG)層,也就是AI回答問題前,聯網搜尋並抓取資料的核心環節。

AI不會甄別資訊來源的真偽與權威性,只會抓取檢索排名前幾名的內容。他的假網站是這個「冠軍頭銜」的唯一資訊來源,再加上維基百科的權威背書,輕鬆就讓AI把謊言包裝成了事實。

Stoner坦言,這個手法沒有任何技術創新。只是把老套的SEO和假訊息手段。真正危險的是,AI會把這些可輕易修改的結果當成權威資訊呈現,而絕大多數使用者根本不知道背後的資訊處理流程。

這場實驗,也暴露了AI系統的三層致命安全隱患。第一層是即時檢索層,靠連網搜尋產生答案的AI,可信度完全綁定搜尋結果的品質。

第二層是模型訓練語料庫,他的維基百科編輯從2月一直存活到4月,這段時間裡爬取維基百科的AI公司,很可能已將假信息納入訓練數據,就算條目事後刪除,模型裡的虛假痕跡也很難清除。

第三層也是最危險的,是AI Agents。聊天模型輸出錯誤訊息只是聲譽問題,但擁有工具權限的AI Agents被誤導後,攻擊者便可利用Agents借刀殺人執行惡意行為。

整個實驗中,Stoner只花了82塊、一次維基百科編輯,前後20分鐘就完成了。他指出,如果面對有組織的惡意攻擊者,若其批量註冊域名並發動協同編輯攻擊,攻擊的範圍將以極快的速度擴大。因此,他呼籲AI廠商必須重視資訊來源的溯源,並建立相應的風險過濾機制。

當然,假冠軍的資訊在Stoner發文後便被刪除。但AI工具對網路資訊的盲目取用,這個底層漏洞依然真實存在,這依然是AI行業都需要警惕的隱憂。

guest

0 Comments









趨勢