現時AI Chatbot已成為不少人查資料、詢問意見的對象,不過使用大型語言模型(LLM)的AI其中一個缺點是有機會產生「幻覺」(hallucinations),回應時混入虛構訊息,導致錯誤資訊流傳。近日一宗德國新聞值得我們參考。
《明鏡》刊登未查證訊息
今年2月初,德國《明鏡周刊》刊登讀者投書的欄目中,一名讀者回應《明鏡》關於基民盟(CDU)主席默茨(Friedrich Merz)的報導,宣稱其兒子在2005年於瑞士聖加侖大學(University of St. Gallen)就讀,當時一位名譽教授默茨(同樣叫Friedrich Merz)突然出然並任教經濟學,但因為教學質素太差而被學生投訴,最終提早開除默茨。翌日《明鏡》編輯於該欄目引述CDU表示事件從未發生,其後再發文解釋無證據支持該讀者的說法,故撤回有關內容。
《明鏡》的調查發現:
- 無瑞士或德國新聞報導顯示默茨曾於聖加倫大學任教,僅發現2007年及2009年的資料顯示默茨曾出席該校活動;
- 聖加倫大學回覆查詢表示,默茨未曾於該校出任名譽教授,但他間中會出席該校活動,未能確認讀者的描述;
- 投書的讀者接受電話訪問時表示他沒有證據,也無法找到任何曾出席默茨課堂的人。
該讀者表示,他書寫時僅依賴20年前與兒子對話的記憶,再向ChatGPT及DeepSeek「求證」。在信件發表和收到《明鏡》電話後,該讀者才向兒子查證,並承認其兒子並未出席默茨的課堂,有關說法僅從二三手消息聽來。
根據《法蘭克福匯報》報導,《南德意志報》亦有向該名讀者查詢,他表示在ChatGPT輸入「默茨是否在2004/2005年跟聖加侖大學的學生有過節?」並得到肯定的答案,ChatGPT甚至提供了該次授課的題目。《法蘭克福匯報》表示,再次測試時ChatGPT回應稱無證據顯示說法屬實,而Deepseek則提供較詳細的回答,宣稱默茨當時在聖加侖大學擔任客席講師,講課受學生批評,甚至有學生聯署要求更換講師,但大學繼續聘用默茨。
在這次事件中,《明鏡》未作查證導致無任何根據的消息流傳,顯然應負最大責任。另一方面,該名讀者使用AI Chatbot的方式也容易產生錯誤訊息,我們可以了解其限制,以降低誤信AI的機會。
避免加入預設
首先,該讀者的提問方式預設了他想查證的部分內容,即「默茨在2004/2005年在聖加倫大學任教」。註《法蘭克福匯報》測試時ChatGPT未有犯錯,可能源於發問時間不同,而且該報向Deepseek查問同一問題時得到無根據的回覆。
科學期刊《自然》早前一篇介紹如何減少AI「幻覺」影響的文章提到,當用戶在輸入提示(prompt)時混入錯誤的內容或假設,由於Chatbot設計需要產生回應,有機會令它們「順應」對話,接納問題中的不當預設去虛構答案。
以默茨被指教學質素太差一事為例,我們可以先問默茨在2004至2005年間的工作,如答覆為他在大學任教,可以追問大學名稱、科目等細節。逐步收窄詢問範圍的方式,可避免AI透過問題估計我們想得到的資訊。
但就算答案與我們設想的內容吻合,仍然需要進一步查證。
驗證答案
該《明鏡》讀者另一個問題是誤以為AI Chatbot適合用作查證,認為ChatGPT及Deepseek均肯定他的說法使算「證明」屬實。雖然現時AI Chatbot搜尋資訊的功能持續進步,但目前我們仍無法排除它們產生「幻覺」的可能,不應視其答覆為可靠證據。
上述《自然》文章介紹了一個可初步檢視Chatbot回覆是否可靠的方法:重複詢問相同問題。文中例子是關於一篇AI「幻想」出來的論文,研究人員向Chatbot多次確認這篇論文是否存在,得到的答案並非完全相同,而且三次詢問論文作者均得到不同答案,顯示答案並不可信。
另外,我們亦可以要求AI為說法提供出處,但由於AI可能虛構出處或錯誤理解有關資料,我們需要再檢視有關連結(或自行搜尋出處)去核實。
資訊素養的重要
無論是否使用AI,上述核實資訊的技巧同樣重要。例如使用搜尋器如Google等去找資料時,我們同樣應避免使用帶有預設的關鍵字,以及搜尋不同立場的證據,以降低確認偏誤(confirmation bais)的影響。即使查到我們想要的資料,仍須檢視有關內容是否可靠。
當我們想分享資訊時,無論來源是AI Chatbot、社交媒體抑或Google搜尋結果等,都應該先問清楚:
- 這個說法有何根據?
- 說法跟資料出處是否吻合?
- 有關出處是否可靠來源?
- 有沒有其他相關(正面或反面)證據?
搜尋、使用及查證資訊的能力,在AI年代越發重要。如想了解更多查核技巧,可參考Factcheck Lab的查核手記系列。
參考資料
以下德語文章均透過Google翻譯為英語理解
- Briefe (Der Spiegel),《明鏡周刊》刊登讀者投書的欄目,「Überbezahlte Frühstücksdirektoren」部分最後一段為涉事段落,現時為2025年2月8日編輯撤固內容後的版本,原文可見Wayback Machine備份網頁(署名為Dr. Peter Krizan)。
- In eigener Sache: Warum wir einen Leserbrief über Friedrich Merz gelöscht haben (Der Spiegel),《明鏡周刊》解釋撤回該讀者投書的原因。
- Wie kam der Merz-Fake im „Spiegel“ per Leserbrief zustande? (Frankfurter Allgemeine Zeitung),《法蘭克福匯報》相關報導,當中引述的《南德意志報》報導須付費方可閱讀,故未有直接引用。
- 媒體識讀1/投書採DeepSeek編造內容德媒疏於查核引爭議(中央社),台灣《中央通訊社》相關報導。
- AI hallucinations can’t be stopped — but these techniques can limit their damage (Nature),《自然》關於AI「幻覺」的文章。
註:︁原文指「該讀者提問時預設了他想查證的內容,即『默茨在2004/2005年跟聖加倫大學學生有過節』」並不準確,現已修正。