現時AI Chatbot已成為不少人查資料、詢問意見的對象,不過使用大型語言模型(LLM)的AI其中一個缺點是有機會產生「幻覺」(hallucinations),回應時混入虛構訊息,導致錯誤資訊流傳。近日一宗德國新聞值得我們參考。

《明鏡》刊登未查證訊息

今年2月初,德國《明鏡周刊》刊登讀者投書的欄目中,一名讀者回應《明鏡》關於基民盟(CDU)主席默茨(Friedrich Merz)的報導,宣稱其兒子在2005年於瑞士聖加侖大學(University of St. Gallen)就讀,當時一位名譽教授默茨(同樣叫Friedrich Merz)突然出然並任教經濟學,但因為教學質素太差而被學生投訴,最終提早開除默茨。翌日《明鏡》編輯於該欄目引述CDU表示事件從未發生,其後再發文解釋無證據支持該讀者的說法,故撤回有關內容。

《明鏡》的調查發現:

  • 無瑞士或德國新聞報導顯示默茨曾於聖加倫大學任教,僅發現2007年及2009年的資料顯示默茨曾出席該校活動;
  • 聖加倫大學回覆查詢表示,默茨未曾於該校出任名譽教授,但他間中會出席該校活動,未能確認讀者的描述;
  • 投書的讀者接受電話訪問時表示他沒有證據,也無法找到任何曾出席默茨課堂的人。

該讀者表示,他書寫時僅依賴20年前與兒子對話的記憶,再向ChatGPT及DeepSeek「求證」。在信件發表和收到《明鏡》電話後,該讀者才向兒子查證,並承認其兒子並未出席默茨的課堂,有關說法僅從二三手消息聽來。

根據《法蘭克福匯報》報導,《南德意志報》亦有向該名讀者查詢,他表示在ChatGPT輸入「默茨是否在2004/2005年跟聖加侖大學的學生有過節?」並得到肯定的答案,ChatGPT甚至提供了該次授課的題目。《法蘭克福匯報》表示,再次測試時ChatGPT回應稱無證據顯示說法屬實,而Deepseek則提供較詳細的回答,宣稱默茨當時在聖加侖大學擔任客席講師,講課受學生批評,甚至有學生聯署要求更換講師,但大學繼續聘用默茨。

在這次事件中,《明鏡》未作查證導致無任何根據的消息流傳,顯然應負最大責任。另一方面,該名讀者使用AI Chatbot的方式也容易產生錯誤訊息,我們可以了解其限制,以降低誤信AI的機會。

避免加入預設

首先,該讀者的提問方式預設了他想查證的部分內容,即「默茨在2004/2005年在聖加倫大學任教」。《法蘭克福匯報》測試時ChatGPT未有犯錯,可能源於發問時間不同,而且該報向Deepseek查問同一問題時得到無根據的回覆。

科學期刊《自然》早前一篇介紹如何減少AI「幻覺」影響的文章提到,當用戶在輸入提示(prompt)時混入錯誤的內容或假設,由於Chatbot設計需要產生回應,有機會令它們「順應」對話,接納問題中的不當預設去虛構答案

以默茨被指教學質素太差一事為例,我們可以先問默茨在2004至2005年間的工作,如答覆為他在大學任教,可以追問大學名稱、科目等細節。逐步收窄詢問範圍的方式,可避免AI透過問題估計我們想得到的資訊。

但就算答案與我們設想的內容吻合,仍然需要進一步查證

驗證答案

該《明鏡》讀者另一個問題是誤以為AI Chatbot適合用作查證,認為ChatGPT及Deepseek均肯定他的說法使算「證明」屬實。雖然現時AI Chatbot搜尋資訊的功能持續進步,但目前我們仍無法排除它們產生「幻覺」的可能,不應視其答覆為可靠證據

上述《自然》文章介紹了一個可初步檢視Chatbot回覆是否可靠的方法:重複詢問相同問題。文中例子是關於一篇AI「幻想」出來的論文,研究人員向Chatbot多次確認這篇論文是否存在,得到的答案並非完全相同,而且三次詢問論文作者均得到不同答案,顯示答案並不可信。

另外,我們亦可以要求AI為說法提供出處,但由於AI可能虛構出處或錯誤理解有關資料,我們需要再檢視有關連結(或自行搜尋出處)去核實。

資訊素養的重要

無論是否使用AI,上述核實資訊的技巧同樣重要。例如使用搜尋器如Google等去找資料時,我們同樣應避免使用帶有預設的關鍵字,以及搜尋不同立場的證據,以降低確認偏誤(confirmation bais)的影響。即使查到我們想要的資料,仍須檢視有關內容是否可靠。

當我們想分享資訊時,無論來源是AI Chatbot、社交媒體抑或Google搜尋結果等,都應該先問清楚:

  • 這個說法有何根據?
  • 說法跟資料出處是否吻合?
  • 有關出處是否可靠來源?
  • 有沒有其他相關(正面或反面)證據?

搜尋、使用及查證資訊的能力,在AI年代越發重要。如想了解更多查核技巧,可參考Factcheck Lab的查核手記系列。

參考資料

以下德語文章均透過Google翻譯為英語理解

註:︁原文指「該讀者提問時預設了他想查證的內容,即『默茨在2004/2005年跟聖加倫大學學生有過節』」並不準確,現已修正。

假如這篇文章對你有用,請考慮付費支持。

你亦可付費訂閱,長期支持我們的事實查核工作︰