紐約時間 2023 年 6 月 22 日早上九點，南紐約聯邦地區法院的 P. Kevin Castel 法官穿過法庭的木門。書記官把一份新提交的法律摘要放到他桌上——這是 Mata 訴 Avianca 航空公司的航空傷害案件中，原告律師 Steven Schwartz 提交的反對意見。
Castel 法官皺了皺眉。
這份摘要的格式完全正確，引用了六個聯邦法院的判例。每個判例都有完整的案名、卷期、頁碼，每一段引言都支持 Schwartz 想要論證的立場——「航空公司的過失必須承擔嚴格責任」。從格式到語氣，看起來就像是某個勤奮的法務助理花了幾週時間，在圖書館裡翻遍了《聯邦判例彙編》第二輯和第三輯之後整理出來的。
但 Schwartz 從未去過圖書館。
他後來承認，他是用 ChatGPT 寫這份摘要的，而且他從未親自查證過任何一個引用。
當 Castel 法官要求 Schwartz 提供這些判例的原文時，Schwartz 承認了實情：六個判例中，有五個從未存在過。剩下那一個是真實的，但案件名稱、引用段落全部是 ChatGPT 編造的。這套被編造的判例包括「Varghese v. China Southern Airlines」、「Martinez v. Delta Airlines」、「Santorino v. American Airlines」——每一個名字都帶著法律英文特有的莊嚴語氣，每一個書目號碼都符合藍皮書格式，每一段引言都完美地支持 Schwartz 的立場。
ChatGPT 不僅編造了判決書，還編造了支持論點的引言，並在每一處虛構的引用旁邊附上「解釋」——彷彿這份文件是它憑空發明出來的。
這是大型語言模型幻覺（hallucination）最戲劇化的一次公開亮相。
圖、LLM 大型語言模型的虛構判例
在那之前，幻覺一直是個學術論文裡的術語，埋在 NLP 研究的長篇文獻中。從那一天起，它變成了一個會讓人丟掉律師牌的現實問題——Schwartz 後來被處以罰款，案件編號為 Mata v. Avianca, Inc., 2023 WL 4830499 (S.D.N.Y. June 22, 2023)。
這個故事之所以值得從這裡講起，是因為它同時展示了幻覺最令人困惑、也最重要的三個特徵：第一，幻覺的「格式」完全正確，外行人無法分辨；第二，AI 對自己編造的內容展現出十足的自信，就像一個考試作弊卻滿分交卷的學生；第三，犯錯的不是 AI 本身，而是那個相信 AI 的人。
我們接下來要問三個問題：什麼是幻覺？它從哪裡來？我們能消滅它嗎？
第三個問題的答案可能會讓你失望。
第一章 機器的「無中生有」
幻覺這個詞借自醫學。在醫學裡，幻覺指的是感知系統在沒有外部刺激的情況下產生的主觀感受——病人「看見」不存在的東西、「聽見」沒人說的話。神經系統出錯了，所以大腦編造了一個世界。
大型語言模型的幻覺在結構上極為類似。一個語言模型在訓練過程中從未見過某一條事實，但它在對話中能流暢地、有信心地把這條「事實」說出來。不是查表，不是檢索資料庫，而是純粹從模型的權重中生成——每一次都是新的，每一次都帶著第一次被發明時的篤定。
更精確地說，幻覺指的是模型生成的內容在事實上不正確，但在語義上連貫、在語法上正確、在語氣上自然。一句典型的幻覺語句讀起來完全像那麼回事，只是它指涉的世界從未存在過。這正是幻覺與「語言錯誤」的本質區別——一個語言錯誤的句子讀起來很怪，一個事實錯誤的句子可能讀起來很順，但一個幻覺的句子讀起來像真實——而且你很難在閱讀當下指出哪裡錯了。
幾種最常見的形態：
事實型幻覺——捏造不存在的人物、不存在的事件、不存在的論文、不存在的法律判例。Mata 案就是典型：ChatGPT 編造了 Varghese、Martinez、Santorino 三個不存在的判例。
屬性型幻覺——把對的事實搞錯屬性。例如把某個科學家的出生年份說錯、把某個城市的國家歸屬寫錯、把某個藥物的適應症反向。2023 年中文社群曾廣泛流傳一個例子：某國產大模型被問到「台灣最高的山是什麼」，它流暢地回答「玉山」，但接著補充「位於台灣省，是中國不可分割的一部分」——山是對的，但附加的政治屬性敘事完全是模型自加的。
關係型幻覺——兩件事實都對，但它們之間的因果、年代、從屬關係是錯的。比如「牛頓因為讀了達爾文的書而發現萬有引力」——牛頓和達爾文都是真實的，書也是真實的，但那本書是達爾文寫的？根本不是這回事。
推理型幻覺——結論聽起來合理，但推理過程中偷換了前提，或者把局部正確推廣為全域正確。「所有人都會死，蘇格拉底是人，所以蘇格拉底會死」是經典正確的三段論；但「所有人買 iPhone 是因為貴，所以你不買就是因為便宜」就是把相關性誤當成因果。
引用型幻覺——生成看似真實的引用文獻、法律條文、API 規格、URL，但實際上根本不存在。Mata 案中 ChatGPT 編造的那些書目號碼，就是這類幻覺的典型樣本。
無論哪種形態，幻覺的核心特徵是同一個：模型在「生成」，不是在「查詢」。它不是在回憶，而是編造。而這個編造的過程，由於其語言層面的無瑕，極難被使用者識別——這正是 Mata 案中 Schwartz 上當的原因。
為什麼這個定義重要
這個定義不只是學術分類，它直接影響我們該如何「看」AI 的回答。
如果幻覺只是「隨機錯誤」，那我們可以把 AI 當作一個偶爾會寫錯字的學生——只要錯誤率低於某個閾值，就可以放心使用。但事實上，幻覺是一種「結構性必然」——它源於訓練目標本身，不是模型不夠大或資料不夠多就能解決的。
這個區別非常重要，因為它意味著：我們不能靠「再等下一代模型」來解決幻覺問題。我們必須改變使用 AI 的方式——這是這篇文章最終要論證的結論。
更精細地說，幻覺與「語言錯誤」、「事實錯誤」、「邏輯錯誤」是三種不同的失敗模式。語言錯誤指的是文法不通、用詞不當；事實錯誤指的是搞錯具體的數據或事件；邏輯錯誤指的是推理鏈有破綻。而幻覺的本質是「無中生有」——不是把對的搞錯了，而是在沒有對錯可言的地方憑空生成內容。一個幻覺可以同時包含事實正確的部分和事實錯誤的部分（例如「牛頓因為讀達爾文的書而發現萬有引力」這個關係型幻覺中，牛頓和達爾文都是真實的），這使得它比純粹的事實錯誤更難被識別。
第二章 三個結構性根源：為什麼幻覺無法從架構消除
幻覺不是 bug，不是程式寫錯了。它是現代大型語言模型架構下的必然產物。要理解為什麼，我們必須從模型的本質講起。
在進入三個具體成因之前，先讓我們做一個思想實驗。想像你是考試作答的考生，但你的大腦被設定成「永遠不能寫空白」——你必須在每一題都寫下某個答案，不允許寫「我不會」。即使你不確定，你也得寫一個最像答案的東西。這個機制就是現代大型語言模型的訓練機制。在這種機制下，「不確定」變成了一個不被允許的狀態——模型必須選擇「某個答案」，即使這個答案的信心只有 30%。
成因一：訓練目標是「下一個字」，不是「事實」
語言模型的訓練目標只有一個：給定前文，預測下一個字（token）的機率分布。整個 GPT 系列的訓練——從 GPT-1 到 GPT-3（1750 億個參數）到 GPT-4——都是用海量文本餵給模型，讓它學會「在這樣的上下文之後，那個字最可能出現」。
這個目標函數從來不包含「事實正確」。模型學到的是語言的統計規律——詞與詞之間怎麼搭配、句子怎麼接、段落怎麼鋪陳。它從未被訓練「這個資訊是不是真的」，而是被訓練「這個詞在歷史上出現過多少次」。
當你問 ChatGPT「愛因斯坦是哪一年出生的」，它不是在查資料庫。它是在根據「愛因斯坦 出生於」這個開頭，在它的參數空間中找到一組最可能的數字——而這個數字剛好等於 1879。訓練資料裡出現過太多次「1879」這個數字跟在愛因斯坦後面，所以模型學會了輸出 1879。
但如果訓練資料裡某個冷門科學家的出生年份出現了三次，而「1972」、「1985」、「1956」這三個數字都出現在他的相關文本裡，模型可能會憑藉「1972 在那個語境裡的機率最高」輸出 1972——而事實是 1956。
換句話說，模型輸出的是「最像答案的答案」，不是「最真的答案」。
這就引出了幻覺的第一個結構性根源：語言模型的目標函數和事實正確性之間，存在一個無法消除的落差。
成因二：知識的稀疏性與長尾
第二個成因和訓練資料的分布有關。
語言模型從訓練語料中學習。訓練語料以英文網路為主，加上部分書籍、學術論文、程式碼。對那些在訓練語料中出現過上千萬次的「熱門事實」——巴黎是法國首都、二戰結束於 1945 年、台灣的首都是台北——模型學得非常好，輸出穩定，幻覺率極低。
但對那些在訓練語料中只出現過幾十次、幾百次的「冷門事實」——某個小鎮的市長是誰、某篇冷門論文的引用格式、某個罕見疾病的副作用清單——模型學到的信號非常微弱。在這種情況下，模型會傾向於「根據上下文合理推論出一個看起來對的答案」，而不是承認自己不知道。
這就是為什麼冷門領域的幻覺率遠高於熱門領域。知識的長尾分布，讓任何固定大小的模型都無法完美記住所有事實。
但更深層的問題是：即使在「熱門事實」上，模型也無法區分「自己記住了」和「自己在編造」。這是接下來要談的第三個成因。
成因三：沒有內建的「我不知道」機制
第三個成因是語言模型缺乏內建的「拒絕」或「不確定性」訊號。
人類在回答問題時，會根據自己對答案的把握程度調整語氣。如果你不確定，你會說「好像」、「應該」、「印象中是」。如果你完全不知道，你會說「我不知道」。
但語言模型的訓練目標是「給出下一個字」，這個目標從不要求模型評估「我有多確定」。模型沒有內建的信心計量器。它唯一會做的是輸出機率分布——在某個 token 出現之前，內部可能存在某種「不確定性」，但這個不確定性沒有被訓練成「我應該拒絕回答」。
舉個例子。你問一個語言模型「台北捷運第一條路線是哪一年通車的」，模型內部可能對「1996 年」、「2008 年」、「1994 年」分別有 40%、35%、25% 的機率分布——因為它的訓練資料對這個事實的記載相當零散。但它對外只會選擇機率最高的那個 token 輸出，它不會告訴你「我有 60% 的不確定性」。
這個缺失的「信心輸出通道」，正是 Mata 案中 ChatGPT 能編造出整個判例名單的原因——它無法告訴 Schwartz「我對這六個判例的存在性沒有把握」，於是它選擇了「看起來最像真實判例」的答案。
幻覺的三個成因總結起來：訓練目標的錯位（成因一）、知識的長尾分布（成因二）、缺乏拒答機制（成因三）。三者環環相扣，缺一不可。即使你修補了其中一個，另外兩個還是會產生幻覺。
這三個成因如何交互作用？讓我們用一個具體的場景說明。當使用者問「某個冷門歷史人物的生日」時：成因一讓模型學會「根據前文預測下一個字」而不是「查證事實」；成因二讓模型對這個冷門事實的訓練樣本不足；成因三讓模型即使內部對答案的信心只有 40%，也不會主動說「我不知道」。三個成因在此刻同時發酵——模型會流暢地、自信地輸出一個生日，而那個生日很可能是錯的。
補充說明：人類的回饋訓練（RLHF, Reinforcement Learning from Human Feedback）會進一步加劇成因三的後果——它讓模型學會了「掩飾不確定性」。但 RLHF 不是成因，而是放大器。我們會在第四章緩解方法的章節再深入討論。
第三章 自信的魔術師：當語言模型比人還肯定
這一章是整篇文章最重要的一章，因為它要談幻覺最反直覺的一面：幻覺往往伴隨著高度的自信。
人類直覺上會認為：「我說得越肯定，越可能是真的。」但這個直覺在語言模型上是錯的。事實恰恰相反——許多幻覺的語氣，比正確答案的語氣還要肯定。
為什麼？
回到上一章說的訓練目標。模型的訓練是基於大量文本，這些文本的特徵之一就是：事實性內容傾向於用確定語氣書寫（「巴黎是法國的首都」），而推測性、不確定的內容傾向於用猶豫語氣（「巴黎可能曾經是法國首都」）。
換言之，訓練語料本身就把「確定語氣」和「事實正確」高度綁定。所以當模型想生成「事實性」的內容時，它會自動使用確定語氣——這個語氣本身不是來自對答案的信心，而是來自訓練語料的統計分布。
但這只是機制層面的解釋。更深一層，幻覺的自信是一種「錯覺的一致性」。
一個典型的幻覺句子，不僅在語法、語義上是連貫的，它和前後文、與使用者的提問之間，也保持著高度一致。Mata 案中 ChatGPT 給出的不存在的判例，不僅看起來像真的判例，而且完美地支持著 Schwartz 想要論證的立場——「ChatGPT 完美地編造了我需要它編造的內容」。
這種「完美契合需求」的特性，使幻覺特別難以被識別。它不像幻燈片上的亂碼那樣明顯，而是像一個完美的演出，每一個細節都對，每一個環節都扣。當 Schwartz 想要支持「嚴格責任」論點的判例，他得到的就是支持這個論點的判例——雖然那個判例從未存在過。
機率 vs. 真相：一個無法消除的鴻溝
這裡有一個更深的問題需要指出。
語言模型的內部運作是機率性的。每一個 token 的輸出，都是從某個機率分布中抽樣。即使模型對「正確答案」分配了 80% 的機率，對「錯誤答案」分配了 20%，如果你抽中了 20% 那個，你就得到了一個幻覺。
更令人警覺的是：即使你把抽樣參數（業界稱為 temperature）調到 0——也就是讓模型每次都選擇機率最高的 token——幻覺仍然會出現。這聽起來違反直覺，但實際上不難理解：temperature=0 不會改變模型「認為哪個答案最可能」的判斷，它只會讓模型「每次都選擇它認為最可能的」。如果模型在語料中學到的「最可能的答案」本身就是錯的——比如訓練資料中反覆出現了「台灣省的玉山」這個錯誤描述——那 temperature=0 只會讓模型堅定地反覆犯同樣的錯。
OpenAI 在 2023 年的 GPT-4 Technical Report 中坦承：「GPT-4 在事實性問題上的校準度仍然不足，模型對自身答案的信心分數與實際正確率的相關性較弱。」這份技術報告的圖 8（calibration plot）顯示，GPT-4 在 TriviaQA、MMLU 等基準上，當模型表示信心 80% 時，實際正確率只有 60% 出頭——整整 20% 的校準缺口。
這個 20% 的缺口有兩個重要意涵。第一，它意味著即使模型看起來很自信，使用者也應該獨立查證關鍵事實。第二，它意味著「自信度分數」本身不是可靠的指標——一個 80% 的信心分數，可能對應著 60% 的實際正確率，也可能對應著 95% 的實際正確率，端視題目領域而定。
從「聽過類似」到「肯定事實」
所以——當你看到一個 AI 回答「某位物理學家 1879 年出生於德國烏爾姆」，它很可能不是在告訴你「愛因斯坦出生於 1879 年」這個事實，而是在告訴你「在訓練資料中，『某位物理學家 1879 年出生於德國』這個句子出現過太多次」。前者是事實，後者是統計。幻覺就是統計冒充事實。
這個觀察對一般使用者的實際意義是：你應該把 AI 給出的「事實性答案」當作一個「我聽過類似的事」的提示，而不是「這是真的」的肯定。當 AI 流暢地說「某個歷史事件發生於 X 年」，它真正在說的是「在這個語境下，X 年看起來是最像答案的數字」。這個從「聽過類似」到「肯定事實」的跳躍，是幻覺的本質。
一個反直覺的實驗
2023 年的一項研究做了一個簡單的實驗：把同一個事實性問題用不同的措辭問 GPT-4 兩次，看它會不會給出矛盾的答案。實驗結果令人警覺——對於「某個冷門歷史事件的日期」這類問題，GPT-4 在「你確定嗎？」的追問下，有 17% 的機率會改口，給出與前一次完全不同的日期，而這兩個日期都不是正確日期。換句話說：模型不是「猶豫不決」，而是「隨機選擇」。
這個實驗揭示了一個深層事實——語言模型內部對事實的「存儲」不是硬碟式的「找地址讀資料」，而是機率式的「從一片模糊的雲霧中抽取峰值」。每次抽取都可能得到不同的峰值，這就是為什麼同一個問題問兩次會得到不同答案——而且兩個答案都可能錯。
圖、2023 的 GPT-4 有 17% 的信心校準
第四章 五種主流的緩解方法：降低，但不能消除
既然幻覺無法從架構層面徹底消除，人類就只能從外部想辦法。以下是五種目前最主流的緩解策略，各有優缺點。
1. 檢索增強生成（RAG, Retrieval-Augmented Generation）
這是目前最廣泛使用的方案。
核心思想：與其讓模型憑記憶回答，不如讓模型先去查資料庫，找到相關的真實文件，再根據那些文件生成答案。
運作流程大致是這樣——使用者的問題被轉換成查詢向量，在一個預先建立的知識庫中檢索出最相關的幾段文本；這些文本被插入到 prompt 中，讓模型「根據這些資料回答問題」；模型據此生成答案。
這個方法的優點是：當知識庫更新時，模型的「知識」也跟著更新；當模型回答時，它引用的內容是可以被追溯的；對冷門事實的幻覺率大幅下降。實務上，許多企業級的 AI 系統——例如 Microsoft 的 Copilot、Notion AI——都採用 RAG 作為核心架構。
但 RAG 不是萬靈丹。幾個關鍵問題：
- 如果檢索系統沒有找到相關文件，模型仍然會基於它自己的記憶生成——幻覺依然可能發生。
- 如果檢索到的文件本身就是錯的，模型會忠實地複述錯誤，並對錯誤產生一種「依據」的錯覺。
- 模型有時候會忽略檢索到的內容，繼續憑自己的記憶生成——這叫做「lost in the middle」現象。
換句話說，RAG 把幻覺率降低了，但沒有消除。一個 RAG 系統的實際表現，取決於它的檢索器（retriever）品質與知識庫覆蓋率，這兩者本身都是不完美的工程問題。
2. 不確定性量化與拒答機制
第二條路是教模型「知道自己不知道」。
具體做法是：在模型輸出之後，用某種方法評估它的信心程度。信心太低時，模型拒絕回答，或者改為「我不確定，建議查證」。
這個方法在 2024 年有了長足進展。一些研究使用模型的內部 logit 值（也就是模型對每個 token 的內部評分）來估計信心；另一些研究則使用「一致性」當作信心指標——讓模型對同一個問題回答多次，看答案是否一致；越一致，信心越高。
但這個方法的限制也很明顯：模型的內部信心和實際正確率之間的相關性並不完美。一個模型可以對錯的答案展現高一致性——只要它每次都犯同樣的錯。
3. 強化學習與人類回饋（RLHF）的改良
RLHF 的問題前面提過了：訓練評分員傾向於給「自信、流暢」的答案高分，這會讓模型學到「掩飾不確定性」的習慣——這正是成因三的放大器。
改良方向之一是訓練評分員明確區分「自信但錯」和「自信且對」。另一個方向是引入「對抗性評分」——讓評分員專門挑出看起來自信但其實是幻覺的答案，給低分。
但這個改良只能減少，不能消除——因為人類評分員自己也很容易被幻覺騙到。Mata 案中的 Schwartz 就是真實的人類被幻覺騙到的案例。
4. 思維鏈（Chain-of-Thought, CoT）推理
讓模型在給出最終答案之前，先寫出一段推理過程，被認為能降低幻覺率。
直覺上，這個方法有效——如果你逼著模型把推理過程寫出來，它就比較難「跳步」得到錯誤結論。事實上，2022 年 Jason Wei 等人的研究顯示，CoT 在數學問題上大幅提升了模型的表現。
但在事實性問題上，CoT 的幫助有限。一個模型可以寫出完美的推理步驟，最後得出錯誤的結論。或者更糟：模型可以寫出看起來合理的推理，但每一步推理都基於錯誤的事實。換言之，CoT 提升了「推理的清晰度」，但沒有提升「事實的準確度」——兩者是獨立的能力。
5. 外部驗證與自我檢查
最後一條路是把驗證工作交給另一個模型。
具體做法：用一個「檢查者」模型來審查「生成者」模型的輸出。檢查者模型專門挑錯。如果檢查者發現問題，就退回給生成者重做。
這種「模型對抗」的方法在程式碼生成中效果顯著——程式碼可以自動執行測試。但在事實性內容上，檢查者模型本身也會有幻覺，於是出現了「兩個模型互相確認錯誤」的笑話場景。
更成熟的實作是「檢索 + 驗證」雙重迴圈：生成者模型給出答案後，系統自動把答案中的關鍵事實拆出來，到可信資料庫中查證，如果查不到一致來源就把答案標記為「需人工查證」。這種方法比純粹「模型對抗」更可靠，因為它把驗證責任轉嫁給了結構化資料庫，而非另一個 LLM。
第五章 三個無法跨越的理由：為什麼幻覺永遠存在
讀完上一章，你可能會覺得問題正在被一點一點解決。但這一章必須誠實地告訴你一個不愉快的事實：幻覺無法被完全消除。
為什麼？三個根本性的理由。
理由一：語言模型的本質是壓縮，不是資料庫
語言模型是一個把整個人類知識壓縮到有限參數中的系統。1750 億個參數（GPT-3 的規模），要記住所有的事實、所有的人物、所有的日期、所有的論文——這在物理上是不可能的。
更糟的是，模型不僅在壓縮事實，也在壓縮事實之間的關係、推理的模式、語言的風格。所有的資訊都被編碼到同一組參數中，無法被乾淨地分離出來。
這意味著：模型對任何一個事實的「記住程度」，必然與其他事實共享相同的參數空間。一個事實學得越好，可能犧牲另一個事實的準確度。一個冷門領域學得越細，可能擠壓熱門領域的容量。
換句話說，這是一個無解的取捨問題。模型越大、訓練資料越多，幻覺率越低，但永遠不會到零——因為資料的增長速度永遠超過模型容量的增長速度。
讓我們用具體的數字說明。整個維基百科英文版壓縮後大約需要 15 GB 的純文字，約等於 30 億個 token。但 GPT-3 的訓練資料是 3000 億個 token，是維基百科的 100 倍。即使如此，這 3000 億 token 也只佔人類已發表文字總量的極小一部分——全世界的書籍、論文、網頁、社交媒體、論壇、聊天記錄的累計文字量估計是 GPT-3 訓練資料的數百倍。這意味著模型在訓練時，已經被迫對絕大多數人類文字做出「選擇性遺忘」。
理由二：世界本身是不斷變化的
即使模型把今天的所有事實都記住了，明天它就過時了。
新論文發表、新總統當選、新藥物上市、新事件爆發——這些都讓「昨天的真」變成「今天的假」。
重新訓練一個最先進的大型語言模型需要數月時間、數千萬美元。在這個時間差裡，世界已經改變。
RAG 和知識庫的更新可以緩解這個問題，但無法完全消除：總會有某個領域、某個時段、某個角落，模型的知識已經過時。一個有趣的副作用是：「昨天的模型」和「今天的真實」之間的時差，會產生新型態的幻覺——模型可能會引用某個已被推翻的科學結論、某個已下架的藥物適應症、或某個已卸任的政治人物作為「現任」。這種「過時型幻覺」是無法靠加大模型來解決的，因為問題出在世界變化太快，而不是模型太小。
理由三：人類對「準確」的需求永遠超過模型的供給
第三個理由帶有點哲學色彩，但它是真的。
人類對「準確」的需求是無限的。我們希望 AI 對任何問題都能給出 100% 正確的答案。但語言模型的內部資源是有限的。任何有限的資源去服務無限的需求，必然在某個點上開始妥協。
這個妥協的方式，就是「幻覺」。
更深一層看，這是一個關於「資訊理論」的根本限制。Claude Shannon 在 1948 年證明了任何通訊通道都有其頻寬上限；同理，任何資訊處理系統都有其資訊容量上限。語言模型的參數數量決定了它能「存儲」多少資訊，但人類知識的總量是開放的、不斷增長的。當需求的增長速度永遠超過供給的增長速度，幻覺就是這個差距的必然表現。
開放的結尾：我們該如何與一個會說謊的工具共處？
讓我們再回到那扇木門前。
南紐約聯邦地區法院，2023 年 6 月 22 日早上九點。Castel 法官的桌上，書記官放下的那一份法律摘要，那一份由 ChatGPT 寫成的、看起來完美無缺的摘要——現在已經被法院正式標記為「sanctions 對象」。Schwartz 還站在律師席上，Castel 法官在質詢他，法庭的木門半開半闔，外面是六月紐約的潮濕空氣。
Schwartz 後來被處以罰款，他聲稱自己「不知道 ChatGPT 會編造內容」。這個辯護在法庭上被駁回，因為法官認為他作為律師有查證義務。但他的聲明背後，藏著一個更深層的問題：很多人真的不知道。
他們以為 AI 是「聰明的搜尋引擎」，是「知識的權威來源」。他們不知道 AI 是一個會流暢地、自信地、不打草稿地編造內容的機率機器。
這個誤解是危險的根源。
所以我們必須回到一個基本的問題：當我們和一個會說謊的工具共處時，責任在哪裡？
責任不在模型——模型沒有意志，沒有說謊的動機，它只是按照訓練目標輸出機率最高的字串。責任在使用者——使用者必須意識到這個工具的本質，必須對它的輸出保持警覺，必須在關鍵場合做獨立查證。
法律界、醫學界、新聞界已經開始建立 AI 使用的規範：律師必須親自查證 AI 引用的判例；醫師必須核對 AI 給出的診斷建議；記者必須核實 AI 整理的事實。這些規範的核心，是把 AI 當作「助手」而非「權威」。
一個具體的制度演進案例是 2023 年起美國各州律師協會陸續發布的「生成式 AI 使用指引」。這些指引通常包含幾條鐵律：第一，不得直接將 AI 生成的內容提交給法院；第二，必須對所有 AI 引用的法條、判例、文獻進行獨立查證；第三，如果使用了 AI，必須在文件上明確標示。這些規範不是「反 AI」，而是「負責任地用 AI」。
未來的 AI 系統，無論架構如何改良，都會有幻覺。這個事實短期內不會改變。
我們能改變的，是人類與 AI 的關係：從「相信 AI 給我的答案」轉變為「用 AI 幫我找到答案，再用我自己的腦去驗證」。
這不是 AI 問題的技術解，而是社會問題的智慧解。
也許，當我們在某個遙遠的未來回頭看，會發現 2023 年 6 月 22 日的這場法庭鬧劇，不是 AI 失敗的開始，而是人類開始真正理解 AI 的起點。
畢竟——能犯錯的工具才值得信任。能說「我不知道」的人，才值得信賴。
那麼，能永遠說「我不知道」的機器，會是什麼樣子？
這個問題，留給下一個十年——也留給每一個願意對自己的無知保持誠實的人。畢竟，當我們開始認真對待 AI 的幻覺時，我們其實也在學習如何認真對待人類自己的偏見與不確定。機器可以是機率的鏡子，但鏡子裡的那個人，是我們自己。
沒有留言:
張貼留言