05 · 幻覺:它為什麼會編
幻觉(Hallucination)指模型一本正經地編造不存在的內容——假的資料、假的引用、假的功能、假的人名。它不是偶爾犯的錯,是預測下一個字這個機制的直接副產物。
先做個實驗
現在就開啟任意一個 AI 聊天框,問一句:
介紹一下 XX 軟體裡那個「一鍵對齊客戶偏好」的功能怎麼用。(把 XX 換成任何一個真實存在的軟體,功能名是我瞎編的。)
大機率它會給你一段有鼻子有眼的操作說明:在哪個選單下、點哪個按鈕、注意什麼。這個功能根本不存在。
再試一個更狠的:
幫我總結一下《XX 行業 2025 年度白皮書》裡關於滲透率的那幾組資料。它可能會給你幾個精確到小數點後一位的數字。
這一段不是為了黑它
這是這本書裡最重要的一次演示。你自己動手跑一遍,比讀十遍"注意 AI 會有幻覺"管用。跑完之後,你對它輸出的所有事實性內容,態度會永久改變——這正是我要的效果。
它為什麼這樣
回到第一章那句話:它是在猜下一個字,不是在查事實。
當你問一個它不知道的東西,它內部並沒有一個"我不知道"的開關。它只有一個任務:接著這段話往下寫,寫出最合理的下一個字。而"最合理的下一個字",在語言習慣上就是一段像模像樣的功能介紹——因為它見過的所有類似問答,後面跟的都是介紹,不是"查無此項"。
它編,不是因為它壞,也不是因為模型不夠強。是因為它壓根不知道自己不知道。
什麼時候最容易編
這幾類你要格外警覺:
| 高危場景 | 具體表現 |
|---|---|
| 精確的數字、日期、金額 | 會給你一個格式完美、來源不明的數 |
| 人名、機構、職位的補全 | 你寫"劉總監",它給補個全名;你沒寫日期,它編一個 |
| 引用和出處 | 編論文標題、編書的頁碼、編法條編號、編不存在的網址 |
| 冷門 / 小眾領域 | 訓練資料本來就少的地方,編得最離譜 |
| 你的話頭帶了暗示 | 你問"那次事故的原因是什麼",它就當真有那次事故 |
| 最近發生的事 | 訓練資料有截止時間,之後的事它要麼不知道,要麼按老資料推 |
最後一條特別值得注意:你問它"最新的"什麼東西,它給的很可能是過期的——而且它不會告訴你這是過期的。
怎麼防
四條,從便宜到貴:
一、在派活時就寫進驗收條款(最省事,效果最好)
只能基於我給的內容作答,不要編造沒提到的資訊。
拿不準的地方標註「待確認」,不要自行猜填。這兩句是本書的常客,後面每一個提示詞模板裡都有。它不能百分百消滅幻覺,但能顯著降低"自信瞎編"的比例,而且被標出來的"待確認"就是你該重點核的地方。
二、把資料給它,而不是靠它記
它編,很多時候是因為你在考它的記憶。把原文貼進去,讓它只從這段材料裡找,幻覺機率立刻掉一大截。
這個做法規模化之後就是 RAG:先檢索、再回答。
三、要出處,然後自己點開
每一條結論後面標出它來自我給的材料的哪一段(引用原文一句)。
材料裡沒有依據的,不要寫。讓它把話釘在原文上。注意:如果沒給材料,讓它"給出處"反而會讓它編出處——這一招只在有材料的時候用。
四、重要的事交叉核驗
同一個問題問兩次(或者問兩家不同的模型),答案不一致的地方,就是最可能有問題的地方。
記住一條鐵律:AI 給的東西,重要的必須自己核。
具體到"哪些算重要":會流到客戶手上的、會進合同的、會被當作決策依據的數字、任何你打算原樣轉發出去的內容。
這條不是因為 AI 不行,是因為你才是署名的那個人。
一個反直覺的提醒
語氣越篤定,不代表越可靠。 它輸出的自信程度和正確率之間沒有關係——兩者都是預測出來的。
真正的訊號反而是:你逼它給出處、它開始含糊其辭的時候,那多半就是它在編。
下一步
06 · Prompt 五要素 —— 知道了它會忘(04)也會編(本章),那套"該怎麼說話"的方法就不是規矩,是推出來的結論。