Skip to content

05 · 幻觉:它为什么会编 ​

幻觉(Hallucination)指模型一本正经地编造不存在的内容——假的数据、假的引用、假的功能、假的人名。它不是偶尔犯的错,是预测下一个字这个机制的直接副产物。

先做个实验 ​

现在就打开任意一个 AI 聊天框,问一句:

text
介绍一下 XX 软件里那个「一键对齐客户偏好」的功能怎么用。

(把 XX 换成任何一个真实存在的软件,功能名是我瞎编的。)

大概率它会给你一段有鼻子有眼的操作说明:在哪个菜单下、点哪个按钮、注意什么。这个功能根本不存在。

再试一个更狠的:

text
帮我总结一下《XX 行业 2025 年度白皮书》里关于渗透率的那几组数据。

它可能会给你几个精确到小数点后一位的数字。

这一段不是为了黑它

这是这本书里最重要的一次演示。你自己动手跑一遍,比读十遍"注意 AI 会有幻觉"管用。跑完之后,你对它输出的所有事实性内容,态度会永久改变——这正是我要的效果。

它为什么这样 ​

回到第一章那句话:它是在猜下一个字,不是在查事实。

当你问一个它不知道的东西,它内部并没有一个"我不知道"的开关。它只有一个任务:接着这段话往下写,写出最合理的下一个字。而"最合理的下一个字",在语言习惯上就是一段像模像样的功能介绍——因为它见过的所有类似问答,后面跟的都是介绍,不是"查无此项"。

它编,不是因为它坏,也不是因为模型不够强。是因为它压根不知道自己不知道。

什么时候最容易编 ​

这几类你要格外警觉:

高危场景具体表现
精确的数字、日期、金额会给你一个格式完美、来源不明的数
人名、机构、职位的补全你写"刘总监",它给补个全名;你没写日期,它编一个
引用和出处编论文标题、编书的页码、编法条编号、编不存在的网址
冷门 / 小众领域训练资料本来就少的地方,编得最离谱
你的话头带了暗示你问"那次事故的原因是什么",它就当真有那次事故
最近发生的事训练数据有截止时间,之后的事它要么不知道,要么按老资料推

最后一条特别值得注意:你问它"最新的"什么东西,它给的很可能是过期的——而且它不会告诉你这是过期的。

怎么防 ​

四条,从便宜到贵:

一、在派活时就写进验收条款(最省事,效果最好) ​

text
只能基于我给的内容作答,不要编造没提到的信息。
拿不准的地方标注「待确认」,不要自行猜填。

这两句是本书的常客,后面每一个提示词模板里都有。它不能百分百消灭幻觉,但能显著降低"自信瞎编"的比例,而且被标出来的"待确认"就是你该重点核的地方。

二、把资料给它,而不是靠它记 ​

它编,很多时候是因为你在考它的记忆。把原文贴进去,让它只从这段材料里找,幻觉概率立刻掉一大截。

这个做法规模化之后就是 RAG:先检索、再回答。

三、要出处,然后自己点开 ​

text
每一条结论后面标出它来自我给的材料的哪一段(引用原文一句)。
材料里没有依据的,不要写。

让它把话钉在原文上。注意:如果没给材料,让它"给出处"反而会让它编出处——这一招只在有材料的时候用。

四、重要的事交叉核验 ​

同一个问题问两次(或者问两家不同的模型),答案不一致的地方,就是最可能有问题的地方。

记住一条铁律:AI 给的东西,重要的必须自己核。

具体到"哪些算重要":会流到客户手上的、会进合同的、会被当作决策依据的数字、任何你打算原样转发出去的内容。

这条不是因为 AI 不行,是因为你才是署名的那个人。

一个反直觉的提醒 ​

语气越笃定,不代表越可靠。 它输出的自信程度和正确率之间没有关系——两者都是预测出来的。

真正的信号反而是:你逼它给出处、它开始含糊其辞的时候,那多半就是它在编。

下一步 ​

06 · Prompt 五要素 —— 知道了它会忘(04)也会编(本章),那套"该怎么说话"的方法就不是规矩,是推出来的结论。

一份讲通用概念的入门手册 · 不绑定任何一家模型或工具 · 例子可直接照抄