05 · 幻觉:它为什么会编
幻觉(Hallucination)指模型一本正经地编造不存在的内容——假的数据、假的引用、假的功能、假的人名。它不是偶尔犯的错,是预测下一个字这个机制的直接副产物。
先做个实验
现在就打开任意一个 AI 聊天框,问一句:
介绍一下 XX 软件里那个「一键对齐客户偏好」的功能怎么用。(把 XX 换成任何一个真实存在的软件,功能名是我瞎编的。)
大概率它会给你一段有鼻子有眼的操作说明:在哪个菜单下、点哪个按钮、注意什么。这个功能根本不存在。
再试一个更狠的:
帮我总结一下《XX 行业 2025 年度白皮书》里关于渗透率的那几组数据。它可能会给你几个精确到小数点后一位的数字。
这一段不是为了黑它
这是这本书里最重要的一次演示。你自己动手跑一遍,比读十遍"注意 AI 会有幻觉"管用。跑完之后,你对它输出的所有事实性内容,态度会永久改变——这正是我要的效果。
它为什么这样
回到第一章那句话:它是在猜下一个字,不是在查事实。
当你问一个它不知道的东西,它内部并没有一个"我不知道"的开关。它只有一个任务:接着这段话往下写,写出最合理的下一个字。而"最合理的下一个字",在语言习惯上就是一段像模像样的功能介绍——因为它见过的所有类似问答,后面跟的都是介绍,不是"查无此项"。
它编,不是因为它坏,也不是因为模型不够强。是因为它压根不知道自己不知道。
什么时候最容易编
这几类你要格外警觉:
| 高危场景 | 具体表现 |
|---|---|
| 精确的数字、日期、金额 | 会给你一个格式完美、来源不明的数 |
| 人名、机构、职位的补全 | 你写"刘总监",它给补个全名;你没写日期,它编一个 |
| 引用和出处 | 编论文标题、编书的页码、编法条编号、编不存在的网址 |
| 冷门 / 小众领域 | 训练资料本来就少的地方,编得最离谱 |
| 你的话头带了暗示 | 你问"那次事故的原因是什么",它就当真有那次事故 |
| 最近发生的事 | 训练数据有截止时间,之后的事它要么不知道,要么按老资料推 |
最后一条特别值得注意:你问它"最新的"什么东西,它给的很可能是过期的——而且它不会告诉你这是过期的。
怎么防
四条,从便宜到贵:
一、在派活时就写进验收条款(最省事,效果最好)
只能基于我给的内容作答,不要编造没提到的信息。
拿不准的地方标注「待确认」,不要自行猜填。这两句是本书的常客,后面每一个提示词模板里都有。它不能百分百消灭幻觉,但能显著降低"自信瞎编"的比例,而且被标出来的"待确认"就是你该重点核的地方。
二、把资料给它,而不是靠它记
它编,很多时候是因为你在考它的记忆。把原文贴进去,让它只从这段材料里找,幻觉概率立刻掉一大截。
这个做法规模化之后就是 RAG:先检索、再回答。
三、要出处,然后自己点开
每一条结论后面标出它来自我给的材料的哪一段(引用原文一句)。
材料里没有依据的,不要写。让它把话钉在原文上。注意:如果没给材料,让它"给出处"反而会让它编出处——这一招只在有材料的时候用。
四、重要的事交叉核验
同一个问题问两次(或者问两家不同的模型),答案不一致的地方,就是最可能有问题的地方。
记住一条铁律:AI 给的东西,重要的必须自己核。
具体到"哪些算重要":会流到客户手上的、会进合同的、会被当作决策依据的数字、任何你打算原样转发出去的内容。
这条不是因为 AI 不行,是因为你才是署名的那个人。
一个反直觉的提醒
语气越笃定,不代表越可靠。 它输出的自信程度和正确率之间没有关系——两者都是预测出来的。
真正的信号反而是:你逼它给出处、它开始含糊其辞的时候,那多半就是它在编。
下一步
06 · Prompt 五要素 —— 知道了它会忘(04)也会编(本章),那套"该怎么说话"的方法就不是规矩,是推出来的结论。