08 · 像調 bug 一樣調提示詞
提示詞是調出來的,不是想出來的。而大多數人調提示詞的方式是"再讓 AI 最佳化一下"——那不叫調,那叫碰運氣。這一章給一套真正能收斂的方法。
第一步:先說清楚"哪兒不對"
不能接受的描述:"感覺不太行"、"不夠專業"、"差點意思"。
必須能說成這種:
| 症狀描述 | 大機率是哪一格的問題 |
|---|---|
| 結構對了,但每條都太囉嗦 | 要求:長度沒約束,見 05 |
| 內容對了,但格式每次不一樣 | 要求:沒給模板,見 05 |
| 出現了材料裡沒有的人名 / 日期 | 驗收:沒寫替代動作,見 06 |
| 漏掉了材料後半部分的內容 | 材料太長,見 07 |
| 語氣不對(太官方 / 太隨便) | 角色沒設,或者沒說給誰看 |
| 它答的不是我問的 | 任務沒說清,或者一條塞了好幾件事 |
| 十次裡有三次跑偏 | 提示詞太鬆,有分叉口,見 01 |
能把症狀歸到某一格,改動就有方向了。 歸不了,說明你還沒看清問題——再跑兩次,把不合格的地方逐條圈出來。
第二步:一次只改一個地方
這是從寫程式碼那兒搬過來的,但在提示詞上更重要,因為輸出本來就有隨機性。你一次改了三處,跑一次變好了,你根本不知道是哪一處起了作用——甚至可能是三處裡有一處幫倒忙,只是這次運氣好。
流程:
text
1. 記下當前版本(原樣存一份)
2. 只改一處
3. 跑 3~5 次
4. 對照驗收標準數:幾次合格?
5. 比之前好 → 保留,繼續下一處
比之前差 → 回滾,換個改法跑一次不算數
輸出有隨機性,跑一次好不能說明改對了。至少三次,重要的提示詞五次。
這聽起來慢,但比"改了十處、時好時壞、最後不知道該保留哪版"快得多。
第三步:建一個小測試集
這一步把"調提示詞"從手藝變成工程,而且成本低到離譜——五份材料,一張表。
text
測試集(存在一個文件裡就行):
用例 1:標準情況 一份資訊齊全的會議記錄
用例 2:缺資訊 負責人和時間都沒寫的記錄
用例 3:有衝突 前面說九月底,後面說十月初
用例 4:跑題多 一半內容跟主題無關
用例 5:極短 只有三句話選材料的原則:一個標準情況 + 四個會翻車的情況。翻車樣本比標準樣本值錢得多。
然後拿這五個跑,記一張表:
| 用例1 | 用例2 | 用例3 | 用例4 | 用例5 | |
|---|---|---|---|---|---|
| v1 | ✅ | ❌ 編了人名 | ❌ 抹平了衝突 | ✅ | ⚠️ 硬湊三塊 |
| v2 | ✅ | ✅ | ❌ 抹平了衝突 | ✅ | ⚠️ 硬湊三塊 |
| v3 | ✅ | ✅ | ✅ | ✅ | ✅ |
新的翻車樣本隨手就加進測試集。 以後每次改提示詞,五個用例重跑一遍——你就再也不會"修好了這個、弄壞了那個"。
這張表還有個額外好處:換模型的時候,五分鐘就能測出新模型行不行。
常見改動的優先順序
同樣的時間,改這些地方回報最高,從上往下試:
| 優先順序 | 改什麼 | 典型收益 |
|---|---|---|
| 1 | 把形容詞換成結構約束 | 最大。多數"不穩定"是這兒來的 |
| 2 | 給禁止項配上替代動作 | 很大。治幻覺和亂填 |
| 3 | 材料圈起來 + 挪到最後 + 結尾重複要求 | 大,且改動只要三分鐘 |
| 4 | 補兩個例子(尤其邊界情況) | 大,尤其是格式和風格問題 |
| 5 | 加"先分析再結論"或自查 | 中等,對複雜任務明顯 |
| 6 | 拆成多輪 | 大,但變慢 |
| 7 | 換個更強的模型 | 最後才試。前六條沒做完就換模型,是在用錢掩蓋問題 |
讓 AI 幫你調(正確的用法)
"讓 AI 最佳化提示詞"不是不能用,是大多數人用錯了姿勢——直接說"幫我最佳化這條提示詞",它只會給你換一批更華麗的形容詞。
正確的用法是帶著證據去問:
text
下面是我的提示詞,和它這次的輸出。
<提示词>
【貼】
</提示词>
<这次的输出>
【貼】
</这次的输出>
問題:輸出裡出現了"劉建國"這個全名,但我給的材料裡只寫了"劉總監"。
請分析:我的提示詞裡,是哪一部分導致它補全了人名?
給出最小的修改(只改必要的地方),並說明為什麼這樣改能防住。
不要重寫整條提示詞。三個關鍵:給證據(實際輸出)、說清症狀、要求最小修改。
還有一招:讓它當出題人
text
這是我的提示詞。請設計 5 個會讓它出問題的輸入——
不要極端離譜的,要那種"現實中真會遇到、但這條提示詞大機率處理不好"的。
只給輸入,不要給答案。它出的題往往正好是你測試集缺的那幾個。
什麼時候停止調
三個訊號,出現任何一個就該收手:
- 測試集全綠,連著兩輪沒發現新問題 → 夠用了,發出去。
- 改了五版,指標在原地打轉 → 問題可能不在提示詞。也許是任務本身超出了一條提示詞該乾的範圍(該拆多輪),或者材料本身就有問題。
- 提示詞已經比材料還長 → 停。這是該做成 Skill 的訊號。