Skip to content

08 · 像調 bug 一樣調提示詞 ​

提示詞是調出來的,不是想出來的。而大多數人調提示詞的方式是"再讓 AI 最佳化一下"——那不叫調,那叫碰運氣。這一章給一套真正能收斂的方法。

第一步:先說清楚"哪兒不對" ​

不能接受的描述:"感覺不太行"、"不夠專業"、"差點意思"。

必須能說成這種:

症狀描述大機率是哪一格的問題
結構對了,但每條都太囉嗦要求:長度沒約束,見 05
內容對了,但格式每次不一樣要求:沒給模板,見 05
出現了材料裡沒有的人名 / 日期驗收:沒寫替代動作,見 06
漏掉了材料後半部分的內容材料太長,見 07
語氣不對(太官方 / 太隨便)角色沒設,或者沒說給誰看
它答的不是我問的任務沒說清,或者一條塞了好幾件事
十次裡有三次跑偏提示詞太鬆,有分叉口,見 01

能把症狀歸到某一格,改動就有方向了。 歸不了,說明你還沒看清問題——再跑兩次,把不合格的地方逐條圈出來。

第二步:一次只改一個地方 ​

這是從寫程式碼那兒搬過來的,但在提示詞上更重要,因為輸出本來就有隨機性。你一次改了三處,跑一次變好了,你根本不知道是哪一處起了作用——甚至可能是三處裡有一處幫倒忙,只是這次運氣好。

流程:

text
1. 記下當前版本(原樣存一份)
2. 只改一處
3. 跑 3~5 次
4. 對照驗收標準數:幾次合格?
5. 比之前好 → 保留,繼續下一處
   比之前差 → 回滾,換個改法

跑一次不算數

輸出有隨機性,跑一次好不能說明改對了。至少三次,重要的提示詞五次。

這聽起來慢,但比"改了十處、時好時壞、最後不知道該保留哪版"快得多。

第三步:建一個小測試集 ​

這一步把"調提示詞"從手藝變成工程,而且成本低到離譜——五份材料,一張表。

text
測試集(存在一個文件裡就行):

用例 1:標準情況       一份資訊齊全的會議記錄
用例 2:缺資訊         負責人和時間都沒寫的記錄
用例 3:有衝突         前面說九月底,後面說十月初
用例 4:跑題多         一半內容跟主題無關
用例 5:極短           只有三句話

選材料的原則:一個標準情況 + 四個會翻車的情況。翻車樣本比標準樣本值錢得多。

然後拿這五個跑,記一張表:

用例1用例2用例3用例4用例5
v1✅❌ 編了人名❌ 抹平了衝突✅⚠️ 硬湊三塊
v2✅✅❌ 抹平了衝突✅⚠️ 硬湊三塊
v3✅✅✅✅✅

新的翻車樣本隨手就加進測試集。 以後每次改提示詞,五個用例重跑一遍——你就再也不會"修好了這個、弄壞了那個"。

這張表還有個額外好處:換模型的時候,五分鐘就能測出新模型行不行。

常見改動的優先順序 ​

同樣的時間,改這些地方回報最高,從上往下試:

優先順序改什麼典型收益
1把形容詞換成結構約束最大。多數"不穩定"是這兒來的
2給禁止項配上替代動作很大。治幻覺和亂填
3材料圈起來 + 挪到最後 + 結尾重複要求大,且改動只要三分鐘
4補兩個例子(尤其邊界情況)大,尤其是格式和風格問題
5加"先分析再結論"或自查中等,對複雜任務明顯
6拆成多輪大,但變慢
7換個更強的模型最後才試。前六條沒做完就換模型,是在用錢掩蓋問題

讓 AI 幫你調(正確的用法) ​

"讓 AI 最佳化提示詞"不是不能用,是大多數人用錯了姿勢——直接說"幫我最佳化這條提示詞",它只會給你換一批更華麗的形容詞。

正確的用法是帶著證據去問:

text
下面是我的提示詞,和它這次的輸出。

<提示词>
【貼】
</提示词>

<这次的输出>
【貼】
</这次的输出>

問題:輸出裡出現了"劉建國"這個全名,但我給的材料裡只寫了"劉總監"。

請分析:我的提示詞裡,是哪一部分導致它補全了人名?
給出最小的修改(只改必要的地方),並說明為什麼這樣改能防住。
不要重寫整條提示詞。

三個關鍵:給證據(實際輸出)、說清症狀、要求最小修改。

還有一招:讓它當出題人

text
這是我的提示詞。請設計 5 個會讓它出問題的輸入——
不要極端離譜的,要那種"現實中真會遇到、但這條提示詞大機率處理不好"的。
只給輸入,不要給答案。

它出的題往往正好是你測試集缺的那幾個。

什麼時候停止調 ​

三個訊號,出現任何一個就該收手:

  • 測試集全綠,連著兩輪沒發現新問題 → 夠用了,發出去。
  • 改了五版,指標在原地打轉 → 問題可能不在提示詞。也許是任務本身超出了一條提示詞該乾的範圍(該拆多輪),或者材料本身就有問題。
  • 提示詞已經比材料還長 → 停。這是該做成 Skill 的訊號。

下一步 ​

09 · 反模式與民間偏方

一份講通用概念的入門手冊 · 不綁定任何一家模型或工具 · 例子可直接照抄