Skip to content

04 · 怎麼用這張地圖 ​

前三章告訴你場上有誰。這一章告訴你怎麼從裡面挑一個——用一個二十分鐘就有答案的方法,而不是讀三天評測。

先按硬約束篩,再談好不好用 ​

順序錯了會白忙。先過這三道門,剩下的才是候選。

門一:資料能不能出去 ​

text
問三個問題:
1. 這些材料能不能發到公網服務?
   (客戶資料、財務資料、未公開的程式碼、個人資訊——多數公司的答案是不能)
2. 能不能出境?
3. 有沒有必須私有化部署的要求?

這一道通常不由你決定,去問合規或者你的主管。答案會直接砍掉一大半選項——比如"不能出境"就砍掉了國外那一章的全部。

這是最多人跳過、也最貴的一步

先花兩週選了一個好用的,再被告知不能用——這是最常見的返工。先問,再試。

門二:要不要在自己機器上跑 ​

需要私有化部署 / 端側執行 / 二次訓練的,只能看開放權重的那些。

方式適合代價
公網 API絕大多數場景資料要出去
私有云 / 專有部署資料不能出內網貴,要運維
本機 / 端側完全離線、極敏感、或者要跑在裝置上能力受限於小模型

門三:能不能穩定地用上 ​

帳號能不能註冊、能不能付款、網路穩不穩定、有沒有企業發票和合同。

聽起來瑣碎,但它決定了這件事能不能長期做下去。 一個團隊十個人用,其中三個人登不上,這個選型就是失敗的。

然後:二十分鐘測一遍 ​

過了三道門,剩下的候選通常只有兩三家。用這個方法測,別讀評測:

挑三家 → 拿你手上一個真實任務 → 用同一條提示詞各跑一遍 → 每家跑三次。

要點:

  1. 必須是真實任務,不是"寫首詩試試"。用你上週真做過的那件活。
  2. 同一條提示詞,一個字都不改。不然你測的是提示詞不是模型。
  3. 每家跑三次——輸出有隨機性,一次不算數。
  4. 對著驗收標準打勾,不是憑感覺。

半小時得到的結論,比讀十篇評測靠譜——因為它測的是你的活,不是別人的題。

如果你已經按提示詞篇 08 章建了五條測試集,那更簡單:直接拿測試集跑一遍,看每家過幾條。 這也是那個測試集的額外紅利——換模型時,五分鐘就能驗。

關於榜單 ​

榜單是趨勢指示器,不是選型依據

兩個問題:

一、它測的不是你的活。 榜單用標準題測通用能力,而你的活是"整理我們公司的會議紀要"——這兩件事的相關性沒你想的高。

二、它變得太快。 你今天看到的第一名,下個月可能是第三名,而這三名之間的差距在你的任務上可能根本感覺不出來。

正確用法:看誰在場上、大致什麼水位,不看具體名次。想看的話,LMArena 這類是人類盲測投票的,比純跑分參考價值大一點。

一個省錢的分檔習慣 ​

選定一家之後,還有一層選擇:用它的哪一檔。

text
簡單活(格式轉換、分類、摘要、改寫)      → 便宜檔,快又省
難活(複雜推理、長文件分析、寫程式碼)      → 強檔
要穩定重複跑的活                          → 先在強檔調通提示詞,再試降檔能不能過
需要"推"的活(算賬、找矛盾、多條件判斷)  → 推理模型

最後那條見 03 章。預設全用最強那檔,是最常見的浪費。

怎麼自己查最新情況 ​

這一節比前三章都重要——因為它不會過期。

想知道什麼去哪兒
某家現在有哪些型號、什麼價、多大視窗它自己的官網 / API 文件。這是唯一權威來源
開放權重的模型有哪些、怎麼下載Hugging Face(國際)· 魔搭 ModelScope(國內)
大致水位和趨勢LMArena 之類,看趨勢不看名次
想一次試幾家、不想註冊一堆帳號OpenRouter 這類聚合平臺

建立一個習慣:每季度花半小時。

  1. 拿你的測試集,在當前用的模型上重跑一遍——確認沒退步;
  2. 挑一個新出的候選,同樣跑一遍;
  3. 明顯更好、或者明顯更便宜,就換;否則不動。

別追新。 換模型的成本不只是改個配置——你的提示詞、Skill、Workflow 可能都要重新驗一遍。半小時的對比,能幫你判斷這個成本值不值得付。

一件事不會變 ​

這一整篇會過期,但下面這句不會——它是入門篇那句話的重複,值得作為這一篇的收口:

同一個模型,話說清楚和說不清楚的差距,比換一家模型大得多。

所以選型這件事,給它二十分鐘,別給它兩週。 省下來的時間放到提示詞篇去——那裡的每一分鐘回報都更高。

下一步 ​

選完了,就回到主線上:

一份講通用概念的入門手冊 · 不綁定任何一家模型或工具 · 例子可直接照抄