Skip to content

04 · 怎么用这张地图 ​

前三章告诉你场上有谁。这一章告诉你怎么从里面挑一个——用一个二十分钟就有答案的方法,而不是读三天评测。

先按硬约束筛,再谈好不好用 ​

顺序错了会白忙。先过这三道门,剩下的才是候选。

门一:数据能不能出去 ​

text
问三个问题:
1. 这些材料能不能发到公网服务?
   (客户资料、财务数据、未公开的代码、个人信息——多数公司的答案是不能)
2. 能不能出境?
3. 有没有必须私有化部署的要求?

这一道通常不由你决定,去问合规或者你的主管。答案会直接砍掉一大半选项——比如"不能出境"就砍掉了国外那一章的全部。

这是最多人跳过、也最贵的一步

先花两周选了一个好用的,再被告知不能用——这是最常见的返工。先问,再试。

门二:要不要在自己机器上跑 ​

需要私有化部署 / 端侧运行 / 二次训练的,只能看开放权重的那些。

方式适合代价
公网 API绝大多数场景数据要出去
私有云 / 专有部署数据不能出内网贵,要运维
本机 / 端侧完全离线、极敏感、或者要跑在设备上能力受限于小模型

门三:能不能稳定地用上 ​

账号能不能注册、能不能付款、网络稳不稳定、有没有企业发票和合同。

听起来琐碎,但它决定了这件事能不能长期做下去。 一个团队十个人用,其中三个人登不上,这个选型就是失败的。

然后:二十分钟测一遍 ​

过了三道门,剩下的候选通常只有两三家。用这个方法测,别读评测:

挑三家 → 拿你手上一个真实任务 → 用同一条提示词各跑一遍 → 每家跑三次。

要点:

  1. 必须是真实任务,不是"写首诗试试"。用你上周真做过的那件活。
  2. 同一条提示词,一个字都不改。不然你测的是提示词不是模型。
  3. 每家跑三次——输出有随机性,一次不算数。
  4. 对着验收标准打勾,不是凭感觉。

半小时得到的结论,比读十篇评测靠谱——因为它测的是你的活,不是别人的题。

如果你已经按提示词篇 08 章建了五条测试集,那更简单:直接拿测试集跑一遍,看每家过几条。 这也是那个测试集的额外红利——换模型时,五分钟就能验。

关于榜单 ​

榜单是趋势指示器,不是选型依据

两个问题:

一、它测的不是你的活。 榜单用标准题测通用能力,而你的活是"整理我们公司的会议纪要"——这两件事的相关性没你想的高。

二、它变得太快。 你今天看到的第一名,下个月可能是第三名,而这三名之间的差距在你的任务上可能根本感觉不出来。

正确用法:看谁在场上、大致什么水位,不看具体名次。想看的话,LMArena 这类是人类盲测投票的,比纯跑分参考价值大一点。

一个省钱的分档习惯 ​

选定一家之后,还有一层选择:用它的哪一档。

text
简单活(格式转换、分类、摘要、改写)      → 便宜档,快又省
难活(复杂推理、长文档分析、写代码)      → 强档
要稳定重复跑的活                          → 先在强档调通提示词,再试降档能不能过
需要"推"的活(算账、找矛盾、多条件判断)  → 推理模型

最后那条见 03 章。默认全用最强那档,是最常见的浪费。

怎么自己查最新情况 ​

这一节比前三章都重要——因为它不会过期。

想知道什么去哪儿
某家现在有哪些型号、什么价、多大窗口它自己的官网 / API 文档。这是唯一权威来源
开放权重的模型有哪些、怎么下载Hugging Face(国际)· 魔搭 ModelScope(国内)
大致水位和趋势LMArena 之类,看趋势不看名次
想一次试几家、不想注册一堆账号OpenRouter 这类聚合平台

建立一个习惯:每季度花半小时。

  1. 拿你的测试集,在当前用的模型上重跑一遍——确认没退步;
  2. 挑一个新出的候选,同样跑一遍;
  3. 明显更好、或者明显更便宜,就换;否则不动。

别追新。 换模型的成本不只是改个配置——你的提示词、Skill、Workflow 可能都要重新验一遍。半小时的对比,能帮你判断这个成本值不值得付。

一件事不会变 ​

这一整篇会过期,但下面这句不会——它是入门篇那句话的重复,值得作为这一篇的收口:

同一个模型,话说清楚和说不清楚的差距,比换一家模型大得多。

所以选型这件事,给它二十分钟,别给它两周。 省下来的时间放到提示词篇去——那里的每一分钟回报都更高。

下一步 ​

选完了,就回到主线上:

一份讲通用概念的入门手册 · 不绑定任何一家模型或工具 · 例子可直接照抄