返回方法与资产
入门手册7 分钟阅读
模型选型与评测基准入门
我们的判断榜单只回答「它有多聪明」，不回答「它在你的任务上错得多离谱」。
用真实业务问题比较准确率、成本、延迟与部署条件，避免凭榜单或演示选择模型。
IF THIS IS YOU
你可能正卡在这里
- 01榜单第一的模型，在我们的任务上并不好用
- 02换了模型，质量悄悄漂移，没人发现
- 03成本和延迟，只有上线后才知道
三条里中一条，这篇就值得读完。
AFTER READING
读完你应该能回答
- 1怎么用一百条真实问题建自己的评测集
- 2准确率、成本、延迟怎么一起看
- 3换模型之后质量怎么不悄悄漂移
适合谁读
需要在多个通用或行业模型之间做选择的产品、技术与业务负责人。
QUICK READ
读完你会带走
- 01评测集必须来自真实任务，并包含容易失败的边界样本。
- 02准确率、延迟、成本和部署约束需要放在同一张评分卡上。
- 03只有通用模型无法达到业务阈值时，才评估微调投入。
方法拆解
- 01
先定义任务，再选择模型
摘要、分类、抽取和开放问答对模型的要求不同。为目标任务收集代表性的输入与期望输出，明确可以容忍的错误，才能让选型从“哪个模型更强”变成“哪个模型在这个任务上更合适”。
这一步要做的事01- 按真实任务划分评测类别
- 记录标准答案或人工评分规则
- 加入长文本、歧义和诱导错误样本
- 02
用同一条件比较候选模型
候选模型应使用相同提示、相同数据和相同参数运行。除质量分数外，还要记录响应时间、单次成本、并发限制、数据保留政策和私有部署能力，避免选出实验室表现好但无法上线的方案。
这一步要做的事02- 固定提示与测试版本
- 记录成本和 P95 延迟
- 单独评估安全、合规与部署限制
- 03
把评测变成持续机制
模型、提示和知识库都会变化。保存失败样本并建立回归集，每次更换模型或调整流程后重跑，才能确认改动没有破坏原本可用的能力。
这一步要做的事03- 保存版本和完整测试结果
- 把线上失败样本加入回归集
- 设置上线前必须达到的最低阈值
- 回到第 01 步，再跑一轮
三步是循环，不是清单：跑完一轮，第 01 步该看什么就变了。
现在自评一下
行动检查清单
勾上你已经做到的。没勾的那条，就是下一步。
0 / 5
还有 5 条没做到。别一次全上，先挑最痛的一条。
决策备忘
带走这一页
模型选型与评测基准入门
- 我们的判断
- 榜单只回答「它有多聪明」，不回答「它在你的任务上错得多离谱」。
- 你可能正卡在这里
- 榜单第一的模型，在我们的任务上并不好用；换了模型，质量悄悄漂移，没人发现；成本和延迟，只有上线后才知道
- 读完你应该能回答
- 怎么用一百条真实问题建自己的评测集；准确率、成本、延迟怎么一起看；换模型之后质量怎么不悄悄漂移
复制内容含原文链接，可直接粘进飞书、邮件或会议纪要。
给 AI 助手
把这一页，拿去问你的 AI
以下问题由 CodeLeo 预先准备。选一条问题、再选一个 AI 助手，这页的标题、链接和摘要会随问题一起送出；也可以单独复制问题，改写后再问。
③ 换成我的情况
点三次，20 秒。下面的问题与决策包会跟着你的选择变。
行业
阶段
最卡的一件事
① 选一条问题
② 选一个 AI 助手
使用各 AI 助手需先登录相应账号。回答由 AI 基于页面内容生成，不代表 CodeLeo 的立场。
知识与资产