CodeLeo · 方法一页纸入门手册

模型选型与评测基准入门

用真实业务问题比较准确率、成本、延迟与部署条件，避免凭榜单或演示选择模型。

我们的立场

榜单只回答「它有多聪明」，不回答「它在你的任务上错得多离谱」。

带走的要点

评测集必须来自真实任务，并包含容易失败的边界样本。
准确率、延迟、成本和部署约束需要放在同一张评分卡上。
只有通用模型无法达到业务阈值时，才评估微调投入。

方法拆解

先定义任务，再选择模型

摘要、分类、抽取和开放问答对模型的要求不同。为目标任务收集代表性的输入与期望输出，明确可以容忍的错误，才能让选型从“哪个模型更强”变成“哪个模型在这个任务上更合适”。
- 按真实任务划分评测类别
- 记录标准答案或人工评分规则
- 加入长文本、歧义和诱导错误样本
用同一条件比较候选模型

候选模型应使用相同提示、相同数据和相同参数运行。除质量分数外，还要记录响应时间、单次成本、并发限制、数据保留政策和私有部署能力，避免选出实验室表现好但无法上线的方案。
- 固定提示与测试版本
- 记录成本和 P95 延迟
- 单独评估安全、合规与部署限制
把评测变成持续机制

模型、提示和知识库都会变化。保存失败样本并建立回归集，每次更换模型或调整流程后重跑，才能确认改动没有破坏原本可用的能力。
- 保存版本和完整测试结果
- 把线上失败样本加入回归集
- 设置上线前必须达到的最低阈值

行动清单

评测问题是否来自真实业务任务？
是否包含边界、歧义和诱导幻觉样本？
候选模型是否在相同条件下运行？
评分是否同时覆盖质量、成本、延迟和部署限制？
是否保留版本化回归集用于后续变更？

适用对象

需要在多个通用或行业模型之间做选择的产品、技术与业务负责人。