方法与资产
行业定制模型与微调 · 资产包
先证明通用模型不够用，再谈微调。多数微调需求，其实是提示与检索没做好。
用数据决定「通用模型够不够、要不要微调」。
一套选型评分卡与评测方法：先测通用模型在业务问题集上的真实表现，再决定是否值得投入微调。目标是用最小成本拿到够用的准确率，避免为微调而微调。
如果你正遇到这些
- 通用模型听不懂行业术语，答非所问
- 幻觉率已经影响关键业务判断
- 纠结要不要微调、微调哪个模型
什么时候先别用
手上没有可用的评测集——没有它，微调前后你无法判断是不是真的变好了。
使用步骤
从盘点到验收的完整路径；每步都有明确产出，做完即可进入下一步。
资产包内容
模型选型评分卡评测基准起步包幻觉测试集指南每个资产包内的交付物一览，均可直接套用再按业务调整。
1产出
建评测集
从真实业务问题抽取 50-100 题，含对抗性问题。
业务评测集
2产出
跑分候选模型
按评分卡维度实测候选模型，含成本与延迟。
得分对比表
3产出
做选型决策
通用模型够用即直接用；不足项定向微调。
选型结论
4产出
回归验收
微调后重跑同一评测集，确认提升可量化。
评测报告
交付标准
达到以下标准才算用好了这套资产——也是验收时的检查口径。
- 01
评测集来自真实业务问题，而非公开数据集
- 02
候选模型在同一评测集上横向对比
- 03
微调决策有「通用模型基线得分」作对照
输出模板预览
以下为资产产出的骨架示例，实际模板在完整资产包中提供。
选型评分卡（骨架）
骨架 · SKELETON
MODEL SCORECARD
| 维度 | 权重 | 模型A | 模型B |
|---|---|---|---|
| 领域准确率 | 40% | 82 | 74 |
| 单次成本 | 25% | … | … |
| 延迟 | 20% | … | … |
结论A 达标，暂无需微调
虚线处为示例行，替换成你的数据即可填完这张表。
决策备忘
带走这一页
行业定制模型与微调 · 资产包
- 我们的立场
- 先证明通用模型不够用，再谈微调。多数微调需求，其实是提示与检索没做好。
- 如果你正遇到这些
- 通用模型听不懂行业术语，答非所问；幻觉率已经影响关键业务判断；纠结要不要微调、微调哪个模型
- 什么时候先别用
- 手上没有可用的评测集——没有它，微调前后你无法判断是不是真的变好了。
复制内容含原文链接，可直接粘进飞书、邮件或会议纪要。
给 AI 助手
把这一页，拿去问你的 AI
以下问题由 CodeLeo 预先准备。选一条问题、再选一个 AI 助手，这页的标题、链接和摘要会随问题一起送出；也可以单独复制问题，改写后再问。
③ 换成我的情况
点三次，20 秒。下面的问题与决策包会跟着你的选择变。
行业
阶段
最卡的一件事
① 选一条问题
② 选一个 AI 助手
使用各 AI 助手需先登录相应账号。回答由 AI 基于页面内容生成，不代表 CodeLeo 的立场。
知识与资产
新方法与资产，直接寄到你邮箱
免费 · 无需承诺 · 香港团队直接对接