返回方法與資產
入門手冊7 分鐘閱讀
模型選型與評測基準入門
我們的判斷榜單只回答「它有多聰明」，不回答「它在你的任務上錯得多離譜」。
用真實業務問題比較準確率、成本、延遲與部署條件，避免憑榜單或示範選擇模型。
IF THIS IS YOU
你可能正卡在這裡
- 01榜單第一的模型，在我們的任務上並不好用
- 02換了模型，品質悄悄漂移，沒人發現
- 03成本和延遲，只有上線後才知道
三條裡中一條，這篇就值得讀完。
AFTER READING
讀完你應該能回答
- 1怎麼用一百條真實問題建自己的評測集
- 2準確率、成本、延遲怎麼一起看
- 3換模型之後品質怎麼不悄悄漂移
適合誰讀
需要在多個通用或行業模型之間做選擇的產品、技術與業務負責人。
QUICK READ
讀完你會帶走
- 01評測集必須來自真實任務，並包含容易失敗的邊界樣本。
- 02準確率、延遲、成本和部署約束需要放在同一張評分卡上。
- 03只有通用模型無法達到業務閾值時，才評估微調投入。
方法拆解
- 01
先定義任務，再選擇模型
摘要、分類、抽取和開放問答對模型的要求不同。為目標任務收集代表性的輸入與期望輸出，明確可以容忍的錯誤，才能讓選型從“哪個模型更強”變成“哪個模型在這個任務上更合適”。
這一步要做的事01- 按真實任務劃分評測類別
- 記錄標準答案或人工評分規則
- 加入長文本、歧義和誘導錯誤樣本
- 02
用同一條件比較候選模型
候選模型應使用相同提示、相同數據和相同參數運行。除品質分數外，還要記錄響應時間、單次成本、並發限制、數據保留政策和私有部署能力，避免選出實驗室表現好但無法上線的方案。
這一步要做的事02- 固定提示與測試版本
- 記錄成本和 P95 延遲
- 單獨評估安全、合規與部署限制
- 03
把評測變成持續機制
模型、提示和知識庫都會變化。保存失敗樣本並建立回歸集，每次更換模型或調整流程後重跑，才能確認改動沒有破壞原本可用的能力。
這一步要做的事03- 保存版本和完整測試結果
- 把線上失敗樣本加入回歸集
- 設定上線前必須達到的最低閾值
- 回到第 01 步，再跑一輪
三步是循環，不是清單：跑完一輪，第 01 步該看什麼就變了。
現在自評一下
行動檢查清單
勾上你已經做到的。沒勾的那條，就是下一步。
0 / 5
還有 5 條沒做到。別一次全上，先挑最痛的一條。
決策備忘
帶走這一頁
模型選型與評測基準入門
- 我們的判斷
- 榜單只回答「它有多聰明」，不回答「它在你的任務上錯得多離譜」。
- 你可能正卡在這裡
- 榜單第一的模型，在我們的任務上並不好用；換了模型，品質悄悄漂移，沒人發現；成本和延遲，只有上線後才知道
- 讀完你應該能回答
- 怎麼用一百條真實問題建自己的評測集；準確率、成本、延遲怎麼一起看；換模型之後品質怎麼不悄悄漂移
複製內容含原文連結，可直接貼進飛書、郵件或會議紀錄。
給 AI 助手
把這一頁，拿去問你的 AI
以下問題由 CodeLeo 預先準備。選一條問題、再選一個 AI 助手，這頁的標題、連結和摘要會隨問題一起送出；也可以單獨複製問題，改寫後再問。
③ 換成我的情況
點三次，20 秒。下面的問題與決策包會跟著你的選擇變。
行業
階段
最卡的一件事
① 選一條問題
② 選一個 AI 助手
使用各 AI 助手需先登錄相應帳號。回答由 AI 基於頁面內容生成，不代表 CodeLeo 的立場。
知識與資產