CodeLeo · 方法一頁紙入門手冊

模型選型與評測基準入門

用真實業務問題比較準確率、成本、延遲與部署條件，避免憑榜單或示範選擇模型。

我們的立場

榜單只回答「它有多聰明」，不回答「它在你的任務上錯得多離譜」。

帶走的要點

評測集必須來自真實任務，並包含容易失敗的邊界樣本。
準確率、延遲、成本和部署約束需要放在同一張評分卡上。
只有通用模型無法達到業務閾值時，才評估微調投入。

方法拆解

先定義任務，再選擇模型

摘要、分類、抽取和開放問答對模型的要求不同。為目標任務收集代表性的輸入與期望輸出，明確可以容忍的錯誤，才能讓選型從“哪個模型更強”變成“哪個模型在這個任務上更合適”。
- 按真實任務劃分評測類別
- 記錄標準答案或人工評分規則
- 加入長文本、歧義和誘導錯誤樣本
用同一條件比較候選模型

候選模型應使用相同提示、相同數據和相同參數運行。除品質分數外，還要記錄響應時間、單次成本、並發限制、數據保留政策和私有部署能力，避免選出實驗室表現好但無法上線的方案。
- 固定提示與測試版本
- 記錄成本和 P95 延遲
- 單獨評估安全、合規與部署限制
把評測變成持續機制

模型、提示和知識庫都會變化。保存失敗樣本並建立回歸集，每次更換模型或調整流程後重跑，才能確認改動沒有破壞原本可用的能力。
- 保存版本和完整測試結果
- 把線上失敗樣本加入回歸集
- 設定上線前必須達到的最低閾值

行動清單

評測問題是否來自真實業務任務？
是否包含邊界、歧義和誘導幻覺樣本？
候選模型是否在相同條件下運行？
評分是否同時覆蓋品質、成本、延遲和部署限制？
是否保留版本化回歸集用於後續變更？

適用對象

需要在多個通用或行業模型之間做選擇的產品、技術與業務負責人。