實戰總結:最小可運行 Harness 檢查表
理論學完,剩下的就是「下禮拜就能動手」。這一課把四層能力濃縮成一份檢查表,幫你判斷自己現在該補哪一塊。
一、四層對照總表
| 層級 | 核心問題 | 代表能力 | 代表產物 |
|---|---|---|---|
| 初級 | 怎麼讓 AI 不亂做 | 拆任務、設邊界、驗結果、記錯誤 | 任務模板、錯誤日誌 |
| 中級 | 怎麼讓 agent 穩定做完整任務 | 規則檔、工具邊界、驗證迴圈 | AGENTS.md、固定 loop、approval 規則 |
| 進階 | 怎麼讓系統可追、可修、可優化 | middleware、state、observability | traces、plans、hooks、metrics |
| 深入 | 怎麼讓團隊持續運營 agent 平台 | 評估、版本化、成本治理、多代理協作 | harness control plane、evaluation pipeline |
沒有人能跳級。誠實判斷你現在在哪一層,比你聽過多少新名詞都重要。
二、最小可運行 Harness 檢查表
初級(個人可立即開始,今天就能做)
- 任務模板 — 你有沒有一份固定的
Goal / Constraints / Definition of done三段式模板? - 中繼驗證 — 你大任務會不會拆成至少 3 個「完成一段就停下來確認」的檢查點?
- 錯誤日誌 — 你有沒有一份「AI 犯錯日誌」,至少記錄最近 10 次失敗?
- 約束句型 — 你寫 prompt 時,有沒有固定加入「不要編造 / 不要改格式 / 不確定請問我」這類句型?
中級(團隊起步,一週內可建立)
- AGENTS.md — 你的 repo 有沒有一份包含 Repo map / Commands / Rules / Approval required 的
AGENTS.md? - Tool boundary — 你有沒有寫下 read-only / write-safe / destructive / external side-effect 四類權限分級?
- Verification loop — 你有沒有一份固定的「理解 → 計畫 → 修改 → 測試 → 讀錯 → 修正 → 重跑 → 升級」流程?
- Escalation 條件 — 你有沒有定義「連續 N 次失敗 / 超過 X 分鐘 / token 超過 Y」等升級門檻?
- 規則寫回 repo — 你的 rules 有沒有全部寫回 repo,而不是散在 Slack / Notion?
進階(工程化,一個月內可建立)
- Middleware — 你有沒有至少一個 pre-tool hook 攔截危險操作?
- State 檔案 — 你有沒有
plans//decision-log//known-issues.md三組 state 檔案? - Observability — 你有沒有收集
task_id / tool_name / retry_count / token_cost / error_type? - 失敗分型 — 你最近的失敗案例,能不能用七種分型分類(規則不清 / context 不足 / tool 選錯 / 權限問題 / 驗證不夠 / 狀態遺失 / 模型誤判)?
- Solve rate baseline — 你有沒有一個「目前成功率」的 baseline 數字?
深入(平台化,持續建設)
- Harness 版本化 — 你的 harness 有沒有 v1/v2/v3 的 diff 與 rollback 能力?
- 評估集 — 你有沒有一組代表任務與 6 項指標的評估集?
- 四種 gate — 你有沒有明確定義 Approval / Review / Risk / Budget 四種 human-in-the-loop gate?
- Failure-to-rule pipeline — 你有沒有「失敗 → 分型 → 修正 → 重跑評估」的循環?
- 成本治理 — 你知不知道每個任務的平均 token 成本、可以選不同模型策略嗎?
三、最常見的陷阱 Top 5
陷阱 1:把 Harness 當 prompt 的延伸
錯誤心態:「那就是寫更長的 prompt 嘛。」
正確心態:Harness 是工具、限制、驗證、狀態、觀測與回饋六件事的合集。prompt 只是其中一個出口。
陷阱 2:規則森林
錯誤心態:「每次失敗就加一條規則。」
正確心態:每次失敗之前先問「這是規則問題還是設計問題?」很多時候該改的是 middleware 或 tool,不是疊新 rule。
陷阱 3:儀表板誘惑
錯誤心態:「我來做一個 agent 監控儀表板,每天看。」
正確心態:沒有人真的會每天看儀表板。你需要的是在關鍵時刻跳出來的警報,不是一個每天要登入的網頁。
陷阱 4:全自動幻想
錯誤心態:「我要讓 agent 完全自主,不需要人介入。」
正確心態:深入層的目標是「人只出現在高價值判斷點」,不是「沒有人」。混合模式永遠比純自動化穩。
陷阱 5:過早複雜化
錯誤心態:「我直接跳進階,反正初級那些看起來很簡單。」
正確心態:90% 的 agent 問題都在初級與中級就能解決。沒把地基打好,進階層的 middleware、observability 只會把問題藏得更深。
四、三個可以「下禮拜就做」的具體行動
不管你現在在哪一層,這三件事都是 ROI 最高的:
行動 1:寫第一版 AGENTS.md(30 分鐘)
挑一個你現在在維護的 repo,寫一份最小版的 AGENTS.md:
- Repo map(每個資料夾的角色)
- Commands(dev / lint / test 怎麼跑)
- Rules(至少 5 條祈使句)
- Approval required(至少 3 條)
寫完 commit push,下次 agent 開 session 就會看到。
行動 2:建立錯誤日誌(5 分鐘)
開一份 ai-errors.md 或 Notion 頁,定好 5 個欄位:日期、任務類型、錯誤描述、根本原因分類、下次怎麼避免。從今天開始記,不要想「之後再補」。
行動 3:定義你的第一個 escalation 條件(10 分鐘)
選一個最容易訂的條件:
- 「同一個錯誤連續 3 次 → 停下、整理狀況、請人介入」
- 「token 用量超過 X → 停下、詢問是否繼續」
- 「超過 30 分鐘沒完成 → 停下、輸出目前狀態」
寫進你的 AGENTS.md 或 agent system prompt。這一條規則通常就能省下一整天的 token 浪費。
五、最後一句話
如果用一句話替這整個課程收尾,可以這樣說:
Prompt 幫你把任務講清楚,Context 幫你把資訊送到位,Harness 則決定 agent 能不能在真實世界裡長時間、低風險、可驗證地把工作做完。
2026 是 Harness 元年。這不是炒作一個新詞,而是 agent 產業在經歷「模型不再是唯一瓶頸」之後的必然轉向。
你不需要一次做完四層。你只需要知道自己現在在哪一層、下一層要補什麼、以及不要往哪裡過早跳級。
AI 協作:學了這個,跟 AI 怎麼配合?
最後一堂課的 AI 協作,邀請你做一件最有儀式感的事:讓 AI 幫你評估你自己的 harness 成熟度。
你的人類優勢:
- 只有你知道自己實際的狀況、實際的痛點、實際的能量。
- 只有你能決定「下個月真正要補哪一塊」。
可以這樣跟 AI 說:
我剛學完 Harness Engineering 的四層能力。請幫我做一次成熟度評估:我會依序回答初級、中級、進階、深入的檢查表。請你每一層看完之後,告訴我:(1) 我目前真正穩定落在哪一層(不要灌水),(2) 我最應該優先補的 3 件事是什麼,(3) 每件事預估會吃我多少時間。最後請用一句話總結我「不該再浪費時間學」的領域。
練習題
本堂重點回顧
- 四層能力是台階,不是選項 — 沒人能跳級,誠實判斷自己在哪一層。
- 最小可運行 Harness 檢查表 — 18 項 checklist,從今天打勾到下個月。
- 三個下禮拜就能做的行動:寫
AGENTS.md、開錯誤日誌、定 escalation 條件。 - 一句話收尾:Prompt 講清楚、Context 送到位、Harness 決定 agent 能不能長時間低風險地做完事。
課程結束,實戰開始。這門課不是終點 — 是你的第一版 harness 的起點。
挑戰任務
把本課的最小可運行 Harness 檢查表(初級到深入共 19 項)逐條打勾。寫出:(1) 你目前打了幾勾? (2) 分佈在哪幾層? (3) 你覺得自己真正穩定落在哪一層?
從「三個可以下禮拜就做的具體行動」中,選出你會真的做的。寫出:(1) 你要做哪幾件、(2) 每件的具體成果物是什麼、(3) 哪一件你最想跳過但其實最該做。
從本課的反直覺原則中挑一條,用你自己的話改寫成「我要時時提醒自己的信條」。寫完後,舉一個你過去犯過、違反這條信條的具體例子。