AI benchmark 可信度：可以參考，但不能直接等於真實能力

2026 年 7 月 8 日，OpenAI 發布稽核報告，指出業界常引用的 AI 程式跑分測試 SWE-Bench Pro，在 731 個公開考題中，估計約 30% 題目存在問題。
這不代表所有 AI 跑分都不能看，而是提醒投資人、工程師與企業採購者：跑分通過不等於實際可用，模型高分也不一定代表工程品質達標。

本文會整理 SWE-Bench 是什麼、考題問題在哪、考場環境如何影響分數，以及做 AI 工具比較時，應該用哪兩個問題過濾廠商話術。

SWE-Bench 是什麼？

SWE-Bench Pro 是目前 AI coding 領域常被引用的 benchmark，用來測試 AI 是否能完成真實軟體工程任務。
benchmark 指的是標準化測驗，讓 AI 在固定題目中完成任務，再用分數比較模型能力。

SWE-Bench Pro 的題目來自 GitHub 上的 issue 和 PR。
issue 是開發者提出的問題或 bug 回報，PR 是程式修改請求。
測試方式是讓 AI 讀取問題描述後，修改程式碼並通過測試。

• SWE-Bench Pro 的優勢：題目來自真實工程情境
相較於純演算法競賽，SWE-Bench Pro 更接近實際開發任務。AI 不只要寫出一段程式碼，還要讀懂專案脈絡、理解 bug 描述、修改檔案並通過測試，因此長期被視為 AI coding 工具的重要評測。

• SWE-Bench Pro 的問題：真實 issue 不等於標準化考題
GitHub issue 通常是寫給熟悉專案的人類維護者看的，不一定會完整說明所有背景、邊界條件與預期行為。當這些 issue 被轉成孤立考題時，就可能出現規格不足、測試不清楚或答案判定過窄的問題。

• SWE-Bench Pro 的利益關係：由 Scale AI 維護
SWE-Bench Pro 由 Scale AI 維護，而 Scale AI 同時也提供訓練資料給多家 AI 廠商。這不代表測試一定有問題，但在討論 AI benchmark 可信度時，資料來源、維護方與模型廠商之間的關係，都應該納入評估。

SWE-Bench考題問題出在哪？

OpenAI 的稽核指出，SWE-Bench Pro 公開題目中，約三成可能存在問題。
這裡要先說清楚：這是 OpenAI 自己的稽核估計，不是完全獨立第三方結論；同時，剩下約 70% 題目仍被認為有效。因此，「三成考題有問題」不等於「SWE-Bench Pro 完全無效」。

OpenAI 的稽核方式是先用 agent pipeline 標記問題題目，再由 5 名資深工程師人工複審。
agent pipeline 是自動化程式流程，先協助篩出可能有問題的題目。
自動標記結果為 200 題，占 27.4%；人工複審後標記 249 題，占 34.1%；最後以約 30% 作為稽核估計。

• 隱藏測試過度嚴格：答了題目卻過不了測試
有些題目表面只要求修正某個 bug，但隱藏測試要求更多題目沒有寫出的行為。這會導致模型即使解決了描述中的問題，也可能因為沒有猜中隱藏測試而被判錯。

• 題目規格不足：沒說清楚卻要求做到
部分題目沒有明確定義輸入、輸出、邊界條件或預期行為，但測試卻要求模型符合特定實作方式。這會讓 AI 跑分從「測工程能力」變成「測猜題能力」。

• 測試覆蓋率不足：答一半也可能算過
如果測試只檢查少數情境，不完整的修正也可能通過。這會讓模型分數虛高，因為通過測試不代表程式碼真的完整解決問題。

• 題目描述誤導：模型照題目做反而錯
當題目描述與實際測試重點不一致時，AI 可能根據文字描述做出合理修改，但因測試方向不同而失敗。這會讓分數無法準確反映模型真實能力。

分數飽和有多快？

SWE-Bench Pro 的另一個問題，是分數飽和速度太快。
OpenAI 指出，frontier 模型在 SWE-Bench Pro 公開集上的通過率，8 個月內從 23.3% 上升到 80.3%。
frontier 模型指的是目前最前沿的 AI 模型。

這個成長速度看起來代表模型大幅進步，但也可能代表 benchmark 快速失去區分力。
OpenAI 將約 70% 稱為「雜訊天花板」：當模型通過率接近這個區間，分數差距越來越難區分是模型真的更強，還是考題本身雜訊造成。

• 公開題庫容易被針對性優化
當 SWE-Bench Pro 題目公開後，模型廠商可以針對題型、測試方式與常見錯誤做優化。這會讓公開集分數快速上升，但不一定代表模型在未知任務上同樣進步。

• 高分區間的小差距不一定有意義
當前排模型都接近高分區間時，幾個百分點的差距可能來自題目雜訊、測試環境或工具設定，而不一定是模型能力差距。這也是為什麼 AI benchmark 可信度不能只看排行榜排名。

• 跑分進步可能是假性迭代
如果測驗基準本身已經漂移，模型分數上升可能只是更會應付考卷，而不是真正更會解決工程問題。對企業來說，這種進步不能直接等同於生產力提升。

考場環境差多少？

AI benchmark 的分數不只取決於模型，也取決於考場環境。
在 AI coding 任務中，agent scaffold 會影響模型表現。
scaffold 指的是幫 AI 接工具、設定流程、提供上下文與執行環境的外掛架構，也可以理解成「考場設計」。

digitalapplied.com 測試顯示，同一個 Claude Opus 4.5，在三家不同廠商提供的 agent scaffold 上跑 SWE-Bench Pro，分數從 50.2% 到 55.4%，差距達 5.2 個百分點。
這不代表所有 benchmark 都有同樣幅度的考場依賴，但足以說明：你看到的分數，有一部分量到的是考場怎麼搭，而不只是模型本身多強。

• scaffold 會影響 AI 是否能完成任務
AI coding agent 不只是模型本身，還包含檔案搜尋、工具呼叫、測試執行、錯誤回報與修正流程。不同 scaffold 設計，會讓同一模型得到不同分數。

• 5 個百分點足以改變排行榜排序
在前沿模型競爭中，排行榜差距常常只有幾個百分點。如果考場環境本身就能造成 5.2 個百分點落差，單看排名就可能誤判模型強弱。

• public subset 與 private subset 落差更該注意
Scale AI SEAL 排行榜也顯示，模型在 public subset 與 private subset 上可能有明顯落差。Claude Opus 4.1 在 public 集拿 22.7%，private 集只有 17.8%；GPT-5 在 public 集拿 23.1%，private 集只有 14.9%。public 集較容易被廠商針對性優化，private 集更接近模型面對未知任務的泛化能力。

跑分通過就能用嗎？

跑分通過不等於真實可用。
這是 AI coding 工具選型時最容易被忽略的地方。

獨立機構 METR 在 2025 年做過抽樣。
結果顯示，AI agent 提交並通過 SWE-Bench Verified 測試的 PR，大約有半數即使通過測試，真實 code maintainer 也不會接受合併。
code maintainer 指的是程式碼維護者，通常會判斷修正是否符合專案需求、風格、維護性與安全性。

學術稽核 SWE-ABS 也指出，在 138 道難題中，59.4% 的測試案例有缺陷；排行榜前 30 名裡，19.78% 標為「已解決」的題目，語意上實際是錯的。

• 測試通過不等於工程師接受
工程師做 code review 時，不只看測試有沒有過，也會看解法是否合理、是否易維護、是否符合專案風格、是否引入技術債。這些條件不一定會被 benchmark 完整測到。

• AI 可能寫出剛好能過測試的程式碼
如果測試覆蓋率不足，AI 可能找到一種能通過測試的修補方式，但實際上沒有完整解決問題。這類程式碼在真實專案中，可能造成後續維護成本。

• AI 工具比較要看實際 PR 品質
做 AI 工具比較時，除了 benchmark 分數，也應看實際 PR 接受率、人工修改時間、錯誤回歸率、安全掃描結果與維護成本。

實測踩過的歸因病

在 AI 自動化驗收中，最危險的錯誤之一，是把「驗收基建壞掉」誤判成「程式壞掉」。
這種問題和 SWE-Bench Pro 爭議很像：當考卷或測試環境有問題，低分不一定代表模型能力不足，高分也不一定代表真的可用。

我自己帶 AI 跑自動化驗收管線時，就踩過類似問題。
當時紅燈亮起，第一反應是「程式壞了」，AI 也開始燒 retry 配額、準備重構。
但追根因後才發現，問題不是功能錯誤，而是測試框架的 testDir 路徑設定不對，導致測試根本沒被找到執行。跑出來的失敗，其實是「找不到測試」，不是「測試失敗」。

• 失敗不一定來自模型或程式本身
在自動化測試中，測試環境、路徑設定、測試資料、權限設定都可能造成失敗。如果沒有先檢查驗收基建，就直接要求 AI 修程式，可能會把正常程式改壞。

• SWE-Bench Pro 的問題也是歸因問題
當考卷本身有缺陷，廠商和使用者可能把低分歸因給模型，而不是先問：這張考卷有沒有量到它自稱在量的能力？

• 可信評測需要穩定對照組
判斷 AI 模型能力之前，要先確認測試基準本身穩定。如果基線會漂移，所有「模型進步」的宣稱都可能是假性迭代。

這份稽核能信嗎？

OpenAI 的 SWE-Bench Pro 稽核值得參考，但不能完全不帶保留。
原因是 OpenAI 本身也是 AI 市場競爭者，對既有 benchmark 提出質疑，可能同時有技術理由與商業誘因。

學術論文《Can We Trust AI Benchmarks?》指出，AI 廠商有一種結構性誘因：批評舊 benchmark、重置比較基準，讓自家模型在新評測中重新洗牌。
這次 OpenAI 撤回 SWE-Bench Pro 推薦的時間點，剛好和 GPT-5.6、Grok 4.5 發布同週，因此需要保留判斷。

• OpenAI 的稽核有參考價值
OpenAI 提出具體稽核方法，並指出題目品質、測試覆蓋與 benchmark 飽和問題。這些問題也與其他獨立研究方向一致，因此不應直接忽略。

• OpenAI 也有商業動機
OpenAI 是模型競爭者。當舊 benchmark 的排行榜不利於某些模型時，批評 benchmark 並推動新評測，也可能成為市場重新洗牌的策略。

• SWE-Bench Pro 不是完全無效
SWE-Bench Pro 仍有 1865 道題，涵蓋 Python、Go、TypeScript、JavaScript 等語言與 41 個程式倉庫。約 30% 題目有問題，不代表 100% 無效，而是提醒使用者不能單看公開跑分。

• benchmark 問題是整個評測生態的問題
到 2026 年中，許多主流 AI benchmark 都面臨飽和、資料污染、考場依賴與真實可用性落差。換一張考卷不能完全解決問題，更重要的是評測設計是否能貼近真實工作場景。

帶走的判斷框架

判斷 AI 模型能力時，第一步不是看分數，而是先問：
這張考卷本身有沒有量到它自稱在量的能力？

這和自動化驗收一樣。
要先確認測試基建穩定，才有資格信任 fail 的歸因。
如果 benchmark 本身有缺陷，模型分數再高，也不一定代表真實能力更強。

做 AI 工具比較時，可以用兩個問題過濾跑分話術：

• 這個考試本身被獨立機構驗證過嗎？
如果 benchmark 主要由廠商自行發布，缺乏第三方驗證，分數只能作為初步參考。尤其當模型差距只有幾個百分點時，測試本身的可信度比排名更重要。

• 分數差異有多少是考場環境造成的？
如果同一模型換 scaffold 就能差 5 個百分點，分數就不能被視為純粹的模型能力。比較 AI coding 工具時，應確認模型、工具環境、任務權限與測試流程是否一致。

問不完整，分數就不是可靠的選型依據。

AI coding 工具怎麼比較才有意義？

比較 AI coding 工具時，應從公開 benchmark 分數，往實際工程品質移動。
公開排行榜可以初步篩選工具，但不能取代企業自己的真實任務測試。

• 看 private subset 分數
private subset 未公開，較不容易被廠商針對性優化。若模型 public 分數高、private 分數明顯下降，代表它可能更會應付公開題庫，而不是更會處理未知任務。

• 看實際 PR 接受率
AI 產生的程式碼是否能被真實工程師接受，比測試是否通過更接近實務。若通過測試但維護者不接受，代表工程品質仍不足。

• 看人工修改時間
如果 AI 工具生成的程式碼需要大量人工重修，代表它雖然看似提高速度，但可能把成本轉移到 code review 與 QA 階段。

• 看錯誤回歸率
AI 修復一個 bug 後，是否引入新的 bug，是衡量工具實用性的關鍵。這比單次 benchmark 通過率更能反映模型是否適合正式開發流程。

• 看安全與維護成本
AI coding 工具若生成不安全、難維護或不符合專案風格的程式碼，長期可能累積技術債。企業導入時，應把安全掃描、code review 與維護成本一起算進去。

結論：AI benchmark 可以參考，但不能直接等於真實能力

AI benchmark 的價值，是提供初步比較基準。
但 SWE-Bench Pro 爭議提醒我們，AI 跑分不是絕對真相。考卷品質、考場環境、公開題庫污染、scaffold 差異與真實工程品質，都會影響分數可信度。

對 AI 工具比較來說，真正重要的不是哪個模型在排行榜高 2 個百分點，而是這個分數是否來自可靠測試，是否能轉化成真實任務完成率，以及是否能降低人工修改與維護成本。

下次看到 AI 廠商宣稱 benchmark 第一名，可以先問兩個問題：
這個考試本身被獨立驗證過嗎？
分數差異有多少是考場環境造成的？

問完這兩題，再看跑分，才比較不會被行銷話術帶走。

常見問題

SWE-Bench Pro 是什麼？
SWE-Bench Pro 是業界常用的 AI 程式跑分測試，題目來自真實 GitHub issue 和 PR，由 Scale AI 維護。它要求 AI 根據問題描述修改程式碼並通過測試，因此常被用來比較 AI coding 工具能力。

三成考題壞掉代表 benchmark 完全無效嗎？
不是。OpenAI 的稽核估計約 30% 題目有問題，但約 70% 仍被認為有效。SWE-Bench Pro 仍有比較價值，只是不能單獨依賴公開排行榜分數做 AI 工具選型。

AI coding 工具怎麼比較才有意義？
應同時看 private subset 分數、實際 PR 接受率、人工修改時間、錯誤回歸率與安全掃描結果。公開 benchmark 可以初步篩選，但不能取代企業自己的真實任務測試。

AI benchmark 為什麼一直換？
因為模型進步速度太快，許多 benchmark 很快就會飽和。當頂端模型分數接近滿分或雜訊天花板，測試就失去區分力。業界因此不斷推出新 benchmark，但這也反映評測生態本身仍不穩定。

SWE-Bench、SWE-Bench Verified、SWE-Bench Pro 有什麼差別？
SWE-Bench 是原始版本；SWE-Bench Verified 是 OpenAI 曾推薦的改版；SWE-Bench Pro 是 Scale AI 維護的新版。不同版本都試圖提高評測品質，但也陸續面臨題目品質、分數飽和與真實可用性問題。