Benchmark 案例

庫存不可降為負數

remainingStock 在扣除數量大於現有庫存時回傳負數，應最低為 0。

Patch失敗
任務

扣除庫存後出現負數

remainingStock 在扣除數量大於現有庫存時回傳負數，應最低為 0。

驗收條件

庫存足夠時正常相減；不足時回傳 0。

預期行為

產生可驗證 Patch

預期檔案
inventory.js

重新執行

排入 Supabase，由在線的本機 Worker 執行。

Context Retrieval

模型實際收到的檔案與內容大小。

178 chars
inventory.jspackage.json

模型觀測資料

ollama:qwen2.5-coder:3b · Prompt v1

模型耗時
9.5s
Input tokens
811
Output tokens
238
估算成本
—
失敗分類
風險不符

Grader 結果

風險判斷失敗
修改範圍通過
是否應修正通過
Hidden test失敗

歷次結果

模型Prompt版本結果耗時Tokens
ollama:qwen2.5-coder:3bv11.1.0失敗9.7s1049
ollama:qwen2.5-coder:0.5bv11.1.0失敗3.1s987
ollama:qwen2.5-coder:1.5bv11.1.0失敗4.9s1087
gpt-5.6-lunav21.1.0通過5.1s995