公共工程委員會
採購法法規問答: AI 答題正確率 99%
「我們的廠商用了半年才達到正確率 65%,你們花 16 個小時就達到正確率 99%,讓我們重新對 AI 有信心!」 —— 公共工程委員會長官
一個字都不能錯,AI 真的可以嗎? 公部門的採購法是「會被質詢、會上新聞、會被監察院盯」的高風險領域。一條法規少抓一個關鍵字、誤差一個百分比,整個標案就可能全部重來。 長官心裡的小聲音很真實:『我們的廠商花了半年才達到 65% 正確率,AI 真的能比人更準嗎?』
Pain Point
傳統 RAG 難做到:複雜情境題不是檢索問題,是推理問題
我們把 50 道採購法情境題丟給市面常見方案做基準測試,最高的廠商也只到 50%。原因不是資料找不到,而是法規條文之間需要交叉引用、計算金額門檻、還要判斷母法與函釋的優先順序——這是「推理問題」,不是「檢索問題」。如果運用傳統 RAG(Retrieval-Augmented Generation,檢索增強生成)框架來進行,將很難提高正確率。
Solution
解法:波特人多代理小隊 + 融合模型
卡米爾把任務拆成多個專家代理人:一位負責拆解題意、一位負責檢索法條、一位負責執行金額計算、一位負責交叉驗證——讓每個代理人各司其職、互相校稿。 再搭配多模型融合,讓擅長推理的模型和擅長檢索的模型互相補位。使用 RAG 沒有辦法分析複雜法規情境,必須用波特人小隊 multi-agent 才有機會達標。
Demo
下圖為一個艱澀的採購法情境,我們來對比專家答案及AI擬答:
機關要辦理為期 2年共 6,000萬的勞務採購案,第一年的預算是 3,000萬,因為工作內容重複且都是以提供「勞力」為主,那根據採購法規定,廠商的「單次契約實績金額,不得低於新臺幣多少元?」
AI 測試正確率
50 題情境測試中答對 49.5 題
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
超越其他三家廠商的正確率
50題情境模擬答對49.5題,T廠商答對50%、C廠商46%、L廠商 41%
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
AI 導入建置時間
對手廠商需要6個月
AI-ing
未來應用:智慧採購輔助
依據實際案例情況,透過波特人輔助,能協助機關選擇最適當的採購方式;輔助新進同仁與快速上手採購法,避免常見的錯誤與地雷情境。當 AI 可以做到 99%,它就不再是「實驗性玩具」,而是「可信賴的同事」。
what
eaht
what


