公共工程委員會

採購法法規問答: AI 答題正確率 99%

公部門AI助理智慧政府法規問答

「我們的廠商用了半年才達到正確率 65%,你們花 16 個小時就達到正確率 99%,讓我們重新對 AI 有信心!」 —— 公共工程委員會長官

一個字都不能錯,AI 真的可以嗎? 公部門的採購法是「會被質詢、會上新聞、會被監察院盯」的高風險領域。一條法規少抓一個關鍵字、誤差一個百分比,整個標案就可能全部重來。 長官心裡的小聲音很真實:『我們的廠商花了半年才達到 65% 正確率,AI 真的能比人更準嗎?』

「我們的廠商用了半年才達到正確率 65%,你們花 16 個小時就達到正確率 99%,讓我們重新對 AI 有信心!」 —— 公共工程委員會長官 image 1
Pain Point

傳統 RAG 難做到:複雜情境題不是檢索問題,是推理問題

我們把 50 道採購法情境題丟給市面常見方案做基準測試,最高的廠商也只到 50%。原因不是資料找不到,而是法規條文之間需要交叉引用、計算金額門檻、還要判斷母法與函釋的優先順序——這是「推理問題」,不是「檢索問題」。如果運用傳統 RAG(Retrieval-Augmented Generation,檢索增強生成)框架來進行,將很難提高正確率。

Solution

解法:波特人多代理小隊 + 融合模型

卡米爾把任務拆成多個專家代理人:一位負責拆解題意、一位負責檢索法條、一位負責執行金額計算、一位負責交叉驗證——讓每個代理人各司其職、互相校稿。 再搭配多模型融合,讓擅長推理的模型和擅長檢索的模型互相補位。使用 RAG 沒有辦法分析複雜法規情境,必須用波特人小隊 multi-agent 才有機會達標。

Demo

下圖為一個艱澀的採購法情境,我們來對比專家答案及AI擬答:

機關要辦理為期 2年共 6,000萬的勞務採購案,第一年的預算是 3,000萬,因為工作內容重複且都是以提供「勞力」為主,那根據採購法規定,廠商的「單次契約實績金額,不得低於新臺幣多少元?」

下圖為一個艱澀的採購法情境,我們來對比專家答案及AI擬答: image 1

AI 測試正確率

50 題情境測試中答對 49.5 題

0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
%
超越其他三家廠商的正確率

50題情境模擬答對49.5題,T廠商答對50%、C廠商46%、L廠商 41%

0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
小時
AI 導入建置時間

對手廠商需要6個月

AI-ing

未來應用:智慧採購輔助

依據實際案例情況,透過波特人輔助,能協助機關選擇最適當的採購方式;輔助新進同仁與快速上手採購法,避免常見的錯誤與地雷情境。當 AI 可以做到 99%,它就不再是「實驗性玩具」,而是「可信賴的同事」。

what

eaht

what

數據只有在被適當運用時才顯現其真正價值。 透過大語言模型(LLM)技術,我們讓不會撰寫程式的資料分析師也能夠完成複雜的資料前處理、取得清洗後的檔案,甚至繪製圖表。波特人有許多不同的角色專家,各自有適合執行的任務,我們可藉助「波地圖」,解決數據分析師在繪製地理圖資時所遭遇到的困擾,讓數據分析的成果產出更加具有效率。 案例情境 2023-09-01 到 09-05 臺灣海葵颱風 (HAIKUI) 期間,想了解降雨情形是否有影響哪些地區

波特人 BOTRUN專門設計來解決 特定領域問題 的生成式AI bot代理

Image

卡米爾AI導入機關中

大家好