AI寫智能合約執行測試揭評分工具漏錯

2026年10月31日，arXiv 刊登一篇編號 2610.37830v1 的論文，題為《量度代理式智能合約生成中的意圖流失》。研究團隊開宗明義指出：人工智能代理能由一段自然語言寫出可執行的智能合約，但「跑得起」與「做啱要求」是兩件事——而智能合約部署到區塊鏈之後，改不了。

論文設計了一套以執行結果為本的評估方法：把同一批交易分別重播在 AI 寫的合約與它應該複製的原版合約上，量度兩者結果一致的比例。團隊測試坊間評分工具時發現，人工智能評審與標準分析工具都會漏掉明顯錯誤。

跑得起唔等於做啱

論文指出，人工智能代理可以根據一段自然語言描述，生成能夠編譯、也能在鏈上執行的智能合約。問題是，「跑得起」只代表程式沒有崩潰，不代表合約行為符合客戶原意。研究把這個落差稱為「意圖流失」，並認為這是代理式寫碼最需要量度的一環。

智能合約是 Web3 應用背後的程式，負責在區塊鏈上轉移資金。論文強調，這類程式一旦部署就無法修改，錯誤代價最高。正因如此，團隊認為不能單靠「寫完之後有無報錯」來判斷合約好壞，必須追問要求在哪一步走失。

研究把問題拆成兩部分：如何檢查 AI 寫的合約行為是否正確，以及要求在哪一步走失。論文沒有披露參與測試的代理模型名稱或客戶數量，也未提供具體部署個案。團隊只表示，他們先審核自己的評分器，直到已知錯誤答案無法過關，才用它來比較不同方法。

團隊的評估基礎是執行，而非意見。做法是在 AI 生成的合約與它應該複製的原版合約上，重播同一批交易，然後量度兩者結果一致的比例。論文指出，這個方法直接比較行為，不依賴人工智能評審的主觀判斷，也不依賴靜態分析工具的報告。

論文稱，常見方法例如人工智能評審與標準分析工具，都會漏掉明顯錯誤。團隊又發現，評分方式的選擇本身會影響結果：如果只檢查所有系統都包含的函數，會隱藏約一半管線之間的差異。換句話說，評分工具的表面分數，未必反映真實的意圖偏差。

團隊進一步提出「先引導、後生成」架構：在寫碼之前，代理先向客戶提出簡短檢查清單，確認需求細節，再生成合約。論文沒有交代這個架構的實際準確率提升幅度，也未披露客戶訪談的樣本數目。研究結論是，所有評分工具都要用植入錯誤測試，並與一份不依描述寫成的標準答案比對，才能確認工具本身可靠。

論文用「植入錯誤」測試評分工具：把明知有問題的合約交給 AI 評審與標準分析工具，結果兩者都漏掉明顯錯誤。這不是個別模型的失手，而是方法本身的問題——評審靠讀程式碼給意見，靜態工具靠規則掃描，兩者都不會真正執行合約。

評分方式的選擇同樣影響結論。論文指出，若只檢查所有系統都包含的函數，會隱藏約一半管線之間的差異。換句話說，用「大家都有嘅部分」來打分，等於把系統之間最關鍵的分歧抹平，分數看似接近，實際行為可能相差很遠。

團隊為此連自己的評分器都審計，直到已知的錯誤答案無法過關為止。這個做法值得留意：它承認評分工具本身可能是漏洞來源。至於審計的具體門檻與測試集規模，論文摘要未披露，外界難以判斷其嚴謹程度。

針對意圖在生成階段流失，團隊提出「先引導、後生成」架構：寫碼之前，代理先向客戶問一份簡短檢查清單。這個次序調轉很關鍵——不是生成完再補問，而是把需求澄清放在生成之前，減少代理憑空猜測的空間。

寫完之後，再把合約對照清單逐項核對。論文稱此舉可減少意圖在生成階段流失，但摘要在此處截斷，清單的具體條目、問題數量、以及實驗規模均未披露。清單由誰設計、能否涵蓋金融合約的邊角情況，仍是未知之數。

反面意見亦值得提出：先問清單聽起來合理，但客戶未必答得出技術細節，清單本身也可能引導代理走向錯誤的假設。論文未交代清單的來源與驗證方式，這正是「先引導」架構最需要公開的部分。

對香港而言，這篇論文的啟示不在於哪個模型更強，而在於驗證方法。證監會對虛擬資產交易平台的合規要求愈來愈具體，若本地機構用 AI 代寫部署到鏈上的合約，一旦出錯便無法修改。與其信 AI 評審的意見，不如在測試網重播真實交易，並保留一份不依賴原始描述的標準答案作對照。

論文未披露清單條目與實驗規模，其實際效果仍待驗證。但「執行重播」的思路至少指向一個可審計的方向：合約行為是否一致，應該由交易結果說話，而非由評審打分。香港的託管商、合規審計團隊與大學區塊鏈實驗室會否採用類似方法，將是觀察本地虛擬資產安全水平的指標。