arXiv 在 10 月 31 日刊出一篇編號 2610.37809 的論文，題目直接問「本體到底捉到什麼」。研究團隊把矛頭由答題代理轉向它身上的檢查器：LLM 代理答完問題，再交由知識圖譜本體衍生的規則判斷對錯，這個做法被假設為可靠，論文卻要實測這個假設。
論文比較三種本體來源：人工整理、由 LLM 生成、以及從數據挖掘出來。測試橫跨公開知識圖譜與一個近 10 億條三元組的私有圖譜，代理則涵蓋開放權重與閉源模型；本體分別用作提示上下文、檢查器，或兩者兼用。焦點只有一個：檢查器捉到什麼，又錯誤標記了什麼。
誤報比漏報更難察覺
檢查器出錯有兩個方向。漏報是錯誤答案過關，容易被外部測試發現；誤報則是把正確答案標記為錯，代理於是「修正」一個本來無問題的輸出。論文摘要明言，這種誤報會推動代理改掉正確答案，而使用者看到的只是一個看似經過校驗的結果。
在 UniProt 的測試中，人工整理本體標記正確答案的次數，多過 LLM 生成與數據衍生兩種來源。這個結果與直覺相反：造價最高、理應最可靠的人工 schema，反而更容易把對的答案判為錯。論文亦指出，一個按原樣使用的人工 schema，可以與自身數據互相矛盾。
團隊進一步追蹤結構檢查漏掉的錯誤類型，並測試合併多種來源、或向代理提供檢查器具體反饋是否划算。這部分結果未在摘要披露細節，但問題本身已指向企業部署的核心：校驗規則的誤報率，與漏報率一樣需要被量化，而不是當成免費的保險。香港企業採購問答代理時，宜要求供應商同時交出這兩項數字，並在試點中以自身數據重測；金管局與數碼港的 AI 沙盒會否加入這類披露要求，則是另一個未定的問題。
人工 schema 未必勝過 LLM 生成
論文其中一個反直覺發現：按原樣使用的人工整理本體，可能與自身數據矛盾。研究團隊在公開圖譜上比對三種來源，發現人工 schema 並非必然更準。當 schema 與圖譜實際內容脫節，檢查器便會把合規答案判為錯誤。這不是假設性風險，而是論文明確記錄的現象。
LLM 生成的本體與數據衍生 schema 各有取捨。前者擅長捕捉語意關係，後者貼近圖譜實際分佈，但兩者都會在特定查詢類型上失手。論文沒有宣稱哪一種全面勝出，只指出每種來源在「捉錯」與「誤報」之間的交換率不同。企業若以為人工整理必然可靠，便忽略了這項取捨。
論文亦測試合併多種來源，以及向代理提供檢查器具體反饋，是否帶來淨效益。結果顯示，合併並非免費午餐，額外檢查會增加誤報機會。向代理披露檢查器的具體理由，則可能幫助它判斷是否採納修正。這兩項機制的實際效益，論文有量化比較，但未給出單一必勝方案。
企業部署前的三個實際問題
採購知識圖譜問答代理時，應要求供應商披露校驗規則的誤報率與漏報率。論文顯示，檢查器在 UniProt 上標記正確答案的次數，多過另外兩種本體來源。供應商若只強調「符合 schema」，卻不提供這兩項數字，企業便無法評估代理會否頻繁改寫正確答案。合規聲稱與實際表現是兩回事。
試點應以企業自身數據重測，而非只信公開基準的分數。論文同時測試公開圖譜與一個近 10 億條三元組的私有圖譜，說明不同數據分佈會改變檢查器表現。香港企業若在內部知識庫部署代理，公開基準的準確率不能直接移植。用自身數據重測誤報率，是部署前最低限度的盡職審查。
若校驗器頻繁誤報，代理可能反覆改寫正確答案，拉低使用者信任。論文摘要明言，誤報會推動代理「修正」本來無問題的輸出。使用者看到的只是一個看似經過校驗的結果，卻不知道它已被錯誤規則改動。這種信任侵蝕不會即時顯現，卻會在累積後令代理被棄用。
論文的價值不在於否定本體校驗，而在於把檢查器本身變成研究對象。它提醒企業：校驗器不是免費的保險，而是一項有誤報成本的過濾機制。部署前量化捉錯與誤報的取捨，比單信 schema 更實際。
香港企業在內部知識庫部署問答代理時，金管局與數碼港推動的 AI 沙盒多聚焦模型準確度，較少要求披露校驗規則的誤報率。採購時要求供應商提供誤報率與漏報率，並以自身數據重測，是填補這個空隙的具體一步。
