arXiv 在 10 月 31 日刊出一篇題為 OpenFrontiers 的論文，編號 2610.37739v1，一次過交出兩件東西：一個收錄 12,151 條未解研究問題的語料庫，以及一個 200 題的數學回顧基準。

論文把七個大型語言模型代理放進隔離沙盒，在標準化預算下作答。結果是：閉卷重解 40 題已有答案的難題，最多只有 7 題做得到。

閉卷重解最多 7/40　上網成功多屬檢索

HQ-50 之中，40 題已有答案。閉卷條件下，七個代理最多只有 7 題能夠重發現，比率不足兩成。換句話說，其餘 33 題即使答案早已存在於文獻之中，模型在不准上網的情況下仍然交不出來。

開放實時上網時，成功率高得多。但論文指出，多數成功只是檢索到已發表的解答，並非真正推理。這一點是整篇論文最有力的判斷：高分不等於會做，可能只是搜得準。

評測協議設三種條件：閉卷、凍結檢索、實時上網，全部在隔離沙盒中進行，並用兩個獨立檢查器核對形式證明。三種條件分開看，才能把「記得」與「推得出」區分開。

反面意見也應該講。檢索本身是不是一種合理的研究能力？現實中的數學家一樣會翻文獻、查前人的證明。論文把檢索成功貶為「非真正推理」，這個界線劃得相當硬，未必所有人都同意。另一點未確定的是，七個代理的具體型號與預算細節，在摘要層面未見披露。

對香港的啟示是問題而不是結論。本地大專院校與科研資助機構近年強調人工智能輔助研究，若評審只看「答中」，就容易高估模型能力。研究評審局及大學圖書館設計使用指引時，可以要求研究人員申報有否使用檢索工具，把閉卷推理與上網搜證分開記錄。中小學數學科引入人工智能練習，亦要避免把搜題庫當成解難能力。

Lean 4 與雙重審查把關

OpenFrontiers 的 200 道數學題，每題都附有一段 Lean 4 陳述。論文指出，這些陳述先經自動探針檢查，再交兩名獨立審查員覆核，以減低題目表述不清或答案錯誤的風險。Lean 4 是程式語言兼定理證明助手，用於形式化數學命題，此舉令每道題的答案可以機器驗證。

HQ-50 子集是從 200 題中再按質素分數篩選出來的 50 題，旨在確保題目適合標準化比較。論文沒有披露質素分數的具體計算方法，只稱其為過濾條件之一。這意味著外界難以判斷 HQ-50 在難度或領域分佈上是否具有代表性，亦無法複核篩選過程。

論文未披露七個代理的具體名稱與型號，亦未交代各代理的參數規模，只稱在標準化預算下評測。代理的推理步驟、提示設計、以及是否使用外部工具，同樣未有說明。這些缺失令結果難以直接比較不同模型的能力，也令其他團隊無法完全複現實驗。

「重發現」定義未統一　分數易被誤讀

有研究者認為，重解已解題目與發現新知識是兩回事。7/40 這個數字不宜直接推論 AI 沒有研究能力，因為重發現的定義本身未統一：是指獨立推導出已知答案，還是指產出可驗證的形式證明？論文採用後者，但學界對此仍有爭議。若定義不同，分數的意義亦會隨之改變。

另一未確定之處是凍結檢索條件的具體設定。論文摘要未說明檢索範圍與時間截點，外界難以完全複現。所謂凍結檢索，是指在評測時限制代理只能存取某個固定語料庫，但該語料庫包含哪些文獻、截止日期為何，均未交代。這令「上網成功多屬檢索」的結論難以被獨立驗證。

對香港讀者而言，重點是區分「搜到答案」與「推理出答案」。採購或試用 AI 研究工具時，應要求供應商說明檢索與閉卷模式的分別。香港大專院校與科研資助機構近年強調 AI 輔助研究，若只以「答中」作指標，容易高估模型能力。研究評審局及大學圖書館在設計 AI 使用指引時，可要求研究人員申報有否使用檢索工具。

OpenFrontiers 的結果顯示，現時大型語言模型在真正「重發現」層面仍然薄弱。所謂高分不少來自檢索已發表解答，而非獨立推理。評測設計必須把上網與閉卷分開看，否則分數只反映搜尋能力，而非解難能力。

香港中小學的數學科若引入 AI 練習，亦要避免把搜題庫當成解難能力。與其追求答對率，不如要求學生區分推導與搜尋，並在課業中申報有否使用 AI 工具。這既是評測問題，也是教育問題。