11 月 5 日刊於 arXiv 的一篇論文(編號 arXiv:2611.05393)指出,大型語言模型在標準醫療問答表現強勁,但遇上較難推理題目便明顯退步;在這些難題上,多代理辯論往往贏不了單一模型的強力提示。

作者認為關鍵限制在於現有系統只憑問題本身挑選專家與檢索知識,而非根據推理過程中出現的缺口。研究提出「挑戰感知自適應招募」,在 MEDAGENTSBENCH 難題子集(9 個生物醫學數據庫、862 條問題)上,中途按缺口檢索在 8 個數據庫提升準確率,相對只有 CHALLENGER 的設定高出 6 個百分點。

難題上多代理辯論贏不了單模型

論文開篇即點出一個尷尬事實:大型語言模型在標準醫療問答表現強勁,但遇上較難的推理題目便明顯退步。在這些難題上,多代理辯論往往無法勝過單一模型的強力提示,意味增加代理數量並非萬靈丹。

作者將矛頭指向現有系統的設計盲點:它們只憑問題本身挑選專家與檢索知識,而非根據推理過程中出現的缺口。換言之,系統在討論開始前就已鎖定專家名單與知識庫,之後無法因應推理軌跡的變化調整補給。

這個判斷有反面意見尚待釐清:論文僅在 862 條公開試題上驗證,未經臨床數據洗禮;多代理辯論在真實病歷的複雜共病情境是否同樣遜於單模型,未有答案。研究也未披露參與測試的模型規模與版本,難以判斷結論是否適用於其他模型。

CHALLENGER 檢查推理軌跡找缺口

研究提出「挑戰感知自適應招募」:外部 CHALLENGER 檢查逐步展開的推理軌跡,找出具體的事實或專業知識缺口。這些信號會觸發針對性的知識檢索,或在討論中途招募專科代理,而非在討論開始前一次過檢索。

在 MEDAGENTSBENCH 難題子集(9 個生物醫學數據庫、862 條問題)上,事前檢索幾乎沒有幫助,中途按缺口檢索表現更好。在多專科骨幹下,中途檢索在 9 個數據庫中 8 個提升準確率,相對只有 CHALLENGER 的設定高出 6 個百分點。

消融實驗顯示,檢索時機與缺口特定的查詢信號均有貢獻;實時網絡搜索實驗也表明,時機優勢在不同檢索後端之間持續存在。不過,論文未披露 6 個百分點的置信區間,也未交代 8 個數據庫的具體名稱與提升幅度,市民不應將此數字直接理解為臨床準確率的增幅。

多專科骨幹下 8/9 數據庫有改善

論文在 MEDAGENTSBENCH 難題子集上測試,該子集包含 9 個生物醫學數據庫、862 條問題。結果顯示,在一個多專科骨幹模型上,中途檢索令其中 8 個數據庫的準確率提升。換言之,只有一個數據庫未見改善,論文未披露是哪一個,亦未解釋原因。

更直接的對照是與「只有 CHALLENGER」的設定比較:加入中途檢索後,整體準確率高出 6 個百分點。這個差距說明,單靠 CHALLENGER 標出推理缺口並不足夠,必須配合針對缺口的知識補給,才能轉化為答題準確率。

消融實驗進一步拆解貢獻:檢索時機與缺口特定的查詢信號,兩者均有作用。研究團隊亦做了實時網絡搜索實驗,發現時機優勢在不同檢索後端之間仍然存在,意味效果並非綁定於某個特定檢索器。

專科招募靠自我觸發 未經真實病歷驗證

論文摘要提到,專科招募方面採用自我觸發的適應方式,但摘要在此處截斷,具體機制與數據未在可見部分披露。因此,無法判斷專科代理在何種條件下被觸發、招募後如何參與辯論,以及這部分對準確率的實際貢獻。

全部實驗均在公開基準數據集上進行,未涉及真實醫院病歷或臨床工作流程。862 條問題的規模,亦不足以判斷這種方法在罕見病或共病情境下的表現。研究未報告任何與臨床醫生判斷的對比,亦未披露推理延遲或運算成本。

反面意見是:檢索時機的優勢可能只在這批選擇過的難題上成立。若問題難度分佈改變,或數據庫覆蓋範圍不同,中途檢索的增益未必重現。論文未提供跨難度層級的分層結果,這是後續驗證需要補上的空白。

對香港而言,公立醫院專科門診輪候以年計,複雜共病個案最耗人力。這篇論文的路線理論上更適合處理這類個案,但研究僅在 862 條公開試題上驗證,未經臨床數據洗禮。醫院管理局若考慮引入輔助診斷工具,關鍵問題是:能否在本地病歷與中文語境下重現這種時機優勢?現階段未有本地驗證數據,不宜當成採購依據。

論文的真正貢獻,是把焦點從「幾多個代理」轉向「幾時補知識」。但專科招募機制在摘要中截斷,時機優勢亦只在公開試題上成立。下一步需要的是臨床環境的前瞻驗證,而非更多基準分數。