arXiv 在 2026 年 10 月 31 日刊出論文 2610.37851,提出一個名為 LibStructBench 的基準,專門測試人工智能代理能否按測序方案,重建指定的分子結構與生成流程。
論文的判斷相當直接:前沿代理多數交得出「大約正確」的重構,但一到精準重構就不可靠,問題集中在分子狀態表示與工作流程連貫性兩處。對要把工序交出去的實驗室,這是個警告。
LibStructBench 要求代理重建分子結構
LibStructBench 的定位是「以文件為依據」的基準。研究團隊把測序方案文件交給代理,要求它讀完之後,重建出文庫結構與分子工作流程,即由文件推回分子層面的具體安排,而非單單回答選擇題。
論文指出,現有科學代理基準甚少評估這種能力:代理能否按照測序方案,重建指定的分子結構與生成流程。團隊認為,這項能力對分析度身訂造的測序化驗至關重要,而市場上的基準一直未有覆蓋。
基準的測試對象是前沿代理,即市場上能力最高的一批模型配合代理框架。論文沒有在摘要披露參與測試的具體型號與代理框架名稱,亦未交代測試方案文件的数量與來源,這些細節有待查閱全文。
大約正確不等於精準重構
實驗結果顯示,前沿代理多數能產出大致正確的重構,即整體輪廓與方案對得上。但論文明確指出,代理在精準重構上仍然不可靠,尤其在分子狀態表示與工作流程連貫性兩方面。
這種落差意味錯誤未必在整體輪廓上顯露。分子狀態寫錯一層、工序之間接不上,外表看仍然「似層層」,但對於要按流程落手做的化驗而言,已經不能照用。把關要靠逐項核對,而非看成品是否順眼。
論文另有一個值得留意的發現:更換底層語言模型帶來的平均表現差異,大於更換代理框架,而統計上顯著的差異只出現在分子狀態重構一項。團隊亦測試加入額外知識,在小規模先導實驗改善寡核苷酸家族回收,但平均分子工作流程分數未見提升。代理自主累積程序規則與跨方案範例後,驗證表現非單調,未見平均留出分子工作流程改善。
換模型差異大過換代理框架
論文把「換語言模型」與「換代理框架」兩種變動分開測試,結果顯示前者的平均表現差異更大。代理框架指的是包裹語言模型的外圍程式結構,例如任務分解、工具呼叫與記憶機制。研究團隊在 LibStructBench 上比較不同組合,發現更換底層模型帶來的分數波動,整體上壓過更換框架的影響。
不過,這種差異只在「分子狀態重構」一項達到統計顯著。其餘環節,例如文庫結構的整體輪廓或工作流程的粗略連貫性,換模型與換框架的差距並未通過顯著性檢驗。換言之,模型換代確實會拉動表現,但並非每個子任務都同樣敏感。
對實驗室而言,這意味着採購代理方案時,與其比較框架宣傳的功能清單,不如先固定框架、逐個替換底層模型,在自家流程文件上量度精準重構的分數。論文的數據指向一個判斷:模型選擇是主要變數,框架是次要變數,但兩者都未解決精準重構的可靠性問題。
額外知識與自主累積規則未見穩定增益
研究團隊另做了一個小型先導實驗,在提示中加入額外知識,結果改善了寡核苷酸序列家族的回收率。寡核苷酸家族是指方案中一組相關的短鏈核酸序列,回收率反映代理能否把它們完整辨認出來。這是正面訊號,但僅限於這個小規模測試。
同一批先導實驗中,平均分子工作流程分數未見提升。也就是說,代理認得更多序列家族,卻沒有把這些局部優勢轉化為整條分子工作流程的準確重構。局部回收改善與整體流程分數之間出現落差,論文並未給出解釋,只如實報告兩個指標走勢不同。
另一項測試讓代理自主累積程序規則與跨方案範例,即從過往方案中自行歸納操作規則。結果驗證表現呈非單調變化,時好時壞,且在留出分子工作流程上未見平均改善。這與「代理越用越聰明」的直覺相反,最起碼在論文測試的軌跡內,自主累積未帶來穩定增益。
論文的核心判斷是:前沿代理在測序流程重構上只能做到「大約正確」,精準重構仍不可靠,而換語言模型的影響大於換代理框架。反面意見也寫得清楚:額外知識與自主累積規則只在個別指標閃現改善,未見穩定增益,部分測試更呈非單調走勢。這意味着目前未有單一調校手段可以保證精準重構。
香港的檢測與生物科技公司若引入代理整理度身訂造的測序化驗流程,採購前應要求供應商在自家流程文件上做精準重構測試,而非只看示範個案。香港科學園與數碼港的實驗室外判工序多依賴人手撰寫流程文件,代理出錯時,錯誤可能藏在分子狀態表示與工序連貫性之中,未必即時可見。把關乎分子狀態的工序交給代理,人手覆核仍是必要條件。


