arXiv 論文提 LRMoE 省記憶體訓練 MoE 更快

arXiv 論文編號 2610.37720 嘅 LRMoE，針對稀疏混合專家模型訓練時嘅 GPU 記憶體瓶頸，提出負載重校準方法。論文在 2026 年 10 月 31 日發表，實驗用咗 Qwen3-30B-A3B 同 GLM4.5-106B-A12B 兩個模型。

稀疏混合專家模型靠路由機制只激活部分專家，以較低計算成本擴展容量。但路由不均令部分專家負載過重，現有方法複製專家分散負載，卻同 token 緩衝區爭奪有限 GPU 記憶體。LRMoE 嘅判斷係：在記憶體受限節點上，可縮短訓練時間，但實際部署效益仍待驗證。

稀疏混合專家模型的記憶體難題

稀疏混合專家模型（MoE）透過路由機制，每個 token 只會被派去少數專家，唔使激活全部參數。Qwen3-30B-A3B 總參數 300 億，但每次只激活約 30 億，就係呢種設計。計算成本低咗，模型容量卻可以推高。

問題出在路由不均。熱門專家收到大量 token，其他專家閒置，形成計算同通訊瓶頸。現有做法係複製熱門專家，開多幾個副本分散負載。但每個副本都要佔用 GPU 記憶體，同 token 相關嘅緩衝區爭位。

論文摘要明言，額外專家副本會同 token 緩衝區競爭有限 GPU 記憶體。換句話說，複製專家越多，可用緩衝區越細，反過來限制批次大小同訓練吞吐量。呢個取捨，正係 LRMoE 想拆解嘅死結。

前向傳播階段，LRMoE 在資源限制下規劃保留配額同專家放置，同時保留所有路由計算。即係唔會丟棄任何 token 去專家嘅配對，只係預先決定每個專家保留幾多工作量。呢一步為後續重校準定下框架。

反向傳播階段，負載重校準指標會估算每個 token-專家配對對專家更新嘅貢獻，然後在配額內揀選配對。貢獻大嘅優先保留，貢獻細嘅被篩走。咁樣可以減少要處理嘅配對數量，同時唔影響主要梯度信號。

容量感知路由演算法將保留嘅配對，分配到原專家嘅可用實例，再經物理壓縮形成較細嘅通訊負載同可變大小分組矩陣乘法。論文稱此舉降低反向傳播嘅通訊量、計算量同執行緩衝區需求。不過摘要未披露具體壓縮比例同額外開銷。

論文在兩個模型上驗證 LRMoE：Qwen3-30B-A3B 與 GLM4.5-106B-A12B。前者總參數 300 億、每次激活約 30 億；後者總參數 1060 億、激活約 120 億。兩個規模相差逾三倍，涵蓋中等與大型稀疏混合專家模型，實驗覆蓋面唔算窄。

結果顯示，LRMoE 能將累積 MoE 層訓練時間縮短至固定損失目標。即係話，達到同一個損失水平，用嘅時間少咗。不過，具體縮短百分比、用咩 GPU、幾多張卡、節點記憶體上限，摘要全部冇披露，要查閱全文先知道。

呢個「固定損失目標」嘅設定值得留意：它衡量嘅係訓練效率，唔係最終模型質素。如果 LRMoE 令訓練更快但收斂到較差嘅損失，咁節省時間就冇意義。論文摘要未交代兩者嘅取捨，呢一點係判斷其實際價值嘅關鍵。

LRMoE 目前只係 arXiv 預印本，編號 2610.37720，未見同儕評審或獨立重現。學術界對 MoE 訓練優化嘅論文不少，但能落地嘅唔多。無第三方復現，就難以確認實驗結果係咪只在特定硬件與路由分佈下成立。

其實際效益取決於節點記憶體大小與路由分佈。如果專家負載本身已相當平均，重校準嘅空間就有限；相反，路由越傾斜，LRMoE 嘅潛在收益越大。論文用嘅兩個模型路由特性未披露，難以判斷一般 MoE 模型能否複製同樣效果。

香港團隊若依賴雲端 GPU 訓練，需確認服務商是否支援相關優化。多數雲端平台唔會開放底層通訊與記憶體管理權限，LRMoE 嘅物理壓縮與可變大小分組矩陣乘法未必能直接套用。呢個環節唔解決，節省成本只停留在論文層面。

LRMoE 嘅核心貢獻係喺記憶體受限節點上，用負載重校準代替額外專家副本，理論上讓有限硬件訓練更大模型。對缺乏大型訓練集群嘅團隊，呢個方向有實際意義。但論文未披露具體硬件配置與縮短幅度，實際效益仍待獨立驗證。

香港企業與研究機構可以留意相關開源實作，但未見本地機構參與測試。若雲端供應商唔支援底層優化，節省有限。LRMoE 係咪真係幫到記憶體緊張嘅團隊，仲要睇全文同第三方復現結果。