近期，科技界傳來一則引人注目的消息，英偉達研究團隊在人工智能領(lǐng)域取得了重要突破。據(jù)科技媒體marktechpost報道，英偉達不僅推出了一種名為ProRL的強化學(xué)習(xí)方法，還成功開發(fā)出了目前全球頂尖的1.5B參數(shù)推理模型——Nemotron-Research-Reasoning-Qwen-1.5B。
推理模型，作為專門設(shè)計的人工智能系統(tǒng)，其核心在于通過復(fù)雜的長鏈推理過程，得出最終的答案。這一技術(shù)在近年來備受關(guān)注，而強化學(xué)習(xí)在這一過程中的作用更是不可忽視。此前，DeepSeek和Kimi等團隊已采用可驗證獎勵的強化學(xué)習(xí)方法（RLVR），推動了GRPO、Mirror Descent和RLOO等算法的發(fā)展。
然而，盡管強化學(xué)習(xí)在理論上被認為能夠提升大型語言模型（LLM）的推理能力，但實際應(yīng)用中卻面臨諸多挑戰(zhàn)。現(xiàn)有研究表明，RLVR在pass@k指標上并未顯著優(yōu)于基礎(chǔ)模型，這顯示出推理能力的擴展存在局限性。當前的研究大多聚焦于數(shù)學(xué)等特定領(lǐng)域，導(dǎo)致模型過度訓(xùn)練，限制了其探索新領(lǐng)域的潛力。同時，強化學(xué)習(xí)的訓(xùn)練步數(shù)通常較短，往往僅數(shù)百步，這使得模型難以充分發(fā)展新的能力。
為了克服這些難題，英偉達研究團隊推出了ProRL方法。他們不僅將強化學(xué)習(xí)的訓(xùn)練時間延長至超過2000步，還大大擴展了訓(xùn)練數(shù)據(jù)的范圍，涵蓋了數(shù)學(xué)、編程、STEM、邏輯謎題和指令遵循等多個領(lǐng)域，共計13.6萬個樣本。這一舉措旨在提升模型的泛化能力，使其能夠在不同領(lǐng)域都表現(xiàn)出色。
在ProRL方法的基礎(chǔ)上，英偉達團隊采用了verl框架和改進的GRPO方法，成功開發(fā)出了Nemotron-Research-Reasoning-Qwen-1.5B模型。這一模型在多項基準測試中均表現(xiàn)出色，超越了基礎(chǔ)模型DeepSeek-R1-1.5B，甚至在某些方面優(yōu)于更大的DeepSeek-R1-7B模型。
測試結(jié)果顯示，Nemotron-Research-Reasoning-Qwen-1.5B模型在數(shù)學(xué)領(lǐng)域?qū)崿F(xiàn)了平均15.7%的提升，編程任務(wù)的pass@1準確率提高了14.4%，在STEM推理和指令遵循方面分別提升了25.9%和22.0%，邏輯謎題的獎勵值更是提升了驚人的54.8%。這一系列數(shù)據(jù)充分展示了該模型在不同領(lǐng)域中的強大推理能力和泛化性能。
英偉達的這一突破無疑為人工智能領(lǐng)域帶來了新的希望和可能。隨著技術(shù)的不斷進步和應(yīng)用的不斷拓展，我們有理由相信，未來將有更多像Nemotron-Research-Reasoning-Qwen-1.5B這樣的優(yōu)秀模型涌現(xiàn)出來，為人類社會帶來更多的便利和價值。
