近期，谷歌DeepMind團(tuán)隊(duì)與約翰·開(kāi)普勒林茨大學(xué)的LIT AI實(shí)驗(yàn)室攜手，在提升語(yǔ)言模型決策能力方面取得了突破。這一成果通過(guò)強(qiáng)化學(xué)習(xí)微調(diào)（RLFT）技術(shù)實(shí)現(xiàn)，旨在解決當(dāng)前語(yǔ)言模型在決策過(guò)程中的一系列問(wèn)題。
語(yǔ)言模型，經(jīng)過(guò)海量互聯(lián)網(wǎng)數(shù)據(jù)的訓(xùn)練，已展現(xiàn)出超越單純文本處理的潛力。它們能夠利用內(nèi)部知識(shí)推理，在交互環(huán)境中做出行動(dòng)選擇。然而，這些模型在決策時(shí)仍面臨諸多挑戰(zhàn)。例如，它們能夠推導(dǎo)出正確的策略，但在執(zhí)行時(shí)卻常常力不從心，形成了所謂的“知道卻做不到”的鴻溝。模型還傾向于過(guò)度追求短期的高回報(bào)，而忽視了長(zhǎng)期的利益，這被稱為“貪婪選擇”。更小的模型則容易陷入機(jī)械重復(fù)常見(jiàn)動(dòng)作的困境，即“頻次偏見(jiàn)”。
傳統(tǒng)強(qiáng)化學(xué)習(xí)方法，如UCB算法，雖然在平衡探索與利用方面表現(xiàn)出色，但難以從根本上解決語(yǔ)言模型內(nèi)在的推理與行動(dòng)脫節(jié)問(wèn)題。為了克服這一難題，DeepMind團(tuán)隊(duì)創(chuàng)新性地采用了強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)。該技術(shù)以模型自生成的思維鏈為訓(xùn)練信號(hào)，通過(guò)評(píng)估每個(gè)推理步驟對(duì)應(yīng)的行動(dòng)獎(jiǎng)勵(lì)，引導(dǎo)模型優(yōu)先選擇既邏輯自洽又實(shí)際高效的行動(dòng)方案。
在具體實(shí)施過(guò)程中，模型根據(jù)輸入的指令和行動(dòng)-獎(jiǎng)勵(lì)歷史，生成包含推理過(guò)程和動(dòng)作的序列。這些序列通過(guò)蒙特卡洛基線評(píng)估和廣義優(yōu)勢(shì)估計(jì)進(jìn)行優(yōu)化。對(duì)于無(wú)效的動(dòng)作，系統(tǒng)會(huì)觸發(fā)懲罰機(jī)制。同時(shí)，獎(jiǎng)勵(lì)塑造技術(shù)既確保了輸出格式的規(guī)范性，又保留了足夠的探索空間。
為了驗(yàn)證這一技術(shù)的有效性，研究團(tuán)隊(duì)進(jìn)行了多項(xiàng)測(cè)試。在多臂老虎機(jī)測(cè)試中，面對(duì)10臂和20臂的情況，模型的動(dòng)作覆蓋率顯著提升。特別是在10臂測(cè)試中，2B參數(shù)模型的動(dòng)作覆蓋率提高了12個(gè)百分點(diǎn)。而在20臂測(cè)試中，雖然改善幅度較小，但頻次偏見(jiàn)率從70%驟降至35%，仍然具有顯著意義。
在井字棋實(shí)驗(yàn)中，模型的表現(xiàn)同樣令人矚目。與隨機(jī)對(duì)手對(duì)戰(zhàn)時(shí)，模型的勝率提升了5倍。而與最優(yōu)蒙特卡洛樹(shù)搜索代理的對(duì)戰(zhàn)中，模型的平均回報(bào)從-0.95歸零。值得注意的是，27B大模型在生成正確推理的概率方面達(dá)到了87%。然而，在未進(jìn)行微調(diào)時(shí)，僅有21%的模型會(huì)執(zhí)行最優(yōu)動(dòng)作。這一強(qiáng)化學(xué)習(xí)微調(diào)技術(shù)有效地縮小了這一差距，顯著提升了模型的決策能力。
