OpenAI近期在緊湊型推理模型o4-mini上引入了強(qiáng)化微調(diào)技術(shù)（RFT），為開發(fā)者提供了一種全新的工具，旨在幫助他們將基礎(chǔ)模型定制化以適應(yīng)特定任務(wù)需求。這一技術(shù)的推出，標(biāo)志著OpenAI在模型微調(diào)領(lǐng)域邁出了重要一步。
RFT技術(shù)巧妙地將強(qiáng)化學(xué)習(xí)原理應(yīng)用于語言模型的微調(diào)過程中，打破了傳統(tǒng)微調(diào)模式的局限。以往，開發(fā)者主要依賴標(biāo)注數(shù)據(jù)來調(diào)整模型，而現(xiàn)在，他們可以通過設(shè)計(jì)任務(wù)特定的評(píng)分函數(shù)來評(píng)估模型輸出。這些評(píng)分函數(shù)基于自定義標(biāo)準(zhǔn)，如準(zhǔn)確性、格式或語氣，為模型表現(xiàn)打分。模型則通過優(yōu)化獎(jiǎng)勵(lì)信號(hào)，逐步學(xué)習(xí)并生成符合期望的行為。
o4-mini是OpenAI于今年4月發(fā)布的一款緊湊型推理模型，具備文本和圖像輸入功能，尤其擅長結(jié)構(gòu)化推理和鏈?zhǔn)剿季S提示。RFT技術(shù)在o4-mini上的應(yīng)用，為開發(fā)者提供了一個(gè)既輕量又強(qiáng)大的基礎(chǔ)模型，非常適合處理高風(fēng)險(xiǎn)、領(lǐng)域特定的推理任務(wù)。其高效的計(jì)算能力和快速的響應(yīng)速度，使得o4-mini在實(shí)時(shí)應(yīng)用場(chǎng)景中表現(xiàn)出色。
使用RFT技術(shù)需要經(jīng)歷四個(gè)關(guān)鍵步驟：首先，開發(fā)者需要設(shè)計(jì)評(píng)分函數(shù)；其次，準(zhǔn)備高質(zhì)量的數(shù)據(jù)集；然后，通過OpenAI API啟動(dòng)訓(xùn)練任務(wù)；最后，持續(xù)評(píng)估和優(yōu)化模型表現(xiàn)。這一流程使得RFT技術(shù)在處理復(fù)雜任務(wù)時(shí)尤為有效，尤其是在那些難以定義標(biāo)準(zhǔn)答案的領(lǐng)域，如醫(yī)療和法律等。
在醫(yī)療領(lǐng)域，開發(fā)者可以通過程序評(píng)估解釋的清晰度和完整性，從而指導(dǎo)模型不斷改進(jìn)。同樣，在法律和代碼生成等領(lǐng)域，RFT技術(shù)也展現(xiàn)出了其定制化優(yōu)勢(shì)。多家早期采用者已經(jīng)成功在o4-mini上應(yīng)用了RFT技術(shù)，并取得了顯著成果。
目前，RFT技術(shù)已經(jīng)向認(rèn)證組織開放。訓(xùn)練費(fèi)用為每小時(shí)100美元，若使用GPT-4o等模型作為評(píng)分工具，則還需按標(biāo)準(zhǔn)推理費(fèi)率額外計(jì)費(fèi)。為了鼓勵(lì)數(shù)據(jù)共享，OpenAI還推出了激勵(lì)措施。同意共享數(shù)據(jù)集用于研究的組織，可以享受50%的訓(xùn)練費(fèi)用折扣。這一舉措不僅降低了使用RFT技術(shù)的成本，還促進(jìn)了學(xué)術(shù)界和工業(yè)界的合作與交流。
