中國電信人工智能研究院近日宣布，其傾力打造的“復(fù)雜推理大模型”TeleAI-t1-preview已正式面世，并將很快在天翼AI開放平臺上與公眾見面。該模型采用先進(jìn)的強(qiáng)化學(xué)習(xí)訓(xùn)練技術(shù)，通過引入探索與反思機(jī)制，顯著提升了在邏輯推理與數(shù)學(xué)推導(dǎo)等復(fù)雜問題上的解答精度。
據(jù)官方介紹，TeleAI-t1-preview在美國數(shù)學(xué)競賽AIME 2024與MATH500兩項(xiàng)權(quán)威基準(zhǔn)測試中，分別以60分和93.8分的優(yōu)異成績，遠(yuǎn)超OpenAI的o1-preview和GPT-4o等業(yè)界標(biāo)桿模型。在研究生級別問答測試GPQA Diamond中，其表現(xiàn)同樣出色，得分超越GPT-4o，與Claude 3.5 Sonnet的性能不相上下。
評測顯示，TeleAI-t1-preview在處理《九章算術(shù)》中的題目時，能夠先對文言文進(jìn)行精準(zhǔn)理解和簡化，再轉(zhuǎn)換成現(xiàn)代漢語，并給出詳細(xì)的數(shù)學(xué)推導(dǎo)過程和答案。這一過程中，模型展現(xiàn)了將形象思維與抽象思維相結(jié)合的能力，對所涉及場景進(jìn)行具象化思考，從而更好地理解題目。
尤為TeleAI-t1-preview還能嚴(yán)謹(jǐn)?shù)剡M(jìn)行古今單位換算，確保了答案的準(zhǔn)確性。這一成就得益于中國電信人工智能研究院在模型訓(xùn)練策略上的創(chuàng)新。
在數(shù)據(jù)準(zhǔn)備階段，研究院收集并構(gòu)建了一個以數(shù)學(xué)為核心、涵蓋多學(xué)科的高質(zhì)量推理數(shù)據(jù)集，為模型適應(yīng)不同類型推理任務(wù)打下了堅(jiān)實(shí)基礎(chǔ)。還訓(xùn)練了一個專門的Judge Model，用于分析和評估模型長思考鏈路的正確性，為模型的反思和錯誤修正提供精準(zhǔn)指導(dǎo)。
在監(jiān)督微調(diào)（SFT）階段，研究院采用蒙特卡洛樹搜索（MCTS）構(gòu)造高質(zhì)量長推理數(shù)據(jù)，結(jié)合每個步驟的準(zhǔn)確率和解決方案長度，選擇最優(yōu)完整路徑。這不僅保證了推理答案的準(zhǔn)確性，還有效拉長了思考鏈路，使推理過程更加細(xì)粒度。同時，利用Judge Model對推理過程中正確率較低的路徑進(jìn)行分析，引導(dǎo)模型對錯誤推理步驟進(jìn)行反思和修正，從而構(gòu)造出高質(zhì)量的思維鏈數(shù)據(jù)進(jìn)行SFT訓(xùn)練。
在強(qiáng)化學(xué)習(xí)階段，研究院額外構(gòu)造了基于規(guī)則的獎勵模型（Rule-based Reward Model），提供準(zhǔn)確獎勵信號，通過在線強(qiáng)化學(xué)習(xí)算法進(jìn)一步提升模型的邏輯推理能力。這一系列創(chuàng)新舉措，共同成就了TeleAI-t1-preview在復(fù)雜推理領(lǐng)域的卓越表現(xiàn)。
