科大訊飛近日發(fā)布了其最新的投資者關(guān)系活動記錄，詳細(xì)闡述了DeepSeek和星火大模型X1的最新進(jìn)展。記錄顯示，科大訊飛正在全力推進(jìn)星火X1新版本的訓(xùn)練，這一版本預(yù)計將在3月內(nèi)完成，目標(biāo)是在數(shù)學(xué)答題和過程思維鏈能力上全面對標(biāo)甚至超越OpenAI的o1模型。
科大訊飛強(qiáng)調(diào)，星火X1新版本的成功離不開其在深度推理模型上的深厚積累。通過與中國教科院等教育專家的緊密合作，科大訊飛正致力于將X1深度推理模型與教育專業(yè)知識相結(jié)合，通過強(qiáng)化學(xué)習(xí)和反思機(jī)制，生成符合教育教學(xué)需求的“教學(xué)思維鏈”。這一創(chuàng)新旨在提高復(fù)雜場景推理的邏輯正確性、專業(yè)性和可解釋性，并計劃率先應(yīng)用于教師助手、作業(yè)批改和輔助教學(xué)等全系產(chǎn)品創(chuàng)新中，預(yù)計將在2025年世界數(shù)字教育大會上發(fā)布教育專屬大模型和創(chuàng)新應(yīng)用。
在DeepSeek方面，科大訊飛提到了R1版本的快速對標(biāo)o1模型的創(chuàng)新點。R1采用了R1-Zero強(qiáng)化學(xué)習(xí)訓(xùn)練方案，直接在DeepSeek-V3-base預(yù)訓(xùn)練模型上進(jìn)行大規(guī)模強(qiáng)化學(xué)習(xí)訓(xùn)練，無需依賴任何有監(jiān)督微調(diào)（SFT），即可在數(shù)學(xué)、代碼等推理任務(wù)上接近o1模型的效果。這一成果不僅減少了人工標(biāo)注推理過程數(shù)據(jù)的需求，還體現(xiàn)了科大訊飛在深度推理模型上的技術(shù)創(chuàng)新能力。
值得注意的是，科大訊飛在深度推理模型上的進(jìn)展并非一帆風(fēng)順。由于只能使用國產(chǎn)算力，科大訊飛在適配和優(yōu)化華為昇騰910B算力上花費(fèi)了額外的時間。然而，這些努力最終取得了顯著成效，星火深度推理模型X1雖然參數(shù)較小（僅130億），但依靠算法和數(shù)據(jù)優(yōu)勢，已達(dá)到與OpenAI o1-preview對標(biāo)的水平。科大訊飛表示，隨著國產(chǎn)算力的逐步到位和模型參數(shù)的增加，有信心實現(xiàn)數(shù)學(xué)答題和過程思維鏈能力的全面超越。
為了降低深度推理模型的訓(xùn)練和推理成本，科大訊飛在軟硬件結(jié)合方面進(jìn)行了多項深度工程優(yōu)化創(chuàng)新。與DeepSeek直接在英偉達(dá)H800卡上開展工程優(yōu)化不同，科大訊飛選擇了更難的全國產(chǎn)算力路線。通過與華為的緊密合作，科大訊飛攻克了一系列技術(shù)難題，將訓(xùn)練效率從最初的30%-50%優(yōu)化到了85%-95%以上。特別是在萬卡網(wǎng)絡(luò)通信帶寬的利用率上，科大訊飛星火做到了95%，超越了DeepSeek的93%。
科大訊飛還指出，雖然陸續(xù)有公司宣布可以在國產(chǎn)算力平臺上提供大模型的推理服務(wù)，但目前只有訊飛星火一家是訓(xùn)練和推理均在國產(chǎn)算力上進(jìn)行的。僅用1萬張910B國產(chǎn)算力卡，科大訊飛不僅取得了大模型研發(fā)上的顯著成果，還做了大量國產(chǎn)算力平臺上的適配和效率優(yōu)化工作。這些努力體現(xiàn)了科大訊飛在追求國產(chǎn)算力極致效率上的技術(shù)實力和戰(zhàn)略勇氣。
科大訊飛表示，未來將繼續(xù)加大在深度推理模型上的研發(fā)投入，推動星火大模型在教育、醫(yī)療等領(lǐng)域的廣泛應(yīng)用。同時，也將持續(xù)關(guān)注國產(chǎn)算力的發(fā)展動態(tài)，不斷優(yōu)化和提升星火大模型在國產(chǎn)算力平臺上的性能和效率。
