近期，人工智能領(lǐng)域迎來了一項引人注目的新突破。據(jù)一份最新發(fā)布的研究報告顯示，斯坦福大學(xué)與華盛頓大學(xué)的科研團隊，僅憑不到50美元的云計算成本（當前匯率下約364元人民幣），就成功打造了一款具備卓越“推理”能力的人工智能模型——s1。
這款s1模型在數(shù)學(xué)與編程能力測試中，展現(xiàn)出了與OpenAI的o1、DeepSeek的r1等業(yè)界頂尖推理模型相媲美的水平。更令人矚目的是，s1模型及其訓(xùn)練數(shù)據(jù)和代碼已在GitHub平臺上全面開源，供全球開發(fā)者研究和使用。
s1團隊揭秘，他們采用了“蒸餾”技術(shù)來創(chuàng)建這款模型。該技術(shù)通過訓(xùn)練模型來學(xué)習另一個AI模型的答案，從而提煉出其核心推理能力。據(jù)悉，s1模型是從谷歌的Gemini 2.0 Flash Thinking Experimental模型中蒸餾而來。而就在上個月，加州大學(xué)伯克利分校的研究人員也運用相同的蒸餾方法，以約450美元的成本開發(fā)了一款A(yù)I推理模型。
隨著s1等類似模型的出現(xiàn)，人工智能領(lǐng)域的商品化問題日益凸顯。當有人能夠以極低的成本復(fù)制出價值數(shù)百萬美元的模型時，大型科技公司的競爭優(yōu)勢何在？這一問題引發(fā)了業(yè)界的廣泛關(guān)注和討論。
面對這一挑戰(zhàn)，大型AI實驗室紛紛表達不滿。例如，OpenAI就曾指責DeepSeek不當獲取其API數(shù)據(jù)用于模型蒸餾。而s1團隊則致力于探索實現(xiàn)強大推理性能和“測試時擴展”的最簡潔途徑，這些正是OpenAI的o1模型所取得的突破。
s1的論文指出，通過監(jiān)督微調(diào)（SFT）方法，可以使用較小的數(shù)據(jù)集來蒸餾推理模型。在SFT過程中，AI模型被明確指示在數(shù)據(jù)集中模仿特定行為。相較于DeepSeek用于訓(xùn)練R1模型的大規(guī)模強化學(xué)習方法，SFT更具成本效益。
值得注意的是，谷歌通過其Google AI Studio平臺免費提供Gemini 2.0 Flash Thinking Experimental模型的訪問權(quán)限，但設(shè)有每日使用限制。然而，其使用條款明確禁止對模型進行逆向工程，以開發(fā)與谷歌自身AI產(chǎn)品競爭的服務(wù)。盡管如此，s1團隊還是巧妙地利用了這一資源。
s1模型基于阿里巴巴旗下中國人工智能實驗室Qwen提供的一款小型、現(xiàn)成的免費AI模型。為了訓(xùn)練s1，研究人員精心策劃了一個包含1000個問題及其答案的數(shù)據(jù)集，并收集了谷歌Gemini 2.0 Flash Thinking Experimental對每個答案背后“思考”過程的輸出。
在訓(xùn)練過程中，研究人員使用了16個Nvidia H100 GPU，耗時不到30分鐘，便成功訓(xùn)練出了s1模型。據(jù)參與該項目的斯坦福大學(xué)研究員Niklas Muennighoff透露，目前租用這些計算資源的成本約為20美元。這一低廉的成本再次凸顯了s1模型的性價比優(yōu)勢。
為了進一步提升s1的性能，研究人員還采用了一個巧妙的技巧：讓s1在推理過程中“等待”。論文顯示，在s1的推理步驟中添加“等待”一詞，有助于模型獲得更為準確的答案。這一發(fā)現(xiàn)為AI模型的優(yōu)化提供了新的思路。
