近期，科技界巨頭埃隆·馬斯克在一場直播對話中提出了一個引人深思的觀點(diǎn)：我們或已接近耗盡可用于訓(xùn)練人工智能（AI）模型的現(xiàn)實(shí)數(shù)據(jù)。這一論斷與前OpenAI首席科學(xué)家伊利亞·蘇茨克弗在去年底的言論不謀而合，后者曾在NeurIPS會議上指出，AI行業(yè)正面臨“數(shù)據(jù)峰值”的挑戰(zhàn)。
面對這一困境，馬斯克提出了一個解決方案：利用合成數(shù)據(jù)，即AI自我生成的數(shù)據(jù)，來彌補(bǔ)現(xiàn)實(shí)數(shù)據(jù)的不足。他認(rèn)為，AI通過自我評估和不斷優(yōu)化的學(xué)習(xí)過程，能夠生成更多用于訓(xùn)練的數(shù)據(jù)，從而推動AI技術(shù)的持續(xù)發(fā)展。
事實(shí)上，這一趨勢已經(jīng)初現(xiàn)端倪。微軟、meta、OpenAI和Anthropic等科技巨頭，已經(jīng)開始嘗試使用合成數(shù)據(jù)來訓(xùn)練他們的AI模型。據(jù)Gartner預(yù)測，到2024年，人工智能和數(shù)據(jù)分析項(xiàng)目中，有60%的數(shù)據(jù)將來自合成方式。
合成數(shù)據(jù)的優(yōu)勢在于能夠顯著降低開發(fā)成本。以人工智能初創(chuàng)公司W(wǎng)riter為例，其Palmyra X 004模型幾乎完全依賴合成數(shù)據(jù)進(jìn)行開發(fā)，成本僅為70萬美元，而與之規(guī)模相當(dāng)?shù)腛penAI模型開發(fā)成本則高達(dá)460萬美元。這一成本效益使得合成數(shù)據(jù)成為AI領(lǐng)域的新寵。
然而，合成數(shù)據(jù)并非萬無一失。研究表明，過度依賴合成數(shù)據(jù)可能導(dǎo)致AI模型性能下降，輸出結(jié)果缺乏創(chuàng)新性和多樣性，甚至可能加劇偏見和局限性。這是因?yàn)锳I模型在自我生成訓(xùn)練數(shù)據(jù)的過程中，可能會無意中引入自身的偏見和局限性，從而影響最終模型的準(zhǔn)確性和功能性。
