近日，蘋果公司AI研究團(tuán)隊(duì)發(fā)表了一篇重要論文，題為“Understanding the Limitations of Large Language Models in Mathematical Reasoning”，揭示了大型語言模型（LLM）在數(shù)學(xué)推理方面的顯著局限性。
盡管LLM在生成類人文本方面表現(xiàn)出色，但在處理數(shù)學(xué)問題時(shí)，即便問題只是微小改動(dòng)，如增添無關(guān)信息，其表現(xiàn)也會(huì)大幅下降。
研究人員通過一個(gè)簡(jiǎn)單的數(shù)學(xué)問題證明了這一點(diǎn)。他們提出了一個(gè)關(guān)于采摘獼猴桃的問題，LLM能夠正確計(jì)算出答案。
然而，一旦在問題中加入無關(guān)細(xì)節(jié)，如“其中5個(gè)奇異果比平均小”，模型便給出了錯(cuò)誤答案。研究人員進(jìn)一步修改了數(shù)百個(gè)類似問題，發(fā)現(xiàn)幾乎所有修改都導(dǎo)致了LLM回答成功率的大幅降低。
這表明，LLM并未真正理解數(shù)學(xué)問題，而是更多地依賴于訓(xùn)練數(shù)據(jù)中的模式進(jìn)行預(yù)測(cè)。當(dāng)需要進(jìn)行真正的邏輯推理時(shí)，這些模型往往無法產(chǎn)生合理結(jié)果，這一發(fā)現(xiàn)對(duì)人工智能的發(fā)展提供了重要參考。
盡管LLM在許多領(lǐng)域表現(xiàn)優(yōu)異，但其在數(shù)學(xué)推理方面的局限性仍然明顯，推理能力有待提升。
