圖夫茨大學(xué)最新研究發(fā)現(xiàn)，大型語言模型在識(shí)別對(duì)話中的合適插話時(shí)機(jī)方面存在明顯缺陷，這一發(fā)現(xiàn)揭示了人工智能在對(duì)話能力上的局限性。
在自然語言處理經(jīng)驗(yàn)方法會(huì)議（EMNLP 2024）上，該大學(xué)的研究團(tuán)隊(duì)將詳細(xì)介紹他們的研究成果。該研究已提前在arXiv預(yù)印本服務(wù)器上發(fā)布，引起了學(xué)術(shù)界的廣泛關(guān)注。
研究指出，人類在交談時(shí)通常會(huì)根據(jù)多種輸入線索來判斷何時(shí)是合適的插話時(shí)機(jī)，這被語言學(xué)家稱為“話輪轉(zhuǎn)換點(diǎn)”（TRP）。然而，AI在識(shí)別這些關(guān)鍵時(shí)點(diǎn)上表現(xiàn)得并不理想。
傳統(tǒng)觀點(diǎn)認(rèn)為，對(duì)話中的副語言信息，如語調(diào)和停頓，是識(shí)別TRP的關(guān)鍵。但圖夫茨大學(xué)的JP de Ruiter教授表示，實(shí)際上，語言內(nèi)容本身才是決定輪流發(fā)言時(shí)機(jī)的最重要因素。
研究人員嘗試通過微調(diào)和對(duì)話內(nèi)容額外訓(xùn)練來提升AI的對(duì)話能力，但結(jié)果發(fā)現(xiàn)仍存在難以克服的限制。他們警告說，基于統(tǒng)計(jì)相關(guān)性的AI可能無法真正理解對(duì)話的深層語境和意圖。
為了克服這些限制，研究團(tuán)隊(duì)建議對(duì)大型語言模型進(jìn)行更大規(guī)模的自然口語語料庫預(yù)訓(xùn)練。然而，目前收集足夠數(shù)量的對(duì)話錄音和轉(zhuǎn)錄數(shù)據(jù)仍是一個(gè)巨大挑戰(zhàn)。
