CAMBRIDGE, MA 在過去的幾年里，語言的人工智能模型已經(jīng)變得非常擅長某些任務(wù)。最值得注意的是，它們擅長預(yù)測文本字符串中的下一個(gè)單詞;這項(xiàng)技術(shù)可幫助搜索引擎和短信應(yīng)用程序預(yù)測您要輸入的下一個(gè)單詞。
最新一代的預(yù)測語言模型似乎也了解了語言的潛在含義。這些模型不僅可以預(yù)測接下來出現(xiàn)的單詞，還可以執(zhí)行似乎需要一定程度真正理解的任務(wù)，例如問答、文檔摘要和故事完成。
此類模型旨在優(yōu)化預(yù)測文本的特定功能的性能，而不會(huì)試圖模仿人類大腦如何執(zhí)行此任務(wù)或理解語言的任何內(nèi)容。但麻省理工學(xué)院神經(jīng)科學(xué)家的一項(xiàng)新研究表明，這些模型的潛在功能類似于人腦中語言處理中心的功能。
在其他類型的語言任務(wù)上表現(xiàn)良好的計(jì)算機(jī)模型并沒有表現(xiàn)出與人腦的這種相似性，這提供了人腦可能使用下一個(gè)詞預(yù)測來驅(qū)動(dòng)語言處理的證據(jù)。
“模型在預(yù)測下一個(gè)單詞方面做得越好，它就越接近人類大腦，”麻省理工學(xué)院麥戈文大腦研究所和大腦中心成員、認(rèn)知神經(jīng)科學(xué)沃爾特 A.羅森布利斯教授 Nancy Kanwisher 說， Minds, and Machines (CBMM)，以及這項(xiàng)新研究的作者。“令人驚訝的是，這些模型的擬合如此之好，它非常間接地表明，人類語言系統(tǒng)正在做的事情可能正在預(yù)測接下來會(huì)發(fā)生什么。”
Joshua Tenenbaum，麻省理工學(xué)院計(jì)算認(rèn)知科學(xué)教授，CBMM 和麻省理工學(xué)院人工智能實(shí)驗(yàn)室(CSAIL)成員;和 Evelina Fedorenko，神經(jīng)科學(xué)領(lǐng)域的 Frederick A. 和 Carole J. Middleton 職業(yè)發(fā)展副教授以及麥戈文研究所的成員，是該研究的資深作者，該研究本周發(fā)表在美國國家科學(xué)院院刊上。在 CBMM 工作的麻省理工學(xué)院研究生 Martin Schrimpf 是該論文的第一作者。
做出預(yù)測
新的、高性能的下一個(gè)詞預(yù)測模型屬于一類稱為深度神經(jīng)網(wǎng)絡(luò)的模型。這些網(wǎng)絡(luò)包含形成不同強(qiáng)度連接的計(jì)算“節(jié)點(diǎn)”，以及以規(guī)定方式在彼此之間傳遞信息的層。
在過去的十年里，科學(xué)家們使用深度神經(jīng)網(wǎng)絡(luò)來創(chuàng)建視覺模型，可以像靈長類動(dòng)物的大腦一樣識別物體。麻省理工學(xué)院的研究還表明，視覺對象識別模型的潛在功能與靈長類動(dòng)物視覺皮層的組織相匹配，即使這些計(jì)算機(jī)模型并不是專門為模仿大腦而設(shè)計(jì)的。
標(biāo)簽：
免責(zé)聲明：本文由用戶上傳，如有侵權(quán)請聯(lián)系刪除！