加快打造原始創新策源地,加快突破關鍵核心技術,努力搶占科技制高點,為把我國建設成為世界科技強國作出新的更大的貢獻。

——習近平總書記在致中國科學院建院70周年賀信中作出的“兩加快一努力”重要指示要求

面向世界科技前沿、面向經濟主戰場、面向國家重大需求、面向人民生命健康,率先實現科學技術跨越發展,率先建成國家創新人才高地,率先建成國家高水平科技智庫,率先建設國際一流科研機構。

——中國科學院辦院方針

首頁 > 每日科學

人工智能“突破”:

人造神經網絡有了語言概括能力????

2023-10-27 中國科學報 文樂樂
【字體:

語音播報

科學家創造了一種神經網絡,具有類似人類的能力,可以對語言進行概括。該神經網絡將新學到的單詞折疊到現有詞匯表中,并在新的語境中使用,其表現與人類不相上下。這種能力是人類認知的一個關鍵方面,被稱為系統泛化。

研究人員將同樣的任務交給了聊天機器人ChatGPT的人工智能(AI)模型,發現它在這種測試中的表現比新的神經網絡或人類要差得多,盡管聊天機器人具有以類似人類的方式進行對話的神奇功能。

這項工作可能會使機器與人的互動比當今最好的AI系統更自然。相關成果10月25日發表于《自然》。

美國約翰斯·霍普金斯大學專門研究語言的認知科學家Paul Smolensky說,神經網絡的類人表現表明,“在使網絡具有系統性的訓練能力方面已經取得了突破”。

系統泛化能力表現為人們在新環境中毫不費力地使用新獲得的單詞。例如,一旦人們掌握了新詞的含義,他們就可以在各種情況下使用;同樣,理解“貓追狗”的人不需要太多思考也會理解“狗追貓”。

但是論文作者之一、美國紐約大學認知計算科學家Brenden Lake說,神經網絡并非天生具備這種能力。神經網絡是一種模擬人類認知的方法,一直主導著AI研究。與人類不同的是,神經網絡很難使用一個新詞,除非它們在使用該詞的許多文本上進行訓練。近40年來,AI研究人員一直在爭論,如果神經網絡不能證明具備這種能力,它能否成為一種合理的人類認知模型。

為結束這場爭論,研究人員首先測試了25個人,看他們在不同情況下使用新學單詞的能力。他們使用一種由兩類無意義單詞組成的偽語言來測試,以確保參與者是首次學習這些單詞?!癲ax”“wif ”和“lug”等“原始”單詞代表了“跳過”和“跳躍”等基本而具體的動作。更抽象的“功能”單詞,如“blicket”“kiki”和“fep”,則指定了使用和組合的規則,從而產生了“跳3次”或“向后跳”之類的組合。

參與者被訓練將每個“原始”單詞與特定顏色的圓圈聯系起來,其中紅色圓圈代表“dax”、藍色圓圈代表“lug”。然后,研究人員向參與者展示了“原始”單詞和“功能”單詞的組合,以及當后者應用于前者時產生的圓圈模式。最后,研究人員通過向參與者提供復雜組合來測試他們應用這些抽象規則的能力。參與者必須選擇正確的顏色和圓圈數量,并將其按適當順序放置。

正如預測的那樣,人類在這項任務上表現出色,80%的人選擇了正確的彩色圓圈組合。當他們犯錯誤時,研究人員注意到這些錯誤遵循了一種反映已知人類偏見的模式。

接下來,研究人員訓練了一個神經網絡,通過編程讓它從錯誤中學習,從而完成與提供給參與者類似的任務。這種方法允許AI在完成每項任務時進行學習,而不是使用靜態數據集——這是訓練神經網絡的標準方法。為了使神經網絡像人類一樣,研究人員訓練它重現在人類測試結果中觀察到的錯誤模式。當神經網絡進行新測試時,它的答案幾乎與人類參與者的答案完全一致,在某些情況下甚至超過了人類的表現。

相比之下,GPT-4在完成同樣的任務時遇到了困難,平均失敗率在42%到86%之間,這取決于研究人員如何呈現任務?!斑@不是魔法,而是練習?!盠ake說,“就像孩子在學習母語時也會練習一樣,這些模型通過一系列學習任務來提高它們的技能?!?/p>

美國圣塔菲研究所的計算機和認知科學家Melanie Mitchell表示,這項研究是一個有趣的原理證明,但這種訓練方法能否擴展到更大的數據集甚至圖像上,還有待觀察。Lake希望通過研究人類如何從小就培養出系統泛化的能力來解決這個問題,并將這些發現結合起來,建立一個更強大的神經網絡。

相關論文信息:https://doi.org/10.1038/s41586-023-06668-3

打印 責任編輯:侯茜

掃一掃在手機打開當前頁

© 1996 - 中國科學院 版權所有 京ICP備05002857號-1 京公網安備110402500047號 網站標識碼bm48000002

地址:北京市西城區三里河路52號 郵編:100864

電話: 86 10 68597114(總機) 86 10 68597289(總值班室)

編輯部郵箱:casweb@cashq.ac.cn

  • © 1996 - 中國科學院 版權所有 京ICP備05002857號-1 京公網安備110402500047號 網站標識碼bm48000002

    地址:北京市西城區三里河路52號 郵編:100864

    電話: 86 10 68597114(總機) 86 10 68597289(總值班室)

    編輯部郵箱:casweb@cashq.ac.cn

  • © 1996 - 中國科學院 版權所有
    京ICP備05002857號-1
    京公網安備110402500047號
    網站標識碼bm48000002

    地址:北京市西城區三里河路52號 郵編:100864
    電話:86 10 68597114(總機)
       86 10 68597289(總值班室)
    編輯部郵箱:casweb@cashq.ac.cn

  • 欧美操鸡巴