首頁(yè) > 綜合 > 正文

大語(yǔ)言模型中的涌現(xiàn)現(xiàn)象是不是偽科學(xué)？|天天微資訊

2023-04-11 10:00:05來(lái)源：程序員客棧

Datawhale干貨

(相關(guān)資料圖)

作者：平凡@知乎，諾桑比亞大學(xué)，在讀博士

今天晚上，花了一點(diǎn)兒時(shí)間看了兩篇文章：

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

這兩篇講的都是emergent behavior，即涌現(xiàn)現(xiàn)象。

大規(guī)模神經(jīng)網(wǎng)絡(luò)下的涌現(xiàn)現(xiàn)象

在機(jī)器學(xué)習(xí)中使用大規(guī)模神經(jīng)網(wǎng)絡(luò)時(shí)，由于增加了參數(shù)數(shù)量、訓(xùn)練數(shù)據(jù)或訓(xùn)練步驟等因素，出現(xiàn)了定性上的新能力和性質(zhì)，這些能力和性質(zhì)在小規(guī)模神經(jīng)網(wǎng)絡(luò)中往往是不存在的。

第一篇文章舉了這個(gè)例子，每個(gè)圖都可以理解為一個(gè)任務(wù)，橫軸是神經(jīng)網(wǎng)絡(luò)的規(guī)模，而縱軸是準(zhǔn)確率，可以理解為模型的性能。

我們拿圖一來(lái)看，在10的22次方前，這些模型基本上的性能基本上都很穩(wěn)定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個(gè)任務(wù)上都表現(xiàn)出類似的特征。

意想不到的效果

第二篇文章更是有趣，我直接把推特一位博主的評(píng)論引用在這里：

作者發(fā)現(xiàn)，當(dāng)我們訓(xùn)練用網(wǎng)絡(luò)計(jì)算同余加法 a+b = ? (mod c) 時(shí)，網(wǎng)絡(luò)在某個(gè)時(shí)間突然獲得了 100% 準(zhǔn)確率。分析發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)實(shí)際上“頓悟”了使用傅立葉變換來(lái)計(jì)算同余加法！這個(gè)算法可以證明是正確的，反人類直覺的。

從這倆例子里面我的感受是，只要數(shù)據(jù)量足夠且真實(shí)，且模型沒(méi)有硬錯(cuò)誤的前提下，不斷的訓(xùn)練說(shuō)不定真的能夠產(chǎn)生一些意想不到的效果。

還有就是我覺得人類現(xiàn)在積累的知識(shí)并不少，但是系統(tǒng)的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識(shí)進(jìn)行不斷學(xué)習(xí)的話，我覺得有很大概率會(huì)讓它涌現(xiàn)出意想不到的能力。

甚至可能把人類的生產(chǎn)力解放提前很多。

參考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

標(biāo)簽：

相關(guān)閱讀

大語(yǔ)言模型中的涌現(xiàn)現(xiàn)象是不是偽科學(xué)？|天天微資訊

Datawhale干貨作者：平凡@知乎，諾桑比亞大學(xué)，在讀博士今天晚上，花了一點(diǎn)兒時(shí)間看了兩篇文章：《Emerg...

2023-04-11
【楚天評(píng)】東湖評(píng)論：打造全域旅游，賦能高質(zhì)量發(fā)展

【楚天評(píng)】東湖評(píng)論：打造全域旅游，賦能高質(zhì)量發(fā)展---通過(guò)精彩的節(jié)目表演，展現(xiàn)了秭歸獨(dú)有的屈原文化、...

2023-04-11
美股熔斷機(jī)制觸發(fā)條件是什么小編來(lái)告訴你

美股熔斷機(jī)制觸發(fā)條件是什么

2023-04-11
環(huán)球通訊！清明節(jié)是每年的幾月幾日相關(guān)內(nèi)容了解

清明節(jié)是每年的幾月幾日

2023-04-11

王者榮耀遠(yuǎn)古生物是什么意思王者榮耀遠(yuǎn)古生物刷新時(shí)間觀點(diǎn)

王者榮耀遠(yuǎn)古生物是什么意思王者榮耀遠(yuǎn)古生物刷新時(shí)間

2023-04-11
武漢鸚鵡洲大橋晃動(dòng)怎么回事武漢鸚鵡洲大橋晃動(dòng)原因簡(jiǎn)述

武漢鸚鵡洲大橋晃動(dòng)怎么回事武漢鸚鵡洲大橋晃動(dòng)原因簡(jiǎn)述

2023-04-11
哈爾濱醫(yī)科大學(xué)有哪些專業(yè)？哈爾濱醫(yī)科大學(xué)是幾本院校？

哈爾濱醫(yī)科大學(xué)有基礎(chǔ)醫(yī)學(xué)、臨床醫(yī)學(xué)、麻醉學(xué)、醫(yī)學(xué)影像學(xué)、兒科學(xué)、口腔醫(yī)學(xué)、預(yù)防醫(yī)學(xué)、藥學(xué)、臨床藥...

2023-04-11
中國(guó)刑事警察學(xué)院錄取分?jǐn)?shù)線是多少？中國(guó)刑事警察學(xué)院是幾本？

高考填報(bào)志愿時(shí)，2022中國(guó)刑事警察學(xué)院錄取分?jǐn)?shù)線以及最近三年分?jǐn)?shù)線是廣大考生和家長(zhǎng)朋友們十分關(guān)心的...

2023-04-11
服務(wù)外包專業(yè)就業(yè)方向是什么？什么是崗位外包？

服務(wù)外包專業(yè)就業(yè)方向是什么?1、就業(yè)方向與就業(yè)崗位面向國(guó)際服務(wù)外包接包業(yè)務(wù)員、國(guó)際服務(wù)外包項(xiàng)目管理...

2023-04-11
大語(yǔ)言模型中的涌現(xiàn)現(xiàn)象是不是偽科學(xué)？|天天微資訊

Datawhale干貨作者：平凡@知乎，諾桑比亞大學(xué)，在讀博士今天晚上，花了一點(diǎn)兒時(shí)間看了兩篇文章：《Emerg...

2023-04-11
貴州醫(yī)科大學(xué)錄取分?jǐn)?shù)線是多少？貴州醫(yī)科大學(xué)什么專業(yè)比較吃香？

2020年貴州醫(yī)科大學(xué)錄取分?jǐn)?shù)線【全國(guó)】2020年貴州醫(yī)科大學(xué)貴州省錄取分?jǐn)?shù)統(tǒng)計(jì)錄取批次錄取專業(yè)理工（...

2023-04-11
北京工商大學(xué)嘉華學(xué)院學(xué)費(fèi)多少錢？北京工商大學(xué)嘉華學(xué)院是幾本？

北京工商大學(xué)嘉華學(xué)院學(xué)費(fèi)多少錢一年北京工商大學(xué)嘉華學(xué)院收費(fèi)標(biāo)準(zhǔn)2022年我校所有專業(yè)學(xué)費(fèi)、住宿費(fèi)標(biāo)準(zhǔn)...

2023-04-11
2022清華大學(xué)錄取分?jǐn)?shù)線是多少？清華大學(xué)最厲害的專業(yè)有哪些？

2022清華大學(xué)錄取分?jǐn)?shù)線【全國(guó)】1、2022年清華大學(xué)分?jǐn)?shù)線【統(tǒng)招批】北京不限組689分、物理組688分、物化...

2023-04-11
環(huán)球信息:人民網(wǎng)評(píng)：“五個(gè)一百”，星光微火激發(fā)奮斗動(dòng)能

時(shí)代需要正能量，網(wǎng)絡(luò)繁榮和社會(huì)發(fā)展也離不開正能量的推動(dòng)。只有把

2023-04-11
21＋4＋301記三分！庫(kù)里最佳搭檔，還要交易他嗎？夏天預(yù)定大合同

盡管本賽季常規(guī)賽勇士一路波折，但最終還是以西部第6的身份直通季后賽。對(duì)于勇士來(lái)說(shuō)，這已經(jīng)算是取得了...

2023-04-11
每日播報(bào)!天津：壯大新興產(chǎn)業(yè) 激發(fā)發(fā)展新動(dòng)能

央視網(wǎng)消息（新聞聯(lián)播）：全面貫徹黨的二十大精神和全國(guó)兩會(huì)精神，

2023-04-11
氣候越來(lái)越?jīng)觯懈哐獕旱娜耍粢飧鶕?jù)血壓值調(diào)整降壓藥了

“一場(chǎng)秋雨一場(chǎng)寒，十場(chǎng)秋雨穿上棉”，過(guò)了秋分之后，晝短夜長(zhǎng)，冬季越來(lái)越近了。病院的急診室，也更加...

2023-04-11
寧夏理工學(xué)院學(xué)費(fèi)多少錢一年？寧夏理工學(xué)院是雙一流大學(xué)嗎？

寧夏理工學(xué)院學(xué)費(fèi)：本科普通類專業(yè)19800元年、體育教育專業(yè)19800元年、藝術(shù)類專業(yè)22000元年，專科...

2023-04-11
iPhone 15 Pro敲定：手感大幅升級(jí)！

根據(jù)此前爆料的消息，iPhone15Pro將迎來(lái)大幅升級(jí)，近日外媒9to5mac曝光的iPhone15Pro的高清渲染圖進(jìn)一步...

2023-04-11
每日速讀!“志愿紅”清渠引水保春耕

本文轉(zhuǎn)自：玉林日?qǐng)?bào)博白三灘鎮(zhèn)：“志愿紅”清渠引水保春耕三灘鎮(zhèn)組織黨員、志愿者開展“助力春耕保生產(chǎn)...

2023-04-11
謝謝你曾溫暖過(guò)我們——追記全國(guó)公安系統(tǒng)二級(jí)英雄模范陳勇

陜西省興平市西城街道南仁村的2000多名村民，每每經(jīng)過(guò)興平市公安局

2023-04-11
世界快訊:瓜帥臨陣潑水減壓，主場(chǎng)迎戰(zhàn)拜仁應(yīng)該火上澆油才符合心理學(xué)規(guī)律！

瓜帥臨陣潑水減壓，主場(chǎng)迎戰(zhàn)拜仁應(yīng)該火上澆油才符合心理學(xué)規(guī)律吧！瓜帥賽前發(fā)布會(huì)，提到了喬丹在15年里...

2023-04-11
全球信息:擴(kuò)內(nèi)需促消費(fèi) 春暖花開市場(chǎng)旺

央視網(wǎng)消息（新聞聯(lián)播）：春暖大地，萬(wàn)物生發(fā)。各地圍繞“春天”主

2023-04-11
重慶：以雙城經(jīng)濟(jì)圈建設(shè)引領(lǐng)高質(zhì)量發(fā)展|快資訊

央視網(wǎng)消息（新聞聯(lián)播）：重慶市完整、準(zhǔn)確、全面貫徹新發(fā)展理念，

2023-04-11
【全球獨(dú)家】避開廣廈隊(duì)之后！遼籃遭遇更大，麻煩，CBA爭(zhēng)冠火線掉隊(duì)

一直以來(lái)，遼寧男籃和廣東男籃都是我們球迷朋友們比較看重的兩支球隊(duì)，覺得他們還是有很大的，希望可以...

2023-04-11
楊家將傳奇詳細(xì)攻略感興趣的玩家別錯(cuò)過(guò)

1 除了比賽不要?jiǎng)尤魏稳?在營(yíng)地，你動(dòng)了他會(huì)告訴你你軍紀(jì)不嚴(yán)，你就輸了)。但是法師和術(shù)士可以用運(yùn)輸來(lái)...

2023-04-11
北京去哪玩——五棵松體育中心：北京最具影響力的體育場(chǎng)館|全球今日訊

五棵松體育中心是中國(guó)北京市一個(gè)著名的綜合性體育場(chǎng)館，由五棵松建設(shè)投資有限公司投資建設(shè)。自2008年夏...

2023-04-11
富人理財(cái)（有錢人都怎么理財(cái)？）你懂得理財(cái)嗎

有錢人都是怎么理財(cái)?shù)模?不知道大家有沒(méi)有發(fā)現(xiàn)一個(gè)神奇的現(xiàn)象，越有錢的男人越愛理財(cái)，越窮的男人越花錢...

2023-04-11
男生波波頭（好看的男生發(fā)現(xiàn)介紹）

男生波波頭(正宗波波頭發(fā)型圖片)現(xiàn)在的男生在追求發(fā)型的時(shí)候都不喜歡一些夸張的造型，因?yàn)檫@個(gè)時(shí)代有時(shí)...

2023-04-11
2022青海高考分?jǐn)?shù)線是多少？青海本科大學(xué)有哪些？

青海省高等學(xué)校招生委員會(huì)關(guān)于發(fā)布2022年普通高等學(xué)校在青招生錄取控制分?jǐn)?shù)線的通知在青招生各普通高校...

2023-04-11
文理分科測(cè)試（藝術(shù)和科學(xué)的特點(diǎn)）世界觀熱點(diǎn)

文科學(xué)科測(cè)試(文科學(xué)科潛能測(cè)試，讓你的孩子試一試)文理科潛在試題請(qǐng)根據(jù)你的實(shí)際情況和興趣傾向回答以...

2023-04-11
帶魚煮冬菜（我縣優(yōu)秀作品《帶魚煮冬菜》）

帶魚煮冬菜(我縣佳作《帶魚煮冬菜》)9月25日晚，浙江省農(nóng)村文化禮堂建設(shè)成果展暨“三團(tuán)三會(huì)”成果展在溫...

2023-04-11
最新快訊!色彩關(guān)系（色彩關(guān)系有哪幾種）文章帶你分析

顏色關(guān)系(有哪幾種顏色關(guān)系)提示:關(guān)注藝考，查看頭條號(hào)。我們將為您帶來(lái)名家名作、趣味藝考以及更多精彩...

2023-04-11
河南開封科技傳媒學(xué)院是幾本？河南開封科技傳媒學(xué)院王牌專業(yè)有哪些？

河南開封科技傳媒學(xué)院是幾本?首先，需要說(shuō)明的是教育部門并沒(méi)有劃分河南開封科技傳媒學(xué)院是二本還是三本...

2023-04-11
名菜典故（中國(guó)名菜典故、你知道幾個(gè)？）一起來(lái)看看吧|天天快消息

名吃典故(中國(guó)名吃典故，你知道幾個(gè)？)紅燒腸這道菜是清光緒初年濟(jì)南九華樓首創(chuàng)的。這棟樓烤的大腸是硬...

2023-04-11
怎么查看自己電腦的IP地址呢？電腦ip地址為什么老是變動(dòng)？

電腦IP地址怎么看?怎么查看自己電腦的IP地址呢?電腦IP地址查看方法一：1、使用Windows+R打開運(yùn)行窗口，...

2023-04-11
羽毛球團(tuán)體賽規(guī)則（具體規(guī)定如下）

羽毛球團(tuán)體比賽規(guī)則(羽毛球常規(guī)比賽規(guī)則)光明網(wǎng)03-1910:38又到了運(yùn)動(dòng)季，很多朋友會(huì)在休息的時(shí)候約上三...

2023-04-11
焦點(diǎn)觀察：原地?cái)S鉛球（原地側(cè)向推鉛球常見練習(xí)方法）

原地推鉛球(原地側(cè)推鉛球的常用練習(xí)方法)原地推鉛球是體育高考的必考項(xiàng)目，其成績(jī)主要取決于推鉛球的角...

2023-04-11
C盤什么軟件可以清理？c盤滿了怎么刪除無(wú)用文件？

c盤可清理1 回收站垃圾在電腦桌面的回收站垃圾，都是存放在C盤中的，所以這些被我們忽略的回收站垃圾同...

2023-04-11
【時(shí)快訊】單車與跑車（山地自行車和賽車有什么區(qū)別）

用自行車跑車(山地車和賽車有什么區(qū)別)2021-06-1610:41百科你可能不信，法國(guó)人創(chuàng)造的超級(jí)自行車，完全是...

2023-04-11
【楚天評(píng)】東湖評(píng)論：打造全域旅游，賦能高質(zhì)量發(fā)展

【楚天評(píng)】東湖評(píng)論：打造全域旅游，賦能高質(zhì)量發(fā)展---通過(guò)精彩的節(jié)目表演，展現(xiàn)了秭歸獨(dú)有的屈原文化、...

2023-04-11
為什么網(wǎng)頁(yè)無(wú)法復(fù)制文字？網(wǎng)頁(yè)無(wú)法復(fù)制文字如何破解？

網(wǎng)頁(yè)無(wú)法復(fù)制文字怎么辦?1 可以使用谷歌瀏覽器擴(kuò)展程序Allow Copy解決問(wèn)題，打開谷歌瀏覽器的網(wǎng)上應(yīng)用...

2023-04-11
螺絲刀雞尾酒（雞尾酒中的少女殺手）螺絲刀的調(diào)和方法每日時(shí)訊

雞尾酒螺絲刀(雞尾酒中的少女殺手)邊肖收集了一套日常雞尾酒***視頻課程，并免費(fèi)分享。點(diǎn)擊作者頭像進(jìn)入...

2023-04-11
昆侖萬(wàn)維2022年凈利潤(rùn)11.5億經(jīng)營(yíng)性凈利潤(rùn)同比大增112% 環(huán)球新要聞

4月10日晚間，昆侖萬(wàn)維（300418 SZ）披露2022年年度業(yè)績(jī)報(bào)告。2022年，公司實(shí)現(xiàn)營(yíng)業(yè)收入47 4億元，實(shí)...

2023-04-11
【全球獨(dú)家】馬云出的書（馬云推薦的十本書盤點(diǎn)）

馬云出版的書(馬云推薦的十本書)作為一個(gè)白手起家的成功企業(yè)家，馬云一路走來(lái)的成功靠的就是書，保持良...

2023-04-11
暴風(fēng)領(lǐng)主納拉克（12項(xiàng)龍實(shí)戰(zhàn)馴服攻略）焦點(diǎn)短訊

領(lǐng)主納拉克風(fēng)暴(魔獸世界風(fēng)暴領(lǐng)主納拉克的坐騎)魔獸世界9 0 5:《降龍大師》獸王狩獵，12種捕龍不容錯(cuò)...

2023-04-11
鱷魚龜養(yǎng)殖技術(shù)（.鱷龜?shù)纳飳W(xué)特性）

鱷龜養(yǎng)殖技術(shù)(如何養(yǎng)鱷龜)鱷龜又稱肉龜、美洲鱷魚、蛇鱷，原產(chǎn)于中美洲和北美洲。鱷魚有兩種，即大鱷魚...

2023-04-11
天天信息:劍網(wǎng)三哪個(gè)職業(yè)厲害(劍網(wǎng)3最強(qiáng)職業(yè)排行)

劍三經(jīng)營(yíng)了十一年多，是不折不扣的老游戲。即便如此，由于王劍三世有著深厚的古文化底蘊(yùn)和豐富優(yōu)秀的扇...

2023-04-11
音標(biāo)字體（英文書籍的音標(biāo)用什么字體） |熱消息

今天給大家分享一些關(guān)于音標(biāo)字體的問(wèn)題(如何安裝音標(biāo)字體)。以下是邊肖對(duì)這個(gè)問(wèn)題的總結(jié)。讓我們看一看...

2023-04-11
網(wǎng)線和WiFi哪個(gè)信號(hào)網(wǎng)速好？網(wǎng)線和wifi有什么區(qū)別？

網(wǎng)線wifi哪個(gè)信號(hào)好?網(wǎng)線和WiFi哪個(gè)信號(hào)、網(wǎng)速好?網(wǎng)線和WiFi對(duì)于上網(wǎng)來(lái)說(shuō)，兩者使用感覺都差不多，因?yàn)?..

2023-04-11
每日速看!趙高之死（歷史中秦國(guó)的趙高是怎么死的）

趙高之死（歷史中秦國(guó)的趙高是怎么死的）趙高是秦朝一位很有權(quán)勢(shì)的大臣。趙高很有才華。起初，他被秦始...

2023-04-11
今日熱訊：谷歌人體（使用谷歌人體瀏覽器看看你的內(nèi)在）

谷歌人體(使用谷歌人體瀏覽器查看你的內(nèi)部)在這里，不得不感嘆谷歌人體瀏覽器的強(qiáng)大。Google通過(guò)WebGL技...

2023-04-11
仙劍98地圖（仙劍奇?zhèn)b傳）一起來(lái)學(xué)習(xí)吧

仙劍圖98(仙劍奇?zhèn)b傳)試煉洞穴，仙劍奇?zhèn)b傳(DOS 98)系列地圖解析之九。序試洞的難點(diǎn)在于單層電路和多層...

2023-04-11
天天微速訊：ps3破解游戲（ps3完美破解教程）一起來(lái)學(xué)習(xí)吧

Ps3破解游戲(ps3完美破解教程)最近買了一個(gè)2TB容量的移動(dòng)硬盤，專門用來(lái)存儲(chǔ)游戲。因?yàn)槲业腜C硬盤不豐富...

2023-04-11
枯法者訓(xùn)練攻略(魔獸世界枯法者訓(xùn)練完全攻略)

干法訓(xùn)練攻略(魔獸世界干法訓(xùn)練全攻略)大家好，我是我的貓的名字叫本。爭(zhēng)取每天發(fā)布一篇魔獸世界原創(chuàng)小...

2023-04-11
環(huán)球信息:古玩小說(shuō)（六本古玩鑒寶撿漏類小說(shuō)）相關(guān)信息了解

古董小說(shuō)(六部關(guān)于古董珍寶的小說(shuō))有朋友想看古風(fēng)小說(shuō)，前幾年很流行，最近很低迷。不過(guò)看這些書很爽，...

2023-04-11

大語(yǔ)言模型中的涌現(xiàn)現(xiàn)象是不是偽科學(xué)？|天天微資訊

相關(guān)閱讀

精彩推薦

閱讀排行

相關(guān)詞

推薦閱讀