首頁 > 綜合 > 正文

大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學？

2023-04-25 13:39:03來源：程序員客棧

Datawhale干貨

作者：平凡@知乎，諾桑比亞大學，在讀博士

今天晚上，花了一點兒時間看了兩篇文章：

(相關資料圖)

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

這兩篇講的都是emergent behavior，即涌現(xiàn)現(xiàn)象。

大規(guī)模神經網絡下的涌現(xiàn)現(xiàn)象

在機器學習中使用大規(guī)模神經網絡時，由于增加了參數(shù)數(shù)量、訓練數(shù)據或訓練步驟等因素，出現(xiàn)了定性上的新能力和性質，這些能力和性質在小規(guī)模神經網絡中往往是不存在的。

第一篇文章舉了這個例子，每個圖都可以理解為一個任務，橫軸是神經網絡的規(guī)模，而縱軸是準確率，可以理解為模型的性能。

我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩(wěn)定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務上都表現(xiàn)出類似的特征。

意想不到的效果

第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：

作者發(fā)現(xiàn)，當我們訓練用網絡計算同余加法 a+b = ? (mod c) 時，網絡在某個時間突然獲得了 100% 準確率。分析發(fā)現(xiàn)，神經網絡實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的，反人類直覺的。

從這倆例子里面我的感受是，只要數(shù)據量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓練說不定真的能夠產生一些意想不到的效果。

還有就是我覺得人類現(xiàn)在積累的知識并不少，但是系統(tǒng)的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話，我覺得有很大概率會讓它涌現(xiàn)出意想不到的能力。

甚至可能把人類的生產力解放提前很多。

參考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

標簽：

精彩推薦

閱讀排行

梅西當選世界足球先生是哪一年？...
梅西第七次當選世界足球先生是真...
世界足球先生和金球獎哪個榮譽高...
NBA常規(guī)賽費城主場對決森林狼恩...
應該減肥、蹬車運動還是跑步？
助理惹禍端，謝娜來道歉，張杰卻...
環(huán)球動態(tài):梅西將再一次向美洲杯...
2000多能買到驍龍8Gen2旗艦手機
2年前小米11 Ultra首發(fā)的傳感器...
雷軍回應：想要比小米13更小的手機？

相關詞

沃爾沃XC90
啞語教學_手語場景對話（圖書館）-即時焦點
環(huán)球訊息：濟的多音字組詞濟的多音字組詞及釋義
win7如何一鍵還原_win7怎么一鍵還原系統(tǒng)
百世快運單號查詢_百世快運單號的查詢方法介紹世界短訊
王者榮耀暴君多長時間刷新一次具體如下文今亮點
環(huán)球快訊:在水一方的歌詞來源于哪里具體來源于哪里
天天熱推薦：銳健醫(yī)療擬沖刺資本市場，輔導券商為國金證券
當前消息！殷桃和鄧超演的電視劇叫什么名字
全球觀點：女神聯(lián)盟坐騎升階_促進緊密聯(lián)系的方法介紹
天天熱消息：通脹形勢不斷惡化英國食品價格漲幅創(chuàng)45年來新高
三色犬是什么動物看完你就知道了_全球觀天下
焦點熱訊:造夢西游2法寶合成_造夢2的合成要加強嗎？
【天天快播報】有特色的網名特色的網名大全有喜歡的別錯過了
每日熱訊!彩虹城堡2攻略_彩虹城堡2攻略大全
做剪刀腿有什么好處？剪刀腿怎么做？
求生之路2免steam補丁_求生之路2免steam補丁怎么用？天天熱文
雅典是哪個國家的首都位于哪里呢
4月25日北京冬奧板塊跌幅達2%
HP筆記本電腦如何恢復出廠設置？詳細方法如下世界頭條
一般的筆記本電腦待機時間為多長相關內容分享給你
傳聞中的陳芊芊分集劇情傳聞中的陳芊芊講述了什么內容|全球新視野
國網冀北：以電力數(shù)據分析透視區(qū)域經濟增長
臘草魚塊怎么做臘草魚塊做法_環(huán)球最新
同氣是指什么關系一般同氣是指什么關系
索蘭托怎么樣(韓國起亞索蘭托進口版) 天天熱點
今亮點！公牛在主場以115-107戰(zhàn)勝籃網終結六連敗
液態(tài)彩虹_在家就能做的水彩虹相關內容了解
天天日報丨黃家駒什么時候死的_黃家駒死亡原因
世界時訊：閃閃爍爍的意思詞語閃閃爍爍什么意思及出處
世界滾動:蛋糕不夠蓬松是因為什么原因原材料品質問題如何
絕味鴨脖是哪里的_絕味鴨脖出自哪個地方
皮具分類_皮革分類小常識科普這些你都知道嗎？前沿熱點
今日熱聞!中秋節(jié)慰問信息（中秋節(jié)慰問信）
欲窮千里目中的窮是什么意思古詩鑒賞
天天快資訊：怎樣修改主頁主頁怎么修改，方法如此簡單
當前快看：臘月初旬_北京的春節(jié)怎么過的
環(huán)球微資訊！武林外傳什么職業(yè)好_武林外傳單職業(yè)什么厲害
謙尋：2023年下半年將針對品牌方推出虛擬人創(chuàng)新業(yè)務
一代梟雄結局一代梟雄最后怎樣了
京東每年的固定活動有哪些活動時間是什么時候
歐洲杯半決賽西班牙暴露最大的問題就是鋒無力微動態(tài)
天天快消息！廣州恒大全隊兵發(fā)蘇州備戰(zhàn)中超聯(lián)賽第二階段的比賽
“兩網”無縫銜接市民高效換乘
1399元起！榮耀X50i開售：一億像素超清影像+4500mAh電池天天亮點
無碼SteamDeck你肯定被騙了
羽毛球拍3u和4u 5u的區(qū)別是什么？羽毛球拍磅數(shù)怎么選？
天津實施科教興市人才強市行動
焦點滾動:一公司買7000部iPhone 全是空盒
奧沙利文最怕三個人是誰？奧沙利文是哪個國家的人？
三分球大賽規(guī)則是什么 NBA全明星三分球大賽歷屆冠軍得主
小米洗內褲洗烘一體機將上架：1599元殺菌消毒_環(huán)球觀察
飲料制造板塊拉升青島啤酒漲超4%
中國三大球哪個最強？三大球是指哪三大球？
富臨精工2022年扣非凈利大增192% 新能源業(yè)務成發(fā)展新引擎世界新要聞
【大國基理】背包法庭創(chuàng)新做法把法庭“背到”人民群眾家門口
庫里三分球總數(shù)最新數(shù)據多少？庫里在哪個籃球隊？
Siri專利侵權？蘋果竟成被告
2023男籃世預賽賽程直播在哪里看男籃世界杯預選賽中國隊賽程表
2元撬動248億債務恒大汽車剝離地產業(yè)務為時已晚？|當前通訊
世預賽中國男籃2023賽程表世預賽亞洲區(qū)12強賽積分榜
優(yōu)秀！小學生展示隱藏技能一筆畫龍
環(huán)球頭條：景氣底部已過卓越新能一季度凈利潤環(huán)比增長230%
有變化！中山最新購房政策，一圖讀懂！天天新視野
足球世少賽是什么比賽？足球世少賽幾年一屆？
世青賽阿根廷拿過幾次冠軍都有哪些國家奪得過足球世青賽的冠軍
誰適合相撲？你知道為什么嗎？-全球百事通
足球世青賽年齡限制幾歲？保羅加索爾獲得過幾次世青賽冠軍？
新里程：4月24日融資買入176.87萬元，融資融券余額2.75億元
寧遠高新技術產業(yè)開發(fā)區(qū)辦公室主任、管理七級職員蔣興接受審查調查|焦點快報
2023年U20男子冰球世青賽冠軍是誰 05年荷蘭世青賽小組賽積分排名
全球時訊：山東泰山主場和成都蓉城的比賽更改為在成都進行
小米13系列買哪款？雷軍給出了答案
鵜鶘隊122-115險勝火箭隊送給后者4連敗焦點訊息
剛剛加盟球隊的前國腳鄒正現(xiàn)場見證了這場比賽
中國首奪冰壺世青賽冠軍是哪一年冰壺世青賽多久舉辦一次
環(huán)球視點！cDNA和基因組DNA的區(qū)別
2023德班世乒賽在哪里舉行德班世乒賽決賽中國隊名單2023
帕奎塔連場破門再一次成為球隊的英雄天天速遞
保險網絡營銷！（網上保險營銷究竟有哪些秘訣？）
中國乒乓球大捷！5將勇奪WTT青少年挑戰(zhàn)賽6冠，1小將成就2冠王_世界頭條
世乒賽幾年舉辦一屆世乒賽歷屆冠軍名單
成都世乒賽女隊幾連冠？成都世乒賽在哪個體育館舉行？
林清軒蘆薈膠（林清玄蘆薈膠哪個最完美？） |環(huán)球觀熱點
機票搜索引擎（國際機票實時在線比價搜索引擎）全球速訊
吃芒果的7大禁忌（哪些情況不適合吃芒果）
湘潭市多部門路檢路查柴油貨車尾氣排放每日觀點
世俱杯和歐冠哪個含金量大？世俱杯在中國舉辦過嗎？
偷盤哥引憤怒：僅退款就法院見
日本化妝品juju（不要用這10款日系化妝品！）環(huán)球滾動
泰國旅游攻略（泰國自由行純小白攻略）去玩的小伙伴收藏
年會游戲背景音樂（溫暖的田野音樂推薦）
4月24日基金凈值：信澳領先智選混合最新凈值0.6985，跌1.13%_環(huán)球觀速訊
甲骨文發(fā)現(xiàn)于（甲骨文悲慘的前世）
漯河市源匯區(qū)財政局提升五星“閃亮度” 照亮鄉(xiāng)村振興路
每日快看：鐳波筆記本怎么樣（鐳X-15P的材質如何）
冒險島戰(zhàn)神任務（冒險島戰(zhàn)神任務怎么做）
消息！賽爾號譜尼真身攻略（賽爾號頁游譜尼怎么獲得）
跑馬燈代碼（html跑馬燈/走馬燈效果）一起學習吧
環(huán)球動態(tài):韓國面料（韓國面料成分對照表） tr面料的優(yōu)勢
天天微速訊：追龍票房（追龍全球總票房）跟隨小編一起了解吧
集結號演員（集結號主演名單）整容如何呢-環(huán)球微動態(tài)
世俱杯幾年舉行一屆世俱杯歷屆冠軍一覽表
松花江污染事件（2019年松花江水污染事件）這是怎么回事呢
LOL中carry英雄有哪些相關知識送給大家_世界看熱訊
什么是三觀不正三觀包括哪三觀？
12月26月是什么節(jié)日這一天有什么傳說嗎？_環(huán)球即時看
聚焦廣交會中國市場消費升級如何惠及全球？_世界新視野
基金買入后最快什么時間可以賣出？賣出基金的方法有哪幾種？
千戶苗寨旅游攻略詳細貴州千戶苗寨的旅游攻略-環(huán)球看熱訊
【世界新要聞】成人用品進貨渠道有哪些一文帶你清楚了解
天然橡膠產地（中國乳膠生產基地）相關資料分享給你
今日熱搜：紙杯留聲機原理留聲機的工作過程介紹
新資訊：樹下野狐作品列表分別有哪些呢？
泰戈爾世界上最遙遠的距離（世界上最遙遠的距離全詩賞析）世界速讀
基金封閉期間會產生收益嗎？封閉式基金和開放式基金有什么不同？
【全球熱聞】國慶上映的電影有哪幾部2022 一起來看看吧
【新要聞】無限非概率（世界是否無限可能性？）有什么特點？
世界觀天下！白色夾竹桃（科普知識——夾竹桃）你對夾竹桃有多少了解
每日熱文：東湖評論：用清廉之風擦亮青春底色
本人健康碼怎么查看微信使用技巧介紹-全球今頭條
螺紋鋼筋理論重量表_一起來看看吧
【快播報】卿開頭的成語卿卿我我的成語出處
教師節(jié)送男教師什么禮物好不知道的看看這下吧環(huán)球報資訊
中國冰島在哪個省冰島之名的起源說法今頭條
玫瑰價格暴漲鮮花價格高漲受什么影響|天天信息
寧波男性醫(yī)院專業(yè)的是哪個〖專業(yè)〗-寧波男性醫(yī)院排名哪些比較有名-天天觀察
收回香港是哪一年哪一日相關資料分享給你|當前簡訊
基金轉換后什么時間有收益？基金轉換需要滿足哪些條件？
婦科炎癥偏方_婦科炎癥和小腹痛的原因|精選
基金轉換與再買入的區(qū)別是什么？基金轉換有什么好處？
每日時訊!婚外戀的憂傷_婚外情的悲傷之路
第五人格地窖怎么打開還不會的趕緊看過來吧當前熱門
世界熱資訊！關于劍網三七秀套裝下面為大家?guī)碓敿毥榻B
2023年事業(yè)單位公開招聘人員筆試工作完成-當前消息
洛克王國迪莫在哪抓抓取洛克王國迪莫方法如下-環(huán)球觀熱點
郭富城演的電影郭富城影視作品大盤點_世界聚看點
世界觀熱點：汽車測速電子狗_汽車可以安裝電子狗嗎，有哪些利弊
通訊！自來也徒弟_自來也有哪三個學徒？
清心書卷哪里買_wow里的清心卷軸怎么用？
火炬之光2如何洗點下面就來看看吧_每日熱聞
錦鯉卡是真的嗎可靠嗎一起來看看吧
為什么基金賣出時顯示的是基金份額？基金賣出可以撤銷？
魯能泰山足球俱樂部在基地舉行出征誓師大會
江西中考滿分作文：那個影響了我的人（1）內蒙古包頭中考滿分
微淘怎么玩微淘如何打造互動活動？精選
天天熱頭條丨好聽的網頁游戲音樂_好玩的音樂節(jié)奏游戲下文帶來推薦
飛躍——湘商回歸在永州 | “將寧遠優(yōu)質農產品推向世界”
聯(lián)合醫(yī)藥網_聯(lián)合藥業(yè)：20年不改中藥現(xiàn)代化初心
世界速訊：攝像機的使用_模擬攝像機的基本概念
安徽公示省級以上開發(fā)區(qū)綜合考評“30強”

大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學？

相關閱讀

精彩推薦

閱讀排行

相關詞

推薦閱讀