大語言模型中的涌現現象是不是偽科學？|天天微資訊
Datawhale干貨
(相關資料圖)
作者：平凡@知乎，諾桑比亞大學，在讀博士
今天晚上，花了一點兒時間看了兩篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior，即涌現現象。
大規模神經網絡下的涌現現象在機器學習中使用大規模神經網絡時，由于增加了參數數量、訓練數據或訓練步驟等因素，出現了定性上的新能力和性質，這些能力和性質在小規模神經網絡中往往是不存在的。
第一篇文章舉了這個例子，每個圖都可以理解為一個任務，橫軸是神經網絡的規模，而縱軸是準確率，可以理解為模型的性能。
我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務上都表現出類似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：
作者發現，當我們訓練用網絡計算同余加法 a+b = ? (mod c) 時，網絡在某個時間突然獲得了 100% 準確率。分析發現，神經網絡實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。
從這倆例子里面我的感受是，只要數據量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓練說不定真的能夠產生一些意想不到的效果。
還有就是我覺得人類現在積累的知識并不少，但是系統的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話，我覺得有很大概率會讓它涌現出意想不到的能力。
甚至可能把人類的生產力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf標簽：
相關閱讀
-
-
-
-
-
-
-
-
-
-
-
-
-
2022清華大學錄取分數線是多少？清華大學最厲害的專業有哪些？
2022清華大學錄取分數線【全國】1、2022年清華大學分數線【統招批】北京不限組689分、物理組688分、物化...
2023-04-11 -
-
-
-
-
-
iPhone 15 Pro敲定：手感大幅升級！
根據此前爆料的消息，iPhone15Pro將迎來大幅升級，近日外媒9to5mac曝光的iPhone15Pro的高清渲染圖進一步...
2023-04-11 -
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
怎么查看自己電腦的IP地址呢？電腦ip地址為什么老是變動？
電腦IP地址怎么看?怎么查看自己電腦的IP地址呢?電腦IP地址查看方法一：1、使用Windows+R打開運行窗口，...
2023-04-11 -
-
-
-
-
-
-
-
昆侖萬維2022年凈利潤11.5億 經營性凈利潤同比大增112% 環球新要聞
4月10日晚間，昆侖萬維（300418 SZ）披露2022年年度業績報告。2022年，公司實現營業收入47 4億元，實...
2023-04-11 -
-
-
-
-
-
-
-
-
-
天天微速訊：ps3破解游戲（ps3完美破解教程） 一起來學習吧
Ps3破解游戲(ps3完美破解教程)最近買了一個2TB容量的移動硬盤，專門用來存儲游戲。因為我的PC硬盤不豐富...
2023-04-11 -
-
精彩推薦
閱讀排行
相關詞
- 沃爾沃XC90
- 偶爾運動不等于健身
- 報道：行道樹間距（行道樹間距的規范是幾米一顆） 綠化間距怎么算
- 網線連上后提示IP地址沖突怎么辦？電腦連網線顯示無internet什么原因？
- 每日快看：柴門文（愛情白皮書柴門文小說）
- 后海怎么走（到北京后海坐什么公交車）一起來看看吧
- 天天日報丨個人所得稅計算器2012（綜合所得年度計算器）
- 海洋女神（海上遇險電影都有哪些）不知道的看過來
- 成都九寨溝旅游攻略（九寨溝風景導游） 天天觀察
- 河南洛陽宋麗（被執行人多久變成失信執行人） 詳細情況介紹_焦點簡訊
- 蘋果電腦黑屏是什么原因？蘋果電腦黑屏按什么鍵恢復？
- 服務器間網絡通訊錯誤（服務器間網絡通訊錯誤怎么解決） 環球最新
- 熱消息：摔角動態AJ·斯泰爾斯欲戰塞納、奧頓和羅林斯
- 陳楚河女友（陳楚河蜜戀4年女友突然宣告單身 怎么一回事呢）
- 汽車之家報價準嗎（哪個汽車平臺報價最真實）
- 世界最資訊丨如何取一個好名字（這4個命名錯誤不能有）
- 氫氧化鋰溶解度（氫氧化鋰水溶性）知識科普 世界快播
- 王者榮耀遠古生物是什么意思 王者榮耀遠古生物刷新時間 觀點
- 為什么電腦用一會就自動關機？電腦主機只響無法啟動怎么辦？
- 我市今年安排近億元資金助力政務信息化建設
- 怎么看日食不傷眼睛 看日食不傷眼睛方法有哪些|速訊
- 【全球時快訊】螞蟻森林網購火車票能量是多少 相關內容為你介紹
- 電腦屏幕閃爍橫向條紋怎么辦？電腦屏幕閃屏是怎么回事？
- 信息：李米的猜想到底講什么 一起來學習吧
- 世界微資訊！哥斯達黎加簽證（哥斯達黎加護照移民條件）
- 武漢鸚鵡洲大橋晃動怎么回事 武漢鸚鵡洲大橋晃動原因簡述
- 電腦一開機就藍屏什么原因？電腦藍屏出現一堆英文怎么回事？
- 小人物的成長史（小人物的成長史筆趣閣） 資料介紹
- 環球新動態：土豆韋伯（土豆韋伯彈跳）相關資料了解
- 環球通訊！清明節是每年的幾月幾日 相關內容了解
- 達斯 西迪厄斯（阿索卡）讓我們一起看看吧
- 電腦開機后藍屏怎么辦？電腦為什么一開機就卡死？
- 天天觀焦點：孔子觀于魯桓公之廟（原文及翻譯發布）
- 焦點簡訊:價值觀的導向作用（價值觀的導向作用是什么？）
- 美股熔斷機制觸發條件是什么 小編來告訴你
- 【時快訊】蜂房的功效與作用的功能與主治（假定有一排蜂房）
- 撲克牌大小王分別代表 撲克牌的歷史
- CAD怎么標注尺寸？cad怎么轉換為pdf？
- 當前熱門：暗黑3怎么刷裝備 暗黑三刷裝備教程
- 2022年人口自然增長率（各省人口自然增長率為負或是必然）
- 微信怎么加自己為好友 方法教給你 環球快看
- 小鳥游六花cv_小鳥游六花h本子
- 忘記MAC電腦開機密碼怎么辦？MAC電腦卡頓什么原因？
- 天天播報:銅官區“政企銀同心”沙龍活動舉行
- 如何不讓迅雷接管其他下載？迅雷怎么下種子鏈接？
- 環球熱議:qq怎么弄透明皮膚 幾個步驟教給你
- 天天觀天下！關于中超進一步降薪的事情國內球員或降至稅前500萬元
- 發掘特色打造長江國家文化公園（銅陵段）樣板
- 圖畫怎么修改照片大??？圖畫怎么掃描成電子版？
- 食品的保質期其實指的是 這里有明確解釋 焦點關注
- 黑衣服變紅原因 黑衣服變紅原因簡述-全球快訊
- 微信我愛你代碼是什么 小編來教你
- 最強大腦黃明睿個人資料 最強大腦黃中華個人資料
- 管仲與齊桓公的故事 管仲與齊桓公的故事簡述
- 再見上半年你好下半年的句子 上半年結束的說說句子
- dnf附魔任務怎么做 文章告訴你答案
- 仝卓承蒙厚愛后會有期什么意思 應屆生身份引發熱議-觀速訊
- 天天快訊:常先生是誰 國民黨軍統常先生是什么人
- 微頭條丨小米首款智能魚缸僅需449元 半年不用換水
- 環球即時看！顏值無敵！小龜王2023新款電摩1228元
- QQ PC 版 9.4.1 測試版更新了什么？macOS Big Sur 11.1Beta 2更新了什么？
- 電腦怎么截圖？ctrl加什么能隨意截圖？
- 電腦開機密碼忘記了如何開機？電腦開機密碼正確但老是提示錯誤怎么回事？
- win10電腦怎么連接公司內網？win10電腦怎么連接共享打印機？
- 曼聯俱樂部官方宣布C羅重返曼聯
- MAC怎么卸載軟件？mac怎么安裝windows系統？
- 怎么查看MAC地址？mac地址能隨便修改嗎？
- 如何看筆記本電腦配置？筆記本電腦配置低怎么提升？
- 摔角動態AJ談論羅曼·雷恩斯出戰摔角狂熱主戰賽
- 0xc000000f進不了系統怎么修復？0xc000000f錯誤代碼如何修復？
- 電腦關機快捷鍵是什么？windows11關機快捷鍵是什么？
- 電腦上的軟件怎么完全卸載？電腦上的軟件怎么發給別人安裝？
- 焦點關注：作為足壇新賽季開幕大戲的超級杯在時隔3年后粉墨登場
- 世界通訊！每一個人從事羽毛球運動的目的是不同的
- 騰訊會議怎么投屏到電視上？騰訊會議怎么關閉麥克風？
- 尤文圖斯在出售C羅之后希望引進皇馬的阿扎爾填補空白|微資訊
- 天天觀焦點：甘油三脂升高了，用“貝特”還是用“他汀”，可以合用嗎？
- 誰也走不掉，周琦的努力白費了，他拿到了一份長期合同 今日要聞
- 銀河微電：4月10日獲融資買入361.13萬元 全球熱門
- 黑七黑八概率有多大？東部太穩，掘金灰熊危險，湖人有望逆襲|當前觀點
- 焦點熱訊:貝勒斯批評詹姆斯在對陣爵士的比賽中加冕自己為國王
- 環球滾動:利雅得勝利綽號將改為皇馬二隊？C羅帶刀侍衛水爺拉莫斯即將加盟
- 環球新消息丨天氣越來越涼，有高血壓的人，要注意根據血壓值調整降壓藥了
- C羅何時上演回歸曼聯后的首秀
- 撲克學校國外游戲平臺（撲克學校）|環球熱文
- 摔角動態貝拉姐妹曬孕照視頻 尼基再談到前未婚夫|天天即時
- 牢記在心！17個基本健身訓練術語
- C羅回到昔日效力過的曼聯
- 卡位iPad！曝三星將于今年推出首款可折疊平板電腦Galaxy Z Tab
- 老電腦升級首選 8G DDR3不到35元
- 摔角動態[觀影識人第17期]敢不敢來挑戰一下？猜猜這兩位選手分別是誰？
- 摔角動態惡鬼直言如今的自己全怪塞納 后者強勢回應
- 摔角動態神秘人雷爾 當毀容院長以墨摔風格回歸 必將驚艷全球 天天訊息
- 【天天熱聞】C羅結束了3年多的尤文之旅
- 滬上雙雄上海申花隊和上海上港隊將先后出戰2020賽季亞冠聯賽小組賽
- 全球快資訊：RTX4070有FE版！圖片流出
- 生態農場帶來高品質生活好前景_天天新消息
- 雙接口 ?？低?28GU盤37.9元 焦點消息
- 焦點訊息：沒事用中藥進補？三種常見中藥，正悄悄傷肝！
- 反腐大結局！總局官宣重大決策，馬寧被抓懸念揭曉，賈秀全安全了|環球最新
- 世界今亮點！術中肝造影在結直腸癌肝轉移消失病灶治療中的應用
- JBL藍牙無線耳機179元
- 我能把你揍扁！中國男籃準歸化安德森被揍后放話，周琦自由身破滅
- 奧沙利文：“沒人有資格去諷刺亨德利，他是斯諾克界的最大英雄” 每日時訊
- 東契奇對無緣季后賽感到憤怒，首次插手球隊交易，計劃送走歐文|今日最新
- 意甲邊攻排行！朱婷效率高居第二！天才少女兩個第一，一個第二
- 筆記本數字鍵盤切換字母_筆記本數字鍵盤切換-天天資訊
- 摔角動態外媒爆料王大錘看似升職實為降權？
- 重點聚焦!來自中超的球隊上海申花將迎來本賽季亞冠的首場比賽
- 紫砂電飯鍋是真的還是假的（紫砂電飯鍋）
- 【天天快播報】C羅加盟曼聯帶來了巨大的轟動效應
- 全球關注：睡眠和護膚的最佳時間
- 看熱訊：搬家帶媽越過越發是嗎（搬家我抱媽媽座后面）
- 每日消息!成長作文600字初中生敘事（成長故事作文600字）
- 當前關注：興業銀行發布《2022年年度可持續發展報告》
- 【當前獨家】FIFA官方宣布了2020卡塔爾世俱杯延期至2021年2月的公告
- 埃及男性二頭肌80厘米厚
- 摔角動態大秀哥確認接拍新電視劇 回歸擂臺時間恐后移
- 丈夫犧牲后的16年里，她一直在做一件事……
- 天天熱門:中老年熱衷的盤手串，成小學生新寵？小心！夏季氣溫升高手串易生蟲
- 每日熱聞!今日申花率先代表中超球隊出戰亞冠聯賽
- 關于直方圖以下說法正確的是什么A直方圖可以幫助了解（關于直方圖以下說法正確的是什么）-當前快報
- 法甲第4輪巴黎客場2比0擊敗蘭斯梅西替補完成巴黎首秀_每日熱訊
- 臺州百度人才網招聘信息（臺州百度人才網）-觀焦點
- 肯定的反義詞是什么詞語呢一年級下冊（肯定的反義詞是什么詞）|環球微資訊
- 七通一平與基礎設施建設的區別_七通一平 環球精選
- 全職獵人：西索那么強，卻喜歡考場虐菜，那是你不懂蘋果的味道 環球報道
- 【全球報資訊】山東男籃還是用自己人好，王晗、丁偉與球迷起沖突，高詩巖低迷！
- 今日辟謠（2023年4月10日）
- 郭言：美抗疫亂象凸顯社會治理失能
- MVP評選前三次數：哈登5次，科比5次，喬丹10次，詹姆斯多少次呢
- 美國前財長薩默斯：美國經濟衰退可能性上升|世界觀熱點
- 中超迎來6座專業足球場！上海雙雄主場在列，一座歷史悠久_熱訊
- 核心觀 | 巴西學者：中巴元首會晤將雙邊關系推向新高度 天天看熱訊
- 【世界說】漠視移民人權和生命！英媒：美邊境“監視塔”增加造成移民死亡人數飆升
- 央視體育頻道將直播亞冠東亞區小組賽復賽之后的第一場比賽
- 世界熱消息：打牙跌嘴的意思和造句（打牙跌嘴）
- 尋找你正確的剃須方法
- 摔角動態2018《澳大利亞超級秀》勝率曝光 圣盾真的穩了嗎？ 世界快看點
- 亞冠H組第1輪硝煙四起將迎來一場強強對決|環球熱資訊
- 世界訊息：晶盛機電擬將美晶新材分拆上市，后者主要為光伏等行業提供配套石英制品
- 實控人配偶曾在保薦機構任職，股權清晰性備受拷問，裕鳶航空闖關創業板 要聞速遞
- 東湖評論：讓更多“師傅”成為“老師”_全球今日訊
- 東湖評論：“紙巾刺客”侵犯了消費者的知情權-熱點聚焦
- 世界觀速訊丨藝術包括什么（公共藝術包括什么）
- 每日看點！新征程·江淮行｜蒙城：科技裝備硬支撐 奮楫現代強農路
- 走月亮的走是什么意思（走月亮是什么意思）
- 摔角動態斯泰爾斯被贊暖男 網友直呼同為選手 為啥差距這么大
- 2010世界杯冠軍（2014世界杯冠軍）
- 中超剛剛結束馬上迎來亞冠的比賽|環球時訊
- 貓的說明文500字（貓的說明文）
