麻豆一区二区-麻豆一区-麻豆一精品传媒媒短视频下载-麻豆亚洲一区-麻豆亚洲-麻豆性视频

首頁 > 綜合 > 正文

大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學？

2023-04-25 13:39:03來源：程序員客棧  

Datawhale干貨

作者：平凡@知乎，諾桑比亞大學，在讀博士

今天晚上，花了一點兒時間看了兩篇文章：


(相關(guān)資料圖)

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

這兩篇講的都是emergent behavior，即涌現(xiàn)現(xiàn)象。

大規(guī)模神經(jīng)網(wǎng)絡(luò)下的涌現(xiàn)現(xiàn)象

在機器學習中使用大規(guī)模神經(jīng)網(wǎng)絡(luò)時，由于增加了參數(shù)數(shù)量、訓練數(shù)據(jù)或訓練步驟等因素，出現(xiàn)了定性上的新能力和性質(zhì)，這些能力和性質(zhì)在小規(guī)模神經(jīng)網(wǎng)絡(luò)中往往是不存在的。

第一篇文章舉了這個例子，每個圖都可以理解為一個任務(wù)，橫軸是神經(jīng)網(wǎng)絡(luò)的規(guī)模，而縱軸是準確率，可以理解為模型的性能。

我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩(wěn)定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務(wù)上都表現(xiàn)出類似的特征。

意想不到的效果

第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：

作者發(fā)現(xiàn)，當我們訓練用網(wǎng)絡(luò)計算同余加法 a+b = ? (mod c) 時，網(wǎng)絡(luò)在某個時間突然獲得了 100% 準確率。分析發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。

從這倆例子里面我的感受是，只要數(shù)據(jù)量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓練說不定真的能夠產(chǎn)生一些意想不到的效果。

還有就是我覺得人類現(xiàn)在積累的知識并不少，但是系統(tǒng)的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話，我覺得有很大概率會讓它涌現(xiàn)出意想不到的能力。

甚至可能把人類的生產(chǎn)力解放提前很多。

參考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

標簽：

相關(guān)閱讀

精彩推薦

相關(guān)詞

推薦閱讀

主站蜘蛛池模板： 校花被吃奶还摸下面 | 四虎影视库永久在线地址 | 成人在线免费观看视频 | 欧美不卡一区二区三区免 | 91尤物在线 | 精品免费视在线视频观看 | 羞羞答答免费人成黄页在线观看国产 | 小舞同人18av黄漫网站 | 俄罗斯bbbbbbxxxxxx| 成人在线免费观看视频 | 欧美性色老妇人 | 九九99香蕉在线视频免费 | 日本三级在丈面前被耍了 | 国产精品免费网站 | 日韩精品一区二区三区免费视频 | 欧美亚洲天堂 | 日本高清免费不卡在线 | 国产真实偷乱视频在线观看 | 操人网| 精久久 | 青草视频在线观看免费网站 | 俄罗斯性高清完整版 | 国产精品66福利在线观看 | h黑寡妇一级毛片 | 美女的让男人桶爽30分钟的 | 国产成人夜色91 | 婷婷在线网站 | 国产日韩精品一区二区在线观看 | 袖珍人与大黑人性视频 | 扒开老师挠尿口到崩溃刑罚 | 男公厕里同性做爰 | 变态人shou交小说 | 小早川怜子在线播放精品 | 欧美一级视频在线 | 国内精品久久久久久野外 | 国产视频a区 | 国产成人精品免费午夜 | 特黄未满14周岁毛片 | 精品精品国产自在现拍 | 欧美一区二区三区免费不卡 | 欧美xxx000喷水 |