大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學?

來源:程序員客棧

Datawhale干貨

作者:平凡@知乎,諾桑比亞大學,在讀博士

今天晚上,花了一點兒時間看了兩篇文章:


(相關資料圖)

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

這兩篇講的都是emergent behavior,即涌現(xiàn)現(xiàn)象。

大規(guī)模神經(jīng)網(wǎng)絡下的涌現(xiàn)現(xiàn)象

在機器學習中使用大規(guī)模神經(jīng)網(wǎng)絡時,由于增加了參數(shù)數(shù)量、訓練數(shù)據(jù)或訓練步驟等因素,出現(xiàn)了定性上的新能力和性質,這些能力和性質在小規(guī)模神經(jīng)網(wǎng)絡中往往是不存在的。

第一篇文章舉了這個例子,每個圖都可以理解為一個任務,橫軸是神經(jīng)網(wǎng)絡的規(guī)模,而縱軸是準確率,可以理解為模型的性能。

我們拿圖一來看,在10的22次方前,這些模型基本上的性能基本上都很穩(wěn)定在0附近,而在10的22以后,突然在10的24次方上獲得了很大的性能提升,在其他的幾個任務上都表現(xiàn)出類似的特征。

意想不到的效果

第二篇文章更是有趣,我直接把推特一位博主的評論引用在這里:

作者發(fā)現(xiàn),當我們訓練用網(wǎng)絡計算同余加法 a+b = ? (mod c) 時,網(wǎng)絡在某個時間突然獲得了 100% 準確率。分析發(fā)現(xiàn),神經(jīng)網(wǎng)絡實際上“頓悟”了使用傅立葉變換來計算同余加法!這個算法可以證明是正確的, 反人類直覺的。

從這倆例子里面我的感受是,只要數(shù)據(jù)量足夠且真實,且模型沒有硬錯誤的前提下,不斷的訓練說不定真的能夠產(chǎn)生一些意想不到的效果。

還有就是我覺得人類現(xiàn)在積累的知識并不少,但是系統(tǒng)的少,零星的多,如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話,我覺得有很大概率會讓它涌現(xiàn)出意想不到的能力。

甚至可能把人類的生產(chǎn)力解放提前很多。

參考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

標簽:

推薦

財富更多》

動態(tài)更多》

熱點