大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學？
Datawhale干貨
作者：平凡@知乎，諾桑比亞大學，在讀博士
今天晚上，花了一點兒時間看了兩篇文章：
(相關資料圖)
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
這兩篇講的都是emergent behavior，即涌現(xiàn)現(xiàn)象。
大規(guī)模神經(jīng)網(wǎng)絡下的涌現(xiàn)現(xiàn)象在機器學習中使用大規(guī)模神經(jīng)網(wǎng)絡時，由于增加了參數(shù)數(shù)量、訓練數(shù)據(jù)或訓練步驟等因素，出現(xiàn)了定性上的新能力和性質，這些能力和性質在小規(guī)模神經(jīng)網(wǎng)絡中往往是不存在的。
第一篇文章舉了這個例子，每個圖都可以理解為一個任務，橫軸是神經(jīng)網(wǎng)絡的規(guī)模，而縱軸是準確率，可以理解為模型的性能。
我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩(wěn)定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務上都表現(xiàn)出類似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：
作者發(fā)現(xiàn)，當我們訓練用網(wǎng)絡計算同余加法 a+b = ? (mod c) 時，網(wǎng)絡在某個時間突然獲得了 100% 準確率。分析發(fā)現(xiàn)，神經(jīng)網(wǎng)絡實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。
從這倆例子里面我的感受是，只要數(shù)據(jù)量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓練說不定真的能夠產(chǎn)生一些意想不到的效果。
還有就是我覺得人類現(xiàn)在積累的知識并不少，但是系統(tǒng)的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話，我覺得有很大概率會讓它涌現(xiàn)出意想不到的能力。
甚至可能把人類的生產(chǎn)力解放提前很多。
參考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf標簽：
相關閱讀
-
大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學？
Datawhale干貨作者：平凡@知乎，諾桑比亞大學，在讀博士今天晚上，花了一點兒時間看了兩篇文章：《Emergent
2023-04-25 -
-
-
-
-
熱頭條丨三星 Galaxy S24 消息曝光；折疊屏新機發(fā)布將提前
根據(jù)國外科技媒體SamMobile報道，三星計劃在明年年初推出的GalaxyS24系列中再次回歸Exynos系列芯片。不過只
2023-04-25 -
大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學？
Datawhale干貨作者：平凡@知乎，諾桑比亞大學，在讀博士今天晚上，花了一點兒時間看了兩篇文章：《Emergent
2023-04-25 -
-
-
普特拉斯蟬聯(lián)是世界足球小姐嗎？世界足球小姐瑪塔是哪個國家的？
普特拉斯蟬聯(lián)是世界足球小姐嗎?是。2023年2月28日凌晨，世界足球小姐的桂冠再次落在了普特拉斯的頭上。...
2023-04-25 -
-
-
梅西當選世界足球先生是哪一年？為什么能夠梅西當選世界足球先生？
梅西當選世界足球先生是哪一年?梅西共7次當選世界足球先生，分別是2009年、2010年、2011年、2012年、201...
2023-04-25 -
梅西第七次當選世界足球先生是真的嗎？梅西當選世界足球先生幾次？
梅西第七次當選世界足球先生是真的嗎是真的。在2023年2月28日的國際足聯(lián)年度最佳榮譽頒獎儀式上，世界足...
2023-04-25 -
-
NBA常規(guī)賽費城主場對決森林狼恩比德休戰(zhàn)10場后迎來復出
面對西部墊底的森林狼對決，恩比德率隊遭遇阻擊上半場僅領先4分，下半場恩比德率隊一度取得19分領先優(yōu)勢。
2023-04-25 -
-
-
環(huán)球動態(tài):梅西將再一次向美洲杯的冠軍發(fā)生沖擊
7月5日，阿根廷國家隊出現(xiàn)在戈亞尼恩斯競技中心訓練，梅西看上去心情不錯，在訓練當中與隊友有說有笑。他將
2023-04-25 -
-
2年前小米11 Ultra首發(fā)的傳感器被谷歌使用|環(huán)球快播報
上午有消息稱谷歌Pixel8Pro使用的圖像傳感器是三星GN2，三星GN2由2021年發(fā)布的小米11Ultra首發(fā)商用，這是小
2023-04-25 -
雷軍回應：想要比小米13更小的手機？
上午有網(wǎng)友給小米創(chuàng)辦人雷軍留言想要更小尺寸的手機。雷軍表示：“小米13已經(jīng)非常好，更小屏幕的手機消...
2023-04-25 -
-
性能穩(wěn)了！三星Exynos 2400規(guī)格曝光：十核CPU、Xclipse 940 GPU|全球速看料
國外科技媒體SamLover報道稱，消息源Revegnus分享了三星Exynos2400芯片的詳細規(guī)格信息。根據(jù)截圖顯示，Exyn
2023-04-25 -
貴州茅臺連續(xù)4個季度成為公募頭號重倉股 一季度末持倉市值高達1006億 世界動態(tài)
◎記者王彭趙明超今年以來，AI概念的橫空出世點燃了新一輪TMT行情。各路資金推動下，TMT板塊火速升溫，成交
2023-04-25 -
英特爾深耕冷卻技術，錨定數(shù)據(jù)中心可持續(xù)發(fā)展未來
在俄勒岡州希爾斯伯勒的英特爾實驗室內，有24臺裝有基于英特爾至強處理器的服務器，被置于一個充滿合成且非
2023-04-25 -
-
-
塔圖姆拿到了職業(yè)生涯的第5000分
北京時間4月5日，NBA常規(guī)賽，黃蜂客場挑戰(zhàn)凱爾特人。本場比賽塔圖姆拿到了職業(yè)生涯的第5000分，凱爾特人也
2023-04-25 -
-
全球最資訊丨鄭錚表示已經(jīng)對國安做了針對性訓練
來源：搜狐體育北京時間10月14日消息，據(jù)濟南時報報道，近日魯能后衛(wèi)鄭錚在接受采訪時談到了即將到來的京魯
2023-04-25 -
-
【世界獨家】18years中國（18youngchinagirlg國）
一、題文DesignerDollsBecomeDesirableCollectablesKanHui,seniorstagesetdesign
2023-04-25 -
-
熱頭條丨三星 Galaxy S24 消息曝光；折疊屏新機發(fā)布將提前
根據(jù)國外科技媒體SamMobile報道，三星計劃在明年年初推出的GalaxyS24系列中再次回歸Exynos系列芯片。不過只
2023-04-25 -
天天時訊：對標iPhone 14 Pro系列！曝三星Galaxy Z Flip 5支持全屏息屏顯示（AOD）
據(jù)國外科技媒體SamMobile報道，在即將推出的三星GalaxyZFlip5可折疊手機中，用戶將可以享受全屏息屏顯示（A
2023-04-25 -
中國6G研發(fā)取得重要突破，微美全息緊抓關鍵“窗口期”搶占科技制高點|環(huán)球熱門
獲悉，中國航天科工二院25所完成了國內首次太赫茲軌道角動量的實時無線傳輸通信實驗，實現(xiàn)重大技術突破，為
2023-04-25 -
黑八預定？巴特勒狂砍53分，熱火116-109再勝雄鹿，3-1拿到賽點
阿倫連得5分，雄鹿一波7-0繼續(xù)擴大優(yōu)勢，6分53秒他們17-5領先。末節(jié)過半雄鹿隊突然斷電，熱火趁機打出了一
2023-04-25 -
民士達正式登陸北交所，上市首日一度漲超80%
財經(jīng)網(wǎng)訊4月25日，民士達在北交所上市，公司證券代碼為833394，發(fā)行價格6 55元 股，發(fā)行市盈率為19 17倍。
2023-04-25 -
環(huán)球快播：科技實力搶眼，華碩商用攜手英特爾向“芯”發(fā)展
4月21日,以煥“芯”拓局,“綠”動未來為主題的2023全新英特爾商用客戶端新品發(fā)布會在北京舉行。發(fā)布會上...
2023-04-25 -
-
-
耕升RTX 40系列顯卡 《死亡島2》高幀率不二之選
繼《死亡島》憑借著極具創(chuàng)意的宣傳片給很多玩家留下深刻的印象后，其續(xù)作《死亡島2》已于4月21日發(fā)售。《死
2023-04-25 -
真科技真專業(yè) 飛利浦Sonicare品牌發(fā)布會暨新亮白機皇上市儀式
（2023年4月，上海）4月22日，飛利浦Sonicare“真科技真專業(yè)”品牌發(fā)布會暨新亮白機皇上市儀式于飛利浦健康
2023-04-25 -
雙良節(jié)能：公司與西班牙阿本戈公司保持合作關系，已有光熱油鹽換熱器的技術儲備和應用 世界熱訊
雙良節(jié)能(600481)04月25日在投資者關系平臺上答復了投資者關心的問題。
2023-04-25 -
中國婦基會與聯(lián)想控股持續(xù)幫扶榆樹市草編創(chuàng)業(yè)女性 共同助力鄉(xiāng)村產(chǎn)業(yè)振興_天天訊息
鄉(xiāng)村振興是黨的十九大提出的重大戰(zhàn)略，是新時代做好“三農(nóng)”工作的總抓手。2023年中央一號文件在部署全...
2023-04-25 -
A股日成交額連續(xù)15個交易日超萬億元 CPO概念持續(xù)走強 當前看點
◎記者孫越昨日A股市場延續(xù)震蕩走低態(tài)勢，滬指失守3300點。截至收盤，上證綜指下跌0 78%，報3275 41點；深
2023-04-25 -
一季度海南城鎮(zhèn)新增就業(yè)4.66萬人
4月24日，海南省人社廳最新匯總數(shù)據(jù)顯示：今年第一季度，全省城鎮(zhèn)新增就業(yè)4 66萬人，同比增長15 35%。資料
2023-04-25 -
矛盾農(nóng)村三部曲_矛盾農(nóng)村講述了什么內容
矛盾農(nóng)村三部曲(矛盾農(nóng)村)茅盾的“農(nóng)村三部曲”從《春蠶》講述了絲綢業(yè)蕭條導致的農(nóng)村破產(chǎn)，到《秋收》...
2023-04-25 -
-
-
-
-
-
-
精彩推薦
閱讀排行
相關詞
- 沃爾沃XC90
- 啞語教學_手語場景對話（圖書館）-即時焦點
- 環(huán)球訊息：濟的多音字組詞 濟的多音字組詞及釋義
- win7如何一鍵還原_win7怎么一鍵還原系統(tǒng)
- 百世快運單號查詢_百世快運單號的查詢方法介紹 世界短訊
- 王者榮耀暴君多長時間刷新一次 具體如下文 今亮點
- 環(huán)球快訊:在水一方的歌詞來源于哪里 具體來源于哪里
- 天天熱推薦：銳健醫(yī)療擬沖刺資本市場，輔導券商為國金證券
- 當前消息！殷桃和鄧超演的電視劇叫什么名字
- 全球觀點：女神聯(lián)盟坐騎升階_促進緊密聯(lián)系的方法介紹
- 天天熱消息：通脹形勢不斷惡化 英國食品價格漲幅創(chuàng)45年來新高
- 三色犬是什么動物 看完你就知道了_全球觀天下
- 焦點熱訊:造夢西游2法寶合成_造夢2的合成要加強嗎？
- 【天天快播報】有特色的網(wǎng)名 特色的網(wǎng)名大全 有喜歡的別錯過了
- 每日熱訊!彩虹城堡2攻略_彩虹城堡2攻略大全
- 做剪刀腿有什么好處？剪刀腿怎么做？
- 求生之路2免steam補丁_求生之路2免steam補丁怎么用？ 天天熱文
- 雅典是哪個國家的首都 位于哪里呢
- 4月25日北京冬奧板塊跌幅達2%
- HP筆記本電腦如何恢復出廠設置？ 詳細方法如下 世界頭條
- 一般的筆記本電腦待機時間為多長 相關內容分享給你
- 傳聞中的陳芊芊分集劇情 傳聞中的陳芊芊講述了什么內容|全球新視野
- 國網(wǎng)冀北：以電力數(shù)據(jù)分析透視區(qū)域經(jīng)濟增長
- 臘草魚塊怎么做 臘草魚塊做法_環(huán)球最新
- 同氣是指什么關系 一般同氣是指什么關系
- 索蘭托怎么樣(韓國起亞索蘭托進口版) 天天熱點
- 今亮點！公牛在主場以115-107戰(zhàn)勝籃網(wǎng) 終結六連敗
- 液態(tài)彩虹_在家就能做的水彩虹 相關內容了解
- 天天日報丨黃家駒什么時候死的_黃家駒死亡原因
- 世界時訊：閃閃爍爍的意思 詞語閃閃爍爍什么意思及出處
- 世界滾動:蛋糕不夠蓬松是因為什么原因 原材料品質問題如何
- 絕味鴨脖是哪里的_絕味鴨脖出自哪個地方
- 皮具分類_皮革分類小常識科普 這些你都知道嗎？ 前沿熱點
- 今日熱聞!中秋節(jié)慰問信息（中秋節(jié)慰問信）
- 欲窮千里目中的窮是什么意思 古詩鑒賞
- 天天快資訊：怎樣修改主頁 主頁怎么修改，方法如此簡單
- 當前快看：臘月初旬_北京的春節(jié)怎么過的
- 環(huán)球微資訊！武林外傳什么職業(yè)好_武林外傳單職業(yè)什么厲害
- 謙尋：2023年下半年將針對品牌方推出虛擬人創(chuàng)新業(yè)務
- 一代梟雄結局 一代梟雄最后怎樣了
- 京東每年的固定活動有哪些 活動時間是什么時候
- 歐洲杯半決賽西班牙暴露最大的問題就是鋒無力 微動態(tài)
- 天天快消息！廣州恒大全隊兵發(fā)蘇州備戰(zhàn)中超聯(lián)賽第二階段的比賽
- “兩網(wǎng)”無縫銜接 市民高效換乘
- 1399元起！榮耀X50i開售：一億像素超清影像+4500mAh電池 天天亮點
- 無碼SteamDeck你肯定被騙了
- 羽毛球拍3u和4u 5u的區(qū)別是什么？羽毛球拍磅數(shù)怎么選？
- 天津實施科教興市人才強市行動
- 焦點滾動:一公司買7000部iPhone 全是空盒
- 奧沙利文最怕三個人是誰？奧沙利文是哪個國家的人？
- 三分球大賽規(guī)則是什么 NBA全明星三分球大賽歷屆冠軍得主
- 小米洗內褲洗烘一體機將上架：1599元 殺菌消毒_環(huán)球觀察
- 飲料制造板塊拉升 青島啤酒漲超4%
- 中國三大球哪個最強？三大球是指哪三大球？
- 富臨精工2022年扣非凈利大增192% 新能源業(yè)務成發(fā)展新引擎 世界新要聞
- 【大國基理】背包法庭創(chuàng)新做法 把法庭“背到”人民群眾家門口
- 庫里三分球總數(shù)最新數(shù)據(jù)多少？庫里在哪個籃球隊？
- Siri專利侵權？蘋果竟成被告
- 2023男籃世預賽賽程直播在哪里看 男籃世界杯預選賽中國隊賽程表
- 2元撬動248億債務 恒大汽車剝離地產(chǎn)業(yè)務為時已晚？|當前通訊
- 世預賽中國男籃2023賽程表 世預賽亞洲區(qū)12強賽積分榜
- 優(yōu)秀！小學生展示隱藏技能一筆畫龍
- 環(huán)球頭條：景氣底部已過 卓越新能一季度凈利潤環(huán)比增長230%
- 有變化！中山最新購房政策，一圖讀懂！ 天天新視野
- 足球世少賽是什么比賽？足球世少賽幾年一屆？
- 世青賽阿根廷拿過幾次冠軍 都有哪些國家奪得過足球世青賽的冠軍
- 誰適合相撲？你知道為什么嗎？-全球百事通
- 足球世青賽年齡限制幾歲？保羅加索爾獲得過幾次世青賽冠軍？
- 新里程：4月24日融資買入176.87萬元，融資融券余額2.75億元
- 寧遠高新技術產(chǎn)業(yè)開發(fā)區(qū)辦公室主任、管理七級職員蔣興接受審查調查|焦點快報
- 2023年U20男子冰球世青賽冠軍是誰 05年荷蘭世青賽小組賽積分排名
- 全球時訊：山東泰山主場和成都蓉城的比賽更改為在成都進行
- 小米13系列買哪款？雷軍給出了答案
- 鵜鶘隊122-115險勝火箭隊送給后者4連敗 焦點訊息
- 剛剛加盟球隊的前國腳鄒正現(xiàn)場見證了這場比賽
- 中國首奪冰壺世青賽冠軍是哪一年 冰壺世青賽多久舉辦一次
- 環(huán)球視點！cDNA和基因組DNA的區(qū)別
- 2023德班世乒賽在哪里舉行 德班世乒賽決賽中國隊名單2023
- 帕奎塔連場破門再一次成為球隊的英雄 天天速遞
- 保險網(wǎng)絡營銷！（網(wǎng)上保險營銷究竟有哪些秘訣？）
- 中國乒乓球大捷！5將勇奪WTT青少年挑戰(zhàn)賽6冠，1小將成就2冠王_世界頭條
- 世乒賽幾年舉辦一屆 世乒賽歷屆冠軍名單
- 成都世乒賽女隊幾連冠？成都世乒賽在哪個體育館舉行？
- 林清軒蘆薈膠（林清玄蘆薈膠哪個最完美？） |環(huán)球觀熱點
- 機票搜索引擎（國際機票實時在線比價搜索引擎） 全球速訊
- 吃芒果的7大禁忌（哪些情況不適合吃芒果）
- 湘潭市多部門路檢路查柴油貨車尾氣排放 每日觀點
- 世俱杯和歐冠哪個含金量大？世俱杯在中國舉辦過嗎？
- 偷盤哥引憤怒：僅退款就法院見
- 日本化妝品juju（不要用這10款日系化妝品！） 環(huán)球滾動
- 泰國旅游攻略（泰國自由行純小白攻略） 去玩的小伙伴收藏
- 年會游戲背景音樂（溫暖的田野音樂推薦）
- 4月24日基金凈值：信澳領先智選混合最新凈值0.6985，跌1.13%_環(huán)球觀速訊
- 甲骨文發(fā)現(xiàn)于（甲骨文悲慘的前世）
- 漯河市源匯區(qū)財政局 提升五星“閃亮度” 照亮鄉(xiāng)村振興路
- 每日快看：鐳波筆記本怎么樣（鐳X-15P的材質如何）
- 冒險島戰(zhàn)神任務（冒險島戰(zhàn)神任務怎么做）
- 消息！賽爾號譜尼真身攻略（賽爾號頁游譜尼怎么獲得）
- 跑馬燈代碼（html跑馬燈/走馬燈效果） 一起學習吧
- 環(huán)球動態(tài):韓國面料（韓國面料成分對照表） tr面料的優(yōu)勢
- 天天微速訊：追龍票房（追龍全球總票房） 跟隨小編一起了解吧
- 集結號演員（集結號主演名單） 整容如何呢-環(huán)球微動態(tài)
- 世俱杯幾年舉行一屆 世俱杯歷屆冠軍一覽表
- 松花江污染事件（2019年松花江水污染事件） 這是怎么回事呢
- LOL中carry英雄有哪些 相關知識送給大家_世界看熱訊
- 什么是三觀不正 三觀包括哪三觀？
- 12月26月是什么節(jié)日 這一天有什么傳說嗎？_環(huán)球即時看
- 聚焦廣交會 中國市場消費升級如何惠及全球？_世界新視野
- 基金買入后最快什么時間可以賣出？賣出基金的方法有哪幾種？
- 千戶苗寨旅游攻略詳細 貴州千戶苗寨的旅游攻略-環(huán)球看熱訊
- 【世界新要聞】成人用品進貨渠道有哪些 一文帶你清楚了解
- 天然橡膠產(chǎn)地（中國乳膠生產(chǎn)基地） 相關資料分享給你
- 今日熱搜：紙杯留聲機原理 留聲機的工作過程介紹
- 新資訊：樹下野狐作品列表 分別有哪些呢？
- 泰戈爾 世界上最遙遠的距離（世界上最遙遠的距離全詩賞析） 世界速讀
- 基金封閉期間會產(chǎn)生收益嗎？封閉式基金和開放式基金有什么不同？
- 【全球熱聞】國慶上映的電影有哪幾部2022 一起來看看吧
- 【新要聞】無限非概率（世界是否無限可能性？） 有什么特點？
- 世界觀天下！白色夾竹桃（科普知識——夾竹桃） 你對夾竹桃有多少了解
- 每日熱文：東湖評論：用清廉之風擦亮青春底色
- 本人健康碼怎么查看 微信使用技巧介紹-全球今頭條
- 螺紋鋼筋理論重量表_一起來看看吧
- 【快播報】卿開頭的成語 卿卿我我的成語出處
- 教師節(jié)送男教師什么禮物好 不知道的看看這下吧 環(huán)球報資訊
- 中國冰島在哪個省 冰島之名的起源說法 今頭條
- 玫瑰價格暴漲 鮮花價格高漲受什么影響|天天信息
- 寧波男性醫(yī)院專業(yè)的是哪個〖專業(yè)〗-寧波男性醫(yī)院排名哪些比較有名-天天觀察
- 收回香港是哪一年哪一日 相關資料分享給你|當前簡訊
- 基金轉換后什么時間有收益？基金轉換需要滿足哪些條件？
- 婦科炎癥偏方_婦科炎癥和小腹痛的原因|精選
- 基金轉換與再買入的區(qū)別是什么？基金轉換有什么好處？
- 每日時訊!婚外戀的憂傷_婚外情的悲傷之路
- 第五人格地窖怎么打開 還不會的趕緊看過來吧 當前熱門
- 世界熱資訊！關于劍網(wǎng)三七秀套裝 下面為大家?guī)碓敿毥榻B
- 2023年事業(yè)單位公開招聘人員筆試工作完成-當前消息
- 洛克王國迪莫在哪抓 抓取洛克王國迪莫方法如下-環(huán)球觀熱點
- 郭富城演的電影 郭富城影視作品大盤點_世界聚看點
- 世界觀熱點：汽車測速電子狗_汽車可以安裝電子狗嗎，有哪些利弊
- 通訊！自來也徒弟_自來也有哪三個學徒？
- 清心書卷哪里買_wow里的清心卷軸怎么用？
- 火炬之光2如何洗點 下面就來看看吧_每日熱聞
- 錦鯉卡是真的嗎可靠嗎 一起來看看吧
- 為什么基金賣出時顯示的是基金份額？基金賣出可以撤銷？
- 魯能泰山足球俱樂部在基地舉行出征誓師大會
- 江西中考滿分作文：那個影響了我的人（1） 內蒙古包頭中考滿分
- 微淘怎么玩 微淘如何打造互動活動？ 精選
- 天天熱頭條丨好聽的網(wǎng)頁游戲音樂_好玩的音樂節(jié)奏游戲 下文帶來推薦
- 飛躍——湘商回歸在永州 | “將寧遠優(yōu)質農(nóng)產(chǎn)品推向世界”
- 聯(lián)合醫(yī)藥網(wǎng)_聯(lián)合藥業(yè)：20年不改中藥現(xiàn)代化初心
- 世界速訊：攝像機的使用_模擬攝像機的基本概念
- 安徽公示省級以上開發(fā)區(qū)綜合考評“30強”
