<ul id="ouw02"></ul>
    •  
    

    • 


    
  
    
    
  
    
   
  
    


    
  
    
    
    
      
    首頁 > 綜合 >  正文
    
      
    大語言模型中的涌現(xiàn)現(xiàn)象是不是偽科學(xué)？|天天微資訊
    
      
    
        
     2023-04-11 10:00:05來源：程序員客棧  
    
        
         
    
        
    
         
      
    
      
    
      
       
      		  
	 
        
     
    Datawhale干貨

    (相關(guān)資料圖)
    作者：平凡@知乎，諾桑比亞大學(xué)，在讀博士
    今天晚上，花了一點兒時間看了兩篇文章：
    《Emergent Abilities of Large Language Models》[1]
    《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
    這兩篇講的都是emergent behavior，即涌現(xiàn)現(xiàn)象。
    大規(guī)模神經(jīng)網(wǎng)絡(luò)下的涌現(xiàn)現(xiàn)象
    在機器學(xué)習(xí)中使用大規(guī)模神經(jīng)網(wǎng)絡(luò)時，由于增加了參數(shù)數(shù)量、訓(xùn)練數(shù)據(jù)或訓(xùn)練步驟等因素，出現(xiàn)了定性上的新能力和性質(zhì)，這些能力和性質(zhì)在小規(guī)模神經(jīng)網(wǎng)絡(luò)中往往是不存在的。
    第一篇文章舉了這個例子，每個圖都可以理解為一個任務(wù)，橫軸是神經(jīng)網(wǎng)絡(luò)的規(guī)模，而縱軸是準(zhǔn)確率，可以理解為模型的性能。
    我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩(wěn)定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務(wù)上都表現(xiàn)出類似的特征。
    意想不到的效果
    第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：
    作者發(fā)現(xiàn)，當(dāng)我們訓(xùn)練用網(wǎng)絡(luò)計算同余加法 a+b = ? (mod c) 時，網(wǎng)絡(luò)在某個時間突然獲得了 100% 準(zhǔn)確率。分析發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。
    從這倆例子里面我的感受是，只要數(shù)據(jù)量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓(xùn)練說不定真的能夠產(chǎn)生一些意想不到的效果。
    還有就是我覺得人類現(xiàn)在積累的知識并不少，但是系統(tǒng)的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學(xué)習(xí)的話，我覺得有很大概率會讓它涌現(xiàn)出意想不到的能力。
    甚至可能把人類的生產(chǎn)力解放提前很多。
    參考
    1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf
    		
          
    
		  
	
    標(biāo)簽：
	 
	
    
	
        
    
      
    
	
      
    
      
      
    
	
	

    

    相關(guān)閱讀
    	


    
		
    
     
    
     

   


    
    
    
      
    精彩推薦
    
       
    
        
      
          
    
  
    
  

   


  
  

   

   
    
    
    
      
    相關(guān)詞
    
       
    
    
  
    
    

    
  
    

    

    
  
    
    
     
      
    推薦閱讀
    
    
    
    
  
    

    



	



亚洲一区二区三区自拍公司|
亚洲AV成人无码网天堂|
中文字幕亚洲免费无线观看日本|
亚洲男人天堂2020|
韩国亚洲伊人久久综合影院|
亚洲中文无码永久免|
亚洲AV一二三区成人影片|
亚洲国产中文在线二区三区免|
亚洲国产精品一区|
亚洲国产精品一区|
亚洲视频一区在线播放|
亚洲精品视频免费看|
亚洲精品自在线拍|
亚洲午夜精品在线|
色老板亚洲视频免在线观
|
色婷五月综激情亚洲综合|
亚洲国产亚洲片在线观看播放
|
内射干少妇亚洲69XXX|
337p日本欧洲亚洲大胆精品555588
|
在线A亚洲老鸭窝天堂|
亚洲中文字幕无码一久久区|
亚洲乱码精品久久久久..|
亚洲AV午夜成人影院老师机影院|
亚洲av日韩av无码|
亚洲精品影院久久久久久|
亚洲国产夜色在线观看|
亚洲午夜无码久久久久小说|
国产精品亚洲专区无码WEB|
亚洲国产精品一区二区第一页免
|
亚洲 综合 国产 欧洲 丝袜
|
亚洲成aⅴ人片在线观|
久久亚洲最大成人网4438|
亚洲精品精华液一区二区|
精品无码专区亚洲|
2022中文字字幕久亚洲|
亚洲成在人线av|
亚洲最新在线视频|
亚洲人av高清无码|
亚洲精品国精品久久99热
|
亚洲国产乱码最新视频
|
亚洲中文字幕无码一区|