<ul id="ouw02"></ul>
    •  
    

    • 


    
  
    
    
  
    
   
  
    


    
  
    
    
    
      
    首頁 > 綜合 >  正文
    
      
    大語言模型中的涌現現象是不是偽科學？
    
      
    
        
     2023-04-25 13:39:03來源：程序員客棧  
    
        
         
    
        
    
         
      
    
      
    
      
       
      		  
	 
        
     
    Datawhale干貨
    作者：平凡@知乎，諾桑比亞大學，在讀博士
    今天晚上，花了一點兒時間看了兩篇文章：

    (相關資料圖)
    《Emergent Abilities of Large Language Models》[1]
    《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
    這兩篇講的都是emergent behavior，即涌現現象。
    大規模神經網絡下的涌現現象
    在機器學習中使用大規模神經網絡時，由于增加了參數數量、訓練數據或訓練步驟等因素，出現了定性上的新能力和性質，這些能力和性質在小規模神經網絡中往往是不存在的。
    第一篇文章舉了這個例子，每個圖都可以理解為一個任務，橫軸是神經網絡的規模，而縱軸是準確率，可以理解為模型的性能。
    我們拿圖一來看，在10的22次方前，這些模型基本上的性能基本上都很穩定在0附近，而在10的22以后，突然在10的24次方上獲得了很大的性能提升，在其他的幾個任務上都表現出類似的特征。
    意想不到的效果
    第二篇文章更是有趣，我直接把推特一位博主的評論引用在這里：
    作者發現，當我們訓練用網絡計算同余加法 a+b = ? (mod c) 時，網絡在某個時間突然獲得了 100% 準確率。分析發現，神經網絡實際上“頓悟”了使用傅立葉變換來計算同余加法！這個算法可以證明是正確的， 反人類直覺的。
    從這倆例子里面我的感受是，只要數據量足夠且真實，且模型沒有硬錯誤的前提下，不斷的訓練說不定真的能夠產生一些意想不到的效果。
    還有就是我覺得人類現在積累的知識并不少，但是系統的少，零星的多，如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話，我覺得有很大概率會讓它涌現出意想不到的能力。
    甚至可能把人類的生產力解放提前很多。
    參考
    1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf
    		
          
    
		  
	
    標簽：
	 
	
    
	
        
    
      
    
	
      
    
      
      
    
	
	

    

    相關閱讀
    	


    
		
    
     
    
     

   


    
    
    
      
    精彩推薦
    
       
    
        
      
          
    
  
    
  

   


  
  

   

   
    
    
    
      
    相關詞
    
       
    
    
  
    
    

    
  
    

    

    
  
    
    
     
      
    推薦閱讀
    
    
    
    
  
    

    



	



亚洲国产欧美一区二区三区|
中文字幕 亚洲 有码 在线|
亚洲AV一二三区成人影片|
18gay台湾男同亚洲男同|
久久亚洲精品成人综合|
亚洲精品国产精品乱码不卡√|
久久久久亚洲AV无码专区网站
|
亚洲国产综合精品中文字幕
|
亚洲午夜精品国产电影在线观看|
亚洲高清视频免费|
久久久久亚洲AV片无码下载蜜桃|
亚洲国产成人久久综合一
|
亚洲人成电影亚洲人成9999网|
亚洲狠狠综合久久|
久久久国产精品亚洲一区|
亚洲精品乱码久久久久久下载|
亚洲的天堂av无码|
亚洲人成伊人成综合网久久|
亚洲xxxxxx|
亚洲中文字幕无码爆乳app|
亚洲另类无码一区二区三区|
亚洲AV成人一区二区三区观看|
国产精品亚洲а∨无码播放麻豆|
亚洲精品老司机在线观看|
亚洲精品亚洲人成人网|
亚洲成a人片77777kkkk|
亚洲最大的成网4438|
亚洲人成网站在线观看播放动漫|
国产婷婷综合丁香亚洲欧洲|
亚洲精品伦理熟女国产一区二区|
爱情岛亚洲论坛在线观看
|
亚洲成AV人在线观看网址|
亚洲区小说区图片区|
亚洲区小说区激情区图片区|
久久精品亚洲中文字幕无码网站
|
亚洲国产精品张柏芝在线观看|
亚洲啪啪免费视频|
亚洲乱妇熟女爽到高潮的片|
亚洲国产成人久久精品99
|
亚洲人成未满十八禁网站|
国产精品日本亚洲777|