要闻:大语言模型中的涌现现象是不是伪科学?
Datawhale干货
作者:平凡@知乎,诺桑比亚大学,在读博士
【资料图】
今天晚上,花了一点儿时间看了两篇文章:
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior,即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。
我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:
作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。
从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf标签:
2023-04-22 19:08:25
2023-04-22 19:00:36
最资讯丨第十三届北京国际电影节开幕红毯《新猪猪侠大电影·超级赛车》
2023-04-22 18:39:45
2023-04-22 17:12:57
创世纪
通信
最近更新
- 要闻:大语言模型中的涌现现象是不是伪
- 选择大城市逐梦还是小城市安稳
- IPRdaily:大模型专利排行百度申请量第
- 最资讯丨第十三届北京国际电影节开幕红
- 头条:意大利小伙罗密欧:与中国“有约
- 环球新动态:得利斯董秘回复:公司不断
- 得利斯董秘回复:截至4月20日,公司股
- 如何用汤骨头做饭-视焦点讯
- 笔记本电脑触摸屏失灵_笔记本电脑触摸
- 飞机的种类和名称大全_飞机的种类_当前
- 中秋节的习俗作文_中秋习俗作文-时快讯
- 河南省郑州市小莉帮忙咨询电话多少(请
- 极品飞车9pc秘籍(极品飞车9秘籍加钱)
- 环球动态:新疆哈密:以“绣”为媒 闯
- 当前讯息:B/R盘点需要换队发展的25岁
- 【世界新要闻】中超半场:蒋光太补射建
- 女孩英文名及寓意_英文名女孩
- WTT冠军赛澳门站:国乒包揽女单四强
- 实时:孙颖莎谈半决赛前景,绝口不提4-
- qq堂tiny辅助_qq堂4 3辅助
- 江亿院士:节能是实现碳中和目标的基础
- 【速看料】刚刚,冠军持仓大曝光!蔡嵩
- 环球今头条!Android在iPhone拯救它之
- 泰晤士报:伯恩利主帅孔帕尼进入切尔西
- 看热讯:广厦主场的老球迷在观赛时 激
- 星舰这次失败的原因找到了!你可能想不
- 辽宁大胜北京2-0晋级4强 赵继伟33+8+9
- 北京交通部门提示:本周日不限行 早晚
- 姚明李梦都赢了,拖字诀拖到出国!篮协
- 最新快讯!欧洲经武汉至台湾省多式联运
热点
2023年4月8日(上海)——黑马原力在上海徐汇滨江进行了品牌全球首发。品牌首款MPS产品G60小黑在发布会现场以自动驾驶的方式闪亮登场,点燃
详细>>CB-FH52是爱普生推出的3LCD商务投影机。作为新一代的商务投影机,CB-FH52具有高达4000流明的色彩亮度,投屏画面明亮清晰、色彩鲜艳,一经推
详细>>2023年2月16日,由流媒体网、易目唯文化主办,黑龙江龙网视传媒有限公司协办的第七届金屏奖暨2022年度中国智能视听与科技创新产业盛典在哈
详细>>2月14日,首届华彩杯算力基础设施应用创新大赛(以下简称大赛)在京正式启动。中国工程院邬贺铨院士、张宏科院士,工信部信息通信发展司一级巡
详细>>2023年1月13日,2022(第六届)中国行业数字化年度风云榜(以下简称2022风云榜)评选结果正式发布。本届风云榜由信息化观察网组织发起,以5
详细>>每年过年,必不可少的项目之一,就是发红包。一封封烫金封口、漂亮厚实的红包,带着一句句恭喜发财的欢乐祝福,浓浓的年味瞬间扑面而来。在
详细>>