大语言模型中的涌现现象是不是伪科学？-天天通讯

时间：2023-04-25 12:50:36 来源: 程序员客栈

Datawhale干货

作者：平凡@知乎，诺桑比亚大学，在读博士

(资料图片仅供参考)

今天晚上，花了一点儿时间看了两篇文章：

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

这两篇讲的都是emergent behavior，即涌现现象。

大规模神经网络下的涌现现象

在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。

第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。

我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。

意想不到的效果

第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：

作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的，反人类直觉的。

从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。

还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。

甚至可能把人类的生产力解放提前很多。

参考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

标签：

精彩推送

大语言模型中的涌现现象是不是伪科学？-天天通讯

Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《Emergent

来源：2023.04.25

成品仓库年终工作总结怎么写_成品仓库年终工作总结全球热议

今天小编肥嘟来为大家解答以上的问题。成品仓库年终工作总结怎么写，成品仓库年终工作总结相信很多小伙伴还

来源：2023.04.25

拓邦股份：4月24日融券卖出37.31万股，融资融券余额3.28亿元微头条

4月24日，拓邦股份（002139）融资买入793 31万元，融资偿还1253 17万元，融资净卖出459 86万元，融资余额3

来源：2023.04.25

火山的女儿骰子游戏玩法攻略教学当前头条

火山的女儿骰子游戏怎么玩?这款游戏里面有很多特色玩法,其中“骰子游戏”非常有意思,很多人可能不清楚玩...

来源：2023.04.25

搬进新村过好生活——记武威凉州区推进生态及地质灾害避险搬迁工作

本网记者张振国通讯员贺兴焱张珊珊最美人间四月天。漫步在乡村小道，远处雪山耸立，近处诗意田园。从高处远

来源：2023.04.25

【聚看点】2023年2月中国纸浆进口数量和进口金额分别为256万吨和20.13亿美元

2023年2月中国纸浆进口数量为256万吨，同比增长7 8%，进口金额为20 13亿美元，同比增长30 1%，2023年1-2月

来源：2023.04.25

焦点热文：邮储银行张家港市支行：为全面推进乡村振兴插上“数字翅膀”

邮储银行张家港市支行始终注重推动地方乡村振兴，为地方农村经济陆续输入资金。随着农村经济数字化转型的推

来源：2023.04.25

咸安温泉街道南昌路社区：并了院子变了样子，幸福生活共同缔造

通讯员严兵黄晋掌上咸宁报道为持续营造文明单位的良好氛围，提升城市文明水平。4月23日，咸安区温泉街

来源：2023.04.25

中职自主招生可以报几个学校?|每日看点

中职生自主招生是指由学生自主选择报考学校并参加招生考试，取得录取资格后才能被录取。相较于普通招生，中

来源：2023.04.25

新闻快讯

精品推荐

新闻快讯