人工智能训练中的玄学与启示

李宏毅教授的人工智能讲座非常不错，有深度，而且非常的通俗易懂。我听到他的两个讲座课程，内容也挺有意思。讲的是语言模型训练过程中，到底是参数越大越好，还是资料越多越好。

当然，从他的这些讲课中举出来的例子来看，现在的人工智能研究也确实非常的接近于玄学，或者一门学科发展的早期阶段。因为他的很多结论都是通过大量实验试出来的，而不像其他的技术行业，都是在成熟的科学理论指导下进行研发的。比如普通的机械设计制造需要遵循牛顿力学来精确建模，半导体设计可以依靠量子力学。而人工智能领域似乎还没有一个完备的，比较完备的科学理论进行指导，人们只能通过各种模型的测试对比来得出结论。

不过，这些结论也足够有意思了。首先，一个有意思的现象就是现在非常热门的大模型的涌现现象。一般来说，模型的参数越多，所表现出来的能力就越强。这个其实也好理解，其实大致了解神经网络的原理也不难理解。计算机人工智能的神经网络算法就是用模型去对数据进行拟合，自然参数越多，拟合的精细度就越高，表现出来的能力越强。

但是，一般来说这种能力的增强随着参数的增加应该是线性的。但是，在一些大模型研究中，比如像推理能力，像逻辑推理等高级能力，似乎是在突破某一定量的参数数量后突然会得到大幅度的提升，这也就是所谓的涌现现象，就好像突然开悟了一样。当然，最近也有一些研究对这个提法提出了质疑，说是所谓的涌现现象只不过是评判标准动了手脚。

现在关于智能这个概念，智能意识这些概念，人类自己都没有彻底搞清楚，所以也只能落入玄学了。但是，我从使用各种语言模型的经验来看，人工智能确实只有智能，这一点应该是不用怀疑的。

另一个关于人工智能语言模型研究的有趣结论就是，当然为了研究模型能力与模型参数的关系，还有这样一个有趣的实验，研究人员在网上征集了很多用来测试的任务，目的是想找出有哪些任务，是模型参数越大，效果反而越差的。因为这项研究是多年前进行的，当时的模型最大的参数也就是几千万，所以也确实找出了一些模型参数越多，效果反而越差的任务类型。但是，当时的模型最大参数也就是几千万，而如今几十亿几百亿上千亿的模型都已经很普遍了，再用这些任务去测试时会发现，在参数量更大的模型上仍然是表现的更好，这就形成了一个U型曲线。

首先随着模型参数的增加，效果反而下降。当参数增加到一定的数量之后，效果就开始逐渐变好了。那么，这一类模型，这类问题是什么样的问题呢?一个典型的问题就是，你去问人工智能类似这样的问题:如果有一个赌局，失败的概率是90%，成功的概率只有10%，而一个人参加了这个赌局，并且赢得了20美元，请问他的决策是否正确?

对这样问题，那些参数很小的模型，根本就理想了，根本就理解不了。也许他们只会做文字接龙。而在参数中等的模型，却是大部分都答错了，他们选择答案是，这个人的决策是对的，因为他，很可能他们是被，这个人最终赢了20美元，这个结果所迷惑了。既然赢钱了，认为既然赢钱了，那肯定是正确的决策。

而到参数量最大的模型里面，他就认识到，这个赌局从数学期望上来说，是亏钱的，所以这个决策是错误的。所以，这些产生U型曲线效果的任务大都是和这个类似，包含类似任务。用李宏毅教授的话来说，这个就叫“一知半解吃大亏”。看来在人类身上发生的事情，在机器身上一样会发生。

另一个关于语言模型有趣的研究，就是到底是参数数量越大越好，还是训练资料越多越好。这个研究就非常有现实意义了，而且深得奥地利学派经济学的精髓。理论上当然这两项都是越大越好，但是人类的资源是有限的，在人工智能领域表现的就是，运算资源是有限的，算力是有限的，所以不可能同时满足这两者的要求，必须找到一个最佳的，必须找一个最优解的点。

研究人员们通过对各种模型，以及训练的测试，发现确实存在这样一条曲线，根据这条曲线可以大致计算，在一定数量的参数下，用多少数量的资料来进行训练，能够获得最好的效果，也算是为人工智能的发展，找到了一定的理论指导。如果只是一味的增加模型的参数，增加模型的参数而不增加资料的数量的话，那就是思而不学，这是肯定不行的，如果光思考那就是胡思乱想，完全不结合实际了。

如果只增加资料的数量，而不增加模型参数的数量，那这就叫学而不思。那这样的模型，最多也就是去做一做文字接龙，无法获得什么实用的功能，解决实际的问题。这一现象完全符合孔子所说的，学而不思则往，思而不学则怠的古训。看来孔子也是人工智能的专家。

当然，这些也只是发现了一些原则性的规律。要想训练出一个好的模型，目前来说还是玄学，包括各种超参数的影响。同理，这些训练人工智能模型的原则，似乎也完全适用于对人类小孩的教育。但是，应用到实践中，还是有很大的问题的，有时候甚至感觉可能，教育出一个优秀的人类学生，相比于训练机器模型也许是一件更吃力的事情，毕竟你不用考虑机器模型的感受。表现的不好就给他一个很大的损失函数值，狠狠的惩罚他。但是，人类小朋友如果批评的太厉害了，就会产生逆反心理。