人工神经网络(神经元的数学模型)

你觉得人工智能的数理学派更有道理,还是仿生学派更有道理?
你认为未来这两个学派的发展前途如何呢?

从这一讲开始,我们进入第二个分类期人工神经网络的学习。

人工神经网络的英文名字叫做Artificial Neural Networks,或者简称 Neural Networks。如果说支持向量机是以VAPNIK为代表的一两个人做出来的,那么人工神经网络就是很多人集体智慧的结晶。

人工神经网络的方法曾经经历过起起落落,也曾经到了几乎无人问津的地步。
但是近年来却突然受到广泛的关注。
其原因在于以人工神经网络为理论基础的深度学习deeplearning在几乎所有主流的机器学习领域取得突破性进展。
获得了比深度学习之前的传统算法高很多的性能,尽管深度学习在实践中获得了非常好的性能,但是它最本质的理论基础却和人工神经网络没有区别
在上个世纪八十年代就已经基本成熟了。
人工神经网络的基本思想是仿生学,即对人脑的神经元运作机制进行模拟。
当计算机的计算资源较低的时候,只能模拟人脑中为数不多的神经元的运作,系统性能自然不高。
而从2000年以来,随着计算机的硬件能力的发展,我们能够模拟几十万甚至几千万。
神经元的运作,系统的性能就有了明显的提升。我个人觉得从本质来说,目前流行的深度学习算法只是一个规模巨大的神经网络而已,人工神经网络的本源是人工智能的仿生学派。
从人工智能这一学科诞生以来就有两种学派此消彼长,第一种学派认为人工智能模拟的是人类大脑对于世界的认识,因此研究大脑认知机理,总结大脑处理信息的方式是实现人工智能的先决条件。我们把这一派叫做人工智能的仿生学派。
仿生学派认为,计算机算法只有深入地模拟大脑的认知机制和信息处理方式,才能最终实现人工智能。而另一种学派却认为在现在以及可预知的未来,我们无法完全了解人脑的认知机制。
另一方面,计算机与人脑具有截然不同的物理属性和体系结构,因此片面强调计算机对人脑的模仿既不可能也不必须。 人工智能的研究应该立足于现有计算机的物理属性和体系结构。
用数学和逻辑推理的方法,从现有的计算机结构中获得确定的知识。
而不是一味地强调对人脑的模仿。
就好比飞机的飞行并不像鸟,但却能比鸟飞得更快。
这一学派是人工智能的数理学派。前面我们学到的知识向量机,就是人工智能数理学派的典型代表。
而马上要学到的人工神经网络是仿生学派的典型代表。
这两种学派在历史上存在冲突和斗争,主导了人工神经网络在具体领域的起落涨跌。
我们从人工神经网络的历史出发,最初在1943年,心理学家W.S.McCulloch和数理逻辑学家W.Pitts。

基于神经元的生理结构建立了单个神经元的数学模型。
我们把它叫做MP模型。


这幅图是单个神经细胞的示意图,外部的刺激通过树突传递到神经元细胞核,经过细胞核加工后,作为输出传递给突触。


MP模型是将外部刺激模拟为一串数字X1X2,一直到Xm的输入,将每个树突对输入的刺激加工过程模拟以某个权重对输入进行加权,将细胞核对输入的处理模拟为一个带有限制的求和过程。最后的输出是用激活函数对求和的结果进行非线性变换而得出。因此,MP模型中输入和输出的对应关系为

如果我们以向量的形式表示。

大的X这个向量是有输入的X1X2一直到Xm这m个分量构成,则上面那个式子将变成我们熟悉的公式。

神经元的数学模型提出过后,并没有引起学术界的重视。
其原因在于这个模型太简单,与实际相差甚远。
单个神经元细胞的确会在接受到外界刺激后做出反应,但是这个反应是不是这样一种对输入的刺激加权求和再加上偏置的形式是一个值得详细探讨的问题。
到目前为止,没有生物学的实验支持这样一个简单的神经元模型。
因为无论是动物还是人,其实际的神经元运作机制比这个模型复杂很多。
从生物学上来讲,人类至今没有完全搞清楚神经元的运作机制。
下面我试着从数学的角度来理解Lightroom和PS。
为什么提出这种加权求和的模式。假设神经元的输出是神经元输入。
X1一直到m的函数。

即我们说1等于fx1x2,一直到xm我们把这个函数进行太展开,它将约等于f在0那个向量的值加上i从1到m进行求和,fx在0那个向量的偏导数乘以Excite,再加上后面2纠偏到3的先导等等,都见到了。
想做一个值的话,它将会等于1从一家到M我们11加上b可以看到MP神经元模型。”
其实是对一个复杂的函数f的一些近似。
值得一提的是,虽然神经元的MP模型并不能反映真实的神经元运作机制。
但是在机器学习领域中却非常有用。
目前最常用的人工神经网络和深度学习的基本结构单元仍然是MP模型。
在将近半个世纪的历史中,不同的研究者提出了更加复杂的神经元模型,并以此为基础开发了其他的人工神经网络算法。
例如,基于神经元集聚和释放联合机制GreatandFailureArrowIf 等脉冲神经网络。

460Networks。又如,基于神经元的反馈机制构建了hopfield神经网络。
但是这些更复杂的神经元模型在影响力和应用的广泛程度上,远远不如简单的MP模型。以下是我个人的观点。既然目前为止我们无法知道神经元的具体运作机制,那么不管复杂和简单的神经元模型,可能你真实都很了解。
既然如此,那么简单一点可能会更有用吧。当然,我们也期待神经科学的进一步发展。
解开更多的神经元运作的奥秘。
为开发机器学习的新算法注入新的灵感。
作为结尾留一道思考题给大家。
你觉得人工智能的数理学派更有道理,还是仿生学派更有道理?
你认为未来这两个学派的发展前途如何呢? “大家可以在留言区参与讨论,并发表自己的见解。本内容就到这里,谢谢同学们。”

发表评论

邮箱地址不会被公开。 必填项已用*标注