| ◆ 1890年，美国生物学家W.James出版了《Physiology》（生理学）一书。首次阐明了有关人脑结构及其功能，以及相关学习、联想、记忆的基本规律。 W.James指出：人脑中当两个基本处理单元同时活动，或两个单元靠得比较近时，一个单元的兴奋会传到另一个单元。而且一个单元的活动程度与他周围的活动数目和活动密度成正比。 ◆ 1943年McCulloch（心理学家）和Pitts（数理逻辑学家）发表文章，提出M-P模型。描述了一个简单的人工神经元模型的活动是服从二值（兴奋和抑制）变化的。总结了神经元的基本生理特性，提出了神经元的数学描述和网络的结构方法。这标志神经计算时代的开始。 其意义在于： ① M-P模型能完成任意有限的逻辑运算 ② 第一个采用集体并行计算结构来描述人工神经元和网络工作。 ③ 为进一步的研究提供了依据 ◆ 1949年Donala U.Hebb（心理学家）论著《The Organization of Behavior（行为自组织）》，提出突触联系强度可变的假设，认为学习的过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。 其意义在于： ① 提出了一个神经网络里信息是储藏在突触连接的权中 ② 连接权的学习律正比于两个被连接的神经细胞的活动状态值的乘积 ③ 假设权是对称的 ④ 细胞的互相连接的结构是通过改变它们之间的连接权创造出来的 ◆ 1957年Frank Rosenblatt定义了一个神经网络结构，称为感知器(Perceptron)。第一次把神经网络研究从纯理论的探讨推向工程实现。掀起了神经网络研究高潮。 通过在IBM704计算机上的模拟，证明了该模型有能力通过调整权的学习达到正确分类的结果。 ◆ 1969M.Minsky和S. Papert发表了《Perceptrons》的论著，指出感知器仅能解决一阶谓词逻辑，只能做线性划分。对于非线性或其他分类会遇到很大困难。一个简单的XOR问题的例子就证明了这一点。--神经网络研究一度达到低潮。 使神经网络研究一度达到低潮原因还有，计算机不够发达、VLSI还没出现、而人工智能和专家系统正处于发展高潮。 ◆ 七十年代,据说全球只有几十个人在研究，但还是很有成果的。如：日本Fukusima的Neocognitron； 芬兰Kohonen的自组织神经网络；Stephen Crossberg的共振自适应理论ART网络等。 ◆ 1982年John J. Hopfield（物理学家）提出了全连接网络，离散的神经网络模型。--全新的具有完整理论基础的神经网络模型。并证明了网络可达到稳定的离散和连续两种情况。为神经网络研究开辟了以条崭新的道路，证明了神经网络的研究来有无限的空间有待于开发。神经网络复兴时期开始。 这种网络的基本思想是对于一个给定的神经网络，具有一个能量函数，这个能量函数正比于每一个神经元的活动值和神经元之间的连接权。而活动值的改变算法是向能量函数减少的方向进行，一直达到一个极小值为止。3年后AT&T等做出了该模型的半导体芯片。 ◆ 1986年美国的一个平行计算研究小组提出了前向反馈神经网络的Back Propagation（BP）学习算法。成为当今应用最广泛的前向神经网络的学习方法之一。该方法解决了感知器非线性不可分类问题，给神经网络研究带来了新的希望。 运用BP学习算法进行学习的神经网络模型�"多层感知器"模型在原理上是完全相同的。感知器也同样具有与多层前馈网络相同的分类能力，只是由于当时没有理论支撑的设计算法，也就是学习算法，也就失去了实际应用的意义。 ◆ 1987年在美国召开了第一届世界神经网络大会1000人参加。 从此神经网络的研究正式成为世界范围内的一个研究领域，被人类科学的各个领域的科学家关注。 |