神经网络的发展趋势是什么？
1人工神经网络的背景
自古以来，关于人类智力起源的谜团一直吸引着无数哲学家和自然科学家的研究热情。经过长期不懈的努力，生物学家和神经学家认为，人脑的智能活动离不开大脑的物质基础，包括其物理结构和各种生物、化学和电学效应，并由此建立了神经网络理论和神经系统结构理论，而神经元理论是神经传导理论和脑功能理论的基础。在这些理论的基础上，科学家认为我们可以通过模仿人类大脑神经系统的结构和功能来研究人类的智力活动和认知现象。另一方面，在19世纪之前，无论是以欧几里得几何和微积分为代表的经典数学，还是以牛顿力学为代表的经典物理学，一般都是线性科学。然而，客观世界如此复杂，非线性的情况随处可见，尤其是在人脑的神经系统中。复杂性和非线性是联系在一起的，所以非线性科学的研究也是我们理解复杂系统的关键。为了更好地认识客观世界，我们必须学习非线性科学。作为一种类似大脑智能的非线性网络模型，人工神经网络应运而生。因此，人工神经网络的建立不是偶然的，而是20世纪初科学技术充分发展的产物。
2.人工神经网络的发展
人工神经网络的研究始于20世纪40年代初。半个世纪以来，经历了崛起、高潮与萧条、高潮与平稳发展的漫长而曲折的道路。
1943年，心理学家W.S.Mcculloch和数学逻辑学家W.Pitts提出了M-P模型，这是第一个用数学语言描述大脑信息处理过程的模型。虽然神经元的功能较弱，但为以后的研究工作提供了基础。1949年，心理学家D.O.Hebb提出了突触连接是可变的假设，根据这一假设提出的学习规则为神经网络的学习算法奠定了基础。1957年，计算机科学家罗森布拉特(Rosenblatt)提出了著名的感知器模型，该模型包含了现代计算机的一些原理，是第一个完整的人工神经网络，第一次将神经网络研究投入工程实现。因为可以用在模式识别，联想记忆等等，当时有几百个实验室投入了这项研究。美军甚至认为神经网络项目应该比“原子弹项目”更重要并给予了巨额资助，并在声纳信号识别等领域取得了一定的成果。在1960中，B.Windrow和E.Hoff提出了自适应线性元素，它可用于自适应滤波、预测和模式识别。至此，人工神经网络的研究工作进入了第一个高潮。
1969年，美国著名人工智能学者M.Minsky和S.Papert写了《感知器》一书，影响很大，从理论上证明了单层感知器能力有限，比如不能解决异或问题，他们推测多层网络的感知器能力也就这么多。他们的分析犹如一盆冷水，许多学者感到前途黯淡纷纷转行，曾经参与研究的实验室也相继退出。之后将近65438。这一时期，芬兰学者T.Kohonen提出了自组织映射理论，反映了脑神经细胞的自组织特征、记忆方法以及神经细胞兴奋和刺激的规律；自适应* * *振动理论(ART)；由美国学者S.A .格罗斯伯格；日本学者K.Fukushima提出了认知机器模型；ShunIchimari致力于神经网络的数学理论研究，对以后神经网络的发展有重要影响。
美国生物物理学家J.J.Hopfield在美国国家科学院院刊1982和1984上发表了两篇文章，有力地推动了神经网络的研究，引起了神经网络研究的又一次热潮。在1982中，他提出了一种新的神经网络模型——Hopfield网络模型。在该网络模型的研究中，他首次引入了网络能量函数的概念，并给出了网络稳定性的判断依据。在1984中，他提出了用网络模型实现的电子电路，为神经网络的工程实现指明了方向。他的研究成果为神经网络优化计算联想记忆开辟了新的途径，为神经计算机的研究奠定了基础。Hinton等人在1984中将模拟退火算法引入神经网络，提出了Boltzmann机网络模型。BM网络算法为神经网络优化计算提供了一种有效的方法。在1986中，D.E.Rumelhart和J.LMcclelland提出了误差反向传播(error back propagation ),至今已成为一种影响很大的网络学习方法。1987年，美国神经计算机专家R.Hecht—Nielsen提出了反向传播神经网络，它具有分类灵活、算法简洁的优点，可用于模式分类、函数逼近、统计分析和数据压缩等领域。L.Ochua等人在1988中提出了细胞神经网络模型，该模型在初级视觉处理中得到了广泛的应用。
为适应人工神经网络的发展，1987成立了国际神经网络学会，并决定定期召开国际神经网络学术会议。1988 65438+十月神经网络成立。神经网络1990 IEEE汇刊3月出。中国于1990年2月在北京召开了首届神经网络学术会议，并决定每年召开一次。1991，中国神经网络学会在南京成立。由IEEE和INNS联合举办的IJCNN92已经在北京召开。这些都促进了神经网络的研究和发展，人工神经网络进入了一个稳定发展的时期。
20世纪90年代初，诺贝尔奖获得者Edelman提出了达尔文主义模型，建立了神经网络系统理论。同年，在前人推导和实验的基础上，相原等人给出了混沌神经元模型，该模型已成为经典的混沌神经网络模型，可用于联想记忆。Wunsch在90OSA年会上提出了AnnualMeeting，使用光电执行ART，学习过程具有自适应过滤和推理功能，具有快速稳定学习的特点。1991年，赫兹讨论了神经计算的理论，对神经网络的计算复杂性分析有重要意义。Inoue等人提出用耦合混沌振子作为神经元构建混沌神经网络模型，为其广阔的应用前景指明了方向。在1992中，Holland提出了一种通过模拟生物进化来解决复杂优化问题的遗传算法。在1993中，房建安等人用遗传算法对神经网络控制器进行了研究，取得了一些成果。1994年，Angeline等人在前人进化策略理论的基础上提出了一种建立反馈神经网络的进化算法，并成功应用于模式识别、自动控制等。廖为细胞神经网络建立了新的数学理论和方法，并取得了一系列成果。HayashlY根据动物大脑中的振荡现象提出了振荡神经网络。1995 Mitra将人工神经网络与模糊逻辑理论、生物细胞理论、概率论相结合，提出了模糊神经网络，在神经网络的研究上取得了突破。Jenkins等人研究了光神经网络，建立了二维并行互连和电子学的光神经网络，可以避免网络陷入局部极小，最终达到或接近理想解。SoleRV等人提出了流体神经网络，用于研究昆虫社会和机器人集体免疫系统，启发人们用混沌理论分析社会大系统。1996中，ShuaiJW’等人模拟了人脑的自我发育行为，在混沌神经网络讨论的基础上提出了自我发育神经网络。在1997和1998中，董聪创立并完善了广义遗传算法，解决了多层前向网络的最简单拓扑构造问题和全局最优逼近问题。
随着理论工作的开展，神经网络的应用研究也取得了突破性进展，涉及广泛的技术领域，包括计算机视觉、语言识别、理解与合成、优化计算、智能控制和复杂系统分析、模式识别、神经计算机开发、知识推理专家系统和人工智能等。涉及的学科有神经生理学、认知科学、数学科学、心理学、信息科学、计算机科学、微电子学、光学、动力学、生物电子学等等。美国、日本等国家在神经网络计算机的硬件和软件开发方面也取得了令人瞩目的成就，并逐渐形成产品。在美国，神经计算机产业得到了军方的大力支持。国防部高级研究计划局认为“神经网络是解决机器智能的唯一希望”，仅一个为期8年的神经计算机项目就投入了4亿美元。在欧洲的ESPRIT项目中，有一个专门的项目:“神经网络在欧洲工业中的应用”，仅神经网络专用芯片的生产就花费了2200万美元。美国的数据显示，日本在神经网络研究上的投入是美国的4倍左右。中国也不甘落后。自1990南开大学光学神经计算机等三个项目获批以来，国家自然科学基金和国防预研基金也为神经网络的研究提供了资金支持。此外，许多国际著名公司也参与了神经网络的研究，如英特尔、IBM、西门子和HNC。神经计算机产品开始走向商用阶段，被国防、企业、科研部门选用。在举世闻名的海湾战争中，美国空军采用神经网络进行决策和控制。在这种刺激和需求下，人工神经网络必将有新的突破，迎来又一个高潮。自1958第一个神经网络诞生以来，其理论和应用成果不胜枚举。人工神经网络是一门迅速发展的新学科，新模型、新理论、新应用成果层出不穷。
3人工神经网络的发展前景
针对神经网络存在的问题和社会需求，未来的主要发展方向可以分为理论研究和应用研究两个方面。
(1)运用神经生理学和认知科学研究大脑思维和智力的机制和计算理论，以问题研究理论。
人工神经网络为揭示智能和理解人脑的工作模式提供了合理的途径。但由于起初对神经系统的了解有限，对人脑结构及其活动机制的认识还很肤浅，具有某种“先验性”。比如玻尔兹曼机引入随机扰动避免局部极小，有其优点。但是，它缺乏必要的脑生理学基础。毫无疑问，人工神经网络的改进和发展应该与神经科学的研究相结合。而且神经科学、心理学和认知科学提出的一些重要问题是对神经网络理论研究的新挑战，这些问题的解决有助于神经网络理论的完善和发展。因此，利用神经生理学和认知科学来研究大脑思维和智力的机制，如果有新的突破，将会改变对智力和机器关系的认识。
利用神经科学基础理论的研究成果，通过数学方法探索具有更高智能水平的人工神经网络模型，深入研究神经计算、进化计算、稳定性、收敛性、计算复杂度、容错性和鲁棒性等网络的算法和性能，发展新的网络数学理论。由于神经网络的非线性，对非线性问题的研究是神经网络理论发展的最大推动力。特别是自从人们发现大脑中存在混沌之后，用混沌动力学来启发神经网络的研究，或者用神经网络来产生混沌，已经成为人们的新课题，因为这是从生理本质的角度来研究神经网络的根本手段。
(2)神经网络软件模拟、硬件实现的研究以及神经网络在各个科技领域的应用。
由于人工神经网络可以用传统计算机模拟，也可以用集成电路芯片组成，甚至可以用光学和生物芯片的方法实现，因此发展纯软件模拟、虚拟模拟和全硬件实现的电子神经网络计算机有很大潜力。如何将神经网络计算机与传统计算机、人工智能技术相结合，也是一个前沿课题；如何使神经网络计算机的功能智能化，开发出与人脑功能相似的智能计算机，如光学神经计算机、分子神经计算机等，将会有非常诱人的前景。
4哲学
(1)人工神经网络开启认识论新领域。
认知与脑的问题长期以来一直为人们所关注，因为它不仅是一个与人的心理和意识有关的心理学问题，也是一个与人的思维活动机制有关的脑科学和思维科学问题，它直接关系到物质和意识的基本哲学问题的答案。人工神经网络的发展使我们能够进一步唯物辩证地认识认知与大脑的关系，开辟了认识论的新领域。人脑是一个复杂的并行系统，具有“认知、意识、情感”等高级脑功能。人工模拟有利于加深对思维和智能的理解，极大地促进了对认知和智能本质的研究。在对大脑整体功能和复杂性的研究中，人工神经网络给人们带来了新的启示。由于人脑中存在混沌，混沌可以用来理解大脑中的一些不规则活动，因此混沌动力学模型可以作为对外部世界建模的工具，可以用来描述人脑的信息处理过程。混沌与智能是相关的，将混沌引入神经网络有助于揭示人类形象思维的奥秘。人工神经网络的复兴，关键在于它反映了事物的非线性，把握了客观世界的本质，在某种程度上正面回答了智能系统如何从环境中独立学习这一最关键的问题。从认知的角度来说，所谓学习，就是对未知现象或规律的发现和归纳。神经网络因其高度并行性、高度非线性全局功能、良好的容错和联想记忆功能、强大的自适应和自学习功能，成为揭示智能和理解人脑工作模式的合理途径。然而，由于认知问题的复杂性，目前我们对神经网络的运行和神经细胞的内部处理机制没有任何概念，例如信息在人脑中是如何传递、存储和处理的。记忆、联想、判断是如何形成的？大脑有操作系统吗？目前还没有太多的认识，所以要使人工神经网络模仿人脑各方面的功能，还需要加深人们对大脑信息处理机制的认识。
(2)人工神经网络发展的动力来自实践、理论和问题的相互作用。
随着人们社会实践范围的不断扩大和社会实践水平的不断深入，人们所接触到的自然现象越来越丰富多彩，越来越复杂，这就促使人们用不同的原因来解释不同种类的自然现象。当不同种类的自然现象可以用同一种原因来解释时，不同的学科交叉综合，人工神经网络就这样产生了。在初期，由于这些理论网络模型比较简单，还存在很多问题，而且这些模型几乎没有经过实践检验，所以神经网络的发展比较缓慢。随着理论研究的深入，问题逐渐解决，特别是在工程化实现之后，比如声纳识别的成功，才迎来神经网络的第一次发展高潮。但是Minisky认为感知器不能解决XOR问题，多层感知器也可以，神经网络的研究进入低谷，主要是因为非线性问题没有解决。随着理论的不断丰富和实践的不断深入，已经证明米尼斯基的悲观论调是错误的。在科技高度发达的今天，逐渐揭示出非线性问题是客观世界的本质。问题、理论和实践的互动，迎来了人工神经网络的第二次高潮。目前人工神经网络的问题是智能水平不高，还有其他的理论和实现问题，迫使人们不断进行理论研究和实践，促进了神经网络的不断发展。总之，以前的原因遇到了解释不同的新现象，促使人们提出更普遍、更准确的原因来解释。理论是基础，实践是动力。但仅靠理论和实践的作用并不能推动人工神经网络的发展，必须提出问题来吸引科学家进入特定的研究范围，引导他们从事相关研究，从而接近科学发现。然后实践提出新的问题，新的问题引发新的思考，促使科学家不断思考，不断完善自己的理论。人工神经网络的发展体现了问题、理论和实践的辩证统一。
(3)人工神经网络发展的另一个动力来自于相关学科的贡献和不同学科专家的竞争与协作。
人工神经网络本身是一门边缘学科，它的发展有着更广阔的科学背景，是众多科研成果的综合产物。控制论的创始人维纳在其代表作《控制论》中对人脑神经元进行了研究。计算机科学家图灵提出了B网的思想。普里戈金提出了不平衡系统的自组织理论，获得了诺贝尔奖。哈肯研究的是大量元素共同作用产生的宏观效应，非线性系统“混沌”状态的提出和研究都是关于如何通过元素之间的相互作用建立复杂系统，类似于生物系统的自组织行为。脑科学和神经科学的进步很快体现在人工神经网络的研究中，如生物神经网络理论、视觉中发现的侧抑制原理、感受野概念等，对神经网络的发展起到了重要的推动作用。人工神经网络模型已提出数百种，涉及学科众多，令人目不暇接，应用领域之广令人惊叹。不同学科的专家为了达到该领域的领先水平而进行不同程度的竞争，这些都有力地推动了人工神经网络的发展。人脑是一个信息系统，功能非常强大，结构异常复杂。随着信息论、控制论、生命科学和计算机科学的发展，人们越来越惊叹于大脑的神奇。至少到目前为止，人脑的信号处理机制对人类来说还是一个黑匣子。要揭示人脑的奥秘，需要神经学家、心理学家、计算机科学家、微电子学、数学家和其他专家的共同努力。此外，哲学家也要参与进来，通过哲学与自然科学的深度结合，逐步孕育出探索人类思维本质和规律的新方法，使思维科学从晦涩走向理性。而且不同领域专家的竞争与协调，有利于理清问题，寻求最佳解决方案。纵观神经网络的发展历史，没有相关学科的贡献，没有不同学科专家的竞争与合作，神经网络就不会有今天。当然，人工神经网络在各个学科的应用研究反过来又促进了其他学科的发展，促进了自身的完善和发展。