人工智能之人工神经网络(ANN)简介

人工神经网络ANN简称为神经网络或类神经网络。深度学习实际上是深度神经网络DNN，即深度学习从人工神经网络ANN模型发展起来的，因此有必要对人工神经网络ANN作进一步探讨。人工神经网络ANN的研究工作不断深入，已经取得了很大进展，其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。

那么究竟什么是人工神经网络ANN呢？

人工神经网络ANN从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。人工神经网络ANN是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点（神经元）代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

人工神经网络ANN的发展历程：

1） 人工神经网络ANN的概念由W．S．McCulloch和W．Pitts等人于1943年提出。他们通过MP模型提出了神经元的形式化数学描述和网络结构方法。

2） 1960s年，人工神经网络得到了进一步发展，更完善的神经网络模型被提出，其中包括感知器和自适应线性元件等。1982年， J．J．Hopfield提出了Hopfield神经网格模型，引入“计算能量”概念，给出了网络稳定性判断。 1984年，他又提出了连续时间Hopfield神经网络模型，开创了神经网络用于联想记忆和优化计算的新途径。这项开拓性的研究工作有力地推动了神经网络的研究。

3） 1985年，有学者提出了波耳兹曼模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。

4） 1986年进行认知微观结构地研究，提出了并行分布处理的理论。

5） 1986年，Rumelhart， Hinton， Williams发展了BP算法。迄今，BP算法已被用于解决大量实际问题。

6） 1988年，Linsker对感知机网络提出了新的自组织理论，并在Shanon信息论的基础上形成了最大互信息理论，从而点燃了基于NN的信息应用理论的光芒。

7） 1988年，Broomhead和Lowe用径向基函数（Radial basis function， RBF）提出分层网络的设计方法，从而将NN的设计与数值分析和线性适应滤波相挂钩。

8） 90年代初，Vapnik等提出了支持向量机（Support vector machines， SVM）和VC（Vapnik－Chervonenkis）维数的概念。

9） 美国国会通过决议将1990年1月5日开始的十年定为“脑的十年”，国际研究组织号召它的成员国将“脑的十年”变为全球行为。在日本的“真实世界计算（RWC）”项目中，人工智能的研究成了一个重要的组成部分。人工神经网络的研究从此受到了各个发达国家的重视。

推荐阅读：

计算机视觉定义简述

热敏电阻器的特性及作用

FPGA基础知识简介

FPGA开发流程简介

物联网取代传统风扇设计的替代方案