5.神经网络
5.1神经元模型
神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。对这句话的理解，简单提要下，主角是简单单元（输入单元、功能单元），特性是适应性和并行互连，功能是模拟生物神经反应。
神经网络是一个数学模型，其最基本的成分是神经元（neuron），即简单单元。在生物神经网络中，每个神经元与其他神经元相连，当它兴奋时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过了一个阈值（threshold），那么它就会被激活，即兴奋起来，向其他神经元发送化学物质。这个过程，神经网络模型加以数学简化并模拟。实际上，很多数学模型都源于对自然和人的观察所得，如飞机模型是模拟鸟。
在这个模型中，很重要就是神经元的互连以及输入和输出（阈值触发）。从最简单的M-P神经元模型来看，神经元接收来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的链接（connection）进行传递，神经元收到的总输入值与神经元的阈值进行比较，然后通过激活函数（activation function）处理以产生神经元的输出。
理想中的激活函数是阶跃函数，将输入值映射为输出值0和1,1对应于神经元兴奋，0对应于神经元抑制。不过阶跃函数不具有连续和光滑性质，因此常用sigmoid函数。
如上定义，一个神经网络是包含许多参数的数学模型，模型中包含若干函数，所以不管是否真的模拟了生物神经网络，归根到底还是要数学来支撑神经网络学习。下文深入看模型中的函数和参数是如何通过机器学习获得，从而构建具有一定层次结构的神经网络。
5.2感知机与多层网络
感知机（Perceptron）由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元，也称阈值逻辑单元（threshold logic unit）。感知机可实现逻辑与、或、非运算，通过给定训练集，权重w
i和阈值 可通过学习得到。如果将阈值 看做是第m+1个输入元，那么输入值x
m+1是-1.0（称为哑结点，dummy node），权重值就是w
m+1，如此可统一为对权重的学习。感知机的权重学习规则相对简单，给定训练样例（x,y），若当前感知机的输出为y-，则感知机权重将调整为：
就是根据实际样例y值和感知机模型输出值y-的差距进行权重调整，如果二者相当（预测正确），那就不用调整。
感知机只有输出层神经元进行激活函数处理，就是只拥有一层功能神经元（functional neuron），其学习能力非常有限。感知机可容易实现的逻辑与、或、非操作，是线性可分（linearly separable）问题，若两类模式是线性可分的，则存在一个线性超平面将它们分开，这样的感知机在学习权重值过程中会收敛（converge），否则会发生振荡（fluctuation），权值难以稳定，如异或操作。这个例子，可知，对神经网络模型的权值（阈值已统一为第m+1个权值）学习过程中，具备单层功能神经元是不够的（可解决线性可分问题），在解决非线性可分为问题时，需要引入多层功能神经元。多层功能神经元，是在输