科技前沿人工神经网络发展现状综述王广北京100123）（北京国华恒源科技开发有限公司，本文基于有监督和无监督学习将神经网摘要院人工神经网络是20世纪80年代以来人工智能领域兴起的研究热点，络分为前馈神经网络和递归神经网络，详细分析了两类神经网络的特点，综述了两类神经网络的现状，根据各自的特点指出了解决收敛较慢且容易陷入局部极小问题的有效方法。递归神经网络关键词院人工神经网络；前馈神经网络；中图分类号院TP183文献标识码院A文章编号院1673-1069渊2017冤06-165-2绪论人工神经网络(ArtificialNeuralNetwork,ANN)是由大量自适应信息处理系统。它是在处理单元互联组成的非线性、试图通过模拟大脑现代神经科学研究成果的基础上提出的，神经网络处理、记忆信息的方式进行信息处理。ANN通过模仿人类大脑的结构和功能，并借鉴生物神经科学的研究成不但推动了果，实现对信息的处理，是一种新兴的交叉学科，智能化计算的应用和发展，同时也为信息科学和神经生物学认的研究方法带来性的变化，现已成功应用于脑科学，知科学，模式识别，智能控制，计算机科学等多个领域。在实际应用中，人工神经网络的选取通常包括适当的神经网络模型，合理的网络结构及快速有效的网络参数训练算法[1]。而针对某一特定网络模型，ANN的研究主要集中在结构的调整和训练算法的改进两个方面。所谓神经网络训练，.com.cn. All Rights Reserved.是一个反复调节节点之间权也就是网络参数的学习和调整，但当信噪比为30dB、后，随着信噪比减少，误识别率上升，误识别25dB、15dB及10dB时，它们的识别率没有较大区别，系统误识别率很高，噪声对率都很高。这说明在低信噪比下，系统的识别率影响很大。盂训练语音：去噪语音train，测试语音：不同小波（db1、db7、sym2、db5）去噪后的(信噪比分别为40dB、30dB、25dB、15dB、10dB)去噪语音test。例如：当用小波db1对信噪比为40dB的加噪语音去噪时，程序运行结果为20人的训练与测试语音均匹配，可得误识别率为0%。用同样的方法可仿真出其它几种小波去噪后的识别结果，列出表格见表1。表1不同小波去噪后的识别结果-误识别率clean0%0%0%0%400%15%10%5%3025%25%30%30%2555%50%60%55%1585%85%80%65%1085%90%90%90%信噪比(dB)小波类型db1db7sym2db51值和阈值的过程，其学习可以分成三类，即有监督学习(Supervisedlearning)，无监督学习(Unsupervisedlearning)和强化学习(Reinforcementlearning)，本文基于有监督和无监督学习进行分类，分别分析了前馈神经网络的特点及研究现状、递归神经网络的特点及研究现状。2前馈神经网络2.1前馈神经网络的特点感知器，线性神经网络，前馈神经网络的主要种类包括：BP网络，径向基网络(RBF)等。其训练算法主要采用梯度下降法(Gradientdescent)，包括：误差反向传播算法(BackPropagation,BP)，改进的BP算法，Levenberg-Marquardt法收敛较快等优点，因此(LM)等。前馈神经网络具有学习简单，神经网络在实际应用中，一般选取三层或以上的网络结构，的任意逼近定理指出，训练合适的多层前馈神经网络能够以任意精度逼近任意连续函数[2]。当网络结构已知的情况下，实验结果分析：在理想的纯净语音环境下对话语进行识别（特征参数为MFCC），其识别率可高达100%，当训练语音测试结果误识别率较为原始语音，测试语音为加噪语音时，高。当训练语音与测试语音都为去噪语音时，当信噪比为40dB时，误识别率较低，随着信噪比的减少，误识别率明显升高。由此看来，我们提出的小波去噪的方法对提高识别率现实生活中噪声无处不在，但并没有起到较大的作用。不过，其实用价值不容忽视。却能通过上述方法有效去噪。可见，实验结论显示，与此前传统的去噪方法相比，就如何有效增强语音，小波变换有着以下的优势：淤将小波变换应用于低去噪后，不但能够信噪比的去噪，其效果较能得到体现。同时，也为实际的应用带来了更大的便利。于对提高语音的识别率，于消除时变信号和突变信号的噪声，小波变换便是最理想的方法之一。同时，与传统的去噪方法相较之下，这种去噪方法是传统的去噪方法所不能相提并论的。的实用性较高，当加噪去噪时取用较高结果分析：用小波去噪的语音，误识别率在升的信噪比，识别率较好，随着信噪比的降低，高。语音增强后的测试结果比干净语音的测试结果差。各种相比较而言，采用小波db1去噪小波去噪的效果不是很好，效果稍微更好，但效果也不是很显著。4总结综合上述的论述，小波变换作为滤波一种新方法，能将随着对小波语音信号中非平稳的信号得以有效过滤。同时，去燥的不断深入实践探究，对其理论的完善和实际的应用也便可将小有着很大的帮助。最后，结合实践探究得出的结论，波去燥广泛应用到生活当中。参考文献[1]胡航.语音信号处理[M].哈尔滨工业大学出版社，2002年5月第二版.·165·科技前沿种整数权值的离散方式更适合用于硬件实现[14]。在离散化权训练前馈神经网络的本质就是确定最优权值和阈值的方法，前馈神经网络的训练方式一般采用网络理想输出和实际输出的误差作为权值调整信号，解空间一般是多峰函数，由于训练过程中很容易陷入局部极小，因此网络的训练目标就是求解一组最优的权值，使误差达到最小。传统的误差反向传播算法由于为网络的训练提供了简单而有效的实现途径，目前已成为研究和应用最广泛的有监督学习算法。但BP算法存在许多问题，例如在多层网络中收敛较慢且容易陷入局部极小，而且不能对多个网络进行同时训练[3]。改进的BP算法有多种形式，主要有通过附加动量和学习率的引入改进BP网络的自适应能力等方法，附加动量方法虽然在一定程度上改善了易陷入局部极小的问题，仍然存在收敛速度较慢的问题。调整学习率方法通过将学习率在一定范围内自动调整，虽然能够提高网络收敛速率，但对权值的改变和影响并不大，仍然导致误差较大问题。LM法具有训练时间段，收敛速度快的优点，但由于LM法需要计算误差的Jacobian矩阵，这是一个复杂的高维运算问题，需要占用大量系统存储空间，同时，LM也存在易陷入局部极小的问题2.2[4、5]。在传统的神经网络训练过程中，前馈神经网络的研究现状预估校正法或者经验选择是最常被使用的网络结构选取方式[6]。在训练和优化网络权值和阈值过程中，训练算法在上述分析中已知，存在着容易陷入局部最优并且难以跳出的缺点，因此误差函数要求必须是连续可求导的函数。因此，这些权值训练方法常和进化算法等全局搜索算法相结合。使用全局搜索算法的全局搜索能力帮助网络跳出局部极小。在编码时采用实数编码，克服二进制编码受到编码串长度和精度的。例如，Sexton等人用一种改进的遗传算法优化前馈神经网路权值，结果表明改进的算法使网路训练精度得到显著提高[3]。Abbass通过将传统BP算法和差分进化算法相结合，提出了一种的新的权值训练方法并用于乳腺癌的预测实验，取得较好结果[7]。Iionen等人使用差分进化算法对前馈网络的权值进行训练和优化，将优化结果与其他几种基于梯度下降的网络训练方法比较，结果表明该方法具有较好的精度[8]。更多研究成果表明，将DE、PSO应用于网络权值在线训练和优化具有明显优势，这些改进方法也成功应用在了医学和工程技术等领域[9、10]。此外，多种优化算法相结合也被证明是有效的。例如，在文献[11]中，作者提出了一种DE和LM相结合的神经网络快Swarm速训法，并将其应用于神经网络的权值优化Optimization,练方法。LiuPSO)等人和共轭梯提出一度算法相种粒子群算法(Particle[12]。在优化过程中，结合的混合算首先确定网络结构，然后使用PSO的全局搜索能力获得最后权值组合，最后使用传统方法进行权值微调，取得较好结果。在文献[13]中，作者采用相反方式将基本PSO和传统BP算法相结合使用，首先用BP算法对网络权值进行计算，然后使用PSO对网络结构固定的权值进行优化和改进。有学者提出一种具有控制参数自适应选择能力的差分进化算法，用于训练前馈网络，并将该方法用于奇偶分类实验中，将实验结果与几种其他方法进行比较得知，提出的方法具有更好的准确性。Epitropakis等人在训练离散Pi-Sigma神经网络实验中，采用一种分布式离散差分进化算法和分布式离散PSO算法相结合的方式。该离散网络仍然是一种多层前馈网络，在输出层，通过将神经元求积的方式获得输出，作者认为这值方面，Bao等人的工作表明，通过采用一种可重建的动态差分进化算法，可以有效用于训练固定结构的网络权值。前馈神经网络的权值训练方法在近几十年一直是人工智能领域的研究热点之一。越来越多的工作表明，将多种优化方法相结合，通过对传统训练方法的取长补短，可以将前馈网络有效应用于多个领域的应用中。33.1递归神经网络递归神经网络不同于前馈网络，递归神经网络的特点是一种带有信息反馈功能，带有同力学时间特性的ANN。递归神经网络模拟了人类大脑神经突触连接进行信号处理的方式，其中神经元之间的权值代表网络的记忆，能存储一部分数据信息，相当于模拟了人类大脑的内部短期记忆功能，常见的有Hopfield神经网络、玻尔兹曼机、细胞神经网络、双向联结记忆(BAM)神经网络和Cohen-Grossberg神经网络等。通常情况下，递归神经网络可以在某一瞬态响应中实现对某一时间信号的存储，然后从存储的信息状态中重新构建上一瞬态的历史信息，实现对记忆的联想。可见递归网络的一个根本特征是具有短时记忆功能，因此很多递归网络的机构设计和训练算法研究都是围绕其记忆特性展开。递归神经网络的动态特性表现在，其内部的信号是存在反馈的，也就是说，网络在某一时刻的输出值不仅与当前状态有关，还与之前时刻的状态有关。递归网络的这种特性使得它同时具备动力学特性和信息存储能力，因此递归型网络常被用来学习和模拟系统中的动态性能。此外，稳定性是递归神经网络的另一个特性，因为在递归网络中，网络状态是随时间变化的，要想保证网络运行在正常范围并不出现发散和振荡，必须首先对其稳定性进行分析和计算，设置合理的网络参数。3.2针对某一类问题，递归神经网络的研究现状往往需要将递归网络进行适当调整和改进才能获得更好的应用，其改进方法通常有两种，即参数学习训练算法和网络结构优化算法。所谓参数训练算法，是指单纯对网络神经元节点的权值进行学习改进，而不改变网络结构（层数和节点数）。结构优化算法则相反，主要是通过某种学习规则（增长或删减机制）动态的调整网络结构，使其效果达到最优。在算法改进的研究中，常常借鉴前馈型网络的改进算法思想，将其应用于递归型网络中。不同的递归神经网络学习算法都各自有其自身的特点，同Natural时也适用于不同的应用对象。1986年，Hinton等人在层前馈型网络，该网络的训练方法就是目前最主要的上发表文章，提出一种由递归网络展开而成的一种多(Back-Propagation存在收敛较慢问题，through且对系统的内存需求过大，time)算法。然而，该算法在训练中BPTT往往导致训练失败。Shen等人在Hinton工作的基础上对该算法进行了改进，并将其应用于带有约束条件的建模问题，例如时间序列问题，实验结果表明他们的方法具有较高精度。Williams等人设计了一种具有递归运算方式的梯度计算方法，用于全局递归网络的设计。实际上，RTRL算法与BPTT算法都是梯度下降法在递归网络中的变形形式，训练方式可以分为在线和离线两种。所谓在线学习方式，或称串行方式或顺序方式，是指每次只输入一个样本进行学习，对权值修改，然后再学习下一个样本。而离线方式，或称集中方式，是一种数据批处·166·.com.cn. All Rights Reserved.科技前沿容易陷入局部极小；递算简单，运算方便，缺点是耗时较长，但使用时归网络的特点是具有动力学特性和联想记忆特性，需要注意稳定性和收敛性，且对初始状态具有高度敏感特可通过多种优化相结合的方性。针对两类神经网络的特点，法解决收敛较慢且容易陷入局部极小问题，应用参数学习训以练算法和网络结构优化算法对递归网络进行适当的调整，应用于具体问题。理的运算，顾名思义，是每次将一批数据同时输入网络进行通过将全时间段学习的方式。BPTT就是一种离线训练方式，求和然后调整权值，这种方式不适合应用于时效性较强的任务。在Williams之后的研究中，一种适合于递归神经网络在线进行梯度学习的算法被提出，也有学者将BPTT进行改进，使之应用于在线训练方式。Hinton于2006年在Science上发表文章，提出一种快速有效的递归神经网络训练算法，成功克服了传统BP算法的几个缺点，提出一种无监督的贪心Network逐层改进，，网络训练方法，命名为深度信念网(DeepBelief题，提出一种将神经网络和Al成功应用于递归网络的学习训练，DBN)，之后很多学者对该网络学习算法进行研究和-Tamimi等人研究了非ADP线性结合使用的控制方法，放射取得一定的成果。系统的最优控制由于问该方法的性能指标具有二次型的形式，因此适合于二次型最优控制在非线性系统中的应用，此外，在理论方面，也给出了神Vamvoudakis经网络逼近HJB方程的最优解和相关的收敛性证明。的逼近器方法，等人提出一种将神经网络作为评价和控制作用该方法首先采用梯度下降法对被控网络逼近器进行学习和建模，通过分析李亚普诺夫理论得到该算法中重要参数的选取范围，保证系统收敛，然后将该方法与在线自适应评价方法相结合，应用于连续系统无穷时域的优化控制问题中，实验结果表明具有较好的精度和收敛性。Fu等人研究和分析了某一类评价及控制的神经网络逼近器，对LM算法进行了改进，得到一种适用于计算雅克比矩阵的高效方法，并将该方法用于网络权值的训练，得到较好的效果。近几年，神经网络越来越多的应用于具有非行动依赖特性的自适应动态规划问题，这是因为系统的输入输出测量数据往往包含着系统内部的动力学特性，因此通过大量采集输入输出数据，通过数据驱动的方式对系统的动力学特性进行学习和模拟，能够利用递归网络来实现，因此递归网络是较好的系统辨识工具。Hayakawa等人在系统模型未知的条件下，采用基于数据驱动的方式利用神经网络对未知系统进行建模，该方法是利用神经网络的HDP控制策略具有较好收敛性的特点，分析取值参数，从而得到较好的系统模型。目前的一些无模型控制方法需要系统的全部状态具有可观可测，但实际上由于硬件条件的或者测量成本较高，往往难以保证测得所需信息。然而利用递归神经网络的动力学特性对未知系统进行建模，利用数据驱动模式实现建模是一种简单有效的方法。但在应用中，需要注意递归网络的精度往往影响到ADP最终的控制效果，这是因为如果逼近器精度不高，必然导致评价策略的精度不高，控制策略不能实现精确控制进一步影响下一环节的评价精度，造成恶性循环，甚至造成系统控制失败。因此，对于采用递归神经网络作为逼近器的ADP控制而言，递归神经网络需要对复杂的非线性动力学系统具有一个较高的逼近精度，才能提高评价网络的精度，进而提高评价结果的准确性。在不同领域中，任务往往各不相同，因此针对不同的动态系统，不同类型的递归网络的也相继被提出并得到研究，使之成为人工智能界的研究热点之一。因其具有独特的优化能力，联想记忆功能，递归神经网络已引起AI界极大的研究和关注，并成功应用于多种模式识别问题，例如图像处理，声音辨识，信号处理等。4结论本章分析和研究了神经网络的两种主要类型，前馈型和递归型，并对其特点进行了分析。前馈网络的主要特点是计·167·[1]Perez.N.GarciaevolvingCOVNET:-Pedrajas,参考acooperativeC.文Hervas献coevolutionary-Martinez,J.modelMunozfor-[2]K.onNeuralartificialNetworks,neuralnetworks[J].IEEETransactionfeedforwardHornick,M.Stinchcombe,2003,14(3):H.575-596.White.Multilayer[3]R.S.NeuralNetworks,networks19,are2:universal359-366.approximators[J].decisionSexton,modifiedeffectivenessR.S.Sriram,ofartificialH.Etheridge.Improving[4]2003,geneticalgorithmapproachneural[J].networks:DecisSci,a商琳34(3):421-442.[5]的分类方法,王金根,姚望舒，等.一种基于多进化神经网络S.U.infeedforwardAhmed,[J].M.软件学报neuralShahjahan,,2005,16(9):1577-1583.networksK.[J].Murase.NeuralInjectingchaos[6]Serkan2011,34(1):EvolutionaryKiranyaz,87-100.ProcessLett,TurkerInce,AlperdimensionalparticleartificialswarmneuraloptimizationnetworksYildirim,by[J].multietal.Neural-[7]H.A.Networks,2009,22:1448-1462.approachAbbass.forAnbreastevolutionarycancerdiagnosisartificialneuralnetworks[8]J.IntelligenceinMedicine,2002,25(3):[J].ArtificialEvolutionIionen,Networks[J].TrainingJ.K.Kamarainen,265-281.NeuralAlgorithmJ.Lampinen.DifferentialProcessingforLetters,Feed-forward2003,17Neural(1):[9]D.M.93-105.networkGeorge,P.P.Vassilis,N.V.Michael.learning-based[10]Computing,anddifferentialcolonoscopicevolutiondiagnosis[J].usingAppliedonNeural-lineSoftB.2004,(4):369-379.networksLiu,L.Wang,Y.H.Jin,etal.DesigningneuralLectureNotesusinginhybridComputerparticleScience.swarmoptimization[C].[11],2005Berlin:Springer[12]L.络快速训练研究,高阳:391-397.,夏洁[J]..基于差异进化算法的人工神经网管理学报,2005,2(4)networksB.Liu,Y.J.Wang,D.Huang.:450-454.ProceedingsusingofPSO-basedmemeticalgorithmDesigning[C].neuralin:[13]李祚泳Neural,Networksthe汪嘉杨,(ISNNFourth郭淳’.07),InternationalSymposiumonPSO2007,算法优化pp.219-224.[14]法及仿真实验HardwareM.G.Epitropakis,[J].电子学报,2008，36(11):2224-2228.BP网络的新方usingdistributed-friendlyevolutionaryhigherV.P.-orderPlagianakos,algorithmsneuralnetworkM.N.Vrahatis.[J].Appliedtraining.com.cn. All Rights Reserved.