支持向量机的缺陷及改进算法

计算机与现　Ｌ化　２０１２年第２期　ＪＩＳＵＡＮＪＩ　ＹＵ　ＸＩＡＮＩ）ＡＩｔ　　Ｉｌ　Ａ　总第１９８期　文章编号：１００６．２４７５（２０１２）０２－０００５－０３　支持向量机的缺陷及改进算法　郭光绪　（南京航空航天大学计算机科学与技术学院，江苏南京２１００１６）　摘要：传统支持向量机通常关注于数据分布的边缘样本，支持向量通常在这些边缘样本中产生。本文提出一个新的支持　向量算法，该算法的支持向量从全局的数据分布中产生，其稀疏性能在大部分数据集上远远优于经典支持向量机算法。　该算法在多类问题上的时间复杂度仅等价于原支持向量机算法的二值问题，解决了设计多类算法时变量数目庞大或者　二值子分类器数目过多的问题。　关键词：支持向量机；稀疏性；多类问题；推广性能　中图分类号：ＴＰ３０１．６　文献标识码：Ａ　ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００６－２４７５．２０１２．０２．００２　Ｄｅｆｉｃｉｅｎｃｉｅｓ　ｏｆ　Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅｓ　ａｎｄ　Ｉｔｓ　Ｉｍｐｒｏｖｅｄ　Ａｌｇｏｒｉｔｈｍ　ＧＵＯ　Ｇｕａｎｇ—ＸＵ　（ＣｏＨｅｇｅ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆＡｅｒｏｎａｕｔｉｃｓ＆Ａｓｔｒｏｎａｕｔｉｃｓ，Ｎａｎｊｉｎｇ　２１００１６，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｔｒａｄｉｔｉｏｎａｒｙ　ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ（ＳＶＭｓ）ｕｓｕａｌｌｙ　ｆｏｃｕｓ　ｏｎ　ｅｄｇｅ　ｐａｔｔｅｒｎｓ　ｏｆ　ｄａｔａ　ｄｉｓｔｉｒｂｕｔｉｏｎ，ａｎｄ　ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒｓ　（ＳＶｓ）ｕｓｕａｌｌｙ　ｇｅｎｅｒａｔｅｓ　ｆｒｏｍ　ｔｈｅｓｅ　ｐａｔｔｅｒｎｓ．Ｔｈｉｓ　ｐａｐｅｒ　ｐｒｏｐｏｓｅｓ　ａｎ　ａｌｔｅｎｒａｔｉｖｅ　ｌａｇｏｒｉｔｈｍ，ｗｈｉｃｈ　ｇｅｎｅｒａｔｅｓ　ＳＶｓ　ｆｒｏｍ　ａｌｌ　ｔｒａｉｎｉｎｇ　ｐａｔｔｅｒｎｓ．Ｔｈｅ　ｓｐａｒｓｉｔｙ　ｏｆ　ｔｈｅ　ａｌｇｏｒｉｔｈｍ　ｉｓ　ｖａｌｉｄａｔｅｄ　ｏｎ　ｍｏｓｔ　ｄａｔａ　ｓｅｔｓ　ｆａｒ　ｂｅｔｔｅｒ　ｔｈａｎ　ｔｙｐｉｃａｌ　ＳＶＭｓ．Ｔｈｅ　ｃｏｍｐｌｅｘｉｔｙ　ｏｆ　ｔｈｅ　ａｌｇｏｒｉｔｈｍ　ｉｎ　ｍｕｌｔｉ－ｃｌａｓｓ　ｐｒｏｂｌｅｍｓ　ｉｓ　ｍｅｒｅｌｙ　ｅｑｕｉｖａｌｅｎｔ　ｔｏ　ｔｗｏ　ｃｌａｓｓ　ＳＶＭｓ，ｗｈｉｃｈ　ｇｒｅａｔｌｙ　ｓｏｌｖｅｓ　ｔｈｅ　ｐｒｏｂｌｅｍｓ　ｏｆ　ｔｏｏ　ｍａｎｙ　ｖａｒｉａｂｌｅｓ　ｏｒ　ｔｏｏ　ｍａｎｙ　ｂｉｎａｒｙ　ｃｌａｓｓｉｉｆｅｒｓ　ｉｎ　ｍｕｌｔｉ—ｃｌａｓｓ　ＳＶＭｓ．　Ｋｅｙ　ｗｏｒｄｓ：ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ；ｓｐａｒｓｉｔｙ；ｍｕｌｔｉ—ｃｌａｓｓ　ｐｒｏｂｌｅｍｓ；ｇｅｎｅｒａｌｉｚａｔｉｏｎ　０　引　言　本，这种方法通常需要求解一个ｋ×ｎ个变量的二次　规划问题，当训练样本较多时，实现较为困难。　支持向量（ＳＶｓ）的数目是评价支持向量机　本文提出一个新颖的ＳＶＭ算法，该算法从全局　（ＳＶＭｓ）¨刮算法的重要指标。少的支持向量数目能　数据分布中选择支持向量，大大减少了支持向量的数　够提高分类器的分类速度，因此一些稀疏算法如ｌ—　目。并且在多类问题的应用上，仅需要一个分类器，　ｎｏｒｌｎ　ＳＶＭ　、Ｌｐ・ＳＶＭ　、自适应Ｌｐ—ＳＶＭ　等被相继　且算法的时间复杂度仅等价于ＳＶＭ的两类问题。　提出。然而这些算法所获得的支持向量仍然倾向于　数据分布的边缘样本，为了刻画出数据的分布，所需　１　改进算法　的支持向量数目仍然很多。　给定训练集合Ｓ＝｛（Ｘ　，Ｙ　）…．，（ｘ　，ｙ　）｝，其　对于多类问题，ＳＶＭ通常有两类解决方法：（１）　中有１１３个训练样本。首先考虑两类问题，即ｙｉ＝±１。　通过构造多个二值子分类器，如“ｏｎｅ—ａｇａｉｎｓｔ—ａｌｌ”、　本文使用文献［１３］中的无偏置（ｕｎｂｉａｓｅｄ）分类器　“ｏｎｅ—ａｇａｉｎｓｔ，ｏｎｅ’’　引、ＤＡＧＳＶＭ　Ｅ　和ＥＣＯＣ　ＳＶＭ　Ｅ　引。　框架：　如果有ｋ类样本，“ｏｎｅ．ａｇａｉｎｓｔ－ａｌｌ”需要训练ｋ个二值　ｆ（ｘ）：　ｉｙ．Ｋ（ｘｉ，ｘ）　（１）　子分类器，而“ｏｎｅ—ａｇａｉｎｓｔ．ｏｎｅ”则需训练ｋ（ｋ．１）／２个　其中Ｋ（・，・）为核函数，也可以看作是ｘ　与ｘ间的相　二值子分类器。（２）在一个目标函数中同时考虑所　似性度量；仅ｉ为第ｉ个训练样本ｘｉ的权重，令向量　有子分类器的优化参数¨。。”］。如果有ｎ个训练样　＝［仅　．ＯＬ　］　，Ｙ＝［Ｙ　．Ｙ　］　。优化如下的目标　收稿日期：２０１１．１０－２６　作者简介：郭光绪（１９８７－），男，江苏如皋人，南京航空航天大学计算机科学与技术学院硕士研究生，研究方向：模式识别，人　工智能。　６　计算机与现代化　２０１２年第２期　函数：　ｍｉｎ　（ｙ　ｆ（ｘｊ）～１）　ｓ．ｔ．１Ｔｏｔ　Ｄ，类思想，优化如下目标函数：　（２）　（３）　ｍｉｎ　ｉ　；　（ｘｊ）一ｆｏ（ｘｊ）一１］　，（１４）　（１５）　０【　０　ｓ．ｔ．１Ｔｃｔ　Ｄ０【≥０　其中参数Ｄ用来调节　的稀疏性　Ｈ］，通过交叉验证　式（１４）写成矩阵的形式为：　来确定。　定义矩阵Ｋ＝［Ｋ（Ｘｉ，ｘｉ）］为ｍ　Ｘ　ｎｌ的核矩阵，定　义向量ｆ＝［ｆ（ｘ，）…ｆ（ｘ　）］　，则ｆ＝Ｋ　ｄｉａｇ（Ｙ）　，　且式（２）可以写成矩阵的形式：　ｍｉｎ　ｏｔＴｄｉａｇ（Ｙ）ＫＫ　ｄｉａｇ（ｙ）　一２ｃｔ　ｄｉａｇ（ｙ）Ｋｙ　（４）　约束条件仍为式（３）。最终算法需要求解一个　ｍ阶的线性约束二次规划问题。算法的时间复杂度　等同于ＳＶＭ。　２算法的多类问题应用　不同于两类问题，在ｋ类问题中Ｙ　∈｛１，…，ｋ｝。　定义　（ｘ）＝∑ＯｔｉＫ（ｘ　，ｘ）　（５）　ｆ一　（ｘ）＝∑ｏｌｉＫ（ｘ；，ｘ）　（６）　则ｆｃ（ｘ）可看做样本ｘ属于Ｃ类的置信度度量，　ｆ（ｘ）为样本不属于ｃ类的置信度度量。因此，如果　一个样本Ｘ属于Ｃ类，希望　（Ｘ）越大越好，而ｆ一　（ｘ）　越小越好。定义ｍ阶对角矩阵矩阵Ｉ　和Ｉ～　：　ｉ，ｉ　＝　三　㈩　则　（　ｊ）＝　Ｉ　Ｋ：ｊ　（８）　ｆ一　（Ｘｉ）＝仅　Ｉ一　Ｋ：ｉ　（９）　首先使用类似“ｏｎｅ—ａｇａｉｎｓｔ．ａｌｌ”的多类分类处理　策略，将一类训练样本看作正类样本，其余训练样本　都看作负类。优化下面的目标函数：　ａｒｉｎ∑．∑［　（ｘｉ）一ｆ一。（ｘｉ）一１］　（１０）　Ｓ．ｔ．１Ｔｏｔ　Ｄ，０【　Ｏ　（１１）　将式（８）和式（９）代人式（１０），得到：　ｍｉｎ塞仪　（Ｉ　．．一　）ＫＩ　Ｋ　（Ｉ　一Ｉ＿ｏ）　一２量仅　（Ｉ　一Ｉ＿ｏ）　ＫＩ　１　（１２）　输出的分类器形式为：　＝ａｒｇ　ｍａ）【‘（ｘ）　（１３）　因为目标函数中仅有ｉｎ个变量，变量的数目与　类别数目无关，优化仅需求解一个ｍ阶的二次规划　问题，它的时间复杂度等价于二值ＳＶＭ分类器求解。　而通常的多类ＳＶＭ算法至少需要求解ｋ×ｉｎ个变量　（ｋ个子分类器）。　同样也可以采用类似“ｏｎｅ．ａｇａｉｎｓｔ．ｏｎｅ”的多类分　ｍｉ嘱　善；０【Ｔ（Ｉ　一Ｉ　）Ｋ　ＫｊＴ　（Ｉｙｊ—Ｉｏ）＿ｊ曼ｑ　（２Ｉ　Ｉ）Ｋ：ｊ　（１６）　不同于“ｏｎｅ—ａｇａｉｎｓｔ—ｏｎｅ”的ＳＶＭ，该问题同样仅　仅需要求解Ｉｎ个变量。　３　实验　在下面的实验中Ｋ（・，・）采用ＲＢＦ核函数，即：　Ｋ（ｘＩ，　ｊ）＝ｅｘｐ（一．Ｙ　ＩＩ　ｘｉ一　ｊ　ＩＩ　），　＞０　（１７）　验证参数　的范围是｛２　。，２～…．，２ｍ｝，参数Ｄ的　范围选择｛２’，２　…．，２加｝，－ｙ和Ｄ通过ｆｉｖｅ—ｆｏｌｄ交叉　验证确定。　首先在人工数据集上比较本文的算法和ＳＶＭ支　持向量选择的不同、　一　图１人工数据集的实验结果（左边为本文　算法，右边为ＳＶＭ。圈表示支持向量）　从图ｌ可以看出，本文算法选择的支持向量数日　明显少于ＳＶＭ的支持向量。在图１上面的数据集　上，本文算法的支持向量数目为１３个，ＳＶＭ为４７个；　在图ｌ下面的数据集上，本文算法的支持向量数为５　个，而ＳＶＭ为２５４个。并且可以看出支持向量的分　布也明显不同，ＳＶＭ的支持向量主要出现在数据分　布的边缘或者说是数据分布的重叠区域，本文算法主　要出现在数据分布的中心。　第二个实验，笔者选择ＵＣＩ数据库中的８个数据　集（后４个为多类），来观察算法在真实数据机上的　分类情况。对于多类数据，本文算法选择优化式　２０１２年第２期　郭光绪：支持向量机的缺陷及改进算法　７　（１０）、（１１），ＳＶＭ采用“ｏｎｅ—ａｇａｉｎｓｔ－ａｌｌ”策略。实验重　复ｌ０次，实验结果如表ｌ所示。　表１　ＵＣＩ数据集上的实验结果　本文算法　测试误差　ｌ３．８±４．８　３０．９±２．６　ｌ６．７±２．６　２３．１±１．６　４．２±１．７　４９．０±５．３　５．９±２．０　４１．６±１．１　ｃｈｉｎｅｓ［Ｃ］／／Ａｄｖａｎｃｅｓ　ｉｎ　Ｎｅｕｒｌａ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ　Ｓｙｓｔｅｍｓ．２００４：４９・５７．　ｌ　Ｉ４　　Ｂｒａｄｌｅｙ　Ｐ　Ｓ，Ｍａｎｇａｓａｒｉａｎ　０　Ｌ．Ｍａｓｓｉｖｅ　ｄａｔａ　ｄｉｓｃｒｉｍｉｎａｔｉｏｎ　ｖｉａ　ｌｉｎｅａｒ　ｓｕｐｐｏ￣ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ［Ｊ］．Ｏｐｔｉｍｉｚａｔｉｏｎ　Ｍｅｔｈ—　数据集　Ａｕｔｏｍｏｂｉｌｅ　Ｂｕｐａ　Ｈｅａｒｔ　Ｐｉｍａ　ｌｒｉｓ　Ｔａｅ　Ｔｈｖｒｏｉｄ　Ｙｅａｓｔ　ＳＶＭ　测试误差　ｌ６．７±４．Ｏ　３Ｏ．１±２．９　１７．４±２．１　２４．２±１．３　４．７±１．７　４９．９±５．７　５．２±１．９　４０．８±１．７　ｏｄｓ　Ｓｏｆｔｗａｒｅ，２０００，１３（１）：１・１０．　ＳＶ数目　４３　２１　２５　２４　２３　４８　３９　１４９　ＳＶ数目　５０　１１８　６５　２０８　７７　１６８　４５　１６０１　［５］　Ｌｉｕ　Ｙ，Ｚｈａｎｇ　Ｈ　Ｈ，Ｐａｒｋ　Ｃ，ｅｔ　ａ１．Ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ　ｗｉｔｈ　ａｄａｐｔｉｖｅ　Ｌｑ　ｐｅｎａｌｔｙ［Ｊ］．Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｓｔａｔｉｓｔｉｃｓ　ａｎｄ　Ｄａｔａ　Ａｎｕａｌｙｓｉｓ，２００７，５１（１２）：６３８０－６３９４．　ｎ　Ｋ　Ｋ．Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅｓ　Ａｐｐｌｉｅｄ　ｔｏ　Ｓｐｅｅｃｈ　Ｐａｔ・　［６］　Ｃｈｉｔｅｒｎ　Ｃｌａｓｓｉｉｆｃａｔｉｏｎ［Ｄ］．Ｕｎｉｖ．Ｃａｍｂｒｉｄｇｅ，Ｃａｍｂｒｉｄｇｅ，Ｕ　Ｋ，１９９８．　ａｔｔ　Ｊ　Ｃ，Ｃｒｉｓｔｉａｎｉｎｉ　Ｎ，Ｓｈａｗｅ—Ｔａｙｌｏｒ　Ｊ．Ｌａｒｇｅ￣ｒｓｉｎ　ＤＡＧ’　［７］　Ｐｌｓ　ｏｒｆ　ｍｕｌｔｉｃｌａｓｓ　ｃｌａｓｓｉｉｆｃａｔｉｏｎ［Ｃ］／／Ａｄｖａｎｃｅｓ　ｉｎ　Ｎｅｕｒｌａ　Ｉｎ．　ｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ　Ｓｙｓｔｅｍｓ．Ｃａｍｂｒｉｄｇｅ，ＭＡ：ＭＩＴ　Ｐｒｅｓｓ，　２ＯＯＯ：５４７－５５３．　从表ｌ可以看出，本文算法就测试误差而言与　ＳＶＭ相当。而本文算法的支持向量数目在这８个数　［８］　Ｐｕｊｏｌ　０，Ｅｓｃａｌｅｒａ　Ｓ，ｅｔ　ａ１．Ａｎ　ｉｎｃｒｅｍｅｎｔａｌ　ｎｏｄｅ　ｅｍｂｅｄｄｉｎｇ　据集中都少于ＳＶＭ，并且本文算法在其中６个数据　集中的支持向量数目都小于ＳＶＭ的一半，甚至在一　些数据集（如Ｐｉｍａ，Ｙｅａｓｔ）上，本文算法的支持向量　数大约只有ＳＶＭ的十分之一。　ｔｅｃｈｎｉｑｕｅ　ｆｏｒ　ｅｒｒｏｒ　ｃｏｒｒｅｃｔｉｎｇ　ｏｕｔｐｕｔ　ｃｏｄｅ［Ｊ］．Ｐａｔｔｅｒｎ　Ｒｅｃ－　ｏｇｎｉｔｉｏｎ，２００８，４１（２）：７１３－７２５．　［９］　Ｐｕｊｏｌ　０，Ｒａｄｅｖａ　Ｐ，ｅｔ　ａ１．Ｄｉｓｅｒｉｍｉｎａｎｔ　ＥＣＯＣ：Ａ　ｈｅｕｒｉｓｔｉｃ　ｍｅｔｈｏｄ　ｆｏｒ　ａｐｐｌｉｃａｔｉｏｎ　ｄｅｐｅｎｄｅｎｔ　ｄｅｓｉｇｎ　ｏｆ　ｅｒｒｏｒ　ｃｏｒｒｅｃｔｉｎｇ　ｏｕｔｐｕｔ　ｃｏｄｅｓ［Ｊ］．ＩＥＥＥ　Ｔｒａｎｓ．ｏｎ　Ｐａｔｔｅｒｎ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｍａ—　ｃｈｉｎｅ　ＩｎｔｅＨｉｇｅｎｃｅ，２００６，２８（６）：１００７・１０１２．　４　结束语　本文提出一个新颖的支持向量机算法，算法的支　持向量从全局数据分布中产生。本文算法能够简单　地推广到多类问题中，且相应的多类问题的时间复杂　度仅仅等价于ＳＶＭ的二值问题，所要求解的变量数　［１０３　Ｖａｐｎｉｋ　Ｖ．Ｓｔａｔｉｓｔｉｃａｌ　Ｌｅａｒｎｉｎｇ　Ｔｈｅｏｒｙ［Ｍ］．Ｎｅｗ　Ｙｏｒｋ：Ｗｉ—　ｌｅｙ，１９９８．　ｏｎ　Ｊ，Ｗａｔｋｉｎｓ　Ｃ．Ｍｕｌｔｉ・ｃｌａｓｓ　Ｓｕｐｐｏｒｔ　Ｖｅｃｔｏｒ　Ｍａｃｈｉｎｅｓ　［１１］　Ｗｅｓｔ［Ｒ］．Ｔｅｃｈｎｉｃａｌ　Ｒｅｐｏｒｔ　ＣＳＤ　ＴＲ．９８－０４，Ｄｅｐａｒｔｍｅｎｔ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ，Ｒｏｙａｌ　ＨｏＵｏｗａｙ，Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　目等于训练样本数目，与类别数无关。实验结果表　明，本文算法的推广性能和ＳＶＭ相当，而所获得的支　持向量数目却远远小于ＳＶＭ。　参考文献：　Ｌｏｎｄｏｎ，１９９８．　Ｃｒａｍｍｅｒ　Ｋ，Ｓｉｎｇｅｒ　Ｙ．Ｏｎ　ｔｈｅ　ｌｅａｒｎａｂｉｌｉｔｙ　ａｎｄ　ｄｅｓｉｇｎ　ｏｆ　ｏｕｔ・　［１２］　ｐｕｔ　ｃｏｄｅｓ　ｆｏｒ　ｍｕｌｔｉｃｌａｓｓ　ｐｒｏｂｌｅｍｓ［Ｊ］．Ｍａｃｈｉｎｅ　Ｌｅａｒｉｎｇ，　２００２，４７（２－３）：２０１－２３３．　ｎｇｅｒ　Ｙ．Ｏｎ　ｔｈｅ　ａｌｇｏｒｉｔｈｍｉｃ　ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｏｆ　［１３］　Ｃｒａｍｍｅｒ　Ｋ．Ｓｉ［１］　Ｃｏｒｔｅｓ　Ｃ，Ｖａｐｎｉｋ　Ｖ．Ｓｕｐｐｏｒｔ－ｖｅｃｔｏｒ　ｎｅｔｗｏｒｋｓ［Ｊ］．Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ，１９９５，２０（３）：２７３－２９７．　ｍｕｌｔｉｃｌａｓｓ　ｋｅｒｎｅｌ—ｂａｓｅｄ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅｓ［Ｊ］．Ｊｏｕｍａｌ　ｏｆ　Ｍａ．　ｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ　Ｒｅｓｅａｒｃｈ，２００２，２（２）：２６５－２９２．　ｂｓｈｉｒａｎｉ　Ｒ．Ｒｅｇｒｅｓｓｉｏｎ　ｓｈｒｉｎｋａｇｅ　ａｎｄ　ｓｅｌｅｃｔｉｏｎ　ｖｉａ　ｔｈｅ　［１４］　Ｔｉ［２］Ｖａｐｎｉｋ　Ｖ．Ｔｈｅ　Ｎａｔｕｒａｌ　ｏｆ　Ｓｔａｔｉｓｔｉｃａｌ　Ｌｅａｒｎｉｎｇ　ｈｅｏｒＴｙ［Ｍ］．　Ｎｅｗ　Ｙｏｒｋ：Ｓｐｒｉｎｇｅｒ．１９９５．　ｌｓｓａｏ［Ｊ］．Ｊ．Ｒｏｙａｌ　Ｓｔａｔｉｓｉｔｃａｌ　Ｓｏｃ．Ｂ，１９９６，５８（１）：２６７－２８８．　［３］Ｚｈｕ　Ｊ，Ｒｏｓｓｅｔ　Ｓ，Ｈａｓｔｉｅ　Ｔ，ｅｔ　ａ１．１－Ｂｏｎｎ　ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍｓ－　．‘屯．１‘Ｊ　．　Ｌ．　Ｌ．‘ＩＬ．　．‘‘．Ｓ　．‘止　Ｊ　．．址．‘也　．址．址．‘－Ｌ．‘止．　上．．ｊ止．‘ＩＬ．　．‘ｔ．址．；－Ｌ　（上接第４页）　Ａｄｖａｎｃｅｓ　ｉｎ　Ｎａｔｕｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｒｅｓｅａｒｃｈ　ｏｎ　Ｃｏｍｐｕｔｉｎｇ　Ｓｃｉｅｎｃｅ，２００６，１８：１５１—１６２．　［１　１］徐凤亚，罗振生．文本自动分类中特征权重算法的改进研　究［Ｊ］．计算机工程与应用，２００５，４１（１）：１８１．１８４，２２０．　［１２］Ｊａｍｅｓ　Ａｕｅｎ．Ｎａｔｕｒａｌ　Ｌａｎｇｕａｇｅ　Ｕｎｄｅｒｓｔｎｄｉａｎｇ［Ｍ］．Ｔｈｅ　Ｂｅｎｊａｍｉｎ／Ｃｕｍｍｉｎｇｓ　Ｐｕｂｌｉｓｈｉｎｇ　Ｃｏｍｐａｎｙ，Ｉ９９１．　［９］骆正清，陈增武，王泽兵，等．汉语自动分词研究综述ｆＪ］．　浙江大学学报：自然科学版，１９９７，３１（３）：３０６．３１２．　［１３］胡鑫．中文文本分类的特征选取研究［Ｊ］．甘肃科技，　２００６，２２（５）：１１９－１２０．　［１０］Ｓａｌｔｏｎ　Ｇ，Ｗａｎｇ　Ａ，Ｙａｎｇ　Ｃ　Ｓ．Ａ　ｖｅｃｔｏｒ　ｓｐａｃｅ　ｍｏｄｅｌ　ｆｏｒ　ａｕ．　ｔｏｍａｔｉｃ　ｉｎｄｅ￣ｎｇ［Ｊ］．Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ　ｏｆ　ｔｈｅ　ＡＣＭ，１９７５，　１８（１１）：６１３－６２０．　［１４］宋枫溪，高林．文本分类器性能评估指标［Ｊ］．计算机工　程，３０（１３）：１０７．１０９，１２７．