基于人工鱼群算法的SVM 参数优化及应用
杨利红1，白静1，刘晓峰2**
作者简介：杨利红（1983-），女，研究生，主要研究方向：语音信号处理
通信联系人：白静（1965-），女，副教授，主要研究方向：语音信号处理. E-mail: bj613@126.com
（1. 太原理工大学 信息工程学院，太原 030024；
5 2. 太原理工大学 理学院数学系，太原 030024）
摘要：在支持向量机的应用中发现其学习性能的好坏与核函数及其参数选择有着直接的关
系，但由于应用不同，各类特征有很大的差别，并且无规律可循，目前参数选择没有固定的
方法。因此本文采用人工鱼群算法优化支持向量机参数，并将之运用在语音识别中。实验结
果表明，得到的参数可使支持向量机具有良好的泛化性能，且其语音识别结果较基于隐马尔
10 科夫模型的识别结果有较大的提高。
关键词：人工鱼群算法；支持向量机；语音识别
 30 0 引言
支持向量机(Support Vector Machine, SVM)是在统计学习理论基础上发展起来的新一代
学习算法，它根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷，以期获得
最好的推广能力。该算法在文本分类、手写识别、图像分类、生物信息等领域中或得了较好
的应用，它作为一种模式识别方法，具有很强的分类能力。
35 将支持向量机应用于语音识别有着巨大的研究潜力，而对于支持向量机核参数的优化也
具有重要的研究价值。支持向量机的核参数及惩罚因子的选择严重影响着其分类能力，研究
表明[1]，核参数及惩罚因子选取合适的值时，支持向量机的分类能力明显增强，然而其参数
的选取亟待完善。人工鱼群算法是一种基于模拟鱼群行为的优化算法，其结构简单、参数调
整简单易行，更适合计算机编程处理。因此，本文在确定核函数情况下，用人工鱼群算法对
40 支持向量机中的核参数及惩罚因子进行优化，将优选的参数用于基于支持向量机语音识别系
统中，并将实验结果与基于HMM语音识别结果进行比较。
 1 支持向量机算法
1.1 非线性支持向量机
支持向量机最初是针对线性可分情况下的两分类问题而提出的，然而现实问题几乎都是
45 非线性可分的，因此研究处理非线性可分情况的算法就显得尤为重要。如图1 所示，对于非
线性问题可以通过非线性变换转化为另一个空间（特征空间）中的线性问题，在特征空间中
求最优分类超平面。非线性变换产生的特征空间维数一般很大，容易遇到维数灾难的问题。
然而，支持向量机把原问题转化为对偶问题，计算的复杂度不再取决于空间维数，而是取决
于样本数量，尤其是样本中支持向量的数量，这样维数灾难的问题就很容易解决了。
50
一般来说，这种非线性变换的形式比较复杂，很难实现，但是注意到在线性划分问题中，
不论是优化的目标函数还是分类函数，都只涉及到向量的点积运算，即（ i j x ⋅ x ）的形式,
那么在高维特征空间中进行线性划分时，也必然涉及到( ) ( ) i j φ x ⋅φ x 的形式。因此，如果存
在一个核函数K（ i x , j x ）满足Mercer 条件，那么它对应某一变换空间中的内积
( i , j ) ( i ) ( j ) 55 K x x = φ x ⋅φ x 就能用原输入空间中的函数来实现高维特征空间中的内积，这样
就不必知道映射φ 的具体形式了。引入核函数K（ i x , j x ）后，优化问题等价于：
( ) ΣΣ ( ) Σ
= = =
∂
∂ = ∂ ∂ − ∂
l
i
j i j i j i
l
i
l
j
i W y y K x x
1 1 1
,
2
min 1 （ 1 ）
S.T.: 0
1
= ∂ Σ=
i
l
i
i y
C i 0 ≤ ∂ ≤ ,其中i = 1, ……，l 。
60 决策函数为：
( ) ( ) ⎟⎠
⎞
⎜⎝
⎛
+ ∂ = Σ=
∗ ∗
l
i
i i i f x y K x x b
1
sgn , （ 2 ）
其中( , ), { 0}
1
= − ∂ ∗ ∀ ∈ ∂∗ >
=
∗ Σ i i j j
l
i
j j b y y K x x j j ，C 是对于错分样本的惩罚参数。因此，
输入空间 特征空间
非线性变换
图1 非线性变换示意图
Fig. 1 The Schematic Diagram of Nonlinear Transform
 在支持向量机中构造学习机的复杂程度取决于支持向量的数目而不是特征空间的维数。
1.2 支持向量机的模型参数选择
65 支持向量机中的非线性变换问题是由核函数解决的，它把原本应该在高维特征空间中的
计算在输入空间就完成了，即用原空间的函数来实现变换空间中的点积。这样，支持向量机
由训练样本集和核函数确定，只要选择合适的核函数就可以得到高维空间的分类函数，因此，
采用不同的核函数就可以实现输入空间中不同类型的非线性决策面的学习机，构造不同的支
持向量算法。
70 支持向量机学习性能的好坏与核函数及其参数选择有着直接的关系，适当的选择支持向
量机模型可以获得更好的分类能力和泛化能力。研究表明[2]径向基（RBF）核函数具有良好
的性能和较强的学习能力，因此本文仍采用RBF 函数作为核函数，其表达式为：
K（ i x , x j ） exp( i j )2 = −γ x − x （ 3 ）
对应式（1）的最优化问题就转化为式（4）所表示的最小化问题
ΣΣ Σ
= = =
∂
∂ ∂ − − − ∂
n
i
j i j i j i
n
i
n
j
i y y x x
i 1
2
1 1
exp( )
2
75 min 1 γ （ 4 ）
其中S.T.: y C i i
n
i
i ≤ ∂ ≤ = ∂ Σ=
0,0
1
式（4）的最小值的取值将取决于参数（C，γ ）的选择，选择最佳的参数就可以优化
SVM 分类器的性能。
惩罚参数C 是在确定的特征空间中调节支持向量机的置信范围和经验风险的比例，确
80 定结构风险，决定间隔最大和错误率最小的比例，当C 较小时，对于错分的样本惩罚力度
较小，此时学习机器的复杂度小而经验风险值较大；当C 较大时，惩罚力度就大。核函数
参数γ 主要影响样本数据在高维特征空间中分布的复杂程度。但因为具体学习对象的不同，
特征相差较大且没有固定的规律，目前参数选择还没有形成统一的模式，因此本文采用人工
鱼群算法来优化C 与γ 。
85 1.3 用人工鱼群算法优化SVM 参数
人工鱼群算法[3]是应用动物自治体的模型提出的一种自下而上的寻优策略，着重构造动
物自治体的模型并且采用基于行为的多并行通路结构。该算法主要是利用了鱼群的觅食、聚
群和追尾行为，从构造单条鱼的底层行为做起，通过鱼群中各个体的局部寻优，达到全局最
优值在群体中突现出来的目的。人工鱼群算法具有良好的克服局部极值、取得全局极值的能
90 力，并且算法中只使用目标函数的函数值，无需目标函数的梯度值等特殊信息，对搜索空间
具有一定的自适应能力。
将人工鱼群算法产生的初始种群作为SVM 参数，代入这些参数进行SVM 模型训练和
测试，文中实验将语音词库分为两部分并分别作为训练样本和测试样本，试验后返回一系列
训练样本识别率，然后通过聚群、追尾、觅食等行为寻优产生下一代参数种群，再利用新生
95 子群重复上述操作，进行迭代，直到满足人工鱼群算法中设计的终止条件，并将得到的最优
参数、最优参数模型作为最终预测模型，如图2 为人工鱼群算法优化SVM 参数流程。
 本文选择RBF 函数，所以SVM 的参数优化[4]可看作是寻找合适的C 和γ ，参数C 与γ
构成的二维数组，使SVM 有较好的分类性能，即使适应值最大。运用人工鱼群算法在参数
100 C 和γ 构成的二维平面上寻优，建模的步骤如下：
Step1：初始化，产生初始种群确定SVM 参数向量（C，γ ）的范围及算法中其他参数
的值。
Step2：代入SVM 模型，利用初始种群对训练集进行训练，由训练好的模型对测试集进
行测试，将总体测试样本识别率转换成该模型的适应值。
105 Step3:依据适应值，对（C，γ ）进行觅食、聚群、追尾等行为进行寻优，产生下一代
参数（C，γ ）种群。
Step4：利用得到的子代参数（C，γ ）种群，重新对SVM 进行训练和测试并计算相应
的适应值，进行判断，如果满足人工鱼群算法中训练停止准则，则转到Step5，否则，返回
Step3 继续执行。
110 Step5：结束训练，此时得到的参数（C，γ ）为最终模型的参数。
2 仿真实验与分析
本次实验的环境和数据是9 人在不同SNR (15 dB、20 dB 、25dB、30dB、无噪音)下
的孤立词发音作为训练数据库。语音信号采样频率为11.02Khz,帧长N 为256 点，帧移M
为128 点。噪声为人为添加的Gaussian 白噪声。语音样本数据的词汇量分别为10 词、20 词、
115 30 词、40 词和50 词，每人每个词发音3 次。因此，整个数据集在不同SNR 下分别有10、
20、30、40 和50 个类别，对应的训练样本分别有270、540、810、1080 和1350 个。测试
开始
结束
初始化SVM 参数
送入SVM 进行训练
计算个体适应值
进行迭代寻优
输出结果
送入SVM 进行测试
满足终止条件
Yes
No
图2 人工鱼群算法优化SVM流程图
Fig.2 T he SVM Flow Optimized by AFSA
 样本由另外7 人在相应的SNR 和词汇量下，对每个词发音3 次得到，对应的测试样本分别
有210、420、630、840 和1050 个，实验结果见表1。
120 表1 SVM在不同信噪比、不同词汇量下的识别结果
Tab. 1 The Comparison of Recognition Rate of SVM
SNR
词数 15dB 20 dB 25 dB 30 dB clean
10 94.29 95.71 95.24 94.76 96.67
20 94.92 94.52 93.57 93.27 93.81
30 95.25 95.71 94.60 92.78 94.32
40 95.60 94.88 96.19 92.52 93.83
50 94.29 94.38 95.90 94.19 93.26
隐马尔科夫模型（HMM）是目前语音识别效果较好的少数几种方法之一，本文列出了
同样实验条件下使用HMM 识别网络的识别结果[5]，如表2 所示。
125
表2 HMM 在不同信噪比、不同词汇量下的识别结果
Tab. 2 The Comparison of Recognition Rate of HMM
SNR
词数 15dB 20 dB 25 dB 30 dB clean
10 86.67 91.90 92.86 93.33 95.24
20 83.80 88.57 90.47 91.47 93.57
30 83.33 87.73 90.32 90.48 93.74
原创学术论文网Tag：职称论文发表 代写代发论文 通信论文发表 通信论文代写