班级 学号 03073004
本 科 毕 业 设 计 论 文
题 目 随机子空间方法在高维数据分析
中的应用与实现
学 院 计算机学院
专 业 教育技术学
学生姓名 王 博导师姓名 杨利英
毕业设计（论文）诚信声明书
本人声明：本人所提交的毕业论文《结合局部搜索的粒子群优化算法研究及应用》是本人在指导教师指导下独立研究、写作的成果，论文中所引用他人的无论以何种方式发布的文字、研究成果，均在论文中加以说明；有关教师、同学和其他人员对本文的写作、修订提出过并为我在论文中加以采纳的意见、建议，均已在我的致谢辞中加以说明并深致谢意。
本论文和资料若有不实之处，本人承担一切相关责任。
论文作者： （签字） 时间： 年 月 日 指导教师已阅： （签字） 时间： 年 月 日
摘 要
摘 要
在过去的几十年内，数据采集能力的提高以及存储容量的增长，导致了科学研究的很多领域中信息量急剧增长，它向人们提供更加丰富、细致的信息的同时也造成了大量的信息冗余。在机器学习和模式识别领域的应用中，高维数据产生的维数灾难问题通常会影响传统算法的性能。分析了传统算法在处理大规模、高维数据时遇到的困难和问题,比较了各种降维方法的优劣，从原理上论证了随机子空间算法处理大规模、高维数据集的优势。
本文调查了随机子空间集成方法去修正与适应基于模式识别和机器学习的高维数据的挑战。随机子空间方法属于子空间取样技术,通过将训练样本集映射到特征空间的子空间中形成新的训练集，而后在每一新的训练集上训练一个分类器。相比一般模式识别问题，对高维数据进行分析时，随机子空间学习不必受限于特征的重复使用。面对大规模的特征向量，需要挑选出数量和容积都满足要求的特征子集，形成特征子集集合训练分类器。本文提出的随机子空间集成方法也可以推广到其它相关方面的应用中去。
关键词：维数灾难 随机子空间方法 特征向量 模式识别
Abstract
Abstract
The improving abilities of data collection and storage capabilities during the past decades have led to information overload in most scientific domains. Traditional algorithms used in machine learning and pattern recognition applications are often susceptible to the well-known problem of the curse of dimensionality. Because tradition algorithms encounter many difficulties and challenges when dealing with the high dimensional data, we compare the advantages and shortcomings of different dimensional reduction methods, and then conclude that random subspace ensembles are essential and useful.
In this paper, we investigate the revision and adaptation of serious challenge of high dimensional data to pattern recognition and machine learning using random subspace ensembles. Random subspace methods belong to subspace sampling technology, which make training samples mapped to the subspace of feature space to form new training sets, and then on each new training set training a classifier. Compared to general pattern recognition problems, when high-dimensional data analysis, random subspace learning is not restricted to reusing of feature. Facing the large-scale feature vector, we need to pick feature subset whose quantity and volume meet the requirements to form feature subset set training classifier. The random subspace ensembles, proposed in this paper, could also be generalized to other related aspects of application.
Keyword： Curse of Dimensionality
Random subspace ensembles feature vector pattern recognition
目 录 i
目录
第一章 绪论 ......................................................... 1
1.1 研究背景 .................................................... 1
1.2 维数灾难 .................................................... 2
1.3 集成特征选择方法和随机子空间集成方法 ........................ 3
1.4 本文总体结构 ................................................ 4
第二章 基本PSO和PSO-LS算法 ....................................... 5
2.1 PSO算法 ..................................................... 5
2.1.1 基本PSO算法的基本原理 ................................. 5
2.1.2 PSO算法流程 ........................................... 5
2.1.3 PSO算法的伪程序 ....................................... 6
2.1.4 PSO算法的研究与改进 ................................... 7
2.2 局部搜索算法——爬山算法 .................................... 8
2.3 结合局部搜索的粒子群优化算法 ................................ 9
2.4 PSO和PSO-LS中参数的分析和设置 .............................. 9
第三章 PSO-LS算法在图像融合中的应用 ............................... 13
3.1 什么是图像融合 ............................................. 13
3.2 像素级图像融合的基本方法 ................................... 14
3.3 实验软件MATLAB简介 ........................................ 14
3.4 基于PSO算法的图像融合 ..................................... 15
3.5 基于PSO-LS算法的图像融合 .................................. 16
3.6 实验数据 ................................................... 16
3.7 实验中相关参数设置 ......................................... 19
第四章 实验结果和结论 .............................................. 21
4.1 实验结果 ................................................... 21
4.2 实验结果分析和结论 ......................................... 26
第五章 总结和展望 .................................................. 35
ii 目录
致 谢 ............................................................. 37
参考文献 .......................................................... 39
第一章 绪论 1
第一章 绪论
1.1 研究背景
随着科技的进步，人类早已步入信息时代。在科学研究领域，科学家们获得了大量丰富的数据信息，它向人们提供对客观对象更加丰富、细致的描述，但同时又给后续的数据处理工作带来极大的困难。在处理实际问题时，通常要对这些海量的高维数据进行处理，而这些海量数据之间往往存在着大量的冗余。如何对这些数据进行处理，找到数据之间的内在联系，从这些高维数据中找出事物的本质规律成为迫切需要解决的问题。在模式识别、机器学习领域，对于一个对象，经常使用一个向量来标志这个对象的各个属性，在实际使用时其维数往往很高。如在人脸图像识别时，将会使用一幅人脸图像的所有像素点，这将导致数据维数增至上万维甚至更高；在互联网信息检索时，一般对一个网页上常用词组进行词频统计，得到对此网页的描述，因此在实际应用中，经常会遇到高维的原始数据。直接在高维数据上寻找数据间的统计关系，会带来严重的计算问题；同时由于在实际使用中，通常样本点的数量较少，而对高维数据的估计需要的样本个数与维数构成指数增长的关系，这就是机器学习中的“维数灾难”(Curse of Dimensionality) 。然而，有意义的图像空间，它的本征维数是相对较低的，即高维图像数据存在相对低维的特征表达空间，这就意味着存在将高维图像进行低维转化的可能性。如何消除数据间的冗余，寻找数据间的内在联系，将数据映射到一个低维空间中去，以利于后续处理，是数据降维算法所要解决本质问题。
维数约简是高维数据处理中非常重要的预处理步骤，是指样本从高维观测空间通过线性或非线性映射投影到一个低维空间，从而找出隐藏在高维观测数据中有意义的低维结构。它在很多领域当中都具有举足轻重的作用，如模式分类、高维数据可视化、数据压缩等等。通过降维方法可以将高维数据投影到一个低维空间，从而找出隐藏在高维观测数据中有意义的低维结构。在该低维子空间中进行分类可以得到更精确的结果，且计算代价大大降低。本文研究的问题为用filter降维方法将需要降维的高位数据进行降维，然后在这个低维数据的基础上进行一个随机子空间的随机分类，在每一个类别上用随机的数据训练一个分类器，最后将训
2 结合局部搜索的粒子群优化算法研究及应用
练好的几个分类器整合出一个最优的分类器，用这个分类器去测试数据，以求得它的错误率最小。
1.2 维数灾难
“维数灾难”问题最早是由Bellman于1961年提出的„，当时指的是估计多变量函数所需的样本采样点数会随着变量个数的增加呈现指数增长的困难。现在一般指高维数据空间中所谓的空空间现象，即高维数据空间的本征稀疏性。
维数约简方法是用来克服“维数灾难”和模型化高维数据的一种典型数据处理技术，是用来解决这一问题的有效手段之一。它可通过对离散数据集合的分析来寻求嵌入在高维数据空间中本征低维流形的不同样式，寻求事物的本质规律性。
根据数据降维采用投影函数的不同，目前已有的降维方法可以分为线性降维方法和非线性降维方法两类。线性降维方法主要包括主成分分析(Principal Component Analysis，PCA)、独立成分分析(Independent Component Analysis，ICA)、投影寻踪(Projection Pursuit,PP)、因子分析(Factor Analysis)、线性判别分析(Linear Discrimenant Analysis，LDA)等。在处理实际问题当中，这些方法具有简单性、易解释性、执行速度块、能够真实反应数据线性结构等优点，从而使得线性降维成为高维数据处理的一个主要研究方向。但就现实世界中所获得的真实数据集合而言，尤其是图像数据更多的是呈现出非线性的结构，甚至是高度非线性的结构。对于只考虑在高维数据空间中如何设计线性模型特征向量的线性降维方法而言，它们对于“高维数、非结构化”的图像数据经常不能得到较好的处理效果。
近年来针对线性降维方法不能揭示数据非线性结构的问题，非线性降维方法成了数据降维领域的研究热点，各种非线性维数约简的理论与方法被提出。Zhang等人提出了一种可用于非线性流形学习的局部线性光滑方法；Roweis提出了局部线性嵌入方法，并将其应用于脸谱图像数据和文档类数据处理中；M.Belkin和P.Niyogi提出了Laplacian Eigenmap方法，并在数字手写体识别中获得了良好的效果；Donoho和Carrie Grimes通过对数据流形理论上的分析，提出了基于Hessian矩阵的局部线性嵌入方法，并说明这种方法可以看作是局部线性嵌入和Laplacian Eigenmap方法的修正。
第一章 绪论 3
1.3 集成特征选择方法和随机子空间集成方法
集成特征选择方法是多分类器集成系统中的一个重要分支。其基本思想是Opitz在文章中(Opitz，1999)提出的。集成特征选择系统的设计方法可以概括描述为：将数据集中不同的特征分别进行分割，使用不同的特征子集以构建不同的分类器，这样，不同分类器的训练和新样本的识别过程都是依据数据在不同的特征子空间中的分布，由此构建的各个分类器将具有较大的差异度。因此对一个新样本，各个分类器将可能得到不同的输出。将这些输出采用某种融合方法集成起来，就能形成一个稳健的分类器集成系统。
集成特征选择方法与传统的特征选择方法的基本思路不同。传统的特征选择算法filter方法是根据某种准则选择一组最优或近似最优的特征。然而集成特征选择方法的根本目标是通过某种方式划分特征子集，并使这些特征子集能够用于构建精确度较高且有高差异度的基分类器。由于差异度与精确度常常无法同时达到最优，集成特征选择算法的主要目标是搜索一组差异度和精确度均衡的特征子集来构建分类器，而不是一组实现最优识别精度的特征子集。因此，集成特征选择算法并不是简单地将特征选择的方法进行融合。
在数据分类中获得的高维形成了一个基于非常大高维数据的重大的挑战。这需要当前最先进的分类算法去修正与适应。我们调查了随机子空间集成方法方法在高维分类中的适应性。在原始特征集中随机采样和在每一个子集中建立基分类器。这个集成方法在每一个重要的投票或平均可能输出中设计了一个类别标签。寻找指导方案在方法中设定下列两个参数——集成大小和特征样本大小——我们介绍了三个标准计算过的参数：选择特征集的可能性，重要特征集合的覆盖率，和特征集的多样性。这些标准一起优化去产生准确和多样的独自的分类器。随机子空间方法在各个随机空间上进行单一对象的实验。我们发现基于支持向量机的随机子空间作为基分类器优于单一分类器和其他一些大量广泛使用的分类算法例如bagging，AdaBoost，随机树和旋转树。最相近的竞争对手是单一的支持向量机和基于支持向量机的bagging分类器。
4 结合局部搜索的粒子群优化算法研究及应用
1.4 本文总体结构
在第一章的绪论中，介绍了随机子空间集成方法产生的背景，集成特征选择方法提出的背景，提出了结合集成特征选择方法进行随机子空间集成的概念。
第二章介绍filter算法和随机子空间集成方法的基本原理、算法流程和参数设置等。
第三章简要介绍了高维数据降维的基本概念，并着重介绍了filter算法和随机子空间集成方法在高维数据中的应用。
第四章实验的结果和结论
第五章总结和展望。
第二章 基本PSO和PSO-LS算法介绍 5
第二章 filter和随机子空间集成
2.1 filter算法
Filter方法在高维数据的关键数据的选择上起着很重要的作用，目前已经有很多研究者使用特征选择方法分析高维，以用于筛选出关键数据，也不断有研究者根据数据高维小样本的特点提出了一些新的特征选择算法。
2.1.1 filter算法的基本原理
1999年Golub等人在分析白血病微阵列数据时提出了信噪比准则，目前它成为一种被广泛使用的数据重要性评估方法。随后，研究人员开始将概率统计方法引入到数据的识别上。2000年Amn和Tallaka等人提出使用T-statistic数据选择准则以用于数据的分析。在基于T-statistic的选择方法中，由于微阵列数据天生具有高噪声、高变异和小样本等不利因素，对数据表达水平的均值与方差的筒单计算往往是不准确和不可靠的。为此，Baldi等人提出了一种贝叶斯概率估计框架以更精确地计算Ｔ统计量。此外，Ｔ统计量不能利用全组数据信息，并需要纠正较高的假阳性率。对于那些具有较小类间方差的数据将有可能得出较大的T统计量观察值而容易被误认为具有显著的表达差异。为了克服这些缺点，Tusher等人在分母项中增加一个常数以改进这种经典统计量，提出了著名的SAM方法。
从机器学习的角度，分析filter方法的特点，可归结如下。其优点在于只与数 据有关，因而运算速度很快，即使高达上万的数据集也能很快获得所需结果。其缺点在于：(1)由于filter方法是与分类器无关，当用于识别样本的分类器的学习准则与filter方法的准则很不同时，筛选出的数据不能真正适用于该分类器。对同一个数据集使用同一种fliter方法获得的基因应用于不同分类器，将得到不同的识别效果。(2)多数filter方法都是基于数据满足某种分布的假设，然而高维数据不一定都能满足这样的假设。因此，同一个filter方法在不同数据上的应用效果不同。
2.1.2 PSO算法流程
PSO的算法流程[34]如下：
6 结合局部搜索的粒子群优化算法研究及应用
(1) 随机初始化粒子群体的位置和速度。通常是在允许的范围内随机产生的，每个粒子的pBest 坐标设置为其当前位置，且计算出其相应的个体极值(即个体的适应度值)，而全局极值(即全局的适应度值)就是个体极值中最好的，记录该最好值的粒子序号，并将gbest 设置为该最好粒子的当前位置。
(2) 计算每个粒子的适应值。
(3) 对每个粒子，将其适应值与个体极值进行比较，如果较优，则更新当前的个体极值pBest。
(4) 对每个粒子，将其适应值与全局极值进行比较，如果较优，则更新当前的全局极值gBest。
(5) 根据式(2-1) 、(2-2) ，更新每个粒子的位置和飞行速度。
(6) 如未达到预先设定的停止准则(通常设置为最大迭代次数) ，则返回步骤2 ，若达到则停止计算。
2.1.3 PSO算法的伪程序
PSO的伪程序如下所示：
PSO算法开始
1. 初始化参数：随机初始化位置和速度，给定maxIteration和population size等;
2. 随机产生 P0;
3. 初始设定 Pi 和 Pg ;
4. While t
4.1计算 Pt 中各个粒子的适应值；
4.2 假如有必要, 更新 Pi 和 Pg;
4.3 依照公式 (2-1)更新速度的数值;
4.4 限定速度在[-Vmax, Vmax]之内;
4.5 依照公式 (2-2)更新位置的数值;
4.6 t= t+1;
5. while结束
PSO算法结束
第二章 基本PSO和PSO-LS算法介绍 7
2.1.4 PSO算法的研究与改进
迄今，对PSO的研究和改进[17]主要归纳为如下几方面：
(1)位置和速度更新公式。文献[2]改进了速度的更新公式，在PSO中引入了惯性权因子，大大提高了算法的性能：文献[18]利用模糊规则确定惯性权，但由于需要对各种搜索情况建立模糊规则，增加了算法的复杂度，并且在搜索过程中，需要不断查找模糊规则库，因此降低了算法效率：文献[19]提出在PSO速度更新公式中引入收缩因子来控制PSO算法的收敛趋势，给出了算法的理论分析，文献
[20]进一步给出了保证算法收敛的算法控制参数选择方案：文献[21]在PSO速度更新公式中，通过引入被动聚集项，实现种群内信息充分共享，防止了微粒因缺乏足够的信息而判断失误所导致陷入局部极小，但由于附加项的加入，降低了算法的收敛速度： 文献[ 22]通过引入时变加速因子和时变惯性权因子，有效地增强了算法的局部搜索能力，同时引入自组织递阶概念，微粒只通过认知和社会部分来更新，有效地提高了算法的收敛速度：文献[23]改进了位置的更新公式，利用Kalman滤波更新微粒位置，有效减少算法迭代次数的同时不损坏PSO 快速的收敛能力。
(2)多种群。文献[24]在PSO中引入了子种群的概念：文献[25]提出合作PSO，通过使用多个种群分别来优化决策向量的不同片断。多种群法的缺点是，在初期的搜索效率低于标准PSO，且多个子种群的引入加大了算法的计算量。
(3)赋予微粒更多智能。文献[26]提出自组织PSO，通过赋予微粒在不同运动行为之间的自动切换的基本智能来实现目标的寻优：文献[27]赋予微粒群经验，利用禁忌表避免不良记忆以及基于虚拟领域的landscape等。赋予微粒更多智能的做法在一些简单测试函数中表明了其有效性，与此同时算法的复杂度也大大提高。
(4)种群拓扑结构。文献[28]研究了种群拓扑结构对于搜索性能的影响，强调微粒群拓扑的重要性以及微粒在种群中的组织形式和寻找到全局最优点的倾向之间的关系：文献[29]引入邻域算子维持了种群的多样性。
(5)混合方法。文献[30]提出一种基于PSO和Levenberg-Marquardt的混合优化方法，该方法有机地将PSO的开发能力与Levenberg-Marquardt的局部探索能力相结合，提高了PSO算法的搜索精度：文献[31]将Nelder-Mead simplex与PSO
8 结合局部搜索的粒子群优化算法研究及应用
相结合，提高了单纯形方法的收敛速度，同时提高了PSO算法的搜索精度：文献
[32]将PSO与序贯二次规划SQP相结合，同时利用了PSO的并行全局探索能力与SQP的局部开发能力，克服了SQP需要依赖问题梯度信息的缺点，有效地解决了电力系统大规模经济调度问题。另外，文献[33]将量子行为引入PSO，利用量子测不准原理代替牛顿力学来确定微粒的行为。
2.2 局部搜索算法——爬山算法
在文献[16]中，用遗传算法作为全局搜索的同时，将爬山算法作为局部搜索以获得局部最优。因为在运动的粒子中，爬山算法更加容易实现，而且有很好的适应性。爬山算法（Hill-Climbing ）利用随机局部搜索来去确定方向和各自下一步步幅的大小。HC算法是如下的HC算法程序段。
HC算法程序
1.初始化：指定邻近函数 选择初始解I0 ;
2. 设定循环计数器 k=1;
3. while k
3.1依照;，产生 Ik
3.2 计算目标函数的改变值 c(IK)c(Ik1);
3.3 当0时，接受解决方案 Ik；
3.4 k=k+1;
4. while结束
在算法中, 设计产生新的候选解（参考文献[9]）：
New solution=current solution + r*(1-2*rand( ) )
（2-3）
在式子中 r表明最初粒子的变化率；Rand()是一个随机函数，产生[0，1]的随机数。
第二章 基本PSO和PSO-LS算法介绍 9
2.3 结合局部搜索的粒子群优化算法
在结合局部搜索的粒子群优化算法（Particle Swarm Optimization with Local Search, PSO-LS）中，粒子群优化算法搜索全局解，在和全局最优解比较取优之前，每个粒子都有一个机会通过局部搜索算法来自我改善。PSO-LS的伪程序如下所示：
PSO-LS算法开始
1. 初始化参数：随机初始化位置和速度，给定maxIteration和population size等;
2. 随机产生 P0;
3. 初始设定 Pi 和 Pg ;
4. While t
4.1计算 Pt 中各个粒子的适应值；
4.2 假如有必要, 更新 Pi ;
4.3 对于粒子群中的每一个粒子, 执行函数 Local-Search() 如 HC算法
程序;
4.4 假如有必要, 更新 Pi 和 Pg;
4.5 依照公式 (2-1)更新速度的数值;
4.6 限定速度在[-Vmax, Vmax]之内;
4.7 依照公式 (2-2)更新位置的数值;
4.8 t= t+1;
5. while结束
PSO-LS算法结束
2.4 PSO和PSO-LS中参数的分析和设置
PSO参数包括：最大速度Vmax ，惯性权重w，加速常数c1 和c2，群体规模m，最大代数Gmax，以及PSO算法的中止条件。
相对于PSO，PSO-LS算法多了HC算法中几个参数：K，r，式。
(1) 最大速度Vmax
10 结合局部搜索的粒子群优化算法研究及应用
Vmax 决定当前位置与最好位置之间的区域的分辨率(或精度)。如果Vmax太高，微粒可能会飞过好解；如果Vmax太小，微粒不能在局部好区间之外进行足够的探索，导致陷入局部最优值。
该限制有3个目的：
1) 防止计算溢出；
2) 实现人工学习和态度转变；
3) 决定问题空间搜索的粒度。
(2) 权重因子
在PSO算法中有3个权重因子：惯性权重w ，加速常数c1和c2。
惯性权重w 使微粒保持运动惯性，使其有扩展搜索空间的趋势，有能力探索新的区域。
加速常数c1和c2代表将每个微粒推向pbest 和gbest 位置的统计加速项的权重。低的值允许微粒在被拉回之前可以在目标区域外徘徊，而高的值则导致微粒突然的冲向或越过目标区域。
如果没有后两部分，即c1 = c2 = 0，微粒将一直以当前的速度飞行，直到到达边界。由于它只能搜索有限的区域，所以很难找到好解。
如果没有第1部分，即w = 0，则速度只取决于微粒当前位置和其历史最好位置pbest 和g best，速度本身没有记忆性。假设一个微粒位于全局最好位置，它将保持静止。而其他微粒则飞向它本身最好位置pbest和全局最好位置gbest的加权中心。在这种条件下，微粒群将收缩到当前的全局最好位置，更像一个局部算法。
在加上第1部分后，微粒有扩展搜索空间的趋势，即第1部分有全局搜索能力。这也使得w的作用为针对不同的搜索问题，调整算法全局和局部搜索能力的平衡。
如果没有第2部分，即c1 = 0，则微粒没有自我认知能力，也就是“只有社会意识(social-only)”的模型。在微粒的相互作用下，有能力到达新的搜索空间。它的收敛速度比标准版本更快，但对复杂问题，则比标准版本更容易陷入局部最优值点。
如果没有第3部分，即c2 = 0，则微粒之间没有社会信息共享，也就是“只有自我认知(cognition-only)”的模型。因为个体间没有交互，一个规模为m的群体等价于运行了m个单个微粒的运行，因而得到解的几率非常小。我们对一些函数的
第二章 基本PSO和PSO-LS算法介绍 11 测试结果也验证了这一点。
早期的试验将w固定为1. 0，c1和c2固定为2. 0，因此Vmax 成为唯一需要调节的参数，通常设为每维变化范围的10% ～ 20%。
引入惯性权重w 可消除对Vmax 的需要，因为它们的作用都是维护全局和局部搜索能力的平衡。这样，当Vmax增加时，可通过减小w 来达到平衡搜索。而w的减小可使得所需的迭代次数变小。从这个意义上看，可以将Vmax ，d 固定为每维变量的变化范围，只对w进行调节。
对全局搜索，通常的好方法是在前期有较高的探索能力以得到合适的种子，而在后期有较高的开发能力以加快收敛速度。为此可将w设为随时间线性减小，例如由1. 4 到0，由0. 9到0. 4，由0. 95到0. 2等。这就是PSO一种改进算法
——Particle Swarm Optimization with Linearly Decreasing inertia Weight (PSO-LDW).
Sugan than的实验表明，c1和c2为常数时可以得到较好的解，但不一定必须为2。Clerc引入收缩因子(constriction facto r) K 来保证收敛性
vid = K [ vid + φ1 rand ( ) (pid－xid ) +φ2Rand () (pgd－xid ) ] (2-5) 式中：K
2242，φ=φ1+φ2，φ>4。
这对应于式(2-1) 中一种特殊的参数组合，其中K即一种受φ1和φ2限制的w，而c1 = Kφ1，c2 = Kφ2。
这些参数也可以通过模糊系统进行调节。Shi 和 Eberhart 提出一个模糊系统来调节w，该系统包括9条规则，有两个输入和一个输出，每个输入和输出定义了3个模糊集。一个输入为当前代的全局最好适应值，另一个为当前的w；输出为w 的变化。结果显示该方法能大为提高平均适应值。
此外，群体的初始化也是影响算法性能的一个方面。Angeline对不对称的初始化进行了实验，发现PSO只是略微受影响。
Ozcan和Mohan通过假设w = 1，c1和c2为常数，pbest 和gbest为固定点，进行理论分析，得到一个微粒随时间变化可以描述为波的运行，并对不同的感兴趣的区域进行了轨迹分析。这个分析可以被Kennedy的模拟结果支持。一个寻求最优值位置的微粒尝试着操纵它的频率和幅度，以捕获不同的波。w可以看作是修改了感兴趣的区域的边界，而Vmax则帮助微粒跳到另外一个波。
12 结合局部搜索的粒子群优化算法研究及应用
（3）群体规模m
群体规模，也就是就粒子数：一般取20~40。其实对于大部分问题来说，10个粒子已经足以取得好的结果，不过对于比较难的问题或者特定类别的问题，粒子数可以取到100到200。
（4）最大代数Gmax
最大代数是由优化问题来决定，对于一些比较算法的例子，会给出不同的最大代数来进行比较。
（5）PSO算法的中止条件
最大循环数以及最小错误要求。
（6）HC算法中的K
在很多程序中，K选定的是4或者5。在本程序中，K选定的值是4。
（7）HC算法中的r
r表明最初粒子的变化率。
在文献[3]中提到，r的选定可以是一下两条中的任意一条：
a）在实验中，取某一定值； b）在实验中，随着循环的增加，r值线性递减。
a)中，r初始化为搜索空间的0.1倍；b)中，将r初始化为搜索空间的0.1倍，随着循环的增加，r值线性递减至搜索空间的0.005倍。
（8）HC算法中的式
在文献[9]中, 设计产生新的候选解：
New solution=current solution + r*(1-2*rand( ) )
在式子中 r表明最初粒子的变化率；Rand()是一个随机函数，产生[0，1]的随机数。
第三章 实验设计和实验方法 13
第三章 PSO-LS算法在图像融合中的应用
3.1 什么是图像融合
图像融合是将2个或2个以上的传感器在同一时间(或不同时间)获取的关于某个具体场景的图像或者图像序列信息加以融合，生成一个新的有关此场景的解释，而这个解释是从单一传感器获取的信息中无法得到的。图像融合的目的是减少不确定性。如果将上述定义的条件减弱一些，有时图像融合处理的对象也可以是单一传感器在不同时间获取的图像数据。
图像融合的形式可分为3种：
(1)多传感器不同时获取的图像的融合；
(2)多传感器同时获取的图像的融合；
(3)单一传感器不同时间，或者不同环境条件下获取的图像的融合。
图像融合广泛应用于图像处理、遥感、计算机视觉以及军事等领域，其作用包括：
(1)图像增强。通过综合来自多传感器(或者单一传感器在不同时间)的图像，获得比原始图像清晰度更高的新图像。例如，在遥感应用中，常用两种传感器获得同一地域的高分辨图像和多光谱图像，融合这两种图像，可以获得细节和轮廓都得到改善的图像；又例如，将融合技术用于同一数码相机在不同时间拍摄的聚焦点不同的两幅图像，可以获得比原始图像清晰度都要高的新图像。
(2)特征提取。通过融合来自多传感器的图像更好地提取图像的特征，如线段、边缘等。
(3)去噪。
(4)目标识别与跟踪。
(5)三维重构。
图像融合按层次可分为：信号级、像素级、特征级和决策级。本文主要研究了像素级图像融合的基本方法。
14 结合局部搜索的粒子群优化算法研究及应用
3.2 像素级图像融合的基本方法
所谓的像素级图像融合，是指直接对图像中像素点进行信息综合处理的过程。像素级图像融合的目的是生成一幅包含更多信息、更清晰的图像。像素级图像融合属于较低层次的融合，目前大部分研究集中在该层次上。
假设存在原始的黑白图像R的矩阵为 R(m×n)。分别对图像R的边缘部分和中心部分进行Gaussian噪音处理，得到的两幅图像的矩阵分别为R1和R2。两个矩阵进行线性加权运算得到融合图像的矩阵FR：
FR = αR1 + (1－α)R2 (3-1)
可见融合的效果取决于系数α，为了衡量融合效果，设定融合指标G为： GFRi,jRi,jmn (3-2) 2
i1j1mn
由式(3-2)可知融合指标G越小，则融合图像与原始图像的偏差越小，说明融合效果越好。
分别设定α = 0，0.1，0.2，„，0.9，1.0检验融合效果，检验结果见表4.1：
表4.1 α与G值对照表
由表4.1可知，α的取值不同，导致了G的取值不同，说明存在最优的α值，使得G值最小。
3.3 实验软件MATLAB简介
MATLAB是由美国MathWorks公司发布的面向科学计算、数据可视化以及交互式程序设计的高技术计算语言。MATLAB原先作为矩阵实验室“Matrix
第三章 实验设计和实验方法 15 Laboratory”（缩写为Matlab），是用来提供通往LINPACK和EISPACK矩阵软件包接口的。后来，它逐渐发展成为通用科技计算、图视交互系统和程序语言。其数据的基本单元是矩阵，此外它在大量软件包的技术支持下，建立了一整套简约化的指令系统，从而形成了自己极鲜明的集成化风格。也正基于此，使得它在众多领域都显示了较之其它高级语言更为强大的功能。它将数值计算、矩阵计算、科学数据可视化以及非线性动态系统的建模和仿真等诸多强大功能集成在一个易于使用的视窗环境之中，对复杂的问题，往往只需要写很短的代码，所以与Basic、Fortran、Pascal、C等编程语言相比，MATLAB具有编程简单直观、用户界面友善、开放性强等优点。因此自其面世以来，很快得到了推广应用，现已成为国际上公认的最优秀的数值计算仿真软件。
3.4 基于PSO算法的图像融合
基于PSO算法的融合方法就是以PSO算法来优化公式(3-1)中的α值，使得取得的G值最小，从而得到最佳的融合图像。
具体步骤如下：
(1) 设定粒子数m，产生m个[0，1]之间的随机解(随机粒子)；
(2) 如果没有达到最大迭代次数就继续，否则结束；
(3) 如果没有达到最小误差范围就继续，否则结束；
(4) 根据公式(3-1)计算融合图像矩阵，然后计算该粒子的融合指标；
(5) 如果该融合指标小于该粒子的最佳融合指标，就把该融合指标作为该粒子的最佳融合指标，否则转到(7) ；
(6) 如果该融合指标小于全局最佳融合指标，就把该融合指标作为全局最佳融合指标；
(7) 利用PSO的相关公式计算该粒子的变化值；
(8) 通过公式计算该粒子的值，转步骤(2)。
16 结合局部搜索的粒子群优化算法研究及应用
3.5 基于PSO-LS算法的图像融合
和基于PSO算法的图像融合的概念相似：基于PSO-LS的融合方法就是以PSO-LS算法来优化公式(3-1)中的α值，使得取得的G值最小，从而得到最佳的融合图像。
具体步骤如下：
(1) 设定粒子数m，产生m个[0，1]之间的随机解(随机粒子)；
(2) 如果没有达到最大迭代次数就继续，否则结束；
(3) 如果没有达到最小误差范围就继续，否则结束；
(4) 根据公式(3-1)计算融合图像矩阵，然后计算该粒子的融合指标；
(5) 如果该融合指标小于该粒子的最佳融合指标，就把该融合指标作为该粒子的最佳融合指标，否则转到(7) ；
(6) 如果该融合指标小于全局最佳融合指标，就把该融合指标作为全局最佳融合指标；
(7) 利用HC算法进行局部搜索，假如有必要更新数据；
(8) 利用PSO的相关公式计算该粒子的变化值；
(9) 通过公式计算该粒子的值，转步骤(2)。
3.6 实验数据
选定如下图片作为实验图片：先分别对实验图片的中心和出去中心的边缘部分进行Gaussian噪声处理，得到两幅图像，再对着两幅图像进行图像融合实验。实验图像和Gaussian噪声处理后的图像，如次所示：
数据A：（图片信息：图片大小为120*120，取中间90*90为中心）
图3.1 原始图像A
第三章 实验设计和实验方法 17
图3.2中心经过Gaussian噪声处理的图像A1
图3.3 边缘经过Gaussian噪声处理的图像A2
数据B：（图片信息：图片大小为400*400，取中间300*300为中心）
图3.4原始图像B
18 结合局部搜索的粒子群优化算法研究及应用
图3.5中心经过Gaussian噪声处理的图像B1
图3.6 边缘经过Gaussian噪声处理的图像B2
第三章 实验设计和实验方法 19
3.7 实验中相关参数设置
实验中，PSO算法和PSO-LS算法尽量采用一致的参数，从而有较好的可对比性。在PSO算法中：权重w取值为0.7；学习因子c1和c2取值都为2；Ｖmax设置为1。PSO-LS是粒子群优化算法结合局部搜索算法形成的。为了减少局部搜索所用的计算时间，当前解考虑测试的只是一小部分的邻居粒子。因而，我们考虑Ｋ＝４作为实验的检验值。ｒ的设定为搜索空间的0.1倍，即ｒ＝0.1。为了比较，我们要控制变量。为了PSO算法的可量测性研究，粒子数量分别设置如下：
p_num = 5，10，15；
对于最大代数分别设置如下：
对于图A：iter_max = 10，12，15，20； 对于图B：iter_max = 10，15，20；
每个实验的设置都运行20次。
第四章 实验结果和结论 21
第四章 实验结果和结论
4.1 实验结果
对于图A的计算结果如次所示：
两幅图像A1和A2（即图3.2和3.3）分别经过PSO和PSO-LS算法处理得到的新图像如下图所示：
图4. 1 经过PSO算法得到的新图像A3
图4. 2 经过PSO-LS算法得到的新的图像A4
不同实验设置所得到的新图像和原图像A（即图3.1）相比的错误率，如下表
4.1所示：
表4.1 基于图A错误率比较
22 结合局部搜索的粒子群优化算法研究及应用
由上表得到的数据绘制成的相关数据比较图如次所示：
图4. 3 基于图A的错误率比较图
得到的最佳粒子走势图如次所示：（折线代表PSO，星号代表PSO-LS）
第四章 实验结果和结论
23
图4. 4 粒子数是5，最大迭代次数是20时的一次实验中全部最佳粒子的走势图
对于图B的计算结果如次所示：
两幅图像B1和B2（即图3.5和3.6）分别经过PSO和PSO-LS算法处理得到的新图像如下图所示：
24 结合局部搜索的粒子群优化算法研究及应用
图4. 5 经过PSO算法得到的新的图像
B3
图4. 6 经过PSO-LS算法得到的新的图像B4
不同实验设置所得到的新图像和原图像B（即图3.4）相比的错误率，如下表4.2所示：
第四章 实验结果和结论 25
表4.2 基于图B错误率比较
图4. 7 基于图B的错误率比较图
得到的最佳粒子走势图如次所示：（折线代表PSO，星号代表PSO-LS）
26 结合局部搜索的粒子群优化算法研究及应用
图4. 8粒子数是5，最大迭代次数是20时的一次实验中全部最佳粒子的走势图
4.2 实验结果分析和结论
一、α取值不同对错误率的影响
根据公式（3-1）：FR = αR1 + (1－α)R2。分别针对图像A和B，对α取不
同的值，得出其错误率，来分析α取值的不同对错误率的影响。α的取值范围为
[0,1]。
为了能更方便得看清楚α的取值，将α的取值放大1000倍作为横轴，错误率为纵轴。实验结果如图所示：
第四章 实验结果和结论
27
图4. 9 针对图A，α的取值不同对错误率的影响
图4. 10针对图B，α的取值不同对错误率的影响
28 结合局部搜索的粒子群优化算法研究及应用
由上面两幅图我们可以得到，在α的取值范围[0,1]内，随着α的增加，错
误率先是减小，后增加。两幅图都有一个极点：图4.9为（437，0.001184890），图4.10为（438，0.001349098）。这两个点就是对应于该幅图像的α的最好取值和错误率。
二、粒子数和最大迭代次数不同对错误率的影响
当我们把实验的设置改动如下：粒子数量分别设置如下：p_num = 20，30，40；对于最大代数分别设置如下：iter_max = 25，50，100。并作用于图A上，我们就能看到这样一个现象（如表4.3）：
表4.3 改变设置后基于图A的错误率比较
上表中所示的错误率都一样，为0.001184890。通过计算和实验，可以得到对于图像A1和A2（即图3.2和3.3）融合所得图像和原图像A（即图3.1）所能达到的最小的错误率为：0.001184890。也就是说，选取这样的设置得到的数据都是PSO算法所能达到的最优的情况。在2.4节中也已经提到过“粒子数一般选取20~40，其实对于大部分的问题来说，10个粒子已经足以取得好的结果。”
假若选取这样的实验设置，得到的实验结果没有什么实际的比较意义，唯一能说明的只是在这样的实验设置下，PSO算法和PSO-LS算法作用于图像A1和A2都能得到最优的融合图像。因而，需改变实验设置，改变后的实验设置如3.7节中
第四章 实验结果和结论 29
实验设置所示。
将图4.3基于图A的错误率比较图分解开如下图（图4.11和图4.12）所示。将图4.7基于图B的错误率比较图分解开如下图（图4.13和图4.14）所示。
图4. 11 基于图A错误率比较图——PSO算法
30 结合局部搜索的粒子群优化算法研究及应用
图4. 12 基于图A错误率比较图——PSO-LS算法
图4. 13 基于图B错误率比较图——PSO算法
第四章 实验结果和结论
31
图4. 14 基于图B错误率比较图——PSO-LS算法
根据图4.3和图4.7，可以得出结论：在最大代数和粒子数固定的时候，PSO-LS比PSO算法的效果好。
在进行图像融合时，将PSO算法和HC算法结合起来的PSO-LS算法要比PSO算法好，在PSO算法还没有达到最优效果，PSO-LS已经达到了最有效果。对于图像A来说，当粒子数为10，最大代数为10的时候，经过PSO-LS算法处理的图像基本上达到了最优；在相同条件下，PSO算法处理以后的图像的依旧没有达到最优。
根据图4.11和图4.13，可以得出结论：当最大代数固定的时候，随着粒子数的增加，所得融合图像的错误率会降低，即PSO算法的效果越好；当粒子数固定的时候，随着最大代数的增加，所得融合图像的错误率会降低，即PSO算法的效果越好。
三、全部最佳粒子值的走势
图4.4和图4.8为一次实验中全部最佳粒子值的走势图。从中可以看出PSO-LS
要比PSO算法更快得找出最佳值。
我们改变实验的参数：令iter_max=50，p_num=30。再来看走势图，如次所示：
32 结合局部搜索的粒子群优化算法研究及应用
图4. 15粒子数是30，最大迭代次数是50时的一次实验中全部最佳粒子的走势图
图4. 16 将图4.15的一部分放大得到的图像
从上面两幅图像中，我们可以更加清楚的看到PSO-LS比PSO算法更快得找出
第四章 实验结果和结论 33 最佳值。
综合以上三点，可以得出结论：结合局部搜索的粒子群优化算法（PSO-LS）优于粒子群优化算法（PSO）。PSO-LS在优化问题上有较好的应用前景。
第五章 总结和展望 35
第五章 总结和展望
本文介绍了粒子群优化算法（PSO）产生的背景，将局部搜索算法结合到PSO算法中，提出了一种新的算法PSO-LS算法。给出了群智能的概念，阐述了PSO和PSO-LS算法的基本原理和具体的算法流程，分析了算法中相关参数的设置。 此外本文还介绍了图像融合的相关信息，并重点研究了MATLAB环境下，PSO和PSO-LS算法在像素级图像融合中的应用。实验结果表明：结合局部搜索的粒子群优化算法优于粒子群优化算法。
论文中的不足是：
1）PSO-LS中的局部搜索算法作用于所有粒子，这样取得好效果的同时牺牲了
时间，这一点可以优化改进为只对部分特殊的粒子进行局部搜索算法，这样不仅可以节省时间，还可以取得较好的效果；
2）在实验中没有很好的证明PSO-LS的图像融合效果和其参数iter_max和
p_num的关系；
对以后的展望：
1）对PSO-LS中的不足进行改进，从何达到更好的效果，以便能更好地用于
实际问题的求解；
2）对PSO-LS算法应用领域的扩展，PSO-LS是PSO这种优化算法的一种改
进算法，很有应用前景。开拓其应用领域，在应用的广度和深度上进行拓展是很有价值的工作；
3）算法参数的确定：算法中的一些参数如c1、c2、w等往往依赖于具体问题，
依据应用经验，经多次测试来确定，并不具有通用性。因此，如何方便有效地选择算法参数，也是迫切需要研究的问题；
4）算法的基础理论研究：与PSO相应的相对鲜明的社会特性基础相比，其数
学基础显得相对薄弱，缺乏深刻且具有普遍意义的理论分析，不能对PSO的工作机理做出合理的数学解释。虽然PSO的有效性、收敛性等性能在一些实例和函数的仿真研究中得到验证，但没能在理论上进行严谨推敲和严格证明。因此，对PSO的基础理论研究非常重要。
36 结合局部搜索的粒子群优化算法研究及应用
致 谢 37
致 谢
大学四年，时间如飞。这四年，让我学到了怎么样去做人做事，学到了我日后学习和工作所需的能力和专业基础。感谢学校，感谢我们敬爱的老师！
毕业设计是检验我们大学四年所学知识的一种方式。整个毕业设计过程中，我最想感谢我的导师杨利英老师，她在学术上的博学和勤勉，以及在生活上的谦和和细致都给我留下了深刻的印象。我很感激她对我要求上的严格与认真以及能力上的肯定与信任。
同时，感谢我的大学同窗在我做毕业设计期间所给予我的帮助和启发。
最后，谢谢所有关心、帮助我的老师、同学和朋友。感谢你们一直陪在我的身边支持我，关心我，让我度过了一个非常快乐、幸福、充实的大学生活，收获了知识和美好的回忆。
再次感谢你们！
38 结合局部搜索的粒子群优化算法研究及应用
参考文献 39
参考文献
[1] Kennedy J, Eberhart R C.Particle swarm optimization[C].IEEE International Conference on Neural Networks. Piscataway: IEEE Service Center, 1995:1942-1948.
[2] Shi Y, Eberhart R, A modified particle swarm optimizer [C]. IEEE World Congress on Computational Intelligence, 1998：69–73.
[3] Junying, Chen; Zheng, Qin; Yu, Liu; Jiang, Lu. Particle swarm optimization with local search. Proceedings of 2005 International Conference on Neural Networks and Brain Proceedings, v 1, p 481-484.2005.
[4] 刘宇，覃征，卢江，史哲文. 多模态粒子群集成神经网络. 计算机研究与发展，2005，42（9）：1519－1526.
[5] 杨利英等. 粒子群优化多分类器融合模型.小型微型计算机系统. 2006，27
（7）：1313-1316.
[6] 彭喜元, 彭宇, 戴毓丰. 群智能理论及应用. 电子学报, 2003,31(12A): 1982–1988.
[7] 李宁，付国江，库少平，等.粒子群优化算法的发展与展望. 武汉理工大学报，2005，27（2）：26-29.
[8] Eberhart, R.C., Kennedy.: A New Optimizer Using Particles Swarm Theory. Proceedings of the Sixth Intemational Symposium on Micro Machine and Human Science, (Nagoya, Japan), IEEE Service Center, Piscataway, NJ (1995) 39-43
[9] Xi-Huai, Wang. Jun-Jun, Li,; Hybrid particle swarm optimization with simulated annealing. Proceedings of 2004 International Conference on Machine Learning and Cybernetics, ShangHai , ( 2004) 2402 - 2405
[10] 张燕，汪镭，康琦,等. 微粒群优化算法及其改进形式综述[J]. 计算机工程与应用，2005，41（2）：1-3
[11] Cui ZH, Zeng JC, Cai XJ.:A new stochastic particle swarm optimizer. Proceedings of the 2004 Congress on Evolutionary Computation ( 2004) 316-319
[12] 朱丽莉，杨志鹏，袁华. 粒子群优化算法分析及研究进展. 计算机工程与应用. 2007，43（5）：24-27
[13] 倪超，李奇，夏良正. 基于广义混沌混合PSO的快速红外图像分割算法.2007年10月第36卷第10期：1954-1959.
40 结合局部搜索的粒子群优化算法研究及应用
[14] 杨勋，王江晴. 求解聚类问题的混合PSO算法设计. 微电子学于计算机. 2007年第24卷第10期.
[15] 谢晓锋, 张文俊, 杨之廉. 微粒群算法综述. 控制与决策, 2003, 18(2): 129-134.
[16] Renders, J.-M.; Bersini, H.; Hybridizing genetic algorithms with hill-climbing methods for global optimization: two possible ways. IEEE World Congress on Computational Intelligence, Proceedings of the First IEEE Conference on Evolutionary Computation (1994) 312 – 317
[17] 刘波, 王凌, 金以慧, 黄德先. 微粒群优化算法研究进展. 化工自动化及仪表, 2005, 32(3): 1-6.
[18] Shi Y, Eberhart R C. Fuzzy Adaptive Particle Swarm Optimization [C]. Proceeding of the Congress on Evolutionary Computation, Seoul, Korea, 2001: 101-106.
[19] Clerc M, Kennedy J. The Particle Swarm: Explosion, Stability, and Convergence in a Multidimensional Complex Space [J]. IEEE Transactions on Evolutionary Computation, 2002, 6: 58-73.
[20] Eberhart R C, Shi Y. Comparing Inertia Weights and Constriction Factors in Particle Swarm Optimization [A]. Proceedings of the Congress on Evolutionary Computation [C], 2000: 84-88.
[21] He S, Wu Q H, Wen J Y, et al. A Particle Swarm Optimizer with Passive Congregation [J]. Biosystems, 2004, 78: 135-147.
[22] Ratnaweera A, Halgamuge S K, Watson H C. Self-organizing Hierarchical Particle Swarm Optimizer with Time-varying Acceleration Coefficients [J]. IEEE Transactions on Evolutionary Computation, 2004, 8(3): 240-255.
[23] Monson C K, Seppi K D. The Kalman Swarm-A New Approach to Particle Motion in Swarm Optimization [A]. Proceedings of the Genetic and Evolutionary Computation Conference [C]. Springer, 2004: 140-150.
[24] L vbjerg M, Rasmussen T K, Krink T. Hybrid Particle Swarm Optimiser with Breeding and Subpopulations [A]. Proceedings of the Genetic and Evolutionary Computation Conference [C]. 2001: 469-476.
[25] van den Bergh F, Engelbrecht A P. A Cooperative Approach to Particle Swarm Optimization [J]. IEEE Transactions on Evolutionary Computation, 2004, 8(3):225-239.
[26] Rodriguez A, Reggia J A. Extending Self-organizing Particle Systems to
参考文献 41 Problem Solving [J]. Artificial Life, 2004, 10(4): 379-395.
[27] Ciuprina G, Ioan D, Munteanu I. Use of Intelligent-Particle Swarm Optimization in Electromagnetics [J]. IEEE Transactions on Magnetics, 2002, 38(2): 1037-1040.
[28] Kennedy J, Mendes R. Population Structure and Particle Swarm Performance
[A ]. Proceedings of the IEEE Congress on Evolutionary Computation [C]. 2002: 1671-1676.
[29] Suganthan P N. Particle Swarm Optimizer with Neighborhood Operator [A]. Proceedings of the Congress on Evolutionary Computation [C]. 1999: 1958-1961.
[30] Katare S, KalosA, West D. A Hybrid Swarm Optimizer for Efficient Parameter Estimation [A]. Proceedings of the IEEE Congress on Evolutionary Computation [C]. 2004: 309-315.
[31] Fan S K S, Liang Y C, Zahara E. Hybrid Simplex Search and Particle Swarm Optimization for the Global Optimization of Multimodal Functions [J]. Engineering
Optimization, 2004, 36(4): 401-418.
[32] Victoire TA A, JeyakumarA E. Hybrid PSOSQP for Economic Dispatch with Valve-point Effect [J]. Electric Power Systems Research, 2004, 71(1): 51-59.
[33] Sun J, FengB, XuW B. Particle Swarm Optimization with Particles Having Quantum Behavior [A]. Proceedings of the IEEE Congress on Evolutionary Computation [C]. 2004: 325-331.
[34] 范娜, 云庆夏. 粒子群优化算法及其应用. 信息技术, 2006(1): 53–56.
[35] 许磊，张凤鸣. 基于PSO的模糊聚类算法. 计算机工程与设计. 2006年，11月，第27卷 第21期：4128-4129.
[36] 董建明，胡觉亮. 基于PSO算法的图像分割方法. 计算机工程与设计. 2006.9，第27卷 第18期：3377-3387.
[37] 周驰，高亮，高海兵.基于PSO的置换流水车间调度算法. 电子学报. 2006.11 第11期：2008-2011.
[38] 刘国平，曾强. 多目标最优化的粒子群算法. 杭州师范学院报（自然科学版）.2005.1 第4卷第1期：30-33.
[39] 冯林，张名举，贺名峰，等. 基于粒子群优化算法的多模态医学图像刚性配准. 大连理工大学报. 2004年9月 第44卷第5期：695-699.
[40] 于鹏，刘大有，欧阳丹彤. 基于遗传与粒子群算法的Markov逻辑网学习
42 结合局部搜索的粒子群优化算法研究及应用
研究. 电子学报. 2006年12月 第12A期：2251-2255.
[41] 段晓东，王存睿，王楠楠等. 一种基于粒子群算法的分类器设计. 计算机工程. 2005年10月 第31卷 第20期：107-109.
班级 学号 03073004
本 科 毕 业 设 计 论 文
题 目 随机子空间方法在高维数据分析
中的应用与实现
学 院 计算机学院
专 业 教育技术学
学生姓名 王 博导师姓名 杨利英
毕业设计（论文）诚信声明书
本人声明：本人所提交的毕业论文《结合局部搜索的粒子群优化算法研究及应用》是本人在指导教师指导下独立研究、写作的成果，论文中所引用他人的无论以何种方式发布的文字、研究成果，均在论文中加以说明；有关教师、同学和其他人员对本文的写作、修订提出过并为我在论文中加以采纳的意见、建议，均已在我的致谢辞中加以说明并深致谢意。
本论文和资料若有不实之处，本人承担一切相关责任。
论文作者： （签字） 时间： 年 月 日 指导教师已阅： （签字） 时间： 年 月 日
摘 要
摘 要
在过去的几十年内，数据采集能力的提高以及存储容量的增长，导致了科学研究的很多领域中信息量急剧增长，它向人们提供更加丰富、细致的信息的同时也造成了大量的信息冗余。在机器学习和模式识别领域的应用中，高维数据产生的维数灾难问题通常会影响传统算法的性能。分析了传统算法在处理大规模、高维数据时遇到的困难和问题,比较了各种降维方法的优劣，从原理上论证了随机子空间算法处理大规模、高维数据集的优势。
本文调查了随机子空间集成方法去修正与适应基于模式识别和机器学习的高维数据的挑战。随机子空间方法属于子空间取样技术,通过将训练样本集映射到特征空间的子空间中形成新的训练集，而后在每一新的训练集上训练一个分类器。相比一般模式识别问题，对高维数据进行分析时，随机子空间学习不必受限于特征的重复使用。面对大规模的特征向量，需要挑选出数量和容积都满足要求的特征子集，形成特征子集集合训练分类器。本文提出的随机子空间集成方法也可以推广到其它相关方面的应用中去。
关键词：维数灾难 随机子空间方法 特征向量 模式识别
Abstract
Abstract
The improving abilities of data collection and storage capabilities during the past decades have led to information overload in most scientific domains. Traditional algorithms used in machine learning and pattern recognition applications are often susceptible to the well-known problem of the curse of dimensionality. Because tradition algorithms encounter many difficulties and challenges when dealing with the high dimensional data, we compare the advantages and shortcomings of different dimensional reduction methods, and then conclude that random subspace ensembles are essential and useful.
In this paper, we investigate the revision and adaptation of serious challenge of high dimensional data to pattern recognition and machine learning using random subspace ensembles. Random subspace methods belong to subspace sampling technology, which make training samples mapped to the subspace of feature space to form new training sets, and then on each new training set training a classifier. Compared to general pattern recognition problems, when high-dimensional data analysis, random subspace learning is not restricted to reusing of feature. Facing the large-scale feature vector, we need to pick feature subset whose quantity and volume meet the requirements to form feature subset set training classifier. The random subspace ensembles, proposed in this paper, could also be generalized to other related aspects of application.
Keyword： Curse of Dimensionality
Random subspace ensembles feature vector pattern recognition
目 录 i
目录
第一章 绪论 ......................................................... 1
1.1 研究背景 .................................................... 1
1.2 维数灾难 .................................................... 2
1.3 集成特征选择方法和随机子空间集成方法 ........................ 3
1.4 本文总体结构 ................................................ 4
第二章 基本PSO和PSO-LS算法 ....................................... 5
2.1 PSO算法 ..................................................... 5
2.1.1 基本PSO算法的基本原理 ................................. 5
2.1.2 PSO算法流程 ........................................... 5
2.1.3 PSO算法的伪程序 ....................................... 6
2.1.4 PSO算法的研究与改进 ................................... 7
2.2 局部搜索算法——爬山算法 .................................... 8
2.3 结合局部搜索的粒子群优化算法 ................................ 9
2.4 PSO和PSO-LS中参数的分析和设置 .............................. 9
第三章 PSO-LS算法在图像融合中的应用 ............................... 13
3.1 什么是图像融合 ............................................. 13
3.2 像素级图像融合的基本方法 ................................... 14
3.3 实验软件MATLAB简介 ........................................ 14
3.4 基于PSO算法的图像融合 ..................................... 15
3.5 基于PSO-LS算法的图像融合 .................................. 16
3.6 实验数据 ................................................... 16
3.7 实验中相关参数设置 ......................................... 19
第四章 实验结果和结论 .............................................. 21
4.1 实验结果 ................................................... 21
4.2 实验结果分析和结论 ......................................... 26
第五章 总结和展望 .................................................. 35
ii 目录
致 谢 ............................................................. 37
参考文献 .......................................................... 39
第一章 绪论 1
第一章 绪论
1.1 研究背景
随着科技的进步，人类早已步入信息时代。在科学研究领域，科学家们获得了大量丰富的数据信息，它向人们提供对客观对象更加丰富、细致的描述，但同时又给后续的数据处理工作带来极大的困难。在处理实际问题时，通常要对这些海量的高维数据进行处理，而这些海量数据之间往往存在着大量的冗余。如何对这些数据进行处理，找到数据之间的内在联系，从这些高维数据中找出事物的本质规律成为迫切需要解决的问题。在模式识别、机器学习领域，对于一个对象，经常使用一个向量来标志这个对象的各个属性，在实际使用时其维数往往很高。如在人脸图像识别时，将会使用一幅人脸图像的所有像素点，这将导致数据维数增至上万维甚至更高；在互联网信息检索时，一般对一个网页上常用词组进行词频统计，得到对此网页的描述，因此在实际应用中，经常会遇到高维的原始数据。直接在高维数据上寻找数据间的统计关系，会带来严重的计算问题；同时由于在实际使用中，通常样本点的数量较少，而对高维数据的估计需要的样本个数与维数构成指数增长的关系，这就是机器学习中的“维数灾难”(Curse of Dimensionality) 。然而，有意义的图像空间，它的本征维数是相对较低的，即高维图像数据存在相对低维的特征表达空间，这就意味着存在将高维图像进行低维转化的可能性。如何消除数据间的冗余，寻找数据间的内在联系，将数据映射到一个低维空间中去，以利于后续处理，是数据降维算法所要解决本质问题。
维数约简是高维数据处理中非常重要的预处理步骤，是指样本从高维观测空间通过线性或非线性映射投影到一个低维空间，从而找出隐藏在高维观测数据中有意义的低维结构。它在很多领域当中都具有举足轻重的作用，如模式分类、高维数据可视化、数据压缩等等。通过降维方法可以将高维数据投影到一个低维空间，从而找出隐藏在高维观测数据中有意义的低维结构。在该低维子空间中进行分类可以得到更精确的结果，且计算代价大大降低。本文研究的问题为用filter降维方法将需要降维的高位数据进行降维，然后在这个低维数据的基础上进行一个随机子空间的随机分类，在每一个类别上用随机的数据训练一个分类器，最后将训
2 结合局部搜索的粒子群优化算法研究及应用
练好的几个分类器整合出一个最优的分类器，用这个分类器去测试数据，以求得它的错误率最小。
1.2 维数灾难
“维数灾难”问题最早是由Bellman于1961年提出的„，当时指的是估计多变量函数所需的样本采样点数会随着变量个数的增加呈现指数增长的困难。现在一般指高维数据空间中所谓的空空间现象，即高维数据空间的本征稀疏性。
维数约简方法是用来克服“维数灾难”和模型化高维数据的一种典型数据处理技术，是用来解决这一问题的有效手段之一。它可通过对离散数据集合的分析来寻求嵌入在高维数据空间中本征低维流形的不同样式，寻求事物的本质规律性。
根据数据降维采用投影函数的不同，目前已有的降维方法可以分为线性降维方法和非线性降维方法两类。线性降维方法主要包括主成分分析(Principal Component Analysis，PCA)、独立成分分析(Independent Component Analysis，ICA)、投影寻踪(Projection Pursuit,PP)、因子分析(Factor Analysis)、线性判别分析(Linear Discrimenant Analysis，LDA)等。在处理实际问题当中，这些方法具有简单性、易解释性、执行速度块、能够真实反应数据线性结构等优点，从而使得线性降维成为高维数据处理的一个主要研究方向。但就现实世界中所获得的真实数据集合而言，尤其是图像数据更多的是呈现出非线性的结构，甚至是高度非线性的结构。对于只考虑在高维数据空间中如何设计线性模型特征向量的线性降维方法而言，它们对于“高维数、非结构化”的图像数据经常不能得到较好的处理效果。
近年来针对线性降维方法不能揭示数据非线性结构的问题，非线性降维方法成了数据降维领域的研究热点，各种非线性维数约简的理论与方法被提出。Zhang等人提出了一种可用于非线性流形学习的局部线性光滑方法；Roweis提出了局部线性嵌入方法，并将其应用于脸谱图像数据和文档类数据处理中；M.Belkin和P.Niyogi提出了Laplacian Eigenmap方法，并在数字手写体识别中获得了良好的效果；Donoho和Carrie Grimes通过对数据流形理论上的分析，提出了基于Hessian矩阵的局部线性嵌入方法，并说明这种方法可以看作是局部线性嵌入和Laplacian Eigenmap方法的修正。
第一章 绪论 3
1.3 集成特征选择方法和随机子空间集成方法
集成特征选择方法是多分类器集成系统中的一个重要分支。其基本思想是Opitz在文章中(Opitz，1999)提出的。集成特征选择系统的设计方法可以概括描述为：将数据集中不同的特征分别进行分割，使用不同的特征子集以构建不同的分类器，这样，不同分类器的训练和新样本的识别过程都是依据数据在不同的特征子空间中的分布，由此构建的各个分类器将具有较大的差异度。因此对一个新样本，各个分类器将可能得到不同的输出。将这些输出采用某种融合方法集成起来，就能形成一个稳健的分类器集成系统。
集成特征选择方法与传统的特征选择方法的基本思路不同。传统的特征选择算法filter方法是根据某种准则选择一组最优或近似最优的特征。然而集成特征选择方法的根本目标是通过某种方式划分特征子集，并使这些特征子集能够用于构建精确度较高且有高差异度的基分类器。由于差异度与精确度常常无法同时达到最优，集成特征选择算法的主要目标是搜索一组差异度和精确度均衡的特征子集来构建分类器，而不是一组实现最优识别精度的特征子集。因此，集成特征选择算法并不是简单地将特征选择的方法进行融合。
在数据分类中获得的高维形成了一个基于非常大高维数据的重大的挑战。这需要当前最先进的分类算法去修正与适应。我们调查了随机子空间集成方法方法在高维分类中的适应性。在原始特征集中随机采样和在每一个子集中建立基分类器。这个集成方法在每一个重要的投票或平均可能输出中设计了一个类别标签。寻找指导方案在方法中设定下列两个参数——集成大小和特征样本大小——我们介绍了三个标准计算过的参数：选择特征集的可能性，重要特征集合的覆盖率，和特征集的多样性。这些标准一起优化去产生准确和多样的独自的分类器。随机子空间方法在各个随机空间上进行单一对象的实验。我们发现基于支持向量机的随机子空间作为基分类器优于单一分类器和其他一些大量广泛使用的分类算法例如bagging，AdaBoost，随机树和旋转树。最相近的竞争对手是单一的支持向量机和基于支持向量机的bagging分类器。
4 结合局部搜索的粒子群优化算法研究及应用
1.4 本文总体结构
在第一章的绪论中，介绍了随机子空间集成方法产生的背景，集成特征选择方法提出的背景，提出了结合集成特征选择方法进行随机子空间集成的概念。
第二章介绍filter算法和随机子空间集成方法的基本原理、算法流程和参数设置等。
第三章简要介绍了高维数据降维的基本概念，并着重介绍了filter算法和随机子空间集成方法在高维数据中的应用。
第四章实验的结果和结论
第五章总结和展望。
第二章 基本PSO和PSO-LS算法介绍 5
第二章 filter和随机子空间集成
2.1 filter算法
Filter方法在高维数据的关键数据的选择上起着很重要的作用，目前已经有很多研究者使用特征选择方法分析高维，以用于筛选出关键数据，也不断有研究者根据数据高维小样本的特点提出了一些新的特征选择算法。
2.1.1 filter算法的基本原理
1999年Golub等人在分析白血病微阵列数据时提出了信噪比准则，目前它成为一种被广泛使用的数据重要性评估方法。随后，研究人员开始将概率统计方法引入到数据的识别上。2000年Amn和Tallaka等人提出使用T-statistic数据选择准则以用于数据的分析。在基于T-statistic的选择方法中，由于微阵列数据天生具有高噪声、高变异和小样本等不利因素，对数据表达水平的均值与方差的筒单计算往往是不准确和不可靠的。为此，Baldi等人提出了一种贝叶斯概率估计框架以更精确地计算Ｔ统计量。此外，Ｔ统计量不能利用全组数据信息，并需要纠正较高的假阳性率。对于那些具有较小类间方差的数据将有可能得出较大的T统计量观察值而容易被误认为具有显著的表达差异。为了克服这些缺点，Tusher等人在分母项中增加一个常数以改进这种经典统计量，提出了著名的SAM方法。
从机器学习的角度，分析filter方法的特点，可归结如下。其优点在于只与数 据有关，因而运算速度很快，即使高达上万的数据集也能很快获得所需结果。其缺点在于：(1)由于filter方法是与分类器无关，当用于识别样本的分类器的学习准则与filter方法的准则很不同时，筛选出的数据不能真正适用于该分类器。对同一个数据集使用同一种fliter方法获得的基因应用于不同分类器，将得到不同的识别效果。(2)多数filter方法都是基于数据满足某种分布的假设，然而高维数据不一定都能满足这样的假设。因此，同一个filter方法在不同数据上的应用效果不同。
2.1.2 PSO算法流程
PSO的算法流程[34]如下：
6 结合局部搜索的粒子群优化算法研究及应用
(1) 随机初始化粒子群体的位置和速度。通常是在允许的范围内随机产生的，每个粒子的pBest 坐标设置为其当前位置，且计算出其相应的个体极值(即个体的适应度值)，而全局极值(即全局的适应度值)就是个体极值中最好的，记录该最好值的粒子序号，并将gbest 设置为该最好粒子的当前位置。
(2) 计算每个粒子的适应值。
(3) 对每个粒子，将其适应值与个体极值进行比较，如果较优，则更新当前的个体极值pBest。
(4) 对每个粒子，将其适应值与全局极值进行比较，如果较优，则更新当前的全局极值gBest。
(5) 根据式(2-1) 、(2-2) ，更新每个粒子的位置和飞行速度。
(6) 如未达到预先设定的停止准则(通常设置为最大迭代次数) ，则返回步骤2 ，若达到则停止计算。
2.1.3 PSO算法的伪程序
PSO的伪程序如下所示：
PSO算法开始
1. 初始化参数：随机初始化位置和速度，给定maxIteration和population size等;
2. 随机产生 P0;
3. 初始设定 Pi 和 Pg ;
4. While t
4.1计算 Pt 中各个粒子的适应值；
4.2 假如有必要, 更新 Pi 和 Pg;
4.3 依照公式 (2-1)更新速度的数值;
4.4 限定速度在[-Vmax, Vmax]之内;
4.5 依照公式 (2-2)更新位置的数值;
4.6 t= t+1;
5. while结束
PSO算法结束
第二章 基本PSO和PSO-LS算法介绍 7
2.1.4 PSO算法的研究与改进
迄今，对PSO的研究和改进[17]主要归纳为如下几方面：
(1)位置和速度更新公式。文献[2]改进了速度的更新公式，在PSO中引入了惯性权因子，大大提高了算法的性能：文献[18]利用模糊规则确定惯性权，但由于需要对各种搜索情况建立模糊规则，增加了算法的复杂度，并且在搜索过程中，需要不断查找模糊规则库，因此降低了算法效率：文献[19]提出在PSO速度更新公式中引入收缩因子来控制PSO算法的收敛趋势，给出了算法的理论分析，文献
[20]进一步给出了保证算法收敛的算法控制参数选择方案：文献[21]在PSO速度更新公式中，通过引入被动聚集项，实现种群内信息充分共享，防止了微粒因缺乏足够的信息而判断失误所导致陷入局部极小，但由于附加项的加入，降低了算法的收敛速度： 文献[ 22]通过引入时变加速因子和时变惯性权因子，有效地增强了算法的局部搜索能力，同时引入自组织递阶概念，微粒只通过认知和社会部分来更新，有效地提高了算法的收敛速度：文献[23]改进了位置的更新公式，利用Kalman滤波更新微粒位置，有效减少算法迭代次数的同时不损坏PSO 快速的收敛能力。
(2)多种群。文献[24]在PSO中引入了子种群的概念：文献[25]提出合作PSO，通过使用多个种群分别来优化决策向量的不同片断。多种群法的缺点是，在初期的搜索效率低于标准PSO，且多个子种群的引入加大了算法的计算量。
(3)赋予微粒更多智能。文献[26]提出自组织PSO，通过赋予微粒在不同运动行为之间的自动切换的基本智能来实现目标的寻优：文献[27]赋予微粒群经验，利用禁忌表避免不良记忆以及基于虚拟领域的landscape等。赋予微粒更多智能的做法在一些简单测试函数中表明了其有效性，与此同时算法的复杂度也大大提高。
(4)种群拓扑结构。文献[28]研究了种群拓扑结构对于搜索性能的影响，强调微粒群拓扑的重要性以及微粒在种群中的组织形式和寻找到全局最优点的倾向之间的关系：文献[29]引入邻域算子维持了种群的多样性。
(5)混合方法。文献[30]提出一种基于PSO和Levenberg-Marquardt的混合优化方法，该方法有机地将PSO的开发能力与Levenberg-Marquardt的局部探索能力相结合，提高了PSO算法的搜索精度：文献[31]将Nelder-Mead simplex与PSO
8 结合局部搜索的粒子群优化算法研究及应用
相结合，提高了单纯形方法的收敛速度，同时提高了PSO算法的搜索精度：文献
[32]将PSO与序贯二次规划SQP相结合，同时利用了PSO的并行全局探索能力与SQP的局部开发能力，克服了SQP需要依赖问题梯度信息的缺点，有效地解决了电力系统大规模经济调度问题。另外，文献[33]将量子行为引入PSO，利用量子测不准原理代替牛顿力学来确定微粒的行为。
2.2 局部搜索算法——爬山算法
在文献[16]中，用遗传算法作为全局搜索的同时，将爬山算法作为局部搜索以获得局部最优。因为在运动的粒子中，爬山算法更加容易实现，而且有很好的适应性。爬山算法（Hill-Climbing ）利用随机局部搜索来去确定方向和各自下一步步幅的大小。HC算法是如下的HC算法程序段。
HC算法程序
1.初始化：指定邻近函数 选择初始解I0 ;
2. 设定循环计数器 k=1;
3. while k
3.1依照;，产生 Ik
3.2 计算目标函数的改变值 c(IK)c(Ik1);
3.3 当0时，接受解决方案 Ik；
3.4 k=k+1;
4. while结束
在算法中, 设计产生新的候选解（参考文献[9]）：
New solution=current solution + r*(1-2*rand( ) )
（2-3）
在式子中 r表明最初粒子的变化率；Rand()是一个随机函数，产生[0，1]的随机数。
第二章 基本PSO和PSO-LS算法介绍 9
2.3 结合局部搜索的粒子群优化算法
在结合局部搜索的粒子群优化算法（Particle Swarm Optimization with Local Search, PSO-LS）中，粒子群优化算法搜索全局解，在和全局最优解比较取优之前，每个粒子都有一个机会通过局部搜索算法来自我改善。PSO-LS的伪程序如下所示：
PSO-LS算法开始
1. 初始化参数：随机初始化位置和速度，给定maxIteration和population size等;
2. 随机产生 P0;
3. 初始设定 Pi 和 Pg ;
4. While t
4.1计算 Pt 中各个粒子的适应值；
4.2 假如有必要, 更新 Pi ;
4.3 对于粒子群中的每一个粒子, 执行函数 Local-Search() 如 HC算法
程序;
4.4 假如有必要, 更新 Pi 和 Pg;
4.5 依照公式 (2-1)更新速度的数值;
4.6 限定速度在[-Vmax, Vmax]之内;
4.7 依照公式 (2-2)更新位置的数值;
4.8 t= t+1;
5. while结束
PSO-LS算法结束
2.4 PSO和PSO-LS中参数的分析和设置
PSO参数包括：最大速度Vmax ，惯性权重w，加速常数c1 和c2，群体规模m，最大代数Gmax，以及PSO算法的中止条件。
相对于PSO，PSO-LS算法多了HC算法中几个参数：K，r，式。
(1) 最大速度Vmax
10 结合局部搜索的粒子群优化算法研究及应用
Vmax 决定当前位置与最好位置之间的区域的分辨率(或精度)。如果Vmax太高，微粒可能会飞过好解；如果Vmax太小，微粒不能在局部好区间之外进行足够的探索，导致陷入局部最优值。
该限制有3个目的：
1) 防止计算溢出；
2) 实现人工学习和态度转变；
3) 决定问题空间搜索的粒度。
(2) 权重因子
在PSO算法中有3个权重因子：惯性权重w ，加速常数c1和c2。
惯性权重w 使微粒保持运动惯性，使其有扩展搜索空间的趋势，有能力探索新的区域。
加速常数c1和c2代表将每个微粒推向pbest 和gbest 位置的统计加速项的权重。低的值允许微粒在被拉回之前可以在目标区域外徘徊，而高的值则导致微粒突然的冲向或越过目标区域。
如果没有后两部分，即c1 = c2 = 0，微粒将一直以当前的速度飞行，直到到达边界。由于它只能搜索有限的区域，所以很难找到好解。
如果没有第1部分，即w = 0，则速度只取决于微粒当前位置和其历史最好位置pbest 和g best，速度本身没有记忆性。假设一个微粒位于全局最好位置，它将保持静止。而其他微粒则飞向它本身最好位置pbest和全局最好位置gbest的加权中心。在这种条件下，微粒群将收缩到当前的全局最好位置，更像一个局部算法。
在加上第1部分后，微粒有扩展搜索空间的趋势，即第1部分有全局搜索能力。这也使得w的作用为针对不同的搜索问题，调整算法全局和局部搜索能力的平衡。
如果没有第2部分，即c1 = 0，则微粒没有自我认知能力，也就是“只有社会意识(social-only)”的模型。在微粒的相互作用下，有能力到达新的搜索空间。它的收敛速度比标准版本更快，但对复杂问题，则比标准版本更容易陷入局部最优值点。
如果没有第3部分，即c2 = 0，则微粒之间没有社会信息共享，也就是“只有自我认知(cognition-only)”的模型。因为个体间没有交互，一个规模为m的群体等价于运行了m个单个微粒的运行，因而得到解的几率非常小。我们对一些函数的
第二章 基本PSO和PSO-LS算法介绍 11 测试结果也验证了这一点。
早期的试验将w固定为1. 0，c1和c2固定为2. 0，因此Vmax 成为唯一需要调节的参数，通常设为每维变化范围的10% ～ 20%。
引入惯性权重w 可消除对Vmax 的需要，因为它们的作用都是维护全局和局部搜索能力的平衡。这样，当Vmax增加时，可通过减小w 来达到平衡搜索。而w的减小可使得所需的迭代次数变小。从这个意义上看，可以将Vmax ，d 固定为每维变量的变化范围，只对w进行调节。
对全局搜索，通常的好方法是在前期有较高的探索能力以得到合适的种子，而在后期有较高的开发能力以加快收敛速度。为此可将w设为随时间线性减小，例如由1. 4 到0，由0. 9到0. 4，由0. 95到0. 2等。这就是PSO一种改进算法
——Particle Swarm Optimization with Linearly Decreasing inertia Weight (PSO-LDW).
Sugan than的实验表明，c1和c2为常数时可以得到较好的解，但不一定必须为2。Clerc引入收缩因子(constriction facto r) K 来保证收敛性
vid = K [ vid + φ1 rand ( ) (pid－xid ) +φ2Rand () (pgd－xid ) ] (2-5) 式中：K
2242，φ=φ1+φ2，φ>4。
这对应于式(2-1) 中一种特殊的参数组合，其中K即一种受φ1和φ2限制的w，而c1 = Kφ1，c2 = Kφ2。
这些参数也可以通过模糊系统进行调节。Shi 和 Eberhart 提出一个模糊系统来调节w，该系统包括9条规则，有两个输入和一个输出，每个输入和输出定义了3个模糊集。一个输入为当前代的全局最好适应值，另一个为当前的w；输出为w 的变化。结果显示该方法能大为提高平均适应值。
此外，群体的初始化也是影响算法性能的一个方面。Angeline对不对称的初始化进行了实验，发现PSO只是略微受影响。
Ozcan和Mohan通过假设w = 1，c1和c2为常数，pbest 和gbest为固定点，进行理论分析，得到一个微粒随时间变化可以描述为波的运行，并对不同的感兴趣的区域进行了轨迹分析。这个分析可以被Kennedy的模拟结果支持。一个寻求最优值位置的微粒尝试着操纵它的频率和幅度，以捕获不同的波。w可以看作是修改了感兴趣的区域的边界，而Vmax则帮助微粒跳到另外一个波。
12 结合局部搜索的粒子群优化算法研究及应用
（3）群体规模m
群体规模，也就是就粒子数：一般取20~40。其实对于大部分问题来说，10个粒子已经足以取得好的结果，不过对于比较难的问题或者特定类别的问题，粒子数可以取到100到200。
（4）最大代数Gmax
最大代数是由优化问题来决定，对于一些比较算法的例子，会给出不同的最大代数来进行比较。
（5）PSO算法的中止条件
最大循环数以及最小错误要求。
（6）HC算法中的K
在很多程序中，K选定的是4或者5。在本程序中，K选定的值是4。
（7）HC算法中的r
r表明最初粒子的变化率。
在文献[3]中提到，r的选定可以是一下两条中的任意一条：
a）在实验中，取某一定值； b）在实验中，随着循环的增加，r值线性递减。
a)中，r初始化为搜索空间的0.1倍；b)中，将r初始化为搜索空间的0.1倍，随着循环的增加，r值线性递减至搜索空间的0.005倍。
（8）HC算法中的式
在文献[9]中, 设计产生新的候选解：
New solution=current solution + r*(1-2*rand( ) )
在式子中 r表明最初粒子的变化率；Rand()是一个随机函数，产生[0，1]的随机数。
第三章 实验设计和实验方法 13
第三章 PSO-LS算法在图像融合中的应用
3.1 什么是图像融合
图像融合是将2个或2个以上的传感器在同一时间(或不同时间)获取的关于某个具体场景的图像或者图像序列信息加以融合，生成一个新的有关此场景的解释，而这个解释是从单一传感器获取的信息中无法得到的。图像融合的目的是减少不确定性。如果将上述定义的条件减弱一些，有时图像融合处理的对象也可以是单一传感器在不同时间获取的图像数据。
图像融合的形式可分为3种：
(1)多传感器不同时获取的图像的融合；
(2)多传感器同时获取的图像的融合；
(3)单一传感器不同时间，或者不同环境条件下获取的图像的融合。
图像融合广泛应用于图像处理、遥感、计算机视觉以及军事等领域，其作用包括：
(1)图像增强。通过综合来自多传感器(或者单一传感器在不同时间)的图像，获得比原始图像清晰度更高的新图像。例如，在遥感应用中，常用两种传感器获得同一地域的高分辨图像和多光谱图像，融合这两种图像，可以获得细节和轮廓都得到改善的图像；又例如，将融合技术用于同一数码相机在不同时间拍摄的聚焦点不同的两幅图像，可以获得比原始图像清晰度都要高的新图像。
(2)特征提取。通过融合来自多传感器的图像更好地提取图像的特征，如线段、边缘等。
(3)去噪。
(4)目标识别与跟踪。
(5)三维重构。
图像融合按层次可分为：信号级、像素级、特征级和决策级。本文主要研究了像素级图像融合的基本方法。
14 结合局部搜索的粒子群优化算法研究及应用
3.2 像素级图像融合的基本方法
所谓的像素级图像融合，是指直接对图像中像素点进行信息综合处理的过程。像素级图像融合的目的是生成一幅包含更多信息、更清晰的图像。像素级图像融合属于较低层次的融合，目前大部分研究集中在该层次上。
假设存在原始的黑白图像R的矩阵为 R(m×n)。分别对图像R的边缘部分和中心部分进行Gaussian噪音处理，得到的两幅图像的矩阵分别为R1和R2。两个矩阵进行线性加权运算得到融合图像的矩阵FR：
FR = αR1 + (1－α)R2 (3-1)
可见融合的效果取决于系数α，为了衡量融合效果，设定融合指标G为： GFRi,jRi,jmn (3-2) 2
i1j1mn
由式(3-2)可知融合指标G越小，则融合图像与原始图像的偏差越小，说明融合效果越好。
分别设定α = 0，0.1，0.2，„，0.9，1.0检验融合效果，检验结果见表4.1：
表4.1 α与G值对照表
由表4.1可知，α的取值不同，导致了G的取值不同，说明存在最优的α值，使得G值最小。
3.3 实验软件MATLAB简介
MATLAB是由美国MathWorks公司发布的面向科学计算、数据可视化以及交互式程序设计的高技术计算语言。MATLAB原先作为矩阵实验室“Matrix
第三章 实验设计和实验方法 15 Laboratory”（缩写为Matlab），是用来提供通往LINPACK和EISPACK矩阵软件包接口的。后来，它逐渐发展成为通用科技计算、图视交互系统和程序语言。其数据的基本单元是矩阵，此外它在大量软件包的技术支持下，建立了一整套简约化的指令系统，从而形成了自己极鲜明的集成化风格。也正基于此，使得它在众多领域都显示了较之其它高级语言更为强大的功能。它将数值计算、矩阵计算、科学数据可视化以及非线性动态系统的建模和仿真等诸多强大功能集成在一个易于使用的视窗环境之中，对复杂的问题，往往只需要写很短的代码，所以与Basic、Fortran、Pascal、C等编程语言相比，MATLAB具有编程简单直观、用户界面友善、开放性强等优点。因此自其面世以来，很快得到了推广应用，现已成为国际上公认的最优秀的数值计算仿真软件。
3.4 基于PSO算法的图像融合
基于PSO算法的融合方法就是以PSO算法来优化公式(3-1)中的α值，使得取得的G值最小，从而得到最佳的融合图像。
具体步骤如下：
(1) 设定粒子数m，产生m个[0，1]之间的随机解(随机粒子)；
(2) 如果没有达到最大迭代次数就继续，否则结束；
(3) 如果没有达到最小误差范围就继续，否则结束；
(4) 根据公式(3-1)计算融合图像矩阵，然后计算该粒子的融合指标；
(5) 如果该融合指标小于该粒子的最佳融合指标，就把该融合指标作为该粒子的最佳融合指标，否则转到(7) ；
(6) 如果该融合指标小于全局最佳融合指标，就把该融合指标作为全局最佳融合指标；
(7) 利用PSO的相关公式计算该粒子的变化值；
(8) 通过公式计算该粒子的值，转步骤(2)。
16 结合局部搜索的粒子群优化算法研究及应用
3.5 基于PSO-LS算法的图像融合
和基于PSO算法的图像融合的概念相似：基于PSO-LS的融合方法就是以PSO-LS算法来优化公式(3-1)中的α值，使得取得的G值最小，从而得到最佳的融合图像。
具体步骤如下：
(1) 设定粒子数m，产生m个[0，1]之间的随机解(随机粒子)；
(2) 如果没有达到最大迭代次数就继续，否则结束；
(3) 如果没有达到最小误差范围就继续，否则结束；
(4) 根据公式(3-1)计算融合图像矩阵，然后计算该粒子的融合指标；
(5) 如果该融合指标小于该粒子的最佳融合指标，就把该融合指标作为该粒子的最佳融合指标，否则转到(7) ；
(6) 如果该融合指标小于全局最佳融合指标，就把该融合指标作为全局最佳融合指标；
(7) 利用HC算法进行局部搜索，假如有必要更新数据；
(8) 利用PSO的相关公式计算该粒子的变化值；
(9) 通过公式计算该粒子的值，转步骤(2)。
3.6 实验数据
选定如下图片作为实验图片：先分别对实验图片的中心和出去中心的边缘部分进行Gaussian噪声处理，得到两幅图像，再对着两幅图像进行图像融合实验。实验图像和Gaussian噪声处理后的图像，如次所示：
数据A：（图片信息：图片大小为120*120，取中间90*90为中心）
图3.1 原始图像A
第三章 实验设计和实验方法 17
图3.2中心经过Gaussian噪声处理的图像A1
图3.3 边缘经过Gaussian噪声处理的图像A2
数据B：（图片信息：图片大小为400*400，取中间300*300为中心）
图3.4原始图像B
18 结合局部搜索的粒子群优化算法研究及应用
图3.5中心经过Gaussian噪声处理的图像B1
图3.6 边缘经过Gaussian噪声处理的图像B2
第三章 实验设计和实验方法 19
3.7 实验中相关参数设置
实验中，PSO算法和PSO-LS算法尽量采用一致的参数，从而有较好的可对比性。在PSO算法中：权重w取值为0.7；学习因子c1和c2取值都为2；Ｖmax设置为1。PSO-LS是粒子群优化算法结合局部搜索算法形成的。为了减少局部搜索所用的计算时间，当前解考虑测试的只是一小部分的邻居粒子。因而，我们考虑Ｋ＝４作为实验的检验值。ｒ的设定为搜索空间的0.1倍，即ｒ＝0.1。为了比较，我们要控制变量。为了PSO算法的可量测性研究，粒子数量分别设置如下：
p_num = 5，10，15；
对于最大代数分别设置如下：
对于图A：iter_max = 10，12，15，20； 对于图B：iter_max = 10，15，20；
每个实验的设置都运行20次。
第四章 实验结果和结论 21
第四章 实验结果和结论
4.1 实验结果
对于图A的计算结果如次所示：
两幅图像A1和A2（即图3.2和3.3）分别经过PSO和PSO-LS算法处理得到的新图像如下图所示：
图4. 1 经过PSO算法得到的新图像A3
图4. 2 经过PSO-LS算法得到的新的图像A4
不同实验设置所得到的新图像和原图像A（即图3.1）相比的错误率，如下表
4.1所示：
表4.1 基于图A错误率比较
22 结合局部搜索的粒子群优化算法研究及应用
由上表得到的数据绘制成的相关数据比较图如次所示：
图4. 3 基于图A的错误率比较图
得到的最佳粒子走势图如次所示：（折线代表PSO，星号代表PSO-LS）
第四章 实验结果和结论
23
图4. 4 粒子数是5，最大迭代次数是20时的一次实验中全部最佳粒子的走势图
对于图B的计算结果如次所示：
两幅图像B1和B2（即图3.5和3.6）分别经过PSO和PSO-LS算法处理得到的新图像如下图所示：
24 结合局部搜索的粒子群优化算法研究及应用
图4. 5 经过PSO算法得到的新的图像
B3
图4. 6 经过PSO-LS算法得到的新的图像B4
不同实验设置所得到的新图像和原图像B（即图3.4）相比的错误率，如下表4.2所示：
第四章 实验结果和结论 25
表4.2 基于图B错误率比较
图4. 7 基于图B的错误率比较图
得到的最佳粒子走势图如次所示：（折线代表PSO，星号代表PSO-LS）
26 结合局部搜索的粒子群优化算法研究及应用
图4. 8粒子数是5，最大迭代次数是20时的一次实验中全部最佳粒子的走势图
4.2 实验结果分析和结论
一、α取值不同对错误率的影响
根据公式（3-1）：FR = αR1 + (1－α)R2。分别针对图像A和B，对α取不
同的值，得出其错误率，来分析α取值的不同对错误率的影响。α的取值范围为
[0,1]。
为了能更方便得看清楚α的取值，将α的取值放大1000倍作为横轴，错误率为纵轴。实验结果如图所示：
第四章 实验结果和结论
27
图4. 9 针对图A，α的取值不同对错误率的影响
图4. 10针对图B，α的取值不同对错误率的影响
28 结合局部搜索的粒子群优化算法研究及应用
由上面两幅图我们可以得到，在α的取值范围[0,1]内，随着α的增加，错
误率先是减小，后增加。两幅图都有一个极点：图4.9为（437，0.001184890），图4.10为（438，0.001349098）。这两个点就是对应于该幅图像的α的最好取值和错误率。
二、粒子数和最大迭代次数不同对错误率的影响
当我们把实验的设置改动如下：粒子数量分别设置如下：p_num = 20，30，40；对于最大代数分别设置如下：iter_max = 25，50，100。并作用于图A上，我们就能看到这样一个现象（如表4.3）：
表4.3 改变设置后基于图A的错误率比较
上表中所示的错误率都一样，为0.001184890。通过计算和实验，可以得到对于图像A1和A2（即图3.2和3.3）融合所得图像和原图像A（即图3.1）所能达到的最小的错误率为：0.001184890。也就是说，选取这样的设置得到的数据都是PSO算法所能达到的最优的情况。在2.4节中也已经提到过“粒子数一般选取20~40，其实对于大部分的问题来说，10个粒子已经足以取得好的结果。”
假若选取这样的实验设置，得到的实验结果没有什么实际的比较意义，唯一能说明的只是在这样的实验设置下，PSO算法和PSO-LS算法作用于图像A1和A2都能得到最优的融合图像。因而，需改变实验设置，改变后的实验设置如3.7节中
第四章 实验结果和结论 29
实验设置所示。
将图4.3基于图A的错误率比较图分解开如下图（图4.11和图4.12）所示。将图4.7基于图B的错误率比较图分解开如下图（图4.13和图4.14）所示。
图4. 11 基于图A错误率比较图——PSO算法
30 结合局部搜索的粒子群优化算法研究及应用
图4. 12 基于图A错误率比较图——PSO-LS算法
图4. 13 基于图B错误率比较图——PSO算法
第四章 实验结果和结论
31
图4. 14 基于图B错误率比较图——PSO-LS算法
根据图4.3和图4.7，可以得出结论：在最大代数和粒子数固定的时候，PSO-LS比PSO算法的效果好。
在进行图像融合时，将PSO算法和HC算法结合起来的PSO-LS算法要比PSO算法好，在PSO算法还没有达到最优效果，PSO-LS已经达到了最有效果。对于图像A来说，当粒子数为10，最大代数为10的时候，经过PSO-LS算法处理的图像基本上达到了最优；在相同条件下，PSO算法处理以后的图像的依旧没有达到最优。
根据图4.11和图4.13，可以得出结论：当最大代数固定的时候，随着粒子数的增加，所得融合图像的错误率会降低，即PSO算法的效果越好；当粒子数固定的时候，随着最大代数的增加，所得融合图像的错误率会降低，即PSO算法的效果越好。
三、全部最佳粒子值的走势
图4.4和图4.8为一次实验中全部最佳粒子值的走势图。从中可以看出PSO-LS
要比PSO算法更快得找出最佳值。
我们改变实验的参数：令iter_max=50，p_num=30。再来看走势图，如次所示：
32 结合局部搜索的粒子群优化算法研究及应用
图4. 15粒子数是30，最大迭代次数是50时的一次实验中全部最佳粒子的走势图
图4. 16 将图4.15的一部分放大得到的图像
从上面两幅图像中，我们可以更加清楚的看到PSO-LS比PSO算法更快得找出
第四章 实验结果和结论 33 最佳值。
综合以上三点，可以得出结论：结合局部搜索的粒子群优化算法（PSO-LS）优于粒子群优化算法（PSO）。PSO-LS在优化问题上有较好的应用前景。
第五章 总结和展望 35
第五章 总结和展望
本文介绍了粒子群优化算法（PSO）产生的背景，将局部搜索算法结合到PSO算法中，提出了一种新的算法PSO-LS算法。给出了群智能的概念，阐述了PSO和PSO-LS算法的基本原理和具体的算法流程，分析了算法中相关参数的设置。 此外本文还介绍了图像融合的相关信息，并重点研究了MATLAB环境下，PSO和PSO-LS算法在像素级图像融合中的应用。实验结果表明：结合局部搜索的粒子群优化算法优于粒子群优化算法。
论文中的不足是：
1）PSO-LS中的局部搜索算法作用于所有粒子，这样取得好效果的同时牺牲了
时间，这一点可以优化改进为只对部分特殊的粒子进行局部搜索算法，这样不仅可以节省时间，还可以取得较好的效果；
2）在实验中没有很好的证明PSO-LS的图像融合效果和其参数iter_max和
p_num的关系；
对以后的展望：
1）对PSO-LS中的不足进行改进，从何达到更好的效果，以便能更好地用于
实际问题的求解；
2）对PSO-LS算法应用领域的扩展，PSO-LS是PSO这种优化算法的一种改
进算法，很有应用前景。开拓其应用领域，在应用的广度和深度上进行拓展是很有价值的工作；
3）算法参数的确定：算法中的一些参数如c1、c2、w等往往依赖于具体问题，
依据应用经验，经多次测试来确定，并不具有通用性。因此，如何方便有效地选择算法参数，也是迫切需要研究的问题；
4）算法的基础理论研究：与PSO相应的相对鲜明的社会特性基础相比，其数
学基础显得相对薄弱，缺乏深刻且具有普遍意义的理论分析，不能对PSO的工作机理做出合理的数学解释。虽然PSO的有效性、收敛性等性能在一些实例和函数的仿真研究中得到验证，但没能在理论上进行严谨推敲和严格证明。因此，对PSO的基础理论研究非常重要。
36 结合局部搜索的粒子群优化算法研究及应用
致 谢 37
致 谢
大学四年，时间如飞。这四年，让我学到了怎么样去做人做事，学到了我日后学习和工作所需的能力和专业基础。感谢学校，感谢我们敬爱的老师！
毕业设计是检验我们大学四年所学知识的一种方式。整个毕业设计过程中，我最想感谢我的导师杨利英老师，她在学术上的博学和勤勉，以及在生活上的谦和和细致都给我留下了深刻的印象。我很感激她对我要求上的严格与认真以及能力上的肯定与信任。
同时，感谢我的大学同窗在我做毕业设计期间所给予我的帮助和启发。
最后，谢谢所有关心、帮助我的老师、同学和朋友。感谢你们一直陪在我的身边支持我，关心我，让我度过了一个非常快乐、幸福、充实的大学生活，收获了知识和美好的回忆。
再次感谢你们！
38 结合局部搜索的粒子群优化算法研究及应用
参考文献 39
参考文献
[1] Kennedy J, Eberhart R C.Particle swarm optimization[C].IEEE International Conference on Neural Networks. Piscataway: IEEE Service Center, 1995:1942-1948.
[2] Shi Y, Eberhart R, A modified particle swarm optimizer [C]. IEEE World Congress on Computational Intelligence, 1998：69–73.
[3] Junying, Chen; Zheng, Qin; Yu, Liu; Jiang, Lu. Particle swarm optimization with local search. Proceedings of 2005 International Conference on Neural Networks and Brain Proceedings, v 1, p 481-484.2005.
[4] 刘宇，覃征，卢江，史哲文. 多模态粒子群集成神经网络. 计算机研究与发展，2005，42（9）：1519－1526.
[5] 杨利英等. 粒子群优化多分类器融合模型.小型微型计算机系统. 2006，27
（7）：1313-1316.
[6] 彭喜元, 彭宇, 戴毓丰. 群智能理论及应用. 电子学报, 2003,31(12A): 1982–1988.
[7] 李宁，付国江，库少平，等.粒子群优化算法的发展与展望. 武汉理工大学报，2005，27（2）：26-29.
[8] Eberhart, R.C., Kennedy.: A New Optimizer Using Particles Swarm Theory. Proceedings of the Sixth Intemational Symposium on Micro Machine and Human Science, (Nagoya, Japan), IEEE Service Center, Piscataway, NJ (1995) 39-43
[9] Xi-Huai, Wang. Jun-Jun, Li,; Hybrid particle swarm optimization with simulated annealing. Proceedings of 2004 International Conference on Machine Learning and Cybernetics, ShangHai , ( 2004) 2402 - 2405
[10] 张燕，汪镭，康琦,等. 微粒群优化算法及其改进形式综述[J]. 计算机工程与应用，2005，41（2）：1-3
[11] Cui ZH, Zeng JC, Cai XJ.:A new stochastic particle swarm optimizer. Proceedings of the 2004 Congress on Evolutionary Computation ( 2004) 316-319
[12] 朱丽莉，杨志鹏，袁华. 粒子群优化算法分析及研究进展. 计算机工程与应用. 2007，43（5）：24-27
[13] 倪超，李奇，夏良正. 基于广义混沌混合PSO的快速红外图像分割算法.2007年10月第36卷第10期：1954-1959.
40 结合局部搜索的粒子群优化算法研究及应用
[14] 杨勋，王江晴. 求解聚类问题的混合PSO算法设计. 微电子学于计算机. 2007年第24卷第10期.
[15] 谢晓锋, 张文俊, 杨之廉. 微粒群算法综述. 控制与决策, 2003, 18(2): 129-134.
[16] Renders, J.-M.; Bersini, H.; Hybridizing genetic algorithms with hill-climbing methods for global optimization: two possible ways. IEEE World Congress on Computational Intelligence, Proceedings of the First IEEE Conference on Evolutionary Computation (1994) 312 – 317
[17] 刘波, 王凌, 金以慧, 黄德先. 微粒群优化算法研究进展. 化工自动化及仪表, 2005, 32(3): 1-6.
[18] Shi Y, Eberhart R C. Fuzzy Adaptive Particle Swarm Optimization [C]. Proceeding of the Congress on Evolutionary Computation, Seoul, Korea, 2001: 101-106.
[19] Clerc M, Kennedy J. The Particle Swarm: Explosion, Stability, and Convergence in a Multidimensional Complex Space [J]. IEEE Transactions on Evolutionary Computation, 2002, 6: 58-73.
[20] Eberhart R C, Shi Y. Comparing Inertia Weights and Constriction Factors in Particle Swarm Optimization [A]. Proceedings of the Congress on Evolutionary Computation [C], 2000: 84-88.
[21] He S, Wu Q H, Wen J Y, et al. A Particle Swarm Optimizer with Passive Congregation [J]. Biosystems, 2004, 78: 135-147.
[22] Ratnaweera A, Halgamuge S K, Watson H C. Self-organizing Hierarchical Particle Swarm Optimizer with Time-varying Acceleration Coefficients [J]. IEEE Transactions on Evolutionary Computation, 2004, 8(3): 240-255.
[23] Monson C K, Seppi K D. The Kalman Swarm-A New Approach to Particle Motion in Swarm Optimization [A]. Proceedings of the Genetic and Evolutionary Computation Conference [C]. Springer, 2004: 140-150.
[24] L vbjerg M, Rasmussen T K, Krink T. Hybrid Particle Swarm Optimiser with Breeding and Subpopulations [A]. Proceedings of the Genetic and Evolutionary Computation Conference [C]. 2001: 469-476.
[25] van den Bergh F, Engelbrecht A P. A Cooperative Approach to Particle Swarm Optimization [J]. IEEE Transactions on Evolutionary Computation, 2004, 8(3):225-239.
[26] Rodriguez A, Reggia J A. Extending Self-organizing Particle Systems to
参考文献 41 Problem Solving [J]. Artificial Life, 2004, 10(4): 379-395.
[27] Ciuprina G, Ioan D, Munteanu I. Use of Intelligent-Particle Swarm Optimization in Electromagnetics [J]. IEEE Transactions on Magnetics, 2002, 38(2): 1037-1040.
[28] Kennedy J, Mendes R. Population Structure and Particle Swarm Performance
[A ]. Proceedings of the IEEE Congress on Evolutionary Computation [C]. 2002: 1671-1676.
[29] Suganthan P N. Particle Swarm Optimizer with Neighborhood Operator [A]. Proceedings of the Congress on Evolutionary Computation [C]. 1999: 1958-1961.
[30] Katare S, KalosA, West D. A Hybrid Swarm Optimizer for Efficient Parameter Estimation [A]. Proceedings of the IEEE Congress on Evolutionary Computation [C]. 2004: 309-315.
[31] Fan S K S, Liang Y C, Zahara E. Hybrid Simplex Search and Particle Swarm Optimization for the Global Optimization of Multimodal Functions [J]. Engineering
Optimization, 2004, 36(4): 401-418.
[32] Victoire TA A, JeyakumarA E. Hybrid PSOSQP for Economic Dispatch with Valve-point Effect [J]. Electric Power Systems Research, 2004, 71(1): 51-59.
[33] Sun J, FengB, XuW B. Particle Swarm Optimization with Particles Having Quantum Behavior [A]. Proceedings of the IEEE Congress on Evolutionary Computation [C]. 2004: 325-331.
[34] 范娜, 云庆夏. 粒子群优化算法及其应用. 信息技术, 2006(1): 53–56.
[35] 许磊，张凤鸣. 基于PSO的模糊聚类算法. 计算机工程与设计. 2006年，11月，第27卷 第21期：4128-4129.
[36] 董建明，胡觉亮. 基于PSO算法的图像分割方法. 计算机工程与设计. 2006.9，第27卷 第18期：3377-3387.
[37] 周驰，高亮，高海兵.基于PSO的置换流水车间调度算法. 电子学报. 2006.11 第11期：2008-2011.
[38] 刘国平，曾强. 多目标最优化的粒子群算法. 杭州师范学院报（自然科学版）.2005.1 第4卷第1期：30-33.
[39] 冯林，张名举，贺名峰，等. 基于粒子群优化算法的多模态医学图像刚性配准. 大连理工大学报. 2004年9月 第44卷第5期：695-699.
[40] 于鹏，刘大有，欧阳丹彤. 基于遗传与粒子群算法的Markov逻辑网学习
42 结合局部搜索的粒子群优化算法研究及应用
研究. 电子学报. 2006年12月 第12A期：2251-2255.
[41] 段晓东，王存睿，王楠楠等. 一种基于粒子群算法的分类器设计. 计算机工程. 2005年10月 第31卷 第20期：107-109.