img

官方微信

遥感技术与应用, 2021, 36(3): 587-593 doi: 10.11873/j.issn.1004-0323.2021.3.0587

数据与图像处理

基于LFDA和GA-ELM的高光谱图像地物识别方法研究

李宝芸,1, 范玉刚,1,2,3, 杨明莉1

1.昆明理工大学 信息工程与自动化学院,云南 昆明 650500

2.云南省矿物管道输送工程技术研究中心,云南 昆明 650500

3.昆明理工大学 云南省人工智能重点实验室,云南 昆明 650500

Research on Feature Recognition Method of Hyperspectral Image based on LFDA and GA-ELM

Li Baoyun,1, Fan Yugang,1,2,3, Yang Mingli1

1.Faculty of Information Engineering & Automation,Kunming University of Science and Technology,Kunming 650500,China

2.Engineering Research Center for Mineral Pipeline Transportation,Kunming 650500,China

3.Yunnan Key Laboratory of Artificial Intelligence,Kunming University of Science and Technology,Kunming 650500,China

通讯作者: 范玉刚(1973-),男,山东威海人,副教授,主要从事机器学习、智能信息处理、数据挖掘研究。E⁃mail:ygfan@qq.com

收稿日期: 2019-12-17   修回日期: 2020-06-15   网络出版日期: 2021-07-21

基金资助: 云南省教育厅科学研究基金项目.  2018JS019

Received: 2019-12-17   Revised: 2020-06-15   Online: 2021-07-21

作者简介 About authors

李宝芸(1996-),女,重庆万州人,硕士研究生,主要从事图像处理、模式识别研究E⁃mail:1475052566@qq.com , E-mail:1475052566@qq.com

摘要

高光谱图像的高维特性和波段间的高相关性,导致高光谱图像地物识别问题研究中,面临着数据量大、信息冗余的问题,降低了高光谱图像的分类识别精度。针对以上问题,提出了基于局部保留降维(Local Fisher Discriminant Analysis,LFDA)结合遗传算法(Genetic Algorithm, GA )优化极限学习机(Extreme Learning Machine, ELM)的高光谱图像分类方法。首先,采用LFDA对高光谱图像数据进行降维处理,消除信息冗余并保留局部邻域内主要特征;然后用GA优化ELM,对降维处理后的特征样本进行分类,提高高光谱图像的分类识别精度。将该方法应用于Salinas和Pavia University高光谱图像的地物识别问题研究,分类精度分别达到了98.56%和97.11%,由此验证了该方法的有效性。

关键词: 高光谱图像 ; 降维 ; 极限学习机 ; 分类识别

Abstract

The high-dimensional characteristics of the hyperspectral image and the high correlation between the bands have led to the problem of large data volume and information redundancy in the study of the feature recognition of hyperspectral images, which reduces the classification and recognition accuracy of hyperspectral images. Aiming at the above problems, a hyperspectral image classification method based on Local Fisher Discriminant Analysis (LFDA) combined with Genetic Algorithm (GA) to optimize Extreme Learning Machine (ELM) is proposed. First, the LFDA is used to reduce the dimensionality of the hyperspectral image data to eliminate information redundancy and retain the main features in the local neighborhood; then use GA to optimize the ELM, classify the feature samples after the dimensionality reduction, and improve the classification and recognition of the hyperspectral image Precision. The method proposed in this paper is applied to the research on the feature recognition of hyperspectral images in Salinas and Pavia University. The classification accuracy reaches 98.56% and 97.11% respectively, which verifies the effectiveness of the method in this paper.

Keywords: Hyperspectral image ; Dimensionality reduction ; Extreme learning machine ; Classification recognition

PDF (2523KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

李宝芸, 范玉刚, 杨明莉. 基于LFDA和GA-ELM的高光谱图像地物识别方法研究. 遥感技术与应用[J], 2021, 36(3): 587-593 doi:10.11873/j.issn.1004-0323.2021.3.0587

Li Baoyun, Fan Yugang, Yang Mingli. Research on Feature Recognition Method of Hyperspectral Image based on LFDA and GA-ELM. Remote Sensing Technology and Application[J], 2021, 36(3): 587-593 doi:10.11873/j.issn.1004-0323.2021.3.0587

1 引 言

高光谱图像分类广泛应用于精细化农业、军事、环境监测等方面1,已成为当前遥感对地观测领域的前沿技术之一。然而,高光谱图像地物识别分类方法在处理高维数据方面面临着以下的挑战2-3:①高光谱图像的高维特性和波段间的高相关性、光谱混合性,使得相邻波段间信息冗余、波段间信息相互干扰;②Hughes现象,即在训练样本固定时,分类精度随着特征维数的增加而下降。尤其是在采用高维特征向量时,要求每类地物的样本数都要高于特征维数,容易降低分类器的泛化能力,从而无法获取理想的分类结果。因此,在不丢失有用信息的前提下,降低高光谱图像的维数,改善地物分类效果,成为高光谱图像地物识别方法研究的关键问题之一。

为了解决高光谱图像的高维特性带来的信息冗余问题,需要对高光谱图像数据进行降维处理,提取低维特征来表征原始高维数据,同时提高高光谱图像的分类识别精度。经典的降维方法包括主成分分析4(Principal Component Analysis,PCA)和线性判别分析5(Linear Discriminant Analysis,LDA),上述算法虽然已经取得了较好的效果,但是仍存不足。PCA降维虽能够较好地用少数特征代替原始高光谱图像数据特征,但该方法并没有考虑高光谱原始图像数据的信息量问题,无法完全利用原始数据中隐含的信息6。LDA假设类条件分布是高斯分布,而高光谱数据往往是非高斯分布,甚至有可能是多模型7,且在最大化类间分布矩阵的过程中不能很好地保护输入空间相邻像素的局部特征,从而导致信息丢失。而LFDA通过寻找一个合适的线性图谱,使得原始图像的相邻像素具有相对较近的投影空间距离,从而在保留局部邻域内有用信息的前提下,降低高光谱图像数据的维数,改善分类效果。

黄广斌等8提出的极限学习机(ELM),其较高的分类准确率和训练效率受到极大关注,相比于传统的机器学习算法(如:神经网络、支持向量机等),极限学习机能够有效提高数据处理的效率。Dias等9将ELM应用到土地覆盖分类中,与BP神经网络和支持向量机相比,ELM取得了更好的分类效果;沈小钟等10将ELM应用到化橘红样品的高光谱图像识别中,识别精度取得了显著的提升。由于ELM的输入权值和隐含层阈值是随机给定的,对ELM的稳定性、泛化能力及精度方面都有很大影响。

针对以上存在的问题,为提高高光谱图像地物分类识别精度,提出了一种基于LFDA和GA-ELM的高光谱图像地物识别方法。首先,采用LFDA降维方法,降低数据维度的同时尽可能保留数据中的特征信息,降维后的数据消除了高光谱图像的冗余信息,然后采用GA优化ELM模型,对降维后的特征信息进行分类识别,最后将该方法应用于Pavia University和Salinas两个高光谱图像地物识别问题研究,实验验证了所提方法可以取得更高的地物识别精度。

2 高光谱图像降维处理与识别

由于高光谱图像波段多、波段间相关性强、空间分辨率高,使得高光谱图像处理面临着数据量大、信息冗余的问题,因此需要对高光谱图像进行降维处理,降低信息的冗余度,提高分类识别精度。所以选择一个正确的高光谱图像降维算法,对后续提高高光谱图像的分类识别率起到关键作用。实验采用LFDA对高光谱图像进行降维处理,将高维数据映射到低维空间的同时保留高光谱图像局部邻域内的特征信息;然后用GA优化ELM参数,对降维处理后的数据进行分类识别,获得更加准确的高光谱图像分类精度。

2.1 LFDA降维

高光谱图像每个像素的像谱均有可能为多个端元的混合,对于高光谱图像分类而言,希望找到一个低维子空间,使所含像素代表单一端元,表示一种地物特征11。对高光谱图像来说,其结构较为复杂,常常为非高斯分布或多模型分布,因此需要在降低高光谱图像维数的同时保护原始高光谱图像多元化的局部结构。LFDA在降低维度的同时通过局部保护投影得到一个线性图谱,使得原始图像的相邻像素具有相对较近的投影空间距离,在降低高光谱图像维度的同时有效地保留局部邻域内的相关信息。

设高光谱图像原始数据的训练样本为xi=x1,x2,xixnxnRd,类标记为y1,2,,N,其中N是样本的类别数量,n是训练样本的总个数。训练样本xi与训练样本xj之间的紧密关系为:

Aij=exp-xi-xj2σiσj

其中:σi=xi-xi(m)代表样本xi的局部标度,xi(m)是像素xi的第m个相邻样本。通过实验测试可知参数m对分类结果影响较小,根据参考文献[12],在后续实验中取m=7。若xixj在特征空间中越临近,则Aij的值将增大,反之Aij的值将减小.

局部保留降维中的局部类间散布矩阵L(lb)和类内散布矩阵L(lw)为:

L(lb)=12i,j=1nWijxi-xjxi-xjT
L(lw)=12i,j=1nWij'xi-xjxi-xjT

其中:WijWij'n×n维的权值矩阵,即:

Wij=Aijnlyi=yj=l0yiyj
Wij'=Aij1n-1nlyi=yj=l1nyiyj

通过式(1)得到同类相邻像素的紧密值,而类间散布矩阵L(lb)和类内散布矩阵L(lw)对同类非相邻像素几乎不产生影响,通过局部散布矩阵,得到最大化是Fisher比为:

L(lb)T=λL(lw)T

其中:λ为对角线特征值矩阵,从而得到其变换矩阵TLFDA

TLFDA=argmaxTRd×rtrTLFDATL(lb)TLFDA-1TLFDATL(lw)TLFDA

其中:tr为矩阵求迹运算函数。

LFDA通过寻找一个变换矩阵T,使同类相邻数据彼此靠近,而不同类的相邻数据彼此分离,利用LFDA对高光谱图像进行降维处理,不但可以有效地降低高光谱图像的维度,而且可以保护原始高光谱图像多元化的局部结构,以达到提高分类精度的目的。

2.2 遗传算法优化的极限学习机分类器

2.2.1 极限学习机(ELM)

极限学习机(ELM)是由Huang等提出的一种新型单隐层前馈神经网络(Single-hidden Layer Feedforward Neural Network,SLFN),具有适应性强、训练速度快的特点13。ELM的输入权值w和隐含层阈值b是随机生成的,整个训练过程只需要调整隐含层神经元的个数及隐含层神经元的激活函数就可以产生唯一最优解。可通过求解线性方程组的最小二乘解获得输出权值。

设输入的训练集和输出训练集为x'=x1',x2',xn'Ty'=y1',y2',ym'Tx'Rny'Rm。则有L个隐含层节点数且激活函数为gxi'的ELM输出网络模型为:

yi'=i=1Lβigixi'=i=1Lβigiwixj'+bi

其中:bi为第i个隐含层节点阈值;βi=βi1,βi2,βinT为第i个隐含层节点输出权值;wi=wi1,wi2,winT为输入层到第i个隐含层节点的输入权值;wixj'表示向量wixj'的内积。

式(8)可写作:

Y=Hβ

其中:H为隐含层输出矩阵,输出权值矩阵β可求解式(9)得到。

minβHβ-Y

通过式(10)得到最优输出权重解为β=HT'H是隐含层输出矩阵H的广义逆。

2.2.2 GA-ELM分类算法流程

虽然ELM在大部分情况下估算和分类能力较好,但由于ELM输入权值w和隐含层阈值b,对ELM的稳定性及精度方面都存在很大影响,在实际应用过程中经常出现病态14或过拟合现象。因此采用遗传算法15对ELM中的wb进行寻优,提高其分类的识别率。遗传算法基本原理是将问题的解转化为染色体,通过选择、交叉及变异等变换染色体中的信息,最终遗传进化到符合目标的染色体。

在GA-ELM中,ELM的输入权值和隐含层节点阈值为GA的染色体向量,GA的适应度函数对应ELM的训练误差。通过GA的遗传操作训练ELM,选出使ELM网络误差最小的输入权值和阈值,从而改善ELM的泛化性能,提高ELM算法的分类准确率。

为了高光谱图像的识别,利用GA优化ELM用于高光谱图像分类的步骤如下。

步骤(1):载入样本数据,将数据分为训练样本和测试样本。

步骤(2):利用LFDA对高光谱数据降维处理,消除信息冗余的同时保留其局部邻域内主要信息。

步骤(3):将随机生成ELM的输入权值w和隐含层阈值b作为GA的初始种群并求出GA的目标函数。

步骤(4):通过GA选择交叉、变异得到新群体,若达到遗传代数后,终止遗传,输出最优的wb

步骤(5):将最优的wb赋予ELM。

步骤(6):采用最优的wb,使用训练样本对ELM网络进行训练,训练结束后得到GA-ELM的模型,用于高光谱图像地物分类识别中。

3 实验结果与分析

3.1 实验数据

实验数据共有两组,分别为Salinas场景高光谱数据集和Pavia University场景高光谱数据集,如图1图2所示。Salinas数据集由美国加利福尼亚州用AVIRIS成像光谱仪所拍摄的Salinas山谷的图像。图像的空间分辨率为3.7 m,图像大小为512×217像素,包含16个地物类别,原本有224个波段,由于受水汽的影响较大,且这些波段极少含有地面信息,剔除其中的20个波段,用剩余的204个波段进行分类实验。

图1

图1   Salinas高光谱遥感影像

Fig.1   The hyperspectral remote sensing image of Salinas


图2

图2   Pavia University高光谱遥感影像

Fig.2   The hyperspectral remote sensing image of Pavia University


Pavia University数据集由德国的机载反射光学光谱成像仪ROSIS-03对意大利的帕维亚城所拍摄的高光谱数据。图像的空间分辨率为1.3 m,包含9个地物类别。其中12个波段由于受噪声影响被剔除,因此一般使用的是剩下103个光谱波段所成的图像。

选取这两组数据作为实验数据的主要原因为这两组数据的观测场景、空间分辨率、样本数量、波段数、光谱分辨率等均不相同,且来自不同的成像光谱仪,拍摄的地点不同,可以更全面地验证方法的有效性。

3.2 实验结果分析

实验采用的高光谱图像的分类精度评价指标有:总体精度(Overall Accuracy,OA),即被正确分类的像元总和除以总像元数;平均精度(Average Accuracy,AA)指对所有地物完成分类后计算出的分类精度平均值;Kappa系数16衡量分类结果的总体指标,Kappa系数越高,则分类精度越高。实验中SVM的参数为c=1.2,g=2.8;在Pavia University和Salinas两类高光谱图像数据集中选择ELM的激活函数gxi'为Sigmoid函数,隐含层节点个数为80;GA的种群大小为20,采用单点交叉。

在数据集的每类样本中选择200个作为训练样本,100个作为测试样本,训练样本用于训练参数,测试样本用于分类精度测试。为了避免随机偏差,每个方法重复50次实验并计算平均结果。

为了验证方法的有效性,将该方法与其他降维分类方法进行比较,在不进行降维、PCA、LDA和LFDA降维方式下对其进行分类,分类方法包括SVM、ELM和GA-ELM。对Salinas和Pavia University两个高光谱图像数据集进行分类验证。

表1表2分别给出了两个高光谱图像数据集在不同分类方法下的分类正确率对比结果。该表列出了测试集总体分类精度(OA)、平均分类精度(AA)、Kappa系数。分类效果如图3图4所示。

表1   Salinas数据集实验结果

Table 1  Experimental results of Salinas dataset

降维方式分类方式AA/%OA/%Kappa系数

不进行降维

SVM97.0296.870.972
ELM73.2973.110.736
GA-ELM85.5685.270.855

PCA

SVM95.1295.870.955
ELM95.6595.600.952
GA-ELM85.3785.620.863

LDA

SVM94.5695.500.958
ELM94.2295.620.962
GA-ELM86.3786.130.866

LFDA

SVM96.5696.500.958
ELM96.2296.620.962
GA-ELM97.3898.560.972

新窗口打开| 下载CSV


表2   Pavia University数据集实验结果

Table 2  Experimental results of Pavia University dataset

降维方式分类方式AA/%OA/%Kappa系数

不进行降维

SVM96.1795.560.965
ELM53.4853.920.545
GA-ELM86.3786.670.862

PCA

SVM94.3793.670.945
ELM92.0391.040.922
GA-ELM95.8994.130.944

LDA

SVM93.3396.440.945
ELM93.1295.110.947
GA-ELM95.9295.420.956

LFDA

SVM94.5096.600.930
ELM95.5696.000.946
GA-ELM96.2397.110.964

新窗口打开| 下载CSV


图3

图3   不同方法在Salinas数据集的分类结果图

Fig.3   Classification results of different methods in Salinas dataset


图4

图4   不同方法在Pavia University数据集的分类结果图

Fig.4   Classification results of different methods in Pavia University dataset


由对比结果可以得到以下结论:

(1)GA-ELM模型在不进行数据降维时分类精度最差,在Salinas和Pavia University两个高光谱图像数据集上分类精确度分别为85.27%和86.67%,Kappa系数分别为0.855和0.862。

(2)从表1表2可以看出,该算法实现了对两个数据集的较优分类,所有对比方法中,实验所提的模型在Salinas和Pavia University两个高光谱图像数据集上均取得了最好的分类效果,总体分类精度分别达到了98.56%和97.11%,另外相对于其他几种方法,该方法对两个数据集的平均精度和Kappa系数都得到了提高,充分验证了该方法对高光谱图像分类的有效性。

(3)在降维方式中,LFDA降维后的分类精度要优于不进行降维以及采用PCA、LDA降维后的分类精度。

(4)在Salinas数据集实验中,未结果实的葡萄(Grapes)和未结果实的葡萄园(Vineyard trellis)各波段的光谱反射率非常接近,导致其他方法对未结果实的葡萄和未结果实的葡萄园分类效果比较差,由图3(a)~图3(c)标注区域可看出,两者间错分比较多,而该方法能有效地减少错分点,如3(d)所示,葡萄与葡萄园相互错分的现象大大改善。

(5)在Pavia University数据集中柏油路(Asphalt)与沥青(Bitumen),金属板面(Metal Sheets)与阴影(Shadows)的光谱曲线非常相似,由图4标注区域可看出,该方法分类效果也优于其他算法,有效地减少错分点,验证了该方法对光谱特性相近的区域能够实现高精度分类。

4 结 语

实验提出了一种基于LFDA和GA-ELM的高光谱图像地物识别方法,解决了高光谱图像分类中存在信息冗余,使得地物识别率低的问题。采用LFDA对高光谱数据降维,有效地消除信息冗余并保留局部领域内主要特征信息,并且消除特征之间的相关性;使用遗传算法优化ELM,解决ELM输入权值和隐含层阈值随机生成,导致ELM稳定性、泛化能力下降的问题。基于LFDA和GA-ELM的高光谱图像地物分类识别方法,对降维后的高光谱特征信息进行分类,提高了高光谱图像的识别精度。在Pavia University和Salinas两个高光谱数据集上的实验结果表明:

(1)该方法不但解决了相似区域难以分类的问题,也有效地减少了对高光谱地物识别的错分点,验证了该方法能够实现对光谱特性相似区域的高精度分类。

(2)在整体的分类识别方面,该方法能够有效地提高高光谱图像的分类识别精度,验证了该方法在高光谱图像分类识别方面的良好性能,该算法具有较大的实际意义。

参考文献

Yan JingwenChen HongdaLiu Lei.

Research Progress of Hyperspectral Image Classification

[J]. Optical precision engineering,2019273):175-188.

[本文引用: 1]

闫敬文陈宏达刘蕾.

高光谱图像分类的研究进展

[J].光学精密工程,2019273):175-188.

[本文引用: 1]

Chen YLin ZZhao Xet al.

Deep Learning-based Classification of Hyperspectral Data

[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 201476):2094-2107.

[本文引用: 1]

Zhang HaokuiLi YingJiang Yenan.

Research Status and Prospect of Deep Learning in Hyperspectral Image Classification

[J]. Journal of Automation,2018446):961-977.

[本文引用: 1]

张号逵李映姜晔楠.

深度学习在高光谱图像分类领域的研究现状与展望

[J].自动化学报,2018446):961-977.

[本文引用: 1]

Wold SEsbensen KGeladi P.

Principal Component Analysis

[J]. Chemometrics & Intelligent Laboratory Systems, 198721):37-52.

[本文引用: 1]

Belhumeur P NHespanha J PKriegman D J.

Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection

[C]∥ European Conference on Computer Vision1996.

[本文引用: 1]

Ren ZhiweiWu Lingda.

Feature Extraction Method of Hyperspectral Image based on Improved Principal Component Analysis of Information Quantity

[J]. Journal of Armament Engineering,2018397):151-154.

[本文引用: 1]

任智伟吴玲达.

基于信息量改进主成分分析的高光谱图像特征提取方法

[J].兵器装备工程学报,2018397):151-154.

[本文引用: 1]

Tadjudin SLandgrebe D A.

Robust Parameter Estimation for Mixture Model

[J]. IEEE Transactions on Geoscience & Remote Sensing, 2000381):439-445.

[本文引用: 1]

Li TieZhang Xinjun.

The Application of Limit Learning Machine in Hyperspectral Remote Sensing Image Classification

[J]. Optoelectronic Engineering,20164311):62-68.

[本文引用: 1]

李铁张新君.

极限学习机在高光谱遥感图像分类中的应用

[J]. 光电工程,20164311):62-68.

[本文引用: 1]

Bioucas-Dias J MFigueiredo M A T.

Alternating Direction Algorithms for Constrained Sparse Regression: Application to Hyperspectral Unmixing

[C]∥ 2010 2nd Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing. IEEE20101-4.

[本文引用: 1]

Shen XiaozhongHuang YuSu Weiweiet al.

Rapid Identification of Orange based on Hyperspectral Images

[J]. Shizhen Guoyi Guoyao,2019306):1391-1396.

[本文引用: 1]

沈小钟黄宇苏薇薇.

基于高光谱图像的化橘红快速鉴别研究

[J].时珍国医国药,2019306):1391-1396.

[本文引用: 1]

Qi YongfengLi Fayong.

Hyperspectral Image Classification Algorithm based on Local Reserved Reduced Dimension Convolution Neural Network

[J]. Journal of Agricultural Machinery,2019503):136-143.

[本文引用: 1]

齐永锋李发勇.

基于局部保留降维卷积神经网络的高光谱图像分类算法

[J].农业机械学报,2019503):136-143.

[本文引用: 1]

Li WPrasad SFowler J Eet al.

Locality-preserving Dimensionality Reduction and Classification for Hyperspectral image Analysis

[J]. IEEE Transactions on Geoscience and Remote Sensing,2011504):1185-1198.

[本文引用: 1]

Zhou YPeng JChen C L P.

Dimension Reduction Using Spatial and Spectral Regularized Local Discriminant Embedding for Hyperspectral Image Classification

[J]. IEEE Transactions on Geoscience and Remote Sensing,2015532):1082-1095.

[本文引用: 1]

Tang XHan M.

Partial Lanczos Extreme Learning Machine for Single-output Regression Problems

[J]. Neurocomputing,20097213-15):3066-3076.

[本文引用: 1]

Hu PWang LLu J Get al.

Improved Strategy of Genetic Algorithm for Optimum Location of Radio Frequency Identification Reader

[J]. Sensor Letters,2012108):1897-1901.

[本文引用: 1]

Yang J HWang L GQian J X.

Hyperspectral Image Classification based on Spatial and Spectral Features and Sparse Representation

[J]. Applied Geophysics,2014114):489-499.

[本文引用: 1]

/