img

官方微信

遥感技术与应用, 2022, 37(4): 829-838 doi: 10.11873/j.issn.1004-0323.2022.4.0829

深度学习专栏

一种基于ASR和PAPCNN的NSCT域遥感影像融合方法

吕开云,1,2,3, 侯昭阳1, 龚循强,1,3, 杨硕1

1.东华理工大学 测绘工程学院,江西 南昌 330013

2.自然资源部 海洋环境探测技术与应用重点实验室,广东 广州 510300

3.自然资源部 环鄱阳湖区域矿山环境监测与治理重点实验室,江西 南昌 330013

A Remote Sensing Image Fusion Method based on ASR and PAPCNN in NSCT Domain

Kaiyun Lü,1,2,3, Hou Zhaoyang1, Gong Xunqiang,1,3, Yang Shuo1

1.Faculty of Geomatics,East China University of Technology,Nanchang 330013,China

2.Key Laboratory of Marine Environmental Survey Technology and Application,Ministry of Natural Resources,Guangzhou 510300,China

3.Key Laboratory of Mine Environmental Monitoring and Improving around Poyang Lake,Ministry of Natural Resources,Nanchang 330013,China

通讯作者: 龚循强(1988-),男,江西进贤人,博士,副教授,主要从事遥感影像处理研究。E⁃mail: xqgong1988@ ecut.edu.cn

收稿日期: 2021-12-02   修回日期: 2022-07-19  

基金资助: 自然资源部海洋环境探测技术与应用重点实验室开放基金项目.  MESTA-2021-B001
国家自然科学基金项目.  42101457
江西省自然科学基金项目.  20202BABL202030
江西省教育厅科学技术科技项目.  GJJ150591
东华理工大学放射性地质与勘探技术国防重点学科实验室开放基金项目.  REGT1219

Received: 2021-12-02   Revised: 2022-07-19  

作者简介 About authors

吕开云(1974-),男,湖南武冈人,博士,副教授,主要从事遥感影像处理研究E⁃mail:kylv@ecut.edu.cn , E-mail:kylv@ecut.edu.cn

摘要

针对稀疏字典的高冗余性和脉冲耦合神经网络(PCNN)参数设置的主观性问题,提出一种结合自适应稀疏表示(ASR)和参数自适应脉冲耦合神经网络(PAPCNN)的非下采样轮廓波变换(NSCT)域遥感影像融合方法。该方法将多光谱影像通过YUV空间变换得到的亮度分量Y与全色影像进行NSCT分解为高低频子带。对低频子带采用基于ASR的融合规则,根据影像块的梯度信息实现自适应稀疏表示。对高频子带采用PAPCNN模型,以选择PCNN的最优参数,再经过相应逆变换得到融合结果。实验结果表明:该方法对不同卫星影像在定性和定量评价上的总体效果均优于其他8种方法。

关键词: 遥感影像融合 ; 非下采样轮廓波变换 ; 自适应稀疏表示 ; 参数自适应脉冲耦合神经网络

Abstract

In order to solve the problems of the high redundancy of the sparse dictionary and the subjectivity of Pulse-Coupled Neural Network (PCNN) parameter setting, a remote sensing image using fusion method based on Adaptive Sparse Representation (ASR) and Parameter Adaptive Pulse Coupled Neural Network (PAPCNN) in Non-Subsampled Contourlet Transform (NSCT) domain is proposed in this paper. Luminance components and panchromatic images are decomposed by NSCT to obtain high and low frequency sub-bands, and the luminance component Y is obtained from the multi-spectral image through YUV spatial transformation. ASR-based fusion rules are used for sparse representation of low frequency sub-band and adaptive sparse representation is realized according to the gradient information of the image block. The PAPCNN model is adopted to select the optimal parameters of PCNN in the high frequency sub-band. Finally, the fusion result is obtained through the corresponding inverse transformation. The experimental results of different satellite images show that the overall effect of the proposed method is better than the other six methods by using qualitative evaluation and quantitative evaluation.

Keywords: Remote sensing image fusion ; Non-Subsampled Contourlet Transform ; Adaptive Sparse Representation ; Parameter Adaptive Pulse Coupled Neural Network

PDF (5308KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

吕开云, 侯昭阳, 龚循强, 杨硕. 一种基于ASR和PAPCNN的NSCT域遥感影像融合方法. 遥感技术与应用[J], 2022, 37(4): 829-838 doi:10.11873/j.issn.1004-0323.2022.4.0829

Kaiyun Lü, Hou Zhaoyang, Gong Xunqiang, Yang Shuo. A Remote Sensing Image Fusion Method based on ASR and PAPCNN in NSCT Domain. Remote Sensing Technology and Application[J], 2022, 37(4): 829-838 doi:10.11873/j.issn.1004-0323.2022.4.0829

1 引 言

遥感影像融合技术是通过对多源数据进行某种规则的运算处理,减少或抑制遥感影像解译过程中可能存在的多义性、不确定性和误差,从而得到一幅信息更加准确、丰富的融合影像。通常情况下,由于受光学成像机理的限制,单一成像方式无法同时满足高空间分辨率和高光谱分辨率,而影像融合技术可以很好地综合这两个特性,实现数据的冗余控制和优势互补,提高遥感数据的解译能力和应用价值1

近年来,大量的遥感影像融合方法被相继提出,其中主要包括基于空间域和变换域两大类融合方法2。空间域方法的主要思想是将多光谱影像转换到某特征空间来实现光谱信息和空间信息的分离,然后用全色影像代替相关分量。空间域方法主要有色彩比值变换(Brovey)法、主成分分析(PCA)法和Gram-schmidt(GS)方法等,这些融合方法在空间细节表达方面效果较好,但其光谱失真较为严重3。变换域方法通常需要对影像进行多尺度分解,然后根据不同的融合规则对得到的频谱分量进行融合,该类融合方法可以很好地解决空间域方法中光谱失真的问题。其中,小波变换是一种较为典型的多尺度变换方法,王海晖等4采用具有良好时频局部化分析的离散多小波变换方法解决了金字塔变换方向性受限的问题,但该方法仍然存在方向信息融合受限、轮廓信息表达能力差和缺乏平移不变性等缺点。

为了解决方向信息融合受限和轮廓信息表达能力差的问题,具有各向异性和局部化特性的轮廓波变换(Contourlet Transform, CT)方法被提出,但该方法仍未解决平移不变性的问题5。为此,在CT方法的基础上提出非下采样轮廓波变换(Non-Subsampled Contourlet Transform, NSCT)方法,在继承了CT所有优势的同时也解决了平移不变性的问题6

此外,基于模型的融合方法也得到了广泛的关注,其中稀疏表示和深度学习具有很好的应用前景7-8。稀疏表示已经广泛应用于图像处理的许多领域,包括特征提取、去噪和融合等9-10。许宁等11将超球面色彩变换与联合稀疏表示结合起来,更好地保持了多光谱的光谱信息。刘帆等12对稀疏字典进行优化改进,根据稀疏系数的模极大值将其分为两类并采用不同规则进行融合,从而提高了影像稀疏表示的准确性。但是这些方法在稀疏表示过程中需要建立高冗余度的过完备字典,具有较高的计算复杂度。脉冲耦合神经网络(Pulse Coupled Neural Network, PCNN)是一种典型的深度学习方法,具有同步激发和全局耦合等优势,吴一全等13将改进空间频率作为PCNN的外部输入信号,增强了PCNN模型的全局性。焦姣等14采用Sigmoid函数来计算PCNN模型中各系数迭代过程中的点火输出幅度,提高了边缘细节信息的提取能力。但是以上PCNN模型中参数设置都为经验值,不能进行自适应选择,具有一定的主观性。

为了解决稀疏字典的高冗余性和PCNN参数设置的主观性问题,研究提出一种NSCT域内结合自适应稀疏表示(Adaptive Sparse Representation, ASR)和参数自适应脉冲耦合神经网络(Parameter Adaptive Pulse Coupled Neural Network,PAPCNN)的遥感影像融合新方法。该方法首先通过NSCT将源影像分解为高低子带,对低频子带采用基于ASR的融合规则,其中通过对大量高质量影像的训练得到一组紧凑的子字典,根据影像块的梯度信息,自适应地选择一个子字典进行稀疏表示,解决了稀疏表示中高冗余字典带来的视觉假象等问题。对高频子带采用PAPCNN模型进行融合,根据影像强度自适应的调节链接强度,并根据脉冲点火幅度选择子带融合系数,克服了传统PCNN参数设置的困难,有收敛速度快和迭代次数少的特点15。选取GF-2和SPOT 6两组数据,采用GS、Wavelet、卷积神经网络(Convolutional Neural Network, CNN)16、稀疏表示(Sparse Representation, SR)17、ASR18、PAPCNN15、基于NSCT和ASR的方法(NSCT-ASR)、基于NSCT和PAPCNN的方法(NSCT-PAPCNN)等8种融合方法与本文方法进行遥感影像融合,并对实验结果从定性和定量两方面进行比较分析。

2 基本原理

研究所提出方法的基础是YUV、NSCT、ASR和PAPCNN融合方法,因此在介绍本文融合方法之前有必要对这4种融合方法进行简要介绍。

2.1 YUV变换

YUV变换是一种颜色空间变换方法,通过彩色图像编码将R、G、B 3个分量转换为1个亮度分量(Y)和2个色度分量(U、V),其中亮度分量反映影像的灰阶值,色度分量代表影像光谱信息相关的色调和饱和度信息。YUV变换有3个步骤:

(1) 首先将影像通过数学转换从RGB空间转换到YUV空间。

(2) 其次对亮度分量Y和全色影像根据相应的融合规则进行融合处理。

(3) 最后将融合得到的强化分量Y'与U、V分量进行逆YUV变换得到融合影像。

2.2 非下采样轮廓波变换

NSCT是近几年应用最频繁的多尺度变换方法之一,它对CT进行了升级。变换中分别采用了非下采样金字塔滤波器(Non-Subsampled Pyramid Filter Bank, NSPFB)和非下采样方向滤波器(Non-Subsampled Direction Filter Bank, NSDFB)来实现影像的多尺度分解和多方向分解。影像经过NSPFB处理后得到高通子带和低通子带,重复NSPFB处理实现多层子带分解。NSCT与CT相比,不需要进行上采样和下采样,避免了采样过程中产生的失真现象,从而保持了平移不变性优势。每一层的高通子带利用方向滤波器实现多方向分解。具体流程如图1所示。

图1

图1   二级NSCT分解示意图

Fig 1   Schematic of a two-level NSCT decomposition


2.3 自适应稀疏表示

影像稀疏表示是根据过完备字典的高冗余性,选择字典中的部分原子进行最佳拟合来表示影像信息。稀疏表示的模型可表示为:

α=argminαα0s.t.y-Dα2<ε

其中:yRn为输入信号;DRn×k为过完备字典;αRk为稀疏系数向量; 0表示l0范数,ε>0表示容错度。其中,式(1)的优化问题可以通过正交匹配追踪算法来解决。

字典的构建是稀疏表示模型的一个重要环节,可以通过分析模型和学习模型两种方法得到。较于分析模型,学习模型的自适应性较好,应用范围较广泛,其数学模型可以表示为:

minD,αii=1miαi0s.t.yi-Dαi2<ε,i=1,2,,m

其中:上述最小值问题可以选择K奇异值分解方法来解决。

由于稀疏表示的字典具有高度冗余性,导致计算成本偏高。为此,研究采用一种自适应稀疏表示方法18,该方法根据影像块的梯度信息将字典分类为多个子字典。具体步骤如下:

(1)对训练影像进行随机采样,获得m个大小为n×n的影像块组成训练集P=p1,p2,,pi,,pm

(2)计算影像块的梯度主方向。这里需要构建影像块pi的方向直方图,首先将方向直方图的360°方向均分为K个区间,然后根据影像块pi中每个像素x,y处的梯度方向θx,y量化到相应的区间中,同时将梯度幅度Gx,y赋予相应的位置,从而得到方向直方图θ1,θ2,,θK,其中峰值最大的方向区间对应着影像块pi的梯度主方向。梯度方向θx,y和梯度幅度Gx,y的数学表达式为:

θx,y=arctanGyx,y/Gxx,yGx,y=Gx(x,y)2+Gy(x,y)2Gxx,y=pix,y*-101-202-101Gyx,y=pix,y*-1-2-1000121

其中:Gxx,yGyx,y分别为Sobel算子求得的水平方向和垂直方向梯度;*表示二维卷积运算。

(3)根据梯度主方向将影像块分成K个训练子集S1,S2,,SK,然后根据相应的训练子集Si,i=1,2,,K学习得到子字典Di,i=1,2,,K。此外,将θmax/k=1Kθk<2/K的影像块定义为不规则影像块,即没有明确主导方向,对这些影像块采用对训练集内全部影像块进行训练的策略得到一个紧凑的子字典D0,最终学习得到K+1个子字典D0,D1,D2,...Dk

2.4 参数自适应脉冲耦合神经网络

PCNN是Eckhorn根据猫的视觉原理提出的一种单层反馈型网络模型。由于PCNN是一种强自适应系统,在不需要学习和训练的情况下能够有效地提取复杂环境下的有用信息19,同时具有脉冲同步和全局耦合等特性。简化PCNN模型对传统PCNN模型进行改进,基本实现过程为外部信号Sij对神经元进行刺激后得到反馈输入Fij,同时对链接输入Lij进行计算,然后根据振幅、链接强度和衰减系数等对内部活动项Uij进行调制,最后将当前内部活动同先前动态阈值进行比较输出结果Yij。简化PCNN模型的体系结构如图2所示,其数学表达式为:

Fijn=SijLijn=VLklWijklYkln-1Uijn=e-αfUijn-1+Fijn1+βLijnYijn=1,ifUijn>Eijn-10,otherwiseEijn=e-αeEijn-1+VEYijn

其中:FijnLijnUijnYijnEijn分别为第n次迭代时位置i,j处神经元的反馈输入、链接输入、内部活动项、输出结果和动态阈值;Sij为外部刺激信号,即影像相对位置的灰度值;VLWijkl分别为链接输入的振幅系数和突触权重系数矩阵;αf为内部活动项的衰减系数;β为链接强度;αeVE为动态阈值的衰减系数和振幅系数。

图2

图2   PAPCNN模型的体系结构

Fig. 2   Adaptive PCNN model architecture


式(4)可以看出,简化PCNN主要存在5个参数,即VLαfβαeVE。由于VLβ都为klWijklYkln-1的系数,故将两者整合为权重链接系数γ=βVL。Chen等20将这4个参数进行自适应表达,其表达式为:

αf=log1/σSγ=16Smax/Sotsu-1VE=e-αf+1+6γαe=lnVE/Sotsu1-e-3αf/1-e-αf+6γe-αf

其中:σSSmax分别为源影像的标准差、最大强度;Sotsu为Otsu方法确定的最优直方图阈值。

3 本文方法

3.1 低频子带融合规则

低频子带系数体现了影像的整体结构,包含了影像的大部分能量。可以采用加权平均等传统方法实现低频子带系数的融合,该类方法计算简单,但是存在信息冗余和损失影像空间分辨率等问题,整体效果欠佳。因此,本文对低频子带系数融合采用基于ASR的融合规则。主要步骤为:

(1) 使用大小为n×n的滑动窗口对低频子带LPanLMS进行全局搜索,步长为1个像元,得到m个影像块,当原始影像大小为H×W时,m=H-n+1×W-n+1。则两组影像块集合可以表示为PL,Panii=1mPL,MSii=1m

(2) 将所有影像块PL,PaniPL,MSi分别重新排列成列向量VL,PaniVL,MSi,并对每个列向量进行归零均值化处理得到V̂L,PaniV̂L,MSi

(3) 找出方差最大的影像块,根据2.3节中的方法构造梯度方向直方图,选择出相应的子字典Dki,然后根据Dki计算V̂L,PaniV̂L,MSi的稀疏系数向量αL,PaniαL,MSi,数学表达式为:

αLi=argminαα0s.t.V̂Li-Dkiα2<ε

(4) 根据影像的均值Lμ和高斯滤波Lσ构造稀疏系数向量的融合规则,得到稀疏系数向量αFi,其表达式为:

Ci=Lμi-Lσi
αFi=αL,Pani,αL,MSi,αL,Pani+αL,MSi/2,CAi>CBiCAi<CBiCAi=CBi

其中: 为欧式距离。

(5) 计算得到融合向量为:

VFi=DkiαFi+V¯Fi1

其中:V¯Fi=V¯L,Pani+V¯L,MSi/2V¯L,PaniV¯L,MSi分别为VL,Panii=1mVL,MSii=1m的均值。

(6) 对所有影像块重复步骤(2)—(5)的过程,获取所求融合向量VFii=1m,然后将每个VFi重新构建为大小为n×n的影像块,然后将影像块放回原始位置,重叠部分求均值,最终得到低频子带融合结果。

3.2 高频子带融合规则

高频子带系数体现了影像的纹理细节和边缘信息,直接影响影像的目视效果和清晰度。基于PCNN的高频子带系数融合方法已经得到了广泛地应用,然而标准PCNN的结构复杂,同时存在参数设置较多且主观经验性强等问题,为此本文采用一种PAPCNN融合策略。

对NSCT分解得到的高频分量HPanl,kHMSl,k进行PAPCNN融合。首先选择高频子带的绝对值作为外部输入Sij,即Fijn=Sij=HSl,kSPan,MS。然后通过整个处理过程总点火次数来评价高频系数的活跃程度,在每次迭代结束后,根据Tijn=Tijn-1+Yijn来累计点火次数,其中n为迭代次数。

由此可分别得到高频子带的总点火次数TPan,ijl,kNTMS,ijl,kN,其中N为总迭代次数。最后根据式(9)选择点火次数最大的系数作为i,j处的融合系数。

HFl,ki,j=HPanl,ki,j,ifTPan,ijl,kNTMS,ijl,kNHMSl,ki,j,otherwise

3.3 方法步骤

融合方法流程如图3所示,主要包括以下步骤:

图3

图3   方法流程图

Fig 3   Algorithm flow chart


(1) 将多光谱影像MS进行YUV空间变换得到亮度分量Y。

(2) 将通过预处理的全色影像Pan和Y分量采用NSCT实现多尺度分解,分别得到相应的高低频子带系数HPanl,k,LPanHMSl,k,LMS,其中lk分别代表分解级数和方向。

(3) 对于低频子带系数采用ASR的融合方法进行处理,根据稀疏向量l1范数的融合策略,得到融合低频子带系数。

(4) 对于高频子带系数采用PAPCNN的融合模型进行处理,选择高频子带的绝对值充当外部刺激,根据影像强度信息对链接强度进行自适应地调节,并根据脉冲点火幅度选择子带融合系数,最终获得最佳的融合高频子带系数。

(5) 分别对融合后的高低频融合系数依次进行NSCT逆变换,得到新的Y'分量,然后将Y'、U、V分量进行YUV逆变换,最终获得融合影像。

4 实验设计

4.1 实验数据和环境

为了验证本文方法的有效性,选取两组大小均为1 024×1 024的全色影像和256×256的多光谱影像进行融合实验。第一组实验数据为1 m全色和4 m多光谱的高分二号(GF-2)影像,如图4(a)—图4(b)所示。第二组实验数据为1.5 m全色和6 m多光谱的SPOT 6影像,如图4(c)—图4(d)所示。为了更好地说明实验效果,将本文方法与GS、Wavelet、CNN、SR、ASR、PAPCNN、NSCT-ASR和NSCT-PAPCNN等8种融合方法进行比较分析,其中,NSCT-ASR的高频子带融合规则为区域能量取大,NSCT-PAPCNN的低频子带融合规则为加权平均,这两种方法的其他设置均与本文方法一致。

图4

图4   实验数据

(a) GF-2 MS (b)GF-2 PAN (c)SPOT-6 MS (d)SPOT-6 PAN

Fig4   Experimental data


实验的参数设置如下:分解滤波器为maxflat,分解程度为4级1519。实验环境为Matlab R2015b,实验平台为Intel(R) Core(TM) i7-7500U CPU,2.90 GHz主频,8GB内存。

4.2 评价指标

实验分别从定性评价和定量评价两个方面对所有融合结果进行对比分析。定性评价主要是通过人眼的视觉系统进行观测,依据专家知识库对融合影像的目视效果、纹理细节、色彩信息、空间结构等方面进行进行评价。定量评价分别选用标准差(Standard Deviation, SD)、信息熵(Information Entropy, IE)、平均梯度(Average Gradient, AG)、空间频率(Spatial Frequency, SF)、相关系数(Correlation Coefficient, CC)、光谱扭曲度(Spectral distortion, DD)和相对全局维数综合误差(ERGAS, 源于法语“Erreur Relative Globale Adimensionnelle de Synthèse”)等7个评价指标。标准差是基于灰度均值反映影像灰度离散程度的评价指标,值越大表示灰度之间的差值越大。信息熵反映影像所含信息量,熵值越大表示影像信息的丰富程度越高。平均梯度体现了影像纹理细节与附近灰度的反差,差异越大清晰度越高。空间频率反映的是影像像素在空间中的变化情况,即活跃程度。相关系数反映的是两幅影像光谱之间的相关程度,值越大表示影像光谱保真度越大。光谱扭曲度是衡量光谱畸变程度的指标,值越大光谱保真度越低。全局维数综合误差是用来衡量总体光谱质量,值越小光谱质量越好。

5 实验结果与分析

5.1 参数分析

针对PAPCNN的迭代次数分析其最优值。设置PAPCNN的迭代次数(N)为变量,其中N分别设置为50、70、90、110、130和150,其他参数不变。对两幅影像选取IE、AG、SF、DD和ERGAS 5个随迭代次数变化的评价指标来分析PAPCNN模型的融合性能。分析结果如图5所示,可以明显看出各评价指标的曲线大多数在N=110时趋于平缓,故设置N=110是一个合理的选择。传统PCNN则需要更多次数的迭代,其中大多数都将N设置为20,从而体现出PAPCNN迭代次数少和收敛速度快的优点。

图5

图5   PAPCNN不同迭代次数的结果

Fig.5   Results of PAPCNN with different iteration number


5.2 定性评价

GS方法和Wavelet方法的融合结果分别如图6(a)、图7(a)、图6(b)和图7(b)所示。这两种融合影像在空间信息提升和光谱保真上都没有较大的优势,其中GS方法的融合影像整体偏亮,Wavelet方法的融合影像存在明显的边缘模糊现象。图6(c)和图7(c)为基于CNN的融合影像,其在空间分辨率上具有较明显的提升,但是存在一定的光谱扭曲现象。图6(d)和图7(d)为基于SR的融合影像,其在空间细节表达的提升有限,边缘和细节方面都比较模糊,存在伪影现象,光谱失真也较为明显。ASR是SR的改进方法,基于ASR的融合影像如图6(e)和图7(e)所示,其在光谱信息方面较SR融合影像提高了很多,但其空间细节和轮廓结构等方面没有明显地提高。NSCT-ASR融合方法将ASR融合规则用于NSCT的低频子带系数融合,得到融合影像见图6(g)和图7(g),其空间细节信息和轮廓结构信息上较ASR融合影像提升了一些,光谱信息扭曲也得到了改善,但其总体的提升效果不是特别明显。图6(f)和图7(f)为基于PAPCNN的融合影像,其在空间细节方面表现的较为清晰,轮廓结果也相对明显,但其光谱失真较为严重。NSCT-PAPCNN融合方法将PAPCNN融合规则应用于NSCT的高频子带系数融合,图6(h)和图7(h)为该方法的融合影像,其空间细节的表现效果较好,但仍存在一定的光谱扭曲现象,特别是植被的光谱失真较为明显,植被颜色较原始多光谱影像要浅许多。图6(i)和图7(i)为本文中提出的融合方法,该方法的细节表现较清晰,光谱失真不明显,与原始多光谱影像中的地物颜色较为接近,目视效果较好。

图6

图6   GF-2影像融合效果

Fig.6   GF-2 image fusion effect


图7

图7   SPOT 6影像融合效果

Fig7   SPOT 6 image fusion effect


5.3 定量评价

表1为GF-2影像融合结果的性能评价,其中GS方法和Wavelet方法在空间信息的提升和光谱信息的保留上都没有突出的表现。CNN方法在IE上表现为次优,结合其他几个评价指标可以看出,该方法在空间信息提高和光谱信息增强上表现一般。SR方法在空间细节和光谱保真上表现的都很差,具有较大的提升空间。PAPCNN方法整体融合效果较SR方法有所提高,但其提升幅度不大。ASR方法在CC、DD和ERGAS3个光谱特征评价指标上都为最优,但是在AG和SF两个空间特征评价指标上表现为最差,说明该方法对空间信息和光谱信息之间的平衡性差。NSCT-ASR方法较好地改善了ASR方法在空间信息和光谱信息之间的平衡性,但在所有评价指标上都不突出。NSCT-PAPCNN方法在SF上表现为最优,在AG上表现为次优,说明该方法对于空间信息的表达效果较好,但在CC和DD上表现为最差,不能很好地兼顾空间信息和光谱信息。本文方法在IE和AG上为最优,在SD、SF、CC、DD和ERGAS上都为次优,说明该方法在保持较高空间分辨率的同时也保有较高的光谱保真度,能够很好地兼顾空间信息和光谱信息,达到了两者之间的平衡。

表1   GF-2源影像融合结果的性能评价

Table 1  Performance evaluation of GF-2 source image fusion results

方法SD↑IE↑AG↑SF↑CC↑DD↓ERGAS↓
GS9.0625.0972.0344.0830.7087.02110.067
Wavelet9.0545.0512.0454.2690.7704.8599.895
CNN9.2815.1422.1674.3300.8214.6868.954
SR8.8195.0501.3653.0760.7805.20410.287
ASR9.6455.1111.3132.9720.9383.4225.680
PAPCNN8.8055.0871.9863.9770.7795.2669.369
NSCT-ASR9.5215.1402.1674.3340.8604.1738.178
NSCT-PAPCNN9.4825.1382.1724.3460.7705.4949.696
本文方法9.5565.1432.1744.3430.8754.1448.155

注:↑表示值越大越好,↓表示值越小越好,加粗表示最优值, 下划线表示次优值

新窗口打开| 下载CSV


表2为SPOT 6影像融合结果的性能评价。其中,GS方法、Wavelet方法和CNN方法各项指标上的表现都不突出,说明其在空间细节和光谱保真上表现的都很一般。SR方法在AG和SF上都表现为最差,说明其空间表达较为模糊,此外在光谱信息方面也存在较大的失真。ASR方法较SR方法在光谱保真上有明显的提高,但其在空间信息提升上没有明显改善,与其他方法相比,存在较大差距,表明该方法对空间信息和光谱信息的兼顾性较差。

表2   SPOT-6源影像融合结果的性能评价

Table 2  Performance evaluation of SPOT-6 source image fusion results

方法SD↑IE↑AG↑SF↑CC↑DD↓ERGAS↓
GS3.4293.1620.6981.5920.9243.04214.648
Wavelet3.6413.5400.6961.5910.9633.06513.705
CNN3.2873.2730.7761.6310.9183.52616.812
SR3.1462.9650.3280.9060.9393.42216.585
ASR4.9233.6000.3500.9250.9891.92010.650
PAPCNN3.2523.1830.8181.9050.8983.45728.292
NSCT-ASR4.9043.6050.7741.6520.9712.06011.784
NSCT-PAPCNN3.2803.2130.7871.6580.9043.54629.482
本文方法4.9763.6310.7961.6790.9742.0459.066

新窗口打开| 下载CSV


PAPCNN方法在AG和SF两个空间特征评价指标上表现为最优,但其在提升空间信息的同时极大的损失了光谱信息,没有考虑到空间信息和光谱信息之间的平衡性。NSCT-ASR和NSCT-PAPCNN两种方法改善了SR方法和PAPCNN方法在空间信息和光谱信息之间的平衡性问题,但两种方法在各评价指标上的表现都较一般。本文方法在SD、IE和ERGAS3个指标上表现为最优,在AG、SF、CC和DD4个指标上表现为次优。说明本文方法在空间信息提升和光谱信息增强两者之间的兼顾性较好,同时具备信息量大、空间细节明显、轮廓结构清晰、光谱失真较小等特点。

6 结 论

研究提出了一种基于NSCT域的结合ASR和PAPCNN的遥感影像融合方法,该方法充分利用了NSCT的多尺度性和多方向性,并将ASR应用到遥感影像的低频子带系数融合中,将PAPCNN应用到遥感影像的高频子带系数融合中,解决了SR中字典的高冗余性和PCNN参数选择的主观性,实现了自适应表达。通过大量实验对比,该融合方法在光谱畸变、轮廓结构和边缘细节等目视效果及7个定量评价指标上均表现出较好的效果,能够很好地兼顾影像的空间信息和光谱信息,达到了两者之间的平衡效果,得到的融合影像总体效果最好。

参考文献

Li ShutaoLi CongyuKang Xudong.

Development status and future prospects of multi-source remote sensing image fusion

[J]. Journal of Remote Sensing, 2021251): 148-166.

[本文引用: 1]

李树涛李聪妤康旭东.

多源遥感图像融合发展现状与未来展望

[J]. 遥感学报, 2021251): 148-166.

[本文引用: 1]

Ding HaiyongGuo RuiruiLuo Haibin.

Denoising of remote sensing images using adaptive threshold in NSCT domain by concerning texture information

[J]. Reomte Sensing Techonogy and Application, 2017323):435-442.

[本文引用: 1]

丁海勇郭瑞瑞罗海滨.

顾及纹理信息的遥感图像NSCT域自适应阈值去噪

[J]. 遥感技术与应用, 2017323):435-442.

[本文引用: 1]

Chen YngxiaChen YanLiu Cong.

Joint AIHS and particle swarm otimization for pan-sharpening

[J]. Acta Geodaetica er Cartographica, 20194810): 1296-1304.

[本文引用: 1]

陈应霞陈艳刘丛.

遥感影像融合AIHS转换与粒子群优化算法

[J]. 测绘学报, 20194810): 1296-1304.

[本文引用: 1]

Wang HanhunLu YanshengChen Minjiang.

Remote sensing image fusion by using discrete multiwavelet transform

[J]. Journal of Huazhong University of Science and Technology (Natural Science Edition), 2006348): 7-9.

[本文引用: 1]

王海晖卢炎生陈闽江.

基于离散多小波变换的遥感图像融合方法

[J]. 华中科技大学学报(自然科学版), 2006348): 7-9.

[本文引用: 1]

Liu HXiao G FTan Y Let al.

Multi-source remote sensing image registration based on contourlet transform and multiple feature fusion

[J]. International Journal of Automation and Computing, 2019165): 575-588. DOI: 10.1007/s11633-018-1163-6 .

[本文引用: 1]

Bhatnagar GWu Q JLiu Z.

Directive contrast based multimodal medical image fusion in NSCT domain

[J]. IEEE transactions on multimedia,2013155):1014-1024. DOI: 10.1109/ TMM.2013.2244870 .

[本文引用: 1]

Xiong ZGuo QLiu Met al.

Pan-sharpening based on convolutional neural network by using the loss function with no-reference

[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 202014897-906. DOI:10.1109/JSTARS.2021.3086877 .

[本文引用: 1]

Vivone GDalla Mura MGarzelli Aet al.

A benchmarking protocol for pansharpening: Dataset,preprocessing, and quality assessment

[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021146102-6118. DOI:10.1109/JSTARS.2020.3038057 .

[本文引用: 1]

Zhang MinghuaLuo HonglingSong Weiet al.

Feature extraction of hyperspectral image based on sparse representation and learning graph regularity

[J]. Acta Photonica Sinica,2021504): 0410002.张明华, 罗红玲, 宋巍, 等. 基于稀疏表示和学习图正则的高光谱图像特征提取[J]. 光子学报, 2021, 504): 0410002. DOI:10.3788/gzxb20215004.0410002

[本文引用: 1]

Fangzhou NanXu YaLiu Weiet al.

Denoising methods of OBS data based on sparse representation

[J]. Chinese Journal of Geophysics,2018614):1519-1528.

[本文引用: 1]

南方舟徐亚刘伟.

基于稀疏表达的OBS去噪方法

[J]. 地球物理学报, 2018614): 1519-1528.

[本文引用: 1]

Xu NingXiao XinyaoYou Hongjianet al.

A pansharpening method based on HCT and joint sparse model

[J]. Acta Geodaetica er Cartographica, 2016454): 434-441.

[本文引用: 1]

许宁肖新耀尤红建.

HCT变换与联合稀疏模型相结合的遥感影像融合

[J]. 测绘学报, 2016454): 434-441.

[本文引用: 1]

Liu FanPei XiaopengZhang Jinget al.

Remote sensing ima-ge fusion based on optimized dictionary learning

[J]. Journal of Electronics & Information Technology, 20184012): 2804-2811.

[本文引用: 1]

刘帆裴晓鹏张静.

基于优化字典学习的遥感图像融合方法

[J]. 电子与信息学报,20184012):2804-2811.

[本文引用: 1]

Wu YiquanTao Feixiang.

Multispectral and panchromatic omage fusion based on improved projected gradient NMF in NSST domain

[J]. Acta Optica Sinica,2015354):0410005-1-0410005-10.吴一全, 陶飞翔. 改进投影梯度NMF的NSST域多光谱与全色图像融合[J]. 光学学报, 2015, 354): 0410005-1-0410005-10.

[本文引用: 1]

Jiao JiaoWu LingdaYu Shaoboet al.

Image fusion method using multi-scale analysis and improved PCNN

[J]. Journal of Computer-Aided Design & Computer Graphics, 2019316): 988-996.

[本文引用: 1]

焦姣吴玲达于少波.

混合多尺度分析和改进PCNN相结合的图像融合方法

[J]. 计算机辅助设计与图形学学报, 2019316): 988-996.

[本文引用: 1]

Yin MLiu X NLiu Y.

Medical image fusion with parameter-adaptive pulse coupled-neural network in nonsubsampled shearlet transform domain

[J]. IEEE Transactions on Instrumentation and Measurement, 2019681): 49-64. DOI: 10.1109/TIM.2018.2838778 .

[本文引用: 3]

Liu YChen XPeng Het al.

Multi-focus image fusion with a deep convolutional neural network

[J]. Information Fusion, 201736191-207. DOI: 10.1016/j.inffus.2016.12.001 .

[本文引用: 1]

Yang BLi S T.

Multi-focus image fusion and restoration with sparse representation

[J]. IEEE transactions on Instrumentation and Measurement, 2010594), 884-892. DOI: 10.1109/TIM.2009.2026612 .

[本文引用: 1]

Liu YWang Z F.

Simultaneous image fusion and denoising with adaptive sparse representation

[J]. IET Image Processing, 201595): 347-357. DOI: 10.1049/iet-ipr.2014.0311 .

[本文引用: 2]

Cheng FeifeiFu ZhitaoHuang Lianget al.

Non-subsampled shearlet transform remote sensing image fusion combined with parameter-adaptive PCNN

[J]. Acta Geodaetica et Cartographica Sinica, 20215010): 1380-1389.

[本文引用: 2]

成飞飞付志涛黄亮.

结合自适应PCNN的非下采样剪切波遥感影像融合

[J]. 测绘学报, 20215010): 1380-1389.

[本文引用: 2]

Chen Y LPark S KMa Y Det al.

A new automatic parameter setting method of a Simplified PCNN for image segmentation

[J]. IEEE Transactions on Neural Networks, 2011226): 880-892. DOI: 10.1109/TNN.2011.2128880 .

[本文引用: 1]

/