img

官方微信

遥感技术与应用, 2021, 36(4): 810-819 doi: 10.11873/j.issn.1004-0323.2021.4.0810

数据与图像处理

基于改进NSST-PCNN的光学与SAR图像融合去云方法

陈子涵,1,2,3, 王峰1,2, 许宁1,2, 尤红建,1,2,3

1.中国科学院空间信息处理与应用系统技术重点实验室,北京 100090

2.中国科学院空天信息创新研究院,北京 100090

3.中国科学院大学,北京 100049

Cloud Removal by Fusing Optical and SAR Images based on Improved PCNN in NSST Domain

Chen Zihan,1,2,3, Wang Feng1,2, Xu Ning1,2, You Hongjian,1,2,3

1.Key Laboratory of Technology in Geo-spatial Information Processing and Application System,Chinese Academy of Sciences,Beijing 100090,China

2.Aerospace Information Research Institute,Chinese Academy of Sciences,Beijing 100090,China

3.University of Chinese Academy of Sciences,Beijing 100049,China

通讯作者: 尤红建(1969-),男,江苏如皋人,研究员,主要从事遥感信息处理与应用方面研究。E⁃mail: hjyou@mail.ie.ac.cn

收稿日期: 2020-03-29   修回日期: 2021-06-02   网络出版日期: 2021-09-26

基金资助: 国家重点研发计划项目.  2017YFB0502901
国防科工局十三五民用航天技术预先研究项目.  D040402

Received: 2020-03-29   Revised: 2021-06-02   Online: 2021-09-26

作者简介 About authors

陈子涵(1996-),女,北京人,硕士研究生,主要从事遥感图像处理与应用方面研究E⁃mail:chenzihan2014@mails.ucas.ac.cn , E-mail:chenzihan2014@mails.ucas.ac.cn

摘要

由于光学遥感穿透性差,光学图像常受到云层等天气因素干扰而影响其遥感应用。现有基于多时相或单幅图像修复的方法受地物变化及缺乏先验信息的影响,难以恢复云下真实地物信息。利用SAR图像不受云层、光照等因素干扰的特点,提出一种与SAR图像融合的光学图像去云方法。首先利用分形网络演化算法(FNEA)结合形状及光谱特性对云区进行检测,接着采用非下采样剪切波变换(NSST)对光学与SAR图像进行分解,最后对分解后系数结合云区检测结果进行融合,其中低频信息基于改进加权能量和进行融合,高频则结合方向信息熵及脉冲耦合神经网络(PCNN)模型进行融合。以高分一号、二号光学和高分三号SAR图像数据进行实验。结果表明,该方法相较其他5种算法在云区与参考图像有更高的相似性,可以更好地保持纹理及细节特征,在有效解决云层遮挡问题的同时实现图像增强,有利于后续图像分类、目标识别以及图像判别等遥感应用。

关键词: 图像去云 ; 图像融合 ; SAR ; 非下采样剪切波变换 ; 脉冲耦合神经网络

Abstract

Due to the poor penetrability of optical remote sensing, optical images are often disturbed by weather factors such as clouds, which affect the applications of remote sensing. The existing methods based on multi- temporal or single image are difficult to recover the real features under the cloud because of the change of features and the lack of prior information. Based on the fact that the SAR images are not interfered by the factors such as cloud and illumination, an cloud removal method by fusing SAR and optical images is proposed. Firstly, the cloud area is detected by the Fractal Net Evolution Approach (FNEA) combined with the shape and spectral characteristics. Secondly, the optical and SAR images are decomposed by the Non-Subsampled Shearlet Transform (NSST). Finally, the decomposed coefficients are dealed with the cloud area detection results, in which the low-frequency information is fused by the improved weighted energy sum, and the high-frequency information is fused by the direction information entropy and Pulse Coupled Neural Network (PCNN). Take the GF-1/GF-2 optical and GF-3 SAR images as the experimental data source. The results show that compared with the other five algorithms, our method has higher similarity with the reference image in the cloud area and can better maintain the texture and detail features, which effectively solve the problem of cloud occlusion while realizing image enhancement and is beneficial to the following remote sensing applications such as image classification, target recognition and image discrimination.

Keywords: Cloud removal ; Image fusion ; SAR ; Non-Subsampled Shearlet Transform(NSST) ; Pulse Coupled Neural Network(PCNN)

PDF (2856KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

陈子涵, 王峰, 许宁, 尤红建. 基于改进NSST-PCNN的光学与SAR图像融合去云方法. 遥感技术与应用[J], 2021, 36(4): 810-819 doi:10.11873/j.issn.1004-0323.2021.4.0810

Chen Zihan, Wang Feng, Xu Ning, You Hongjian. Cloud Removal by Fusing Optical and SAR Images based on Improved PCNN in NSST Domain. Remote Sensing Technology and Application[J], 2021, 36(4): 810-819 doi:10.11873/j.issn.1004-0323.2021.4.0810

1 引 言

云层干扰是严重影响光学遥感图像解译及应用的问题之一。据统计,地球表面全年约有35%被云层覆盖,导致光学遥感图像上部分区域信息的丢失,进而对图像分类、目标识别以及图像判读等遥感应用造成影响1。因此,光学图像中云层的检测与缺失信息的修复有重要的研究意义。

目前,云层去除的方法主要有:①利用被污染图像本身信息来进行云层修复。如Criminisi等2基于边缘优先级顺序,对缺失区域在全局寻找相似块进行填充;Zhou等3通过构建带阻滤波函数来对云层进行滤除;Liu 等4利用多分辨率图像并添加梯度和边界约束来对Criminisi算法进行改进。但此类方法由于缺失云下信息,对于大片或有厚云覆盖区域的修复比较困难;②利用多时相遥感图像间的组合来进行云层修复。如Li等5基于逐级辐射平差及残差校正,利用相邻时间图像中的互补信息,对目标图像进行精确辐射平差后,对云层污染区域进行无缝恢复;Hu等6基于具有时间相似性的多时相Landsat图像重建云污染部分,并采用泊松混合算法来消除图像间的辐射差异。但此类方法对数据获取要求较高,且需假设土地覆盖状况未曾变化,对需要短时间快速获取地面信息的情况,如灾后救援,军事应用等并不适用;③利用多光谱图像中多谱段信息进行云层修复7。此类方法只针对有多谱段的图像数据,不能处理全色图像,且对于有大片厚云覆盖区域的修复效果不佳。

合成孔径雷达(Synthetic Aperture Radar,SAR)作为一种主动式微波遥感手段,具有全天时、全天候的观测能力,不受云层、雨雪和光照条件等环境因素的影响,且随着高分三号等高分辨率合成孔径雷达卫星的成功发射,人们可以获取到的SAR数据量及数据质量快速增长,使得借助SAR图像来辅助光学图像进行解译成为可能。如Huang等8借助低分辨率光学图像和SAR图像,通过稀疏表示建立的结构对应关系来辅助高分辨率光学图像进行去云;Zhu等9提出了一种以SAR图像为目标区域内真实结构的光学图像修复方法;Li等10通过一种卷积-映射-反卷积网络,利用SAR图像和低空间分辨率图像来生成高分辨率无云图像等。而本研究则进一步利用SAR图像丰富的纹理信息和较高的对比度,及其可以发现某些光学传感器中不易发现的目标的特点11,通过SAR与光学图像融合来对光学图像进行云层修复与增强。多源图像融合是将同一区域中不同传感器的多幅遥感图像融合成一幅新图像的过程12。近年来,基于多尺度分析的方法被广泛应用于图像融合领域13,而脉冲耦合神经网络(Pulse Coupled Neural Network ,PCNN)模型由于无需训练且具有全局耦合与脉冲同步发放等特性,可以快速地从复杂背景中提取有效信息,常与如非下采样轮廓波变换(Non-Subsampled Contourlet Transform, NSCT),非下采样剪切波变换(Non-Subsampled Shearlet Transform, NSST)等多尺度几何变换方法相结合,得到了很好的效果。

因此,本研究提出一种基于SAR与全色图像融合的光学图像云层修复与增强的方法,可适用于需短时快速处理及有大片厚云覆盖的情况。首先,利用分形网络演化算法(Fractal Net Evolution Approach, FNEA)结合形状及光谱特性对云区进行检测并构建掩模。接着利用NSST变换获得光学与SAR图像在多尺度、多方向上的稀疏表示。之后,结合云区检测结果,低频部分基于区域能量与加权的拉普拉斯和进行融合,兼顾了能量保持和细节提取;高频部分基于区域能量、方向信息熵及PCNN网络进行融合,在提取高频细节及纹理信息的同时减少SAR图像斑点噪声的引入。最后,进行逆NSST变换获得融合去云图像。算法充分利用了SAR与光学图像的互补性,弥补了传统算法在兼顾实时性及准确性上的不足,为后续图像目视判别与解译工作提供了更多信息。在高分一号及二号光学和高分三号SAR图像上的实验结果验证了本算法的可行性及有效性。

2 NSST与PCNN基本原理

2.1 非下采样剪切波变换(NSST)

剪切波变换是Easley等14利用仿射系统的经典理论提出的一种结合几何及多尺度分析的方法。对于具有复合膨胀的二维仿射系统,其可表示为:

MAS(ψ)={ψj,l,k(x)=detAj/2ψ(SlAjx-k)                       j,lZ,kZ2}

其中: ψL2(R2)A为各向异性膨胀矩阵,与变换尺度相关;S为剪切矩阵,与旋转、剪切等几何变换有关,SA为2×2可逆矩阵, 且|detS|= 1;jl和k分别表示分解的尺度参数、方向参数和平移参数。如果MAS(ψ)满足Parseval框架条件,则该系统的元素为复合小波。当A =[4 0 0 2],S =[1 1 0 1]时,即为复合小波的一个特殊形式剪切波。

NSST是剪切波变换的改进,由拉普拉斯变换和剪切波滤波器构成,是一种多尺度、多方向性的变换方法,可以获得图像在不同方向和尺度上的稀疏表示。首先,利用非下采样金字塔滤波器组对源图像进行滤波,获得1个包含图像轮廓信息的低频子带和k个包含图像细节信息的高频子带,图像大小与源图像相同。然后,把标准的剪切波滤波器从伪极化网格系统映射到笛卡尔坐标系统,利用“Meyer”小波构造窗函数,获得新剪切波滤波器,通过计算高频子带图像与剪切波滤波器的卷积来获取不同方向的子图像。最后,通过傅立叶逆变换得到平移不变的剪切波系数。

图1

图1   NSST分解示意图

Fig.1   Schematic of NSST decomposition


2.2 脉冲耦合神经网络(PCNN)

PCNN模型是模拟小型哺乳动物视觉皮层同步脉冲发放行为而建立的一种反馈神经网络模型。其由多个包含接收域、调制域和脉冲产生器的神经元相互链接组成,通过神经元之间的自学习和交流不断地进行自适应调整。然而标准的PCNN模型具有较多需通过大量实验或经验设置的参数,限制了其进行图像处理时的通用性及实用性,于是Blasch等15提出了一种简化的PCNN模型,如图2所示,其数学表达式如下16

Fij(n)=DijLij(n)=Lij(n-1)×exp(-αL)+VLpqωij,pqYpq(n-1)Uij(n)=Fij(n)(1+βLij(n))θ(ij(n)=θij(n-1)×exp(-αθ)+VθYij(n-1)Yij(n)=sgn(Uij(n)-θij(n))

图2

图2   PCNN简化模型15

Fig.2   Simplified model of PCNN


(2)

其中:Fij(n)Lij(n)分为第n次迭代中(ij)位置神经元的反馈输入和连接输入。Fij(n)在整个迭代过程中固定为输入图像强度;Lij(n)由两项组成,第一项是其先前值的衰减,αL表示指数衰减系数,第二项通过权重ωij与周围八邻域神经元之前的点火状态相连,VL是连接输入幅度的参数;Uij(n)为内部活动项,由Lij(n)Fij(n)的非线性调制组成,参数β是连接强度;θij(n)为动态阈值,由其自身先前值的衰减结合阈值放大后的输出先前值决定;Yij(n)表示PCNN的输出模型,它有两个状态:兴奋和抑制Yij(n)=0),状态取决于当前内部活动项Uij(n)和先前的动态阈值θij(n)间的关系。

3 本文方法

对于云区检测,基于阈值分割的方法会造成云区提取的破碎,于是采用面向对象的分形网络演化(FNEA)分割方法来提取有云区域。NSST变换可以对图像进行多尺度多方向的稀疏表示,分离图像低频及高频信息,对不同层次可以采用不同方法融合而得到更准确的结果。PCNN模型由于无需训练且具有全局耦合与脉冲同步发放等特性,可以快速地从复杂背景中提取有效信息。在低频进行云区填补、匀色及平滑可以避免SAR图像高频强散射点的干扰而得到更好去云效果,而在高频引入方向信息熵可以区分有用信息及斑点噪声,避免先去噪而造成的运算复杂度和存储空间的增加及重要特征信息的模糊,进而得到更清晰的纹理及细节特征。

因此,基于SAR与光学图像的互补性,本研究提出了一种改进的NSST-PCNN算法,通过融合SAR信息来对光学图像进行去云与增强,其总体流程如图3所示。

图3

图3   融合去云流程图

Fig.3   Flow chart of fusion and cloud removal method


3.1 云区检测

对于城市、海港等地物复杂区域或云层薄厚不均等情况采用FNEA算法17对图像进行分割,然后结合形状及光谱特征进行云区检测。检测流程如图4所示。

图4

图4   云区检测流程图

Fig.4   Cloud area detection processes


FNEA是一种面向对象的分割方法,综合考虑了图像中对象的灰度与形状特性。其基于如公式(3)所示的优化函数进行区域的层层合并,得到最终的分割结果。该优化函数要求合并后对象的灰度与形状异质性增量不超过规定阈值。

             h=ωcolorhcolor+ωshape(ωsmoothnesshsmoothness+ωcompactnesshcompactness)

其中:hcolor代表灰度异质性增量,hsmoothnesshcompactness分别为光滑度和紧致度异质性增量;ωcolorωshapeωsmoothnessωcompactness决定了上述参数的权重,ωcolor+ωshape=1ωsmoothness+ωcompactness =1;h为基于分割后对象尺度定义的阈值。

考虑到云区往往有较高的灰度值和形状复杂度,对分割后的对象采用形状和光谱特性进行云区的判定。首先对灰度大于一定阈值的区域进行提取,作为云区候选区域,再通过如式(4)所定义的形状复杂度来对形状较为规则的人工建筑物进行剔除,得到云区的自动提取结果并构建掩模M(云区M=1,非云区M=0),最后通过人工判定进一步确定云区范围。云区提取结果如图5所示。

C=P2/A

其中:为对象周长,为对象面积,形状复杂度越高,值越大。

图5

图5   云区检测结果

Fig.5   Cloud area detection result


3.2 融合规则

3.2.1 低频融合规则

经NSST分解后的低频分量是对原始图像的特征逼近,包含图像的轮廓和少量边缘细节信息,云区在变换域上也主要集中在低频。因此,在低频分量的选择上要同时考虑云区的处理、能量的保持及细节信息的提取。

光学与SAR图像由于成像原理不同,灰度范围存在较大差异。首先对SAR图像分解后的低频系数DLS,依据全色低频DLI基于Wallis滤波器18匀色。因云区的高均值及低方差会对图像整体参数有较大影响,所以在处理时排除云区干扰。其次,由于云层多呈中间厚两边薄的特点,是从完全遮挡到清晰区域的逐渐过渡,因此可在融合后通过云区低频分量的逐渐减少与无云低频分量的逐渐增加来使处理后图像可以平滑过渡并保留更多有用信息。

在全色与SAR图像融合时,同一位置处的强度可能存在较大的差异,传统基于平均的低频融合规则往往会导致融合图像的能量损失19。于是定义八邻域改进拉普拉斯加权和(Weighted sum of Eight- neighbor Modified Laplacian, WSEML)20联合区域能量E来对低频系数进行选择。其公式如下:

Ep(i,j)=m=-rrn=-rrw(m+r+1,n+r+1)            DLp(i+m,j+n)2
WSEMLp(i,j) = m=-rrn=-rrw(m+r+1,n+r+1)                        EMLp(i+m,j+n)
EMLp(i,j)=|2DLp(i,j)-DLp(i-1,j)-DLp(i+1,j)|+|2DLp(i,j)-DLp(i,j-1)-DLp(i,j+1)|+12|2DLp(i,j)-DLp(i-1,j-1)-DLp(i+1,j+1)|+12|2DLp(i,j)-DLp(i-1,j+1)-DLp(i+1,j-1)|

其中:P{I,S},区域大小为(2r+1)(2r+1),DLp(i,j)为低频系数,w(m+r+1,n+r+1)为各点权重。与原改进Laplacian21相比,八邻域改进Laplacian(Eight-neighbor Modified Laplacian, EML)考虑了对角系数的影响,充分利用了邻域信息。

最终,低频系数融合步骤如下:

(1)对SAR图像低频子带DLS基于Wallis滤波器匀色。

(2)对于无云区域,遍历每个像素点,取有较大E·WSEML值一方的低频系数得到Flow

(3)对于有云区域,选择SAR图像低频系数DLS

(4)从云区边界处开始向非云区进行过渡处理,Flow(i,j)=kFlow(i,j)+(1-k)DLSk是从0到1线性增加的系数。

3.2.2 高频融合规则

经NSST变换后的高频系数反映了图像的边缘、轮廓、纹理等细节信息。目前基于系数绝对值的融合方法对像素点间的关联性应用不足,且对噪声与有用信息进行无差别判断,造成融合后细节信息的模糊和噪声污染。因此利用NSST变换的多方向性对噪声与有意义的特征信息进行甄别,并结合改进的PCNN模型及邻域像素点间关联性,在获取边缘以及细节等信息的同时,有效抑制SAR图像的相干斑噪声,达到了更好的高频系数增强效果。

在NSST分解后的高频图像中,边缘及细节等信息往往只在少数方向上有较大能量,方向分布变化剧烈。而噪声点虽有局部较大能量,但能量平均地分布在所有方向上,方向分布变化较为平缓22。基于这一特点,结合区域能量23与方向信息熵24来鉴别SAR图像高频系数中的噪声及细节信息。

区域能量的定义如式(5)所示,计算尺度k下不同方l上的区域能量并将其归一化,得到区域方向能量密度分布为:

Pk(i,j)=[Pk,1(i,j),Pk,2(i,j),Pk,L(i,j)]T              =Vk(i,j)/l=1L|Ek,l(i,j)|

其中:Vk(i,j)=[|Ej,1(i,j)|,|Ej,2(i,j)|,|Ej,L(i,j)|]T为L个方向上的区域能量。

由此,定义尺度k下位置(i,j)处的方向信息熵为:

SDEk(i,j)=-l=1LPk,l(i,j)log[Pk,l(i,j)]

方向信息熵表示区域能量在各方向上分布变化的剧烈程度。噪声方向信息熵大,边缘及细节等方向信息熵较小。而某些特征点虽也具有较大的方向信息熵,但其往往较噪声而言拥有更大的局部能量。

因此通过设置阈值可对噪声与特征信息进行区分,其判别结果如下:

k(i,j)=-1,Sj(x,y)>TS,Ej,l(i,j)<TEln(j)1,  otherwise

其中:-1表示噪声,1表示有用信息。根据Donoho的理论,随着变换尺度的增大,噪声值减小,而信号在各尺度却均保持较大值24,因此加入ln(j)来适应不同尺度下的不同阈值设定。

对于无云区域,基于前述改进的PCNN模型及噪声判断结果对高频系数进行融合。采用高频系数的绝对值作为网络的反馈输入Dij,对于SAR图像的神经元链接强度参数β乘以系数k来对噪声处的连接进行抑制。根据式(2)所描述的PCNN模型,在每次迭代结束时计算模拟点火触发次数总和Tij(n)=Tij(n-1)+Yij(n),当达到规定迭代次数N后,即可得到对应于高频系数DHIl,kDHSl,k的模拟点火次数TI,ijl,k[N]TS,ijl,k[N]。并由此确定融合高频系数。

对于有云区域,基于噪声判断的结果对高频系数进行确定。对噪声点的高频系数进行抑制,对有用信息点的高频系数则予以保留。

最终,高频系数融合规则为:

Fhigh(i,j)=M=0:DHIl,k(i,j),TI,ijl,k[N]TS,ijl,k[N]DHSl,k(i,j),TI,ijl,k[N]<TS,ijl,k[N]M=1:DHSl,k(i,j),k(i,j)=10,k(i,j)=-1

(11)

3.3 处理流程及步骤

针对光学与SAR图像的特点,基于云区检测结果、NSST、PCNN及方向信息熵等进行融合去云规则的制定,可以有效提高图像的质量。其方法流程如图3所示,具体步骤如下:

(1)对全色与SAR图像进行重采样与图像配准;

(2)利用FNEA结合形状及光谱特征进行云检;

(3)对光学图像I与SAR图像S进行NSST变换,得到变换后的低频子带系数{DLIDLS}和高频子带系数{DHIklDHSkl }。其中,k为多尺度分解层数、l为分解方向数;

(4)对SAR图像低频系数DLS基于DLI和Wallis滤波器匀色;

(5)对于低频系数,有云区域选择SAR图像低频,无云区域根据区域能量和WSEML乘积进行选择。最后对云区边界进行平滑处理得到低频分量Flow

(6)对于高频系数,有云区域选择经区域能量及方向信息熵去噪后的SAR高频,无云区域则结合PCNN及噪声判断结果进行选择,处理后高频分量为Fhigh

(7)对处理后的低频分量Flow及高频分量Fhigh进行逆NSST变换,得到最终的融合去云图像。

4 实验结果与分析

为验证本文算法的有效性,选取改进的同态滤波算法(AHF)3、图像修复算法(S-EBII)9、对SAR图像进行Gamma-Map去噪后的POISSON融合算法25、结合云区判断的NSCT-PCNN融合算法、结合云区判断的NSST-PAPCNN融合算法20共5种方法进行比较。

4.1 数据来源及参数设置

选取4组配准的高分一号/二号全色图像与高分三号SAR图像进行实验,具体数据如表1所示。其中为方便客观评价指标的计算,第1组及第3组为模拟云层图像,其余两组为真实云覆盖图像。

表1   数据信息

Table 1  Data Information

全色图像SAR图像地区像素大小
采集时间分辨率/m采集时间分辨率/m
117.04.300.817.03.180.5广州2 000×1 500
21 400×1 000
318.03.272.018.05.151.0苏州1 350×1 120
41 500×1 100

新窗口打开| 下载CSV


对于实验参数的设置:多尺度分解时,选取“maxflat”滤波器,分解层数为4,方向数为{3,3,4,4};在改进的PCNN模型中,N=100、αL= log( 1/σ(D))、VL= 1.0、αθ=0.25、Vθ= 30、β=5。

4.2 结果分析与讨论

对比图6~9所示实验结果,结合主观判断与结构相似性(Structural Similarity, SSIM)、峰值信噪比(Peak Signal to Noise Ratio, PSNR)、均方根误差(Root Mean Square Error,RMSE)1、信息熵(Entropy)、平均梯度(Average Gradient,AG)以及全局结构相似性(A-SSIM)266种客观评价指标进行评价。其中,SSIM结合亮度、对比度和结构来衡量两幅图像的相似性,PSNR通过衡量图像有效信息与噪声比来评价图像失真程度,均为越大越好;RMSE为参考图像与融合图像之间的均方根差异,越小则表示越接近参考图像;信息熵EN反映了图像所包含信息的丰富程度,AG是衡量图像中细节和纹理清晰程度的指标,其值越大,则表示图像的信息量越多,清晰度越好。

图6

图6   第一组融合去云结果

Fig.6   Results on first group of images


图7

图7   第二组融合去云结果

Fig.7   Results on second group of images


图8

图8   第三组融合去云结果

Fig.8   Results on third group of images


图9

图9   第四组融合去云结果

Fig.9   Results on fourth group of images


从主观目视来看,对于去云效果,AHF算法得到的结果(a)仅能对部分薄云薄雾进行去除,对于有大量厚云存在的图像无法有效的进行修复;S-EBII算法虽加入了SAR结构信息,但主要利用被污染图像本身来进行云层的修复的方法使得其在陆地区域修复时仅能得到看似合理而不是真实的信息,如图6(b)左下角放大图像所示,对后续图像解译不利;POISSON融合算法对于边界强度较为均匀的图像可较好地进行云区填补,如图6(c)右下部分云区所示,但是对于边界强度不均匀及SAR与全色图像在边界处有反色情况时,在连接处和图像内部均会出现光谱失真,如结果7(b)所示;图7(f)~7(h)方法所得到的结果在云区有最为合理的填补效果,可以与非云区进行平滑的过渡,其中本文算法因没有相干斑噪声的影响而在目视效果上与光学图像最为相近。对于图像增强效果,前三种算法没有SAR图像有效信息的加入,而图7(f)~7(h)方法均有较好地光谱信息保持能力并融入了SAR特征信息,且对如图7图9中云影处也可以利用SAR图像信息自动进行增强。其中NSST- PCNN算法相较于NSCT-PAPCNN算法有更清晰的SAR细节特征,如图6(f)6(g)右下角放大图像所示,且有更快的运行速度,但受相干斑噪声影响较大,部分光学细节信息被淹没。本文算法则在保留清晰的SAR图像特征信息的同时抑制相干斑噪声的引入,使得光学图像的细节信息也得到了更为清晰的显示,在云区也有更好的目视效果。

对于客观评价指标,由表2表3可以看出,在第一组实验中,本文方法相较于其他方法在云区有更高的结构相似性和峰值信噪比,即有更高的结构相似度和较低的图像失真,同时其均方根误差也在6种方法中最低,与参考图像更为接近,去云效果最好。对于信息熵和平均梯度,NSST-PCNN方法相较NSCT-PAPCNN方法更高,有更丰富的信息量及纹理细节,且运行时间更短,本文方法相较这两种算法在这两个指标项中略低,但相比其他3种方法也有明显提升,同时本算法也有更高的全局结构相似性。对于第三组实验,其客观评价指标与第一组有相似的趋势。综合来看,本文算法在6项指标中有4项明显优于其他方法,另外两项也与最高值有相近的数值。

表2   第一组图像各方法客观评价结果

Table 2  Quantitative comparison results of each method in the first group of images

AHFS-EBIIPoissonNSCT-PAPCNNNSST-PCNNProposed
SSIM0.360.360.600.620.620.71
PSNR8.6014.9820.2520.2620.2620.87
RMSE94.7045.4324.7724.7524.7623.07
EN7.117.077.067.277.287.26
AG2.692.382.354.034.173.32
SSIM-A---0.480.470.61

新窗口打开| 下载CSV


表3   第三组图像各方法客观评价结果

Table 3  Quantitative comparison results of each method in the third group of images

AHFS-EBIIPoissonNSCT-PAPCNNNSST-PCNNProposed
SSIM0.320.430.350.350.350.52
PSNR8.7616.1014.6916.3816.3917.17
RMSE92.9940.0047.0538.7038.6535.34
EN7.297.387.387.557.567.51
AG5.495.595.0911.2811.757.93
SSIM-A---0.310.370.61

新窗口打开| 下载CSV


算法效率方面,实验运行的硬件环境为Intel(R)Core(TM)i5-7200,CPU主频2.50 GHz,内存8 GB,软件环境为MATLAB R2016a。五种对比算法及本文算法对上述4组实验数据的运行时间如表4所示。其中Poisson算法运行时间与云区面积相关,S-EBII算法与云区面积及图像大小相关,其余算法与图像大小相关。从数据可以看出,本文算法在效率方面相对较优,但在实际应用中,仍需进一步对算法效率进行提升。

表4   各算法运行时间对比

Table 4  Comparison of running time of each algorithm

时间/s图6图7图8图9
AHF16.115.896.466.22
S-EBII2 926.671 643.24665.571 251.8
Poisson121.60274.4318.6564.93
NSCT-PAPCNN4 393.312 128.532 951.362 450.87
NSST-PCNN298.37103.39137.28110.21
Proposed239.5398.95114.41101.32

新窗口打开| 下载CSV


因此结合主观目视、客观评价结果及方法效率,本算法在全色图像的去云及增强应用中有相较最优的效果,适用于有大片厚云覆盖及如灾后救援等对时效性要求较高的场景。

5 结 语

针对现有去云算法对图像获取条件要求较高,对需实时处理及有大片厚云覆盖场景不适用等问题,本研究提出了一种与SAR图像融合的全色图像去云与增强算法。算法充分利用了SAR与全色图像的互补特性,通过SAR图像信息对全色图像云区缺失部分进行修复,在低频部分基于区域能量及改进的EML来进行两幅图像的能量保持及细节信息提取,而在高频部分则利用方向信息熵及PCNN使得在更好的提取图像纹理细节信息的同时抑制SAR图像相干斑噪声的引入。实验结果表明:

(1)利用可全天时、全天候获取的SAR图像来对光学图像进行修复的方法解决了传统去云算法对图像获取条件要求高、在多云多雨及有大片厚云覆盖区域不适用等问题,可实时地对有云光学图像进行修复。

(2)相较其他5种对比算法,本研究所提出的融合去云方法有最高的SSIM、PSNR和RMSE值,即在云下修复区域有与参考图像更高的相似度,在边界处的衔接更为平滑,且目视效果较好,有利于后续目视判读等应用。

(3)本研究所提出的融合去云方法在获得了更准确、平滑的去云效果的同时,还融合了SAR与光学图像丰富的纹理和细节特征信息,有较高的EN和AG数值、即有较大的信息量和较高的清晰度、可为后续目标识别、地物分类等解译工作提供更多信息。

(4)本文算法还存在一些问题需进一步完善,如在处理大幅图像时耗时较长,需进一步研究如何提升其运行效率;方法仅适用于全色光学图像,而如何使算法适用于多光谱图像的去云也是后续的研究方向。

参考文献

Sheng HLi XCheng Qet al.

Missing information reconstruction of remote sensing data: a technical review

[J]. IEEE Geoscience and Remote Sensing Magazine, 201533): 61-85.DOI:10.1109/MGRS.2015. 2441912.

[本文引用: 2]

Criminisi APerezé PToyama K.

Region filling and object removal by exemplar-based image inpainting

[J]. IEEE Transactions on Image Processing, 2004139): 1200-1212.

[本文引用: 1]

Zhou XiaojunGuo JiaZhou Chengxianet al.

An algorithm of cloud removal for remote sensing image based on improved homomorphic filtering

[J].Radio Engineering, 2015453): 14-18.

[本文引用: 2]

周小军郭佳周承仙.

基于改进同态滤波的遥感图像去云算法

[J]. 无线电工程, 2015453):14-18.

[本文引用: 2]

Liu HBi XLu Get al.

Exemplar-based image inpainting with multi-resolution information and the graph cut technique

[J]. IEEE Access, 20197101641-101657. DOI:10.1109/ACCESS.2019. 2931064.

[本文引用: 1]

Li ZShen HCheng Qet al.

Thick cloud removal in high- resolution satellite images using stepwise radiometric adjustment and residual correction

[J]. Remote Sensing, 20191116): 1925. DOI:10.3390/rs11161925.

[本文引用: 1]

Hu CHuo L ZZhang Zet al.

Multi-temporal Landsat data automatic cloud removal using poisson blending

[J]. IEEE Access,2020846151-46161. DOI:10.1109/ACCESS.2020. 2979291.

[本文引用: 1]

Zhou Binxing.

Study of Thin cloud removal method fot muti-spectral remote sensing images

[D]. ChengduUniversity of Electronic Science and Technology of China2020.

[本文引用: 1]

周斌兴.

多光谱遥感影像薄云去除方法研究

[D].成都电子科技大学2020.

[本文引用: 1]

Huang BLi YHan Xet al.

Cloud removal from optical satellite imagery with SAR imagery using sparse representation

[J]. IEEE Geoscience and Remote Sensing Letters, 2015125): 1046-1050. DOI:10.1109/LGRS.2014.2377476.

[本文引用: 1]

Zhu CZhao ZZhu Xet al.

Cloud removal for optical images using SAR structure data

[C]∥ IEEE International Conference on Signal Processing2016.

[本文引用: 2]

Li WLi YChan C J.

Thick cloud removal with optical and SAR imagery via convolutional-mapping-deconvolutional network

[J]. IEEE Transactions on Geoscience and Remote Sensing,2020584):2865-2879. DOI:10.1109/TGRS.2019. 2956959.

[本文引用: 1]

Liu JianLei YingjieXing Yaqionget al.

Fusion technique for SAR and gray visible image based on hidden Markov model in non-subsample shearlet transform domain

[J]. Control and Decision, 2016313): 453-457.

[本文引用: 1]

刘健雷英杰邢雅琼.

基于NSST域隐马尔可夫树模型的SAR和灰度可见光图像融合

[J]. 控制与决策, 2016313): 453-457.

[本文引用: 1]

Wu YiquanWang Zhilai.

Multispectral and panchromatic image fusion using chaotic bee colony optimization in NSST domain

[J]. Journal of Remote Sensing, 2017214):549-557.

[本文引用: 1]

吴一全王志来.

混沌蜂群优化的NSST域多光谱与全色图像融合

[J]. 遥感学报, 2017214): 549-557.

[本文引用: 1]

Chu TTan YLiu Qet al.

Novel fusion method for SAR and optical images based on Non-subsampled shearlet transform

[J]. International Journal of Remote Sensing, 20204112): 4588-4602. DOI:10.1080/01431161.2020.1723175.

[本文引用: 1]

Easley GLabate DLim W Q.

Sparse directional image representations using the discrete shearlet transform

[J]. Applied Computational Harmonic Analysis, 2008251): 25-46. DOI:10.1016/j.acha.2007.09. 003.

[本文引用: 1]

Blasch E P.

Biological information fusion using a PCNN and belief filtering

[C]∥ Proceedings of the International Joint Conference on Neural Networks1999.

[本文引用: 2]

Jiao JiaoWu Lingda.

Fusion of multispectral and panchromatic images via morphological filter and improved PCNN in NSST domain

[J]. Journal of Image and Graphics, 2019243): 115-126.

[本文引用: 1]

焦姣吴玲达.

形态学滤波和改进PCNN的NSST域多光谱与全色图像融合

[J]. 中国图象图形学报, 2019243): 115-126.

[本文引用: 1]

Baate ASchape A.

Multiresolution segmentation: An optimization approach for highquality multiscale image segmentation

[J]. Journal of Photogrammetry and Remote Sensing, 2007583-4.

[本文引用: 1]

Zhu QiaoyunDa Xing.

Dodging method for multi-source remote sensing images based on wallis filter

[J]. Geomatics and Spatial Information Technology, 20123510): 130-132.

[本文引用: 1]

朱巧云答星.

基于Wallis滤波器的异源遥感影像匀光方法

[J]. 测绘与空间地理信息, 20123510):130-132.

[本文引用: 1]

Liu YLiu SWang Z.

A general framework for image fusion based on multi-scale transform and sparse representation

[J]. Information Fusion, 201524147-164. DOI:10.1016/j.inffus.2014.09.004.

[本文引用: 1]

Yin MLiu XLiu Yet al.

Medical image fusion with parameter- adaptive pulse coupled neural network in nonsubsampled shearlet transform domain

[J]. IEEE Transactions on Instrumentation and Measurement, 2019681): 49-64.

[本文引用: 2]

Shen YuChen XiaopengYang Qian.

Image fusion of multidirectional sum modified Laplacian and Tetrolet transform

[J]. Journal of Image and Graphics,2020254): 721-731.

[本文引用: 1]

沈瑜陈小朋杨倩.

多方向Laplacian能量和与Tetrolet变换的图像融合

[J].中国图象图形学报, 2020254): 721-731.

[本文引用: 1]

Wang ZhisheYang FengbaoChen Leiet al.

SAR and visible image enhanced fusion based on texture segmentation and Top-Hat transformation

[J].Acta Optica Sinica,20143410): 85-92.

[本文引用: 1]

王志社杨风暴陈磊.

基于纹理分割和Top-Hat变换的合成孔径雷达与可见光图像增强融合

[J]. 光学学报, 20143410): 85-92.

[本文引用: 1]

Hou B.

SAR image despeckling based on nonsubsampled shearlet transform

[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 201253): 809-823. DOI:10.1109/ JSTARS.2012.2196680.

[本文引用: 1]

Shi PeiliGuo LeiLi Huihui.

SAR and optical images fusion method based on NSCT

[J]. Application Research of Computers, 2013305): 1568-1570.

[本文引用: 2]

时丕丽郭雷李晖晖.

基于NSCT的SAR与可见光图像融合方法

[J]. 计算机应用研究, 2013305): 1568-1570.

[本文引用: 2]

Pérez PGangnet MBlake A.

Poisson image editing

[J]. Acm Transactions on Graphics,2003223):313. DOI:10.1145/1201775.882269

[本文引用: 1]

Kulkarni S CRege P P.

Pixel level fusion techniques for SAR and optical images: A review

[J]. Information Fusion 2020, 5913-29. DOI: 10.1016/j.inffus.2020.01.003.

[本文引用: 1]

/