1 引 言
云层干扰是严重影响光学遥感图像解译及应用的问题之一。据统计,地球表面全年约有35%被云层覆盖,导致光学遥感图像上部分区域信息的丢失,进而对图像分类、目标识别以及图像判读等遥感应用造成影响[1 ] 。因此,光学图像中云层的检测与缺失信息的修复有重要的研究意义。
目前,云层去除的方法主要有:①利用被污染图像本身信息来进行云层修复。如Criminisi等[2 ] 基于边缘优先级顺序,对缺失区域在全局寻找相似块进行填充;Zhou等[3 ] 通过构建带阻滤波函数来对云层进行滤除;Liu 等[4 ] 利用多分辨率图像并添加梯度和边界约束来对Criminisi算法进行改进。但此类方法由于缺失云下信息,对于大片或有厚云覆盖区域的修复比较困难;②利用多时相遥感图像间的组合来进行云层修复。如Li等[5 ] 基于逐级辐射平差及残差校正,利用相邻时间图像中的互补信息,对目标图像进行精确辐射平差后,对云层污染区域进行无缝恢复;Hu等[6 ] 基于具有时间相似性的多时相Landsat图像重建云污染部分,并采用泊松混合算法来消除图像间的辐射差异。但此类方法对数据获取要求较高,且需假设土地覆盖状况未曾变化,对需要短时间快速获取地面信息的情况,如灾后救援,军事应用等并不适用;③利用多光谱图像中多谱段信息进行云层修复[7 ] 。此类方法只针对有多谱段的图像数据,不能处理全色图像,且对于有大片厚云覆盖区域的修复效果不佳。
合成孔径雷达(Synthetic Aperture Radar,SAR)作为一种主动式微波遥感手段,具有全天时、全天候的观测能力,不受云层、雨雪和光照条件等环境因素的影响,且随着高分三号等高分辨率合成孔径雷达卫星的成功发射,人们可以获取到的SAR数据量及数据质量快速增长,使得借助SAR图像来辅助光学图像进行解译成为可能。如Huang等[8 ] 借助低分辨率光学图像和SAR图像,通过稀疏表示建立的结构对应关系来辅助高分辨率光学图像进行去云;Zhu等[9 ] 提出了一种以SAR图像为目标区域内真实结构的光学图像修复方法;Li等[10 ] 通过一种卷积-映射-反卷积网络,利用SAR图像和低空间分辨率图像来生成高分辨率无云图像等。而本研究则进一步利用SAR图像丰富的纹理信息和较高的对比度,及其可以发现某些光学传感器中不易发现的目标的特点[11 ] ,通过SAR与光学图像融合来对光学图像进行云层修复与增强。多源图像融合是将同一区域中不同传感器的多幅遥感图像融合成一幅新图像的过程[12 ] 。近年来,基于多尺度分析的方法被广泛应用于图像融合领域[13 ] ,而脉冲耦合神经网络(Pulse Coupled Neural Network ,PCNN)模型由于无需训练且具有全局耦合与脉冲同步发放等特性,可以快速地从复杂背景中提取有效信息,常与如非下采样轮廓波变换(Non-Subsampled Contourlet Transform, NSCT),非下采样剪切波变换(Non-Subsampled Shearlet Transform, NSST)等多尺度几何变换方法相结合,得到了很好的效果。
因此,本研究提出一种基于SAR与全色图像融合的光学图像云层修复与增强的方法,可适用于需短时快速处理及有大片厚云覆盖的情况。首先,利用分形网络演化算法(Fractal Net Evolution Approach, FNEA)结合形状及光谱特性对云区进行检测并构建掩模。接着利用NSST变换获得光学与SAR图像在多尺度、多方向上的稀疏表示。之后,结合云区检测结果,低频部分基于区域能量与加权的拉普拉斯和进行融合,兼顾了能量保持和细节提取;高频部分基于区域能量、方向信息熵及PCNN网络进行融合,在提取高频细节及纹理信息的同时减少SAR图像斑点噪声的引入。最后,进行逆NSST变换获得融合去云图像。算法充分利用了SAR与光学图像的互补性,弥补了传统算法在兼顾实时性及准确性上的不足,为后续图像目视判别与解译工作提供了更多信息。在高分一号及二号光学和高分三号SAR图像上的实验结果验证了本算法的可行性及有效性。
2 NSST与PCNN基本原理
2.1 非下采样剪切波变换(NSST)
剪切波变换是Easley等[14 ] 利用仿射系统的经典理论提出的一种结合几何及多尺度分析的方法。对于具有复合膨胀的二维仿射系统,其可表示为:
M A S ( ψ ) = { ψ j , l , k ( x ) = d e t A j / 2 ψ ( S l A j x - k ) j , l ∈ Z , k ∈ Z 2 } (1)
其中: ψ ∈ L 2 ( R 2 ) , A 为各向异性膨胀矩阵,与变换尺度相关;S 为剪切矩阵,与旋转、剪切等几何变换有关,S 和A 为2×2可逆矩阵, 且|detS |= 1;j 、l 和k分别表示分解的尺度参数、方向参数和平移参数。如果M A S ( ψ ) 满足Parseval框架条件,则该系统的元素为复合小波。当A =[4 0 0 2],S =[1 1 0 1]时,即为复合小波的一个特殊形式剪切波。
NSST是剪切波变换的改进,由拉普拉斯变换和剪切波滤波器构成,是一种多尺度、多方向性的变换方法,可以获得图像在不同方向和尺度上的稀疏表示。首先,利用非下采样金字塔滤波器组对源图像进行滤波,获得1个包含图像轮廓信息的低频子带和k 个包含图像细节信息的高频子带,图像大小与源图像相同。然后,把标准的剪切波滤波器从伪极化网格系统映射到笛卡尔坐标系统,利用“Meyer”小波构造窗函数,获得新剪切波滤波器,通过计算高频子带图像与剪切波滤波器的卷积来获取不同方向的子图像。最后,通过傅立叶逆变换得到平移不变的剪切波系数。
图1
图1
NSST分解示意图
Fig.1
Schematic of NSST decomposition
2.2 脉冲耦合神经网络(PCNN)
PCNN模型是模拟小型哺乳动物视觉皮层同步脉冲发放行为而建立的一种反馈神经网络模型。其由多个包含接收域、调制域和脉冲产生器的神经元相互链接组成,通过神经元之间的自学习和交流不断地进行自适应调整。然而标准的PCNN模型具有较多需通过大量实验或经验设置的参数,限制了其进行图像处理时的通用性及实用性,于是Blasch等[15 ] 提出了一种简化的PCNN模型,如图2 所示,其数学表达式如下[16 ] :
F i j ( n ) = D i j L i j ( n ) = L i j ( n - 1 ) × e x p ( - α L ) + V L ∑ p q ω i j , p q Y p q ( n - 1 ) U i j ( n ) = F i j ( n ) ( 1 + β L i j ( n ) ) θ ( i j ( n ) = θ i j ( n - 1 ) × e x p ( - α θ ) + V θ Y i j ( n - 1 ) Y i j ( n ) = s g n ( U i j ( n ) - θ i j ( n ) )
图2
图2
PCNN简化模型[15 ]
Fig.2
Simplified model of PCNN
其中:F i j ( n ) 和L i j ( n ) 分为第n 次迭代中(i ,j )位置神经元的反馈输入和连接输入。F i j ( n ) 在整个迭代过程中固定为输入图像强度;L i j ( n ) 由两项组成,第一项是其先前值的衰减,α L 表示指数衰减系数,第二项通过权重ω i j 与周围八邻域神经元之前的点火状态相连,V L 是连接输入幅度的参数;U i j ( n ) 为内部活动项,由L i j ( n ) 和F i j ( n ) 的非线性调制组成,参数β是连接强度;θ i j ( n ) 为动态阈值,由其自身先前值的衰减结合阈值放大后的输出先前值决定;Y i j ( n ) 表示PCNN的输出模型,它有两个状态:兴奋和抑制Y i j ( n ) =0),状态取决于当前内部活动项U i j ( n ) 和先前的动态阈值θ i j ( n ) 间的关系。
3 本文方法
对于云区检测,基于阈值分割的方法会造成云区提取的破碎,于是采用面向对象的分形网络演化(FNEA)分割方法来提取有云区域。NSST变换可以对图像进行多尺度多方向的稀疏表示,分离图像低频及高频信息,对不同层次可以采用不同方法融合而得到更准确的结果。PCNN模型由于无需训练且具有全局耦合与脉冲同步发放等特性,可以快速地从复杂背景中提取有效信息。在低频进行云区填补、匀色及平滑可以避免SAR图像高频强散射点的干扰而得到更好去云效果,而在高频引入方向信息熵可以区分有用信息及斑点噪声,避免先去噪而造成的运算复杂度和存储空间的增加及重要特征信息的模糊,进而得到更清晰的纹理及细节特征。
因此,基于SAR与光学图像的互补性,本研究提出了一种改进的NSST-PCNN算法,通过融合SAR信息来对光学图像进行去云与增强,其总体流程如图3 所示。
图3
图3
融合去云流程图
Fig.3
Flow chart of fusion and cloud removal method
3.1 云区检测
对于城市、海港等地物复杂区域或云层薄厚不均等情况采用FNEA算法[17 ] 对图像进行分割,然后结合形状及光谱特征进行云区检测。检测流程如图4 所示。
图4
图4
云区检测流程图
Fig.4
Cloud area detection processes
FNEA是一种面向对象的分割方法,综合考虑了图像中对象的灰度与形状特性。其基于如公式(3)所示的优化函数进行区域的层层合并,得到最终的分割结果。该优化函数要求合并后对象的灰度与形状异质性增量不超过规定阈值。
h = ω c o l o r ⋅ h c o l o r + ω s h a p e ⋅ ( ω s m o o t h n e s s ⋅ h s m o o t h n e s s + ω c o m p a c t n e s s ⋅ h c o m p a c t n e s s ) (3)
其中:h c o l o r 代表灰度异质性增量,h s m o o t h n e s s 和h c o m p a c t n e s s 分别为光滑度和紧致度异质性增量;ω c o l o r ,ω s h a p e ,ω s m o o t h n e s s ,ω c o m p a c t n e s s 决定了上述参数的权重,ω c o l o r + ω s h a p e = 1 ,ω s m o o t h n e s s +ω c o m p a c t n e s s =1;h 为基于分割后对象尺度定义的阈值。
考虑到云区往往有较高的灰度值和形状复杂度,对分割后的对象采用形状和光谱特性进行云区的判定。首先对灰度大于一定阈值的区域进行提取,作为云区候选区域,再通过如式(4)所定义的形状复杂度来对形状较为规则的人工建筑物进行剔除,得到云区的自动提取结果并构建掩模M(云区M=1,非云区M=0),最后通过人工判定进一步确定云区范围。云区提取结果如图5 所示。
C = P 2 / A (4)
其中:P 为对象周长,A 为对象面积,形状复杂度越高,C 值越大。
图5
图5
云区检测结果
Fig.5
Cloud area detection result
3.2 融合规则
3.2.1 低频融合规则
经NSST分解后的低频分量是对原始图像的特征逼近,包含图像的轮廓和少量边缘细节信息,云区在变换域上也主要集中在低频。因此,在低频分量的选择上要同时考虑云区的处理、能量的保持及细节信息的提取。
光学与SAR图像由于成像原理不同,灰度范围存在较大差异。首先对SAR图像分解后的低频系数D L S ,依据全色低频D L I 基于Wallis滤波器[18 ] 匀色。因云区的高均值及低方差会对图像整体参数有较大影响,所以在处理时排除云区干扰。其次,由于云层多呈中间厚两边薄的特点,是从完全遮挡到清晰区域的逐渐过渡,因此可在融合后通过云区低频分量的逐渐减少与无云低频分量的逐渐增加来使处理后图像可以平滑过渡并保留更多有用信息。
在全色与SAR图像融合时,同一位置处的强度可能存在较大的差异,传统基于平均的低频融合规则往往会导致融合图像的能量损失[19 ] 。于是定义八邻域改进拉普拉斯加权和(Weighted sum of Eight- neighbor Modified Laplacian, WSEML)[20 ] 联合区域能量E来对低频系数进行选择。其公式如下:
E p ( i , j ) = ∑ m = - r r ∑ n = - r r w ( m + r + 1 , n + r + 1 ) ⋅ D L p ( i + m , j + n ) 2 (5)
W S E M L p ( i , j ) = ∑ m = - r r ∑ n = - r r w ( m + r + 1 , n + r + 1 ) ⋅ E M L p ( i + m , j + n ) (6)
E M L p ( i , j ) = | 2 D L p ( i , j ) - D L p ( i - 1 , j ) - D L p ( i + 1 , j ) | + | 2 D L p ( i , j ) - D L p ( i , j - 1 ) - D L p ( i , j + 1 ) | + 1 2 | 2 D L p ( i , j ) - D L p ( i - 1 , j - 1 ) - D L p ( i + 1 , j + 1 ) | + 1 2 | 2 D L p ( i , j ) - D L p ( i - 1 , j + 1 ) - D L p ( i + 1 , j - 1 ) | (7)
其中:P ∈ { I , S } ,区域大小为(2r+1)⋅ (2r+1),D L p ( i , j ) 为低频系数,w ( m + r + 1 , n + r + 1 ) 为各点权重。与原改进Laplacian[21 ] 相比,八邻域改进Laplacian(Eight-neighbor Modified Laplacian, EML)考虑了对角系数的影响,充分利用了邻域信息。
(1)对SAR图像低频子带D L S 基于Wallis滤波器匀色。
(2)对于无云区域,遍历每个像素点,取有较大E·WSEML 值一方的低频系数得到F l o w 。
(3)对于有云区域,选择SAR图像低频系数D L S 。
(4)从云区边界处开始向非云区进行过渡处理,F l o w ( i , j ) = k ⋅ F l o w ( i , j ) + ( 1 - k ) ⋅ D L S ,k 是从0到1线性增加的系数。
3.2.2 高频融合规则
经NSST变换后的高频系数反映了图像的边缘、轮廓、纹理等细节信息。目前基于系数绝对值的融合方法对像素点间的关联性应用不足,且对噪声与有用信息进行无差别判断,造成融合后细节信息的模糊和噪声污染。因此利用NSST变换的多方向性对噪声与有意义的特征信息进行甄别,并结合改进的PCNN模型及邻域像素点间关联性,在获取边缘以及细节等信息的同时,有效抑制SAR图像的相干斑噪声,达到了更好的高频系数增强效果。
在NSST分解后的高频图像中,边缘及细节等信息往往只在少数方向上有较大能量,方向分布变化剧烈。而噪声点虽有局部较大能量,但能量平均地分布在所有方向上,方向分布变化较为平缓[22 ] 。基于这一特点,结合区域能量[23 ] 与方向信息熵[24 ] 来鉴别SAR图像高频系数中的噪声及细节信息。
区域能量的定义如式(5)所示,计算尺度k下不同方l上的区域能量并将其归一化,得到区域方向能量密度分布为:
P k ( i , j ) = [ P k , 1 ( i , j ) , P k , 2 ( i , j ) , … P k , L ( i , j ) ] T = V k ( i , j ) / ∑ l = 1 L | E k , l ( i , j ) | (8)
其中:V k ( i , j ) = [ | E j , 1 ( i , j ) | , | E j , 2 ( i , j ) | , … | E j , L ( i , j ) | ] T 为L个方向上的区域能量。
由此,定义尺度k 下位置(i,j)处的方向信息熵为:
S D E k ( i , j ) = - ∑ l = 1 L P k , l ( i , j ) l o g [ P k , l ( i , j ) ] (9)
方向信息熵表示区域能量在各方向上分布变化的剧烈程度。噪声方向信息熵大,边缘及细节等方向信息熵较小。而某些特征点虽也具有较大的方向信息熵,但其往往较噪声而言拥有更大的局部能量。
因此通过设置阈值可对噪声与特征信息进行区分,其判别结果如下:
k ( i , j ) = - 1 , S j ( x , y ) > T S , E j , l ( i , j ) < T E l n ( j ) 1 , o t h e r w i s e (10)
其中:-1表示噪声,1表示有用信息。根据Donoho的理论,随着变换尺度的增大,噪声值减小,而信号在各尺度却均保持较大值[24 ] ,因此加入ln(j )来适应不同尺度下的不同阈值设定。
对于无云区域,基于前述改进的PCNN模型及噪声判断结果对高频系数进行融合。采用高频系数的绝对值作为网络的反馈输入D i j ,对于SAR图像的神经元链接强度参数β乘以系数k 来对噪声处的连接进行抑制。根据式(2)所描述的PCNN模型,在每次迭代结束时计算模拟点火触发次数总和T i j ( n ) = T i j ( n - 1 ) + Y i j ( n ) ,当达到规定迭代次数N 后,即可得到对应于高频系数D H I l , k 和D H S l , k 的模拟点火次数T I , i j l , k [ N ] 和T S , i j l , k [ N ] 。并由此确定融合高频系数。
对于有云区域,基于噪声判断的结果对高频系数进行确定。对噪声点的高频系数进行抑制,对有用信息点的高频系数则予以保留。
F h i g h ( i , j ) = M = 0 : D H I l , k ( i , j ) , T I , i j l , k [ N ] ≥ T S , i j l , k [ N ] D H S l , k ( i , j ) , T I , i j l , k [ N ] < T S , i j l , k [ N ] M = 1 : D H S l , k ( i , j ) , k ( i , j ) = 1 0 , k ( i , j ) = - 1
3.3 处理流程及步骤
针对光学与SAR图像的特点,基于云区检测结果、NSST、PCNN及方向信息熵等进行融合去云规则的制定,可以有效提高图像的质量。其方法流程如图3 所示,具体步骤如下:
(3)对光学图像I与SAR图像S进行NSST变换,得到变换后的低频子带系数{D L I ,D L S }和高频子带系数{D H I k l ,D H S k l }。其中,k 为多尺度分解层数、l 为分解方向数;
(4)对SAR图像低频系数D L S 基于D L I 和Wallis滤波器匀色;
(5)对于低频系数,有云区域选择SAR图像低频,无云区域根据区域能量和WSEML乘积进行选择。最后对云区边界进行平滑处理得到低频分量F l o w ;
(6)对于高频系数,有云区域选择经区域能量及方向信息熵去噪后的SAR高频,无云区域则结合PCNN及噪声判断结果进行选择,处理后高频分量为F h i g h ;
(7)对处理后的低频分量F l o w 及高频分量F h i g h 进行逆NSST变换,得到最终的融合去云图像。
4 实验结果与分析
为验证本文算法的有效性,选取改进的同态滤波算法(AHF)[3 ] 、图像修复算法(S-EBII)[9 ] 、对SAR图像进行Gamma-Map去噪后的POISSON融合算法[25 ] 、结合云区判断的NSCT-PCNN融合算法、结合云区判断的NSST-PAPCNN融合算法[20 ] 共5种方法进行比较。
4.1 数据来源及参数设置
选取4组配准的高分一号/二号全色图像与高分三号SAR图像进行实验,具体数据如表1 所示。其中为方便客观评价指标的计算,第1组及第3组为模拟云层图像,其余两组为真实云覆盖图像。
对于实验参数的设置:多尺度分解时,选取“maxflat”滤波器,分解层数为4,方向数为{3,3,4,4};在改进的PCNN模型中,N =100、αL= log( 1/σ(D))、VL= 1.0、αθ=0.25、Vθ= 30、β=5。
4.2 结果分析与讨论
对比图6 ~9 所示实验结果,结合主观判断与结构相似性(Structural Similarity, SSIM)、峰值信噪比(Peak Signal to Noise Ratio, PSNR)、均方根误差(Root Mean Square Error,RMSE)[1 ] 、信息熵(Entropy)、平均梯度(Average Gradient,AG)以及全局结构相似性(A-SSIM)[26 ] 6种客观评价指标进行评价。其中,SSIM结合亮度、对比度和结构来衡量两幅图像的相似性,PSNR通过衡量图像有效信息与噪声比来评价图像失真程度,均为越大越好;RMSE为参考图像与融合图像之间的均方根差异,越小则表示越接近参考图像;信息熵EN反映了图像所包含信息的丰富程度,AG是衡量图像中细节和纹理清晰程度的指标,其值越大,则表示图像的信息量越多,清晰度越好。
图6
图6
第一组融合去云结果
Fig.6
Results on first group of images
图7
图7
第二组融合去云结果
Fig.7
Results on second group of images
图8
图8
第三组融合去云结果
Fig.8
Results on third group of images
图9
图9
第四组融合去云结果
Fig.9
Results on fourth group of images
从主观目视来看,对于去云效果,AHF算法得到的结果(a)仅能对部分薄云薄雾进行去除,对于有大量厚云存在的图像无法有效的进行修复;S-EBII算法虽加入了SAR结构信息,但主要利用被污染图像本身来进行云层的修复的方法使得其在陆地区域修复时仅能得到看似合理而不是真实的信息,如图6 (b)左下角放大图像所示,对后续图像解译不利;POISSON融合算法对于边界强度较为均匀的图像可较好地进行云区填补,如图6 (c)右下部分云区所示,但是对于边界强度不均匀及SAR与全色图像在边界处有反色情况时,在连接处和图像内部均会出现光谱失真,如结果7(b)所示;图7(f) ~7(h) 方法所得到的结果在云区有最为合理的填补效果,可以与非云区进行平滑的过渡,其中本文算法因没有相干斑噪声的影响而在目视效果上与光学图像最为相近。对于图像增强效果,前三种算法没有SAR图像有效信息的加入,而图7(f) ~7(h) 方法均有较好地光谱信息保持能力并融入了SAR特征信息,且对如图7 、图9 中云影处也可以利用SAR图像信息自动进行增强。其中NSST- PCNN算法相较于NSCT-PAPCNN算法有更清晰的SAR细节特征,如图6(f) 、6(g) 右下角放大图像所示,且有更快的运行速度,但受相干斑噪声影响较大,部分光学细节信息被淹没。本文算法则在保留清晰的SAR图像特征信息的同时抑制相干斑噪声的引入,使得光学图像的细节信息也得到了更为清晰的显示,在云区也有更好的目视效果。
对于客观评价指标,由表2 及表3 可以看出,在第一组实验中,本文方法相较于其他方法在云区有更高的结构相似性和峰值信噪比,即有更高的结构相似度和较低的图像失真,同时其均方根误差也在6种方法中最低,与参考图像更为接近,去云效果最好。对于信息熵和平均梯度,NSST-PCNN方法相较NSCT-PAPCNN方法更高,有更丰富的信息量及纹理细节,且运行时间更短,本文方法相较这两种算法在这两个指标项中略低,但相比其他3种方法也有明显提升,同时本算法也有更高的全局结构相似性。对于第三组实验,其客观评价指标与第一组有相似的趋势。综合来看,本文算法在6项指标中有4项明显优于其他方法,另外两项也与最高值有相近的数值。
算法效率方面,实验运行的硬件环境为Intel(R)Core(TM)i5-7200,CPU主频2.50 GHz,内存8 GB,软件环境为MATLAB R2016a。五种对比算法及本文算法对上述4组实验数据的运行时间如表4 所示。其中Poisson算法运行时间与云区面积相关,S-EBII算法与云区面积及图像大小相关,其余算法与图像大小相关。从数据可以看出,本文算法在效率方面相对较优,但在实际应用中,仍需进一步对算法效率进行提升。
因此结合主观目视、客观评价结果及方法效率,本算法在全色图像的去云及增强应用中有相较最优的效果,适用于有大片厚云覆盖及如灾后救援等对时效性要求较高的场景。
5 结 语
针对现有去云算法对图像获取条件要求较高,对需实时处理及有大片厚云覆盖场景不适用等问题,本研究提出了一种与SAR图像融合的全色图像去云与增强算法。算法充分利用了SAR与全色图像的互补特性,通过SAR图像信息对全色图像云区缺失部分进行修复,在低频部分基于区域能量及改进的EML来进行两幅图像的能量保持及细节信息提取,而在高频部分则利用方向信息熵及PCNN使得在更好的提取图像纹理细节信息的同时抑制SAR图像相干斑噪声的引入。实验结果表明:
(1)利用可全天时、全天候获取的SAR图像来对光学图像进行修复的方法解决了传统去云算法对图像获取条件要求高、在多云多雨及有大片厚云覆盖区域不适用等问题,可实时地对有云光学图像进行修复。
(2)相较其他5种对比算法,本研究所提出的融合去云方法有最高的SSIM、PSNR和RMSE值,即在云下修复区域有与参考图像更高的相似度,在边界处的衔接更为平滑,且目视效果较好,有利于后续目视判读等应用。
(3)本研究所提出的融合去云方法在获得了更准确、平滑的去云效果的同时,还融合了SAR与光学图像丰富的纹理和细节特征信息,有较高的EN和AG数值、即有较大的信息量和较高的清晰度、可为后续目标识别、地物分类等解译工作提供更多信息。
(4)本文算法还存在一些问题需进一步完善,如在处理大幅图像时耗时较长,需进一步研究如何提升其运行效率;方法仅适用于全色光学图像,而如何使算法适用于多光谱图像的去云也是后续的研究方向。
参考文献
View Option
[1]
Sheng H , Li X , Cheng Q , et al . Missing information reconstruction of remote sensing data: a technical review
[J]. IEEE Geoscience and Remote Sensing Magazine , 2015 , 3 (3 ): 61 -85 .DOI:10.1109/MGRS.2015. 2441912 .
[本文引用: 2]
[2]
Criminisi A , Perezé P , Toyama K . Region filling and object removal by exemplar-based image inpainting
[J]. IEEE Transactions on Image Processing , 2004 , 13 (9 ): 1200 -1212 .
[本文引用: 1]
[3]
Zhou Xiaojun ,Guo Jia ,Zhou Chengxian , et al . An algorithm of cloud removal for remote sensing image based on improved homomorphic filtering
[J].Radio Engineering , 2015 , 45 (3 ): 14 -18 .
[本文引用: 2]
周小军 ,郭佳 ,周承仙 ,等 . 基于改进同态滤波的遥感图像去云算法
[J]. 无线电工程 , 2015 ,45 (3 ):14 -18 .
[本文引用: 2]
[4]
Liu H , Bi X , Lu G , et al . Exemplar-based image inpainting with multi-resolution information and the graph cut technique
[J]. IEEE Access , 2019 , 7 :101641 -101657 . DOI:10.1109/ACCESS.2019. 2931064 .
[本文引用: 1]
[5]
Li Z , Shen H , Cheng Q , et al . Thick cloud removal in high- resolution satellite images using stepwise radiometric adjustment and residual correction
[J]. Remote Sensing , 2019 , 11 (16 ): 1925 . DOI:10.3390/rs11161925 .
[本文引用: 1]
[6]
Hu C , Huo L Z , Zhang Z , et al . Multi-temporal Landsat data automatic cloud removal using poisson blending
[J]. IEEE Access ,2020 ,8 :46151 -46161 . DOI:10.1109/ACCESS.2020. 2979291 .
[本文引用: 1]
[7]
Zhou Binxing . Study of Thin cloud removal method fot muti-spectral remote sensing images
[D]. Chengdu : University of Electronic Science and Technology of China , 2020 .
[本文引用: 1]
周斌兴 . 多光谱遥感影像薄云去除方法研究
[D].成都 :电子科技大学 ,2020 .
[本文引用: 1]
[8]
Huang B , Li Y , Han X , et al . Cloud removal from optical satellite imagery with SAR imagery using sparse representation
[J]. IEEE Geoscience and Remote Sensing Letters , 2015 , 12 (5 ): 1046 -1050 . DOI:10.1109/LGRS.2014.2377476 .
[本文引用: 1]
[9]
Zhu C , Zhao Z , Zhu X , et al . Cloud removal for optical images using SAR structure data
[C]∥ IEEE International Conference on Signal Processing , 2016 .
[本文引用: 2]
[10]
Li W , Li Y , Chan C J . Thick cloud removal with optical and SAR imagery via convolutional-mapping-deconvolutional network
[J]. IEEE Transactions on Geoscience and Remote Sensing ,2020 ,58 (4 ):2865 -2879 . DOI:10.1109/TGRS.2019. 2956959 .
[本文引用: 1]
[11]
Liu Jian , Lei Yingjie , Xing Yaqiong , et al . Fusion technique for SAR and gray visible image based on hidden Markov model in non-subsample shearlet transform domain
[J]. Control and Decision , 2016 , 31 (3 ): 453 -457 .
[本文引用: 1]
刘健 ,雷英杰 ,邢雅琼 ,等 . 基于NSST域隐马尔可夫树模型的SAR和灰度可见光图像融合
[J]. 控制与决策 , 2016 , 31 (3 ): 453 -457 .
[本文引用: 1]
[12]
Wu Yiquan , Wang Zhilai . Multispectral and panchromatic image fusion using chaotic bee colony optimization in NSST domain
[J]. Journal of Remote Sensing , 2017 , 21 (4 ):549 -557 .
[本文引用: 1]
吴一全 ,王志来 . 混沌蜂群优化的NSST域多光谱与全色图像融合
[J]. 遥感学报 , 2017 , 21 (4 ): 549 -557 .
[本文引用: 1]
[13]
Chu T , Tan Y , Liu Q , et al . Novel fusion method for SAR and optical images based on Non-subsampled shearlet transform
[J]. International Journal of Remote Sensing , 2020 , 41 (12 ): 4588 -4602 . DOI:10.1080/01431161.2020.1723175 .
[本文引用: 1]
[14]
Easley G , Labate D , Lim W Q . Sparse directional image representations using the discrete shearlet transform
[J]. Applied Computational Harmonic Analysis , 2008 , 25 (1 ): 25 -46 . DOI:10.1016/j.acha.2007.09. 003 .
[本文引用: 1]
[15]
Blasch E P . Biological information fusion using a PCNN and belief filtering
[C]∥ Proceedings of the International Joint Conference on Neural Networks , 1999 .
[本文引用: 2]
[16]
Jiao Jiao , Wu Lingda . Fusion of multispectral and panchromatic images via morphological filter and improved PCNN in NSST domain
[J]. Journal of Image and Graphics , 2019 , 24 (3 ): 115 -126 .
[本文引用: 1]
焦姣 ,吴玲达 . 形态学滤波和改进PCNN的NSST域多光谱与全色图像融合
[J]. 中国图象图形学报 , 2019 , 24 (3 ): 115 -126 .
[本文引用: 1]
[17]
Baate A , Schape A . Multiresolution segmentation: An optimization approach for highquality multiscale image segmentation
[J]. Journal of Photogrammetry and Remote Sensing , 2007 , 58 : 3 -4 .
[本文引用: 1]
[18]
Zhu Qiaoyun , Da Xing . Dodging method for multi-source remote sensing images based on wallis filter
[J]. Geomatics and Spatial Information Technology , 2012 , 35 (10 ): 130 -132 .
[本文引用: 1]
朱巧云 ,答星 . 基于Wallis滤波器的异源遥感影像匀光方法
[J]. 测绘与空间地理信息 , 2012 ,35 (10 ):130 -132 .
[本文引用: 1]
[19]
Liu Y , Liu S , Wang Z . A general framework for image fusion based on multi-scale transform and sparse representation
[J]. Information Fusion , 2015 , 24 : 147 -164 . DOI:10.1016/j.inffus.2014.09.004 .
[本文引用: 1]
[20]
Yin M , Liu X , Liu Y , et al . Medical image fusion with parameter- adaptive pulse coupled neural network in nonsubsampled shearlet transform domain
[J]. IEEE Transactions on Instrumentation and Measurement , 2019 , 68 (1 ): 49 -64 .
[本文引用: 2]
[21]
Shen Yu , Chen Xiaopeng , Yang Qian . Image fusion of multidirectional sum modified Laplacian and Tetrolet transform
[J]. Journal of Image and Graphics ,2020 , 25 (4 ): 721 -731 .
[本文引用: 1]
沈瑜 ,陈小朋 ,杨倩 .多方向Laplacian能量和与Tetrolet变换的图像融合
[J].中国图象图形学报 , 2020 , 25 (4 ): 721 -731 .
[本文引用: 1]
[22]
Wang Zhishe ,Yang Fengbao ,Chen Lei ,et al . SAR and visible image enhanced fusion based on texture segmentation and Top-Hat transformation
[J].Acta Optica Sinica ,2014 ,34 (10 ): 85 -92 .
[本文引用: 1]
王志社 ,杨风暴 ,陈磊 , 等 . 基于纹理分割和Top-Hat变换的合成孔径雷达与可见光图像增强融合
[J]. 光学学报 , 2014 , 34 (10 ): 85 -92 .
[本文引用: 1]
[23]
Hou B . SAR image despeckling based on nonsubsampled shearlet transform
[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing , 2012 , 5 (3 ): 809 -823 . DOI:10.1109/ JSTARS.2012.2196680 .
[本文引用: 1]
[24]
Shi Peili , Guo Lei , Li Huihui . SAR and optical images fusion method based on NSCT
[J]. Application Research of Computers , 2013 , 30 (5 ): 1568 -1570 .
[本文引用: 2]
时丕丽 ,郭雷 ,李晖晖 . 基于NSCT的SAR与可见光图像融合方法
[J]. 计算机应用研究 , 2013 , 30 (5 ): 1568 -1570 .
[本文引用: 2]
[26]
Kulkarni S C , Rege P P . Pixel level fusion techniques for SAR and optical images: A review
[J]. Information Fusion 2020 , 59 :13 -29 . DOI: 10.1016/j.inffus.2020.01.003 .
[本文引用: 1]
Missing information reconstruction of remote sensing data: a technical review
2
2015
... 云层干扰是严重影响光学遥感图像解译及应用的问题之一.据统计,地球表面全年约有35%被云层覆盖,导致光学遥感图像上部分区域信息的丢失,进而对图像分类、目标识别以及图像判读等遥感应用造成影响[1 ] .因此,光学图像中云层的检测与缺失信息的修复有重要的研究意义. ...
... 对比图6 ~9 所示实验结果,结合主观判断与结构相似性(Structural Similarity, SSIM)、峰值信噪比(Peak Signal to Noise Ratio, PSNR)、均方根误差(Root Mean Square Error,RMSE)[1 ] 、信息熵(Entropy)、平均梯度(Average Gradient,AG)以及全局结构相似性(A-SSIM)[26 ] 6种客观评价指标进行评价.其中,SSIM结合亮度、对比度和结构来衡量两幅图像的相似性,PSNR通过衡量图像有效信息与噪声比来评价图像失真程度,均为越大越好;RMSE为参考图像与融合图像之间的均方根差异,越小则表示越接近参考图像;信息熵EN反映了图像所包含信息的丰富程度,AG是衡量图像中细节和纹理清晰程度的指标,其值越大,则表示图像的信息量越多,清晰度越好. ...
Region filling and object removal by exemplar-based image inpainting
1
2004
... 目前,云层去除的方法主要有:①利用被污染图像本身信息来进行云层修复.如Criminisi等[2 ] 基于边缘优先级顺序,对缺失区域在全局寻找相似块进行填充;Zhou等[3 ] 通过构建带阻滤波函数来对云层进行滤除;Liu 等[4 ] 利用多分辨率图像并添加梯度和边界约束来对Criminisi算法进行改进.但此类方法由于缺失云下信息,对于大片或有厚云覆盖区域的修复比较困难;②利用多时相遥感图像间的组合来进行云层修复.如Li等[5 ] 基于逐级辐射平差及残差校正,利用相邻时间图像中的互补信息,对目标图像进行精确辐射平差后,对云层污染区域进行无缝恢复;Hu等[6 ] 基于具有时间相似性的多时相Landsat图像重建云污染部分,并采用泊松混合算法来消除图像间的辐射差异.但此类方法对数据获取要求较高,且需假设土地覆盖状况未曾变化,对需要短时间快速获取地面信息的情况,如灾后救援,军事应用等并不适用;③利用多光谱图像中多谱段信息进行云层修复[7 ] .此类方法只针对有多谱段的图像数据,不能处理全色图像,且对于有大片厚云覆盖区域的修复效果不佳. ...
基于改进同态滤波的遥感图像去云算法
2
2015
... 目前,云层去除的方法主要有:①利用被污染图像本身信息来进行云层修复.如Criminisi等[2 ] 基于边缘优先级顺序,对缺失区域在全局寻找相似块进行填充;Zhou等[3 ] 通过构建带阻滤波函数来对云层进行滤除;Liu 等[4 ] 利用多分辨率图像并添加梯度和边界约束来对Criminisi算法进行改进.但此类方法由于缺失云下信息,对于大片或有厚云覆盖区域的修复比较困难;②利用多时相遥感图像间的组合来进行云层修复.如Li等[5 ] 基于逐级辐射平差及残差校正,利用相邻时间图像中的互补信息,对目标图像进行精确辐射平差后,对云层污染区域进行无缝恢复;Hu等[6 ] 基于具有时间相似性的多时相Landsat图像重建云污染部分,并采用泊松混合算法来消除图像间的辐射差异.但此类方法对数据获取要求较高,且需假设土地覆盖状况未曾变化,对需要短时间快速获取地面信息的情况,如灾后救援,军事应用等并不适用;③利用多光谱图像中多谱段信息进行云层修复[7 ] .此类方法只针对有多谱段的图像数据,不能处理全色图像,且对于有大片厚云覆盖区域的修复效果不佳. ...
... 为验证本文算法的有效性,选取改进的同态滤波算法(AHF)[3 ] 、图像修复算法(S-EBII)[9 ] 、对SAR图像进行Gamma-Map去噪后的POISSON融合算法[25 ] 、结合云区判断的NSCT-PCNN融合算法、结合云区判断的NSST-PAPCNN融合算法[20 ] 共5种方法进行比较. ...
基于改进同态滤波的遥感图像去云算法
2
2015
... 目前,云层去除的方法主要有:①利用被污染图像本身信息来进行云层修复.如Criminisi等[2 ] 基于边缘优先级顺序,对缺失区域在全局寻找相似块进行填充;Zhou等[3 ] 通过构建带阻滤波函数来对云层进行滤除;Liu 等[4 ] 利用多分辨率图像并添加梯度和边界约束来对Criminisi算法进行改进.但此类方法由于缺失云下信息,对于大片或有厚云覆盖区域的修复比较困难;②利用多时相遥感图像间的组合来进行云层修复.如Li等[5 ] 基于逐级辐射平差及残差校正,利用相邻时间图像中的互补信息,对目标图像进行精确辐射平差后,对云层污染区域进行无缝恢复;Hu等[6 ] 基于具有时间相似性的多时相Landsat图像重建云污染部分,并采用泊松混合算法来消除图像间的辐射差异.但此类方法对数据获取要求较高,且需假设土地覆盖状况未曾变化,对需要短时间快速获取地面信息的情况,如灾后救援,军事应用等并不适用;③利用多光谱图像中多谱段信息进行云层修复[7 ] .此类方法只针对有多谱段的图像数据,不能处理全色图像,且对于有大片厚云覆盖区域的修复效果不佳. ...
... 为验证本文算法的有效性,选取改进的同态滤波算法(AHF)[3 ] 、图像修复算法(S-EBII)[9 ] 、对SAR图像进行Gamma-Map去噪后的POISSON融合算法[25 ] 、结合云区判断的NSCT-PCNN融合算法、结合云区判断的NSST-PAPCNN融合算法[20 ] 共5种方法进行比较. ...
Exemplar-based image inpainting with multi-resolution information and the graph cut technique
1
2019
... 目前,云层去除的方法主要有:①利用被污染图像本身信息来进行云层修复.如Criminisi等[2 ] 基于边缘优先级顺序,对缺失区域在全局寻找相似块进行填充;Zhou等[3 ] 通过构建带阻滤波函数来对云层进行滤除;Liu 等[4 ] 利用多分辨率图像并添加梯度和边界约束来对Criminisi算法进行改进.但此类方法由于缺失云下信息,对于大片或有厚云覆盖区域的修复比较困难;②利用多时相遥感图像间的组合来进行云层修复.如Li等[5 ] 基于逐级辐射平差及残差校正,利用相邻时间图像中的互补信息,对目标图像进行精确辐射平差后,对云层污染区域进行无缝恢复;Hu等[6 ] 基于具有时间相似性的多时相Landsat图像重建云污染部分,并采用泊松混合算法来消除图像间的辐射差异.但此类方法对数据获取要求较高,且需假设土地覆盖状况未曾变化,对需要短时间快速获取地面信息的情况,如灾后救援,军事应用等并不适用;③利用多光谱图像中多谱段信息进行云层修复[7 ] .此类方法只针对有多谱段的图像数据,不能处理全色图像,且对于有大片厚云覆盖区域的修复效果不佳. ...
Thick cloud removal in high- resolution satellite images using stepwise radiometric adjustment and residual correction
1
2019
... 目前,云层去除的方法主要有:①利用被污染图像本身信息来进行云层修复.如Criminisi等[2 ] 基于边缘优先级顺序,对缺失区域在全局寻找相似块进行填充;Zhou等[3 ] 通过构建带阻滤波函数来对云层进行滤除;Liu 等[4 ] 利用多分辨率图像并添加梯度和边界约束来对Criminisi算法进行改进.但此类方法由于缺失云下信息,对于大片或有厚云覆盖区域的修复比较困难;②利用多时相遥感图像间的组合来进行云层修复.如Li等[5 ] 基于逐级辐射平差及残差校正,利用相邻时间图像中的互补信息,对目标图像进行精确辐射平差后,对云层污染区域进行无缝恢复;Hu等[6 ] 基于具有时间相似性的多时相Landsat图像重建云污染部分,并采用泊松混合算法来消除图像间的辐射差异.但此类方法对数据获取要求较高,且需假设土地覆盖状况未曾变化,对需要短时间快速获取地面信息的情况,如灾后救援,军事应用等并不适用;③利用多光谱图像中多谱段信息进行云层修复[7 ] .此类方法只针对有多谱段的图像数据,不能处理全色图像,且对于有大片厚云覆盖区域的修复效果不佳. ...
Multi-temporal Landsat data automatic cloud removal using poisson blending
1
2020
... 目前,云层去除的方法主要有:①利用被污染图像本身信息来进行云层修复.如Criminisi等[2 ] 基于边缘优先级顺序,对缺失区域在全局寻找相似块进行填充;Zhou等[3 ] 通过构建带阻滤波函数来对云层进行滤除;Liu 等[4 ] 利用多分辨率图像并添加梯度和边界约束来对Criminisi算法进行改进.但此类方法由于缺失云下信息,对于大片或有厚云覆盖区域的修复比较困难;②利用多时相遥感图像间的组合来进行云层修复.如Li等[5 ] 基于逐级辐射平差及残差校正,利用相邻时间图像中的互补信息,对目标图像进行精确辐射平差后,对云层污染区域进行无缝恢复;Hu等[6 ] 基于具有时间相似性的多时相Landsat图像重建云污染部分,并采用泊松混合算法来消除图像间的辐射差异.但此类方法对数据获取要求较高,且需假设土地覆盖状况未曾变化,对需要短时间快速获取地面信息的情况,如灾后救援,军事应用等并不适用;③利用多光谱图像中多谱段信息进行云层修复[7 ] .此类方法只针对有多谱段的图像数据,不能处理全色图像,且对于有大片厚云覆盖区域的修复效果不佳. ...
多光谱遥感影像薄云去除方法研究
1
2020
... 目前,云层去除的方法主要有:①利用被污染图像本身信息来进行云层修复.如Criminisi等[2 ] 基于边缘优先级顺序,对缺失区域在全局寻找相似块进行填充;Zhou等[3 ] 通过构建带阻滤波函数来对云层进行滤除;Liu 等[4 ] 利用多分辨率图像并添加梯度和边界约束来对Criminisi算法进行改进.但此类方法由于缺失云下信息,对于大片或有厚云覆盖区域的修复比较困难;②利用多时相遥感图像间的组合来进行云层修复.如Li等[5 ] 基于逐级辐射平差及残差校正,利用相邻时间图像中的互补信息,对目标图像进行精确辐射平差后,对云层污染区域进行无缝恢复;Hu等[6 ] 基于具有时间相似性的多时相Landsat图像重建云污染部分,并采用泊松混合算法来消除图像间的辐射差异.但此类方法对数据获取要求较高,且需假设土地覆盖状况未曾变化,对需要短时间快速获取地面信息的情况,如灾后救援,军事应用等并不适用;③利用多光谱图像中多谱段信息进行云层修复[7 ] .此类方法只针对有多谱段的图像数据,不能处理全色图像,且对于有大片厚云覆盖区域的修复效果不佳. ...
多光谱遥感影像薄云去除方法研究
1
2020
... 目前,云层去除的方法主要有:①利用被污染图像本身信息来进行云层修复.如Criminisi等[2 ] 基于边缘优先级顺序,对缺失区域在全局寻找相似块进行填充;Zhou等[3 ] 通过构建带阻滤波函数来对云层进行滤除;Liu 等[4 ] 利用多分辨率图像并添加梯度和边界约束来对Criminisi算法进行改进.但此类方法由于缺失云下信息,对于大片或有厚云覆盖区域的修复比较困难;②利用多时相遥感图像间的组合来进行云层修复.如Li等[5 ] 基于逐级辐射平差及残差校正,利用相邻时间图像中的互补信息,对目标图像进行精确辐射平差后,对云层污染区域进行无缝恢复;Hu等[6 ] 基于具有时间相似性的多时相Landsat图像重建云污染部分,并采用泊松混合算法来消除图像间的辐射差异.但此类方法对数据获取要求较高,且需假设土地覆盖状况未曾变化,对需要短时间快速获取地面信息的情况,如灾后救援,军事应用等并不适用;③利用多光谱图像中多谱段信息进行云层修复[7 ] .此类方法只针对有多谱段的图像数据,不能处理全色图像,且对于有大片厚云覆盖区域的修复效果不佳. ...
Cloud removal from optical satellite imagery with SAR imagery using sparse representation
1
2015
... 合成孔径雷达(Synthetic Aperture Radar,SAR)作为一种主动式微波遥感手段,具有全天时、全天候的观测能力,不受云层、雨雪和光照条件等环境因素的影响,且随着高分三号等高分辨率合成孔径雷达卫星的成功发射,人们可以获取到的SAR数据量及数据质量快速增长,使得借助SAR图像来辅助光学图像进行解译成为可能.如Huang等[8 ] 借助低分辨率光学图像和SAR图像,通过稀疏表示建立的结构对应关系来辅助高分辨率光学图像进行去云;Zhu等[9 ] 提出了一种以SAR图像为目标区域内真实结构的光学图像修复方法;Li等[10 ] 通过一种卷积-映射-反卷积网络,利用SAR图像和低空间分辨率图像来生成高分辨率无云图像等.而本研究则进一步利用SAR图像丰富的纹理信息和较高的对比度,及其可以发现某些光学传感器中不易发现的目标的特点[11 ] ,通过SAR与光学图像融合来对光学图像进行云层修复与增强.多源图像融合是将同一区域中不同传感器的多幅遥感图像融合成一幅新图像的过程[12 ] .近年来,基于多尺度分析的方法被广泛应用于图像融合领域[13 ] ,而脉冲耦合神经网络(Pulse Coupled Neural Network ,PCNN)模型由于无需训练且具有全局耦合与脉冲同步发放等特性,可以快速地从复杂背景中提取有效信息,常与如非下采样轮廓波变换(Non-Subsampled Contourlet Transform, NSCT),非下采样剪切波变换(Non-Subsampled Shearlet Transform, NSST)等多尺度几何变换方法相结合,得到了很好的效果. ...
Cloud removal for optical images using SAR structure data
2
2016
... 合成孔径雷达(Synthetic Aperture Radar,SAR)作为一种主动式微波遥感手段,具有全天时、全天候的观测能力,不受云层、雨雪和光照条件等环境因素的影响,且随着高分三号等高分辨率合成孔径雷达卫星的成功发射,人们可以获取到的SAR数据量及数据质量快速增长,使得借助SAR图像来辅助光学图像进行解译成为可能.如Huang等[8 ] 借助低分辨率光学图像和SAR图像,通过稀疏表示建立的结构对应关系来辅助高分辨率光学图像进行去云;Zhu等[9 ] 提出了一种以SAR图像为目标区域内真实结构的光学图像修复方法;Li等[10 ] 通过一种卷积-映射-反卷积网络,利用SAR图像和低空间分辨率图像来生成高分辨率无云图像等.而本研究则进一步利用SAR图像丰富的纹理信息和较高的对比度,及其可以发现某些光学传感器中不易发现的目标的特点[11 ] ,通过SAR与光学图像融合来对光学图像进行云层修复与增强.多源图像融合是将同一区域中不同传感器的多幅遥感图像融合成一幅新图像的过程[12 ] .近年来,基于多尺度分析的方法被广泛应用于图像融合领域[13 ] ,而脉冲耦合神经网络(Pulse Coupled Neural Network ,PCNN)模型由于无需训练且具有全局耦合与脉冲同步发放等特性,可以快速地从复杂背景中提取有效信息,常与如非下采样轮廓波变换(Non-Subsampled Contourlet Transform, NSCT),非下采样剪切波变换(Non-Subsampled Shearlet Transform, NSST)等多尺度几何变换方法相结合,得到了很好的效果. ...
... 为验证本文算法的有效性,选取改进的同态滤波算法(AHF)[3 ] 、图像修复算法(S-EBII)[9 ] 、对SAR图像进行Gamma-Map去噪后的POISSON融合算法[25 ] 、结合云区判断的NSCT-PCNN融合算法、结合云区判断的NSST-PAPCNN融合算法[20 ] 共5种方法进行比较. ...
Thick cloud removal with optical and SAR imagery via convolutional-mapping-deconvolutional network
1
2020
... 合成孔径雷达(Synthetic Aperture Radar,SAR)作为一种主动式微波遥感手段,具有全天时、全天候的观测能力,不受云层、雨雪和光照条件等环境因素的影响,且随着高分三号等高分辨率合成孔径雷达卫星的成功发射,人们可以获取到的SAR数据量及数据质量快速增长,使得借助SAR图像来辅助光学图像进行解译成为可能.如Huang等[8 ] 借助低分辨率光学图像和SAR图像,通过稀疏表示建立的结构对应关系来辅助高分辨率光学图像进行去云;Zhu等[9 ] 提出了一种以SAR图像为目标区域内真实结构的光学图像修复方法;Li等[10 ] 通过一种卷积-映射-反卷积网络,利用SAR图像和低空间分辨率图像来生成高分辨率无云图像等.而本研究则进一步利用SAR图像丰富的纹理信息和较高的对比度,及其可以发现某些光学传感器中不易发现的目标的特点[11 ] ,通过SAR与光学图像融合来对光学图像进行云层修复与增强.多源图像融合是将同一区域中不同传感器的多幅遥感图像融合成一幅新图像的过程[12 ] .近年来,基于多尺度分析的方法被广泛应用于图像融合领域[13 ] ,而脉冲耦合神经网络(Pulse Coupled Neural Network ,PCNN)模型由于无需训练且具有全局耦合与脉冲同步发放等特性,可以快速地从复杂背景中提取有效信息,常与如非下采样轮廓波变换(Non-Subsampled Contourlet Transform, NSCT),非下采样剪切波变换(Non-Subsampled Shearlet Transform, NSST)等多尺度几何变换方法相结合,得到了很好的效果. ...
基于NSST域隐马尔可夫树模型的SAR和灰度可见光图像融合
1
2016
... 合成孔径雷达(Synthetic Aperture Radar,SAR)作为一种主动式微波遥感手段,具有全天时、全天候的观测能力,不受云层、雨雪和光照条件等环境因素的影响,且随着高分三号等高分辨率合成孔径雷达卫星的成功发射,人们可以获取到的SAR数据量及数据质量快速增长,使得借助SAR图像来辅助光学图像进行解译成为可能.如Huang等[8 ] 借助低分辨率光学图像和SAR图像,通过稀疏表示建立的结构对应关系来辅助高分辨率光学图像进行去云;Zhu等[9 ] 提出了一种以SAR图像为目标区域内真实结构的光学图像修复方法;Li等[10 ] 通过一种卷积-映射-反卷积网络,利用SAR图像和低空间分辨率图像来生成高分辨率无云图像等.而本研究则进一步利用SAR图像丰富的纹理信息和较高的对比度,及其可以发现某些光学传感器中不易发现的目标的特点[11 ] ,通过SAR与光学图像融合来对光学图像进行云层修复与增强.多源图像融合是将同一区域中不同传感器的多幅遥感图像融合成一幅新图像的过程[12 ] .近年来,基于多尺度分析的方法被广泛应用于图像融合领域[13 ] ,而脉冲耦合神经网络(Pulse Coupled Neural Network ,PCNN)模型由于无需训练且具有全局耦合与脉冲同步发放等特性,可以快速地从复杂背景中提取有效信息,常与如非下采样轮廓波变换(Non-Subsampled Contourlet Transform, NSCT),非下采样剪切波变换(Non-Subsampled Shearlet Transform, NSST)等多尺度几何变换方法相结合,得到了很好的效果. ...
基于NSST域隐马尔可夫树模型的SAR和灰度可见光图像融合
1
2016
... 合成孔径雷达(Synthetic Aperture Radar,SAR)作为一种主动式微波遥感手段,具有全天时、全天候的观测能力,不受云层、雨雪和光照条件等环境因素的影响,且随着高分三号等高分辨率合成孔径雷达卫星的成功发射,人们可以获取到的SAR数据量及数据质量快速增长,使得借助SAR图像来辅助光学图像进行解译成为可能.如Huang等[8 ] 借助低分辨率光学图像和SAR图像,通过稀疏表示建立的结构对应关系来辅助高分辨率光学图像进行去云;Zhu等[9 ] 提出了一种以SAR图像为目标区域内真实结构的光学图像修复方法;Li等[10 ] 通过一种卷积-映射-反卷积网络,利用SAR图像和低空间分辨率图像来生成高分辨率无云图像等.而本研究则进一步利用SAR图像丰富的纹理信息和较高的对比度,及其可以发现某些光学传感器中不易发现的目标的特点[11 ] ,通过SAR与光学图像融合来对光学图像进行云层修复与增强.多源图像融合是将同一区域中不同传感器的多幅遥感图像融合成一幅新图像的过程[12 ] .近年来,基于多尺度分析的方法被广泛应用于图像融合领域[13 ] ,而脉冲耦合神经网络(Pulse Coupled Neural Network ,PCNN)模型由于无需训练且具有全局耦合与脉冲同步发放等特性,可以快速地从复杂背景中提取有效信息,常与如非下采样轮廓波变换(Non-Subsampled Contourlet Transform, NSCT),非下采样剪切波变换(Non-Subsampled Shearlet Transform, NSST)等多尺度几何变换方法相结合,得到了很好的效果. ...
混沌蜂群优化的NSST域多光谱与全色图像融合
1
2017
... 合成孔径雷达(Synthetic Aperture Radar,SAR)作为一种主动式微波遥感手段,具有全天时、全天候的观测能力,不受云层、雨雪和光照条件等环境因素的影响,且随着高分三号等高分辨率合成孔径雷达卫星的成功发射,人们可以获取到的SAR数据量及数据质量快速增长,使得借助SAR图像来辅助光学图像进行解译成为可能.如Huang等[8 ] 借助低分辨率光学图像和SAR图像,通过稀疏表示建立的结构对应关系来辅助高分辨率光学图像进行去云;Zhu等[9 ] 提出了一种以SAR图像为目标区域内真实结构的光学图像修复方法;Li等[10 ] 通过一种卷积-映射-反卷积网络,利用SAR图像和低空间分辨率图像来生成高分辨率无云图像等.而本研究则进一步利用SAR图像丰富的纹理信息和较高的对比度,及其可以发现某些光学传感器中不易发现的目标的特点[11 ] ,通过SAR与光学图像融合来对光学图像进行云层修复与增强.多源图像融合是将同一区域中不同传感器的多幅遥感图像融合成一幅新图像的过程[12 ] .近年来,基于多尺度分析的方法被广泛应用于图像融合领域[13 ] ,而脉冲耦合神经网络(Pulse Coupled Neural Network ,PCNN)模型由于无需训练且具有全局耦合与脉冲同步发放等特性,可以快速地从复杂背景中提取有效信息,常与如非下采样轮廓波变换(Non-Subsampled Contourlet Transform, NSCT),非下采样剪切波变换(Non-Subsampled Shearlet Transform, NSST)等多尺度几何变换方法相结合,得到了很好的效果. ...
混沌蜂群优化的NSST域多光谱与全色图像融合
1
2017
... 合成孔径雷达(Synthetic Aperture Radar,SAR)作为一种主动式微波遥感手段,具有全天时、全天候的观测能力,不受云层、雨雪和光照条件等环境因素的影响,且随着高分三号等高分辨率合成孔径雷达卫星的成功发射,人们可以获取到的SAR数据量及数据质量快速增长,使得借助SAR图像来辅助光学图像进行解译成为可能.如Huang等[8 ] 借助低分辨率光学图像和SAR图像,通过稀疏表示建立的结构对应关系来辅助高分辨率光学图像进行去云;Zhu等[9 ] 提出了一种以SAR图像为目标区域内真实结构的光学图像修复方法;Li等[10 ] 通过一种卷积-映射-反卷积网络,利用SAR图像和低空间分辨率图像来生成高分辨率无云图像等.而本研究则进一步利用SAR图像丰富的纹理信息和较高的对比度,及其可以发现某些光学传感器中不易发现的目标的特点[11 ] ,通过SAR与光学图像融合来对光学图像进行云层修复与增强.多源图像融合是将同一区域中不同传感器的多幅遥感图像融合成一幅新图像的过程[12 ] .近年来,基于多尺度分析的方法被广泛应用于图像融合领域[13 ] ,而脉冲耦合神经网络(Pulse Coupled Neural Network ,PCNN)模型由于无需训练且具有全局耦合与脉冲同步发放等特性,可以快速地从复杂背景中提取有效信息,常与如非下采样轮廓波变换(Non-Subsampled Contourlet Transform, NSCT),非下采样剪切波变换(Non-Subsampled Shearlet Transform, NSST)等多尺度几何变换方法相结合,得到了很好的效果. ...
Novel fusion method for SAR and optical images based on Non-subsampled shearlet transform
1
2020
... 合成孔径雷达(Synthetic Aperture Radar,SAR)作为一种主动式微波遥感手段,具有全天时、全天候的观测能力,不受云层、雨雪和光照条件等环境因素的影响,且随着高分三号等高分辨率合成孔径雷达卫星的成功发射,人们可以获取到的SAR数据量及数据质量快速增长,使得借助SAR图像来辅助光学图像进行解译成为可能.如Huang等[8 ] 借助低分辨率光学图像和SAR图像,通过稀疏表示建立的结构对应关系来辅助高分辨率光学图像进行去云;Zhu等[9 ] 提出了一种以SAR图像为目标区域内真实结构的光学图像修复方法;Li等[10 ] 通过一种卷积-映射-反卷积网络,利用SAR图像和低空间分辨率图像来生成高分辨率无云图像等.而本研究则进一步利用SAR图像丰富的纹理信息和较高的对比度,及其可以发现某些光学传感器中不易发现的目标的特点[11 ] ,通过SAR与光学图像融合来对光学图像进行云层修复与增强.多源图像融合是将同一区域中不同传感器的多幅遥感图像融合成一幅新图像的过程[12 ] .近年来,基于多尺度分析的方法被广泛应用于图像融合领域[13 ] ,而脉冲耦合神经网络(Pulse Coupled Neural Network ,PCNN)模型由于无需训练且具有全局耦合与脉冲同步发放等特性,可以快速地从复杂背景中提取有效信息,常与如非下采样轮廓波变换(Non-Subsampled Contourlet Transform, NSCT),非下采样剪切波变换(Non-Subsampled Shearlet Transform, NSST)等多尺度几何变换方法相结合,得到了很好的效果. ...
Sparse directional image representations using the discrete shearlet transform
1
2008
... 剪切波变换是Easley等[14 ] 利用仿射系统的经典理论提出的一种结合几何及多尺度分析的方法.对于具有复合膨胀的二维仿射系统,其可表示为: ...
Biological information fusion using a PCNN and belief filtering
2
1999
... PCNN模型是模拟小型哺乳动物视觉皮层同步脉冲发放行为而建立的一种反馈神经网络模型.其由多个包含接收域、调制域和脉冲产生器的神经元相互链接组成,通过神经元之间的自学习和交流不断地进行自适应调整.然而标准的PCNN模型具有较多需通过大量实验或经验设置的参数,限制了其进行图像处理时的通用性及实用性,于是Blasch等[15 ] 提出了一种简化的PCNN模型,如图2 所示,其数学表达式如下[16 ] : ...
... [
15 ]
Simplified model of PCNN Fig.2 ![]()
(2) ...
形态学滤波和改进PCNN的NSST域多光谱与全色图像融合
1
2019
... PCNN模型是模拟小型哺乳动物视觉皮层同步脉冲发放行为而建立的一种反馈神经网络模型.其由多个包含接收域、调制域和脉冲产生器的神经元相互链接组成,通过神经元之间的自学习和交流不断地进行自适应调整.然而标准的PCNN模型具有较多需通过大量实验或经验设置的参数,限制了其进行图像处理时的通用性及实用性,于是Blasch等[15 ] 提出了一种简化的PCNN模型,如图2 所示,其数学表达式如下[16 ] : ...
形态学滤波和改进PCNN的NSST域多光谱与全色图像融合
1
2019
... PCNN模型是模拟小型哺乳动物视觉皮层同步脉冲发放行为而建立的一种反馈神经网络模型.其由多个包含接收域、调制域和脉冲产生器的神经元相互链接组成,通过神经元之间的自学习和交流不断地进行自适应调整.然而标准的PCNN模型具有较多需通过大量实验或经验设置的参数,限制了其进行图像处理时的通用性及实用性,于是Blasch等[15 ] 提出了一种简化的PCNN模型,如图2 所示,其数学表达式如下[16 ] : ...
Multiresolution segmentation: An optimization approach for highquality multiscale image segmentation
1
2007
... 对于城市、海港等地物复杂区域或云层薄厚不均等情况采用FNEA算法[17 ] 对图像进行分割,然后结合形状及光谱特征进行云区检测.检测流程如图4 所示. ...
基于Wallis滤波器的异源遥感影像匀光方法
1
2012
... 光学与SAR图像由于成像原理不同,灰度范围存在较大差异.首先对SAR图像分解后的低频系数D L S ,依据全色低频D L I 基于Wallis滤波器[18 ] 匀色.因云区的高均值及低方差会对图像整体参数有较大影响,所以在处理时排除云区干扰.其次,由于云层多呈中间厚两边薄的特点,是从完全遮挡到清晰区域的逐渐过渡,因此可在融合后通过云区低频分量的逐渐减少与无云低频分量的逐渐增加来使处理后图像可以平滑过渡并保留更多有用信息. ...
基于Wallis滤波器的异源遥感影像匀光方法
1
2012
... 光学与SAR图像由于成像原理不同,灰度范围存在较大差异.首先对SAR图像分解后的低频系数D L S ,依据全色低频D L I 基于Wallis滤波器[18 ] 匀色.因云区的高均值及低方差会对图像整体参数有较大影响,所以在处理时排除云区干扰.其次,由于云层多呈中间厚两边薄的特点,是从完全遮挡到清晰区域的逐渐过渡,因此可在融合后通过云区低频分量的逐渐减少与无云低频分量的逐渐增加来使处理后图像可以平滑过渡并保留更多有用信息. ...
A general framework for image fusion based on multi-scale transform and sparse representation
1
2015
... 在全色与SAR图像融合时,同一位置处的强度可能存在较大的差异,传统基于平均的低频融合规则往往会导致融合图像的能量损失[19 ] .于是定义八邻域改进拉普拉斯加权和(Weighted sum of Eight- neighbor Modified Laplacian, WSEML)[20 ] 联合区域能量E来对低频系数进行选择.其公式如下: ...
Medical image fusion with parameter- adaptive pulse coupled neural network in nonsubsampled shearlet transform domain
2
2019
... 在全色与SAR图像融合时,同一位置处的强度可能存在较大的差异,传统基于平均的低频融合规则往往会导致融合图像的能量损失[19 ] .于是定义八邻域改进拉普拉斯加权和(Weighted sum of Eight- neighbor Modified Laplacian, WSEML)[20 ] 联合区域能量E来对低频系数进行选择.其公式如下: ...
... 为验证本文算法的有效性,选取改进的同态滤波算法(AHF)[3 ] 、图像修复算法(S-EBII)[9 ] 、对SAR图像进行Gamma-Map去噪后的POISSON融合算法[25 ] 、结合云区判断的NSCT-PCNN融合算法、结合云区判断的NSST-PAPCNN融合算法[20 ] 共5种方法进行比较. ...
多方向Laplacian能量和与Tetrolet变换的图像融合
1
2020
... 其中:P ∈ { I , S } ,区域大小为(2r+1)⋅ (2r+1),D L p ( i , j ) 为低频系数,w ( m + r + 1 , n + r + 1 ) 为各点权重.与原改进Laplacian[21 ] 相比,八邻域改进Laplacian(Eight-neighbor Modified Laplacian, EML)考虑了对角系数的影响,充分利用了邻域信息. ...
多方向Laplacian能量和与Tetrolet变换的图像融合
1
2020
... 其中:P ∈ { I , S } ,区域大小为(2r+1)⋅ (2r+1),D L p ( i , j ) 为低频系数,w ( m + r + 1 , n + r + 1 ) 为各点权重.与原改进Laplacian[21 ] 相比,八邻域改进Laplacian(Eight-neighbor Modified Laplacian, EML)考虑了对角系数的影响,充分利用了邻域信息. ...
基于纹理分割和Top-Hat变换的合成孔径雷达与可见光图像增强融合
1
2014
... 在NSST分解后的高频图像中,边缘及细节等信息往往只在少数方向上有较大能量,方向分布变化剧烈.而噪声点虽有局部较大能量,但能量平均地分布在所有方向上,方向分布变化较为平缓[22 ] .基于这一特点,结合区域能量[23 ] 与方向信息熵[24 ] 来鉴别SAR图像高频系数中的噪声及细节信息. ...
基于纹理分割和Top-Hat变换的合成孔径雷达与可见光图像增强融合
1
2014
... 在NSST分解后的高频图像中,边缘及细节等信息往往只在少数方向上有较大能量,方向分布变化剧烈.而噪声点虽有局部较大能量,但能量平均地分布在所有方向上,方向分布变化较为平缓[22 ] .基于这一特点,结合区域能量[23 ] 与方向信息熵[24 ] 来鉴别SAR图像高频系数中的噪声及细节信息. ...
SAR image despeckling based on nonsubsampled shearlet transform
1
2012
... 在NSST分解后的高频图像中,边缘及细节等信息往往只在少数方向上有较大能量,方向分布变化剧烈.而噪声点虽有局部较大能量,但能量平均地分布在所有方向上,方向分布变化较为平缓[22 ] .基于这一特点,结合区域能量[23 ] 与方向信息熵[24 ] 来鉴别SAR图像高频系数中的噪声及细节信息. ...
基于NSCT的SAR与可见光图像融合方法
2
2013
... 在NSST分解后的高频图像中,边缘及细节等信息往往只在少数方向上有较大能量,方向分布变化剧烈.而噪声点虽有局部较大能量,但能量平均地分布在所有方向上,方向分布变化较为平缓[22 ] .基于这一特点,结合区域能量[23 ] 与方向信息熵[24 ] 来鉴别SAR图像高频系数中的噪声及细节信息. ...
... 其中:-1表示噪声,1表示有用信息.根据Donoho的理论,随着变换尺度的增大,噪声值减小,而信号在各尺度却均保持较大值[24 ] ,因此加入ln(j )来适应不同尺度下的不同阈值设定. ...
基于NSCT的SAR与可见光图像融合方法
2
2013
... 在NSST分解后的高频图像中,边缘及细节等信息往往只在少数方向上有较大能量,方向分布变化剧烈.而噪声点虽有局部较大能量,但能量平均地分布在所有方向上,方向分布变化较为平缓[22 ] .基于这一特点,结合区域能量[23 ] 与方向信息熵[24 ] 来鉴别SAR图像高频系数中的噪声及细节信息. ...
... 其中:-1表示噪声,1表示有用信息.根据Donoho的理论,随着变换尺度的增大,噪声值减小,而信号在各尺度却均保持较大值[24 ] ,因此加入ln(j )来适应不同尺度下的不同阈值设定. ...
Poisson image editing
1
2003
... 为验证本文算法的有效性,选取改进的同态滤波算法(AHF)[3 ] 、图像修复算法(S-EBII)[9 ] 、对SAR图像进行Gamma-Map去噪后的POISSON融合算法[25 ] 、结合云区判断的NSCT-PCNN融合算法、结合云区判断的NSST-PAPCNN融合算法[20 ] 共5种方法进行比较. ...
Pixel level fusion techniques for SAR and optical images: A review
1
59
... 对比图6 ~9 所示实验结果,结合主观判断与结构相似性(Structural Similarity, SSIM)、峰值信噪比(Peak Signal to Noise Ratio, PSNR)、均方根误差(Root Mean Square Error,RMSE)[1 ] 、信息熵(Entropy)、平均梯度(Average Gradient,AG)以及全局结构相似性(A-SSIM)[26 ] 6种客观评价指标进行评价.其中,SSIM结合亮度、对比度和结构来衡量两幅图像的相似性,PSNR通过衡量图像有效信息与噪声比来评价图像失真程度,均为越大越好;RMSE为参考图像与融合图像之间的均方根差异,越小则表示越接近参考图像;信息熵EN反映了图像所包含信息的丰富程度,AG是衡量图像中细节和纹理清晰程度的指标,其值越大,则表示图像的信息量越多,清晰度越好. ...