img

官方微信

遥感技术与应用, 2023, 38(5): 1215-1225 doi: 10.11873/j.issn.1004-0323.2023.5.1215

遥感应用

一种图像回归与关联关系特征融合的遥感影像变化检测方法

马宗方,, 郝凡,, 宋琳, 麻瑞

西安建筑科技大学信息与控制工程学院,陕西 西安 710055

Image Regression and Association-based Feature Fusion for Remote Sensing Image Change Detection

MA Zongfang,, HAO Fan,, SONG Lin, MA Rui

College of Information and Control Engineering,Xi’an University of Architecture and Technology,Xi’an 710055,China

通讯作者: 郝凡(1997-),男,陕西神木人,硕士研究生,主要从事遥感影像变化检测、模式识别研究。E⁃mail: haofan@xauat.edu.cn

收稿日期: 2022-05-10   修回日期: 2023-09-05  

基金资助: 陕西省重点研发计划.  2020GY⁃186.  2020SF⁃367
西安建筑科技大学科技基金.  ZR21034

Received: 2022-05-10   Revised: 2023-09-05  

作者简介 About authors

马宗方(1980-),男,安徽临泉人,博士,教授,主要从事智能信息处理、机器视觉工业应用研究E⁃mail:zongfangma@xauat.edu.cn , E-mail:zongfangma@xauat.edu.cn

摘要

异质遥感影像变化检测是一个重要且具有挑战性的研究课题。针对直接比较异质数据进行变化检测导致检测精度低的问题,提出了一种图像回归与关联关系特征融合(Image Regression and Association-based Feature, IRAF)的异质遥感影像变化检测方法。首先基于信息熵理论量化异质数据的信息量差异并确定回归方向,采用多输出多层感知器图像回归得到与原始影像特征空间分布相近的回归图像;其次,得到差异图像并基于模糊局部信息C均值(Fuzzy Local Information C-Means,FLICM)算法找到部分显著样本对用于后续检测。为了考虑不同特征间的关联关系并充分利用数据中潜在的高阶信息,采用基于关联关系特征的融合算法(Association-based Fusion,AF)对原始遥感数据进行增强,最后利用融合后的特征训练分类模型得到最终的变化二值图。为验证该方法的有效性,采用Sardinia、Yellow River和Texas这3组真实数据集进行实验,Ka 分别达到了0.796 1、0.827 1、0.958 1。与相关方法进行对比的实验结果表明该方法在不同数据集上均得到了最优的检测结果,能够抑制噪声的影响且有效提升变化检测精度。

关键词: 变化检测 ; 图像回归 ; 异质数据 ; 关联关系特征

Abstract

Change detection from heterogeneous remote sensing images is an important and challenging research topic with a wide range of applications in disaster assessment, urban planning and environmental monitoring. However, the direct comparison of heterogeneous data for change detection always has a poor detection accuracy. To address this issue, a multioutput adaptive regression and association-based feature fusion method for heterogeneous remote sensing change detection is proposed. Firstly, the proposed method determines the adaptive regression direction according to the information entropy, which utilizes the difference of information between heterogeneous data. To transform heterogeneous data into a common feature space, the regression image will be obtained via a multioutput multilayer perceptron image regression algorithm. Then, the fuzzy local information C-means algorithm is used to identify the fuzzy region in the difference image, which further ensures the reliability of significant sample pairs. Finally, an association-based fusion method was applied to the heterogeneous remote sensing change detection dataset by simultaneously exploiting the high-order information of heterogeneous data and the association information between features. The binary change map is obtained via training a classification model with the boosting dataset. Experiments conducted on three real datasets (Sardinia, Yellow River and Texas) show the effectiveness of the proposed method by comparing it with seven related change detection methods. Experimental results indicate that the proposed method owns the best change detection results on both three datasets, which proves its effectiveness, and it can suppress the influence of noise and improve the accuracy of change detection.

Keywords: Change detection ; Image regression ; Heterogeneous data ; Association-based feature

PDF (5951KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

马宗方, 郝凡, 宋琳, 麻瑞. 一种图像回归与关联关系特征融合的遥感影像变化检测方法. 遥感技术与应用[J], 2023, 38(5): 1215-1225 doi:10.11873/j.issn.1004-0323.2023.5.1215

MA Zongfang, HAO Fan, SONG Lin, MA Rui. Image Regression and Association-based Feature Fusion for Remote Sensing Image Change Detection. Remote Sensing Technology and Application[J], 2023, 38(5): 1215-1225 doi:10.11873/j.issn.1004-0323.2023.5.1215

1 引 言

异质遥感影像变化检测是遥感领域中一个热门且具有挑战性的研究方向,其通过分析同一地理位置在不同时间由不同类型传感器获取的两幅遥感影像,提取特征差异并标注出发生变化的区域1。近些年来,变化检测在许多领域中都得到了广泛的应用,如灾害评估2、城市规划3及生态监测4等。

现有大多数变化检测方法都是针对相同传感器或同一类型传感器获取的遥感影像设计的。由于不同传感器具有不同的成像特点,直接对异质数据进行差异比较往往会产生大量噪声,传统同质变化检测方法在异质场景下难以得到较高的检测精度5。此外在真实场景下可能难以获取同质影像用于变化检测;例如,当自然灾害发生时,往往伴随着糟糕的天气情况,此时光学传感器受到外界干扰无法正常工作,但是合成孔径雷达(Synthetic Aperture Radars, SAR)遥感可以在各种天气条件下持续工作6,不受云层或天气的影响。正因如此,异质变化检测方法的应用场景更加广泛。

许多异质变化检测方法致力于将异质数据由难以直接比较的域转换至公共可比较的域7。根据域转换方式,可以分为基于分类的方法,基于相似性的方法和基于深度学习的方法8。基于分类的方法将两幅遥感影像转换至共同的类别空间,例如先分类后比较9, 多时相分割与复合分类10。这类方法依赖于分类器的性能,容易产生累积误差,尤其是容易受到SAR影像的相干斑噪声影响而难以准确分类。基于相似性的方法将异质影像转换至共同的重建特征空间。Liu 等11提出一种基于同质像素点转换的方法,利用少量已知不变化的样本进行多值估计,逐像素得到基于核函数回归映射的差异图像。Luppino 等12量化两幅遥感影像亲和矩阵的相似性从而自动识别可能未发生变化的像素对,然后训练回归模型转换至共有的数据域。由于未变化像素对可能难以表征数据之间的异质性且变化检测场景地物情况往往比较复杂,使得基于回归相似性方法的检测性能难以提升。近些年来,大量基于深度学习技术的变化检测方法被提出。例如通过对称的深度卷积耦合网络13、结合变分自编码器或生成对抗网络14将异质遥感影像转换到使其特征表示更加一致的特征空间。Liu等15利用循环生成对抗网络将异质数据从SAR影像域转换到光学影像域。Wang等16提出了拓扑耦合网络利用编码器—解码器结构转换异质图像的特征空间,并引入了小波变换、通道和空间注意机制。尽管基于深度学习的方法在检测准确度方面表现相对较好,但需要大量训练样本优化模型与复杂且耗时的迭代训练。

基于上述分析,研究提出了一种图像回归与关联关系特征融合的变化检测方法。IRAF基于图像回归进行异质数据的特征转换,并结合了基于关联关系特征融合的优势。首先,搭建多层感知器回归模型,依据不同时相遥感数据的信息量差异确定回归方向,基于人工神经网络建模非线性深度特征关系的能力建立回归映射,提取深度特征的同时也不会耗费大量计算时间;然后对回归图像与原始影像间的差异图像分析得到部分显著变化和不变化样本对;其次基于AF17增强原始影像的堆叠特征,即利用数据特征间的关联关系以及数据的高阶信息将原始数据编码至一个新的特征空间,增强了特征的表达能力,最终通过训练分类模型得到变化二值图。

2 基础知识

2.1 相关工作

基于像素的变化检测方法以像素为分析单元进行特征提取并产生差异图像,这类方法忽视了空间信息导致对噪声敏感的特点。Cheng等18提出的ISNet通过间隔最大化,增加通道及空间注意力机制得到改进后的融合特征用于决策分类。Zhang等19将双时态特征在其差异的指导下进行聚合,融合后的特征具有变化相关性和判别性。Bergamasco等20对多分辨率特征图进行分析得到多分辨率差异图。这些方法融合图像多尺度特征,优化了对图像细节信息的提取。Sun等521以超像素为分析单元基于结构一致性与图论的图像回归进行异质影像的变化检测。在实验中,IRAF通过多层感知器逐像素进行图像回归得到特征转换后的回归图像,进而利用考虑空间邻域信息的FLICM对差异图分析得到显著样本对。

2.2 模糊局部信息C均值聚类算法

作为经典的模糊聚类算法,模糊C均值(Fuzzy C-means, FCM)没有考虑任何空间邻域信息,对噪声非常敏感。针对该问题,Krindis等22提出了一种鲁棒的模糊局部信息C均值聚类算法,它结合了局部空间信息和局部灰度信息,避免了处理过程中细节信息的丢失。FLICM通过模糊局部约束自动实现图像细节和噪声信息的平衡,并且可以自动确定空间和灰度关系,无需参数选择23

为了提高聚类性能,FLICM在目标函数中引入了一种新的模糊因子Gki,定义为:

Gki=jNiij1dij+1(1-ukj)mxj-vk2

其中:第i个像素为局部窗口的中心;xj表示局部窗口内的邻居像素;dij表示像素ij之间的空间欧氏距离;ukj是第j个像素属于第k个簇的模糊隶属度;m是每个模糊隶属度的加权指数;vk表示簇中心。然后将Gki引入传统的模糊C均值算法,则FLICM的目标函数定义为:

Jm=i=1Nk=1cukimxi-vk2+Gki

此外,隶属度划分矩阵和聚类中心的计算如下:

uki=1j=1c(xi-vk2+Gkixi-vj2+Gji)1/(m-1)
νk=i=1Nukimxi/i=1Nukim

2.3 基于关联关系特征的融合算法

多模态分类问题旨在结合不同模态间的互补信息,传统方法专注于不同模态数据间的融合而忽视了数据内部特征的融合,导致融合后特征表达能力不足。而基于深度学习的方法过程是隐式的,缺乏可解释性。基于关联关系的特征融合方法AF17以一种可解释的方式设计融合规则,利用数据的高阶信息与特征间的关联关系信息将数据编码至新的特征空间,有效提高了原始特征的表达能力。

给定原始数据集S,其包含的样本表示为si=[a1(si),a2(si),,amp(si)]Si=1,2,,n;建立映射ϕ:SE,将数据由原来的mp维提升至mpL维,特征增强过程表示为:

ϕ(si)=[e1(si),e2(si),,empL(si)]=[a11(si),a12(si),,a1L(si),a21(si),a22(si),,a2L(si),,amp1(si),amp2(si),ampL(si)]

其中:超参数L是特征增强率,即表示特征增强的最高幂次。则样本si在增强数据集E中的维度对应扩充为{ej,1jmpL}

AF为了衡量不同特征之间的关联关系,基于增强数据E定义了一个关系融合矩阵R。每个元素r(ei,ej)表示特征eiej之间的关系,由皮尔逊相关系数衡量特征之间的相关程度,表示为:

rei,ej=covei,ejσeiσej=Eei-μeiej-μejσeiσej

其中:σeiσej分别是eiej的标准差;μeiμej分别是eiej的平均值。

用关系融合矩阵R来融合增强数据E,建立映射φ:EC将增强数据进行不同特征间的融合。L越大,关联关系的多样性就越丰富。根据泰勒级数,采用如下融合策略:

φ(ϕ(si))=[c1(si),c2(si),,cmpL(si)][k=1mpLωkRk1ek(si),k=1mpLωkRk2ek(si),,k=1mpLωkRk(mpL)ek(si)]

其中:ω=[1/(1!),1/(2!),…,1/(L!),…,1/(1!),1/(2!),…,1/(L!)]RmpLRkj=r(ek,ej)表示ekej的相关程度。给定一个原始样本si,对应增强特征为φ(ϕ(si)),则可以得到融合后的数据集C

3 基于图像回归与关联关系特征融合的变化检测方法

研究提出的IRAF首先根据遥感影像的信息量差异确定回归方向,然后搭建多层感知器回归模型逐像素预测回归映射从而得到回归图像;其次,计算回归图像与原始影像间的差异图像,基于FLICM分析提取显著变化和不变化区域;最后,采用基于关联关系特征的融合算法对原始遥感数据进行增强,利用融合后的特征训练分类模型得到最终的变化二值图。IRAF的检测流程如图1所示。

图1

图1   基于图像回归和关联关系特征融合的变化检测方法IRAF

Fig.1   Change detection based on image regression and Association-based feature fusion


3.1 基于多输出多层感知器的图像回归

由于成像原理不同,不同时相遥感影像包含的信息量也就不同。而回归模型在从事前影像与事后影像学习映射关系时存在重建误差,回归过程中不可避免地会导致部分信息的丢失。实际上,异质数据的双向回归并不一定都能得到较好的回归效果。为了保证回归模型从包含信息量多的遥感影像中提取潜在特征来表征包含信息量少的遥感影像,因此设计了一种图像回归方向的选取规则:将事前及事后影像中包含信息量较多的一方作为训练集和测试集的特征,另一方作为训练集的标签。

熵表示随机变量的不确定性即无序程度的一个度量,遥感影像的信息熵能够较好地反映遥感影像所包含信息量的多少,它与遥感影像的灰度变化程度直接相关24。假设一组变化检测数据集包含事前影像XRH×W×BX,事后影像YRH×W×BY,其中HW分别表示影像的高度和宽度,BXBY分别是XY的通道数。以事前影像X 为例,假设其H×W个像素中分布有Q个灰度级,第i个灰度级出现的概率为p(i)=fi/i=1Qfifi 是灰度频率,则X包含的信息量为:

H(X)=-b=1BXi=1Qpb(i)log2pb(i)

根据多时相遥感影像中信息量的差异,提出如下图像回归方向的选取规则:

(1)如果H(X)>H(Y)H(X)-H(Y)>ε, 则回归训练集是Tr={(x,y)|(x,y)(X˙,Y˙)}, 回归测试集是Te={x|xX},训练回归模型预测得到回归图像RX

(2)如果H(X)<H(Y)H(X)-H(Y)>ε, 则回归训练集是Tr={(y,x)|(y,x)(Y˙,X˙)}, 回归测试集是Te={y|yY},训练回归模型预测0得到回归图像RY

(3)如果H(X)-H(Y)<ε,将XY分别作为测试集,预测得到回归图像RXRY,计算差异图像时融合(1)和(2)的结果。

其中:X˙Y˙是先验信息中不变像素对位置,分别对应XY的特征值,xy对应单个像素。实验中默认参数ε=0,其用于提升对未来实际变化检测场景的鲁棒性。当事前与事后影像信息量差异较小时,前向回归和反向回归的结果差异较小。融合前向差异和反向差异得到更加鲁棒的差异图像,为未来多变的变化检测场景提供备选方案。

神经网络在机器学习领域已经得到了大量的应用,一个典型的例子为多层感知器(Multilayer Perception,MLP),其结构主要包括:输入层、隐藏层和输出层,且不同层之间是全连接的。随着隐藏层的增加,网络的特征学习能力越强。如图2所示,我们搭建了一个MLP回归模型,包含1个输入层,8个中间隐藏层和1个输出层,具体的网络结构为BY -16-32-64-128-128-64-32-16-BX ,激活函数选择Relu。训练细节如下:最大迭代次数为100,采用Adam优化器优化权重,L2惩罚系数为0.000 1。

图2

图2   基于多输出多层感知器的图像回归

Fig.2   Image regression based on multioutput multilayer perceptron


假设原始影像数据中已知部分不变化样本,如图2所示,Sardinia数据集中包含8个已知不变化区域,每个红色框的大小是100个训练样本。通过计算可知,H(X)<H(Y),属于图像回归方向的选取规则(2)。构造回归训练集Tr并训练MLP回归模型,对回归测试集Te预测得到回归矩阵R,最后成像为回归图像RY

3.2 差异分析获取显著样本对

差异图像的质量直接影响最终的变化检测结果,差值越大,表明相应位置发生变化的可能性就越大。如图2所示,RY保持了Y的内容与X的风格,相比于原始影像数据,RYX可以得到更高质量的差异图像。不同图像回归方向选取规则对应差异图像计算为①:D=D1=RX-Y;②:D=D2=X-RY;③:D=(D1+D2)/2。以规则①为例,差异图像计算为:

D(h,w)=1BYb=1BYrX(h,w,b)-y(h,w,b)

其中:表示绝对距离;1hH1wWrXy分别为对应位置属于RXY的像素值。

通过差异直方图像中每个像素灰度级的概率密度函数建模了一个高斯混合分布,根据期望最大化算法计算出最优阈值T1T2 将原始分布划分为不变类,不确定类和变化类25,证明了差异图像样本空间分布中存在难以划分的不确定类与几乎可确定的变化类、不变类26。为了提取少量显著样本对的伪标签,IRAF选取FLICM用来分割差异图像,聚类数目设为3。相较于将差异图像聚为两类的方法,能够识别难以划分的不确定区域。

3.3 基于分类得到变化图

遥感影像数据间的异质性导致模式识别方法难以鲁棒地工作。IRAF利用AF加强原始堆叠特征,构造增强数据集并训练分类器得到变化图。首先将XY堆叠构造初始数据SRH×W×(BX+BY),AF建模S特征的高阶信息并提升原始数据的非线性表达能力得到高阶数据CRH×W×(BX+BY)L。最后将原始遥感数据S与高阶数据C融合得到用于决策的数据集χ=S+CR(BX+BY)(L+1)。使融合空间具有强大的特征表达能力,有效提升IRAF的性能。

根据3.2节中显著样本对位置构建训练集,MLP分类模型输入层节点数量为(BX+BY)(L+1),隐藏层节点数量为16-32-64-64-32-16,输出层节点数量为2。分类模型通过显著像素对进行训练,未选定的像素不影响分类器的学习,且可以降低来自差异图像噪声的影响。L与特征关系的多样性呈正相关,默认取L=2, 对L的参数分析将在4.4.2节进行详细讨论。

4 实验结果与分析

4.1 数据集介绍

实验在3 组真实遥感数据集上验证所提出IRAF方法的有效性。表1是数据集详细信息,包括多传感器异质遥感数据Sardinia和Texas,多源异质遥感数据Yellow River。

表1   3组真实数据集的描述

Table 1  Description of the three real datasets

数据集传感器采集日期采集地点尺寸空间分辨率
SardiniaLandsat-5 TM/ Google Earth1995.9/1996.7意大利撒丁岛412×30030 m
Yellow RiverRadarsat-2/ Google Earth2008.6/2010.9中国黄河入海口291×3438 m
TexasLandsat-5 TM/ EO-1 ALI2011.9/2011.10德克萨斯州巴斯多普县1534×80830 m

新窗口打开| 下载CSV


第一组数据集是Sardinia8,它包含一张美国陆地卫星专题制图仪(Thematic Mapper, TM)获取的影像和一张RGB光学影像,其描述了意大利撒丁岛地区上湖泊的变化,用于研究因湖水水位上升而造成的陆地淹没情况。如图3(a)所示,Landsat-5 TM影像是由Landsat 5的近红外波段于1995年9月获得。图3(b)光学影像则于1996年7月在同一地点采集自Google Earth,两幅影像的大小均为412×300像素,空间分辨率均为30 m。如图3(c)所示,通过实地调查描绘了地面真实变化参考图像。

图3

图3   Sardinia数据集及IRAF在该数据集上的实验结果

Fig.3   Sardinia dataset and corresponding results of IRAF


第二组数据集是Yellow River13,包含一对大小均为291×343像素的异质影像。如图4(a)所示,该SAR影像于2008年6月由Radarsat-2的C波段拍摄自黄河入海口区域,图4(b)光学影像于2010年9月由来自Landsat 7的Google Earth在同一区域采集,两幅影像的空间分辨率均为8 m。这组数据用于研究洪水引起的黄河岸线变化,图4(c)是通过专家人工标记生成的参考图像。

图4

图4   Yellow River数据集及IRAF在该数据集上的实验结果

Fig.4   Yellow River dataset and corresponding results of IRAF


第三组数据集是Texas 8,发布自LP DAAC,http:∥lpdaac.usgs.gov。如图5(a)所示,Landsat-5 TM多光谱影像是在2011年9月至10月德克萨斯州巴斯多普县发生森林火灾之前获得的。图5(b)多光谱光学影像由地球观测卫星-1搭载高级陆地成像仪传感器(Earth Observing-1 Advanced Land Imager,EO-1 ALI)采集,两幅影像大小均为1 534×808像素,分别包含7和10个通道,选取RGB通道进行分析处理。两幅影像的空间分辨率均为30 m,图5(c)为参考图像由Volpi等27提供。

图5

图5   Texas 数据集及IRAF在该数据集上的实验结果

Fig.5   Texas dataset and corresponding results of IRAF


4.2 评价指标

变化检测任务本质上是一个二分类问题,因此构建混淆矩阵来综合评价变化检测效果,其中TP为将变化类预测为变化类的样本数量;TN为将不变化类预测为不变化类的样本数量;FP为将不变化类预测为变化类的样本数量,也叫误检数;FN为将变化类预测为不变化类的样本数量,也叫漏检数。定量分析指标由混淆矩阵衍生,包括总体错误样本数OE=FN+FP,并采用准确率Ra 、精确率Rp 、漏检率Rm 、虚警率Rf 、Kappa系数Ka 来评价变化检测结果11,具体计算为:

Ra=TP+TNTP+FP+TN+FN;Rp=TPTP+FP;Rm=FNTP+FN;Rf=FPTP+FP;Ka=Ra-PRE1-PRE

其中:PRE=(TP+FP)×(TP+FN)+(FN+TN)×(FP+TN)(TP+TN+FP+FN)2,综合性能评价指标Ka 一般用来分析变化检测结果与地面真实变化参考图像的相似性程度,Ka 越大则表明两幅图像的相似程度就越高,当发生较大或较小的变化区域时,Ka 的变化比其他评价指标更加敏感。

4.3 变化检测结果与分析

为验证IRAF变化检测方法的有效性,研究将在3个真实数据集上进行实验,并与经典变化检测方法PCC[28、CVA29、IR-MAD30,对称卷积耦合网络SCCN13,以及近些年提出的FPMSMCD31、SCASC21、GIR-MRF5共7个对比方法进行比较。为了更加直观地展示变化检测结果,采用混淆图像的展示形式,其中红色代表FN,绿色代表FP,白色代表TP,黑色代表TN。

图3包含IRAF在Sardinia数据集上的回归图像和差异图像,大部分变化区域能够在差异图像中体现。如表2图6所示,是本方法及对比方法在Sardinia数据集上的变化检测结果。从中可以得出以下结论: PCC,CVA和IR-MAD都存在大量的绿色虚警区域,对应Rf 也较高,导致综合变化检测结果较差。SCCN、SCASC与GIR-MRF均使得变化检测效果有所提升,但是仍存在较多的虚警和漏检区域。FPMSMCD有最低的Rm,检测出最多的变化区域,但是Rf 却较高。本文方法IRAF有最低的虚警率,漏检率Rm 稍低于FPMSMCD,其它指标均为最高,与参考图像的接近程度最高,并且具有最高的Ka 为0.7961,相较于其它方法检测效果提升明显。从混淆图中同样可以看到本文方法能有效识别变化区域,对变化检测精度有较大提升。

表2   不同方法在Sardinia数据集的变化检测精度

Table 2  Change detection accuracy of different methods on Sardinia dataset

方法FNFPOERaRpRmRfKa
PCC3 32329 55032 8730.7340.127 10.435 70.872 90.118 7
CVA2 23443 27845 5120.631 80.110 80.292 90.889 20.095
IR-MAD1 74026 88428 6240.768 40.179 60.228 20.820 40.212 6
SCCN6 2202 0788 2980.932 90.727 50.528 60.272 50.537 5
FPMSMCD1 5223 3904 9120.960 30.642 90.199 60.357 10.692
SCASC3 1273 4206 5470.9470.568 10.410.431 90.550 6
GIR-MRF1 8523 2915 1430.958 40.6370.242 90.3630.669 7
IRAF1 5781 2892 8670.976 80.824 30.206 90.175 70.796 1

新窗口打开| 下载CSV


图6

图6   Sardinia数据集上不同方法的变化检测结果

Fig.6   Change detection results of different methods on Sardinia dataset


图4所示,给出了IRAF在Yellow River数据集上的回归图像和差异图像,回归图像从事前影像X回归至事后影像Y,表明X的信息量多于YRX从内容角度保持X,风格角度趋于Y图7为不同方法在Yellow River数据集上的混淆图,表3给出了对应的量化结果。从图7表3可知,PCC和CVA将黄河整个流域误检为发生变化,导致了较差的检测效果。尽管IR-MAD避免了这一问题,但是大量的绿色虚警区域分布图像中。FPMSMCD对变化区域较为敏感,虽然漏检率Rm 最低,但是将许多未变化的区域错误标记为了变化区域。此外,SCCN、SCASC与GIR-MRF均实现了不错的效果,SCCN产生了最低的虚警率Rf,但是存在许多红色的漏检区域。IRAF使检测精度较大提升,实验结果中两种类型的错误区域数量都处于较低水平,综合评价拥有最优的变化检测结果,且具有最高的Ka =0.827 1。

图7

图7   Yellow River数据集上不同方法的变化检测结果

Fig.7   Change detection results of different methods on Yellow River dataset


表3   不同方法在Yellow River数据集的变化检测精度

Table 3  Change detection accuracy of different methods on Yellow River dataset

方法FNFPOERaRpRmRfKa
PCC97725 72926 7060.732 40.084 70.290 90.915 30.097 1
CVA1 36624 32125 6870.742 60.075 70.406 70.924 30.079 4
IR-MAD1 00328 98929 9920.699 50.075 20.298 60.924 80.079 8
SCCN8775091 3860.986 10.829 80.261 10.170 20.774 6
FPMSMCD31212 39212 7040.872 70.197 40.092 90.802 60.284 6
SCASC4691 7192 1880.978 10.6270.139 60.3730.714 3
GIR-MRF4781 4081 8860.981 10.671 70.142 30.328 30.743 7
IRAF5256111 1360.988 60.822 60.156 30.177 40.827 1

新窗口打开| 下载CSV


IRAF在Texas数据集上的回归图像和差异图像如图5所示,经过回归后,回归图像RX呈现为假蓝色,差异图像同样对变化区域较为敏感,能够对变化主体进行标注。本文方法及对比方法在Texas数据集上的变化检测结果如表4图8所示,从中可以得出以下结论: PCC和CVA产生了相近的结果,对噪声较敏感。IR-MAD和SCASC检测结果中存在大量红色漏检区域,导致最终变化检测效果较差。而SCCN检测出了大量的绿色虚警区域,同样导致最终的综合指标也较低。FPMSMCD对地物的轮廓描述较为准确,但是存在相对较多的虚警及漏检区域。GIR-MRF实现了不错的检测结果,将大部分变化区域都进行了标记,实现了最低的漏检率Rm,但是Rf 相较于IRAF要高一些,因此本文方法的综合指标Ka 要高于GIR-MRF。IRAF在Texas数据集上同样取得了最优的变化检测结果,表明了本文方法对变化检测任务的鲁棒性及有效性,可以较为准确地对变化区域进行识别。

表4   不同方法在Texas数据集的变化检测精度

Table 4  Change detection accuracy of different methods on Texas dataset

方法FNFPOERaRpRmRfKa
PCC32 61074 573107 1830.913 50.5710.247 30.4290.601 1
CVA30 074149 178179 2520.855 40.405 60.228 10.594 40.455 9
IR-MAD83 18456 027139 2110.887 70.464 90.630 80.535 10.350 4
SCCN8 339180 476188 8150.847 70.406 30.063 20.593 70.491 3
FPMSMCD21 50251 86273 3640.940 80.680 30.163 10.319 70.717 4
SCASC86 7059 94196 6460.9220.819 60.657 50.180 40.448 5
GIR-MRF1 93523 81425 7490.979 20.845 10.014 70.154 90.898 2
IRAF4 3225 5889 9100.9920.9580.032 80.0420.958 1

新窗口打开| 下载CSV


图8

图8   Texas数据集上不同方法的变化检测结果

Fig.8   Change detection results of different methods on Texas dataset


4.4 讨论

4.4.1 图像回归方向

表5为IRAF在不同图像回归方向选取规则下的变化检测精度,我们可以得出如下结论:IRAF在图像回归方向选取规则②下的综合性能最优,具有最高的Ka。规则①由于事前影像在源域中的信息量较少,无法较好地表征目标域,因此变化检测性能较差。规则③综合了前两者的差异图进行分析,虽然结果中虚警样本最少,但是存在大量的漏检样本,导致综合性能较差。综上,IRAF能够自动选择具有最优性能的回归方向。

表5   IRAF在不同图像回归方向选取规则下的变化检测精度

Table 5  Change detection accuracy of different selection rules of image regression direction

IRAFFNFPOERaRpRmRfKa
规则(1): RX4 17416 07420 2480.836 20.176 80.547 30.823 20.181 7
规则(2): RY1 5781 2892 8670.976 80.824 30.206 90.175 70.796 1
规则(3): RX + RY3 8932134 1060.966 80.9460.510 50.0540.629 6

新窗口打开| 下载CSV


4.4.2 参数分析

本节对超参数特征增强率L进行分析,依次取L为0, 1, 2, … , 10。RaRpKa 随着L变化的趋势如图9所示。当L=2或3时,RpKa 达到最高,随后下降并保持稳定。由3.3节可知,AF将特征数量由原始的(BX +BY )增加至(BX +BY )(L+1),意味着较大的L会导致更长的执行时间17。此外,当L=2或3时,特征数量较少且具有较短的执行时间。综合考虑性能和时间成本,推荐L默认为2或3。

图9

图9   特征增强率L对本文方法检测结果的影响

Fig.9   Influence of feature boosting rate L on the performance of IRAF


4.4.3 消融实验

IRAF方法对变化检测性能提升的步骤主要包括图像回归实现异质数据域的转换及AF增强原始影像特征。通过控制每个步骤的有无来证明其有效性,表6为消融实验结果。由前两组实验可知,由于存在大量的噪声,AF特征增强后反而使得变化检测性能变弱。对比后两组实验,加入图像回归实现异质数据域的转换后,综合性能Ka 显著提升,AF特征增强也对变化检测精度具有积极作用。

表6   IRAF在Sardinia数据集上的消融实验

Table 6  Ablation experiments of IRAF on the Sardinia dataset

消融说明FNFPOERaRpRmRfKa
无回归+无AF1 25340 13141 3840.665 20.1370.164 30.8630.144 8
无回归+AF2 87829 77932 6570.735 80.137 50.377 40.862 50.138 2
回归+无AF1 4272 1703 5970.970 90.740 70.187 10.259 30.759 6
IRAF1 5781 2892 8670.976 80.824 30.206 90.175 70.796 1

新窗口打开| 下载CSV


5 结 论

本文提出了一种基于图像回归与关联关系特征融合变化检测方法IRAF,主要贡献包含:①IRAF量化遥感影像信息量确定最优图像回归方向,并训练感知器模型得到回归图像;②采用FLICM识别差异图中的不确定区域,考虑空间邻域信息有效避免模糊区域对获取显著样本对产生的负面影响;③IRAF基于关联关系特征的融合对特征的高阶信息进行建模,同时提高原始数据的非线性表达能力。增强特征具有强大的特征表达能力,且融合后数据的特征空间比原始空间具有更强的关联性,能够有效提升变化检测的效果;④IRAF与对比方法及在Sardinia数据集上的讨论实验验证了其有效性,大多数情况下存在最少的虚警及漏检区域,可以有效抑制结果中的噪声。未来将在以下方面展开研究:①考虑利用自动编码器、生成对抗网络等深度大型网络改进映射图像的重建质量;②考虑基于数据降维提升执行效率以及优化特征的表达方式。

参考文献

HAO FMA Z FTIAN H Pet al.

Semi-supervised label propagation for multi-source remote sensing image change detection

[J]. Computers & Geosciences, 2023170105249. DOI: 10.1016/j.cageo.2022.105249

[本文引用: 1]

GUO QingZHU LiyaLI Anet al.

Landslide identification method based on NDVI change detection

[J]. Remote Sensing Technology and Application,2022371): 17-23.

[本文引用: 1]

郭擎朱丽娅李安.

基于NDVI变化检测的滑坡遥感精细识别

[J]. 遥感技术与应用, 2022371):17-23.

[本文引用: 1]

WANG YuanCHEN FulongHU Qiet al.

Urban change detection based on COSMO-SkyMed multi-temporal images in Nanjing city, China

[J]. Remote Sensing Technology and Application, 2019345): 1054-1063.

[本文引用: 1]

王源陈富龙胡祺.

COSMO-SkyMed时序影像南京城市变化检测研究

[J]. 遥感技术与应用, 2019345) :1054-1063.

[本文引用: 1]

WANG ChongyangTIAN Xin.

Forest cover change detection based on GF-1 PMS data

[J]. Remote Sensing Technology and Application,2021361):208-216.

[本文引用: 1]

王崇阳田昕.

基于GF-1 PMS 数据的森林覆盖变化检测

[J].遥感技术与应用,2021361): 208-216 .

[本文引用: 1]

SUN YLEI LTAN Xet al.

Structured graph based image regression for unsupervised multimodal change detection

[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 202218516-31.

[本文引用: 3]

ZHANG MingzheZHANG HongWANG Chaoet al.

Combining super-pixel segmentation and multiple difference maps for SAR change detection

[J]. Remote Sensing Technology and Application, 2016313):481 -487.

[本文引用: 1]

张明哲张红王超.

基于超像素分割和多方法融合的SAR图像变化检测方法

[J]. 遥感技术与应用, 2016313) : 481-487.

[本文引用: 1]

MOSER GANFINSEN S NLUPPINO L Tet al.

Change detection with heterogeneous remote sensing data: From semi-parametric regression to deep learning

[C]∥IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium. IEEE20203892-3895.

[本文引用: 1]

SUN YLEI LLI Xet al.

Patch similarity graph matrix-based unsupervised remote sensing change detection with homogeneous and heterogeneous sensors

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021596): 4841-4861.

[本文引用: 3]

ZHOU WTROY AGROVE M.

Object-based land cover classification and change analysis in the Baltimore metropolitan area using multitemporal high resolution remote sensing data

[J]. Sensors, 200883): 1613-1636. DOI:10.3390/s8031613

[本文引用: 1]

WAN LXIANG YYOU H.

An object-based hierarchical compound classification method for change detection in heterogeneous optical and SAR images

[J]. IEEE Transactions on Geoscience and Remote Sensing, 20195712): 9941-9959.

[本文引用: 1]

LIU ZLI GMERCIER Get al.

Change detection in heterogenous remote sensing images via homogeneous pixel transformation

[J]. IEEE Transactions on Image Processing, 2018274): 1822-1834.

[本文引用: 2]

LUPPINO L TBIANCHI F MMOSER Get al.

Unsupervised image regression for heterogeneous change detection

[J]. IEEE Transactions on Geoscience and Remote Sensing, 20195712): 9960-9975.

[本文引用: 1]

LIU JGONG MQIN Ket al.

A deep convolutional coupling network for change detection based on heterogeneous optical and radar images

[J]. IEEE Transactions on Neural Networks and Learning Systems, 2018293): 545-559.

[本文引用: 3]

GONG MNIU XZHAN Tet al.

A coupling translation network for change detection in heterogeneous images

[J]. International Journal of Remote Sensing,2019409):3647-3672.

[本文引用: 1]

LIU Z GZHANG Z WPAN Qet al.

Unsupervised change detection from heterogeneous data based on image translation

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021991-13.

[本文引用: 1]

WANG XCHENG WFENG Yet al.

TSCNet: topological structure coupling network for change detection of heterogeneous remote sensing images

[J]. Remote Sensing, 2023153): 621. DOI: 10.3390/rs15030621

[本文引用: 1]

LIANG X YQIAN Y HGUO Qet al.

AF: An association-based fusion method for multi-modal classification

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 20211): 1-1. DOI:10.1109/tpami.2021.3125995

[本文引用: 3]

CHENG GWANG GHAN J.

ISNet: Towards improving separability for remote sensing image change detection

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022601-11.

[本文引用: 1]

ZHANG MLI QMIAO Yet al.

Difference-guided aggregation network with multi-image pixel contrast for change detection

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023611-14.

[本文引用: 1]

BERGAMASCO LSAHA SBOVOLO Fet al.

Unsupervised change detection using convolutional-autoencoder multiresolution features

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022601-19.

[本文引用: 1]

SUN YLEI LGUAN Det al.

Sparse-constrained adaptive structure consistency-based unsupervised image regression for heterogeneous remote-sensing change detection

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021601-14.

[本文引用: 2]

KRINIDIS SCHATZIS V.

A robust fuzzy local information C-means clustering algorithm

[J]. IEEE Transactions on Image Processing, 2010195): 1328-1337.

[本文引用: 1]

WU YLI JYUAN Yet al.

Commonality autoencoder: Learning common features for change detection from heterogeneous images

[J]. IEEE Transactions on Neural Networks and Learning Systems, 2021339):4257-4270.

[本文引用: 1]

ZHANG YZHANG J X.

Measure of information content of remotely sensed images accounting for spatial correlation

[J]. Acta Geodaetica et Cartographica Sinica, 20154410):1117-1124.

[本文引用: 1]

张盈张景雄.

顾及空间相关性的遥感影像信息量的度量方法

[J].测绘学报, 20154410): 1117-1124.

[本文引用: 1]

ZHAN TGONG MJIANG Xet al.

Unsupervised scale-driven change detection with deep spatial-spectral features for VHR images

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020588): 5653-5665.

[本文引用: 1]

ZANETTI MBRUZZONE L.

A theoretical framework for change detection based on a compound multiclass statistical model of the difference image

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018562): 1129-1143.

[本文引用: 1]

VOLPI MCAMPS-VALLS GTUIA D.

Spectral alignment of multi-temporal cross-sensor images with automated kernel canonical correlation analysis

[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 201510750-63.

[本文引用: 1]

SERRA PPONS XSAURI D.

Post-classification change detection with data from different sensors:Some accuracy considerations

[J]. International Journal of Remote Sensing, 20032416): 3311-3340.

BOVOLO FBRUZZONE L.

A theoretical framework for unsupervised change detection based on change vector analysis in the polar domain

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2007145): 218-236.

[本文引用: 1]

NIELSEN A A.

The regularized iteratively reweighted MAD method for change detection in multi-and hyperspectral data

[J]. IEEE Transactions on Image Processing, 2007162): 463-478.

[本文引用: 1]

MIGNOTTE M.

A fractal projection and Markovian segmentation-based approach for multimodal change detection

[J]. IEEE Transactions on Geoscience and Remote Sensing, 20205811): 8046-8058.

[本文引用: 1]

/