一种图像回归与关联关系特征融合的遥感影像变化检测方法

doi:10.11873/j.issn.1004-0323.2023.5.1215

一种图像回归与关联关系特征融合的遥感影像变化检测方法

马宗方^,, 郝凡^,, 宋琳, 麻瑞

西安建筑科技大学信息与控制工程学院，陕西西安 710055

Image Regression and Association-based Feature Fusion for Remote Sensing Image Change Detection

MA Zongfang^,, HAO Fan^,, SONG Lin, MA Rui

College of Information and Control Engineering，Xi’an University of Architecture and Technology，Xi’an 710055，China

通讯作者: 郝凡(1997-)，男，陕西神木人，硕士研究生，主要从事遥感影像变化检测、模式识别研究。E⁃mail: haofan@xauat.edu.cn

收稿日期: 2022-05-10 修回日期: 2023-09-05

基金资助:

陕西省重点研发计划. 2020GY⁃186. 2020SF⁃367
西安建筑科技大学科技基金. ZR21034

Received: 2022-05-10 Revised: 2023-09-05

作者简介 About authors

马宗方(1980-)，男，安徽临泉人，博士，教授，主要从事智能信息处理、机器视觉工业应用研究E⁃mail:zongfangma@xauat.edu.cn , E-mail：zongfangma@xauat.edu.cn

摘要

异质遥感影像变化检测是一个重要且具有挑战性的研究课题。针对直接比较异质数据进行变化检测导致检测精度低的问题，提出了一种图像回归与关联关系特征融合（Image Regression and Association-based Feature， IRAF）的异质遥感影像变化检测方法。首先基于信息熵理论量化异质数据的信息量差异并确定回归方向，采用多输出多层感知器图像回归得到与原始影像特征空间分布相近的回归图像；其次，得到差异图像并基于模糊局部信息C均值（Fuzzy Local Information C-Means，FLICM）算法找到部分显著样本对用于后续检测。为了考虑不同特征间的关联关系并充分利用数据中潜在的高阶信息，采用基于关联关系特征的融合算法（Association-based Fusion，AF）对原始遥感数据进行增强，最后利用融合后的特征训练分类模型得到最终的变化二值图。为验证该方法的有效性，采用Sardinia、Yellow River和Texas这3组真实数据集进行实验，K_a 分别达到了0.796 1、0.827 1、0.958 1。与相关方法进行对比的实验结果表明该方法在不同数据集上均得到了最优的检测结果，能够抑制噪声的影响且有效提升变化检测精度。

关键词： 变化检测 ; 图像回归 ; 异质数据 ; 关联关系特征

Abstract

Change detection from heterogeneous remote sensing images is an important and challenging research topic with a wide range of applications in disaster assessment， urban planning and environmental monitoring. However， the direct comparison of heterogeneous data for change detection always has a poor detection accuracy. To address this issue， a multioutput adaptive regression and association-based feature fusion method for heterogeneous remote sensing change detection is proposed. Firstly， the proposed method determines the adaptive regression direction according to the information entropy， which utilizes the difference of information between heterogeneous data. To transform heterogeneous data into a common feature space， the regression image will be obtained via a multioutput multilayer perceptron image regression algorithm. Then， the fuzzy local information C-means algorithm is used to identify the fuzzy region in the difference image， which further ensures the reliability of significant sample pairs. Finally， an association-based fusion method was applied to the heterogeneous remote sensing change detection dataset by simultaneously exploiting the high-order information of heterogeneous data and the association information between features. The binary change map is obtained via training a classification model with the boosting dataset. Experiments conducted on three real datasets （Sardinia， Yellow River and Texas） show the effectiveness of the proposed method by comparing it with seven related change detection methods. Experimental results indicate that the proposed method owns the best change detection results on both three datasets， which proves its effectiveness， and it can suppress the influence of noise and improve the accuracy of change detection.

Keywords： Change detection ; Image regression ; Heterogeneous data ; Association-based feature

PDF (5951KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

马宗方, 郝凡, 宋琳, 麻瑞. 一种图像回归与关联关系特征融合的遥感影像变化检测方法. 遥感技术与应用[J], 2023, 38(5): 1215-1225 doi:10.11873/j.issn.1004-0323.2023.5.1215

MA Zongfang, HAO Fan, SONG Lin, MA Rui. Image Regression and Association-based Feature Fusion for Remote Sensing Image Change Detection. Remote Sensing Technology and Application[J], 2023, 38(5): 1215-1225 doi:10.11873/j.issn.1004-0323.2023.5.1215

1 引言

异质遥感影像变化检测是遥感领域中一个热门且具有挑战性的研究方向，其通过分析同一地理位置在不同时间由不同类型传感器获取的两幅遥感影像，提取特征差异并标注出发生变化的区域^［1］。近些年来，变化检测在许多领域中都得到了广泛的应用，如灾害评估^［2］、城市规划^［3］及生态监测^［4］等。

现有大多数变化检测方法都是针对相同传感器或同一类型传感器获取的遥感影像设计的。由于不同传感器具有不同的成像特点，直接对异质数据进行差异比较往往会产生大量噪声，传统同质变化检测方法在异质场景下难以得到较高的检测精度^［5］。此外在真实场景下可能难以获取同质影像用于变化检测；例如，当自然灾害发生时，往往伴随着糟糕的天气情况，此时光学传感器受到外界干扰无法正常工作，但是合成孔径雷达（Synthetic Aperture Radars， SAR）遥感可以在各种天气条件下持续工作^［6］，不受云层或天气的影响。正因如此，异质变化检测方法的应用场景更加广泛。

许多异质变化检测方法致力于将异质数据由难以直接比较的域转换至公共可比较的域^［7］。根据域转换方式，可以分为基于分类的方法，基于相似性的方法和基于深度学习的方法^［8］。基于分类的方法将两幅遥感影像转换至共同的类别空间，例如先分类后比较^［9］，多时相分割与复合分类^［10］。这类方法依赖于分类器的性能，容易产生累积误差，尤其是容易受到SAR影像的相干斑噪声影响而难以准确分类。基于相似性的方法将异质影像转换至共同的重建特征空间。Liu 等^［11］提出一种基于同质像素点转换的方法，利用少量已知不变化的样本进行多值估计，逐像素得到基于核函数回归映射的差异图像。Luppino 等^［12］量化两幅遥感影像亲和矩阵的相似性从而自动识别可能未发生变化的像素对，然后训练回归模型转换至共有的数据域。由于未变化像素对可能难以表征数据之间的异质性且变化检测场景地物情况往往比较复杂，使得基于回归相似性方法的检测性能难以提升。近些年来，大量基于深度学习技术的变化检测方法被提出。例如通过对称的深度卷积耦合网络^［13］、结合变分自编码器或生成对抗网络^［14］将异质遥感影像转换到使其特征表示更加一致的特征空间。Liu等^［15］利用循环生成对抗网络将异质数据从SAR影像域转换到光学影像域。Wang等^［16］提出了拓扑耦合网络利用编码器—解码器结构转换异质图像的特征空间，并引入了小波变换、通道和空间注意机制。尽管基于深度学习的方法在检测准确度方面表现相对较好，但需要大量训练样本优化模型与复杂且耗时的迭代训练。

基于上述分析，研究提出了一种图像回归与关联关系特征融合的变化检测方法。IRAF基于图像回归进行异质数据的特征转换，并结合了基于关联关系特征融合的优势。首先，搭建多层感知器回归模型，依据不同时相遥感数据的信息量差异确定回归方向，基于人工神经网络建模非线性深度特征关系的能力建立回归映射，提取深度特征的同时也不会耗费大量计算时间；然后对回归图像与原始影像间的差异图像分析得到部分显著变化和不变化样本对；其次基于AF^［17］增强原始影像的堆叠特征，即利用数据特征间的关联关系以及数据的高阶信息将原始数据编码至一个新的特征空间，增强了特征的表达能力，最终通过训练分类模型得到变化二值图。

2 基础知识

2.1　相关工作

基于像素的变化检测方法以像素为分析单元进行特征提取并产生差异图像，这类方法忽视了空间信息导致对噪声敏感的特点。Cheng等^［18］提出的ISNet通过间隔最大化，增加通道及空间注意力机制得到改进后的融合特征用于决策分类。Zhang等^［19］将双时态特征在其差异的指导下进行聚合，融合后的特征具有变化相关性和判别性。Bergamasco等^［20］对多分辨率特征图进行分析得到多分辨率差异图。这些方法融合图像多尺度特征，优化了对图像细节信息的提取。Sun等^［5，21］以超像素为分析单元基于结构一致性与图论的图像回归进行异质影像的变化检测。在实验中，IRAF通过多层感知器逐像素进行图像回归得到特征转换后的回归图像，进而利用考虑空间邻域信息的FLICM对差异图分析得到显著样本对。

2.2　模糊局部信息C均值聚类算法

作为经典的模糊聚类算法，模糊C均值（Fuzzy C-means， FCM）没有考虑任何空间邻域信息，对噪声非常敏感。针对该问题，Krindis等^［22］提出了一种鲁棒的模糊局部信息C均值聚类算法，它结合了局部空间信息和局部灰度信息，避免了处理过程中细节信息的丢失。FLICM通过模糊局部约束自动实现图像细节和噪声信息的平衡，并且可以自动确定空间和灰度关系，无需参数选择^［23］。

为了提高聚类性能，FLICM在目标函数中引入了一种新的模糊因子 $G_{k i}$ ，定义为：

G_{k i} = \sum_{\begin{array}{l} j \in N_{i} \\ i \neq j \end{array}} \frac{1}{d_{i j} + 1} (1 - u_{k j})^{m} {‖x_{j} - v_{k}‖}^{2}

(1)

其中：第 $i$ 个像素为局部窗口的中心； $x_{j}$ 表示局部窗口内的邻居像素； $d_{i j}$ 表示像素 $i$ 和 $j$ 之间的空间欧氏距离； $u_{k j}$ 是第 $j$ 个像素属于第 $k$ 个簇的模糊隶属度； $m$ 是每个模糊隶属度的加权指数； $v_{k}$ 表示簇中心。然后将 $G_{k i}$ 引入传统的模糊C均值算法，则FLICM的目标函数定义为：

J_{m} = \sum_{i = 1}^{N} \sum_{k = 1}^{c} [u_{k i}^{m} {‖x_{i} - v_{k}‖}^{2} + G_{k i}]

(2)

此外，隶属度划分矩阵和聚类中心的计算如下：

u_{k i} = \frac{1}{\sum_{j = 1}^{c} {(\frac{{‖x_{i} - v_{k}‖}^{2} + G_{k i}}{{‖x_{i} - v_{j}‖}^{2} + G_{j i}})}^{1 / (m - 1)}}

(3)

ν_{k} = \sum_{i = 1}^{N} u_{k i}^{m} x_{i} / \sum_{i = 1}^{N} u_{k i}^{m}

(4)

2.3　基于关联关系特征的融合算法

多模态分类问题旨在结合不同模态间的互补信息，传统方法专注于不同模态数据间的融合而忽视了数据内部特征的融合，导致融合后特征表达能力不足。而基于深度学习的方法过程是隐式的，缺乏可解释性。基于关联关系的特征融合方法AF^［17］以一种可解释的方式设计融合规则，利用数据的高阶信息与特征间的关联关系信息将数据编码至新的特征空间，有效提高了原始特征的表达能力。

给定原始数据集S，其包含的样本表示为 $s_{i} = [a_{1} (s_{i}), a_{2} (s_{i}), \dots, a_{m_{p}} (s_{i})] \in S$ ， $i = 1,2, \dots, n$ ；建立映射 $ϕ : S \to E$ ，将数据由原来的 $m_{p}$ 维提升至 $m_{p} L$ 维，特征增强过程表示为：

\begin{array}{l} ϕ (s_{i}) = [e_{1} (s_{i}), e_{2} (s_{i}), \dots, e_{m_{p} L} (s_{i})] \\ = [{a_{1}}^{1} (s_{i}), {a_{1}}^{2} (s_{i}), \dots, {a_{1}}^{L} (s_{i}), {a_{2}}^{1} (s_{i}), {a_{2}}^{2} (s_{i}), \\ \dots, {a_{2}}^{L} (s_{i}), \dots, {a_{m_{p}}}^{1} (s_{i}), {a_{m_{p}}}^{2} (s_{i}) \dots, {a_{m_{p}}}^{L} (s_{i})] \end{array}

(5)

其中：超参数L是特征增强率，即表示特征增强的最高幂次。则样本 $s_{i}$ 在增强数据集E中的维度对应扩充为 ${e_{j}, 1 \leq j \leq m_{p} L}$ 。

AF为了衡量不同特征之间的关联关系，基于增强数据E定义了一个关系融合矩阵R。每个元素 $r (e_{i}, e_{j})$ 表示特征 $e_{i}$ 与 $e_{j}$ 之间的关系，由皮尔逊相关系数衡量特征之间的相关程度，表示为：

r (e_{i}, e_{j}) = \frac{c o v (e_{i}, e_{j})}{σ_{e_{i}} σ_{e_{j}}} = \frac{E [(e_{i} - μ_{e_{i}}) (e_{j} - μ_{e_{j}})]}{σ_{e_{i}} σ_{e_{j}}}

(6)

其中： $σ_{e_{i}}$ 和 $σ_{e_{j}}$ 分别是 $e_{i}$ 和 $e_{j}$ 的标准差； $μ_{e_{i}}$ 和 $μ_{e_{j}}$ 分别是 $e_{i}$ 和 $e_{j}$ 的平均值。

用关系融合矩阵R来融合增强数据E，建立映射 $φ : E \to C$ 将增强数据进行不同特征间的融合。L越大，关联关系的多样性就越丰富。根据泰勒级数，采用如下融合策略：

\begin{array}{l} φ (ϕ (s_{i})) = [c_{1} (s_{i}), c_{2} (s_{i}), \dots, c_{m_{p} L} (s_{i})] \\ \approx [\sum_{k = 1}^{m_{p} L} ω_{k} R_{k 1} e_{k} (s_{i}), \sum_{k = 1}^{m_{p} L} ω_{k} R_{k 2} e_{k} (s_{i}), \\ \dots, \sum_{k = 1}^{m_{p} L} ω_{k} R_{k (m_{p} L)} e_{k} (s_{i})] \end{array}

(7)

其中： $ω =$ ［1/（1！），1/（2！），…，1/（L！），…，1/（1！），1/（2！），…，1/（L！）］ $\in R^{m_{p} L}$ ， $R_{k j} = r (e_{k}, e_{j})$ 表示 $e_{k}$ 和 $e_{j}$ 的相关程度。给定一个原始样本 $s_{i}$ ，对应增强特征为 $φ (ϕ (s_{i}))$ ，则可以得到融合后的数据集 $C$ 。

3 基于图像回归与关联关系特征融合的变化检测方法

研究提出的IRAF首先根据遥感影像的信息量差异确定回归方向，然后搭建多层感知器回归模型逐像素预测回归映射从而得到回归图像；其次，计算回归图像与原始影像间的差异图像，基于FLICM分析提取显著变化和不变化区域；最后，采用基于关联关系特征的融合算法对原始遥感数据进行增强，利用融合后的特征训练分类模型得到最终的变化二值图。IRAF的检测流程如图1所示。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 基于图像回归和关联关系特征融合的变化检测方法IRAF

Fig.1 Change detection based on image regression and Association-based feature fusion

3.1　基于多输出多层感知器的图像回归

由于成像原理不同，不同时相遥感影像包含的信息量也就不同。而回归模型在从事前影像与事后影像学习映射关系时存在重建误差，回归过程中不可避免地会导致部分信息的丢失。实际上，异质数据的双向回归并不一定都能得到较好的回归效果。为了保证回归模型从包含信息量多的遥感影像中提取潜在特征来表征包含信息量少的遥感影像，因此设计了一种图像回归方向的选取规则：将事前及事后影像中包含信息量较多的一方作为训练集和测试集的特征，另一方作为训练集的标签。

熵表示随机变量的不确定性即无序程度的一个度量，遥感影像的信息熵能够较好地反映遥感影像所包含信息量的多少，它与遥感影像的灰度变化程度直接相关^［24］。假设一组变化检测数据集包含事前影像 $X \in R^{H \times W \times B_{X}}$ ，事后影像 $Y \in R^{H \times W \times B_{Y}}$ ，其中H和 W分别表示影像的高度和宽度， $B_{X}$ 和 $B_{Y}$ 分别是X和Y的通道数。以事前影像X 为例，假设其 $H \times W$ 个像素中分布有Q个灰度级，第i个灰度级出现的概率为 $p (i) = f_{i} / \sum_{i = 1}^{Q} f_{i}$ ，f_i 是灰度频率，则X包含的信息量为：

H (X) = - \sum_{b = 1}^{B_{X}} \sum_{i = 1}^{Q} p^{b} (i) l o g_{2} p^{b} (i)

(8)

根据多时相遥感影像中信息量的差异，提出如下图像回归方向的选取规则：

（1）如果 $H (X) > H (Y)$ 且 $|H (X) - H (Y)| > ε$ ，则回归训练集是 $T_{r} = {(x, y) | (x, y) \in (\dot{X}, \dot{Y})}$ ，回归测试集是 $T_{e} = {x | x \in X}$ ，训练回归模型预测得到回归图像 $R^{X}$ 。

（2）如果 $H (X) < H (Y)$ 且 $|H (X) - H (Y)| > ε$ ，则回归训练集是 $T_{r} = {(y, x) | (y, x) \in (\dot{Y}, \dot{X})}$ ，回归测试集是 $T_{e} = {y | y \in Y}$ ，训练回归模型预测0得到回归图像 $R^{Y}$ 。

（3）如果 $|H (X) - H (Y)| < ε$ ，将X和Y分别作为测试集，预测得到回归图像 $R^{X}$ 和 $R^{Y}$ ，计算差异图像时融合（1）和（2）的结果。

其中： $\dot{X}$ 和 $\dot{Y}$ 是先验信息中不变像素对位置，分别对应 $X$ 和 $Y$ 的特征值，x和y对应单个像素。实验中默认参数 $ε$ =0，其用于提升对未来实际变化检测场景的鲁棒性。当事前与事后影像信息量差异较小时，前向回归和反向回归的结果差异较小。融合前向差异和反向差异得到更加鲁棒的差异图像，为未来多变的变化检测场景提供备选方案。

神经网络在机器学习领域已经得到了大量的应用，一个典型的例子为多层感知器（Multilayer Perception，MLP），其结构主要包括：输入层、隐藏层和输出层，且不同层之间是全连接的。随着隐藏层的增加，网络的特征学习能力越强。如图2所示，我们搭建了一个MLP回归模型，包含1个输入层，8个中间隐藏层和1个输出层，具体的网络结构为B_Y -16-32-64-128-128-64-32-16-B_X，激活函数选择Relu。训练细节如下：最大迭代次数为100，采用Adam优化器优化权重，L2惩罚系数为0.000 1。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 基于多输出多层感知器的图像回归

Fig.2 Image regression based on multioutput multilayer perceptron

假设原始影像数据中已知部分不变化样本，如图2所示，Sardinia数据集中包含8个已知不变化区域，每个红色框的大小是100个训练样本。通过计算可知， $H (X) < H (Y)$ ，属于图像回归方向的选取规则（2）。构造回归训练集 $T_{r}$ 并训练MLP回归模型，对回归测试集 $T_{e}$ 预测得到回归矩阵R，最后成像为回归图像 $R^{Y}$ 。

3.2　差异分析获取显著样本对

差异图像的质量直接影响最终的变化检测结果，差值越大，表明相应位置发生变化的可能性就越大。如图2所示， $R^{Y}$ 保持了Y的内容与X的风格，相比于原始影像数据， $R^{Y}$ 与X可以得到更高质量的差异图像。不同图像回归方向选取规则对应差异图像计算为①： $D = D_{1} = |R^{X} - Y|$ ；②： $D = D_{2} = |X - R^{Y}|$ ；③： $D = (D_{1} + D_{2}) / 2$ 。以规则①为例，差异图像计算为：

D (h, w) = \frac{1}{B_{Y}} \sum_{b = 1}^{B_{Y}} |r^{X} (h, w, b) - y (h, w, b)|

(9)

其中： $|\cdot|$ 表示绝对距离； $1 \leq h \leq H$ ； $1 \leq w \leq W$ ； $r^{X}$ 和 $y$ 分别为对应位置属于 $R^{X}$ 和Y的像素值。

通过差异直方图像中每个像素灰度级的概率密度函数建模了一个高斯混合分布，根据期望最大化算法计算出最优阈值T₁ 、T₂ 将原始分布划分为不变类，不确定类和变化类^［25］，证明了差异图像样本空间分布中存在难以划分的不确定类与几乎可确定的变化类、不变类^［26］。为了提取少量显著样本对的伪标签，IRAF选取FLICM用来分割差异图像，聚类数目设为3。相较于将差异图像聚为两类的方法，能够识别难以划分的不确定区域。

3.3　基于分类得到变化图

遥感影像数据间的异质性导致模式识别方法难以鲁棒地工作。IRAF利用AF加强原始堆叠特征，构造增强数据集并训练分类器得到变化图。首先将X和Y堆叠构造初始数据 $S \in R^{H \times W \times (B_{X} + B_{Y})}$ ，AF建模S特征的高阶信息并提升原始数据的非线性表达能力得到高阶数据 $C \in R^{H \times W \times (B_{X} + B_{Y}) L}$ 。最后将原始遥感数据S与高阶数据C融合得到用于决策的数据集 $χ = S + C \in R^{(B_{X} + B_{Y}) (L + 1)}$ 。使融合空间具有强大的特征表达能力，有效提升IRAF的性能。

根据3.2节中显著样本对位置构建训练集，MLP分类模型输入层节点数量为 $(B_{X} + B_{Y}) (L + 1)$ ，隐藏层节点数量为16-32-64-64-32-16，输出层节点数量为2。分类模型通过显著像素对进行训练，未选定的像素不影响分类器的学习，且可以降低来自差异图像噪声的影响。L与特征关系的多样性呈正相关，默认取L=2，对L的参数分析将在4.4.2节进行详细讨论。

4 实验结果与分析

4.1　数据集介绍

实验在3 组真实遥感数据集上验证所提出IRAF方法的有效性。表1是数据集详细信息，包括多传感器异质遥感数据Sardinia和Texas，多源异质遥感数据Yellow River。

表1 3组真实数据集的描述

Table 1 Description of the three real datasets

数据集	传感器	采集日期	采集地点	尺寸	空间分辨率
Sardinia	Landsat-5 TM/ Google Earth	1995.9/1996.7	意大利撒丁岛	412×300	30 m
Yellow River	Radarsat-2/ Google Earth	2008.6/2010.9	中国黄河入海口	291×343	8 m
Texas	Landsat-5 TM/ EO-1 ALI	2011.9/2011.10	德克萨斯州巴斯多普县	1534×808	30 m

新窗口打开| 下载CSV

第一组数据集是Sardinia^［8］，它包含一张美国陆地卫星专题制图仪（Thematic Mapper， TM）获取的影像和一张RGB光学影像，其描述了意大利撒丁岛地区上湖泊的变化，用于研究因湖水水位上升而造成的陆地淹没情况。如图3（a）所示，Landsat-5 TM影像是由Landsat 5的近红外波段于1995年9月获得。图3（b）光学影像则于1996年7月在同一地点采集自Google Earth，两幅影像的大小均为412×300像素，空间分辨率均为30 m。如图3（c）所示，通过实地调查描绘了地面真实变化参考图像。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 Sardinia数据集及IRAF在该数据集上的实验结果

Fig.3 Sardinia dataset and corresponding results of IRAF

第二组数据集是Yellow River^［13］，包含一对大小均为291×343像素的异质影像。如图4（a）所示，该SAR影像于2008年6月由Radarsat-2的C波段拍摄自黄河入海口区域，图4（b）光学影像于2010年9月由来自Landsat 7的Google Earth在同一区域采集，两幅影像的空间分辨率均为8 m。这组数据用于研究洪水引起的黄河岸线变化，图4（c）是通过专家人工标记生成的参考图像。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 Yellow River数据集及IRAF在该数据集上的实验结果

Fig.4 Yellow River dataset and corresponding results of IRAF

第三组数据集是Texas ^［8］，发布自LP DAAC，http：∥lpdaac.usgs.gov。如图5（a）所示，Landsat-5 TM多光谱影像是在2011年9月至10月德克萨斯州巴斯多普县发生森林火灾之前获得的。图5（b）多光谱光学影像由地球观测卫星-1搭载高级陆地成像仪传感器（Earth Observing-1 Advanced Land Imager，EO-1 ALI）采集，两幅影像大小均为1 534×808像素，分别包含7和10个通道，选取RGB通道进行分析处理。两幅影像的空间分辨率均为30 m，图5（c）为参考图像由Volpi等^［27］提供。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 Texas 数据集及IRAF在该数据集上的实验结果

Fig.5 Texas dataset and corresponding results of IRAF

4.2　评价指标

变化检测任务本质上是一个二分类问题，因此构建混淆矩阵来综合评价变化检测效果，其中TP为将变化类预测为变化类的样本数量；TN为将不变化类预测为不变化类的样本数量；FP为将不变化类预测为变化类的样本数量，也叫误检数；FN为将变化类预测为不变化类的样本数量，也叫漏检数。定量分析指标由混淆矩阵衍生，包括总体错误样本数 $O E = F N + F P$ ，并采用准确率R_a 、精确率R_p 、漏检率R_m 、虚警率R_f 、Kappa系数K_a 来评价变化检测结果^［11］，具体计算为：

\{\begin{array}{l} R_{a} = \frac{T P + T N}{T P + F P + T N + F N}; \\ R_{p} = \frac{T P}{T P + F P}; R_{m} = \frac{F N}{T P + F N}; \\ R_{f} = \frac{F P}{T P + F P}; K_{a} = \frac{R_{a} - P R E}{1 - P R E} \end{array}

(10)

其中： $P R E = \frac{(T P + F P) \times (T P + F N) + (F N + T N) \times (F P + T N)}{{(T P + T N + F P + F N)}^{2}}$ ，综合性能评价指标K_a 一般用来分析变化检测结果与地面真实变化参考图像的相似性程度，K_a 越大则表明两幅图像的相似程度就越高，当发生较大或较小的变化区域时，K_a 的变化比其他评价指标更加敏感。

4.3　变化检测结果与分析

为验证IRAF变化检测方法的有效性，研究将在3个真实数据集上进行实验，并与经典变化检测方法PCC^［28、CVA^［29］、IR-MAD^［30］，对称卷积耦合网络SCCN^［13］，以及近些年提出的FPMSMCD^［31］、SCASC^［21］、GIR-MRF^［5］共7个对比方法进行比较。为了更加直观地展示变化检测结果，采用混淆图像的展示形式，其中红色代表FN，绿色代表FP，白色代表TP，黑色代表TN。

图3包含IRAF在Sardinia数据集上的回归图像和差异图像，大部分变化区域能够在差异图像中体现。如表2和图6所示，是本方法及对比方法在Sardinia数据集上的变化检测结果。从中可以得出以下结论： PCC，CVA和IR-MAD都存在大量的绿色虚警区域，对应R_f 也较高，导致综合变化检测结果较差。SCCN、SCASC与GIR-MRF均使得变化检测效果有所提升，但是仍存在较多的虚警和漏检区域。FPMSMCD有最低的R_m，检测出最多的变化区域，但是R_f 却较高。本文方法IRAF有最低的虚警率，漏检率R_m 稍低于FPMSMCD，其它指标均为最高，与参考图像的接近程度最高，并且具有最高的K_a 为0.7961，相较于其它方法检测效果提升明显。从混淆图中同样可以看到本文方法能有效识别变化区域，对变化检测精度有较大提升。

表2 不同方法在Sardinia数据集的变化检测精度

Table 2 Change detection accuracy of different methods on Sardinia dataset

方法	FN	FP	OE	R_a	R_p	R_m	R_f	K_a
PCC	3 323	29 550	32 873	0.734	0.127 1	0.435 7	0.872 9	0.118 7
CVA	2 234	43 278	45 512	0.631 8	0.110 8	0.292 9	0.889 2	0.095
IR-MAD	1 740	26 884	28 624	0.768 4	0.179 6	0.228 2	0.820 4	0.212 6
SCCN	6 220	2 078	8 298	0.932 9	0.727 5	0.528 6	0.272 5	0.537 5
FPMSMCD	1 522	3 390	4 912	0.960 3	0.642 9	0.199 6	0.357 1	0.692
SCASC	3 127	3 420	6 547	0.947	0.568 1	0.41	0.431 9	0.550 6
GIR-MRF	1 852	3 291	5 143	0.958 4	0.637	0.242 9	0.363	0.669 7
IRAF	1 578	1 289	2 867	0.976 8	0.824 3	0.206 9	0.175 7	0.796 1

新窗口打开| 下载CSV

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 Sardinia数据集上不同方法的变化检测结果

Fig.6 Change detection results of different methods on Sardinia dataset

如图4所示，给出了IRAF在Yellow River数据集上的回归图像和差异图像，回归图像从事前影像X回归至事后影像Y，表明X的信息量多于Y， $R^{X}$ 从内容角度保持X，风格角度趋于Y。图7为不同方法在Yellow River数据集上的混淆图，表3给出了对应的量化结果。从图7和表3可知，PCC和CVA将黄河整个流域误检为发生变化，导致了较差的检测效果。尽管IR-MAD避免了这一问题，但是大量的绿色虚警区域分布图像中。FPMSMCD对变化区域较为敏感，虽然漏检率R_m 最低，但是将许多未变化的区域错误标记为了变化区域。此外，SCCN、SCASC与GIR-MRF均实现了不错的效果，SCCN产生了最低的虚警率R_f，但是存在许多红色的漏检区域。IRAF使检测精度较大提升，实验结果中两种类型的错误区域数量都处于较低水平，综合评价拥有最优的变化检测结果，且具有最高的K_a =0.827 1。

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 Yellow River数据集上不同方法的变化检测结果

Fig.7 Change detection results of different methods on Yellow River dataset

表3 不同方法在Yellow River数据集的变化检测精度

Table 3 Change detection accuracy of different methods on Yellow River dataset

方法	FN	FP	OE	R_a	R_p	R_m	R_f	K_a
PCC	977	25 729	26 706	0.732 4	0.084 7	0.290 9	0.915 3	0.097 1
CVA	1 366	24 321	25 687	0.742 6	0.075 7	0.406 7	0.924 3	0.079 4
IR-MAD	1 003	28 989	29 992	0.699 5	0.075 2	0.298 6	0.924 8	0.079 8
SCCN	877	509	1 386	0.986 1	0.829 8	0.261 1	0.170 2	0.774 6
FPMSMCD	312	12 392	12 704	0.872 7	0.197 4	0.092 9	0.802 6	0.284 6
SCASC	469	1 719	2 188	0.978 1	0.627	0.139 6	0.373	0.714 3
GIR-MRF	478	1 408	1 886	0.981 1	0.671 7	0.142 3	0.328 3	0.743 7
IRAF	525	611	1 136	0.988 6	0.822 6	0.156 3	0.177 4	0.827 1

新窗口打开| 下载CSV

IRAF在Texas数据集上的回归图像和差异图像如图5所示，经过回归后，回归图像 $R^{X}$ 呈现为假蓝色，差异图像同样对变化区域较为敏感，能够对变化主体进行标注。本文方法及对比方法在Texas数据集上的变化检测结果如表4和图8所示，从中可以得出以下结论： PCC和CVA产生了相近的结果，对噪声较敏感。IR-MAD和SCASC检测结果中存在大量红色漏检区域，导致最终变化检测效果较差。而SCCN检测出了大量的绿色虚警区域，同样导致最终的综合指标也较低。FPMSMCD对地物的轮廓描述较为准确，但是存在相对较多的虚警及漏检区域。GIR-MRF实现了不错的检测结果，将大部分变化区域都进行了标记，实现了最低的漏检率R_m，但是R_f 相较于IRAF要高一些，因此本文方法的综合指标K_a 要高于GIR-MRF。IRAF在Texas数据集上同样取得了最优的变化检测结果，表明了本文方法对变化检测任务的鲁棒性及有效性，可以较为准确地对变化区域进行识别。

表4 不同方法在Texas数据集的变化检测精度

Table 4 Change detection accuracy of different methods on Texas dataset

方法	FN	FP	OE	R_a	R_p	R_m	R_f	K_a
PCC	32 610	74 573	107 183	0.913 5	0.571	0.247 3	0.429	0.601 1
CVA	30 074	149 178	179 252	0.855 4	0.405 6	0.228 1	0.594 4	0.455 9
IR-MAD	83 184	56 027	139 211	0.887 7	0.464 9	0.630 8	0.535 1	0.350 4
SCCN	8 339	180 476	188 815	0.847 7	0.406 3	0.063 2	0.593 7	0.491 3
FPMSMCD	21 502	51 862	73 364	0.940 8	0.680 3	0.163 1	0.319 7	0.717 4
SCASC	86 705	9 941	96 646	0.922	0.819 6	0.657 5	0.180 4	0.448 5
GIR-MRF	1 935	23 814	25 749	0.979 2	0.845 1	0.014 7	0.154 9	0.898 2
IRAF	4 322	5 588	9 910	0.992	0.958	0.032 8	0.042	0.958 1

新窗口打开| 下载CSV

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 Texas数据集上不同方法的变化检测结果

Fig.8 Change detection results of different methods on Texas dataset

4.4　讨论

4.4.1　图像回归方向

表5为IRAF在不同图像回归方向选取规则下的变化检测精度，我们可以得出如下结论：IRAF在图像回归方向选取规则②下的综合性能最优，具有最高的K_a。规则①由于事前影像在源域中的信息量较少，无法较好地表征目标域，因此变化检测性能较差。规则③综合了前两者的差异图进行分析，虽然结果中虚警样本最少，但是存在大量的漏检样本，导致综合性能较差。综上，IRAF能够自动选择具有最优性能的回归方向。

表5 IRAF在不同图像回归方向选取规则下的变化检测精度

Table 5 Change detection accuracy of different selection rules of image regression direction

IRAF	FN	FP	OE	R_a	R_p	R_m	R_f	K_a
规则(1): R^X	4 174	16 074	20 248	0.836 2	0.176 8	0.547 3	0.823 2	0.181 7
规则(2): R^Y	1 578	1 289	2 867	0.976 8	0.824 3	0.206 9	0.175 7	0.796 1
规则(3): R^X+ R^Y	3 893	213	4 106	0.966 8	0.946	0.510 5	0.054	0.629 6

新窗口打开| 下载CSV

4.4.2　参数分析

本节对超参数特征增强率L进行分析，依次取L为0， 1， 2， … ， 10。R_a，R_p 及K_a 随着L变化的趋势如图9所示。当L=2或3时，R_p 和K_a 达到最高，随后下降并保持稳定。由3.3节可知，AF将特征数量由原始的（B_X +B_Y ）增加至（B_X +B_Y ）（L+1），意味着较大的L会导致更长的执行时间^［17］。此外，当L=2或3时，特征数量较少且具有较短的执行时间。综合考虑性能和时间成本，推荐L默认为2或3。

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 特征增强率L对本文方法检测结果的影响

Fig.9 Influence of feature boosting rate L on the performance of IRAF

4.4.3　消融实验

IRAF方法对变化检测性能提升的步骤主要包括图像回归实现异质数据域的转换及AF增强原始影像特征。通过控制每个步骤的有无来证明其有效性，表6为消融实验结果。由前两组实验可知，由于存在大量的噪声，AF特征增强后反而使得变化检测性能变弱。对比后两组实验，加入图像回归实现异质数据域的转换后，综合性能K_a 显著提升，AF特征增强也对变化检测精度具有积极作用。

表6 IRAF在Sardinia数据集上的消融实验

Table 6 Ablation experiments of IRAF on the Sardinia dataset

消融说明	FN	FP	OE	R_a	R_p	R_m	R_f	K_a
无回归+无AF	1 253	40 131	41 384	0.665 2	0.137	0.164 3	0.863	0.144 8
无回归+AF	2 878	29 779	32 657	0.735 8	0.137 5	0.377 4	0.862 5	0.138 2
回归+无AF	1 427	2 170	3 597	0.970 9	0.740 7	0.187 1	0.259 3	0.759 6
IRAF	1 578	1 289	2 867	0.976 8	0.824 3	0.206 9	0.175 7	0.796 1

新窗口打开| 下载CSV

5 结论

本文提出了一种基于图像回归与关联关系特征融合变化检测方法IRAF，主要贡献包含：①IRAF量化遥感影像信息量确定最优图像回归方向，并训练感知器模型得到回归图像；②采用FLICM识别差异图中的不确定区域，考虑空间邻域信息有效避免模糊区域对获取显著样本对产生的负面影响；③IRAF基于关联关系特征的融合对特征的高阶信息进行建模，同时提高原始数据的非线性表达能力。增强特征具有强大的特征表达能力，且融合后数据的特征空间比原始空间具有更强的关联性，能够有效提升变化检测的效果；④IRAF与对比方法及在Sardinia数据集上的讨论实验验证了其有效性，大多数情况下存在最少的虚警及漏检区域，可以有效抑制结果中的噪声。未来将在以下方面展开研究：①考虑利用自动编码器、生成对抗网络等深度大型网络改进映射图像的重建质量；②考虑基于数据降维提升执行效率以及优化特征的表达方式。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

HAO

， MA

Z F

， TIAN

H P

， et al.

Semi-supervised label propagation for multi-source remote sensing image change detection

［J］. Computers & Geosciences， 2023， 170： 105249. DOI： 10.1016/j.cageo.2022.105249