基于编码对齐生成对抗网络的异源遥感影像地表覆被变化检测方法

doi:10.11873/j.issn.1004-0323.2023.5.1107

基于编码对齐生成对抗网络的异源遥感影像地表覆被变化检测方法

张成才^,¹, 刘威¹, 杨峰², 彭凯^,¹, 周雪丽³

1.黄河实验室（郑州大学），河南郑州 450001

2.河南省出山店水库建设管理局，河南信阳 464000

3.河南省地图院，河南郑州 450003

Change Detection Method for Surface Cover of Heterogeneous Remote Sensing Image based on Code-Aligned Generative Adversarial Network

ZHANG Chengcai^,¹, LIU Wei¹, YANG Feng², PENG Kai^,¹, ZHOU Xueli³

1.Yellow River Laboratory （Zhengzhou University），Zhengzhou 450001，China

2.Chushandian Reservoir Management Bureau，Henan Province，Xinyang 464000，China

3.Henan Map Institution，Henan Province，Zhengzhou 450003，China

通讯作者: 彭凯（1996-），男，内蒙古呼和浩特人，硕士，主要从事地表覆被变化检测研究。E⁃mail:1029127803@qq.com

收稿日期: 2022-08-27 修回日期: 2023-08-30

基金资助:

河南省自然科学基金项目“联合主动微波遥感和光学遥感数据的大型灌区土壤水分反演方法研究”.  222300420539
河南省水利科技攻关项目“河南省出山店水库流域覆被遥感监测方法”.  GG201902
国家自然科学基金重点项目“基于大数据的城市洪涝灾害预报预警理论与方法研究”.  51739009

Received: 2022-08-27 Revised: 2023-08-30

作者简介 About authors

张成才（1964-），男，河南郸城人，博士，教授，主要从事水利信息技术研究E⁃mail:zhangcc2000@163.com , E-mail：zhangcc2000@163.com

摘要

相较于同源遥感影像地表覆被变化检测，异源影像能综合不同卫星传感器间数据特征和现势性等优势，更好满足应用需求。针对异源遥感影像变化检测中存在的光谱差异和特征空间不一致问题，研究提出编码对齐生成对抗网络实现异源影像的高精度变化检测。考虑到异源影像间通道和数据类型上存在差异，难保持重构前后影像空间结构的一致性，研究通过添加自编码器和构造编码对齐损失，约束编码器输出特征的空间结构变化，使重构前后影像空间结构一致，有效减少信息丢失；在跨域映射过程中为减少源域与目标域间影像的色彩差异，采用循环一致对抗生成网络在无成对影像情况下进行色彩迁移，实现两时相异源影像的相互跨域映射，生成能与原始影像直接对比的无色偏重构影像；利用设计的变化概率权重使网络在训练过程中自动选择样本，有效提取覆被变化信息。实验结果表明：该方法与CGAN、SCCN等方法相比能更充分提取影像特征，降低跨域映射函数的随机性；在4组公开数据集的检测精度分别达到0.93、0.96、0.97、0.88，精度最高；变化检测结果与参考图的一致性、检测差异图质量均最优。因此，该方法在异源遥感影像中能够进行高精度变化检测。

关键词： 异源遥感影像 ; 变化检测 ; 自适应 ; 跨域映射

Abstract

Compared to the change detection of homologous remote sensing images， heterogeneous images can integrate the advantages of different satellite sensor data features and temporal relevance， better satisfying application requirements. To address the issues of spectral differences and inconsistent feature spaces in change detection of heterogeneous remote sensing images， this study proposes an aligned generative adversarial network for high-precision change detection of heterogeneous images. Considering the differences in channels and data types between heterogeneous images， it is difficult to maintain the consistency of spatial structures before and after reconstruction. The study incorporates autoencoders and constructs alignment loss to constrain the spatial structure changes of encoder output features， ensuring consistency in spatial structures between the reconstructed images and reducing information loss effectively. In the cross-domain mapping process， to minimize the color differences between source and target domain images， a cycle-consistent adversarial generative network is used for color transfer in the absence of paired images， enabling mutual cross-domain mapping between two temporally distinct heterogeneous images， generating color-preserving reconstructed images that can be directly compared with the original images. By utilizing designed change probability weights， the network automatically selects samples during the training process， effectively extracting land cover change information. Experimental results demonstrate that compared to methods such as CGAN and SCCN， the proposed method can more fully extract image features and reduce the randomness of cross-domain mapping functions. The detection accuracies on four publicly available datasets reach 0.93， 0.96， 0.97， and 0.88， with the highest accuracy achieved. The consistency between the change detection results and the reference maps， as well as the quality of the difference maps， is optimal. This method enables high-precision change detection in heterogeneous remote sensing images.

Keywords： Heterogeneous remote sensing images ; Change detection ; Adaptive ; Cross-domain mapping

PDF (5781KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

张成才, 刘威, 杨峰, 彭凯, 周雪丽. 基于编码对齐生成对抗网络的异源遥感影像地表覆被变化检测方法. 遥感技术与应用[J], 2023, 38(5): 1107-1117 doi:10.11873/j.issn.1004-0323.2023.5.1107

ZHANG Chengcai, LIU Wei, YANG Feng, PENG Kai, ZHOU Xueli. Change Detection Method for Surface Cover of Heterogeneous Remote Sensing Image based on Code-Aligned Generative Adversarial Network. Remote Sensing Technology and Application[J], 2023, 38(5): 1107-1117 doi:10.11873/j.issn.1004-0323.2023.5.1107

1 引言

利用遥感影像快速大范围检测特定时间内地表覆被的变化，一直是遥感应用研究的热点^［1］。近年来，应用新的遥感数据以及多种遥感数据融合的地表覆被变化检测技术，已经得到广泛应用^［2-3］。特别是在突发事件地区的地表变化检测中，仅使用历史遥感影像难以获取事件前后地物的变化信息^［4］，必须利用现势性强的实时或近实时影像，同时结合多源（异源）遥感数据进行地物变化的快速提取，以满足突发事件地表覆被变化检测的需求。

异源遥感数据来自不同的卫星传感器，影像间的色彩组成和图像结构均存在差异，主要表现为影像间波段数和像元值范围等的不同，往往不能直接对比。因此利用异源影像的地表覆被变化检测，需要将影像映射到公共空间。研究表明，为异源遥感影像寻找一个中间公共域进行变化检测是可行的^［5-7］，而有效提取影像内部特征是跨域转换的前提^［8-9］。

遥感影像变化检测方法可分为基于像元、基于对象和空间数据挖掘^［10］3种。基于像元进行变化检测的常用方法，如 Bovolo 等^［11］提出的无监督变化检测变化向量分析法（Change Vector Analysis， CVA），通过在极坐标域中引入形式定义，最终获取了精确的检测结果； Celik 等^［12］利用主成分分析法提取正交特征向量结合K-means聚类，实现了有效的变化检测；Canty等^［13］基于MAD变化与正交线性回归不变性，通过利用无变化概率的迭代重加权方法识别影像不变区域；这些变化检测方法多依赖于阈值的选择，且无法捕捉到深层真实的语义变化特征。基于对象的分类方法，如Bontemps等^［14］通过考虑时间序列之间、之内的相关性等进行多时相目标变化检测，具有极强的鲁棒性和推广潜力，但该方法在检测时存在相当数量的漏检，影响了精度且对图像质量存在要求。Chen等^［15］提出基于傅立叶域结构关系分析的变化检测方法，通过对比不同影像的频域结构信息实现多模态影像变化检测；郭擎等^［16］首先利用归一化植被指数确定变化预选区域，随后结合面向对象的集合规则完成变化区域精细识别，实现了滑坡区域高精度提取。上述方法虽然都取得了一定精度的变化检测结果，但多是针对同一传感器数据设计的变化检测方法，所以在一些特殊情况下（如，灾害实时监测、评估等）存在限制，不能综合利用异源遥感影像的数据特征和现势性优势。

近年来，深度学习以及计算机视觉等技术快速发展，不少学者将其用于遥感影像的特征提取、语义分割和影像分类等。如Long等^［17］提出的全卷积神经网络用于语义分割； Daudt等^［18］在其基础上提出了两种全卷积Siamese网络框架，无需进行预训练或者迁移学习，仅通过变化检测数据集即可进行变化检测；Song等^［19］基于全卷积神经网络和多尺度三维滤波器，实现对训练集的语义分割和知识迁移，提升变化检测的精度。

针对基于深度学习的异源遥感影像变化检测方法， Mercier 等^［9］应用分位数回归对未变化区域间存在的映射关系进行建模，将异源遥感影像转换到相同特征空间下进行变化检测，但由于该方法需要先在未变化区域选取样本并训练模型，使得模型的整体耗时受到一定影响； Liu 等^［20］提出利用耦合卷积神经网络（Symmetric Convolutional Coupling Network， SCCN），将异源影像转换到一个公共特征空间，进行对比得到变化检测差异图；Gong 等^［21］提出一种基于深度神经网络（Deep Neural Networks， DNN）的变化检测方法，该方法直接利用深度神经网络，从两幅影像中生成变化结果图，略去产生差异图的过程，但忽略了会产生伪变化的覆被细节；Niu 等^［22］采用条件对抗生成网络（Conditional Adversarial Network， CGAN），在生成对抗网络中加入变分自编码，以生成器输出的重构影像作为目标进行特征逼近，将生成网络与变分自编码网络的输出作为同源影像，对原始遥感影像重构，该方法的检测效果较好，但在重构过程中会丢失信息，导致在地物类型分布复杂的区域检测精度不高。

目前利用异源遥感影像的地表覆被变化检测方法主要问题是：①上述的异源影像变化检测方法对原始遥感影像进行特征空间转换或逼近时，缺少对特征提取过程的约束，造成了原始信息的丢失，产生漏检问题。②当影像覆盖范围广、颜色和纹理复杂时，相同地物在同一影像内的颜色会存在差异，难以将同种地物的色彩统一起来，使得跨域映射结果容易出现色偏现象。③传统的单向生成模型难以学习特征空间数据的真实分布，需要成对的遥感数据对网络训练，在遥感应用中，内容完全相同的成对影像获取困难，增加了网络训练难度；训练样本的质量影响网络的结果精度，而人为选取的样本质量受知识储备、主观判断等因素影响，质量难以控制。

本文提出的基于编码对齐生成对抗网络（Code-Aligned Generative Adversarial Network，CAGAN）的地表覆被变化检测方法，主要贡献为：利用的自编码器^［23］较其他编码器具有更好的稳定性、有效性，对原始影像的光谱、纹理、地物形状等特征提取时能去除噪声；通过编码对齐损失，使编码器输入影像与输出特征间的拓扑结构差异度最小，减少信息损失；研究利用循环一致对抗网络（Cycle-Consistent Adversarial Networks， CycleGAN）^［24］对原始遥感影像进行色彩迁移，改善跨域映射出现色偏的问题，可在无成对内容一致的影像情况下，通过转换输入影像的特征空间生成与目标域色彩一致的影像；通过在重构损失中加入变化概率权重，使模型在迭代过程中自动选择训练样本，实现自适应的网络训练，有效的提取地物类型复杂区域的地表覆被变化信息。

2 模型原理

本文通过构建编码对齐生成对抗网络，建立异源遥感影像地表覆被变化自适应检测方法。利用训练后的编码器对两时相异源影像 $X 、 Y$ 提取无差异特征，通过生成器构建与目标域影像波段数、像元值范围和特征分布一致，且拓扑结构差异尽可能小的重构影像 $\hat{X} 、 \hat{Y}$ 。

为消除不同特征空间下影像波段数不一致对变化检测的影响，对原始影像和重构影像差分，以原始影像波段数作为权重对差分结果进行加权计算，得到差异图（difference image， DI），差异图由式（1）计算：

D I = \frac{|y| * {‖X - \hat{X}‖}_{2} + |x| * {‖Y - \hat{Y}‖}_{2}}{|x| + |y|}

其中： $|x| 、 |y|$ 为两特征空间下对应影像的波段数，相同特征空间下的影像以像素为单位，利用L2范数度量两者之间的差异。

本文通过高斯滤波^［25］构建一阶、二阶势能局部邻域空间交互，调整变化差异图中的异常概率值，将原始影像的空间信息与变化检测差异图结合，改善变化检测过程中的漏检与“伪变化”情况，提高检测有效性。研究利用原始影像的空间关系对差异图进行修正，将修正后的结果通过最大类间方差法^［26］进行阈值分割，得到变化检测结果。具体流程如图1所示。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 变化检测流程图

Fig.1 Flowchart for change detection

2.1　编码对齐生成对抗网络构建

研究基于CycleGAN引入用于提取影像特征的自编码器，构建编码对齐生成对抗网络。CAGAN（如图2（a）所示）由编码器（ $E_{x}$ 、 $E_{y}$ ）、生成器（ $G_{x}$ 、 $G_{y}$ ）和判别器（ $D_{x}$ 、 $D_{y}$ ）组成。利用滑动窗口在原始影像 $X$ 、 $Y$ 内对应位置进行样本块裁切，迭代中通过变化概率权重实现训练样本的自适应选取，并将样本输入编码器 $E_{x}$ 、 $E_{y}$ 提取原始影像的光谱、纹理、地物形状等特征，同时去除噪声；将提取的特征 $Z_{x}$ 、 $Z_{y}$ 分别输入生成器 $G_{x}$ 、 $G_{y}$ 得到目标特征空间下的重构影像 $\hat{X} 、 \hat{Y}$ ，消除异源数据影像波段数、像元值范围等差异；再将原始影像和重构影像输入判别器 $D_{x}$ 、 $D_{y}$ 分析 $X 、 Y 和 \hat{X} 、 \hat{Y}$ 的相似性，通过生成器与判别器的不断对抗优化训练效果。图2（b）为 $X \to Y \to X$ 和 $Y \to X \to Y$ 的特征映射过程， $f_{x}$ 表示 $X$ 构建 $Y$ 的映射函数，由编码器 $E_{x}$ 和生成器 $G_{y}$ 组成， $f_{y}$ 表示 $Y$ 构建 $X$ 的映射函数，由编码器 $E_{y}$ 和生成器 $G_{x}$ 组成。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 CAGAN结构

(a)网络结构 (b)影像跨域回构过程

Fig.2 The structure of CAGAN

CAGAN 内的编码器和生成器均由五层卷积层组成，中间层卷积核个数分别为50、75、75、50，输出层卷积核个数与目标域影像波段数一致；判别器由三层卷积层和一层全连接层组成，卷积核个数分别为50、50、50。网络参数设置如表1所示，其中 conv、 stride、 padding 分别为卷积运算、卷积步长和填充像素， conv3×3表示卷积核的大小为3×3；判别器采用跨步卷积的方式进行下采样后将跨步卷积的结果展为一列，用全连接层压缩输出维度。 Leaky ReLU、 tanh 和 sigmoid 代表每一层的激活函数。将 Leaky ReLU 负数部分的梯度设置为0.3。为防止过拟合，中间层利用 Dropout 随机失活20%的网络节点。

表1 CAGAN 的参数设置

Table 1 Parameter settings of CAGAN

名称	模块	参数设置
编码器生成器	卷积层	$(\begin{matrix} c o n v 3 \times 3, s t r i d e = 1, p a d d i n g = 1 \\ L e a k y R e L U (s l o p e = 0.3), D r o p o u t (p = 0.2) \end{matrix}) \times 4$
编码器生成器	卷积层	$(\begin{matrix} c o n v 3 \times 3, s t r i d e = 1, p a d d i n g = 1 \\ t a n h \end{matrix}) \times 1$
判别器	卷积层	$(\begin{matrix} c o n v 3 \times 3, s t r i d e = 2, p a d d i n g = 0 \\ L e a k y R e L U (s l o p e = 0.3), D r o p o u t (p = 0.2) \end{matrix}) \times 3$
判别器	全连接层	$(\begin{matrix} I n p u t = 25, O u t p u t = 1 \\ S i g m o i d \end{matrix}) \times 1$

新窗口打开| 下载CSV

2.2　损失函数

研究利用编码对齐自编码器（code-aligned autoencoders， CAA）^［27］的编码对齐损失函数，在提取特征时约束编码器输入影像与输出特征间的拓扑结构变化，减少信息丢失。特征空间下的相似度矩阵代表样本间差异度，由式（2）计算：

\begin{array}{l} A_{i j} = e x p (\frac{(d_{i, j}^{l})^{2}}{2 σ^{2}}) \in (0,1] \\ i, j \in \{1, \dots, n\} \end{array}

（2）

其中： $l \in \{X, Y\}$ ，即 $d_{i, j}^{X} = d^{X} (x_{i}, x_{j})$ 、 $d_{i, j}^{Y} = d^{Y} (y_{i}, y_{j})$ ， $d$ 为欧式距离； $x_{i}, x_{j}$ 为样本块 $X$ 的特征向量； $y_{i}, y_{j}$ 为样本块 $Y$ 的特征向量； $σ$ （ $σ > 0$ ）为核宽， $σ$ 等于前 $k$ 个最邻近样本点的平均距离^［28］，其中 $k = 3 / 4 n$ 。原始特征空间下的差异度由式（3）计算：

\begin{array}{l} D_{i, j} = \frac{1}{\sqrt[]{n}} {‖A_{i}^{x} - A_{j}^{y}‖}_{2} \in (0,1] \\ i, j \in \{1, \dots, n\} \end{array}

（3）

其中： $A_{i}^{x} = [A_{i, 1}^{x}, \dots, A_{i, n}^{x}]$ 和 $A_{j}^{y} = [A_{j, 1}^{y}, \dots, A_{j, n}^{y}]$ 分别表示由原始影像 $X$ 、 $Y$ 对应位置裁取的样本块，计算所得的相似度矩阵。

编码器的输出 $Z_{x}$ 、 $Z_{y}$ 在特征空间下的差异度 $R_{i, j}$ ，由式（4）计算：

\begin{array}{l} R_{i, j} = \frac{{(z_{i}^{x})}^{T} z_{j}^{y} + |Z|}{2 |Z|} \in (0,1], \\ i, j \in \{1, \dots, n\} \end{array}

（4）

其中： $z_{i}^{x} 、 z_{j}^{y}$ 分别为原始影像经编码器 $E_{x}$ 、 $E_{y}$ 提取的特征向量； $|Z|$ 为输入影像的最大波段数。

为将差异度 $D_{i, j}$ 和 $R_{i, j}$ 进行最小化约束，构造编码对齐损失函数，计算见式（5）：

\begin{array}{l} L_{c a} = E_{x ~ p_{d a t a} (x)} [{‖(1 - D_{i, j}) - R_{i, j}‖}_{2}] \\ + E_{y ~ p_{d a t a} (y)} [{‖(1 - D_{i, j}) - R_{i, j}‖}_{2}] \end{array}

（5）

其中： $n$ 为样本数量。

把目标影像与生成影像交替输入判别器，通过生成器与判别器的不断对抗，生成目标特征空间下的相似分布，对抗损失由式（6）计算：

\begin{array}{l} L_{G A N} (G, D, X, Y) = E_{y ~ p_{d a t a} (y)} [l o g D_{Y} (y)] \\ + E_{x ~ p_{d a t a} (x)} [l o g (1 - D_{Y} (G (x)))] \end{array}

（6）

其中： $G$ 为通过 $Y$ 域生成器重构的影像 $G (x)$ ； $D$ 为生成影像 $G (x)$ 和实际影像 $y$ 相似性的判别器。 $G$ 旨在将目标最小化， $D$ 旨在将目标最大化，即 $m i n_{G} m a x_{D} L_{G A N} (G, D, X, Y)$ 。

利用生成加权损失对生成过程进行约束，使重构影像 $\hat{X} 、 \hat{Y}$ 与原始影像 $X$ 、 $Y$ 在相同分布的基础上，在像元值范围内进行对齐，生成加权损失由式（7）计算：

\begin{array}{l} L_{I d e n t i t y} = E_{x ~ p_{d a t a} (x)} [{‖P_{u} (x, y) (X - \hat{X})‖}_{2}] \\ + E_{y ~ p_{d a t a} (y)} [{‖P_{u} (x, y) (Y - \hat{Y})‖}_{2}] \end{array}

（7）

其中： $X$ 、 $Y$ 为原始影像块； $\hat{X} 、 \hat{Y}$ 为重构影像块； $P_{u} (x, y) \in [0,1]$ 表示 $X$ 、 $Y$ 对应影像块之间未发生变化的概率，由原始影像块与重构影像块之间的分布差异计算得到。通过比较两者的差异动态获取阈值，如果差异小于阈值，视该区域为未变化区域，从而被选为训练样本，否则视为变化区域不参与网络训练，从而实现样本的自动选取。

生成器重构的影像块应保留实际影像块的原始拓扑结构，所以只进行特征空间下色彩的逼近，因此需要将重构影像向原始特征域回构验证一致性，即 $X \to G_{X} (X) \to G_{Y} (G_{X} (X)) \approx X$ ，同理 $Y \to G_{Y} (Y) \to G_{X} (G_{Y} (Y)) \approx Y$ 。以此构造循环一致损失函数，表达式见（8）：

\begin{array}{l} L_{c y c} = E_{x ~ p_{d a t a} (x)} [{‖X - G_{Y} (G_{X} (X))‖}_{2}] \\ + E_{y ~ p_{d a t a} (y)} [{‖Y - G_{X} (G_{Y} (Y))‖}_{2}] \end{array}

（8）

上述各损失经过加权后组成整体加权损失函数，由式（9）计算：

\begin{array}{l} L_{t o t a l} = λ_{c a} L_{c a} + λ_{G A N} L_{G A N} \\ + λ_{I} L_{I d e n t i t y} + λ_{c y c} L_{c y c} \end{array}

（9）

其中： $λ_{c a} 、 λ_{G A N}$ 、 $λ_{I} 、 λ_{c y c}$ 分别为 $L_{c a} 、 L_{G A N} 、 L_{I d e n t i t y} 、 L_{c y c}$ 对应损失的权重，在训练过程中用来平衡各损失对于网络优化的影响。

2.3　网络训练

①随机初始化编码器、生成器、判别器的网络权重，初始化 $P_{u} (x, y)$ 权重为0，将两时期原始异源影像（行列号为 $r o w \times c o l$ ）划分成 $(r o w / 2 n) \times (c o l / 2 n)$ 块区域影像，利用 $n \times n$ 大小的窗口分别从区域影像中随机裁切取块作为训练样本 $X 、 Y$ ；②将训练样本 $X 、 Y$ 作为编码器 $E_{x} 、 E_{y}$ 的输入提取特征，然后将输入 $X 、 Y$ 与输出 $Z_{x} 、 Z_{y}$ 分别代入式（3）和（4）计算两种差异度 $D_{i, j}$ 和 $R_{i, j}$ ，由式（5）计算编码对齐损失后更新编码器权重；③将样本输入更新权重后的编码器，得到特征输入生成器，重构影像块，随后把原始样本块 $X 、 Y$ 与新输出的重构影像块 $\hat{X} 、 \hat{Y}$ 输入判别器 $D_{x} 、 D_{y}$ ，并由式（5）~（7）计算损失，更新 $E_{x} 、 E_{y} 、 G_{x} 、 G_{y} 、 D_{x} 、 D_{y}$ 权重；④重复步骤②~③特定次数后计算阈值更新 $P_{u} (x, y)$ 权重，实现自适应选取训练样本；⑤重复步骤④直到判别器不能区分重构影像块相似后停止训练。

2.4　评价指标

检测结果的精度评价指标有总体精度（Overall Accuracy， OA）、Kappa 系数，其中总体精度是分类正确的像素数占总像素的比例，由公式（10）计算； Kappa 系数 $K C \in [- 1,1]$ ，表示两个分类器之间的一致性， $K C = 1$ 表示完全一致， $K C = - 1$ 表示完全不一致， $K C = 0$ 表示无相关性（随机猜测）， Kappa 系数由式（11）计算。

O A = \frac{T P + T N}{T P + T N + F P + F N}

（10）

K C = \frac{O A - P r e}{1 - P r e}

（11）

其中， $P r e$ 由式（12）计算：

\begin{array}{l} P r e = \frac{(T P + F P) \times (T P + F N)}{{(T P + T N + F P + F N)}^{2}} \\ + \frac{(F N + T N) \times (F P + T N)}{{(T P + T N + F P + F N)}^{2}} \end{array}

（12）

其中： TP 表示变化像素被预测为变化的像素数；TN 表示未变化像素被预测为未变化的像素数； FP 表示未变化像素被预测为变化的像素数； FN 表示变化像素被预测为未变化的像素数。

实验另选取了ROC（Receiver Operating Characteristics）和曲线下面积（Area Under Curve， AUC）作为变化检测方法的评价指标。 ROC 曲线不受分割阈值影响，可通过计算曲线下的面积定量评价变化检测能力的强弱， AUC 数值越大，表明检测所得差异图质量越高。

3 实验与分析

为验证本文方法的可行性和有效性，将本文方法与流行的 SCCN^［20］、DNN^［21］和CGAN^［22］地表覆被变化检测方法，利用公开数据集，对比变化检测结果精度。上述3种方法均为论文中使用实现的语言和软硬件环境，本文直接引用其变化检测结果进行对比。除上述3种方法，本文利用不含自编码器的CycleGAN^［24］重构影像对地表覆被变化进行检测，并与本文方法进行对比。为保证结果的可比性，将对比方法所得的差异图通过高斯滤波消除噪声。此外，实验还对比了Luppino等^［29］和Touati等^［30-31］在四组公开数据集的变化检测结果，Luppino等^［29］通过TensorFlow 1.4.0在Python中实现。

3.1　实验网络参数设置

网络训练过程中每次迭代将两时相原始影像随机裁切成200对100× 100大小的影像块，基于 Adam 优化器，利用动量和自适应学习率来加快收敛速度，设学习率为3e-4；为防止梯度过大，在优化参数之前使用 L2范数将梯度裁剪至1；迭代次数设置为150次，且每隔25次迭代进行一次 $P_{u} (x, y)$ 权重更新。为保证各损失之间的平衡，损失权重 $λ_{c a} 、 λ_{G A N} 、 λ_{I} 、 λ_{c y c}$ 均设置为1。

3.2　实验环境与数据集

本文实验环境：操作系统为Windows 10专业版（64位）， CPU 为 Inter（R） Core（TM） i7-9750H， GPU为GTX-1650，内存16 G，使用pytorch1.6.0在 Python 3.8中编程实现。

实验利用4组异源影像地表覆盖变化检测公开数据集，见图3前3列，自上而下每行对应数据集1~4。后两列数据为 CAGAN 生成的重构影像。除加利福尼亚数据集（数据集1），其余3组数据集获取自：http：//www.iro.umontreal.ca/~mignotte/ResearchMaterial/index.html。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 数据集

Fig.3 Dataset

数据集1为美国加利福尼亚数据集，由Landsat8、 Sentinel_1A 影像及参考图组成，该数据集是美国加利福尼亚州洪水前后的场景，分别拍摄于2017年1月5日和2017年2月18日，影像大小为3 500×2 000，空间分辨率为30 m。获取地址：https：//sites.google.com/view/luppino/data。

数据集2为意大利某湖泊湖水溢出前后场景，由 Landsat 5的近红外波段、 Landsat 5的红绿蓝波段影像及参考图组成，拍摄时间分别是1995年9月和1996年7月，影像大小为412×300，空间分辨率为30 m。

数据集3为中国东营市曙光村城市建设数据，由 SAR 影像、光学影像及参考图组成，该数据集反映曙光村4 a内城市建设发生的变化，拍摄时间分别为2008年6月和2012年9月，影像大小为418×342，空间分辨率为8 m。

数据集4为法国卢兹城市道路建设数据，该数据集地物类型丰富，由 Pleiades 和 WorldView 2 的光学影像及参考图组成，遥感影像均为 RGB 3个波段，空间分辨率为0.52 m，影像大小为2 000×2 000，拍摄时间分别为2012年5月和2013年7月。

3.3　对比实验

实验将得到的变化结果图与对应参考图进行叠加，得到变化混淆图，其中白色、黑色、绿色和红色部分，分别代表 TP、 TN、 FP和 FN；将各方法得到的变化结果图与参考图对照，分析计算各方法的优劣。实验结果及对比方法结果得到的混淆图见图4。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 数据集变化结果混淆图

Fig.4 Confusion map of change result on dataset

图5为各数据集在对应方法下得到的变化结果差异图。各数据集检测精度指标见表2~表5，粗体表示指标中最大值。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 数据集差异图

Fig.5 Difference image of dataset

表2 数据集1变化检测精度指标

Table 2 Accuracy index comparisons on dataset 1

方法	AUC	OA	KC
CAGAN	0.87	0.93	0.40
CycleGAN	0.82	0.89	0.31
CGAN	0.71	0.88	0.13
SCCN	0.88	0.89	0.39
DNN	---	0.86	0.27
Luppino等（2021）	0.87	0.92	0.41

新窗口打开| 下载CSV

表3 数据集2变化检测精度指标

Table 3 Accuracy index comparisons on dataset 2

方法	AUC	OA	KC
CAGAN	0.89	0.96	0.71
CycleGAN	0.85	0.93	0.55
CGAN	0.80	0.92	0.50
SCCN	0.81	0.93	0.51
DNN	---	0.85	0.17
Touati等（2019）	---	0.96	---
Touati等（2017）	---	0.94	--

新窗口打开| 下载CSV

表4 数据集3变化检测精度指标

Table 4 Accuracy index comparisons on dataset 3

方法	AUC	OA	KC
CAGAN	0.92	0.97	0.75
CycleGAN	0.85	0.92	0.54
CGAN	0.66	0.92	0.29
SCCN	0.69	0.86	0.21
DNN	---	0.95	0.23

新窗口打开| 下载CSV

表5 数据集4变化检测精度指标

Table 5 Accuracy index comparisons on dataset 4

方法	AUC	OA	KC
CAGAN	0.79	0.88	0.42
CycleGAN	0.77	0.85	0.37
CGAN	0.64	0.82	0.10
SCCN	0.75	0.82	0.38
DNN	---	0.81	0.30
Touati等（2017）	---	0.85	---

新窗口打开| 下载CSV

数据集1中， CAGAN 的各项评价指标与未添加自编码器的 CycleGAN 相比均有提高，原因有两方面：一是利用编码对齐损失对编码器进行约束，保证提取的特征与原始影像内拓扑结构保持一致，减少信息丢失；二是通过生成器与判别器的不断对抗学习，使生成器充分学习了目标域的整体特征映射，而不仅是对应像素之间的对齐。 CGAN 方法仅使用全连接网络结构将原始影像进行各像素间的翻译对齐和重新生成，但未考虑地物之间的相关性，因此检测结果中伪变化区域多且破碎， KC 最低，仅为0.13。 DNN 方法在不生成差异图的情况下直接输出变化检测结果，因未对像素分类造成地物类型复杂的城镇区域伪变化较多，降低了漏检率。 SCCN 方法对影像进行了特征空间的转换，加之对变化差异图的阈值处理，漏检情况较少，较 DNN 减少了伪变化检测，但因未约束特征提取过程，造成了信息丢失使得结果仍有较多伪变化。

数据集2覆被类型相对简单，但雷达影像和光学影像间的特征空间差异较大，未使用自编码器和编码对齐损失进行输出特征空间拓扑约束， CycleGAN 检测结果出现了较多的伪变化区域，各项检测指标均差于 CAGAN方法。 CAGAN 在此数据集上的各指标均获得了最好的结果，混淆图的纯净程度也证明本文提出的 CAGAN 检测效果较其他方法好，受噪声和特征空间差异影响最小。 CGAN 和 SCCN 方法虽有较高检测精度，但受噪声影响使混淆图中仍存在较多伪变化，KC低于本文方法，仅为0.50和0.51。DNN方法虽检测到一部分变化区域，但受光谱信息差异影响，KC 仅为0.17，检测效果差。

数据集3包含建筑物、耕地、水体、植被等多种地物类型，变化区域内前后空间结构差异较大。在进行地物类型复杂区域的覆被变化检测时，主流方法的检测效果与数据集1、2内的检测效果相比有所降低，特别是 DNN 方法，左上部分水体变化为建筑以及裸地的部分变化均存在漏检现象。 CGAN 通过全连接层考虑了像素间的相关关系，在细节变化方面的检测效果较好，如右下角河流变化部分检测精度高于其他方法，但翻译过程中信息的丢失使得该方法整体漏检现象较严重，具体表现为左上角多种覆被变化部分仅检测出水体的变化，草地到建筑的变化未能捕获。从图5可知， SCCN 方法仅提取特征，没有考虑SAR影像和光学影像间的同物异谱情况，使得特征提取不完整，造成大面积错检。

数据集4的地物类型多样，空间特征和纹理结构复杂，从差异图和 AUC 指标可知， CAGAN 方法得到的差异图质量高、可分性好，在地表覆被复杂区域检测的伪变化最少。 SCNN 和 DNN 的伪变化检测较多。其他方法在提取空间特征以及重构影像过程中，由于信息的缺失造成了漏检误检。

通过对4个公开数据集的变化检测结果分析： CAGAN 在异源遥感影像的覆被变化检测中，与3种主流方法相比检测结果性能最优。其中， SCNN 将影像数据向公共空间转换，在此特征空间下生成重构影像，但该方法在向特征空间的转化和生成重构影像的过程中，未对特征结构约束，造成信息丢失，使其存在一定的漏检和较多的伪变化检测情况。 DNN 方法的本质是通过对两幅影像进行联合分类实现变化检测，且最初用于同源遥感影像^［11］，检测精度依赖于分类使用的训练样本质量及分类结果，加之该方法没有差异图，忽略部分造成伪变化的覆被信息，检测精度不高。 CGAN 在设计时利用变分自编码网络和生成网络对影像进行重构，较前两种方法检测效果较好，但重构影像过程中的信息损失使得其在覆被类型复杂的区域易出现漏检或伪变化情况（具体可见数据集1、3和4内的伪变化及漏检部分）。本文方法通过引入自编码器和构造相应损失函数，并通过生成器判别器的对抗得到高质量的重构影像，有效改善了影像差异造成的映射色彩差异以及空间信息的损失，实现两时相异源影像的相互跨域映射；此外通过变化概率权重自适应地选择训练样本，提升训练效果，使得变化检测的精度得到进一步提高。

本文方法在4组公开数据集上的检测整体精度分别达到0.93、0.96、0.97、0.88， Kappa 系数分别达到0.40、0.71、0.75、0.42，均高于其他3种目前常用的覆被变化检测方法（SCCN、 DNN 和 CGAN），检测结果混淆图的效果也优于其他方法，说明编码对齐生成对抗网络在异源影像地表覆被变化检测中可行有效。

3.4　消融实验

在地表覆被变化检测研究中，二类 K 均值算法（K-means）和最大类间方差法（Otsu）是两种简单且有效的自动阈值分割算法^［1］。考虑到数据集2相比其他3个数据集，地物斑块更完整，不同阈值分割法结果中的伪变化区域易识别，消融实验的效果更直观；此外该数据集空间拓扑结构简单，利于分析影像间空间特征和光谱信息的关系。因此为分析高斯滤波和阈值分割算法对 CAGAN 检测结果的影响，中，选用数据集2进行消融实验。结果经高斯滤波后分别用二类 K 均值算法和最大类间方差法进行阈值分割，分析其对变化检测精度的影响，对比结果见图6（a）、图6（b）；为分析高斯滤波法对检测精度的影响，实验分别将高斯滤波前后的检测差异图利用最大类间方差法进行阈值分割，对比结果见图6（a）、图6（c），精度指标见表6。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 高斯滤波和阈值分割法评价结果图

Fig.6 Gaussian filtering and threshold segmentation method evaluation results graph

表6 高斯滤波和阈值分割精度指标 (impact evaluation accuracy)

Table 6 Gaussian filtering and threshold segmentation

方法	AUC	OA	KC
CAGAN_Gaussian_Ostu	0.89	0.96	0.71
CAGAN_Gaussian_Kmeans	0.89	0.95	0.73
CAGAN_unGaussian_Ostu	0.84	0.92	0.61

新窗口打开| 下载CSV

由图6（a）、图6（b）及精度指标表中3项指标可知，阈值分割方法对检测精度影响较小，原因为检测差异图可分性好，特别是在仅区分变化和未变化区域时，常用的阈值分割法均可取得较好的效果；数据集2在单波段影像向3波段影像重构时，会因信息量不足与原始影像出现一些差异，产生少量噪声，因此利用高斯滤波关联其原始影像的空间信息去除噪声，可以提高变化检测精度。去除噪声前的 AUC、 OA、 KC分别为0.84、0.92、0.61，高斯滤波后的3项指标分别为0.89、0.96、0.71，3项指标均有一定程度的提高。

4 结论

本文提出了一种异源遥感影像自适应变化检测方法，将异源影像特征映射与变化检测关联。通过在循环一致对抗网络中引入能稳定提取特征的自编码器构建编码对齐生成对抗网络，结合编码对齐损失函数，约束输出特征结构变化，减少跨域映射过程中的信息损失；通过变化概率权重在网络训练中自适应选择训练样本；利用高斯滤波和阈值分割，实现地表覆被变化检测。本分方法与SCCN等3种地表覆被变化检测方法相比，在4组公开数据集中取得最高精度，有较好指标表现与视觉效果。

研究提出的覆被变化检测方法尤适用于地物类型繁多且纹理复杂区域的地表覆被变化检测。但当两幅异源遥感影像波段数差异较大时，使用较少波段影像生成重构影像会因信息量不足不能较好地进行单个变量到多个变量的映射，造成重构影像波谱信息不够丰富，影响变化检测效果。下一步拟利用迁移学习算法，提取不变地物的光谱信息，丰富波段较少影像的覆被信息，解决异源遥感影像间波段数差异较大时，地表覆被变化检测效果差的问题。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

ZHANG

Liangpei

， WU

Chen

Advance and future development of change detection for multi-temporal remote sensing imagery

［J］.Acta Geodaetica et Cartographica Sinica，2017，46（10）：1447-1459.

[本文引用: 2]

张良培，武辰.

多时相遥感影像变化检测的现状与展望

［J］.测绘学报， 2017，46（10）：1447-1459.

[本文引用: 2]

[2]

， XIAO

， FENG

， et al.

Using land long-term data records to map land cover changes in China over 1981-2010

［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2017，PP（4）：1-18. DOI： 10.1109/JSTARS.2016.2645203