基于孪生残差神经网络的GF-2影像林地变化检测

doi:10.11873/j.issn.1004-0323.2024.1.0024

基于孪生残差神经网络的GF-2影像林地变化检测

——以浙江省建德林场为例

艾遒一^,¹, 黄华国¹, 郭颖², 刘炳杰¹, 陈树新², 田昕^,²

1.北京林业大学森林资源和环境管理国家林草局重点实验室，北京 100083

2.中国林业科学研究院资源信息研究所，北京 100091

Forest Change Detection based on Siamese Neural Network with GF-2 Image: A Case of Jiande Forest Farm, Zhejiang

AI Qiuyi^,¹, HUANG Huaguo¹, GUO Ying², LIU Bingjie¹, CHEN Shuxin², TIAN Xin^,²

1.Forest Resources and Environmental Management National Forest and Grass Bureau Key Laboratory，Beijing Forestry University，Beijing 100083，China

2.Institute of Forest Resource Information Techniques，Chinese Academy of Forestry，Beijing 100091，China

通讯作者: 田昕，研究员,主要从事林业定量遥感研究。E⁃mail:tianxin@ifrit.ac.cn

收稿日期: 2022-10-28 修回日期: 2023-12-19

基金资助:

中国林业科学研究院省院合作项目“基于空天地一体化的浙江森林资源监测技术研究与应用”. 2020SY02
中国高分辨率对地观测系统国家科技重大专项“高分共性产品真实性检验相关标准规范编制”. 21⁃Y20B01⁃9001⁃19/22⁃1

Received: 2022-10-28 Revised: 2023-12-19

作者简介 About authors

艾遒一，硕士研究生,主要从事遥感技术与应用研究E⁃mail:867492742@qq.com , E-mail：867492742@qq.com

摘要

森林是世界上生产力最高的可再生自然资源之一，但由于火灾、洪水、砍伐等多种自然或人为因素干扰，森林的生态环境受到严重威胁。准确掌握林地资源变化的情况，可以为森林资源的管理与保护提供有效信息。由于林地类别及树种差异较大，在林地变化检测任务中传统的机器学习变化检测方法难以捕捉深层次语义信息，存在提取特征适应性差、识别能力弱以及因季相导致的伪变化等问题。提出以孪生残差神经网络构建深度学习模型，进行林地变化的检测实验。分别采用残差神经网络ResNet50、添加不同轻量级注意力机制如卷积注意力机制模块CBAM和压缩和激励模块SE 3种不同特征提取方法作为主干特征提取模块。3种主干特征提取网络都基于预训练权重进行训练，通过将提取的多尺度的特征图进行融合，使得不同特征图中信息粗略细节和精细细节互补，从而改善变化检测效果，同时具有相同数量的参数，共享权值的优点。以浙江省建德林场为实验区，获取2015年和2020年两期高分二号卫星影像，构建一套分辨率为1 m的林地变化检测数据集。对孪生残差神经网络变化检测的结果和真实变化标签进行比较，其中主干特征提取网络SE-ResNet50综合结果最好，精确率为0.91，召回率为0.78，F1分数为0.83，要优于主流的变化检测模型FC-Siam-conc、FC-Siam-diff。证明孪生残差神经网络在高分辨率遥感影像林地变化检测任务中能够准确捕捉林地变化，为森林资源管理部门提供了新的林地变化检测方法。

关键词： 林地变化检测 ; 深度学习 ; 注意力机制 ; 孪生神经网络 ; 残差神经网络

Abstract

Forest is a valuable non-renewable resource， but the ecological environment of forest is seriously threatened by many natural or man-made factors such as fire， flood， and deforestation interference. Accurate grasp of forest resource changes can provide effective information for forest resource management and protection. In the task of forest change detection， traditional machine learning change detection methods have difficulty in capturing deep semantic information due to large differences in forest categories and tree species， and suffer from poor adaptability of extracted features， weak recognition ability， and pseudo-change due to seasonal phases. We propose to build a deep learning model with Siamese neural networks for forest change detection experiments. Three different feature extraction methods， ResNet50 （Residual neural network）， CBAM （Convolutional Block Attention Module） and SE （Squeeze and Excitation） with different lightweight attention mechanisms are used as backbone feature extraction modules， respectively. All three backbone feature extraction networks are trained based on pre-trained weights， which improve change detection by fusing the extracted multi-scale feature maps so that the coarse and fine details of information in different feature maps complement each other. It also has the advantage of sharing weights with the same number of parameters. Taking Jiande Forest Farm in Zhejiang province as the experimental area， two phases of GF-2 images in 2015 and 2020 are acquired to construct a forest change detection dataset with a resolution of 1m. The results of Siamese neural network change detection are compared with the true change labels （Ground truth）， where the backbone feature extraction network SE-ResNet50 has the best combined results with Precision （0.91）， Recall （0.78） and F1-score （0.83）， which is better than mainstream change detection models FC-Siam-conc， FC-Siam-diff. It is proved that Siamese neural networks can accurately capture forest changes in the task of forest lad change detection from high-resolution remote sensing images， and provide a new forest change detection method for forest resource management departments.

Keywords： Forest change detection ; Deep learning ; Attention mechanism ; Siamese neural networks ; Residual network

PDF (3844KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

艾遒一, 黄华国, 郭颖, 刘炳杰, 陈树新, 田昕. 基于孪生残差神经网络的GF-2影像林地变化检测. 遥感技术与应用[J], 2024, 39(1): 24-33 doi:10.11873/j.issn.1004-0323.2024.1.0024

AI Qiuyi, HUANG Huaguo, GUO Ying, LIU Bingjie, CHEN Shuxin, TIAN Xin. Forest Change Detection based on Siamese Neural Network with GF-2 Image: A Case of Jiande Forest Farm, Zhejiang. Remote Sensing Technology and Application[J], 2024, 39(1): 24-33 doi:10.11873/j.issn.1004-0323.2024.1.0024

1 引言

森林在维持陆地生态系统平衡、保障人类基本生存条件、减缓气候变化和实现社会经济可持续发展等方面起着重要的基础性作用^［1］。林地是森林资源的重要组成部分，其变化关系到国家的生态安全格局并影响到全球环境变化^［2］。准确了解和掌握全国林地的时空动态变化特征具有重要的现实意义。以往的森林变化检测大多为人工目视解译和使用两期矢量化图叠加分析，存在工作周期长、效率低等缺陷，不能满足当下森林资源变化监测的迫切需求和发展趋势^［4］。

国内外学者针对森林变化检测的研究，主要发展的研究方法包括简单代数运算、机器学习、面向对象的影像分析以及深度学习等。基于简单代数运算的变化检测，主要以针对中低分辨率遥感影像进行逐像素分析光谱差异提取变化信息，包括图像比值法、植被指数法、变化向量分析法等。黄春波等^［6］利用归一化植被指数NDVI构建IFZ指数分析森林动态信息，实现森林的变化动态检测。基于代数运算的变化检测技术的优点是相对简单、直接，缺点是难以确定变化类别^［5］且得到的结果图像往往噪声比较严重。多项研究将支持向量机、随机森林、人工神经网络等机器学习方法应用于遥感影像变化检测中。Tan等^［7］在不同时相的遥感影像中提取光谱、纹理及空间特征，并在构造的多分类器系统包括极限学习机、多项逻辑、K近邻等进行训练，获得变化检测结果。但是此方法提取的特征容易造成数据冗余。面向对象影像分析法考虑的地物特征，使同质像元组成大小不同的对象，不再以像元为单位，解决了像元难以利用空间关系导致椒盐噪声严重的现象^［8］。Desclée等^［9］提出了一种基于面向对象的反射算法，通过卡方检验统计反射率差异异常值，将相应的对象标记为变化。经验证，此反射算法实现了高检测精度（>90%），为森林变化检测提供了新方法。随着人工智能和大数据的快速发展，变化检测任务开始应用深度学习方法。深度学习网络能够端对端、多尺度地提取地物抽象特征，且对噪声具有很强的鲁棒性。变化差异图对传统变化检测方法的精度影响很大，具有不稳定性。端对端结构，能够直接从遥感影像中获得变化检测结果^［10］。Daudt等^［11］参考U-Net的网络架构，提出了端到端学习的孪生神经网络架构，验证了孪生神经网络在遥感影像变化检测中的可行性。对于林地变化检测任务而言，还尚未提出基准模型，对于季节因素的变化以及不规则形状、纹理不同的地物而言容易产生大量伪变化，孪生神经网络对于林地变化检测有出色的效果^［12］。

在林地变化检测的任务中已有应用深度学习的方法多为先分类后比较，此类变化检测方法受分类结果影响大。孪生神经网络在变化检测任务中效果则相对更优，对两幅影像提取特征后再进行度量学习或分类，在识别速度和精度上更优，但在林地变化检测的应用则比较少。研究提出了一种基于孪生残差神经网络架构，以残差神经网络ResNet50作为主干特征提取网络，增加两种轻量化注意力机制CBAM（Convolutional Block Attention Module）、SE（Squeeze and Excitation）提取高分辨率遥感影像的高维特征，采用多尺度特征提取与融合策略对双时相图像进行特征融合，直观反映出变化类别和变化信息。研究旨在探索适用于高分辨率遥感影像林地变化检测的孪生残差神经网络模型，为林地变化检测任务提供方法参考与理论依据。

2 数据与研究区

2.1　研究区域概况

以浙江省建德市建德林场为研究区。建德市地处浙江省西部，钱塘江中上游，经纬度范围：118°53′46″~119°45′31″ E，29°12′20″~29°46′27″ N。建德市的地势在整体上表现为西北东南两边高、中间低，自西南向东北倾斜。主要森林植被类型有针叶林、常绿阔叶林、落叶阔叶林、针阔混交林等^［13］。

长期以来的人为破坏干扰致使该区域原生森林植被几乎被破坏殆尽。近年来对自然资源保护意识的增强，通过封山育林的方式将这些被破坏的天然林根据立地条件、干扰历史以及原有林分类型的不同，逐渐恢复为马尾松林、松阔混交林和常绿阔叶中幼龄林为代表的天然次生林。选择建德林场作为研究区，能有效探究政策实施对建德市森林资源格局变化的影响^［14］。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 研究区概况图

Fig.1 Location of the study area

2.2　数据

2.2.1　高分二号数据及预处理

采用两期2015年12月18日、2020年11月15日高分二号PMS影像（http：//www.cresda.com/CN/）为数据源。高分二号卫星是一颗我国自主研发的民用遥感卫星，搭载两台全色多光谱相机PMS1和PMS2，左右相机幅宽为45 km，侧摆能力±35°，可获取的波谱范围如表1所示。

表1 GF-2载荷参数

Table 1 GF-2 load parameters

载荷	谱段号	谱段范围/μm	空间分辨率/m
全色多光谱相机	1	0.45~0.90	1
	2	0.45~0.52	4
	3	0.52~0.59
	4	0.63~0.69
	5	0.77~0.89

新窗口打开| 下载CSV

首先，利用ENVI 5.3软件对影像进行辐射定标和大气校正。辐射定标利用公布的绝对辐射定标系数，将卫星观测的像元亮度值转换为表观辐亮度；大气校正采用ENVI软件自带的FLAASH大气校正模块；使用ASTER GDEM V3用于光学遥感影像的正射校正，将配准误差控制在0.5个像元以内^［15］。然后，利用校正后的GF-2影像4 m多光谱和1 m全色数据，采用Gram-Schmdit方法进行融合，融合后的影像空间分辨率为1m，既具有多光谱特征，又有较高的空间分辨率，保留了更多的信息。选择其中一幅影像作为直方图匹配的参考影像，对两时期遥感影像进行直方图匹配以完成相对辐射校正，用于消除两幅影像之间由于辐射条件不同所带来的误差，可以有效地消除变化检测中因不同时期的光照强度不同带来的伪变化。

2.2.2　林地变化类型

任何行业的地表覆盖/利用类型遥感解译工作都需要首先确定所采用的分类系统。本研究分类系统将采用国家林业和草原局2014的颁发的《国家森林资源连续清查技术规定（2014）》^［16］。林业地类一级划分为林地和非林地。为了方便林地的变化检测，与林地的有关变化分为两大类：一类是林地变为非林地，另外一类是非林地变化为林地。对于林地到非林地的变化，大部分原因是森林的砍伐和间伐等人为因素或病虫害和火灾等自然因素引起的林地退化。对于非林地变为林地，引起的变化原因主要是人工造林活动和自然恢复^［17］。

2.2.3　林地变化检测数据集构建

选择预处理后分辨率为1 m的高分二号卫星影像构建成的影像对，通过目视解译和林相图信息人工勾出标签，按照224像素×224像素尺寸裁剪得到449组样本，其中157对非林地变化为林地，292对林地变化为非林地（图2）。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 数据集样例

（标签值：0-未变化，1-林地变化非林地，2-非林地变化林地）

Fig.2 Constructing the dataset

研究采用了离线数据增强处理方法以丰富数据提升模型的鲁棒性，包括①两期成对图像和标签沿X轴或Y轴翻转；②两期图像和标签随机旋转90°、180°和270°；③将高斯噪声按正态分布相同添加到图像中。研究采用分层随机抽样的方法，按照7∶3数量比例将样本分为训练集、测试集。其中训练集采用五折交叉验证的方式，选取最优的模型在测试集上测试。

3 研究方法

3.1　主干特征提取网络（ResNet50网络）

2015年，何凯明团队提出ResNet网络^［18］。该网络已经被广泛运用于各种特征提取应用中，当深度学习网络层数越深时，容易造成梯度爆炸。ResNet50（表2）基本设计原理是通过残差结构来解决神经网络中出现的退化和梯度消失问题，提高了整个网络性能，且在ImageNet数据集上获得了良好的分类结果。其中残差块（Residual Blocks）主要由卷积层、批量归一化和修正线性单元组成，孪生残差神经网络主干特征提取部分采用残差网络ResNet50中不同的残差块来提取多尺度特征。

表2 ResNet50网络组成

Table 2 ResNet50 network structure

分层名称	输出尺寸	50-layer
conv1	112×112	7×7,64,stride 2
conv2-v	56×56	3×3 max pool,stride 2
conv2-v	56×56	$[\begin{matrix} 1 \times 1,64 \\ 3 \times 3,64 \\ 1 \times 1,256 \end{matrix}] \times 3$
conv3-x	28×28	$[\begin{matrix} 1 \times 1,128 \\ 3 \times 3,128 \\ 1 \times 1,512 \end{matrix}] \times 4$
conv4-x	14×14	$[\begin{matrix} 1 \times 1,256 \\ 3 \times 3,256 \\ 1 \times 1,1024 \end{matrix}] \times 6$
conv5-x	7×7	$[\begin{matrix} 1 \times 1,512 \\ 3 \times 3,512 \\ 1 \times 1,2048 \end{matrix}] \times 3$
	1×1	average pool 1 000-d fc,softmax
FLOPs		3.8×10⁹

新窗口打开| 下载CSV

3.2　轻量级注意力机制

3.2.1　卷积注意力机制模块（CBAM模块）

注意力机制主要分为空间注意力机制、通道注意力机制、空间和通道混合注意力机制3种。注意力机制的核心目的从众多信息中筛选出重要信息，忽略不重要的背景信息。在变化检测任务中，背景占比重，变化区域往往只占小部分。在计算机视觉中常常被用作增强特征图的特征信息，卷积注意力机制模块CBAM（Convolutional Block Attention Module）^［19］是结合了空间—通道注意力的一种综合注意力机制模块。引入CBAM能提升目标检测和物体分类的精度，在神经网络中引入这一机制花费的计算开销和参数大小都比较少。

CBAM将通道注意力与空间注意力串联，使得输入特征图在通道和空间维度上先后获得注意力权重，达到增强特征的目的。空间维度采用最大池化和平均池化将信息压缩到一个通道描述符上，并标定权重矩阵；通道维度上，在空间维度操作上，确定像素点间的重要程度，在通道维度上采用最大池化和平均池化并得到2个不同通道描述符组合，生成权重矩阵^［20］。

3.2.2　压缩和激励模块（SE模块）

在ILSRS 2017年分类任中，采用SE模块的网络将Top-5误差降低到2.25%^［21］。SE模块属于通道注意力机制，可以自适应学习不同通道之间的依赖关系并适应信道的特征响应，这种方式被认为是提高网络性能的有效途径。利用通道信息引导模型对特征进行有区分度的加权学习，选择性地强调信息特征和抑制无用的特征。一个SE模块通常由全局池化层、全连接层（FC）和激活层（ReLU和Sigmoid）组成。这些特征通过一个Squeeze操作（全局池化）和一个Excitation操作（两个完整的连接层，每个连接层之后是一个激活层），产生每通道调制权值的集合^［22］。

3.3　孪生残差神经网络模型架构

孪生神经网络（Siamese Neural Network， SNN）是基于两个或多个分支神经网络建立的耦合构架，子网络之间实行参数和权重共享。其主要的目的是将两个或多个输入映射到同一个分布域上，通过损失函数来计输入之间的相似度^［23］。孪生神经网络已被证明在变化检测任务中表现优秀^［11］。采用残差网络与孪生神经网络架构结合，主要流程包括：①特征提取。分别以2015年影像作为前时相（T₁），2020年影像作为后时相（T₂）输入模型。利用残差网络ResNet50中4种不同的残差块进行影像多尺度特征提取其中的layer1、layer2、layer3、layer4。此外，在主干特征提取网络中对比添加轻量化注意力机制CBAM、SE，并且使用预训练模型进行训练，双分支特征提取共享权重并且参数共享。②特征融合。

将两个分支提取的特征作为输入，通过不同残差模块分别对特征进行不同尺度的提取分别为56×56、28×28、14×14、7×7。由于不同尺度特征图的通道数不同，采用1×1卷积核把通道数降维到变化类别数，且不同的尺度特征图通过上采样（双线性插值法）4倍、8倍、16倍、32倍恢复到输入尺寸大小。T₁图像layer1层与T₂图像layer1层采用concat通道数相加的方式进行本层的特征融合并1×1卷积通道数降维为变化类别数，其余层同理，由于得到的4层的维度相同采用张量相加的方式融合。网络模型的最后一层使用Softmax激活函数分类来实现变化检测（图3）。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 孪生神经网络变化检测架构

Fig.3 Siamese Network change detection architecture

选择50层结构的残差神经网络，将最后一层平均池化层以及全连接层去除即为特征提取卷积神经网络。与图像识别、语义分割的任务不同的是，变化检测通常输入两张图像，通过参数共享的方式，减少网络的计算量。网络中对于变化与非变化区域复杂特征提取的优化考虑添加空间注意力机制和通道注意力机制如CBAM、SE等进行对比。

3.4　全卷积孪生神经变化检测网络

目前主流孪生神经网络变化检测模型FC-Siam-conc、FC-Siam-diff^［11］在其他变化检测数据集TISZADOB、OSCD、Szada中取得了较好的效果，其特点是双支特征提取部分采用U-Net和跳跃连接的方式再进行语义分割。将本研究提出的孪生残差神经网络与此网络进行对比，验证方法的有效性。

3.5　模型训练

3.5.1　损失函数

变化检测任务本质是密集像素的分类问题。考虑到林地变化检测数据集中存在类别不均衡的现象，实验在变化检测多分类的任务中引入了焦点损失（Focal loss）。其中n表示的是类别数。多分类的焦点损失可以表示为：

F L_{s o f t m a x} = \sum_{i = 1}^{n} {(1 - p_{i})}^{γ} L (P_{i}, y_{i})

（1）

当类别大于两类时，激活函数为Softmax， $p_{i}$ 表示的是第i个样本经激活函数后得到的概率， $y_{i}$ 表示的是第i个样本的真实标签。

被误分时，调制因子（1- $p_{i}$ ）接近1，损失不受影响；当某类样本分类很好，则调制因子接近于0，样本权值就被调低。超参数γ平滑地调节了易分样本调低权值的比例。增大超参数γ能增强调制因子的影响^［24］。

焦点损失函数降低了易分样本的权重而增大难分易错样本的权重，更加关注难分样本的贡献，从而解决了了数据样本不均匀的问题，林地变化检测区域未变化占大部分，变化区域只占其中小部分，用此可用此损失函数提高变化检测精度。

3.5.2　迁移学习

深度神经网络的训练，若要取得良好的效果，需要大量的数据，而在高分辨率影像林地变化检测任务中，收集大量样本难度大，为此可采用迁移学习的方法，来解决数据量不足的问题。

考虑深度学习模型隐藏层较多，从零开始训练需要大量数据标签和相当大的计算和时间成本，并且暂时没有公开的有关林地类型变化的数据集，导致数据量较少，应用少量数据很难训练出有效的深度学习模型。迁移学习能消除深度模型的局限性，很大程度推动了深度模型训练的进程，降低了对数据量的要求。因此，通过预训练模型在ImageNet上训练的权重ResNet50、CBAM-ResNet50、SE-ResNet50的网络结构、模型参数以及超参数转移到框架结构模型上，从而增强模型的泛化性。

3.6　实验环境和设置

孪生残差神经网络模型基于PyTorch框架构建，使用Adam方法作为优化器训练网络，学习率1e-4，每次更新迭代30次，每次迭代使用4个样本对。为了防止训练中出现过拟合的情况，采用了早停法来提前结束训练，当模型在验证集连续3个epoch的F1分数指标不再提高就结束训练。

表3 实验软硬件配置

Table 3 Experimental software and hardware configuration

名称	试验软硬件配置
操作系统	Windows10 (64 bit)
编程语言	Python 3.7
深度学习框架	PyTorch 1.10.2
GPU	NVIDIA GeForce RTX3070
CUDA	Cuda 11.3
环境管理	PyCharm 2021.3

新窗口打开| 下载CSV

3.7　评价方法

通过对实验后的预测变化图与真实变化图（Ground truth）进行比较，对于本研究的3种林地变化类型检测任务，区分不同变化检测方法的精度，以混淆矩阵为基础，进一步计算采用以下指标：精确率（Precision）、召回率（Recall）以及F1分数（F1-score）进行研究分析。

精确率是指预测为正类的变化像素占预测变化像素的比例；召回率指预测为正类的变化的像素占实际变化像素的比例；F1分数同时兼顾了精确率和召回率，可看作模型精确率和召回率的一种加权平均。表4中横行代表真实变化的类别，竖行代表预测变化类别。

表4 林地变化检测混淆矩阵

Table 4 Forest land change detection confusion matrix

	预测值
真实值	未变化-0	林地变化非林地-1	非林地变化林地-2
未变化-0	N₀₀	N₀₁	N₀₂
林地变化非林地-1	N₁₀	N₁₁	N₁₂
非林地变化林地-2	N₂₀	N₂₁	N₂₂

新窗口打开| 下载CSV

以上指标的计算公式为：

P r e c i s i o n = \frac{T P}{T P + F P}

（2）

R e c a l l = \frac{T P}{T P + F N}

（3）

F 1 = \frac{2 P r e c i s o n \cdot R e c a l l}{P r e c i s i o n + R e c a l l}

（4）

以变化类型（林地变化非林地-1）为例，TP（True Positive）指被正确预测的林地变化非林地样本数N₁₁，FN（False Negative）为错误预测成其他变化类型（N₁₀+N₁₂），TN（True Negative）指正确预测其他负类变化类型（N₀₀+N₂₂），FP（False Positive）为其他负类变化类型预测为正类变化类型样本（N₀₁+N₂₁）。

4 结果与分析

实验在测试集上测试保存训练最优模型的效果，输出相关林地变化类别的混淆矩阵，通过计算相关指标来评估测试数据上的变化检测效果（表5），此外，并将原始混淆矩阵横轴归一化（图4）。主干特征提取网络ResNet50和添加了轻量级注意力机制的CBAM和SE预训练全卷积神经网络，与目前主流孪生神经网络变化检测模型FC-Siam-conc、FC-Siam-diff对比，下列各项指标采用Macro avg（宏平均）的方式进行计算总体效果指标。

表5 不同方法变化检测指标对比

Table 5 Comparison of change detection indicators of different methods

编号	方法	主干提取网络	变化类别	精确率	召回率	F1分数
1	Ours	ResNet50	Class0	96.48	94.59	95.53
			Class1	76.25	75.52	75.88
			Class2	54.06	78.49	64.02
			Macro avg	75.60	82.87	78.48
2	Ours	ResNet50+CBAM	Class0	96.60	95.71	96.15
			Class1	75.41	81.63	78.40
			Class2	66.23	67.33	66.78
			Macro avg	79.41	81.59	80.44
3	Ours	ResNet50+SE	Class0	95.81	98.57	97.17
			Class1	87.12	77.12	81.81
			Class2	90.86	56.80	69.90
			Macro avg	91.26	77.50	82.96
4	FC-Siam-conc	—	Class0	96.66	89.50	92.94
			Class1	75.97	87.61	81.37
			Class2	21.71	49.50	30.18
			Macro avg	64.78	75.53	68.16
5	FC-Siam-diff	—	Class0	95.90	95.20	95.55
			Class1	83.84	83.64	83.74
			Class2	37.77	44.10	40.67
			Macro avg	72.50	74.30	73.32

新窗口打开| 下载CSV

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 各类变化检测方法归一化混淆矩阵（对应表5方法编号）

Fig.4 Normalized confusion matrix of various change detection methods

4.1　模型精度对比与分析

为了验证注意力模块的有效性，采用两种不同的轻量化注意力机制CBAM、SE，从表（5）中的指标来看未添加的孪生残差神经网络召回率更高，但精确率偏低，有部分变化被误检，F1分数相对更低。其中添加了CBAM注意力机制的精确率提高了3.81%，F1分数提高了1.96%；添加了SE注意力机制的精确率提高了15.66%，F1分数提高了4.48%。证明了在主干特征提取ResNet50上添加注意力模块具有很好的效果。从F1指标来看其中主干特征提取网络ResNet50中添加注意力机制CBAM、SE模块效果更好，其中添加了SE注意力机制的精确率（Precision）更优。从各个类别指标来看添加了轻量化注意力机制的孪生残差神经网络在检测Class2这个类别效果更好（Class0代表未变化、Class1代表林地变化非林地、Class2代表非林地变化林地）。

从表5结果来看，实验提出的3种方法对比FC-Siam-conc精确率分别高10.82%、14.63%、26.48%；召回率分别高7.34%、6.06%、1.97%；F1分数分别高10.32%、12.28%、14.8%。对比FC-Siam-diff精确率分别高3.1%、6.91%、18.76%；召回率分别高8.57%、7.29%、3.2%；F1分数分别高5.16%、7.12%、9.64%。从图（4）混淆矩阵图可以看出，FC-Siam-conc和FC-Siam-diff方法识别Class2结果较差。由此可知本文提出的方法比 FC-Siam-conc、FC-Siam-diff对于非林地变化为林地识别效果更佳，更适合林地变化检测任务。

4.2　变化检测结果对比与分析

与孪生神经网络FC-Siam-conc、FC-Siam-diff变化检测模型对比，本研究提出的孪生残差神经网络效果能预测较多的变化区域并且预测较多的变化区域且变化区域的边界较完整，但还是存在误检的现象。目前应用深度学习方法解决林地变化检测的方法还很少，由于林地变化检测数据收集难度大，难以在大规模数据集上训练且林地多为山区，季节和坡度导致的阴影产生伪变化，未来考虑阴影对林地变化检测影响，并为此设计适合针对性的损失函数。且同时需要其他地区的数据作为验证集进一步验证本研究提出网络的适用性。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 变化检测可视化结果（对应表5方法编号）

Fig.5 Visualization of change detection results

5 结论

以林地变化检测任务为出发点开展研究，利用2015年和2020年两期高分二号遥感影像为数据源，在浙江省建德林场地区制作一套分辨率为1 m的林地变化检测数据集，并构建具有轻量化注意力机制的孪生残差神经网络实现端对端的林地变化检测，其具有空间注意力模块和通道注意力模块，实现具有更有强上下文语义特征提取能力的变化检测网络。并且与最后的结果进行混淆矩阵归一化并计算常见的变化检测评价指标。主要结论如下：

（1）研究提出的孪生残差神经网络在林地变化检测任务中表现了非常优秀的能力，与目前主流的孪生神经网络FC-Siam-conc、FC-Siam-diff效果更好。

（2）小样本在应用中存在相对较多的误检，样本量对于模型应用的精度和泛化能力有显著提升作用。使用Focal Loss解决样本不平衡问题，网络更加关注难分数据量少的类别。

由于数据集、地区单一性因素限制样本数量，未来考虑添加北方等地区不同树种类型的林地样本进行训练以增强模型鲁棒性。未来利用考虑多源数据例如添加SAR影像，来提高变化检测精度。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

FAO. The State of the World’s Forests 2018-forest Pathways to Sustainable Development［M］. Rome， Lincence：CC By-NC-SA3.0 IGO，2018.