无人机点云与图像跨模态混合融合的乔木林单木尺度树种分类研究

doi:10.11873/j.issn.1004-0323.2024.1.0087

无人机点云与图像跨模态混合融合的乔木林单木尺度树种分类研究

鄢敏^,¹, 夏永华^,¹^,², 王冲³, 孔夏丽¹, 太浩宇¹, 李晨¹

1.昆明理工大学国土资源工程学院，云南昆明 650093

2.昆明理工大学城市学院，云南昆明 650051

3.中国电建集团昆明勘测设计研究院有限公司，云南昆明 650200

Study on Classification of Arbor Tree Species at Single Tree Scale based on Cross-modal Hybrid Fusion of UAV Point Cloud and Image

YAN Min^,¹, XIA Yonghua^,¹^,², WANG Chong³, KONG Xiali¹, TAI Haoyu¹, LI Chen¹

1.Faculty of Land Resources Engineering，Kunming University of Science and Technology，Kunming 650093，China

2.City College，Kunming University of Science and Technology，Kunming 650051，China

3.Kunming Survey and Design Institute Co. ，Ltd. ，China Power Construction Group，Kunming 650200，China

通讯作者: 夏永华，副教授，主要从事三维激光扫描技术与数字摄影测量研究。E⁃mail：617073761@qq.com

收稿日期: 2022-07-20 修回日期: 2023-11-25

基金资助:

国家自然科学基金项目.  41861054
国家自然科学基金项目.  42161067
技术服务项目.  KKF0201956004

Received: 2022-07-20 Revised: 2023-11-25

作者简介 About authors

鄢敏，硕士研究生，主要从事多源遥感融合与林业资源遥感研究E⁃mail:1626020236@qq.com , E-mail：1626020236@qq.com

摘要

为探索机载点云与无人机可见光影像在乔木树种识别与分类领域的应用潜力，提出了一种多模态特征与决策混合融合的无人机单木尺度树种分类识别方法。首先使用Kendall Rank相关系数法与排列重要性分析（Permutation Importance， PI）进行特征选择，采用高效低秩多模态融合算法（Low-rank Multimodal Fusion， LMF）融合点云与影像特征。再引入集成学习，将点云、影像及融合特征分别输入Stacking集成的极限梯度提升机（eXtreme Gradient Boosting， XGBoost）、轻型梯度提升机（Light Gradient Boosting Machine， LightGBM）与随机森林（Random Forest， RF）3个基分类器，最后采用元分类器—朴素贝叶斯进行决策融合。实验数据表明：所提方法独立测试精度达99.4%，较传统的特征串联融合随机森林分类器提升了22.58%，Kappa系数提升了0.285 4。与卷积神经网络（Convolutional Neural Network， CNN）对比实验证明：所提算法在小样本训练的优势明显，且具有更好的泛化能力。

关键词： 多模态融合 ; 单木尺度 ; 树种分类 ; 集成学习

Abstract

To explore the application potential of airborne point cloud and UAV visible light image in tree species identification and classification， a single-tree scale tree species classification and recognition method based on UAV hybrid fusion of multi-modal features and decision was proposed. Firstly， Kendall Rank correlation coefficient method and Permutation Importance （PI） were used for feature selection， and Efficient Low-Rank Multi-Mode Fusion Algorithm （LMF） was used to fuse the selected point cloud and visible image features. Ensemble learning was introduced to input point cloud， image， and fusion features into eXtreme Gradient Boosting （XGBoost）， Light Gradient Boosting Machine （LightGBM）， and Random Forest （RF） base classifiers integrated by Stacking. Finally， the meta classifier， Naive Bayes， is used for decision fusion. The experimental data show that the independent test accuracy of the proposed algorithm is 99.4%， which improves 22.58% compared with the Random Forest classifier by traditional feature concatenate fusion. In addition， the Kappa coefficient also increased by 28.54%. The comparison experiment with Convolutional Neural Network（CNN） shows that the proposed algorithm has obvious advantages in small sample training and better generalization ability.

Keywords： Multimodal fusion ; Single tree scale ; Tree species classification ; Ensemble learning

PDF (6119KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

鄢敏, 夏永华, 王冲, 孔夏丽, 太浩宇, 李晨. 无人机点云与图像跨模态混合融合的乔木林单木尺度树种分类研究. 遥感技术与应用[J], 2024, 39(1): 87-97 doi:10.11873/j.issn.1004-0323.2024.1.0087

YAN Min, XIA Yonghua, WANG Chong, KONG Xiali, TAI Haoyu, LI Chen. Study on Classification of Arbor Tree Species at Single Tree Scale based on Cross-modal Hybrid Fusion of UAV Point Cloud and Image. Remote Sensing Technology and Application[J], 2024, 39(1): 87-97 doi:10.11873/j.issn.1004-0323.2024.1.0087

1 引言

使用遥感技术进行森林树种分类与制图^［1-3］是目前森林资源管理中的重要工作之一。当前大量的遥感树种分类研究通过不同遥感平台采集可见光、多光谱、高光谱影像及激光雷达数据，并利用SVM、RF、CNN等机器学习或深度学习方法建立分类模型，以实现树分尺度或单木尺度的树种分类制图^［4-7］。其中，无人机平台数据因其高细腻度、高分辨率特性，为单木尺度、高精度树种分类与森林信息提取提供了可能^［8］。

近年来，由于遥感手段与方法的不断丰富，多源遥感及多源遥感融合方法已成为当前极为重要的研究方向。2019年，Camile等^［9］融合高光谱影像与摄影测量点云使用支持向量机（Support Vector Machine， SVM）取得了72.4%的整体分类精度。2020年，Somayeh等^［10］对比使用高光谱、可见光影像与冠层高度模型采用3D-CNN进行分类，其中高光谱与可见光数据融合取得了最高的分类精度。2021年，徐逸等^［11］利用机载LiDAR与高光谱影像，对比串联不同特征使用XGBoost分类取得了最高96.41%的总体精度。2022年，徐志扬等^［12］利用机载LiDAR点云数据进行单木分割，利用单木区域影像集成5种卷积神经网络进行决策融合，取得了90.15%的独立测试精度。

上述研究中，多采用特征串联或直接采用单一数据特征进行分类研究，未考虑跨模态数据间的互补关联信息，所用特征不足以全面地反映观测对象的客观状态。由于单一数据源的对象表达较为片面，机载LiDAR点云数据侧重于树木垂直结构信息，而无人机可见光及多光谱影像数据则更侧重于树种光谱色彩及水平结构特征。因此，研究多模态数据融合，挖掘跨模态数据间的互补信息对于多源遥感融合的树种分类研究具有重要的应用价值。目前，多模态数据融合与学习已广泛地应用于文本图像检索^［13］、情感分析^［14］及目标定位、识别^［15］等领域，并在相关任务中取得了优异的使用效果。

基于树的分类模型由于其计算复杂度低、泛化能力强及与人类决策模式近似等优点，已广泛应用于各种分类任务领域^［16-18］。其中，随机森林（Random Forest）^［19］是目前最常用的集成树算法；近年来，XGBoost与LightGBM通过改进梯度提升决策树（Gradient Boosting Decision Tree， GBDT）算法，实现树节点间的并行化，取得了更快的运算效率与更高的准确度^［20-21］。此外，通过组合多个分类模型的集成学习方法是一种有效提高分类精度的手段，其中Stacking算法是最常使用的集成算法之一，其将多个基分类器输出结果作为下一层元分类器的输入，性能表现上优于Bagging、Boosting与Blending等集成算法^［22］。

综上，针对当前研究中多模态数据关联信息挖掘不足的问题，本文拟以亚热带乔木林为研究对象，采用同期采集的机载LiDAR点云与可见光影像，提取点云高度、强度、密度特征与影像区域色彩、可见光指数统计信息等特征。对研究区主要乔木树种：墨西哥柏（Cupressus Lusitanica， CL）、杜仲（Eucommia Ulmoides Oliver， EUO）、油橄榄（Olea Europaea， OE）、云南松（Pinus Yunnanensis， PY）及其它杂树（Other Miscellaneous Tree， OMT）共5个类别715个样本数据进行分类研究。通过Kendall Rank相关系数与排列重要性（Permutation Importance， PI）分析进行特征筛选，采用高效低秩多模态融合（Low-rank Multimodal Fusion， LMF）算法提取特征关联信息，再综合点云、影像与融合特征使用Stacking集成XGBoost、LightGBM、Rodam Forest 3种基分类器，将朴素贝叶斯（Native Bayes）作为元分类器进行树种分类。并采用独立测试集进行精度评价，为树种分类及多源遥感数据融合研究提供参考。

2 数据与研究区

2.1　研究区概况

研究区位于云南省昆明市西山区海口林场宽地坝林区内（24°43′~24°56′N，102°28′~102°38′E），属滇中高原浅切中山地形，“湖泊高原”地貌，亚热带季风气候，海拔1 900~2 200 m。年均气温14.6 ℃，最高气温34.4 ℃，最低气温-7.8 ℃。年均降雨909.7 mm，且集中于6~7月。研究区森林覆盖率为80.46%，主要乔木树种为：华山松（Pinus Armandii Franch）、云南松（Pinus Yunnanensis）、园柏（Sabina Chinensis）、墨西哥柏（Cupressus Lusitanica）、桤木（Alnus Japonica Steud）、桉树（Eucalyptus robusta Smith）、杜仲（Eucommia Ulmoides Oliver）、杉木（China fir）等（图1）。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 研究区概略位置图

Fig.1 General location map of the study area

2.2　数据来源

实验采用DJI M300多旋翼无人机，搭载华测-AA450型激光雷达传感器与禅思P1相机，采集时间为2022年4月9日。飞行航高为75 m，航空摄影的航线重叠率为80%，旁向重叠率为70%。点云拼接采用华测Co Pre软件，正射影像生产使用PIX 4D软件。LiDAR点云数据成果的点云密度为382点/m²，航空摄影数据成果的正射影像分辨率为0.05 m（表1）。

表1 设备技术参数

名称

参数

华测-AA450

机载扫描仪

扫描频率：24万点/秒(单回波)、72万点/秒(三回波)

视场角：70.4°(水平)*4.5°(垂直)

最大测程：450 m

禅思P1相机

焦距：24 mm

画幅尺寸：35.9×24 mm

有效像素：4 500万

新窗口打开| 下载CSV

2.3　数据预处理

研究中点云去噪、滤波、分割和点云参数提取等预处理操作均采用数字绿土公司的LiDAR360软件实现。实验样本通过人工目视解译选取，并进行现场调绘检核，筛选无误后共选取了715株单木样本。样本数量与分布信息如表2与图2所示。

表2 样本数量信息

Table 2 Sample size information

类别	墨西哥柏	杜仲	油橄榄	云南松	其他杂木	总和
数量	203	114	137	140	121	715

新窗口打开| 下载CSV

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 样本分布图

Fig.2 Sample distribution map

实验特征共选取点云参数101维（通过LiDAR360软件提取获得），以及影像指数统计特征41维（色彩及可见光植被指数）。实验使用的可见光植被指数计算公式如下，详细的特征信息如表3与表4所示。

表3 可见光指数变量及其描述

Table 3 Visible light index variable and its description

指数特征变量	变量描述	参考文献	指数特征变量	变量描述	参考文献
红(R)	R=R	—	最大值	$V_{m a x} = M A X (X)$	—
绿(G)	G=G	—	最小值	$V_{m i n} = M I N (X)$	—
蓝(B)	B=B	—	平均数	$V m e a n = (\sum_{i = 1}^{n} x_{i}) / n$	—
绿叶指数(GLI)	$G L I = \frac{((G - R) + (G - B))}{(2 * G + R + B)}$	[20]	方差	$V_{v a r i a n c e} = \sqrt[]{\frac{\sum_{i = 1}^{n} {(x_{i} - M e a n)}^{2}}{n}}$	—
绿红植被指数(GRVI)	$G R V I = \frac{R - G}{R + G}$	[20]	偏斜度	$V_{s k e w n e s s} = \sqrt[3]{\frac{\sum_{i = 1}^{n} {(x_{i} - M e a n)}^{3}}{n}}$	—
红绿蓝植被指数(RGBVI)	$R G B V I = \frac{G * G - R * B}{G * G + R * B}$	[20]	冠幅面积(S)	$S = \sum_{i = 1}^{n} p_{i}$	—
可见大气阻力指数(VARI)	$V A R I = \frac{G - R}{G + R - B}$	[20]	归一化绿红差异指数(NGRDI)	$N G R D I = \frac{G - R}{G + R}$	[20]

新窗口打开| 下载CSV

表4 点云参数特征变量及其描述

Table 4 Point cloud parameter characteristic variable and its description

二次幂平均(1个)

Q P M = \sqrt[]{\sum_{i = 1}^{n} Z_{i}^{2} / n}

强度变量(42个)

强度百分位数四分位数间距(1个)

I n t_I Q = I n t_{75 %} - I n t_{25 %}

三次幂平均(1个)

T P M = \sqrt[3]{\sum_{i = 1}^{n} Z_{i}^{3} / n}

郁闭度

(1个)

郁闭度(CC,1个)

$C C = n_{v e g} / n_{t o t a l}$

( n_veg为植被点数，n_total为总点数)

高度百分位数(15个)

$E l e v = Z_{X %}$ (X=1,5,10,20,

25,30,40,50,60,70,75,80,90,95,99)

叶面积

指数

(1个)

叶面积指数

(LAI, 1个)

L A I = (c o s (a n g) \times l n (G F)) / k

(ang为平均扫描角，GF为间隙率，k为消光系数)

高度百分位数四分位数间距(1个)

E l e v_I Q = E l e v_{75 %} - E l e v_{25 %}

间隙率

(1个)

间隙率(GF, 1个)

$G F = n_{g r o u n d} / n$ ( n_ground为提取Z值

低于高度阈值的地面点数，n为总点数)

新窗口打开| 下载CSV

3 研究方法

3.1　特征选择

3.1.1　相关性分析

由于多源数据的特征维度较高，同源及异源数据间可能存在大量的信息冗余，需采用相关性分析进行特征选择，改善特征向量间多重共线性问题。由于传统的Pearson与Spearman相关系数法数据要求较高，且仅能分析线性相关问题，使用局限强。本研究引入了可以衡量数据非线性相关关系的统计量-Kendall Rank相关系数，其通过两特征向量间排序一致性判断相关性，相比于常用的Pearson与Spearman相关系数具有更好的鲁棒性^［23］。其计算公式如下：

τ = \frac{n_{c} - n_{d}}{\frac{1}{2} n (n - 1)}

(1)

其中： $n_{c}$ 为排序相同的向量对数； $n_{d}$ 为排序不同的对数；n为总样本容量（注：本式不适用于所有特征对元素完全相同的情况）。Kendall Rank相关系数取值范围为［-1，1］之间，其绝对值越大代表相关性越高，其中：（0.8，1］表示极强相关，（0.6，0.8］表示强相关，（0.4，6］表示中等相关，（0.2，0.4］表示弱相关，（0，0.2］表示极弱相关。

3.1.2　排列重要性指数

基于决策树的机器学习算法可基于不纯度测量判断每个特征间的相对重要性，但该类方法偏向于放大高基数特征与连续特征的重要性。本研究采用排列重要性指数法（Permutation Importance， PI）进行特征重要性衡量，该方法通过观察每个特征列进行随机重排后对模型精度的影响来进行评估^［24］。具有计算方便，特征评价准确，可解释性好等优点。算法计算步骤大致如下：

步骤（1）：训练模型。

步骤（2）：打乱需分析的特征数据列，评估精度下降来分析该特征向量的重要性。

步骤（3）：还原特征数据，并重复Step2分析其他特征向量。

由于单次打乱数据存在一定的随机性，所以一般通过多次重复实验来评估PI指数重要性。

3.2　高效低秩多模态特征融合

为研究特征融合，挖掘跨模态多源数据间的互补信息，2015年，Lin等^［25］提出了双线性池化用于融合不同的CNN特征。随着双线性池化特征融合研究的深入，2017年，Zadeh等^［26］提出了张量融合网络（Tensor Fusion Network， TFN），将双线性池化改进后用于跨模态特征融合，挖掘出张量在多模态表示中的优越性。但鉴于该方法的计算复杂性高，特征维度会因输入模态数量而呈指数级增长。2018年，Liu等^［27］通过将张量与权重并行分解，利用低阶因子来执行多模态融合，在保证融合特征性能表现的同时，极大地提升了计算效率。

张量融合是一种有效的特征融合方法，它可以将多模态输入转化为一个高维张量，再线性变换为低维张量输出。Zadeh等通过求外积前在每个特征张量z末尾增加元素1，用于外积计算时保留原特征，特征张量外积计算公式如下：

Z = \otimes_{m = 1}^{M} z_{m}, z_{m} \in R^{d_{m}}

(2)

其中： $\otimes$ 表示张量外积； $z_{m}$ 为加1后的特征张量。

张量外积运算后，还需进行线性变换将其转换为低阶表示，其计算公式如下：

h = W \cdot Z + b; h, b \in R^{d_{y}}

(3)

其中：W为权重；b为偏置量。从上述两式可以看出特征经张量融合后，融合特征维数、相应的权重参数矩阵与计算复杂度将指数级增长，增加了后续处理的过拟合风险。

为此，Liu等通过对权重进行低秩分解，将其转换为一组对应相关模态的低秩权重因子之和，通过求取模态特征与低秩权重因子的Hadamard积，极大地降低了原张量融合的计算复杂性。其计算公式如下：

\begin{array}{l} h = (\sum_{i = 1}^{R} \overset{M}{\underset{m = 1}{\otimes}} w_{m}^{(i)}) \cdot Z + b = \sum_{i = 1}^{R} (\overset{M}{\underset{m = 1}{\otimes}} w_{m}^{(i)} \cdot Z) + b \\ = \sum_{i = 1}^{R} (\overset{M}{\underset{m = 1}{\otimes}} w_{m}^{(i)} \cdot \overset{M}{\underset{m = 1}{\otimes}} Z_{m}) \\ = \overset{M}{\underset{m = 1}{Θ}} (\sum_{i = 1}^{R} w_{m}^{(i)} \cdot Z_{m}) \end{array}

(4)

其中：R为权重分解的秩，直接控制权重参数量大小，影响着数据的拟合能力； $\overset{M}{\underset{m = 1}{Θ}}$ 表示张量的Hadamard积。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 低秩多模态特征融合

Fig.3 Low-rank multimodal feature fusion

3.3　多模态混合融合

研究基于LMF提取影像与点云融合特征，并将原始的影像、点云特征与融合特征分别输入3个基分类器：XGBoost、LightGBM与Random Forest，第二层的元分类器采用朴素贝叶斯（Native Bayes）进行集成。通过保留原特征参与训练进行决策融合，进一步地保障并提升模型性能。本研究提出的多模态混合融合方法计算步骤如下：

步骤（1）：提取样本单木101维的点云单木特征与41维的影像区域指数统计特征。

步骤（2）：对点云与影像指数特征分别进行相关系数分析，剔除极强相关变量，降低同源数据多重共线性。

步骤（3）：合并同源选择后的结果，并再次进行相关性分析，剔除异源的极强相关变量，最后利用排列重要性指数筛选重要参数。

步骤（4）：利用LMF方法，将筛选后的点云特征与影像特征进行融合，并实验对比设置不同融合参数，得到最优融合结果。

步骤（5）：将点云、影像特征与融合特征分别输入基分类器：XGBoost、LightGBM与RF，采用5折交叉验证，提取拼接的训练集分类概率结果与平均的验证集概率结果。

步骤（6）：将基分类器的训练集分类结果输入至朴素贝叶斯元分类器进行训练，并对验证集结果进行再次测试分类，输出最终分类结果。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 多模态混合融合算法总体流程

Fig.4 The overall flow of the multimodal hybrid fusion algorithm

4 结果与分析

4.1　实验环境与精度评价指标

本研究实验环境为AMD Ryzen-5六核CPU、GTX-1650 4G GPU、16G内存、Windows10操作系统；实验平台为MATLAB 2022a、Anaconda 3与Python 3.7。

本研究实验对比中，选用独立测试精度（Test Accuracy，TA）与Kappa系数用于分类算法对比的精度评价。计算公式如下：

T A = \frac{1}{N} \sum_{i = 1}^{r} x_{i i}

(5)

K a p p a = \frac{N \sum_{i = 1}^{r} x_{i i} - \sum_{i = 1}^{r} (x_{i +} \times x_{+ i})}{N^{2} - \sum_{i = 1}^{r} (x_{i +} \times x_{+ i})}

(6)

其中：N为总个体数； $x_{i i}$ 为真值与预测同类个数； $x_{i +}$ 为某真类总和； $x_{+ i}$ 为某预测类总和。总体精度指被正确分类的样本数与总的样本个数的比值，Kappa系数则为分类与完全随机的分类产生错误减少的比例，均为数值越大精度越高。

4.2　特征选择

4.2.1　多重共线性分析

通过计算同源与异源特征间的Kendall Rank系数，相关系数绝对值计算结果如图5~图7所示。排除数据的自相关结果，影像指数与点云参数最高相关系数绝对值均为1，呈极强相关。其中图像指数共计12对极强相关性特征对，涉及18个图像指数特征维；点云参数为524对，共涉及76个点云特征维，点云特征冗余表现更为严重。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 图像特征相关系数图

Fig.5 Correlation coefficients diagram of index parameters

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 点云参数相关系数图

Fig.6 Correlation coefficient diagram of point cloud parameters

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 合并特征相关系数图

Fig.7 Correlation coefficient diagram of combined features

经筛选后，图像指数中共剔除10维数据特征，点云参数剔除了70维数据特征，同源共线性筛选后各保留31维，共计62维特征。通过合并同源筛选后的点云与影像特征，并再次进行相关系数分析。合并参数的最高相关系数绝对值为0.799，无极强相关性特征对，因此不再进一步进行筛选。

4.2.2　特征重要性评估

本研究采用RF作为排列重要性分析的基模型，并采用7∶3划分训练集与测试集。通过10次重复实验进行PI指数评估，以判断影像指数与点云参数中各特征对于分类任务的重要性。评估得到的PI指数结果如图8与图9所示。

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 第1-31重要性特征PI指数图

Fig.8 PI index diagram of important characteristics 1-31

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 第32-62重要性特征PI指数图

Fig.9 PI index diagram of important characteristics 32-62

从十次重复实验得到的PI指数统计结果来看，更重要的前31维特征中共有15维影像指数特征与16维点云参数特征；前31维中影像指数特征重要性均值总和为0.068 24，点云参数重要性均值总和共计0.060 1。整体来看，分类任务中，影像特征重要程度更高，且PI指数波动更小。评估结果中最差特征中，点云与影像特征各有4维，共计8个特征的PI指数均值为0甚至负值，表明这些特征对于分类任务并无贡献，予以剔除不参与后续处理。

4.3　LMF融合特征参数对比实验

由式8可知，低秩多模态融合（LMF）方法中输出特征维数m与权重矩阵的秩R直接影响了后续模型运算的拟合能力与计算效率。实验通过网络搜索确定最优融合参数，使用RF5折交叉验证用于模型精度评价，输出维数m与秩R的取值范围均为［8：200］，数据间隔为8，实验用时与精度对比热图如图10所示。

图10

新窗口打开| 下载原图ZIP| 生成PPT

图10 不同融合参数对比热度图

Fig.10 Heat map of different fusion parameters

从图中实验结果对比来看，随着秩与输出维度的上升，算法稳定性明显下降，且输出维度与秩越大，算法耗时越多。总的来看，网络搜索最优精度约为0.83。综合算法运行效率，实验选取了秩R=8，维度m=128作为最终参数选取结果，以供后续处理环节中特征融合使用。

4.4　不同融合方法实验精度对比

为验证本文提出的多模态混合融合方法性能，本文引入了经典的SVM与RF分类器以及近年来提出的XGBoost与LightGBM模型进行对比。此外，为验证本文决策融合Stacking集成算法的性能，本文引入了Bagging、AdaBoost与Blending 3种经典集成学习算法进行集成方式对比。为充分比较各算法性能，及算法小样本训练的适应能力，本节实验采用7∶3划分训练与测试数据集。不同对比算法的参数设置如表5所示，各算法分类性能对比如表6所示，各集成方式性能对比如表7所示。

表5 各算法参数设置

Table 5 Parameter Settings of each algorithm

SVM

XGBoost

LightGBM

c=15, 55(LMF)

g=0.01

max_depth =5

n_estimators=500

max_depth=5

learning_rate=0.1

n_estimators=500

max_depth=5

learning_rate=0.1

n_estimators=500

num_leaves=60

Bagging

AdaBoost

Blending

Stacking

base_estimator=LightGBM

n_estimators=500

max_samples=10

max_feature=10

base_estimator=LightGBM

n_estimators=500

learning_rate=0.1

base_estimator：

XGBoost、LightGBM、RF

meta_estimator：

Naive Bayes

base_estimator：

XGBoost、LightGBM、RF

meta _estimator：

Naive Bayes

新窗口打开| 下载CSV

表6 各分类算法性能对比

Table 6 Performance comparison of each classification algorithm

名称	数据类型	测试精度/%	Kappa	用时/S
SVM	Point Cloud	78.04	0.722 2	0.012
RF	Point Cloud	68.86	0.604 3	0.016
SVM	Image	80.44	0.751 7	0.011
RF	Image	75.05	0.683 0	0.013
SVM	Concatenate	86.63	0.830 5	0.014
RF	Concatenate	76.85	0.707 0	0.039
SVM	LMF	91.15	0.888 1	0.005
RF	LMF	89.02	0.861 4	0.103
XGBoost	LMF	94.14	0.925 4	0.509
LightGBM	LMF	95.44	0.942 0	0.212
Proposed Method	Proposed	99.40	0.992 4	1.23

新窗口打开| 下载CSV

表7 不同集成方式性能对比

Table 7 Performance comparison of different ensemble methods

名称	数据类型	测试精度/%	Kappa	用时/S
Bagging	Concatenate	96.01	0.949 4	15.510
AdaBoost	Concatenate	97.21	0.964 5	2.215
Blending	Proposed	94.42	0.928 7	1.772
Stacking	Proposed	99.40	0.992 4	1.23

新窗口打开| 下载CSV

从上述结果对比分析来看：首先，通过简单的连接融合不同特征，可使精度较使用单一模态特征略微提升，但提升幅度相对较小。而通过张量融合LMF方法挖掘特征间关联信息，SVM与RF模型的分类精度均有较好的提升。本文提出的特征与决策混合融合方法取得了最优的分类精度，并在效率上优于其他集成算法，测试精度达99.4%，Kappa系数为0.992 4，精度较常用的特征串联RF分类器提升了22.58%，Kappa系数提升了0.285 4。

4.5　与图像卷积神经网络实验对比

图像分类是CNN的基础任务之一，近年来越来越多研究者将其应用于无人机影像树种分类任务。本节实验依旧采用研究数据集，图像通过缩放调整至输入层尺寸，实验选用多种经典CNN模型进行迁移学习，权重参数由ImageNet数据集预训练获得，仅更新底层全连接层权重用于迁移学习。并使用验证集精度（VA）、测试集精度（TA）、测试集Kappa系数（Test Kappa）与训练用时进行综合对比。训练集、验证集与测试集比例为7∶1∶2，并通过反转、平移与缩放等数据增强方法，将训练集扩充至原有的5倍，达2 560张训练图像。训练中，模型学习率设置为0.000 1，Mini Batch Size为8，Epoch为6，模型测试结果对比如表6所示。

表8 CNN算法树种分类性能对比

Table 8 Comparison of tree species classification performance of CNN algorithm

名称	模型深度	验证精度 /%	测试精度 /%	测试集 Kappa	训练用时
Alex Net	8	88.96	88.13	0.848 6	52 s
Google Net	22	87.66	86.30	0.826 5	1 min 19 s
VGG-16 Net	16	82.47	81.74	0.769 5	10 min 2 s
Res Net-18	18	91.56	90.41	0.878 4	1 min 14 s
Dense Net	201	94.81	92.24	0.901 3	23 min 24 s
Shuffle Net	50	87.66	84.02	0.799 4	2 min 27 s

新窗口打开| 下载CSV

从表中可以看出，随模型深度的增加，CNN方法的验证集与测试集精度差异逐渐增大，且需消耗更多的训练时间。CNN实验中，Dense Net精度表现最佳，独立测试精度达92.24%，但由于其网络层数最深，训练用时达23分24秒。整体来看，CNN方法分类性能优异，但其训练时间与空间成本较高，且需大量的标注先验知识进行学习。

4.6　乔木林单木尺度树种分类

通过对比，本文提出的跨膜态混合融合方法在单木样本分类实验中取得了最优异的性能。本节实验通过裁剪获取点云与正射影像数据的重叠部分作为实验区域，再通过LiDAR360软件以0.5 m间距构建CHM；以最小树高2 m、缓冲区50像素以及高斯平滑因子0.7、半径5像素对研究区进行单木分割。并采用本文方法对研究区乔木进行单木尺度树种分类，分类统计结果见表9所示，分割与分类结果如图11所示。

表9 研究区乔木分类统计结果

Table 9 Statistical results of tree in study area

柏树	杜仲	油橄榄	松树	杂木	总数
388	139	524	343	1 096	2 490

新窗口打开| 下载CSV

图11

新窗口打开| 下载原图ZIP| 生成PPT

图11 乔木林树种分类结果图

Fig.11 Tree species classification result map

从结果中可以看出，实验区以柳树、杉树、樟树等代表的景观树、杂生树占比最高，且主要分布于湖畔与道路两侧。松树与柏树则主要分布于试验区北侧与东北侧的山坡；杜仲则夹生于松树与柏树林中，占比较少。而实验区最主要的经济林木-油橄榄则主要分布于湖泊两侧的梯田中，占比约五分之一。

5 讨论

实验利用无人机可见光正射影像与机载lidar点云，识别了研究区人工林亚热带乔木树种分类的关键特征变量，并基于LMF特征融合与Stacking集成算法构建了单木树种的改进分类模型。实验的研究重点主要如下：

（1）森林单木样本的同源特征间表现出明显的变量多重共线关系，即特征冗余。如：绿叶指数最大值（max_GLI）与红绿蓝植被指数最大值（max_RGBVI）、红绿指数均值（mean_GRVI）与可见大气阻力指数均值（mean_VARI）及归一化绿红差异指数均值（mean_HGRDI）等均表现为极强相关。点云特征中累积高度百分位数、高度百分位数、累积强度百分位数以及强度百分位数间存在大量极强相关性特征对。但经同源多重共线性筛选后，点云与图像特征连接的特征冗余程度相对较低。

（2）通过融合植被指数特征与点云特征，明显提升了RF与SVM模型的分类精度，取得较单一特征类别更好的分类精度。此外，影像指数特征在分类任务中表现出更强的PI重要性，这表明影像特征在分类模型的贡献作用更高，相较于点云特征对不同树种的区分度更好。在分类实验中，单一影像指数特征在SVM与RF模型同样也优于点云特征的分类精度。这与过往的一些研究结论一致，如：徐逸等^［9］通过融合高光谱图像与点云数据取得了更好的分类结果，且其中单一类别光谱波段、植被指数与纹理特征相较于点云高度与强度特征的分类精度更高。

（3）从分类实验结果来看，LMF等张量融合方法对于跨模态数据关联信息挖掘存在效果，明显改善了后续模型处理的分类精度，对基于多源遥感的地物分类模型构建具有极大的参考价值。但该融合算法通过随机初始化设置权重参数，后续训练中无法进行学习反馈，模型依旧存在缺乏学习能力与可解释性问题，同样有待后续研究进行改进。

（4）卷积神经网络等深度学习方法是目前多源遥感融合研究的重要发展趋势，但如何挖掘多源遥感的数据优势，处理好多个数据模态间的特征语义差异，如何选择合适的融合策略及如何进行迁移学习等问题依旧是未来多源遥感深度学习领域中亟待解决的重要问题。

（5）实验的单木尺度树种分类研究同样存在一定缺陷，如仅考虑了森林正射视图下的顶层乔木结构，忽略了顶部乔木冠层遮盖的下层小乔木与灌木层数据。很显然，森林植被的单体精细分割与准确分类对于后续的森林生物量、产量及碳储量等森林指标的精确估算研究具有重要意义。因此，森林在三维层面的单体植被精确分割与识别将会是未来森林精细调查的重要发展方向，也是本文未来拓展研究的重要方向。

6 结论

综上，影像指数统计特征间以及点云的高度与强度百分位统计特征间存在大量极强相关性特征对，特征冗余程度高。研究区亚热带乔木分类任务中，影像特征的类别辨识度与重要性优于点云特征，分类效果更佳。本文提出的多模态混合融合算法实验表现优异，取得了99.4%的样本独立测试精度与0.992 4的Kappa系数，综合性能明显优于其他对比算法。此外，与CNN算法的对比中，本文算法以小样本训练且性能更加优异，在分类精度、时间与空间消耗上均取得了更好的成绩。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

LIU

Yijun

， PANG

Yong

， LIAO

Shenxi

， et al.

Merged airborne lidar and hyperspectral data for Tree Species Classification in Puer’s mountainous area

［J］. Forest Research，2016，29（3）： 407-412.