遥感技术与应用, 2022, 37(1): 161-172 doi: 10.11873/j.issn.1004-0323.2022.1.0161

青促会十周年专栏

基于网络图的地基激光雷达复杂树木点云枝叶分离方法

林筱涵,1,2, 李爱农,1, 边金虎1, 张正建1,2, 南希1

1.中国科学院水利部成都山地灾害与环境研究所数字山地与遥感应用中心,四川 成都 610041

2.中国科学院大学资源与环境学院,北京 100049

A Method for Separating Leaf and Wood Components of Complex Tree Point Cloud Data based on Network Graph with Terrestrial Laser Scanning

Lin Xiaohan,1,2, Li Ainong,1, Bian Jinhu1, Zhang Zhengjian1,2, Nan Xi1

1.Center for Digital Mountain and Remote Sensing Application,Institute of Mountain Hazards and Environment,Chinese Academy of Sciences,Chengdu 610041,China

2.University of Chinese Academy of Sciences,Beijing 100049,China

通讯作者: 李爱农(1974—),安徽庐江人,男,研究员,主要从事山地定量遥感及其应用研究。E⁃mail:ainongli@imde.ac.cn

收稿日期: 2021-10-08   修回日期: 2022-01-05  

基金资助: 国家重点研发计划项目“山地生态系统全球变化关键参数立体观测与高分辨率产品研制”.  2020YFA0608700
国家自然科学基金项目“山地典型生态参量遥感反演建模及其时空表征能力研究”.  41631180

Received: 2021-10-08   Revised: 2022-01-05  

作者简介 About authors

林筱涵(1996—),山东威海人,男,硕士研究生,主要从事激光雷达遥感研究E⁃mail:linxiaohan@imde.ac.cn , E-mail:linxiaohan@imde.ac.cn

摘要

地基激光雷达树木点云数据的枝叶分离是精确计算地上生物量和叶面积指数的重要前提,也是树木三维建模的重要步骤。然而,山地复杂树木冠幅大且结构复杂,从而造成树叶与枝干之间的相互遮挡,因此很难获取高质量的点云数据,目前对其实现枝叶分离依然存在较大的困难。利用地基激光雷达FARO Focus3D X330获取三维激光点云数据,提出了一种基于网络图的树木点云枝叶分离方法。首先,采用LeWos模型对点云进行初步的枝叶分离,分离出枝干和叶片点云。在此基础上,针对枝干和叶片混合点云通过路径追踪检测算法来精细分离枝干和叶片。随着路径长度从10增加到100,枝干点不断增加,叶片点不断减少,枝叶分离精确度、枝干F分数、叶片F分数、Kappa系数均先增加后减少。综合这4项精度评价指标,选取各个树木最优路径长度执行路径追踪检测算法。通过与LeWos模型、Tlseparation模型和高斯混合模型等主流枝叶分离方法比较发现,该方法精度更优,精确度为91.97%。而且,该方法的枝干F分数和叶片F分数均大于85%,这表明该方法具有很好的平衡性。该方法仅使用路径长度,不考虑几何特征,因此极大地提高了针叶树木的枝叶分离精度。同时,该方法对不同树种、不同密度点云枝叶分离效果均较好,鲁棒性强。精确的树木点云枝叶分离对森林资源管理和生物多样性研究等具有重要意义。

关键词: 地基激光雷达 ; 枝叶分离 ; 网络图 ; LeWos模型 ; 路径追踪检测算法

Abstract

The leaf and wood separation of the terrestrial laser scanning tree point cloud data is an important prerequisite for the accurate estimation of above-ground biomass and leaf area index, and it is also an important step for three-dimensional modeling of a tree. However, complex trees in mountain areas have large crowns and complex structures, resulting in mutual occlusion between leaves and branches. Therefore, it is difficult to obtain high-quality point cloud data. At present, it is still difficult for complex trees to separate leaf and wood components. High-resolution point clouds were acquired with Faro Focus3D X330. This paper proposes a method for leaf and wood separation of tree point cloud based on network graph. First, the LeWos model is used to perform preliminary leaf and wood separation on the point cloud, and separate the wood and leaf point cloud. On this basis, the path retrace detection algorithm is used to finely separate the leaf and wood for the mixed point clouds. As the retrace steps increases from 10 to 100, the wood points continue to increase, the leaf points continue to decrease, the accuracy, wood F-score decreases, leaf F-score and the Kappa coefficient first increases and then decreases. By comparing with LeWos model, Tlseparation model and Gaussian mixture model, it is found that the research method in this paper has the better precision, with an accuracy of 91.97%. Moreover, the wood F-score and leaf F-score of the proposal method are both greater than 85%, which means that the proposal method has a good balance when classifying wood and leaf. The proposal method only uses the retrace steps and does not consider the geometric characteristics, so the accuracy of branch and leaf separation of coniferous trees is greatly improved. At the same time, the method in this paper has a good effect on the separation of wood and leaf components of point clouds with different densities and different species. Therefore, the method in this paper is more robust. Accurate wood and leaf separation of tree point clouds is of great significance to forest resource management and biodiversity research.

Keywords: Terrestrial laser scanning ; Leaf and wood separation ; Network graph ; LeWos model ; Path trace detection algorithm

PDF (4837KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

林筱涵, 李爱农, 边金虎, 张正建, 南希. 基于网络图的地基激光雷达复杂树木点云枝叶分离方法. 遥感技术与应用[J], 2022, 37(1): 161-172 doi:10.11873/j.issn.1004-0323.2022.1.0161

Lin Xiaohan, Li Ainong, Bian Jinhu, Zhang Zhengjian, Nan Xi. A Method for Separating Leaf and Wood Components of Complex Tree Point Cloud Data based on Network Graph with Terrestrial Laser Scanning. Remote Sensing Technology and Application[J], 2022, 37(1): 161-172 doi:10.11873/j.issn.1004-0323.2022.1.0161

1 引 言

树木特征参数,如树高、冠幅、叶面积指数等是许多环境应用的关键参数,比如生态系统生产力模型、森林管理以及疾病和胁迫检测等1-4。人工获取这些特征参数会消耗大量的时间和人力。地基激光雷达(Terrestrial Laser Scanning, TLS)的出现为定量化提取单木特征参数带来了新的方向。地基激光雷达是一种主动遥感技术,它发射短波长激光,根据计时器记录的激光速度和飞行时间来测量传感器和目标之间的距离5。然后,根据角度编码器收集的激光发射角度,将距离转换为三维结构信息。激光雷达具有很多优势,比如高空间分辨率、高通量、高重复性和独立于光照条件,这使得它非常适合实地的大范围测量67。而且,短波长激光可以穿透植被冠层,从而获得植被内部特性,这弥补了光学遥感的不足8。近年来,地基激光雷达已经广泛应用于测量森林结构参数9-11、叶倾角分布函数12-14以及树木的三维建模等15-17

获取精确的叶面积指数和地上生物量等植被参数则需要进行枝干点和叶片点的分离,即枝叶分离。目前,实现枝叶分离的方法主要有两种:基于回波点云强度的方法和基于几何的方法。基于强度的方法使用激光扫描仪捕捉到的对象辐射信息,它假设在激光扫描仪波长下,枝干和叶片具有不同的光学属性18。例如,Côté等15利用树干和叶片对红外波段的反射率差异,即枝干相较于叶片有更高的反射率,实现了枝干点和叶片点的分离。Strahler等19和Danson等20提出使用两个不同波段的激光扫描仪来进行枝叶分离,这极大提高了枝干和叶片分离的精度。尽管基于强度的方法可以实现枝叶分离,但是光学属性易受波长、距离和入射角度的影响,通用性较低。除此之外,茂密的森林会产生混合回波,这可能与潜在的光谱反射率变化相混淆1821。而且采用基于强度的方法需要更为细致的辐射校正,Calders等22也发现不能将特定扫描仪进行的辐射校正转移到其他的扫描仪上,这限制了它的应用。

基于几何的方法仅使用激光扫描仪捕获的最基本信息点云三维坐标,因此具有更大的潜力和通用性。基于几何信息的枝叶分离主要分为监督分类和非监督分类。基于机器学习的监督分类发展极快并且可能适合任何树木的点云数据23,如支持向量机(SVM)24、高斯混合模型(GMM)25 和随机森林(RF)26 等,已经广泛用于枝叶分离。基于机器学习的监督分类的主要缺点是需要训练数据。首先,人工从点云中区分枝干和叶片十分繁琐并且在大规模森林中不现实。其次,训练数据的空间分布极大影响机器学习方法的整体性能。树干、枝条和叶片上的点需要仔细覆盖,这对于人工操作可行性很小。一部分非监督分类方法寻求枝干和叶片的特定几何特征。例如,Li等27通过假设叶片表面基本水平来分离木兰树的叶子;Tao等18假设树干和枝条是圆形或类圆形。然而,这些方法仅应用于多景扫描的单棵树木,它是否能用于自然森林场景尚不清楚。近年来,基于网络图的方法越来越多的应用于非监督分类。它首先将点云转化为网络图,然后基于最短路径算法等图论的方法完成枝叶分离。例如,Vicari等28利用最短路径算法来探测高频率路径,并与几何特征结合来进行枝叶分离,取得较好的效果。非监督分类方法不需要人工介入和选取训练数据,而且精度较高。

综上所述,现有的非监督分类方法大多针对木兰或香樟等结构较为简单的树木1829-30,对复杂树木的研究较少。复杂树木高且冠幅大,枝干与叶片的相互遮挡严重,从而使得激光雷达点云数据获取不完全,为枝叶分离增加了难度。而且在山地环境下,获取高质量的点云数据亦存在着挑战。为了实现山地复杂树木点云的枝叶分离,本研究提出了基于网络图的非监督分类方法。LeWos模型基于网络图递归点云分割和分类正则化实现枝叶分离,其在热带树木上的枝叶分离精确度可以达到0.9131。因此,实验首先采用LeWos模型31对点云进行初步的枝叶分离,分离出枝干或叶片点云。在此基础上,针对枝干和叶片混合点云通过路径追踪检测算法来精细分离枝干和叶片。通过与LeWos模型、Tlseparation模型和高斯混合模型等现在主要应用的方法相比,本实验所提出的方法精度更优。实验的主要目标如下:①采用基于网络图的非监督方法,提高山地复杂树木点云的枝叶分离精度;②探索路径长度、树种和点云密度等对本实验方法分离精度的敏感性。

2 研究区与数据

研究区位于四川省绵阳市平武县境内的王朗国家级自然保护区(王朗山地生态遥感野外综合观测试验站点位置),其地理位置为103°55′~104°10′ E,32°49′~33°02′ N。王朗地处青藏高原东缘,地势西北高东南低,最高海拔为4 881 m,最低海拔为2 428 m(图1),坡度多在30°以上。选择王朗国家级自然保护区内一个15° 坡度30 m×30 m的地块作为样地,该样地为针阔混交林,主要树种包括红桦(Betula albosinensis Bruk)、黑桦(Betula dahurica)、糙皮桦(Betula utilis D.Don)和冷杉(Abies delavayi Franch)等,林下植被主要有高山柳(Salix cupularis)、金露梅(Potentilla fruticosa L.)等灌丛。该样地树木高度不一,形态各异,而且树木之间遮挡严重,这为高精度点云获取增加了难度。

图1

图1   研究区

审图号:GS(2019)3266

Fig.1   Study area


利用FARO Focus3D X330三维地基激光扫描仪获取该样地的点云数据,数据获取时间为2021年7月24日。扫描当天天气状态良好,无风无雨,因而扫描精度较高。该扫描仪有着97 Hz的最大扫描频率和大扫描范围(水平360°,垂直300°),在244 kHz的脉冲率下操作,扫描距离为330 m,能够获取较好测距精度和角度精度的点云,仪器性能指标见表1

表1   FARO Focus3D X330技术参数

Table 1  Technical parameters of FARO Focus3D X330

参数类型参数值
激光波长/nm1 550
扫描速度/(pts/s)976 000
测量范围/m0.6~130(反射率为90%的物体)
扫描范围/°水平:360°;垂直:300°
角度分辨率/°水平:0.009°;垂直0.009°
激光等级class 1
彩色全景三维相机7 000万像素

新窗口打开| 下载CSV


考虑到该树木以及树木之间的树叶与枝干相互遮挡的现象,为了获得准确全面的样地三维点云数据,设立6站对该样地进行扫描。扫描完成后,将数据导入FARO SCENE软件中进行自动配准,配准精度为0.07 mm(图2)。在LIDAR360中进行单木分割,共分割出12棵树木,将其编号为Tree1-Tree12,各树形态分明,具体参数见表2。其中红桦、糙皮桦和黑桦为落叶阔叶树木,冷杉为常绿针叶树木。在CloudCompare中分别对它们进行人工枝叶分离,作为验证数据与本实验方法所处结果作比较。

图2

图2   样方点云

Fig.2   plot point clouds


表2   树木数据描述

Table 2  Tree data description

ID树高/m枝干点叶片点冠幅/m树种
Tree120.491 609 3012 395 49016.68红桦
Tree219.59206 88768 34114.59糙皮桦
Tree315.7657 21941 22510.32冷杉
Tree418.5636 48227 11713.69糙皮桦
Tree515.3539 06912 3947.82冷杉
Tree612.5031 6163 1443.83冷杉
Tree715.724 039 9522 168 60414.64黑桦
Tree822.3624 15812 44913.76冷杉
Tree910.9828 66419 0014.67红桦
Tree1011.20150 4361 033 1235.26冷杉
Tree1116.9475 22466 51612.59红桦
Tree1214.6175 10687 78611.73红桦

新窗口打开| 下载CSV


3 研究方法

首先介绍研究所采用的基于网络图的方法;其次,介绍与本文方法所相比较的两种模型,包括Tlseparation模型28和高斯混合模型25这种机器学习模型;最后,描述精确度、F分数和Kappa系数3种精度验证指标。

3.1 网络图方法

首先,采用LeWos模型对点云进行初步的枝叶分离,分离出枝干或叶片点云。在此基础上,针对枝干和叶片混合点云通过路径追踪检测算法来精细分离枝干和叶片。

3.1.1 LeWos模型

LeWos模型是一种基于点云网络递归分割和分类正则化的方法31。在网络图的构建中,该方法融合了点云密度和逐点特征信息。采用的逐点特征为垂直度(法向量z组分的绝对值),将其表示为Nz,并且Nz[0,1]。首先,一个点连接其10个最邻近点来构造连接图32,然后,根据以下条件来修剪边:

eij=True  if1Nzi-Nzj<Nz_thres      2dij<dij¯+σij         3dij<max(dij)¯+σmax(dij)False                                                      

其中:eij为邻近点的连接边。条件1中的<Nz_thres是一个控制特征相似性的阈值,它通常介于0.1和0.2之间,是LeWos模型唯一需要明确的参数33。条件2中的dij指的是一个点与其一个邻近点的欧几里得距离,dij¯是到所有邻近点的平均距离以及σij为标准差。因此,条件2控制局域点云密度连接性。条件3中的max(dij)为最远邻近距离。因此,条件3通过移除长边来控制全局点云密度连接性,然后,通过寻找连接组分来分割网络图节点34,将这种分割方法递归地应用于先前分割的每个聚类。点特征和邻域在每次迭代后都会更新,这样叶子和枝干的点最终会变得更容易区分。当没有聚类可以进一步分割时,迭代停止。

通过测试每个分割的线性度和尺寸可以分出枝干组分33。分割的尺寸指的是其包含点的数目。线性度定义为(λ1-λ2)/λ1,其中λ1λ2λ3为降序排列的协方差矩阵的3个特征值。对于分割尺度的计算,协方差矩阵由一个分割中的所有点得来,而不是其邻近点。直接应用上述方法意味着有尺寸和线性度上两个阈值,它们都需要用户判断或测试微调,这就限制了算法通用性。因此,该算法通过测试一系列可能的阈值来推断类别概率,然后计算被指定为叶片或枝干类别点的概率35

然而,由于数据遮挡,可能一些枝干不会被检测到。因此,将它们分成枝干的概率就不显著,相应的分类结果就会不同,可以通过正则化的方法来解决36

3.1.2 路径追踪检测算法

通过假设树是一个网络,其中每一个结构都从根部连接到叶片,可以采用最短路径算法来检测出出现树干和较大枝条等频率较高的路径。检测开始于将点云转化网络图,在网络图中每个点代表一个节点以及邻近点之间的连接代表边。点之间的距离为边的权重。网络图一经创建,所有节点到根节点(点云中的最低点)的距离将由最短路径算法计算。

路径追踪移除了大多数叶片所在的端点。追踪后执行间隙填充过程。在追踪检测到的每个点周围选择一定点作为邻域集。路径距离比邻域集的中心点(已被检测到)更短的点也被标记为检测到的点。重复进行此过程,直到没有点可以被检测为止。路径追踪检测对枝干和较大的分支效果更好28

3.2 Tlseparation模型

Tlseparation模型结合了高斯混合模型和路径探测算法28。通过不同邻域半径计算出的几何特征,代入高斯混合模型完成逐点分类。路径探测算法分为路径频率检测算法和路径追踪算法。路径频率检测假设树干和大枝条节点有更高的路径通过频率。通过最短路径算法创建一个包含每个点到根节点部分的点列表。计算在这些路径列表中每个点的次数,由于频率范围随着点数的增加而迅速增加,因此使用路径频率的对数。超过最大对数频率一半的点将划分为枝干。通过检查固定半径内其他节点的数量,可以删除检测为枝干的孤立节点。对于选择为枝干的每个节点,将执行另一个固定半径的邻域搜索,并且还将该半径内的所有点都设置为枝干。设置这两个半径可以过滤掉可能为叶片的点,然后选择可能也是枝干的相邻点。由于在整个点云上进行了固定的半径搜索,路径频率检测更适合于检测更精细的分支结构。在分离之后,采用众数平滑、特征平滑、聚类平滑和路径平滑4种方法来进一步优化枝叶分离结果。

3.3 高斯混合模型

由于树木点云枝叶分离相当于一个二分类问题,许多机器学习方法得以应用其中。本实验选取高斯混合模型来与本文方法进行对比,以每个点相邻的200个点为邻域,计算几何特征,提取30%的树木点为训练数据,采用高斯混合模型进行枝叶分离。高斯混合模型使用的是无标注数据,进行非监督分类。

首先需要计算树木点云的几何特征。q=(x,y,z)R3代表三维空间中的点,则Q={qiR3|i=1,2,...,N}代表一个森林的点云。它隐含地包含基于邻域点集的不同空间分布模式下的树木元素的结构信息。邻域点集是在给定点周围一定距离内的点云数据子集,定义为:

VR(q')={qR3|dist(q-q')R}

其中:q'(x',y',z')为中心点,q(x,y,z)为中心点的邻域点;R为半径;dist(q-q')为点qq'之间的欧几里得距离。矩阵形式可以表示如下:

矩阵A=x1y1z1x2y2z2xnynznn×3为邻域点集VR(q')VR(q')的中心矩阵为B=x'y'z'x'y'z'x'y'z'n×3

VR(q') 的协方差矩阵可以写为:

Ccov=1n(A-B)T(A-B)

协方差矩阵的特征值次序为λ0λ1λ2,可以用于定量表征给定邻域点集的空间分布模式。

通常,来自不同树木元素的点集具有3种不同的空间分布模式,可以总结为:①叶子和花朵的点是随机分布的,对应的特征值为λ0λ1λ2;②树干和枝条的是线性分布的,对应特征值为λ0λ1λ2,并且λ0远大于其他两个特征值;③地面点的特征值可以表示为λ0λ1λ2,并且λ2 远小于其他两个特征值。基于这3个特征值,本研究选取Ma等25和Wang等37研究中的5个几何特征(表2)进行枝叶分离。

表2   几何特征

Table 2  Geometric features

特征公式参考文献
显著特征1λ2[25]
显著特征2λ0-λ1[25]
显著特征3λ1-λ2[25]
平面度(λ1-λ2)/λ1[37]
线性度(λ0-λ1)/λ0[37]

新窗口打开| 下载CSV


高斯混合模型利用上述几何特征进行枝叶分离。高斯混合模型是一种使用概率分布来估计给定特征向量的可能性的建模技术,其假设类别服从正态分布密度函数。对于二分类问题,可以用两个概率密度函数的线性组合来估算连续概率密度函数:

p(x)=k=1mwkp(x|k)

其中:wk为每个概率密度函数的权重;p(x|k)为点x属于第k密度函数的条件概率。点xi位于参数μΣ 分布的概率为:

N(μk,k)=e-12(xi-μk)T-1(xi-μk)2πΣ

本研究中使用人工区分的训练点来训练高斯混合模型,使用期望最大化算法来估算每一类的μΣ。因此,一个点将被标记为具有最高概率的类别。

3.4 精度验证

使用3个度量来验证枝叶分离的精度:精确度、Kappa系数和F分数。所有度量都是由混淆矩阵的元素(表3)计算而来,它们包含枝干和叶片的正确和不正确的分离结果。

表3   逐点评估枝叶分离结果的混淆矩阵

Table 3  Confusion matrix used in pointwise assessment of separation results

分类类别

实际类别

枝干(Cw叶片(Cl
枝干(W)TwFl
叶片(L)FwTl

新窗口打开| 下载CSV


表3中Tw为正确分类为枝干的数目,Fw为叶片错误分类为枝干的数目,Tl为正确分类为叶片的数目,Fl为枝干错误分类为叶片的数目。精确度由如下公式计算18

accuracy=Tw+TlTw+Fw+Tl+Fl

其中:F分数使用精确度(p)和召回度(r)来计算38。因为F分数是基于正确分类的数目计算的,该度量计算两次来覆盖所有分类:

p=TwTw+Fw×TlTl+Fl
r=TwTw+Fl×TlTl+Fw
F=2×r×pr+p

Kappa系数计算公式如下:

pe=(Tw+Fl)×(Tw+Fw)N×N+(Fw+Tl)×(Fl+Tl)N×N
k=p0-pe1-pe

其中:po为精确度,见公式(6);pe为期望一致率;N为混淆矩阵中所有元素的和。

为了进一步分析枝叶分离的错误,计算了这4种模型分离结果的一类错误和二类错误。一类错误为忽略错误,即枝干点被错分为叶片点的比例;二类错误为冗余错误,即叶片点错分为枝干点的比例。根据表3的混淆矩阵,一类和二类错误可以计算为:

T1=FlTw+Fl
T2=FwFw+Tl

4 实验结果

4.1 路径长度敏感性分析

研究选取路径长度范围为10~100,并以10的增量分析其枝叶分离效果。从图3可以看出,随着路径长度的增加,枝叶分离精确度、枝干F分数、叶片F分数、Kappa系数均呈现出先增加后减少的趋势。路径频率追踪算法是在LeWos算法基础上进行的,由于LeWos算法枝叶分离结果枝干点少、叶片点多,因而有一部分枝干点被错分成叶片点。随着路径长度增加,叶片点减少,枝干点增多,枝叶分离的结果就越来越标准,从而使得精确度增加直到达到最大。然而,在这之后,继续增加路径长度时,则有一部分叶片点会被错分为枝干,因而各项精度评价指标降低。综合精确度、枝干F分数、叶片F分数和Kappa系数,为每棵树选择最优的路径长度来执行路径追踪算法。

图3

图3   精确度、枝干F分数、叶片F分数及Kappa系数随路径长度变化图

Fig.3   Accuracy, wood F-score, leaf F-score and Kappa coefficient with the change of frequency


4.2 枝叶分离结果比较

图4展示了该样地12棵树木的整体枝叶分离情况,可以看出,除了最右侧的Tree7,其他树木的枝叶分离结果都很好。而且对枝干和叶片的分离具有很好的平衡性,表明本实验方法对不同树种、不同密度的点云具有很好的鲁棒性。

图4

图4   样方枝叶分离结果

Fig.4   The result of separation in the plot


表4展示了本实验方法精度验证的4个指标(精确度、枝干F分数、叶片F分数和Kappa系数)。可以看出,除了Tree7,剩余11棵树的精确度均大于0.8。这12棵树的平均精确度为0.919 7,这体现出实验方法对不同种类、不同结构和不同点云密度的树木均有很好的枝叶分离效果。枝干F分数和叶片F分数的平均值均大于0.85,因此本文方法在分离枝干和叶片上可以达到很好的平衡。换句话说,实验方法并不会将过多的叶片点错分成枝干点。与此同时,也不会把过多的枝干点错分成叶片。尽管Kappa系数不如精确度高,但其平均值依然高于0.8,因此该方法对不同树种均适用。

表4   本实验方法精度指标计算结果 (%)

Table 4  accuracy indicators calculation results of the proposed method

TreeID精确度枝干F分数叶片F分数Kappa系数
Tree188.0486.1175.6989.50
Tree292.7094.987.1182.12
Tree390.0391.0188.8279.89
Tree496.9892.8796.5493.87
Tree596.0897.3992.3189.69
Tree696.4398.0281.6380.54
Tree778.9382.2373.9156.82
Tree890.5693.2484.3677.76
Tree995.7996.4294.8891.30
Tree1084.2988.0177.2365.82
Tree1195.6096.1695.8391.99
Tree1298.1698.0398.2896.31
平均91.9792.8787.2282.97

新窗口打开| 下载CSV


为了客观评价本实验方法,其他3种模型(LeWos模型、Tlseparation模型、高斯混合模型)也被用来测试它们在这12棵树上的表现。分别计算了阔叶树木和针叶树木4个精度评价指标的平均值(表5)。可以看出,本实验方法在精确度、枝干F分数、叶片F分数以及Kappa系数上均表现最优。实验方法的平均精度已经超过0.9,这表明尽管选用12个不同类型的树木,但是大多数树木点正确地分为枝干点和叶片点。因此,本实验方法对不同树木均的枝叶分离表现不错,也表明该方法通用性较好。同时,本实验方法极大地提高了针叶树木的枝叶分离精度。针叶树木因其点云不连续且针状特征不明显,其他方法对其实现枝叶分离难度较大。实验因使用路径追踪检测算法,不考虑其几何特征,仅关注路径长度,因此可以提高精度。而且,本实验方法的枝干F分数和叶片F分数均大于0.85,这表明该方法对不同种类、不同密度的树木点云枝叶分离具有很好的平衡性。因此,本实验方法比其他3种模型具有更好的稳定性。

表5   精确度、枝干F分数、叶片F分数和kappa系数平均值比较 (%)

Table 5  The comparison of accuracy,F score for wood, F score for leaf and kappa coeffient

树木类型模型精确度枝干F分数叶片F分数

Kappa

系数

阔叶树木LeWos模型85.1172.9483.8269.81
Tlseparotion模型72.0975.6964.2940.41
高斯合模型75.1977.4969.6847.53
本文方法92.3793.0390.8784.01
针叶树木LeWos模型74.8654.9566.8948.09
Tlseparotion模型73.9178.8859.3738.39
高斯合模型72.5276.8163.8445.73
本文方法91.4592.7885.4678.96

新窗口打开| 下载CSV


4种枝叶分离模型的一类错误和二类错误计算结果见表6。可以清楚地看出,本实验方法一类错误最小,这意味着该方法可以尽可能地检测出枝干点。尽管二类错误比LeWos模型高一点点,但是该方法的一类错误比LeWos模型要低很多。在本实验方法中,一类错误和二类错误的平均值均小于0.12。相较于其他模型,高斯混合模型的一类错误是二类错误的两倍,而LeWos模型的一类错误是二类错误的十倍多。因此,该方法在一类错误和二类错误之间可以达到很好的平衡。

表6   一类错误和二类错误比较 (%)

Table 6  The comparison of Type1 and Type2 errors

TreeID一类错误二类错误
LeWos模型Tlseparation模型高斯混合模型本文方法LeWos模型Tlseparation模型高斯混合模型本实验方法
Tree112.0724.142.245.8020.7645.4235.2319.24
Tree236.3643.1332.8022.490.2213.8213.190.21
Tree341.5837.2333.5516.230.1723.576.574.35
Tree432.3512.0733.215.600.2020.7617.260.91
Tree550.3231.5636.713.420.267.726.273.39
Tree676.6056.7982.5023.710.182.990.011.23
Tree742.2558.7141.3834.9510.3531.0110.249.23
Tree830.3649.4041.113.360.0521.053.3211.61
Tree919.7536.0330.738.021.5825.8414.271.40
Tree1039.9852.5630.435.951.7535.383.4419.57
Tree1113.3914.1733.436.192.0629.5431.011.92
Tree1212.2527.1131.360.792.6937.3436.573.00
平均33.9436.9135.7911.383.3624.5414.786.34

新窗口打开| 下载CSV


为了精确地比较分析,图5~图8展示了4种枝叶分离模型结果的精确度、枝干F分数、叶片F分数以及Kappa系数。这6棵树包含了该样方内的大多数树种,具有代表性。从图5可以看出,本实验方法精确度均为最高。除了Tree7,其他树木应用本实验方法枝叶分离精确度均高于0.8,因此该方法对不同结构、不同树种的树木云具有很好的通用性。关于Tree7,4种模型分离结果的精确度均低于0.8。从图9可以看出,该树结构比较复杂,枝干和叶片交相辉映,因而会有一些叶片错分为枝干。尽管该树4种模型枝叶分离精确度均不高,但本实验方法依然取得了最高的精确度。图6图7比较了枝干和叶片的F分数,本实验方法在这6棵树木上均表现最好,因此该方法的平均枝干和叶片F分数都大于0.85(表5)。至于Kappa系数,这4种模型在Tree7上的分离结果均低于0.6。因此,分离这种点云密集、结构复杂的树木点云依然具有挑战性。

图5

图5   6棵树木样本4种模型枝叶分离结果精确度

Fig.5   The accuracy of the four classification results towards these six tree samples


图6

图6   6颗树木样本4种模型枝叶分离结果枝干F分数

Fig.6   The F score for wood of the four classification results towards these six tree samples


图7

图7   6颗树木样本4种模型枝叶分离结果叶片F分数

Fig.7   The F score for leaf of the four classification results towards these six tree samples


图8

图8   6颗树木样本4种模型枝叶分离结果叶片kappa系数

Fig.8   The kappa coefficient of the four classification results towards these six tree samples


图9

图9   三个样本枝叶分离错误分布

(第一列为Lewos模型,第二列为Tlseparation模型,第三列为高斯混合模型,第四列为本文方法。棕色点为分类正确枝干的点,绿色点为分类正确叶片的点,蓝色点为分类错误的枝干点,红色点为分类错误的叶片点)

Fig.9   The distribution of errors for three samples


为了可视化地分析枝叶分离中的错误,选择了3个样本(Tree1、Tree6和Tree7)来展示它们的错误分布。选择Tree1是因为它的二类错误大于一类错误,Tree6是因为它的一类错误过大,Tree7是因为这4种枝叶分离方法所取得的精确度都较低。在图8中棕色点为分类正确枝干的点,绿色点为分类正确叶片的点,蓝色点为分类错误的枝干点,红色点为分类错误的叶片点。Tree1为红桦,其树木高,冠幅大,枝干特征明显,因而其一类错误较小。但是其叶片点较低,Tlseparation模型使用路径检测算法时容易将叶片点错分为枝干点。从图8(d)可以看出,本实验方法分类结果更好,分离出更多的叶片点,尤其是位于尖端的叶片,本文方法要比其他3种方法好得多,这会极大地提高后续叶面积指数和生物量的计算精度。在图8(e)~图8(g)中,明显一些枝干点被错分成叶片点。这可能是因为Tree6为冷杉且点云较疏,因此有部分枝干点云与叶片点云区分不大,从而造成错分。而本文采用仅考虑路径长度的路径追踪检测算法,极大地提高了对枝干的分离精度,但是同时也造成了底端一些叶片被错分。Tree7为黑桦,树木不高但冠幅很大,而且冠层内部枝干和叶片交错,结构复杂,这极大增加了枝叶分离的难度。

表6所示,4种模型对Tree7的分类结果均有较大的一类错误和二类错误。LeWos模型有部分枝干被错分叶片,而Tlseparation模型则对细枝的探测明显不足且有叶片被错分成枝干。因此,可以发现尽管4种模型对Tree7的枝叶分离均存在一定问题,但本实验方法依然表现更好。

5 讨 论

5.1 本实验方法优势

LeWos模型将部分枝干点错分为叶片,这是因为它假设枝干在任何尺度上都是显性的,而叶片通常为扁平或离散的33。然而,在数据质量不佳的情况下,比如枝干点较少且不连续,则枝干点也呈现出叶片形态,因而容易被错分成叶片点。本实验方法在LeWos模型枝叶分离的基础上进一步采用了路径追踪检测算法。路径追踪算法移除了大多数叶片所在的端点,提升了对枝干和较大分枝的检测效果。当路径长度足够大时,也会出现将叶片点错分为枝干的情况。因而随着路径长度的增加,各项精度评价指标先增加后减少。通过选择最优路径长度,平均精确度从LeWos模型的0.808 4提高到0.919 7。本实验方法一类错误最小,这意味着该方法可以尽可能地检测出枝干点,这也体现出路径检测算法在提取枝干点上的优势。同时,该方法极大地提高了针叶树木的枝叶分离精度。针叶树木因其点云不连续且针状特征不明显,其他方法对其实现枝叶分离难度较大。实验因使用路径追踪检测算法,不考虑其几何特征,仅关注路径长度,因此可以使精度得以提高。而且,本实验方法的枝干F分数和叶片F分数均大于0.85,这表明该方法对不同种类、不同密度的树木点云枝叶分离具有很好的平衡性。

5.2 未来工作展望

研究所选取的山地样方内树木树冠面积大、结构复杂,而且包括针叶和阔叶两种树木,尤其因为强烈的遮挡作用,很难获取高质量的地基激光雷达点云数据。同时,这也进一步在树木的三维重构中引入了很大的不确定性39。视觉检查发现,冠层内部枝叶分离困难(图7)。由于遮挡,冠层内部点云数据质量差,这给枝叶分离增加了难度。Vacari等28提出数据质量是成功枝叶分离的主要前提之一。数据质量依赖于多种因素,例如激光扫描仪特性、扫描设置、配准精度等。为了解决这些挑战,一方面可以使用高地基激光雷达分辨率和最优场扫描标准;另一方面,可以及时调整地基激光雷达数据质量控制40

实验提出的枝叶分离的方法虽然精度较高,但由于叶片和枝干相互遮挡,获取的点云亦不连续,使得分离结果也存在一定的误差。尤其是Tree7有部分枝干点被错分成叶片,Tree7形态较为复杂、点云数量多,为枝叶分离增加了难度。因此,如何实现这种结构复杂且点云密集树木的枝叶分离依然是主要的难题之一。本实验还存在以下问题亟待将来解决。首先,本实验方法没有考虑山地地形的影响,仅仅通过滤波和归一化将树木坐标统一,从而在单木尺度实现枝叶分离。未来的研究可以结合地形因子,进一步实现样方尺度上自动化地枝叶分离。目前虽然存在一些直接在样方尺度上直接实现枝叶分离的算法,然而它们基本只考虑枝干和叶片的几何特征差异,因而可能不适用于针叶或几何特征不明显的树木2541。其次,本研究将林下灌木点云当做噪声点去除,实现树木点云的枝叶分离。而林下灌木在维护生物多样性、促进森林演替发展与天然更新方面发挥着重要作用,因此接下来的工作可以考虑灌木点云的枝叶分离,进而实现林下植被的三维建模。

地基激光雷达树木点云数据的枝叶分离是精确计算地上生物量和叶面积指数的重要前提,也是森林三维建模的重要步骤。根据已有研究,单个树木的三维建模已经取得较大进展,并且都是在平坦地区进行的,而山地区域的森林三维建模应用较少。然而,山地区域约占全球地表空间的24%,而中国的山地面积更是占到了陆地国土面积的65%,是植被集中生长的主要地区。山地在调节区域气候、维持生物多样性和涵养水源等方面具有重要的生态服务功能。因此,山地森林场景的真实构建不仅对能量传输和生物多样性等研究发挥着重要作用,而且对山地辐射传输建模和森林资源管理具有重要意义。

6 结 论

研究提出了一种基于网络图方法的地基激光雷达复杂树木点云枝叶分离的方法。首先,采用LeWos模型对点云进行初步的枝叶分离,分离出枝干或叶片点云。在此基础上,通过选取最优路径,针对枝干和叶片混合点云通过路径追踪算法算法来精细分离枝干和叶片。在与LeWos模型、Tlseparation模型和高斯混合模型等主流方法的比较中,本实验方法精度相对较高,精确度为0.919 7。而且,枝干F分数和叶片F分数的平均值均大于0.85,因此本实验方法在分离枝干和叶片上可以达到很好的平衡。该方法一类错误最小,这意味着该方法可以尽可能地检测出枝干点,这也体现出路径检测算法在提取枝干点上的优势。本实验方法极大地提高了针叶树木的枝叶分离精度。同时,该方法对不同树种、不同密度的点云枝叶分离效果均较好。该方法具有鲁棒性,可期应用于精确估算叶面积指数和地上生物量以及重建山地三维真实场景。

参考文献

Dassort MConstant TFournier M.

The use of terrestrial LiDAR technology in forest science: application fields, benefits and challenges

[J]. Annal of Forest Science, 2011685):959-974. DOI: 10.1007/s13595-011-0102-2 .

[本文引用: 1]

Ma Y CPiao S LSun Z Zet al.

Stand ages regulate the response of soil respiration to temperature in a Larix Principis-rupprechtii plantation

[J]. Agricultural and Forest Meteorology,2014184179-187. DOI:10.1016/j.agrformet.2013. 10.008 .

Srinivasan SPopescu S CEriksson Met al.

Multi-temporal terrestrial laser scanning for modeling tree biomass change

[J]. Foestr Ecology and Management, 2014318304-317. DOI: 10.1016/j.foreco.2014.01.038 .

Liang X LKankare VHyyppa Jet al.

Terrestrial laser scanning in forest inventories

[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 201611563-77. DOI: 10.1016/j.isprsjprs.2016.01.006 .

[本文引用: 1]

Lin Y.

LiDAR: An important tool for next-generation phenotyping technology of high potential for plant phenomics?

[J]. Computers and Electronics and Agriculture, 201511961-73.DOI: 10.1016/j.compag.2015.10.011 .

[本文引用: 1]

Llorens JGil ELlop Jet al.

Ultrasonic and LiDAR sensors for electronic canopy characterization in vineyards: advances to improve pesticide application methods

[J]. Sensors, 2011112): 2177-2194.DOI: 10.3390/s110202177 .

[本文引用: 1]

Msdec SBaret Fde Solan Bet al.

High-throughput phenotyping of plant height: comparing unmanned aerial vehicles and ground LiDAR estimates

[J]. Frontiers in Plant Science, 2017814.DOI: 10.3389/fpls.2017.02002 .

[本文引用: 1]

Berk PHocevar MStajnko Det al.

Development of alternative plant protection product application techniques in Orchards, based on measurement sensing systems: a review

[J]. Computers and Electronics in Agriculture, 2016124273-288.DOI: 10.1016/j.compag.2016.04.018 .

[本文引用: 1]

Yu YGao TZhu Jet al.

Terrestrial laser scanning‐derived Canopy interception index for predicting rainfall interception

[J]. Ecohydrology,2020135):15. DOI:10.1002/eco. 2212 .

[本文引用: 1]

Li Y MSu Y JZHao X Xet al.

Retrieval of tree branch architecture attributes from terrestrial laser scan data using a Laplacian Algorithm

[J]. Agricultural and Forest Meteorology, 2020284107874.DOI: 10.1016/j.agrformet.2019.107874 .

Li Y MGuo Q HSu Y Jet al.

Retrieving the gap fraction, element clumping index, and leaf area index of individual trees using single-scan data from a terrestrial laser scanner

[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2017130308-316.DOI: 10.1016/j.isprsjprs.2017.06.006 .

[本文引用: 1]

Zhao KGarcia MLiu Set al.

Terrestrial Lidar remote sensing of forests: maximum likelihood estimates of canopy profile, leaf area index, and leaf angle distribution

[J]. Agricultural and Forest Meteorology,2015209-210100-113. DOI: 10.1016/j.agrformet.2015.03.008 .

[本文引用: 1]

Bailey B NMahaffee W F.

Rapid measurement of the three-dimensional distribution of leaf orientation and the leaf angle probability density function using terrestrial LiDAR scanning

[J].Remote Sensing of Environment,201719463-76. DOI: 10.1088/1361-6501/aa5cfd .

Liu JWang TSkidmore A Ket al.

Comparison of terrestrial LiDAR and digital hemispherical photography for estimating leaf angle distribution in european broadleaf beech forests

[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 201915876-89. DOI: 10.1016/j.isprsjprs.2019.09.015 .

[本文引用: 1]

Côté J FWidlowski J LFournier R Aet al.

The structural and radiative consistency of three-dimensional tree reconstructions from terrestrial LiDAR

[J]. Remote Sensing of Environment,20091135):1067-1081. DOI:10.1016/j.rse.2009. 01.017 .

[本文引用: 2]

Hu S JLi Z RZhang Z Yet al.

Efficient tree modeling from airborne LiDAR point clouds

[J]. Computers & Graphics, 2017671-13.DOI: 10.1016/j.cag.2017.04.004 .

Calders KOrigo NBurt Aet al.

Realistic forest stand reconstruction from terrestrial LiDAR for radiative transfer modelling

[J]. Remote Sensing, 2018106): 15.DOI: 10.3390/rs10060933 .

[本文引用: 1]

Tao S LGuo Q HXu S Wet al.

A geometric method for wood-leaf separation using terrestrial and simulated LiDAR data

[J]. Photogrammetric Engineering & Remote Sensing, 20158110): 767-776.DOI: 10.14358/pers.81.10.767 .

[本文引用: 5]

Strahler A HJupp D L BWoodcock C Eet al.

Retrieval of forest structural parameters using a ground-based LiDAR instrument (Echidna (R))

[J]. Canadian Journal of Remote Sensing, 200834S426-S40.DOI: 10.5589/m08-046 .

[本文引用: 1]

Danson F MSasse FSchofield L A.

Spectral and spatial information from a novel dual-wavelength full-waveform terrestrial laser scanner for forest ecology

[J].Interface Focus,201882): 20170049.DOI: 10.1098/rsfs.2017.0049 .

[本文引用: 1]

Raumonen PKaasalainen MAkerblom Met al.

Fast automatic precision tree models from terrestrial laser scanner data

[J]. Remote Sensing, 201352): 491-520.DOI: 10.3390/rs5020491 .

[本文引用: 1]

Calders KDisney M IArmston Jet al.

Evaluation of the range accuracy and the radiometric calibration of multiple terrestrial laser scanning instruments for data interoperability

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017555):2716-2724. DOI:10.1109/tgrs.2017.2652721 .

[本文引用: 1]

Disney M IVicari M BBurt Aet al.

Weighing trees with lasers: advances, challenges and opportunities

[J]. Interface Focus, 201882): 14.DOI: 10.1098/rsfs.2017.0048 .

[本文引用: 1]

Yun TAn FLi Wet al.

A novel approach for retrieving tree leaf area from ground-based LiDAR

[J]. Remote Sensing, 2016811): 21.DOI: 10.3390/rs8110942 .

[本文引用: 1]

Ma L XZheng GEitel J U Het al.

Improved salient feature-based approach for automatically separating photosynthetic and nonphotosynthetic components within terrestrial LiDAR point cloud data of forest canopies

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016542): 679-696.DOI: 10.1109/tgrs.2015.2459716 .

[本文引用: 7]

Wang DHollaus MPfeifer N.

Feasibility of machine learning methods for separating wood and leaf points from terrestrial laser scaning data

[J]. ISPRS Annals of Photogrammetry, Reomte Sensing and Spatial Information Sciences,2017: IV-2/W4157-164.

[本文引用: 1]

Li S HDai L YWang H Set al.

Estimating leaf area density of individual trees using the point cloud segmentation of terrestrial LiDAR data and a Voxel-based model

[J]. Remote Sensing, 2017911): 1202.DOI: 10.3390/rs9111202 ..

[本文引用: 1]

Vicari M BDisney MWilkes Pet al.

Leaf and wood classification framework for terrestrial LiDAR point clouds

[J]. Methods in Ecology and Evolution, 2019105): 680-694.DOI: 10.1111/2041-210x.13144 .

[本文引用: 5]

Su Z HLi S HLiu H Het al.

Extracting wood point cloud of individual trees based on geometric features

[J]. IEEE Geoscience and Remote Sensing Letters, 2019168): 1294-1298.DOI: 10.1109/lgrs.2019.2896613 .

[本文引用: 1]

Wang HongshuLi ShihuaGuo Jiaweiet al.

Retrieval of the leaf area density of magnolia woody canopy with terrestrial laser-scanning data

[J].Journal of Remote Sensing,2016204):570-578.

[本文引用: 1]

王洪蜀李世华郭加伟.

地基激光雷达的玉兰林冠叶面积密度反演

[J].遥感学报,2016204):570-578

[本文引用: 1]

Wang DTakoudjou S MCasella E.

LeWoS: A universal leaf-wood classification method to facilitate the 3D modelling of large tropical trees using terrestrial LiDAR

[J]. Methods in Ecology and Evolution,2020113):376-389. DOI:10.1111/2041-210x.13342 .

[本文引用: 3]

Guinard SLandrieu L.

Weakly supervised segementation-alded classification of urban scences from 3D LIDAR point clouds

[M]. Gottingen. Copernicus Gesellschaft Mbh. 2017.

[本文引用: 1]

Wang DBrunner JMa Z Yet al.

Separating tree photosynthetic and non-photosynthetic components from point cloud data using dynamic segment merging

[J]. Forests,201895):23. DOI: 10.3390/f9050252 .

[本文引用: 3]

Klasing KWollherr DBuss Met al. A clustering method for efficient segmentation of 3

D laser data

[M]. New York; IEEE. 2008.

[本文引用: 1]

Raumonen PTarvainen T.

Segmentation of vessel structures from photoacoustic images with reliability assessment

[J]. Biomedical Optics Express,201897):2887-2904. DOI: 10. 1364/boe.9.002887 .

[本文引用: 1]

Landrieu LRaguet HVallet Bet al.

A structured regularization framework for spatially smoothing semantic labelings of 3D point clouds

[J]. ISPRS Journal of Photogrammetry and Remote Sensing,2017132102-118. DOI:10.1016/j.isprsjprs. 2017.08.010 .

[本文引用: 1]

Wang ZZhang L QFang Tet al.

A multiscale and hierarchical feature extraction method for terrestrial laser scanning point cloud classification

[J]. IEEE Transactions on Geoscience and Remote Sensing,2015535):2409-2425. DOI:10. 1109/tgrs.2014.2359951 .

[本文引用: 3]

Sokolova MJapkowicz NSzpakowicz S.

Beyond accuracy, F-Score and ROC: a family of discriminant measures for performance evaluation

[C]∥ Australian Joint Conference on Artificial Intelligence: Advances in Artificial IntelligenceHobart Australia2006.

[本文引用: 1]

de Tanago J GLau ABartholomeus Het al.

Estimation of above-ground biomass of large tropical trees with terrestrial LiDAR

[J]. Methods in Ecology and Evolution, 201892): 223-234. DOI: 10.1111/2041-210x.12904 .

[本文引用: 1]

Paynter IGenest DSaenz Eet al.

Quality assessment of terrestrial laser scanner ecosystem observations using pulse trajectories

[J]. IEEE Transactions on Geoscience and Remote Sensing, 20185611): 6324-6333. DOI: 10.1109/tgrs.2018.2836947 .

[本文引用: 1]

Wan PZhang W MJin S Net al.

Plot-level wood-leaf separation of trees using terrestrial LiDAR data based on a segmentwise geometric feature classification method

[J]. 2020. DOI: 10.21203/rs.3.rs-42032/v1 .

[本文引用: 1]

/