基于不同深度学习模型提取建筑轮廓的方法研究

doi:10.11873/j.issn.1004-0323.2023.4.0892

遥感技术与应用

2023, Vol. 38

Issue (4): 892-902 DOI: 10.11873/j.issn.1004-0323.2023.4.0892

数据与图像处理

基于不同深度学习模型提取建筑轮廓的方法研究

胡腾云¹(

),解鹏飞^1,²(

),温亚楠³,慕号伟³

^1.北京市城市规划设计研究院，北京 100045
^2.北京城垣数字科技有限责任公司，北京 100045
^3.中国农业大学土地科学与技术学院，北京 100083

Research on Building Footprints Extraction Methods based on Different Deep Learning Models

Tengyun HU¹(

),Pengfei XIE^1,²(

),Yanan WEN³,Haowei MU³

^1.Beijing Municipal Institute of City Planning and Design，Beijing 100045，China
^2.Beijing City Interface Technology Limited Liability Company，Beijing 100045，China
^3.College of Land Science and Technology，China Agricultural University，Beijing 10083，China

全文: PDF(7696 KB) HTML

摘要：

建筑是城市精细化管理的基础单元，利用高分遥感影像快速准确地提取城市建筑轮廓信息对于城市规划及管理有着重要意义。研究基于北京二号高分辨率（0.8 m）遥感数据，建立了北京市建筑轮廓样本库，利用多种语义分割模型U-Net、DANet、UA-Net（U Attention Net）和实例分割模型Mask R-CNN、Mask R-CNN FPN、Mask R-CNN RX FPN来提取城市建筑轮廓并开展精度评价，通过对比不同类型建筑（如楼房、别墅及村庄建筑等）的提取效果，最终选择整体精度最高且提取效果最好的U-Net模型提取了北京市域的所有建筑轮廓。结果表明：U-Net、DANet、UA-Net、Mask R-CNN、Mask R-CNN FPN和Mask R-CNN RX FPN模型的分类精度分别为79.37%、65.59%、71.03%、61.82%、52.53%和59.70%，且U-Net模型训练时间相对较少。U-Net模型对于建筑轮廓的提取有良好的表现；对比不同模型的识别效果发现，语义分割模型对于平房型建筑识别较有优势，实例分割模型则适用于提取城区及周边地区独栋楼房别墅的建筑轮廓，这为开展典型建筑轮廓提取任务的模型选择提供了科学依据，并且识别的城市建筑成果在一定程度上解决了城市内部精细尺度研究数据缺失的问题。

关键词： 高分辨率遥感影像; 建筑轮廓提取; 深度学习; 语义分割; 实例分割

Abstract:

Building is the basic unit of urban refined management， the rapid and accurate extraction of urban building footprints based on high-resolution remote sensing images is of great significance for urban planning and management. Based on the high-resolution （0.8 m） remote sensing data of Beijing-2， a sample library of building footprints in Beijing was established. We used multiple semantic segmentation models， U-Net， DANet， UA-Net （U Attention Net） and instance segmentation models， Mask R-CNN， Mask R-CNN FPN， Mask R-CNN RX FPN to extract building footprints， performed accuracy evaluation and compare the extraction effects of different types of buildings （such as buildings， villas and village buildings， etc.）. Finally， we selected the U-Net model with the highest overall accuracy and the best extraction performance to extract all building footprints in the Beijing area. The results show that the classification accuracy of U-Net， DANet， UA-Net， Mask R-CNN， Mask R-CNN FPN and Mask R-CNN RX FPN models are 79.37%， 65.59%， 71.03%， 61.82%， 52.53% and 59.70%， respectively. And the U-Net model training time is relatively short. The U-Net has a good performance for the extraction of building footprints. Comparing the recognition effects of different models， it is found that the semantic segmentation model is more advantageous for the recognition of bungalow buildings， while the instance segmentation model is suitable for single-family buildings and villas in urban and surrounding areas. The study provides a scientific basis for model selection for typical building footprints extraction tasks and our achievement solves the problem of lack of fine-scale research data in cities to a certain extent.

Key words: High-resolution remote sensing images Building footprints extraction Deep learning Semantic segmentation Instance segmentation

收稿日期: 2022-03-21 出版日期: 2023-09-11

ZTFLH:

P237

基金资助: 北京科技计划“首都城市安全综合风险评估的关键技术研发和示范”(Z211100004121014)

通讯作者: 解鹏飞 E-mail: hutengyun88@163.com;x506106211@126.com

作者简介: 胡腾云（1991-），女，山东烟台人，高级工程师,主要从事城市规划、城市遥感研究。E?mail:hutengyun88@163.com

	服务
	把本文推荐给朋友
	加入引用管理器
	E-mail Alert
	RSS
	作者相关文章
	胡腾云
	解鹏飞
	温亚楠
	慕号伟

引用本文:

胡腾云,解鹏飞,温亚楠,慕号伟. 基于不同深度学习模型提取建筑轮廓的方法研究[J]. 遥感技术与应用, 2023, 38(4): 892-902.

Tengyun HU,Pengfei XIE,Yanan WEN,Haowei MU. Research on Building Footprints Extraction Methods based on Different Deep Learning Models. Remote Sensing Technology and Application, 2023, 38(4): 892-902.

链接本文:

http://www.rsta.ac.cn/CN/10.11873/j.issn.1004-0323.2023.4.0892 或 http://www.rsta.ac.cn/CN/Y2023/V38/I4/892

图1 样本库分布及遥感影像与解译样本（包括中高层建筑和平房区等）

图2 深度学习提取建筑轮廓方法对比技术路线

图3 UA-Net网络结构图

图4 实例分割模型结构图

表1 不同模型比较的参数设置

表2 不同深度学习模型精度对比

图5 不同模型的城市内部建筑物轮廓提取结果对比（a）贺村新村（40.058267 N， 116.386069 E）；（b）望京西园-三区（40.000311 N，116.478681 E）；（c）安慧里社区（39.994333 N，116.413703 E）；（d）苏庄地铁站（39.723286 N，116.126764 E）

图6 不同模型的城市周边乡村平房轮廓提取结果对比（a）中骏绿洲庄园（39.918202 N，116.451586 E）；（b）大一村（39.838892 N，116.595497 E）；（c）宏陶居（39.961353 N，116.398486 E）；（d）河湖流域管理事务中心（39.907803 N，116.297894 E）

1	National Bureau of Statistics， Office of the Seventh National Census Leading Group of The State Council. Bulletin of the Seventh National Population Census （No. 7） - Urban and Rural Population and Floating Population Situation ［EB/OL］，， 2021， 2022.国家统计局，国务院第七次全国人口普查领导小组办公室. 第七次全国人口普查公报（第七号）—城乡人口和流动人口情况［EB/OL］，， 2021， 2022.
2	WU Jiang. Organic regeneration and elaborated urban management［J］. Time Architecture，2021，180（4）：6-11.
2	伍江. 城市有机更新与精细化管理［J］. 时代建筑，2021，180（4）：6-11.
3	WANG Qian， WANG Zhenmao， YANG Yifan. Oriented to fine management of urban building height guidance——Urban design practice of building height and skyline in the old town of Huairou New Town in Beijing［J］. Beijing Planning Review，2017，176（5）：71-76.
3	王倩，王振茂，杨一帆. 面向精细化管理的城市建筑高度引导——北京怀柔新城老城区建筑高度及天际线城市设计实践［J］. 北京规划建设，2017，176（5）：71-76.
4	ZHU He， TANG Yan. Central district urban design for detailed management in new institutional environment： Zhongguancun area， Beijing Case［J］. Planners，2017，33（10）：17-23.
4	祝贺，唐燕. 新制度环境下对接精细化管理的重点地区城市设计—以北京中关村大街地区城市设计为例［J］. 规划师，2017，33（10）：17-23.
5	WU Chen， LI Jing， ZHOU Xiaojie， et al. Research and practice of urban fine design management——Take Beijing Mentougou New Town and Fangshan New Town urban design pilot work for example［J］. Beijing Planning Review，2018，179（2）：186-191.
5	吴晨，李婧，周小洁，等. 城市精细化设计管理研究及实践——以北京门头沟新城及房山新城城市设计试点工作为例［J］. 北京规划建设，2018，179（2）：186-191.
6	ZHANG Qingyun， ZHAO Dong. Research on methods of building extraction from high resolution remote sensing images［J］. Geomatics & Spatial Information Technology， 2015， 38（4）：74-78.
6	张庆云，赵冬. 高空间分辨率遥感影像建筑物提取方法综述［J］. 测绘与空间地理信息，2015，38（4）：74-78.
7	HUANG X， ZHANG L， ZHU T. Building change detection from multitemporal high-resolution remotely sensed images based on a morphological building index［J］. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing，2013，7（1）：105-115. DOI：10.1109/JSTARS. 2013. 2252423 doi: 10.1109/JSTARS. 2013. 2252423
8	OK A O， SENARAS C， YUKSEL B. Automated detection of arbitrarily shaped buildings in complex environments from monocular vhr optical satellite imagery［J］. IEEE Transactions on Geoscience and Remote Sensing，2012，51（3）：1701-1717. DOI：10.1109/TGRS.2012. 2207123 doi: 10.1109/TGRS.2012. 2207123
9	CHEN R， LI X， LI J. Object-based features for house detection from rgb high-resolution images［J］. Remote Sensing，2018，10（3）：451. DOI：10.3390/rs10030451 doi: 10.3390/rs10030451
10	FANG Xin， CHEN Shanxiong. High resolution remote sensing image building extraction in dense urban areas［J］. Bulletin of surveying and mapping，2019，505（4）：79-83.
10	方鑫，陈善雄. 密集城区高分辨率遥感影像建筑物提取［J］. 测绘通报，2019，505（4）：79-83.
11	HUANG X， YUAN W L， LI J Y， et al. A new building extraction postprocessing framework for high-spatial-resolution remote-sensing imagery［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2016，10（2）：654-668. DOI：10.1109/JSTARS.2016. 2587324 doi: 10.1109/JSTARS.2016. 2587324
12	PILINJA SUBRAHMANYA P， HARIDAS AITHAL B， MITRA S. Automatic extraction of buildings from UAV-based imagery using Artificial Neural Networks［J］. Journal of the Indian Society of Remote Sensing，2021，49： 681-687. DOI：10.1007/s12524-020-01235-z doi: 10.1007/s12524-020-01235-z
13	LECUN Y， BENGIO Y， HINTON G. Deep learning［J］. nature，2015，521（7553）：436-444. DOI：10.1038/nature14539 doi: 10.1038/nature14539
14	MARMANIS D， DATCU M， ESCH T， et al. Deep learning earth observation classification using imagenet pretrained networks［J］. IEEE Geoscience & Remote Sensing Letters，2015，13（1）：105-109. DOI：10.1109/LGRS.2015.2499239 doi: 10.1109/LGRS.2015.2499239
15	HARIHARAN B， ARBELÁEZ P， GIRSHICK R， et al. Simultaneous detection and segmentation［C］∥Computer Vision–ECCV 2014： 13th European Conference， Zurich， Switzerland， September 6-12， 2014， Proceedings， Part VII 13. Springer International Publishing，2014：297-312. DOI：10.1007/978-3-319-10584-0_20 doi: 10.1007/978-3-319-10584-0_20
16	GUO Feng， MAO Zhengyuan， ZOU Weibin， et al. A method for building extraction by fusing feature information from LiDAR data and high-resolution imagery［J］. Journal of Geo-information Science，2020，22（8）：1654-1665.
16	郭峰，毛政元，邹为彬，等. 融合LiDAR数据与高分影像特征信息的建筑物提取方法［J］. 地球信息科学学报，2020，22（8）：1654-1665.
17	YANG Jianyu， ZHOU Zhenxu， DU Zhenrong， et al. Rural construction land extraction from high spatial resolution remote sensing image based on SegNet semantic segmentation model［J］. Transactions of the Chinese Society of Agricultural Engineering （Transactions of the CSAE），2019，35（5）：251-258.
17	杨建宇，周振旭，杜贞容，等. 基于SegNet语义模型的高分辨率遥感影像农村建设用地提取［J］. 农业工程学报，2019，35（5）：251-258.
18	YANG Xubo， TIAN Jinwen. Research on small building extraction method in small dataset［J］. Bulletin of surveying and mapping，2019，511（10）：51-55.
18	杨旭勃，田金文.小数据集中的小型建筑物提取方法研究［J］.测绘通报，2019，511（10）：51-55.
19	REN Xinlei， WANG Yangping， YANG Jingyu， et al. Building detection from remote sensing images based on improved U-net［J］. Laser & Optoelectronics Progress，2019，56（22）：195-202.
19	任欣磊，王阳萍，杨景玉，等. 基于改进U-net的遥感影像建筑物提取［J］. 激光与光电子学进展，2019，56（22）：195-202.
20	GUO M， LIU H， XU Y， et al. Building extraction based on Unet with an attention block and multiple losses［J］. Remote Sensing，2020，12（9）：1400. DOI：10.3390/rs12091400 doi: 10.3390/rs12091400
21	XU Zhaohong， LIU Yu， QUAN Jicheng， et al. Buildings egmentation of remote sensing images based on VGG16 pre-encoding［J］. Science Technology and Engineering，2019，19（17）：250-255.
21	徐昭洪，刘宇，全吉成，等. 基于VGG16预编码的遥感图像建筑物语义分割［J］. 科学技术与工程，2019，19（17）：250-255.
22	XIE Yuehui， LI Baishou， LIU Congna. Urban building extraction by combining multiple image features and CNN［J］. Remote Sensing Information，2020，35（5）：80-88.
22	谢跃辉，李百寿，刘聪娜. 结合多种影像特征与CNN的城市建筑物提取［J］. 遥感信息，2020，35（5）：80-88.
23	LIU Wenxiang， SHU Yuanzhong， TANG Xiaomin， et al. 2020. Remote sensing image segmentation using dual attention mechanism Deeplabv3+algorithm［J］. Tropical Geography，2020，40（2）：303-313.
23	刘文祥，舒远仲，唐小敏，等. 采用双注意力机制Deeplabv3+算法的遥感影像语义分割［J］. 热带地理，2020，40（2）：303-313.
24	LIU X. The application of deep convolution neural network to building extraction in remote sensing images［J］. World Scientific Research Journal，2020，6（3）：136-144. DOI：10.6911/WSRJ.202003_6（3）.0017 doi: 10.6911/WSRJ.202003_6（3）.0017
25	ZHANG Haoran， ZHAO Jianghong， ZHANG Xiaoguang. High-resolution image building extraction using U-net Neural Network［J］. Remote Sensing Information，2020，35（3）：143-150.
25	张浩然，赵江洪，张晓光. 利用U-net网络的高分遥感影像建筑提取方法［J］. 遥感信息，2020，35（3）：143-150.
26	WANG Junqiang， LI Jiansheng， ZHOU Huachun， et al. Typical element extraction method of remote sensing image based on Deeplabv3 + and CRF［J］. Computer Engineering，2019，45（10）：260-265，271.
26	王俊强，李建胜，周华春，等. 基于Deeplabv3+与CRF的遥感影像典型要素提取方法［J］. 计算机工程，2019，45（10）：260-265，271.
27	ZHU Tianyou， DONG Feng， GONG Huixing. Remote sensing building detection based on binarized semantic segmentation［J］. Acta Optica Sinica，2019，39（12）：372-382.
27	朱天佑，董峰，龚惠兴. 基于二值语义分割网络的遥感建筑物检测［J］. 光学学报，2019，39（12）：372-382.
28	SILBERMAN N， SONTAG D， FERGUS R. Instance segmentation of indoor scenes using a coverage loss［C］∥Computer Vision–ECCV 2014： 13th European Conference， Zurich， Switzerland， September 6-12， 2014， Proceedings， Part I 13. Springer International Publishing，2014：616-631. DOI：10.1007/978-3-319-10590-1_40 doi: 10.1007/978-3-319-10590-1_40
29	WAGNER F H， DALAGNOL R， TARABALKA Y， et al. U-Net-Id， an instance segmentation model for building extraction from satellite images—Case study in the Joanópolis City， Brazil［J］. Remote Sensing，2020，12（10）：1544. DOI：10.3390/rs12101544 doi: 10.3390/rs12101544
30	HUI Jian， QIN Qiming， XU Wei，et al. Instance segmentation of buildings from high-resolution remote sensing images with Multitask Learning［J］. Acta Scientiarum Naturalium Universitatis Pekinensis，2019，55（6）：1067-1077.
30	惠健，秦其明，许伟等.基于多任务学习的高分辨率遥感影像建筑实例分割［J］.北京大学学报（自然科学版），2019，55（6）：1067-1077.
31	SONG Shiran. Research on object recognition method of urban buildings in high spatial resolution remote sensing imagery［D］. Beijing： Beijing University of Civil Engineering and Architecture，2020.
31	宋师然. 高分遥感城市建筑物对象化识别方法研究［D］. 北京：北京建筑大学，2020.
32	LI Sensen， WU Qing.Multi-target detection and segmentation of remote sensing images based on improved Mask RCNN［J］. Computer Engineering and Applications，2020，56（14）：183-190.
32	李森森，吴清. 改进Mask R-CNN的遥感图像多目标检测与分割［J］. 计算机工程与应用，2020，56（14）：183-190.
33	HU Minjun， FENG Dejun， LI Qiang. Automatic extraction of buildings based on instance segmentation model［J］. Bulletin of Surveying and Mapping，2020，517（4）：16-20，62.
33	瑚敏君，冯德俊，李强. 基于实例分割模型的建筑物自动提取［J］. 测绘通报，2020，517（4）：16-20，62.
34	RONNEBERGER O， FISCHER P， BROX T. U-net： Convolutional networks for biomedical image segmentation［C］∥Medical Image Computing and Computer-Assisted Intervention–MICCAI 2015： 18th International Conference， Munich， Germany， October 5-9， 2015， Proceedings， Part III 18. Springer International Publishing，2015：234-241. DOI：10.1007/978-3-319-24574-4_28 doi: 10.1007/978-3-319-24574-4_28
35	FU J， LIU J， TIAN H， et al. Dual attention network for scene segmentation［C］∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019：3146-3154.
36	HE K， GKIOXARI G， DOLLÁR P， et al. Mask R-CNN［C］∥Proceedings of the IEEE International Conference on Computer Vision. 2017：2961-2969.
37	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016：770-778.
38	XIE S， GIRSHICK R， DOLLÁR P， et al. Aggregated residual transformations for deep neural networks［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017：1492-1500.
39	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017：2117-2125.
40	REN S， HE K， GIRSHICK R，et al.Faster R-CNN：Towards real-time object detection with region proposal networks［J］. Advances in Neural Information Processing Systems，2015，28.

[1]	邴芳飞,金永涛,张文豪,徐娜,余涛,张丽丽,裴莹莹. 基于机器学习的遥感影像云检测研究进展[J]. 遥感技术与应用, 2023, 38(1): 129-142.
[2]	翁梦倩,胡蕾,张永梅,凌杰,李云洪. GCM⁺-LANet：遥感图像语义分割的全局卷积模块与局部注意力网络模型[J]. 遥感技术与应用, 2022, 37(4): 820-828.
[3]	于枫世,隋毅,王常颖,初佳兰. 基于深度学习的高分辨率卫星遥感影像围填海检测识别[J]. 遥感技术与应用, 2022, 37(4): 789-799.
[4]	隋冰清,殷志祥,吴鹏海,吴艳兰. 面向云覆盖的遥感影像时空融合深度学习方法及其应用[J]. 遥感技术与应用, 2022, 37(4): 800-810.
[5]	史佳睿,申茜,彭红春,李利伟,姚月,汪明秀,王茹. 基于三种高分辨率影像样本迁移学习的城市水体提取研究[J]. 遥感技术与应用, 2022, 37(3): 731-738.
[6]	付涵,范湘涛,严珍珍,杜小平. 基于深度学习的遥感图像目标检测技术研究进展[J]. 遥感技术与应用, 2022, 37(2): 290-305.
[7]	吕冬梅,马玥,李华朋. 基于CNN的吉林一号卫星城市土地覆被制图潜力评估[J]. 遥感技术与应用, 2022, 37(2): 368-378.
[8]	路春燕,雷依凡,苏颖,黄雨菲,刘明月,贾明明. 基于面向对象—深度学习的闽东南低海拔海岸带地区湿地动态遥感分析[J]. 遥感技术与应用, 2021, 36(4): 713-727.
[9]	郑磊,何直蒙,丁海勇. 基于ENVINet5的高分辨率遥感影像稀疏塑料大棚提取研究[J]. 遥感技术与应用, 2021, 36(4): 908-915.
[10]	高子为,孙伟伟,程朋根,杨刚,孟祥超. 融合高分辨率遥感影像和POI数据的多特征潜在语义信息用于识别城市功能区[J]. 遥感技术与应用, 2021, 36(3): 618-626.
[11]	刘钊,赵桐,廖斐凡. 基于卷积神经网络预测结果的缝隙修复算法研究[J]. 遥感技术与应用, 2021, 36(2): 247-255.
[12]	陈敏,潘佳威,李江杰,徐璐,刘加敏,韩健,陈奕云. 结合VGGNet与Mask R-CNN的高分辨率遥感影像建设用地检测[J]. 遥感技术与应用, 2021, 36(2): 256-264.
[13]	胡乃勋,陈涛,甄娜,牛瑞卿. 基于卷积神经网络的面向对象露天采场提取[J]. 遥感技术与应用, 2021, 36(2): 265-274.
[14]	林娜,冯丽蓉,张小青. 基于优化Faster-RCNN的遥感影像飞机检测[J]. 遥感技术与应用, 2021, 36(2): 275-284.
[15]	李庆,陈俊杰,李庆亭,李柏鹏,卢凯旋,昝露洋,陈正超. 基于SSD模型的京津冀地区尾矿库检测[J]. 遥感技术与应用, 2021, 36(2): 293-303.

Viewed

Full text

Abstract

Cited

Shared

Discussed