Please wait a minute...
img

官方微信

遥感技术与应用  2023, Vol. 38 Issue (5): 1092-1106    DOI: 10.11873/j.issn.1004-0323.2023.5.1092
数据与图像处理     
基于色匹配函数的卫星影像真彩色合成研究
夏米麒1(),丘仲锋1(),胡晨悦1,龙艳梅1,赵冬至1,廖廓2,吴到懋3
1.南京信息工程大学海洋科学学院海洋气象学,江苏 南京 210044
2.福建省气象科学研究所,福建 福州 350008
3.江苏省宿迁市环境监测中心,江苏 宿迁 223800
True Color Synthesis of Satellite Images based on Color Matching Functions
Miqi XIA1(),Zhongfeng QIU1(),Chenyue HU1,Yanmei LONG1,Dongzhi ZHAO1,KUO Liao2,Daomao WU3
1.Marine Meteorology,College of Marine Sciences,Nanjing University of Information Science and Technology,Nanjing 210044,China
2.Fujian Institute of Meteorological Sciences,Fuzhou 350008,China
3.Enviromental Monitoring Center,Suqian 223800,China
 全文: PDF(10755 KB)   HTML
摘要:

色匹配函数通过构建地物反射光的光谱分布与颜色三刺激值的关系可将任意波段的信息映射到三原色基准值上,经过色彩空间的转换后重建多光谱遥感影像。针对大多数多光谱传感器在可见光内波段数量有限、波段通道较窄且波段间隔不均匀,直接在相邻波段间插值会使色匹配积分过程出现较大误差的问题,结合遥感数据的模拟和反向传播(Back Propagation,BP)神经网络,以可见光范围内通道设置丰富的近岸高光谱水色成像仪(Hyperspectral Imager for the Coastal Ocean,HICO)经色匹配函数和色彩空间转换后得到的R、G、B三刺激值作为网络输出值,其波段重建后得到的目标传感器的模拟波段作为输入值,训练得到适用于Landsat-8 OLI、Terra MODIS、Himawari-8 AHI传感器的真彩色影像合成模型。计算均值、标准差、平均梯度和信息熵这4类客观评价参数,并结合对真彩色影像和直方图的主观分析,结果表明该方法能丰富和扩展有限的波段信息,提高影像的清晰度、色彩饱和度以及包含的信息量,校正了三波段合成影像存在的色偏,解决了在原始数据波段数受限的情况下通过简单插补波段带入色匹配函数进行积分计算产成误差的问题。

关键词: 色匹配函数反向传播神经网络波段重建真彩色合成多光谱    
Abstract:

The color matching function can map the information of any band to the three primary color reference values by constructing the relationship between the spectral distribution of the reflected light of the ground object and the color three stimulus values, and reconstruct the multispectral remote sensing image after the conversion of the color space. In view of the limited number of bands in visible light, narrow band channels and uneven band intervals of most multispectral sensors, direct interpolation between adjacent bands will lead to large errors in the color matching integration process, combined with remote sensing data simulation and back propagation ( BP ) neural network, the R, G and B three stimulation values obtained by the color matching function and color space conversion of the Hyperspectral Imager for the Coastal Ocean ( HICO ) in the visible range channel are used as the output value of the network, and the simulated band of the target sensor after band reconstruction is used as the input value. The true color image synthesis model suitable for Landsat 8 OLI, Terra MODIS and Himawari-8 AHI sensors was trained. By calculating the four objective evaluation parameters of mean, standard deviation, mean gradient and information entropy, and combining with the subjective analysis of true color images and histograms, the results show that the proposed method can enrich and expand the limited band information, improve the clarity, color saturation and the amount of information contained in the image, correct the color deviation existing in the three-band composite image, and solve the problem of integral calculation error by inserting the color matching function into the interpolation band under the condition of limited band number of original data.

Key words: Color matching functions    Back propagation neural network    Band reconstruction    True color synthesis    multispectral
收稿日期: 2022-07-01 出版日期: 2023-11-07
ZTFLH:  TP751  
基金资助: 国家自然科学基金项目“低于2微米海水小颗粒的物理特征及其光散射的响应机制研究”(41976165)
通讯作者: 丘仲锋     E-mail: 20201209011@nuist.edu.cn;zhongfeng.qiu@nuist.edu.cn
作者简介: 夏米麒(1998-),女,浙江金华人,硕士研究生,主要从事光学遥感研究。E?mail:20201209011@nuist.edu.cn
服务  
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章  
夏米麒
丘仲锋
胡晨悦
龙艳梅
赵冬至
廖廓
吴到懋

引用本文:

夏米麒,丘仲锋,胡晨悦,龙艳梅,赵冬至,廖廓,吴到懋. 基于色匹配函数的卫星影像真彩色合成研究[J]. 遥感技术与应用, 2023, 38(5): 1092-1106.

Miqi XIA,Zhongfeng QIU,Chenyue HU,Yanmei LONG,Dongzhi ZHAO,KUO Liao,Daomao WU. True Color Synthesis of Satellite Images based on Color Matching Functions. Remote Sensing Technology and Application, 2023, 38(5): 1092-1106.

链接本文:

http://www.rsta.ac.cn/CN/10.11873/j.issn.1004-0323.2023.5.1092        http://www.rsta.ac.cn/CN/Y2023/V38/I5/1092

图1  颜色匹配实验[4](左侧黄色为光谱可调光源,右侧R、G、B为红、绿、蓝单色光源)
图2  CIE1931-RGB色匹配函数曲线和CIE1931-XYZ色匹配函数曲线
图3  基于HICO高光谱数据模拟任意传感器数据的流程图
图4  BP神经网络结构图[18]
图5  基于HICO数据构建任意遥感数据的真彩色影像合成模型流程图
图6  Terra MODIS、Landsat-8 OLI、Himawari-8 AHI的真彩色影像合成模型均方误差随训练次数下降情况、误差直方图和相关系数
图7  HICO各地物类型三波段法与本文CMFs法合成真彩色影像对比
图8  Terra MODIS各地物类型三波段法与本文CMFs模型合成真彩色影像对比
图9  Landsat-8 OLI各地物类型三波段法与本文CMFs模型合成真彩色影像对比
图10  Himawari-8 AHI各地物类型三波段法与本文CMFs模型合成真彩色影像对比
图11  各传感器在不同地物类型所截取断面上的R、G、B变化情况(R、G、B表示三波段合成三刺激值,R*、G*、B*表示CMFs模型得到三刺激值)
图12  Terra MODIS与Himawari-8 AHI同时相三波段合成真彩色影像与CMFs模型合成真彩色影像叠加图对比
图13  Landsat-8 OLI与Himawari-8 AHI同时相三波段合成真彩色影像与CMFs模型合成真彩色影像叠加图对比
图14  HICO各地物类型三波段法与本文CMFs法合成真彩色影像RGB直方图对比
图15  Terra MODIS各地物类型三波段法与本文CMFs模型合成真彩色影像RGB直方图对比
图16  Landsat-8 OLI各地物类型三波段法与本文模型合成真彩色影像RGB直方图对比
图17  Himawari-8 AHI各地物类型三波段法与本文模型合成真彩色影像RGB直方图对比
传感器评价指标方法土地山林海水
HICO

均值

(A)

三波段法229.838 8207.877 5199.544 8221.904 2
CMFs模型187.103 4155.886 6149.695 7186.418 8

标准差

(S)

三波段法42.398 275.566 788.654 355.578 5
CMFs模型68.770 498.602 7104.674 471.014 8

平均梯度

(?Gˉ)

三波段法2.837 41.373 71.003 22.607 3
CMFs模型3.501 81.764 91.451 13.665 7

信息熵

(H)

三波段法2.714 82.307 21.984 12.839 4
CMFs模型4.123 63.443 43.024 74.463 1

Terra

MODIS

均值

(A)

三波段法108.422 548.142 332.937 7137.559 1
CMFs模型127.762 646.621 428.884 5164.650 3

标准差

(S)

三波段法76.188 834.768 715.358 533.366 1
CMFs模型67.328 835.514 412.811 339.312 5

平均梯度

(?Gˉ)

三波段法2.783 211.174 44.260 112.077 9
CMFs模型3.355 411.692 33.553 014.231 6

信息熵

(H)

三波段法5.316 46.174 65.174 17.019 9
CMFs模型5.638 36.230 74.943 17.266 9

Land-

sat-8

OLI

均值

(A)

三波段法56.913 632.624 333.107 3173.934 4
CMFs模型60.697 234.598 863.367 4142.862 4

标准差

(S)

三波段法18.103 512.621 06.400 115.318 3
CMFs模型22.385 411.593 911.193 018.573 2

平均梯度

(?Gˉ)

三波段法7.851 23.677 60.714 35.472 5
CMFs模型7.259 63.119 61.169 76.625 2

信息熵

(H)

三波段法6.109 25.316 74.538 05.911 1
CMFs模型6.185 55.185 65.334 56.185 9
Hima-wari-8 AHI

均值

(A)

三波段法122.029 634.314 5159.867 0
CMFs模型118.909 729.633 6161.600 3

标准差

(S)

三波段法101.381 819.960 131.522 3
CMFs模型103.631 617.346 743.067 9

平均梯度

(?Gˉ)

三波段法2.766 41.707 25.347 1
CMFs模型2.686 21.658 27.412 7

信息熵

(H)

三波段法4.074 34.232 66.732 8
CMFs模型4.178 33.924 76.954 2
表1  HICO、Terra MODIS、Landsat 8 OLI、Himawari-8 AHI各地物类型图像评价指标
图18  HICO、Terra MODIS、Landsat-8 OLI、Himawari-8 AHI三波段合成法与本文CMFs模型法合成的不同地物类型真彩色影像的参数对比图
1 WANG Wei, ZHAOXinwei, LUO Yiping, et al.Method of generating pseudo natural color image from multi-spectral satellite remote sensing data[J]. Flight Contral & Detection, 2020, 3(1): 49–55.
1 万伟, 赵新伟, 罗伊萍,等 遥感卫星多光谱图像模拟真彩色算法研究[J]. 飞控与探测, 2020, 3(1): 49–55.
2 XU Xiaozhao, SHEN Lansun, LIU Changjiang. Color correction methods and application in image processing[J]. Application Research of Computers, 2008, 25(8): 2250-2254.
2 徐晓昭, 沈兰荪, 刘长江. 颜色校正方法及其在图像处理中的应用[J]. 计算机应用研究, 2008, 25(8): 2250-2254.
3 HAN Xiuzhen, WANG Feng, SHAN Tianchan. Research and applications of true color image composite method of Fengyun-3D [J]. Journal of Marine Meteorology, 2019, 39(2): 13-23.
3 韩秀珍, 王峰, 单天婵. 风云三号 D 星真彩色影像合成方法研究及应用[J]. 海洋气象学报, 2019, 39(2): 13-23.
4 WERNAND M.R. Poseidon's paintbox : historical archives of ocean colour in global-change perspective[J]. Utrecht University, 2011: 44-45.
5 CHEN Chun, WANG Dong, MA Keling. Extraction and reproduction of color signal from remote sensing source[J]. Science of Surveying and Mapping, 2006, 31(1): 27-28.
5 陈春, 王冬, 马克玲. 遥感信源色彩信号的提取与复现[J]. 测绘科学, 2006,31(1): 27-28.
6 Xiaokai LÜ, LI Chuanrong, MA Lingling, et al. A true color correction model for hyperspectral remote sensing image based on physical mechanism[J]. Remote Sensing Technology and Application, 2013, 28(3): 467-473.
6 吕晓凯, 李传荣, 马灵玲,等. 一种基于物理机理的高光谱遥感图像真彩色校正模型[J]. 遥感技术与应用, 2013, 28(3): 467-473.
7 HUANG Honglian, YI Weining, DU Lili, et al. Multi-Spectral remote sensing image true color synthesis technique based on artificial target[J]. Infrared and Laser Engineering, 2016, 45(11): 354-359.
7 黄红莲, 易维宁, 杜丽丽,等. 基于人工靶标的多光谱遥感图像真彩色合成[J]. 红外与激光工程, 2016, 45(11): 354-359.
8 ZHANG Xingming, SUN Wenbang, YUE Guang. True color restoration of multispectral image based on color constancy[J]. Journal of Ordnance Equipment Engineering, 2020, 41(11) : 249-256.
8 张星铭, 孙文邦, 岳广. 基于色彩恒常理论的多光谱图像真彩色复原技术[J]. 兵器装备工程学报, 2020, 41(11) : 249-256.
9 LOU Mingjing, XING Qianguo, SHI Ping. Hyperspectral remote sensing for coastal zone and hyperspectral imger foe the coastal ocean[J]. Remote Sensing Technology and Application, 2013, 28(4): 627-632.
9 娄明静, 邢前国, 施平. 海岸带高光谱遥感与近海高光谱成像仪(HICO)[J]. 遥感技术与应用, 2013, 28(4): 627-632.
10 BESSHO K, DATE K, HAYASHI M,et al. An introduction to Himawari-8/9—Japan’s new-generation geostationary meteorological satellites[J]. Journal of the Meteorological Society of Japan Ser II, 2016, 94(2): 151-183. DOI: 10.2151/jmsj.2016-009
doi: 10.2151/jmsj.2016-009
11 LI Yong. Research and implementation of low illumination image enhanment algorithm based on retinex theory[D]. Xi'an: Xidian University, 2018: 21-22.
11 李勇. 基于Retinex理论的低照度图像增强算法研究与实现[D]. 西安: 西安电子科技大学, 2018: 21-22.
12 WRIGHT W D. A re-determination of the trichromatic coefficients of the spectral colours[J]. Transactions of the Optical Society,1929,30(4):141. DOI:10.1088/1475-4878/30/4/301
doi: 10.1088/1475-4878/30/4/301
13 GUILD J. The colorimetric properties of the spectrum[J]. Philosophical Transactions of the Royal Society of London Series A, Containing Papers of a Mathematical or Physical Character,1931,230(681-693):149-187. DOI:10.1098/rsta. 1932.005
doi: 10.1098/rsta. 1932.005
14 Xinguang LÜ. Relationship of spectral tristimulus values with tricolor unitage[J]. Packaging Engineering, 2002, 23(5):40-41.
14 吕新广. 对光谱三刺激值概念的理解[J]. 包装工程, 2002, 23(5): 40-41.
15 HUANG Min, HE Ruili, GUO Chunli, et al. Test and optimization of different color matching functions for different aged observers[J]. Acta Optica Sinica, 2018, 38(3): 459-466.
15 DOI:10.3788/AOS201838.0333001黄敏,何瑞丽,郭春丽,等.不同年龄观察者颜色匹配函数的测试及优化[J]. 光学学报,2018,38(3):459-466.
16 FAIRMAN H.S., BRILL M.H., HEMMENDINGER H. How the CIE 1931 color‐matching functions were derived from Wright‐Guild data[J]. Color Research & Application, 1997, 22(1): 11-23. DOI: 10.1002/(SICI)1520-6378(199808)23:4<259::AID-COL18>3.0.CO;2-7
doi: 10.1002/(SICI)1520-6378(199808)23:4<259::AID-COL18>3.0.CO;2-7
17 JIA Guorui, ZHAO Huijie, LI Na. A simulation method of remote sensing data under arbitrary spectral response characteristics: CN101813770A[P]. 2010-08-25.
17 贾国瑞, 赵慧洁, 李娜. 一种任意光谱响应特性下遥感数据的模拟方法: CN101813770A[P]. 2010-08-25.
18 NIELSEN M A. Neural networks and deep learning[M]. San Francisco, CA, USA: Determination Press, 2015: 14-15.
19 YIN Lingzhi, ZHU Jun, CAI Guolin, et al. Reviewon quality evaluation methods of remote sensing image[J]. Geomatics & Spatial Information Technology, 2014, 37(12): 32-35.
19 尹灵芝, 朱军, 蔡国林,等. 遥感影像质量评价方法综述[J]. 测绘与空间地理信息, 2014, 37(12): 32-35.
20 YAN Liang. Research of image enhancement algorithms based on retinex theory[D]. Wuhan: Huazhong University of Science and Technology, 2016: 32-33.
20 严亮. 基于Retinex理论的图像增强技术研究[D]. 武汉: 华中科技大学, 2016: 32-33.
[1] 杨松,黄帅,白杨,贾益,巴倩倩,田世强,钟兴. 基于多个稳定目标的吉林一号光谱02卫星多光谱成像仪的在轨绝对辐射定标[J]. 遥感技术与应用, 2023, 38(4): 803-815.
[2] 齐文栋,李志刚,顾晓鹤. 基于波段反射率日均增量的花生干旱灾情遥感评估[J]. 遥感技术与应用, 2022, 37(3): 580-588.
[3] 尹芳,封凯,吴朦朦,拜得珍,王蕊,周园园,尹春涛,尹翠景,刘磊. 一种基于分段偏最小二乘模型的土壤重金属遥感反演方法[J]. 遥感技术与应用, 2021, 36(6): 1321-1328.
[4] 段金亮,张瑞,李奎,庞家泰. 一种基于噪声水平估计的扩展线性光谱分解算法[J]. 遥感技术与应用, 2021, 36(4): 820-826.
[5] 蒋嘉锐,朱文泉,乔琨,江源. 基于Sentinel-2数据的天山山地针叶林识别方法研究[J]. 遥感技术与应用, 2021, 36(4): 847-856.
[6] 刘鹤,顾玲嘉,任瑞治. 基于无人机遥感技术的森林参数获取研究进展[J]. 遥感技术与应用, 2021, 36(3): 489-501.
[7] 李佳佳,束进芳,裘增欢,符冉迪,金炜. 面向滨海湿地的全色/多光谱影像融合方法与应用分析——以杭州湾(1999~2018年)为例[J]. 遥感技术与应用, 2021, 36(3): 627-637.
[8] 尹春涛,谢文扬,王奇,刘磊,孟刚刚. 甘肃北山白峡尼山地区多源遥感岩性制图研究[J]. 遥感技术与应用, 2020, 35(5): 1146-1157.
[9] 林志垒,张贵成. 基于改进Brovey变换的ALI影像融合算法研究[J]. 遥感技术与应用, 2020, 35(4): 893-900.
[10] 高小红,杨扬,张威,贾伟,李金山,田成明,张艳娇,杨灵玉,何林华. 可见光—近红外光谱估算三江源区不同土壤全氮含量[J]. 遥感技术与应用, 2015, 30(5): 849-859.
[11] 崔艳荣,何彬彬,张瑛,李蔓. 非负矩阵分解融合高光谱和多光谱数据[J]. 遥感技术与应用, 2015, 30(1): 82-91.
[12] 刘朝相,宫兆宁,赵文吉. 基于SVM模型的妫水河叶绿素a浓度的遥感反演[J]. 遥感技术与应用, 2014, 29(3): 419-427.
[13] 郭云开,张源,张文博. 植被健康指数及高等级公路路域环境评价研究[J]. 遥感技术与应用, 2013, 28(6): 1120-1124.
[14] 吕晓凯,李传荣,马灵玲,苑馨方,李晓辉. 一种基于物理机理的高光谱遥感图像真彩色校正模型[J]. 遥感技术与应用, 2013, 28(3): 467-473.
[15] 覃先林, 张子辉, 李增元. 一种利用HJ\|1B 红外相机数据自动识别林火的方法[J]. 遥感技术与应用, 2010, 25(5): 700-706.