基于色匹配函数的卫星影像真彩色合成研究

doi:10.11873/j.issn.1004-0323.2023.5.1092

遥感技术与应用

2023, Vol. 38

Issue (5): 1092-1106 DOI: 10.11873/j.issn.1004-0323.2023.5.1092

数据与图像处理

基于色匹配函数的卫星影像真彩色合成研究

夏米麒¹(

),丘仲锋¹(

),胡晨悦¹,龙艳梅¹,赵冬至¹,廖廓²,吴到懋³

^1.南京信息工程大学海洋科学学院海洋气象学，江苏南京 210044
^2.福建省气象科学研究所，福建福州 350008
^3.江苏省宿迁市环境监测中心，江苏宿迁 223800

True Color Synthesis of Satellite Images based on Color Matching Functions

Miqi XIA¹(

),Zhongfeng QIU¹(

),Chenyue HU¹,Yanmei LONG¹,Dongzhi ZHAO¹,KUO Liao²,Daomao WU³

^1.Marine Meteorology，College of Marine Sciences，Nanjing University of Information Science and Technology，Nanjing 210044，China
^2.Fujian Institute of Meteorological Sciences，Fuzhou 350008，China
^3.Enviromental Monitoring Center，Suqian 223800，China

全文: PDF(10755 KB) HTML

摘要：

色匹配函数通过构建地物反射光的光谱分布与颜色三刺激值的关系可将任意波段的信息映射到三原色基准值上，经过色彩空间的转换后重建多光谱遥感影像。针对大多数多光谱传感器在可见光内波段数量有限、波段通道较窄且波段间隔不均匀，直接在相邻波段间插值会使色匹配积分过程出现较大误差的问题，结合遥感数据的模拟和反向传播（Back Propagation，BP）神经网络，以可见光范围内通道设置丰富的近岸高光谱水色成像仪（Hyperspectral Imager for the Coastal Ocean，HICO）经色匹配函数和色彩空间转换后得到的R、G、B三刺激值作为网络输出值，其波段重建后得到的目标传感器的模拟波段作为输入值，训练得到适用于Landsat-8 OLI、Terra MODIS、Himawari-8 AHI传感器的真彩色影像合成模型。计算均值、标准差、平均梯度和信息熵这4类客观评价参数，并结合对真彩色影像和直方图的主观分析，结果表明该方法能丰富和扩展有限的波段信息，提高影像的清晰度、色彩饱和度以及包含的信息量，校正了三波段合成影像存在的色偏，解决了在原始数据波段数受限的情况下通过简单插补波段带入色匹配函数进行积分计算产成误差的问题。

关键词： 色匹配函数; 反向传播神经网络; 波段重建; 真彩色合成; 多光谱

Abstract:

The color matching function can map the information of any band to the three primary color reference values by constructing the relationship between the spectral distribution of the reflected light of the ground object and the color three stimulus values， and reconstruct the multispectral remote sensing image after the conversion of the color space. In view of the limited number of bands in visible light， narrow band channels and uneven band intervals of most multispectral sensors， direct interpolation between adjacent bands will lead to large errors in the color matching integration process， combined with remote sensing data simulation and back propagation （ BP ） neural network， the R， G and B three stimulation values obtained by the color matching function and color space conversion of the Hyperspectral Imager for the Coastal Ocean （ HICO ） in the visible range channel are used as the output value of the network， and the simulated band of the target sensor after band reconstruction is used as the input value. The true color image synthesis model suitable for Landsat 8 OLI， Terra MODIS and Himawari-8 AHI sensors was trained. By calculating the four objective evaluation parameters of mean， standard deviation， mean gradient and information entropy， and combining with the subjective analysis of true color images and histograms， the results show that the proposed method can enrich and expand the limited band information， improve the clarity， color saturation and the amount of information contained in the image， correct the color deviation existing in the three-band composite image， and solve the problem of integral calculation error by inserting the color matching function into the interpolation band under the condition of limited band number of original data.

Key words: Color matching functions Back propagation neural network Band reconstruction True color synthesis multispectral

收稿日期: 2022-07-01 出版日期: 2023-11-07

ZTFLH:

TP751

基金资助: 国家自然科学基金项目“低于2微米海水小颗粒的物理特征及其光散射的响应机制研究”(41976165)

通讯作者: 丘仲锋 E-mail: 20201209011@nuist.edu.cn;zhongfeng.qiu@nuist.edu.cn

作者简介: 夏米麒（1998-），女，浙江金华人，硕士研究生，主要从事光学遥感研究。E?mail:20201209011@nuist.edu.cn

	服务
	把本文推荐给朋友
	加入引用管理器
	E-mail Alert
	RSS
	作者相关文章
	夏米麒
	丘仲锋
	胡晨悦
	龙艳梅
	赵冬至
	廖廓
	吴到懋

引用本文:

夏米麒,丘仲锋,胡晨悦,龙艳梅,赵冬至,廖廓,吴到懋. 基于色匹配函数的卫星影像真彩色合成研究[J]. 遥感技术与应用, 2023, 38(5): 1092-1106.

Miqi XIA,Zhongfeng QIU,Chenyue HU,Yanmei LONG,Dongzhi ZHAO,KUO Liao,Daomao WU. True Color Synthesis of Satellite Images based on Color Matching Functions. Remote Sensing Technology and Application, 2023, 38(5): 1092-1106.

链接本文:

http://www.rsta.ac.cn/CN/10.11873/j.issn.1004-0323.2023.5.1092 或 http://www.rsta.ac.cn/CN/Y2023/V38/I5/1092

图1 颜色匹配实验［4］（左侧黄色为光谱可调光源，右侧R、G、B为红、绿、蓝单色光源）

图2 CIE1931-RGB色匹配函数曲线和CIE1931-XYZ色匹配函数曲线

图3 基于HICO高光谱数据模拟任意传感器数据的流程图

图4 BP神经网络结构图［18］

图5 基于HICO数据构建任意遥感数据的真彩色影像合成模型流程图

图6 Terra MODIS、Landsat-8 OLI、Himawari-8 AHI的真彩色影像合成模型均方误差随训练次数下降情况、误差直方图和相关系数

图7 HICO各地物类型三波段法与本文CMFs法合成真彩色影像对比

图8 Terra MODIS各地物类型三波段法与本文CMFs模型合成真彩色影像对比

图9 Landsat-8 OLI各地物类型三波段法与本文CMFs模型合成真彩色影像对比

图10 Himawari-8 AHI各地物类型三波段法与本文CMFs模型合成真彩色影像对比

图11 各传感器在不同地物类型所截取断面上的R、G、B变化情况（R、G、B表示三波段合成三刺激值，R*、G*、B*表示CMFs模型得到三刺激值）

图12 Terra MODIS与Himawari-8 AHI同时相三波段合成真彩色影像与CMFs模型合成真彩色影像叠加图对比

图13 Landsat-8 OLI与Himawari-8 AHI同时相三波段合成真彩色影像与CMFs模型合成真彩色影像叠加图对比

图14 HICO各地物类型三波段法与本文CMFs法合成真彩色影像RGB直方图对比

图15 Terra MODIS各地物类型三波段法与本文CMFs模型合成真彩色影像RGB直方图对比

图16 Landsat-8 OLI各地物类型三波段法与本文模型合成真彩色影像RGB直方图对比

图17 Himawari-8 AHI各地物类型三波段法与本文模型合成真彩色影像RGB直方图对比

传感器	评价指标	方法	土地	山林	海水	云
HICO	均值 ( $A$ )	三波段法	229.838 8	207.877 5	199.544 8	221.904 2
	均值 ( $A$ )	CMFs模型	187.103 4	155.886 6	149.695 7	186.418 8
	标准差 ( $S$ )	三波段法	42.398 2	75.566 7	88.654 3	55.578 5
	标准差 ( $S$ )	CMFs模型	68.770 4	98.602 7	104.674 4	71.014 8
	平均梯度 ( $? G ˉ$ )	三波段法	2.837 4	1.373 7	1.003 2	2.607 3
	平均梯度 ( $? G ˉ$ )	CMFs模型	3.501 8	1.764 9	1.451 1	3.665 7
	信息熵 ( $H$ )	三波段法	2.714 8	2.307 2	1.984 1	2.839 4
	信息熵 ( $H$ )	CMFs模型	4.123 6	3.443 4	3.024 7	4.463 1
Terra MODIS	均值 ( $A$ )	三波段法	108.422 5	48.142 3	32.937 7	137.559 1
	均值 ( $A$ )	CMFs模型	127.762 6	46.621 4	28.884 5	164.650 3
	标准差 ( $S$ )	三波段法	76.188 8	34.768 7	15.358 5	33.366 1
	标准差 ( $S$ )	CMFs模型	67.328 8	35.514 4	12.811 3	39.312 5
	平均梯度 ( $? G ˉ$ )	三波段法	2.783 2	11.174 4	4.260 1	12.077 9
	平均梯度 ( $? G ˉ$ )	CMFs模型	3.355 4	11.692 3	3.553 0	14.231 6
	信息熵 ( $H$ )	三波段法	5.316 4	6.174 6	5.174 1	7.019 9
	信息熵 ( $H$ )	CMFs模型	5.638 3	6.230 7	4.943 1	7.266 9
Land- sat-8 OLI	均值 ( $A$ )	三波段法	56.913 6	32.624 3	33.107 3	173.934 4
	均值 ( $A$ )	CMFs模型	60.697 2	34.598 8	63.367 4	142.862 4
	标准差 ( $S$ )	三波段法	18.103 5	12.621 0	6.400 1	15.318 3
	标准差 ( $S$ )	CMFs模型	22.385 4	11.593 9	11.193 0	18.573 2
	平均梯度 ( $? G ˉ$ )	三波段法	7.851 2	3.677 6	0.714 3	5.472 5
	平均梯度 ( $? G ˉ$ )	CMFs模型	7.259 6	3.119 6	1.169 7	6.625 2
	信息熵 ( $H$ )	三波段法	6.109 2	5.316 7	4.538 0	5.911 1
	信息熵 ( $H$ )	CMFs模型	6.185 5	5.185 6	5.334 5	6.185 9
Hima-wari-8 AHI	均值 ( $A$ )	三波段法	122.029 6	—	34.314 5	159.867 0
	均值 ( $A$ )	CMFs模型	118.909 7	—	29.633 6	161.600 3
	标准差 ( $S$ )	三波段法	101.381 8	—	19.960 1	31.522 3
	标准差 ( $S$ )	CMFs模型	103.631 6	—	17.346 7	43.067 9
	平均梯度 ( $? G ˉ$ )	三波段法	2.766 4	—	1.707 2	5.347 1
	平均梯度 ( $? G ˉ$ )	CMFs模型	2.686 2	—	1.658 2	7.412 7
	信息熵 ( $H$ )	三波段法	4.074 3	—	4.232 6	6.732 8
	信息熵 ( $H$ )	CMFs模型	4.178 3	—	3.924 7	6.954 2

表1 HICO、Terra MODIS、Landsat 8 OLI、Himawari-8 AHI各地物类型图像评价指标

图18 HICO、Terra MODIS、Landsat-8 OLI、Himawari-8 AHI三波段合成法与本文CMFs模型法合成的不同地物类型真彩色影像的参数对比图

1	WANG Wei， ZHAOXinwei， LUO Yiping， et al.Method of generating pseudo natural color image from multi-spectral satellite remote sensing data［J］. Flight Contral & Detection， 2020， 3（1）： 49–55.
1	万伟，赵新伟，罗伊萍，等遥感卫星多光谱图像模拟真彩色算法研究［J］. 飞控与探测， 2020， 3（1）： 49–55.
2	XU Xiaozhao， SHEN Lansun， LIU Changjiang. Color correction methods and application in image processing［J］. Application Research of Computers， 2008， 25（8）： 2250-2254.
2	徐晓昭，沈兰荪，刘长江. 颜色校正方法及其在图像处理中的应用［J］. 计算机应用研究， 2008， 25（8）： 2250-2254.
3	HAN Xiuzhen， WANG Feng， SHAN Tianchan. Research and applications of true color image composite method of Fengyun-3D ［J］. Journal of Marine Meteorology， 2019， 39（2）： 13-23.
3	韩秀珍，王峰，单天婵. 风云三号 D 星真彩色影像合成方法研究及应用［J］. 海洋气象学报， 2019， 39（2）： 13-23.
4	WERNAND M.R. Poseidon's paintbox ： historical archives of ocean colour in global-change perspective［J］. Utrecht University， 2011： 44-45.
5	CHEN Chun， WANG Dong， MA Keling. Extraction and reproduction of color signal from remote sensing source［J］. Science of Surveying and Mapping， 2006， 31（1）： 27-28.
5	陈春，王冬，马克玲. 遥感信源色彩信号的提取与复现［J］. 测绘科学， 2006，31（1）： 27-28.
6	Xiaokai LÜ， LI Chuanrong， MA Lingling， et al. A true color correction model for hyperspectral remote sensing image based on physical mechanism［J］. Remote Sensing Technology and Application， 2013， 28（3）： 467-473.
6	吕晓凯，李传荣，马灵玲，等. 一种基于物理机理的高光谱遥感图像真彩色校正模型［J］. 遥感技术与应用， 2013， 28（3）： 467-473.
7	HUANG Honglian， YI Weining， DU Lili， et al. Multi-Spectral remote sensing image true color synthesis technique based on artificial target［J］. Infrared and Laser Engineering， 2016， 45（11）： 354-359.
7	黄红莲，易维宁，杜丽丽，等. 基于人工靶标的多光谱遥感图像真彩色合成［J］. 红外与激光工程， 2016， 45（11）： 354-359.
8	ZHANG Xingming， SUN Wenbang， YUE Guang. True color restoration of multispectral image based on color constancy［J］. Journal of Ordnance Equipment Engineering， 2020， 41（11）： 249-256.
8	张星铭，孙文邦，岳广. 基于色彩恒常理论的多光谱图像真彩色复原技术［J］. 兵器装备工程学报， 2020， 41（11）： 249-256.
9	LOU Mingjing， XING Qianguo， SHI Ping. Hyperspectral remote sensing for coastal zone and hyperspectral imger foe the coastal ocean［J］. Remote Sensing Technology and Application， 2013， 28（4）： 627-632.
9	娄明静，邢前国，施平. 海岸带高光谱遥感与近海高光谱成像仪（HICO）［J］. 遥感技术与应用， 2013， 28（4）： 627-632.
10	BESSHO K， DATE K， HAYASHI M，et al. An introduction to Himawari-8/9—Japan’s new-generation geostationary meteorological satellites［J］. Journal of the Meteorological Society of Japan Ser II， 2016， 94（2）： 151-183. DOI： 10.2151/jmsj.2016-009 doi: 10.2151/jmsj.2016-009
11	LI Yong. Research and implementation of low illumination image enhanment algorithm based on retinex theory［D］. Xi'an： Xidian University， 2018： 21-22.
11	李勇. 基于Retinex理论的低照度图像增强算法研究与实现［D］. 西安：西安电子科技大学， 2018： 21-22.
12	WRIGHT W D. A re-determination of the trichromatic coefficients of the spectral colours［J］. Transactions of the Optical Society，1929，30（4）：141. DOI：10.1088/1475-4878/30/4/301 doi: 10.1088/1475-4878/30/4/301
13	GUILD J. The colorimetric properties of the spectrum［J］. Philosophical Transactions of the Royal Society of London Series A， Containing Papers of a Mathematical or Physical Character，1931，230（681-693）：149-187. DOI：10.1098/rsta. 1932.005 doi: 10.1098/rsta. 1932.005
14	Xinguang LÜ. Relationship of spectral tristimulus values with tricolor unitage［J］. Packaging Engineering， 2002， 23（5）：40-41.
14	吕新广. 对光谱三刺激值概念的理解［J］. 包装工程， 2002， 23（5）： 40-41.
15	HUANG Min， HE Ruili， GUO Chunli， et al. Test and optimization of different color matching functions for different aged observers［J］. Acta Optica Sinica， 2018， 38（3）： 459-466.
15	DOI：10.3788/AOS201838.0333001黄敏，何瑞丽，郭春丽，等.不同年龄观察者颜色匹配函数的测试及优化［J］. 光学学报，2018，38（3）：459-466.
16	FAIRMAN H.S.， BRILL M.H.， HEMMENDINGER H. How the CIE 1931 color‐matching functions were derived from Wright‐Guild data［J］. Color Research & Application， 1997， 22（1）： 11-23. DOI： 10.1002/（SICI）1520-6378（199808）23：4<259：：AID-COL18>3.0.CO；2-7 doi: 10.1002/（SICI）1520-6378（199808）23：4<259：：AID-COL18>3.0.CO；2-7
17	JIA Guorui， ZHAO Huijie， LI Na. A simulation method of remote sensing data under arbitrary spectral response characteristics： CN101813770A［P］. 2010-08-25.
17	贾国瑞，赵慧洁，李娜. 一种任意光谱响应特性下遥感数据的模拟方法： CN101813770A［P］. 2010-08-25.
18	NIELSEN M A. Neural networks and deep learning［M］. San Francisco， CA， USA： Determination Press， 2015： 14-15.
19	YIN Lingzhi， ZHU Jun， CAI Guolin， et al. Reviewon quality evaluation methods of remote sensing image［J］. Geomatics & Spatial Information Technology， 2014， 37（12）： 32-35.
19	尹灵芝，朱军，蔡国林，等. 遥感影像质量评价方法综述［J］. 测绘与空间地理信息， 2014， 37（12）： 32-35.
20	YAN Liang. Research of image enhancement algorithms based on retinex theory［D］. Wuhan： Huazhong University of Science and Technology， 2016： 32-33.
20	严亮. 基于Retinex理论的图像增强技术研究［D］. 武汉：华中科技大学， 2016： 32-33.

[1]	杨松,黄帅,白杨,贾益,巴倩倩,田世强,钟兴. 基于多个稳定目标的吉林一号光谱02卫星多光谱成像仪的在轨绝对辐射定标[J]. 遥感技术与应用, 2023, 38(4): 803-815.
[2]	齐文栋,李志刚,顾晓鹤. 基于波段反射率日均增量的花生干旱灾情遥感评估[J]. 遥感技术与应用, 2022, 37(3): 580-588.
[3]	尹芳,封凯,吴朦朦,拜得珍,王蕊,周园园,尹春涛,尹翠景,刘磊. 一种基于分段偏最小二乘模型的土壤重金属遥感反演方法[J]. 遥感技术与应用, 2021, 36(6): 1321-1328.
[4]	段金亮,张瑞,李奎,庞家泰. 一种基于噪声水平估计的扩展线性光谱分解算法[J]. 遥感技术与应用, 2021, 36(4): 820-826.
[5]	蒋嘉锐,朱文泉,乔琨,江源. 基于Sentinel-2数据的天山山地针叶林识别方法研究[J]. 遥感技术与应用, 2021, 36(4): 847-856.
[6]	刘鹤,顾玲嘉,任瑞治. 基于无人机遥感技术的森林参数获取研究进展[J]. 遥感技术与应用, 2021, 36(3): 489-501.
[7]	李佳佳,束进芳,裘增欢,符冉迪,金炜. 面向滨海湿地的全色/多光谱影像融合方法与应用分析——以杭州湾（1999~2018年）为例[J]. 遥感技术与应用, 2021, 36(3): 627-637.
[8]	尹春涛,谢文扬,王奇,刘磊,孟刚刚. 甘肃北山白峡尼山地区多源遥感岩性制图研究[J]. 遥感技术与应用, 2020, 35(5): 1146-1157.
[9]	林志垒,张贵成. 基于改进Brovey变换的ALI影像融合算法研究[J]. 遥感技术与应用, 2020, 35(4): 893-900.
[10]	高小红,杨扬,张威,贾伟,李金山,田成明,张艳娇,杨灵玉,何林华. 可见光—近红外光谱估算三江源区不同土壤全氮含量[J]. 遥感技术与应用, 2015, 30(5): 849-859.
[11]	崔艳荣,何彬彬,张瑛,李蔓. 非负矩阵分解融合高光谱和多光谱数据[J]. 遥感技术与应用, 2015, 30(1): 82-91.
[12]	刘朝相,宫兆宁,赵文吉. 基于SVM模型的妫水河叶绿素a浓度的遥感反演[J]. 遥感技术与应用, 2014, 29(3): 419-427.
[13]	郭云开,张源,张文博. 植被健康指数及高等级公路路域环境评价研究[J]. 遥感技术与应用, 2013, 28(6): 1120-1124.
[14]	吕晓凯,李传荣,马灵玲,苑馨方,李晓辉. 一种基于物理机理的高光谱遥感图像真彩色校正模型[J]. 遥感技术与应用, 2013, 28(3): 467-473.
[15]	覃先林, 张子辉, 李增元. 一种利用HJ\\|1B 红外相机数据自动识别林火的方法[J]. 遥感技术与应用, 2010, 25(5): 700-706.

Viewed

Full text

Abstract

Cited

Shared

Discussed