The Open Data Cube system is a new generation of open-source earth observation data management system, which can solve many challenges faced by Chinese satellite big data in the management and application fields. However, the system currently supports only international mainstream satellite data loading and services and is still not available for Chinese satellite data. Taking GF-1 WFV data as an example, we loaded and created a service of Chinese satellite data based on the Open Data Cube system. Firstly, according to the characteristics of GF-1 data, the product definition and metadata extraction script are written to index and ingest data, to complete the loading of Chinese satellite data. Then based on the loaded data, the water detection service of GF-1 satellite data is developed using ODC’s Web UI interface. This research proves the feasibility of using the Open Data Cube system to manage Chinese satellite data and provides technical references for other Chinese satellite data loading and service implementation based on this system.
Keywords:GF-1 Satellite Data
;
Data Management
;
Open Data Cube
SUN Zhelun, XIAO Biyong, ZHAO Zulaing, YU Guojiang, CAO Qianqian, WANG Meng, YAO Xiaochaung. Loading and Service Implementation of GF-1 Satellite Data based on Open Data Cube. Remote Sensing Technology and Application[J], 2023, 38(4): 794-802 doi:10.11873/j.issn.1004-0323.2023.4.0794
然而,Google Earth Engine由谷歌公司运营,其数据存储和计算服务器均位于海外,出于服务器连接稳定性和数据安全等方面的考虑,GEE在处理国产对地观测卫星数据的问题时显然并不能胜任。因此,开源的地球观测数据分析管理平台——开放数据立方体(Open Data Cube, ODC)成为了国产对地观测卫星数据可行的解决方案。ODC与GEE相比,具有便于在本地部署,便于进行小范围数据分析,数据分析接口较为丰富等一系列技术优势。开放数据立方体现已经成为全球地球综合观测系统 (GEOSS)和由我国牵头成立的亚大区域综合地球观测系统(AOGEOSS)的重要技术平台[5]。从理论和实践层面都可以看出,ODC系统可以较为成功的解决国产卫星大数据管理和应用的难题,因此使用ODC作为国产卫星数据的管理解决方案是完全可行的。
当前,国内关于开放数据立方体的研究工作尚处于初期阶段,研究成果较少。Open Data Cube目前只支持Landsat 5/7/8,Sentinel-1/2,ALOS-1/2,ASTER,MODIS等数据,尚未支持中国卫星数据[6]。此外,现有的研究并未涉及国产卫星数据基于ODC的服务实现,仅停留在存储的研究和利用Python接口进行简单分析应用的层面。为解决上述问题,基于Linux环境部署ODC系统,在系统上实现了国产对地观测卫星高分一号(GF-1)WFV数据的加载,并利用已加载国产卫星数据进行了水探测服务案例的开发,在此基础上讨论了基于ODC系统的Web UI——Data Cube UI设计国产卫星数据服务的一般方法。本研究是对使用ODC的国产卫星数据管理模式的探索,将为相关的应用提供有效的参考。
2 ODC系统的部署
2.1 ODC介绍
Open Data Cube的前身是澳大利亚科工局和地调局开发的澳大利亚地学数据立方体(Australian Geoscience Data Cube, AGDC)。2018年,为更好满足全球用户对对地观测数据的需求,进一步提升对地观测数据的影响力,在地球观测卫星委员会(CEOS)的牵头组织下,开源数据管理平台Open Data Cube被正式建立。ODC吸收融合了AGDC和GEE的诸多优点,在确保用户对数据的完全控制的同时,可以大大简化遥感数据准备过程,提升数据管理和查询效率,并提供了命令行、代码编辑器、Web UI等一系列丰富接口以便于用户与数据进行交互[7]。此外,ODC还提供了一个由一系列数据结构和工具组成的开源通用分析框架,有助于大型网格化数据收集、组织与分析。
经过数年的发展,ODC已经建立了集开发、科研、应用为一体的较为完善的生态圈(如图1所示),在全球范围内不断扩大着影响力。ODC官方于2019年开始全球多个国家和地区国家和地区进行定制化开发和业务化部署,并计划在2022年在20个国家或地区完成系统部署[8]。目前已完成部署的ODC区域系统有非洲区域数据立方体(Africa Regional Data Cube)和瑞士数据立方体(Swiss Data Cube)、澳大利亚数字地球(Digital Earth Australia)等[9]。基于ODC系统开发的中国数据立方体China Data Cube(CDC)在应用中也取得了良好的表现,目前正处于积极建设中[10]。
高分一号发射于2013年4月26日,是我国高分辨率对地观测系统重大专项的首发星,其在提高我国高分辨率自给率,推动我国卫星工程技术水平的提升方面有着重要的意义[12]。高分一号搭载了4台16m分辨率宽幅相机(WFV),成像幅宽可达800km左右,并具有蓝、绿、红、近红外4个观测波段。高分一号卫星数据延续时间较长,有着较好的空间分辨率和覆盖度,因此具有很高的应用价值,同时也具有十分庞大的数据量。因此,探索使用Open Data Cube加载高分一号卫星数据的技术路线,在提升高分一号卫星数据生产力,发挥其数据应用潜力方面有着重要意义。
Open Data Cube系统为用户提供了丰富的数据交互接口,包括了命令行工具,Jupyter Notebook,ODC Explorer, Web UI, Web服务等。其中,其Web UI——Data Cube UI兼有数据管理和数据分析功能,便于用户进行二次开发,且界面易于操作,对没有信息技术专业背景的用户较为友好,因此有较高的应用价值。在成功加载了高分一号的数据之后,我们基于ODC的Web接口Data Cube UI设计并实现了高分一号卫星数据的水探测服务案例。
4.1 Data Cube UI架构
Data Cube UI建立在Python Web框架Django的基础上,同时应用了Celery,PostgreSQL,Apache/Mos WSGI等技术[13],其具体架构逻辑可分为前端和后端两部分:
(1)后端包含了数据、数据分析算法和任务:①数据。Data Cube UI中的数据主要分为遥感影像数据和Django数据两部分,卫星遥感数据存储存在Open Data Cube中,Web UI的数据(Django Model)存储在Django的数据文档models中,二者的数据库均基于PostgreSQL实现。②数据分析算法。 Data Cube UI的算法基于Django app实现,所有的算法均继承自dc_algorithm这一基类,官方提供了植被指数计算,水探测,海岸线变化探测等数据分析算法,用户也可以根据实际需要定义新算法。③任务(task)是算法执行的具体过程,其基于Redis + Celery实现。任务根据用户设定的算法参数,在后端获取数据并将其分割为易于分析的大小,对数据执行算法,并将处理结果输出,是前端与后端沟通的桥梁。
Data Cube UI有较好的扩展性,支持用户开发自定义数据分析算法,这使得用户不仅可以使用内置算法创建服务,还可以根据实际应用需求创建自定义服务。由于上文已经讨论了基于已有算法创建服务的步骤,因此创建自定义服务的关键在于如何创建自定义算法。 创建新算法本质上是新建Django app的过程,大部分操作均需要通过与Django的管理文件manage.py交互实现。由于篇幅所限,本文仅讨论创建基础应用(如波段运算)的方法。以波段运算算法为例,创建一个自定义算法有以下3个步骤(图7):
随着遥感技术的发展和进步,遥感卫星的种类、数量不断增多,卫星数据的时间、空间、光谱分辨率不断提高,遥感数据的种类和数量也在不断增加[15]。遥感大数据时代的来临对于广大的科研工作者来说,既是机遇,也是挑战。先进有效的方式数据管理方案,可以将海量的对地观测数据转化为澎湃的生产力,因而可以使遥感科学和遥感相关应用领域发生翻天覆地的变化。我国的对地观测卫星事业正处于上升期,国产卫星带来的海量数据,需要一套行之有效新型数据管理解决方案,而Open Data Cube作为一个开放、高效、架构先进的系统,可以成为国产遥感大数据管理的有效工具。
本研究的首要目的就是探索使用Open Data Cube系统管理国产卫星数据的技术路线。为了达到这一目的,需要解决两个问题:第一,国产卫星数据在ODC上的加载问题。ODC系统目前对中国卫星数据并不支持,这就需要根据高分一号WFV数据的特点编写产品定义和提取元数据脚本,完成定义产品、建立索引、摄取数据的完整流程,从而将国产数据加载到ODC上,即使国产卫星数据与ODC系统成功“适配”。第二,国产卫星数据服务的开发问题。为充分释放数据的生产潜力,在成功加载国产卫星数据后,还需利用ODC的相关接口,基于已加载数据创建易于使用的数据分析服务。基于上述思路,以目前数据量较大,使用频率较高的高分一号WFV数据为例,实现了在ODC上加载国产卫星数据并创建服务的技术路线,从而为基于Open Data Cube的国产卫星数据管理提供了技术经验和先验知识。
本研究也有一些局限性:首先,由于本文着重探讨加载国产对地观测数据的一般方法,故仅向Open Data Cube加载了高分一号WFV数据作为实验,并未对其他国产卫星数据的加载进行具体的尝试。其次,受限于存储条件和设备算力,在研究中没有大规模地加载数据,对向ODC批量加载国产卫星数据的方法和效率没有进行深入的探讨。再次,在服务设计环节,我们没有对水探测服务的处理效率进行定量的探究。这些不足有待于后续相关研究进行完善和补充。
本文首先分析了遥感大数据时代给数据管理的带来的挑战,并在横向对比的基础上,提出了适合国产卫星数据的新型数据管理解决方案——Open Data Cube系统。随后以高分一号WFV数据为例,讨论了在Linux环境下向ODC加载国产卫星数据的方法,并在成功加载后使用已加载数据,基于ODC的Web UI设计了水探测服务案例。具体的成果有:
... 然而,Google Earth Engine由谷歌公司运营,其数据存储和计算服务器均位于海外,出于服务器连接稳定性和数据安全等方面的考虑,GEE在处理国产对地观测卫星数据的问题时显然并不能胜任.因此,开源的地球观测数据分析管理平台——开放数据立方体(Open Data Cube, ODC)成为了国产对地观测卫星数据可行的解决方案.ODC与GEE相比,具有便于在本地部署,便于进行小范围数据分析,数据分析接口较为丰富等一系列技术优势.开放数据立方体现已经成为全球地球综合观测系统 (GEOSS)和由我国牵头成立的亚大区域综合地球观测系统(AOGEOSS)的重要技术平台[5].从理论和实践层面都可以看出,ODC系统可以较为成功的解决国产卫星大数据管理和应用的难题,因此使用ODC作为国产卫星数据的管理解决方案是完全可行的. ...
亚洲大洋洲区域综合地球观测系统计划进展
1
2018
... 然而,Google Earth Engine由谷歌公司运营,其数据存储和计算服务器均位于海外,出于服务器连接稳定性和数据安全等方面的考虑,GEE在处理国产对地观测卫星数据的问题时显然并不能胜任.因此,开源的地球观测数据分析管理平台——开放数据立方体(Open Data Cube, ODC)成为了国产对地观测卫星数据可行的解决方案.ODC与GEE相比,具有便于在本地部署,便于进行小范围数据分析,数据分析接口较为丰富等一系列技术优势.开放数据立方体现已经成为全球地球综合观测系统 (GEOSS)和由我国牵头成立的亚大区域综合地球观测系统(AOGEOSS)的重要技术平台[5].从理论和实践层面都可以看出,ODC系统可以较为成功的解决国产卫星大数据管理和应用的难题,因此使用ODC作为国产卫星数据的管理解决方案是完全可行的. ...
1
2021
... 当前,国内关于开放数据立方体的研究工作尚处于初期阶段,研究成果较少.Open Data Cube目前只支持Landsat 5/7/8,Sentinel-1/2,ALOS-1/2,ASTER,MODIS等数据,尚未支持中国卫星数据[6].此外,现有的研究并未涉及国产卫星数据基于ODC的服务实现,仅停留在存储的研究和利用Python接口进行简单分析应用的层面.为解决上述问题,基于Linux环境部署ODC系统,在系统上实现了国产对地观测卫星高分一号(GF-1)WFV数据的加载,并利用已加载国产卫星数据进行了水探测服务案例的开发,在此基础上讨论了基于ODC系统的Web UI——Data Cube UI设计国产卫星数据服务的一般方法.本研究是对使用ODC的国产卫星数据管理模式的探索,将为相关的应用提供有效的参考. ...
ODC Whitepaper
1
2017
... Open Data Cube的前身是澳大利亚科工局和地调局开发的澳大利亚地学数据立方体(Australian Geoscience Data Cube, AGDC).2018年,为更好满足全球用户对对地观测数据的需求,进一步提升对地观测数据的影响力,在地球观测卫星委员会(CEOS)的牵头组织下,开源数据管理平台Open Data Cube被正式建立.ODC吸收融合了AGDC和GEE的诸多优点,在确保用户对数据的完全控制的同时,可以大大简化遥感数据准备过程,提升数据管理和查询效率,并提供了命令行、代码编辑器、Web UI等一系列丰富接口以便于用户与数据进行交互[7].此外,ODC还提供了一个由一系列数据结构和工具组成的开源通用分析框架,有助于大型网格化数据收集、组织与分析. ...
he “Road to 20” International Data Cube Deployments
1
2018
... 经过数年的发展,ODC已经建立了集开发、科研、应用为一体的较为完善的生态圈(如图1所示),在全球范围内不断扩大着影响力.ODC官方于2019年开始全球多个国家和地区国家和地区进行定制化开发和业务化部署,并计划在2022年在20个国家或地区完成系统部署[8].目前已完成部署的ODC区域系统有非洲区域数据立方体(Africa Regional Data Cube)和瑞士数据立方体(Swiss Data Cube)、澳大利亚数字地球(Digital Earth Australia)等[9].基于ODC系统开发的中国数据立方体China Data Cube(CDC)在应用中也取得了良好的表现,目前正处于积极建设中[10]. ...
Open Data Cube Overall
1
2021
... 经过数年的发展,ODC已经建立了集开发、科研、应用为一体的较为完善的生态圈(如图1所示),在全球范围内不断扩大着影响力.ODC官方于2019年开始全球多个国家和地区国家和地区进行定制化开发和业务化部署,并计划在2022年在20个国家或地区完成系统部署[8].目前已完成部署的ODC区域系统有非洲区域数据立方体(Africa Regional Data Cube)和瑞士数据立方体(Swiss Data Cube)、澳大利亚数字地球(Digital Earth Australia)等[9].基于ODC系统开发的中国数据立方体China Data Cube(CDC)在应用中也取得了良好的表现,目前正处于积极建设中[10]. ...
China Data Cube (CDC) for Big Earth Observation Data: Lessons learned from the design and implementation
1
2018
... 经过数年的发展,ODC已经建立了集开发、科研、应用为一体的较为完善的生态圈(如图1所示),在全球范围内不断扩大着影响力.ODC官方于2019年开始全球多个国家和地区国家和地区进行定制化开发和业务化部署,并计划在2022年在20个国家或地区完成系统部署[8].目前已完成部署的ODC区域系统有非洲区域数据立方体(Africa Regional Data Cube)和瑞士数据立方体(Swiss Data Cube)、澳大利亚数字地球(Digital Earth Australia)等[9].基于ODC系统开发的中国数据立方体China Data Cube(CDC)在应用中也取得了良好的表现,目前正处于积极建设中[10]. ...
The Australian Geoscience Data Cube—Foundations and lessons lea-rned
... 为增加系统的可扩展性,提高系统与不同对地观测数据集的适配能力,降低系统的维护成本,开发者为Open Data Cube设计了一种分层架构[11],该架构共分为4层(如图2所示),按照从底向上的顺序分别为:数据获取、逻辑结构、调用接口、具体应用[3]. ...
高分一号卫星的技术特点
1
2013
... 高分一号发射于2013年4月26日,是我国高分辨率对地观测系统重大专项的首发星,其在提高我国高分辨率自给率,推动我国卫星工程技术水平的提升方面有着重要的意义[12].高分一号搭载了4台16m分辨率宽幅相机(WFV),成像幅宽可达800km左右,并具有蓝、绿、红、近红外4个观测波段.高分一号卫星数据延续时间较长,有着较好的空间分辨率和覆盖度,因此具有很高的应用价值,同时也具有十分庞大的数据量.因此,探索使用Open Data Cube加载高分一号卫星数据的技术路线,在提升高分一号卫星数据生产力,发挥其数据应用潜力方面有着重要意义. ...
高分一号卫星的技术特点
1
2013
... 高分一号发射于2013年4月26日,是我国高分辨率对地观测系统重大专项的首发星,其在提高我国高分辨率自给率,推动我国卫星工程技术水平的提升方面有着重要的意义[12].高分一号搭载了4台16m分辨率宽幅相机(WFV),成像幅宽可达800km左右,并具有蓝、绿、红、近红外4个观测波段.高分一号卫星数据延续时间较长,有着较好的空间分辨率和覆盖度,因此具有很高的应用价值,同时也具有十分庞大的数据量.因此,探索使用Open Data Cube加载高分一号卫星数据的技术路线,在提升高分一号卫星数据生产力,发挥其数据应用潜力方面有着重要意义. ...
CEOS Open Data Cube UI Guide
1
2021
... Data Cube UI建立在Python Web框架Django的基础上,同时应用了Celery,PostgreSQL,Apache/Mos WSGI等技术[13],其具体架构逻辑可分为前端和后端两部分: ...
... 随着遥感技术的发展和进步,遥感卫星的种类、数量不断增多,卫星数据的时间、空间、光谱分辨率不断提高,遥感数据的种类和数量也在不断增加[15].遥感大数据时代的来临对于广大的科研工作者来说,既是机遇,也是挑战.先进有效的方式数据管理方案,可以将海量的对地观测数据转化为澎湃的生产力,因而可以使遥感科学和遥感相关应用领域发生翻天覆地的变化.我国的对地观测卫星事业正处于上升期,国产卫星带来的海量数据,需要一套行之有效新型数据管理解决方案,而Open Data Cube作为一个开放、高效、架构先进的系统,可以成为国产遥感大数据管理的有效工具. ...
遥感大数据的基础设施:集成、管理与按需服务
1
2017
... 随着遥感技术的发展和进步,遥感卫星的种类、数量不断增多,卫星数据的时间、空间、光谱分辨率不断提高,遥感数据的种类和数量也在不断增加[15].遥感大数据时代的来临对于广大的科研工作者来说,既是机遇,也是挑战.先进有效的方式数据管理方案,可以将海量的对地观测数据转化为澎湃的生产力,因而可以使遥感科学和遥感相关应用领域发生翻天覆地的变化.我国的对地观测卫星事业正处于上升期,国产卫星带来的海量数据,需要一套行之有效新型数据管理解决方案,而Open Data Cube作为一个开放、高效、架构先进的系统,可以成为国产遥感大数据管理的有效工具. ...