自1972年美国国家航空航天局发射陆地一号卫星（Landsat 1）以来，人类利用卫星进行对地观测活动已有近50 a历史。在此其间，对地观测卫星技术随着第三次科技革命飞速发展，尤其是进入21世纪以来，对地观测卫星的数量和观测性能都有着突飞猛进的增长。更高的时间分辨率、空间分辨率和光谱分辨率，使得新一代地球观测卫星创造的的数据量越来越大，数据量从此不再是限制遥感应用的主要制约，遥感大数据时代的大门就此开启^［1］。

在遥感大数据时代，如何加快数据准备和访问速度、丰富数据分析手段和提高数据分析效率成为了用户面临的主要问题。此外，尽可能降低获取和分析卫星数据所需的技术门槛，也成为了不同专业背景的遥感数据使用者的一致诉求。为了满足上述的需求，完成向遥感大数据时代的过渡，更先进的算法、工具和数据管理解决方案需要被开发和应用^［2］。新一代的地球观测数据管理方案大多结合云计算等技术，摆脱了传统的本地处理和数据分发方法，在降低数据存储和处理所需的工作成本的同时，使得科研工作者的使用不再受限于计算机硬件和网络环境^［3］。目前最主流的对地观测数据云平台当属由谷歌公司开发的谷歌地球引擎（Google Earth Engine， GEE）。GEE平台包含有PB级的数据，不仅涵盖了Landsat系列，MODIS系列，Sentinel系列卫星的各级产品数据， 还涵盖了各类社会经济数据。同时，GEE可以通过Web API和IDE为用户提供较为强大的云计算服务，使得用户可以借助云端强大的算力实现遥感数据的调用、分析、输出，这一方面使得科研人员节约了大量处理数据的时间，另一方面大大降低了遥感数据分析的硬件和技术门槛，拓宽了对地观测数据的应用领域和场景^［4］。这也是谷歌地球引擎自发布以来被全球范围内的研究人员广泛应用的原因。

然而，Google Earth Engine由谷歌公司运营，其数据存储和计算服务器均位于海外，出于服务器连接稳定性和数据安全等方面的考虑，GEE在处理国产对地观测卫星数据的问题时显然并不能胜任。因此，开源的地球观测数据分析管理平台——开放数据立方体（Open Data Cube， ODC）成为了国产对地观测卫星数据可行的解决方案。ODC与GEE相比，具有便于在本地部署，便于进行小范围数据分析，数据分析接口较为丰富等一系列技术优势。开放数据立方体现已经成为全球地球综合观测系统 （GEOSS）和由我国牵头成立的亚大区域综合地球观测系统（AOGEOSS）的重要技术平台^［5］。从理论和实践层面都可以看出，ODC系统可以较为成功的解决国产卫星大数据管理和应用的难题，因此使用ODC作为国产卫星数据的管理解决方案是完全可行的。

当前，国内关于开放数据立方体的研究工作尚处于初期阶段，研究成果较少。Open Data Cube目前只支持Landsat 5/7/8，Sentinel-1/2，ALOS-1/2，ASTER，MODIS等数据，尚未支持中国卫星数据^［6］。此外，现有的研究并未涉及国产卫星数据基于ODC的服务实现，仅停留在存储的研究和利用Python接口进行简单分析应用的层面。为解决上述问题，基于Linux环境部署ODC系统，在系统上实现了国产对地观测卫星高分一号（GF-1）WFV数据的加载，并利用已加载国产卫星数据进行了水探测服务案例的开发，在此基础上讨论了基于ODC系统的Web UI——Data Cube UI设计国产卫星数据服务的一般方法。本研究是对使用ODC的国产卫星数据管理模式的探索，将为相关的应用提供有效的参考。

Open Data Cube的前身是澳大利亚科工局和地调局开发的澳大利亚地学数据立方体（Australian Geoscience Data Cube， AGDC）。2018年，为更好满足全球用户对对地观测数据的需求，进一步提升对地观测数据的影响力，在地球观测卫星委员会（CEOS）的牵头组织下，开源数据管理平台Open Data Cube被正式建立。ODC吸收融合了AGDC和GEE的诸多优点，在确保用户对数据的完全控制的同时，可以大大简化遥感数据准备过程，提升数据管理和查询效率，并提供了命令行、代码编辑器、Web UI等一系列丰富接口以便于用户与数据进行交互^［7］。此外，ODC还提供了一个由一系列数据结构和工具组成的开源通用分析框架，有助于大型网格化数据收集、组织与分析。

经过数年的发展，ODC已经建立了集开发、科研、应用为一体的较为完善的生态圈（如图1所示），在全球范围内不断扩大着影响力。ODC官方于2019年开始全球多个国家和地区国家和地区进行定制化开发和业务化部署，并计划在2022年在20个国家或地区完成系统部署^［8］。目前已完成部署的ODC区域系统有非洲区域数据立方体（Africa Regional Data Cube）和瑞士数据立方体（Swiss Data Cube）、澳大利亚数字地球（Digital Earth Australia）等^［9］。基于ODC系统开发的中国数据立方体China Data Cube（CDC）在应用中也取得了良好的表现，目前正处于积极建设中^［10］。

ODC系统大致由3部分组成（如图2所示）：①开放数据立方体核心（ODC Core）：是数据准备模块，用于实现数据的预处理和标准化，以便于后续基于时间序列的分析。②ODC应用（ODC Apps）：是数据交互软件，用于查看元数据信息和管理数据。③ODC算法（ODC Algorithms）：用于实现遥感数据的计算和分析^［11］。通过上述3个模块的相互配合，用户在ODC系统上可以以自动化的方式完成预处理、建立索引、数据查询分析的完整工作流，从而降低了管理对地观测数据的时间成本。

为增加系统的可扩展性，提高系统与不同对地观测数据集的适配能力，降低系统的维护成本，开发者为Open Data Cube设计了一种分层架构^［11］，该架构共分为4层（如图2所示），按照从底向上的顺序分别为：数据获取、逻辑结构、调用接口、具体应用^［3］。

（1）数据获取层：其基本功能是管理用户写入的地球观测数据和经过预处理的数据。其中的摄取数据模块可以对ARD数据进行进一步管理，并且用NetCDF格式的储存单元来分块储存数据，使得数据的存储和调用效率获得提升。

（2）逻辑结构层：是架构中最核心的部分，一方面负责底层数据的处理、分析和可视化呈现，另一方面负责ODC任务的管理调度等全局任务。

（3）调用接口层：提供一系列可供开发者调用的接口，包括终端命令、Web接口、Python（Jupyter Notebook）接口等。用户开发的应用可以通过接口层提供的接口与逻辑结构层进行交互。

（4）具体应用层：指用户通过接口直接对数据进行分析，或设计一系列服务，以便将遥感数据应用于植被监测、海岸线动态监测、非法采矿监测、作物产量估计等具体方面。

研究基于64位Ubuntu 20.04进行部署，Linux系统运行环境为Oracle VM虚拟机。部署分为两个步骤：第一步是进行Datacube Core的安装：在虚拟机准备完毕后，开始安装ODC运行的的依赖环境，主要有Python，GDAL，rasterio，netCDF4，PostgreSQL数据库等。第二步是Data Cube UI的安装：环境配置之后，安装Datacube Core并创建Datacube配置文件。然后安装docker和Data Cube UI，并使用控制台命令为Data Cube UI配置端口。所有安装完成后启动虚拟环境和服务器进行测试，结果成功连接至UI Web，即表明系统部署成功。

高分一号发射于2013年4月26日，是我国高分辨率对地观测系统重大专项的首发星，其在提高我国高分辨率自给率，推动我国卫星工程技术水平的提升方面有着重要的意义^［12］。高分一号搭载了4台16m分辨率宽幅相机（WFV），成像幅宽可达800km左右，并具有蓝、绿、红、近红外4个观测波段。高分一号卫星数据延续时间较长，有着较好的空间分辨率和覆盖度，因此具有很高的应用价值，同时也具有十分庞大的数据量。因此，探索使用Open Data Cube加载高分一号卫星数据的技术路线，在提升高分一号卫星数据生产力，发挥其数据应用潜力方面有着重要意义。

在ODC系统中加载卫星数据一般分为4个步骤：①定义产品；②提取元数据；③建立索引；④摄取数据。ODC官方提供了大致的技术路线，然而，针对国产卫星数据，每一步骤中都需要根据国产卫星数据的特点进行额外的改动。加载国产卫星数据的全部流程如图3所示，步骤具体介绍如下：

该步骤的目的是对GF1影像数据的类型进行正式定义和相关说明。在执行索引任务之前，需要为遥感数据集建立一个元数据文档，描述数据表示的内容、数据来源，以及数据存储的格式等信息，这个元数据文档即为ODC中的产品定义（product definition）。产品定义是一个格式为YAML的文件（同时支持JSON格式），文件中包含卫星数据产品的一系列信息，包括名称，产品类型，空间参考，波段信息等，考虑到单波段储存，还需将影像空间范围、成像时间、No Data值等信息储存入产品定义文件中。产品定义存储在索引中，用于搜索、查询和访问数据。ODC虽然提供了Landsat、MODIS等卫星影像数据的定义文件，但并未提供GF1等国产卫星影像数据的定义文件，我们针对此问题编写了根据高分一号卫星数据的特点编写了GF-1卫星的产品定义文件GF1.yaml（图4（a）），并成功运行命令将其添加进数据库。

近年来，在卫星数据元数据的整理阶段，由于现有软件不支持或元数据格式不统一，技术人员不得不采用传统手工作业方式，将元数据项的内容逐项填写，这浪费了大量的人力和时间。因此在ODC中，这一方式将通过标准化、自动化的方式实现，其具体实现方式就是提取元数据的Python脚本。ODC目前只提供了Landsat系列和Sentinel系列卫星元数据的提取脚本，因此我们需要根据高分一号卫星数据的特点重新编写适用的脚本（图4（b））。脚本主要使用了yaml，GDAL等库，其大致结构为：①读取高分一号卫星元数据信息。②读取波段信息，生成波段文件储存路径。③将元数据信息和波段信息共同写入到yaml文件中进行输出，输出文件即为提取所得到的元数据。值得注意的是，高分一号影像4个波段的数据储存在一个TIFF格式文件中，这点与Landsat数据有很大不同，因此需要使用GDAL库将4个波段分离并分开存储，才能得到4个波段数据的正确路径。

在向ODC加载了高分一号卫星的产品定义，并成功提取元数据之后，接下来的步骤是建立索引（index），即将提取所得的元数据与产品定义进行匹配，并将卫星影像数据路径存入数据库的过程。这一步可通过ODC自带命令实现。建立索引之后，该景卫星数据在ODC系统中便处于可查询状态，可以继续进行摄取操作。

摄取（ingest）是将用户所导入的GF1影像数据进行系统的切块、压缩等一系统操作，最后生成便于ODC分析计算的NetCDF格式的数据切片，这种数据格式可以不依赖于计算机和应用程序。由于卫星影像以切片的形式存储在数据库中，因此小范围分析和像元级的分析数据分析效率都会大大提高。

Open Data Cube系统为用户提供了丰富的数据交互接口，包括了命令行工具，Jupyter Notebook，ODC Explorer， Web UI， Web服务等。其中，其Web UI——Data Cube UI兼有数据管理和数据分析功能，便于用户进行二次开发，且界面易于操作，对没有信息技术专业背景的用户较为友好，因此有较高的应用价值。在成功加载了高分一号的数据之后，我们基于ODC的Web接口Data Cube UI设计并实现了高分一号卫星数据的水探测服务案例。

Data Cube UI建立在Python Web框架Django的基础上，同时应用了Celery，PostgreSQL，Apache/Mos WSGI等技术^［13］，其具体架构逻辑可分为前端和后端两部分：

（1）后端包含了数据、数据分析算法和任务：①数据。Data Cube UI中的数据主要分为遥感影像数据和Django数据两部分，卫星遥感数据存储存在Open Data Cube中，Web UI的数据（Django Model）存储在Django的数据文档models中，二者的数据库均基于PostgreSQL实现。②数据分析算法。 Data Cube UI的算法基于Django app实现，所有的算法均继承自dc_algorithm这一基类，官方提供了植被指数计算，水探测，海岸线变化探测等数据分析算法，用户也可以根据实际需要定义新算法。③任务（task）是算法执行的具体过程，其基于Redis + Celery实现。任务根据用户设定的算法参数，在后端获取数据并将其分割为易于分析的大小，对数据执行算法，并将处理结果输出，是前端与后端沟通的桥梁。

（2）前端包含了模板（template），视图（view）。前者是html文件，包含网页页面的内容，格式等，可以通过函数从后端获取数据。后者是一个Python函数，用于根据用户的Web请求返回Web响应。二者共同控制页面的显示和用户的前端交互。

如上文所述，Data Cube UI中内置了植被指数计算、水体探测、海岸变化探测等一系列算法，这些算法涵盖了对地观测数据的大部分的使用场景。本文基于一景已经成功加载的哈尔滨地区2019年10月26日的一景高分一号WFV数据，应用Data Cube UI内置的Water Detection算法，创建了该区域的水探测服务。创建服务的主要步骤为：

（1）添加区域（areas）：区域（areas）是显示在算法页面的单元，用户使用时，在选择算法之后进入到区域选择页面，选择分析案例所在的区域即可开始分析。首先，在控制台中运行Data Cube UI的管理脚本，创建超级用户，以便于对后续对Django数据库的直接操作。然后，运行服务器，在浏览器中接入Django Admin管理工具的端口，并以超级用户身份登录。登陆成功之后，先在satellite类中创建新的卫星类型GF-1，然后在dc_algorithm类中的areas下根据地区地理位置范围、所选用的数据等信息，创建新区域并将其命名为dongbei_1。

（2）将区域与算法匹配：在数据库中创建新区域的记录之后，其并不能在页面中显示，需要继续进行匹配操作。选择Dc_algorithm> Applications> water_detection，然后在Areas选项卡中勾选新创建的区域，并在下方的Satellites选项卡中勾选GF-1。操作完成之后点击保存，即完成了区域的添加。此时进入Data Cube UI中的水探测页面，可以看到新创建的区域dongbei_1（图5）。

上述步骤完毕之后，服务即创建完成，点击图标即可进入数据分析页面（图6），在设定参数之后点击提交，即可使用加载的GF-1数据完成水探测分析。该流程同样适用于使用其他内置算法创建国产卫星的服务。

Data Cube UI有较好的扩展性，支持用户开发自定义数据分析算法，这使得用户不仅可以使用内置算法创建服务，还可以根据实际应用需求创建自定义服务。由于上文已经讨论了基于已有算法创建服务的步骤，因此创建自定义服务的关键在于如何创建自定义算法。 创建新算法本质上是新建Django app的过程，大部分操作均需要通过与Django的管理文件manage.py交互实现。由于篇幅所限，本文仅讨论创建基础应用（如波段运算）的方法。以波段运算算法为例，创建一个自定义算法有以下3个步骤（图7）：

（1） 创建基本文件（Generating Base Files）：该步骤是创建一切新算法的初始步骤。包括复制并重命名基类中的基本文件，创建新应用的数据模型（model），为后续步骤创建指引等操作。

（2） 迁移（data migration）：该步骤是新建Django app所必须进行的操作，其目的是在新的app中生成基本表。

（3） 算法实现（algorithm implementation）：完成上述两个步骤之后，新算法的代码和基本数据结构已经完成构建，接下来需要根据在步骤（1）中创建的指引进行具体函数修改。在新app目录下的task.py文件中搜索" #TODO"标签，按照指引并根据波段计算公式修改对应部分^［14］。

综上所述，可以得到基于Data Cube UI创建卫星数据的一般流程（如图7）。在创建服务时，首先应该根据实际应用场景，判断Data Cube UI内置的算法能否满足使用需求，若能满足，直接在数据库中创建区域并将区域与算法匹配即可。若不能满足，则需要根据实际需求自行创建算法，然后再进行区域的创建与匹配。

随着遥感技术的发展和进步，遥感卫星的种类、数量不断增多，卫星数据的时间、空间、光谱分辨率不断提高，遥感数据的种类和数量也在不断增加^［15］。遥感大数据时代的来临对于广大的科研工作者来说，既是机遇，也是挑战。先进有效的方式数据管理方案，可以将海量的对地观测数据转化为澎湃的生产力，因而可以使遥感科学和遥感相关应用领域发生翻天覆地的变化。我国的对地观测卫星事业正处于上升期，国产卫星带来的海量数据，需要一套行之有效新型数据管理解决方案，而Open Data Cube作为一个开放、高效、架构先进的系统，可以成为国产遥感大数据管理的有效工具。

本研究的首要目的就是探索使用Open Data Cube系统管理国产卫星数据的技术路线。为了达到这一目的，需要解决两个问题：第一，国产卫星数据在ODC上的加载问题。ODC系统目前对中国卫星数据并不支持，这就需要根据高分一号WFV数据的特点编写产品定义和提取元数据脚本，完成定义产品、建立索引、摄取数据的完整流程，从而将国产数据加载到ODC上，即使国产卫星数据与ODC系统成功“适配”。第二，国产卫星数据服务的开发问题。为充分释放数据的生产潜力，在成功加载国产卫星数据后，还需利用ODC的相关接口，基于已加载数据创建易于使用的数据分析服务。基于上述思路，以目前数据量较大，使用频率较高的高分一号WFV数据为例，实现了在ODC上加载国产卫星数据并创建服务的技术路线，从而为基于Open Data Cube的国产卫星数据管理提供了技术经验和先验知识。

本研究也有一些局限性：首先，由于本文着重探讨加载国产对地观测数据的一般方法，故仅向Open Data Cube加载了高分一号WFV数据作为实验，并未对其他国产卫星数据的加载进行具体的尝试。其次，受限于存储条件和设备算力，在研究中没有大规模地加载数据，对向ODC批量加载国产卫星数据的方法和效率没有进行深入的探讨。再次，在服务设计环节，我们没有对水探测服务的处理效率进行定量的探究。这些不足有待于后续相关研究进行完善和补充。

未来可以从两方面入手，继续深化本文的研究工作。一是可以探索多源国产卫星数据在ODC上的加载。近年来，我国的对地观测卫星事业取得了长足发展，相继发射了搭载不同类型传感器、涵盖不同分辨率的多个系列的遥感卫星，已经建立起陆地、海洋、大气三大系列的遥感卫星系统^［16］。在本研究的基础上，探索使用ODC系统对多源国产对地观测数据进行的有效管理的方法，可以充分挖掘现有数据的潜力，对我国对地观测卫星体系未来的发展具有重要的意义。二是可以充分利用ODC官方提供的应用接口，针对现有的国产对地观测数据开发多种服务，从而更好地满足实际应用的需求。例如，以植被指数计算模块为基础，结合时序遥感影像数据，开发植被物候探测服务；以不透水面指数计算模块为基础，结合历史遥感影像数据以及人口等其他类型数据，开发城市化进程探测服务等。

本文首先分析了遥感大数据时代给数据管理的带来的挑战，并在横向对比的基础上，提出了适合国产卫星数据的新型数据管理解决方案——Open Data Cube系统。随后以高分一号WFV数据为例，讨论了在Linux环境下向ODC加载国产卫星数据的方法，并在成功加载后使用已加载数据，基于ODC的Web UI设计了水探测服务案例。具体的成果有：

（1） 在Linux环境下部署ODC系统，并按照ODC的官方规范，根据高分一号卫星的特征创建了GF-1 WFV的产品定义。

（2） 使用Python编写了提取高分一号卫星元数据的脚本，使用脚本成功提取了元数据。最终成功建立索引，摄取数据，将高分一号WFV数据加载至ODC系统中。

（3） 基于ODC提供的Web UI接口Data Cube UI， 创建了哈尔滨区域高分卫星数据的水探测服务案例。并在此基础上探讨了使用Data Cube UI创建国产卫星数据服务的一般方法。

本文所探讨的的在Linux环境下的ODC系统中加载国产卫星数据，并使用Web UI创建服务的技术路线，填补了国内关于开放数据立方体研究的空白，为使用ODC管理国产卫星数据的相关研究提供了先验知识，为国产卫星数据的高效管理提供了新思路和切实可行的办法。研究也存在一定的局限性：没有探讨其他国产卫星数据的加载流程，没有探讨大规模加载数据的方法，没有对定量探究水探测服务的处理效率，这些不足有待于后续的研究进行验证和补充。