为满足具体监测任务尤其是应急响应任务对时空分辨率的要求，需要对多时间、空间尺度的遥感数据进行融合。传统数据融合方法鲁棒性较低，模型无法跨区域、跨传感器应用，因此，本研究基于人工智能领域的超分辨率生成对抗网络（以下简称SRGAN），开展多尺度数据融合方法研究，提出ISRGAN影像超分辨模型。

ISRGAN模型以超分辨率生成对抗网络SRGAN为基础，为解决SRGAN模型训练不稳定以及在跨区域和跨传感器上的迁移性不足的问题，针对性地修改了SRGAN的损失函数并对其网络结构进行了改进，使模型训练地更加稳定，在跨区域和跨传感器上有着良好的迁移能力。

原文链接

Xiong, Y., Guo, S., Chen, J., Deng, X., & Sun, L. (2020). Improved SRGAN for Remote Sensing Image Super-Resolution Across Locations and Sensors. Remote Sensing, 12(1263), 1–22. https://doi.org/10.3390/rs12081263

研究背景

详细和准确的土地覆盖和土地利用空间变化信息是地方生态和环境研究的重要基础。对于这些任务，需要高空间分辨率图像来捕捉地球表面的时空动态变化过程 ^[1]^ 。目前获取高时空分辨率影像的方法主要有两种：1）多源影像融合模型 和2）影像超分辨率模型 。

与图像融合模型相比，超分辨模型不需要在相近的时间内获取相同区域的高空间分辨率影像，使得这些方法在计算机视觉和遥感领域的不同场景中都具有更强的可操作性。

图像超分辨率模型的基本假设是，如果低空间分辨率图像遵循与创建低空间分辨率图像相同的重采样过程，则可以重建或从其他高空间分辨率图像中学习到低空间分辨率图像中缺失的细节。基于这个假设，在过去的十年里，人们致力于准确地预测点扩散函数，它代表了形成低分辨率像素的混合过程。主要有三种方法：1）基于插值的方法，2）基于重构的方法，3）基于学习的方法（表 1）。

首先，插值法是基于一定的数学策略，从相关点计算要恢复的目标点的像素值，其复杂度低，效率高。但是，得到的图像的边缘效果很明显，在插值过程中没有产生新的信息，无法恢复图像的细节。

其次，重构法对成像过程进行建模，整合来自同一场景的不同信息，获得高质量的重构结果 。通常这些方法为了提高空间分辨率而牺牲时间分辨率，需要预先配准和大量的算力。

第三，学习法克服了难以确定重建方法的分辨率改进倍数的限制，可以面向单一图像，这是目前超分辨率重建的主要发展方向 。在这类方法中，常用的方法有近邻嵌入法 、稀疏表示法 和深度学习法。

表 1超分辨方法对比

方法大类	模型	基本思想	优点	缺点
插值法	最近邻插值法，二次卷积法，三次卷积法	当前像素值可以用邻近的像素表示	复杂度低，效率高	图像纹理细节无法预测
重构法	联合地图配准，PSF反卷积，稀疏回归法	通过重建技术恢复图像物理性质和特征，使点扩散函数进一步恢复图像细节	融合同一场景的不同信息，得到高质量重建结果	配准需要耗费大量计算时间
学习法	邻域嵌入法，稀疏表达法，贝叶斯网络，SRCNN，SRGAN	通过学习大量图像样本，创建点扩散函数	样本数量较多时生成的图像更接近目标图像，获得更高的PSNR	训练时间长，需要大量数据集，模型泛化能力差

学习法通常需要高度代表性来覆盖整个总体数据变化的训练样本。在实践中，为了达到这一目的，通常需要收集大量的训练样本。但是在遥感领域，几乎不可能准备这样的训练样本集，因为遥感数据的变化不仅取决于目标的变化，还取决于不同的位置和不同的卫星传感器。由于这种限制，许多基于学习的方法都局限于某个位置和特定的传感器，导致模型跨区域和传感器的泛化能力有限。这一限制仍然给为不同区域和不同传感器训练一个超分辨率模型带来了挑战。

近年来，随着人工智能特别是基于神经网络的深度学习方法的快速发展，深度学习对于大样本的非线性过程拟合有着明显的优势，在计算机视觉领域得到了广泛的应用。这些模型的一个优点是能够处理大样本集，同时保持良好的泛化能力。在图像超分辨率领域，2014年Dong首次提出了超分辨率的神经网络SRCNN ^[16]^ 。与传统的超分辨率图像相比，该方法取得了更高的峰值信噪比，但当图像上的采样比较高时，重建图像会过于平滑，导致细节丢失。为了克服这一不足，Ledig,
C.提出了一种超分辨率生成对抗网络模型SRGAN，将原始CNN结构替换为GAN ^[17]^ 。作为深度学习领域最新的学习模型，SRGAN在捕获大样本的高维非线性特征方面显示出许多优势。然而，SRGAN模型在不同位置和不同传感器的遥感图像上的泛化能力仍然未知。

在本研究中，验证了基于GAN的方法可以提高跨区域和传感器的泛化能力，通过一些修改，可以一次性训练，并将结果应用于不同的区域和传感器。本研究主要贡献如下：

• 1）在SRGAN的基础上，本文提出了ISRGAN，解决了SRGAN训练不稳定以及模型泛化能力弱的问题；

• 2）计算模型在广东GF1数据集和新疆GF1数据集上的定量指标并进行t检验，验证了模型在跨区域上的普适性；

• 3）计算模型在新疆GF1数据集和新疆Landsat8数据集上的定量指标并进行t检验，验证了模型在跨传感器上的普适性；

• 4）以应用服务为目标，以遥感图像超分辨为基础，将超分辨后的遥感图像应用于土地覆盖分类和地物提取，提高分类及地物提取精度。

模型跨区域和跨传感器超分辨结果分析

基于广东高分1号数据集上训练的ISRGAN超分辨模型，我们分别迁移到新疆高分1号数据集、新疆Landsat8数据集上进行模型的跨区域，跨传感器测试。测试部分结果分别如图2.1.2~图2.1.4所示。

图 2.1.2在广东训练完成的ISRGAN模型在广东本地GF1数据集超分辨率测试结果（a）输入的图像；（b）超分辨图像；（c）地面真值；（d）（e）（f）分别表示超分辨图像真实图像在红、绿和蓝三波段1:1灰度图，斜率分别为1.0063，1.0032和0.9955。

图 2.1.3模型跨区域检验：在广东训练完成的ISRGAN模型直接迁移到新疆GF1数据集超分辨率测试结果（a）输入的图像；（b）超分辨图像；（c）地面真值；（d）（e）（f）分别表示超分辨图像真实图像在红、绿和蓝三波段1:1灰度图，斜率分别为0.9658，0.9378和0.9485。

图2.1.4模型跨传感器检验：将广东训练完成的ISRGAN模型在直接迁移到新疆Landsat数据集的超分辨率测试结果（a）输入的图像；（b）超分辨图像；（c）地面真值；（d）（e）（f）分别表示超分辨图像真实图像在红、绿和蓝三波段1:1灰度图，斜率分别为0.9527，0.9564和0.9760。

与传统超分辨模型对比试验

本文主要对比了超分辨领域经典方法领域嵌入法及稀疏表达法，根据相应的超分辨结果，计算其与原始图像的定量化指标，在本文中，由于同一时间同一场景下的Landsat8卫星数据和高分一号卫星数据很难获取，而且其对应的像元个数不一致，考虑到后续在验证模型在跨区域和跨传感器上的普适性上计算标准的一致性，故本文的所有定量计算的参考影像均为超分辨之前的原始影像，计算方法为将超分辨后的影像进行相应的降采样处理，再计算其与原始影像的量化指标。图2.1.5展示了本文基于ISRGAN方法和领域嵌入法、稀疏表达法及SRGAN在3个测试集中测试的部分对比结。

结论

本文以生成对抗网络在计算机视觉上的超分辨算法为基础，针对生成对抗网络本身在训练时存在的梯度消失和模式崩坏等问题，结合WGAN中所提出的最小化Wasserstein距离的方法，对原始超分辨网络（SRGAN）进行修改，提出了ISRGAN网络，并将其应用在遥感影像超分辨上，主要得出以下结论：

（1）本文所提出的ISRGAN超分辨网络，将其应用在遥感影像超分辨上，所取得的效果在定量指标上要优于领域嵌入法及稀疏表达法等传统影像超分辨方法。

（2）为了实现超分辨模型的一次训练，多次使用，我们直接将在用广东高分1影像数据训练的模型应用在新疆高分1影像数据，并对两组数据集超分辨结果的定量指标做t检验，验证了超分辨模型在跨区域上具有普适性。

（3）为了结合国产高分1影像数据与Landsat8影像数据各自的优势，本文将在高分1数据上训练的超分辨模型直接应用在Landsat8数据，并对超分辨结果的定量指标做t检验，验证了超分辨模型在跨传感器上具有普适性。

（4）以土地利用分类和地物提取为例，对比Landsat8影像超分辨前后的分类和提取精度，其中土地利用分类采用K-means聚类算法，地物提取使用SVM算法。结果表明，超分辨影像在分类和地物提取的目视效果及精度均有明显提高，表明遥感影像超分辨在资源开发、环境监测、灾害研究和全球变化分析等方面极具应用价值。