科研学术

　　近日，英才实验学院2020级本科生曹启（数理基础科学专业）以第一作者身份撰写的论文“Zero-shot semi-supervised learning for pansharpening”被人工智能及信息融合领域权威期刊Information Fusion接收（中国自动化学会推荐期刊A+类，中科院一区TOP期刊）。曹启为论文第一作者，数学科学学院博士生导师邓良剑研究员为论文通讯作者。

图1. 全色锐化（Pansharpening）示意图（数据来源：WorldView3卫星数据）

　　遥感多光谱图像全色锐化（Pansharpening）的主要目的是将一幅低空间分辨率的多光谱图像和一幅同时获取的高空间分辨率全色图像进行数据融合，最终获得一幅高空间分辨率的多光谱图像（见图1）。该技术能够利用卫星获取的图像数据产生更为高清、更加实用的多光谱图像，在地质勘测、植被分类、自然灾害预估以及城镇布局观测等领域发挥着重要的作用。

表1. 各种pansharpening方法的比较

　　近年来，学者们将传统数学方法与卷积神经网络技术用于解决Pansharpening问题，并取得了优异的效果。然而，现有各种方法仍存在改进空间（见表1）。传统方法使用一对LRMS和PAN来生成全分辨率的HRMS，但由于假设融合产品之间存在（通常不准确的）线性关系，因此无法生成高质量的融合产品。卷积神经网络方法，即监督和无监督学习方法，可以对数据之间的任意非线性关系进行建模，但当测试数据与训练数据不一致时，其性能甚至比传统方法更差。此外，监督方法依赖于模拟降低分辨率的数据进行训练，从而导致全分辨率下的信息丢失。无监督方法由于缺乏参考图像和退化过程估计不准确，导致会出现图像失真。

图2. 论文提出的两阶段三分量ZS-Pan模型

　　针对上述问题，论文提出了一种新颖的零次半监督学习方法（ZS-Pan，见图2）。ZS-Pan结合传统方法、无监督学习方法和监督学习方法的优势，输入数据是单个LRMS/PAN对，并通过非线性神经网络来探索原始（全分辨率）特征。

图3. 论文提出的降低分辨率监督预训练模型

图4. 论文提出的空间退化建立模型

　　实现ZS-Pan面临着训练数据有限和没有参考图像的挑战。为了解决这些挑战，ZS-Pan框架采用了两阶段三分量模型构建，即降低分辨率监督预训练（RSP）、空间退化建立（SDE），以及全分辨率无监督生成（FUG）阶段（见图3、4）。在实验中，作者使用一些最先进的（SOTA）全色锐化方法来评估所提出的框架在不同数据集上的性能以进行比较。结果表明，ZS-Pan在视觉上和定量上都优于这些SOTA方法（见图5、表2）。

图5. 视觉实验结果（表示各种全色锐化方法的RGB示意图，“ZS-Pan”是论文所提方法）

表2. 在多个WorldView3部分实验结果，在不同测试数据上ZS-Pan都取得了最优结果

　　曹启同学于2021年开始在邓良剑老师的指导下从事图像数据有效性与深度神经网络结构的研究工作，已在Information Fusion、ACMMM等高水平期刊和国际会议上发表多篇第一作者身份论文。近年来，邓良剑老师作为数学科学学院黄廷祝教授“图像处理数学模型与高性能算法”团队骨干，已指导多名不同学院的本科生在高水平期刊和国际会议上发表学术论文。

　　文章链接：https://doi.org/10.1016/j.inffus.2023.102001