科研学术

　　近日，英才实验学院2018级本科生张添敬（数理基础科学专业）以第一作者身份撰写的论文“A Triple-Double Convolutional Neural Network for Panchromatic Sharpening”被人工智能及机器学习领域权威期刊IEEE Transactions on Neural Networks and Learning Systems接收（中科院一区TOP期刊，影响因子10.4）。张添敬为论文第一作者，数学科学学院邓良剑特聘研究员为论文通讯作者。

　　遥感多光谱图像全色锐化（Pan-sharpening）的主要目的是将一幅低空间分辨率的多光谱图像和一幅同时获取的高空间分辨率全色图像进行数据融合，进而最终获得一幅高空间分辨率的多光谱图像（见图1）。该技术能够利用卫星获取的图像数据产生更为高清、更加实用的多光谱图像，在地质勘测、植被分类、自然灾害预估以及城镇布局观测等领域发挥着重要的作用。

图1. 全色锐化（Pansharpening）示意图（数据来源：WorldView3卫星数据）

 　　近年来，学者们将深度学习技术用于解决Pan-sharpening问题，并取得了优异的效果。然而，现有基于深度学习的方法仍存在改进空间。在低分辨率图上采样以及在图像融合过程中经常会出现光谱信息失真或高频空间信息丢失等问题，没有充分利用和考虑经典物理模型的优点，不符合全色锐化的实际物理过程，从而降低神经网络的性能。

图2. 传统MRA方法和论文提出的MRAB对比示意图

　　 针对上述问题，论文提出了一种新颖的基于传统多分辨率分析方法的双层、双向、双分支（Triple-Double）卷积神经网络结构（TDNet）。具体的网络设计基于传统的多分辨率分析（MRA）方法的物理公式，将提出的MRA融合模块（详见图2）集成到TDNet中。利用TDNet的结构，可以充分利用高分辨率全色图像的空间细节，渐进式地将其注入到低空间分辨率的多光谱（MS）图像中，从而得到高空间分辨率的输出。此外，论文还采用了经典的残差卷积模块和一些多尺度卷积模块来深化和拓宽网络，有效地提高了TDNet的特征提取效率和鲁棒性（详见图3）。

图3. 论文提出的TDNet网络示意图

　　论文提出的结构优势在于：（1）根据传统的MRA方法，设计了可以嵌入在TDNet结构中的MRAB，能够更好地从PAN图像中提取结构信息。该块结构的设计还引入了注意力机制的思想，比传统方法更加灵活；（2）以分层、双向的方式将PAN图像潜在的多尺度空间细节注入到MS图像中。在此框架下，我们采用了一个基于层次域的损失函数来对多层次的结果进行约束，从而保证了合理的融合结果；（3）采用了多尺度卷积核模块来深化和拓宽所提出的网络，以提高非线性拟合能力。实验结果表明所提方法在WorldView-3、QuickBird与高分2号卫星数据上获得了当前最优的量化指标（详见表1）；消融实验结果证明了模型中每个结构的有效性（详见表2）。在视觉效果上，该方法获得的结果较其它方法最为接近参考图像（见图4）。

 表1. 在多个WorldView3部分实验结果，在不同测试数据上TDNet都取得了最优结果

表2. 消融实验结果，TDNet在使用双层、双向、双分支结构时取得最优结果

　　图4. 视觉实验结果（上栏表示各种全色锐化方法的RGB示意图；下栏表示各种全色锐化方法的结果与参考图像的误差示意图，颜色越深代表结果与参考图像越接近。“TDNet”是论文所提方法）

　　张添敬同学于2019年秋开始在邓良剑老师的指导下从事自适应卷积神经网络设计与相关算法的研究工作，已在IEEE TNNLS、AAAI、ICCV、ACMMM等高水平期刊和国际会议上发表多篇论文，并在大三时获得新加坡国立大学全球提前批Offer，即将攻读博士学位。近年来，邓良剑老师作为数学科学学院黄廷祝教授“图像处理数学模型与高性能算法”团队骨干，已指导多名不同学院的本科生在高水平期刊和国际会议上发表学术论文。

　　文章链接：https://ieeexplore.ieee.org/document/9732243