(通讯员 周华兵)近日,国际电子电工学会汇刊-地球科学与遥感(IEEE Transactions on Geoscience and Remote Sensing,TGRS),在线发表威尼斯官网多模态感知与认知计算科研团队论文:“Hyper-Laplacian Prior for Remote Sensing ImageSuper-Resolution”。论文第一署名单位为1066vip威尼斯智能机器人湖北省重点实验室、1066vip威尼斯1066vip威尼斯,合作单位为湖北文理学院、哈尔滨工业大学、Texas A&M University,第一作者为2023级博士生赵康辉,指导老师卢涛教授为通讯作者。国际电子电工学会汇刊-地球科学与遥感(TGRS)是计算机科学、地球科学与遥感领域的顶级期刊,最新影响因子为7.5,是中科院一区期刊,是中国计算机学会(CCF)推荐B类国际期刊。
图像是视觉感知世界的最重要方式之一,然而在实际成像过程中,图像在采集、压缩、传输、展示等各个环节都会造成信号一定程度的失真。这些因素往往导致最终得到的图像分辨率降低,影响人类或者机器对外部信息做出准确的判断,从而无法满足实际后续图像处理任务的需求。遥感图像常常因为远距离的外太空成像,卫星图像往往分辨率低,难以满足实际对地观测的需求,超分辨率方法能够从输入的多张低分辨率图像中利用图像的先验知识重建出高分辨率图像,因此卫星图像超分辨率技术一直是图像处理领域的热点问题。
传统图像超分辨率方法假设先验约束服从高斯或拉普拉斯分布,并利用图像的统计特性重建高分辨率图像,然而团队在大量的实验研究中发现遥感图像的先验分布更趋向于超拉普拉斯分布。根据这一观测,研究团队提出了超拉普拉斯先验引导的图像超分辨率方法,利用图像的超拉普拉斯先验图指导恢复。一方面,通过先验重建分支恢复高分辨率先验图,为超分辨率过程提供额外的结构先验。另一方面,提出一种结构先验损失,对超分辨率图像施加二阶限制,从而帮助模型更多关注几何结构。该论文的算法框架如下图所示:
图1论文算法框架图
论文提出的方法可以应用于没有高分辨率/低分辨率图像对的真实世界场景,能将现有超分辨率方法推广到实际应用场景。在多个数据集上的实验结果表明,论文方法性能优于目前的主流方法,如图2所示。同时该方法能够显著提升实际场景下的语义分割等高层视觉任务的性能,如图3所示。该论文首次将图像先验知识表达方法从传统的高斯或拉普拉斯分布推广到了超拉普拉斯分布,为图像恢复理论提供了新的约束计算框架,该论文理论和技术成果可以广泛应用于智能监控系统、无人驾驶、智能机器人等领域,具有良好的扩展性。
图2图像超分辨率重建结果
图3图像语义分割结果
近年来,在国家自然科学基金面上项目、中央引导地方发展专项和湖北省自然科学基金项目的支持下,多模态感知与认知计算科研团队在多模态图像感知领域开展前沿研究,相关技术成果已应用在研发的视频分析系统中,并被广泛应用到了智慧城市、智慧化工园区、智慧工地、智能运维和智能巡检机器人等领域,取得了良好的经济效益和社会效益。
论文链接:https://ieeexplore.ieee.org/document/10613839
(审稿 张炜)