一、 项目名称：图像层次化结构先验学习理论与超分辨重建技术

二、 提名者及提名意见（包含提名等级）：

提名者：陕西省教育厅

提名意见：本项目围绕单帧图像超分辨重建的国际学术前沿和国家重大需求开展研究，基于图像层次化结构先验学习理论，从图像结构正则化先验设计、自相似冗余信息学习、实例学习方法与重构方法层次化集成，以及超分辨重建网络与先验估计网络协同学习等方面，进行了深入系统研究，取得了具有重要创新性和理论价值的研究成果。项目成果获得2018年度ACM西安分会“新星奖”，2019年度陕西省电子学会自然科学技术一等奖、2020年度陕西省高等学校科学技术一等奖。成果材料齐全、规范，无知识产权纠纷，人员排序无争议，符合陕西省科学技术奖提名条件。特提名为2024年度陕西省科学技术自然科学二等奖。

三、 项目简介：

超分辨重建是一种有效提高图像分辨率的信号处理技术。该技术能有效克服成像设备固有分辨率的不足，突破成像环境的限制，在不改变现有成像系统的前提下，能以最低的成本获取高于成像系统物理分辨率的高质量图像。针对超分辨重建面临的挑战性问题，本项目基于图像层次化结构先验学习理论，从图像结构正则化先验设计、自相似冗余信息学习和实例学习方法与重构方法层次化集成等方面，对基于实例学习和基于重构的单帧图像超分辨重建方法进行了深入系统的研究，取得了如下三个方面的主要科学发现：

(1)建立了基于实例学习和基于重构超分辨方法相结合的层次化超分辨重建框架，揭示了基于实例学习与基于重构两种超分辨技术的互补性关系。提出了图像非局部相似性和局部各向异性的图像结构表观建模方法，建立了从图像内部挖掘图像结构先验知识构成正则化的稳健性超分辨重建模型；利用由粗到精的超分辨重建策略，提出了基于实例学习与基于重构相结合的层次化单帧图像超分辨重建方法，解决了已有方法不能同时兼顾图像边缘清晰度和图像纹理逼真度的超分辨重建问题。

(2)研究了降低模型复杂性和提高重建性能的高斯过程回归超分辨图像重建方法。提出了基于非局部高斯过程回归的单帧图像超分辨方法、基于主动采样与高斯过程回归的单帧图像超分辨方法和基于稀疏高斯过程回归的单帧图像超分辨。本项目提出的高斯过程回归超分辨图像重建方法能有效缓解传统高斯过程回归模型存在的高复杂度问题，能在保持较高重建精度的同时提升重建效率。

(3)建立了超分辨重建网络和先验估计网络协同学习模型，揭示多层次人脸结构先验和反馈学习机制对提升超分辨重建质量的显著作用。利用相互反馈和协作迭代机制，提出一种多层次关键点先验信息指导的人脸超分辨重建方法，解决了在极端退化情况下重建高分辨人脸图像的保真度问题；利用人脸概率语义指导和跨尺度空间特征融合策略，提出了基于层次化语义先验指导的人脸超分辨重建方法，有效抑制了人脸显著结构区域伪像失真问题。

5篇代表性论文发表在计算机学科领域的一流国际期刊与会议，包括《IEEE Trans》3篇, 中科院JCR一区论文4篇，顶级国际会议CVPR 1篇，获得国家发明专利3项。上述工作得到了10多个国家/地区，其中包括10余位IEEE/ACM/IAPR Fellow 等国际同行的高度认可。本项目获得了国家自然科学基金面上项目、中国博士后基金特别资助项目、中国博士后基金一等资助项目和湖北省自然科学基金项目的资助；第一完成人的博士学位论文“基于广义稀疏表示的超分辨重建方法”获西安电子科技大学2014年度优秀博士论文，获2018年度ACM中国西安分会“新星奖”，2019年度香港“桑麻奖教金”，获2019年度陕西省电子学会科学技术奖“一等奖”，2020年度陕西高等学校科学技术奖一等奖。获2018年度陕西省自然科学基础研究计划重点项目“基于多视角特征集成学习的图像超分辨重建方法（2018JZ6002）”、2019年度国家自然科学基金面上项目“基于分治策略与增量字典学习的图像超分辨重建方法研究（61971339）”立项。

四、 客观评价：

【重要科学发现点1的评价】

IEEE Fellow、IEEE SPL高级编辑、SIAM SIIMS，IEEE-TIT，ACHA等国际刊物副主编、2007年所罗门·西蒙·马尼教学卓越奖、2008年亨利·陶布学术卓越奖、2010年赫歇尔-里奇创新奖的获得者、以色列理工学院计算机科学系教授Michael Elad于2014年发表在《IEEE TIP》的论文中引用并评述了项目组的代表性著作1, 在代表性引文1中指出本项目组的代表性著作1是一种通过多尺度字典联合利用重建图像的稀疏性，以及局部与非局部图像先验知识的超分辨重建方法。(“Zhang et al. [18] take advantage of sparsity of the reconstructed image through a multi-scale dictionary, along with local and non-local image priors.”)

IEEE Fellow、法国总统“最高骑士荣誉勋章”获得者、法国INRIA Christine Guillemot教授于2014 年发表在《IEEE TIP》上的论文中引用了项目组的代表性著作1，在代表性引文2指出本项目的代表性著作1是一种除了使用稀疏表示实例正则项外，还使用多个正则项实现全局优化图像生成过程的方法。(“In [17], instead, another sparse-representation-based SR algorithm is presented, which, in addition to a sparse example-based term, uses several regularization terms to globally optimize the image generation process.”)。

IEEE Fellow、IEEE Transactions on Signal Processing 论文奖获得者、NSF 职业奖获得者、美国加利福利亚大学Truong Q. Nguyen 教授于2019 年发表在《IEEE TIP》的代表性引文3中，3次引用并评述了项目组的代表性著作2，指出代表性引文3是在受代表性著作2提出的组合实例学习和重构方法启发的基础上，提出将实例学习和重构方法联系起来，建立互补性正则化约束的组合超分辨重建方法。(“In addition, the work in [2] claims that the combination of the reconstruction-based and learning-based methods can further improve the SR performance. Inspired by these works, we propose a combined SISR method, which bridges these two SISR methods and provides complementary regularization constraints.”)。

中国工程院院士、IEEE Fellow、2022年度“吴文俊人工智能最高成就奖”获得者，中国自动化学会理事长，西安交通大学郑南宁教授，于2023年发表在《IEEE TIP》的代表性引文4中，专门引用并正面评述了项目组的代表性著作3，指出代表性著作3是通过融合基于学习和基于重建超分辨算法，联合去除混叠伪影并生成RGB图像的精细细节的超分辨方法(“Reference [74] jointly removed aliasing artifacts and generated fine details of RGB images by fusing learning-based and reconstruction based algorithms.”)。

【重要科学发现点2的评价】

IEEE Fellow, ACM Fellow, 中国工程院院士、中国计算机学会“王选奖”获得者，中国计算机学会理事长，新一代人工智能产业技术创新战略联盟理事长，全国专业标准化技术委员会副主任，数字音视频编解码技术标准(AVS)工作组组长北京大学高文教授，于2017年发表在《Neurocomputing》的代表性引文5中引用了本项目两篇论文，并指出项目的代表性著作4是基于高斯过程回归的实例学习超分辨的代表性方法。（“There are also some other example-based methods, such as Gaussian process regression based methods [54], combined example-based and reconstruction-based processes [53], special texture examples [46], and local self-exemplar based methods [38–40], etc.”）

IEEE Fellow、IET Fellow、教育部“长江学者支持计划”创新团队首席、中国人工智能学会、中国计算机学会、中国电子学和中国自动化学会会士，连续六年入选爱思唯尔高被引学者榜单、西安电子科技大学焦李成教授于2018年发表在《IEEE Transactions on Geoscience and Remote Sensing》的代表性引文6中指出，本项目的代表性著作4改进了基于高斯过程回归的超分辨方法耗时的问题，提升了速度。（“These methods are all time consuming, and some strategies [34]–[37] have been used to improve their speed.”）

【重要科学发现点3的评价】

新加坡工程院院士、IEEE Life Fellow、IEEE SPL高级编辑、SIAM SIIMS，IEEE-TIT，ACHA等国际刊物副主编、2007年所罗门·西蒙·马尼教学卓越奖、2008年亨利·陶布学术卓越奖、2010年赫歇尔-里奇创新奖的获得者、新加坡南洋理工大学教授马凯光于2024年发表在《IEEE Signal Processing Letters》的论文中引用并评述了项目组的代表性著作5, 在代表性引文7中指出本项目组的代表性著作5是一种通过增加低分辨图像分辨率生成高分辨图像的代表性方法。(“single image super-resolution (SISR) that aims at enlarging the resolution of a low-resolution (LR) input image to produce a high-resolution (HR) output image [2], [4], [5], [6], [7], [8], [9], [10], [11], [12],[13], [14], [15], [16], [17].”)

IEEE Follow, 美国国家科学基金会早期职业生涯发展奖、美国ARO YIP 奖、美国ONR YIP奖获得者，美国德州农工大学熊子祥教授于2023年发表在《Neural Networks》上的论文中引用并评述了项目组的代表性著作5，在代表性引文8中指出本项目组的代表性著作5是一种利用人脸关键点作为额外人脸先验作为监督信息训练深度网络的代表性方法。(“The latest work employs additional face a priori supervision, such as face resolution maps (Chen et al., 2018), landmark heat maps (Bulat & Tzimiropoulos, 2018; Yu, Fernando, Ghanem, Porikli, & Hartley, 2018; Zhuang, Li, Zhang, Li, & Lu, 2022), and identity information (Zhang, Zhang, Cheng, Hsu, Qiao, & Liu, 2018), to train their networks.”)

五、 代表性论文专著目录： 

六、 主要完成人情况：

七、 主要完成单位情况：

八、 完成人合作关系说明

完成人合作关系情况汇总表