研究现状从图像超分辨率技术被提出以来,研究学者不断探索,提出了多种多样的图像超分辨率算法,并持续进行优化改进设计。针对现今已提出的大量图像超分辨率算法,许多文献资料按照不同的参考标准,给出了不同的分类方法。
在早期的文献资料中,常常把图像超分辨率技术等同于图像超分辨率重建进行分析和介绍,随着图像超分辨率重建方法的不断丰富,部分研究学者提出将图像超分辨率分为图像插值和超分辨率重建两大类[37],把图像插值定义为从单张低分辨率图像获取高分辨率图像,将超分辨率重建定义为从多张低分辨率图像(即图像序列)中获取高分辨率图像。近年来,计算机视觉和机器学习备受关注,不少文献将一些借助训练样本的算法归类为基于学习的图像超分辨率方法。
对已有的各种分类方法进行总结,如果按照较为粗浅的方法进行分类,可以根据使用到的低分辨率图像数量进行划分:基于单帧图像的超分辨率技术和基于图像序列的超分辨率技术[38]。只通过对一幅低分辨率图像进行处理而得到高分辨率图像的过程就称为基于单帧图像的超分辨率,这种方法操作简易、运算量不大、获取速度快,但是必须在该帧低分辨率图像满足含有可以用于恢复高分辨率图像的全部信息前提下,才能得到较为理想的结果,然而,通常情形下,一帧低分辨率图像中,能够提供的用于图像超分辨率的信息有限;基于多幅图像的超分辨率方法是对一组低分辨率图像序列进行操作,它能够充分利用低分辨率图像序列之间的相互信息,通过多幅图像之间的彼此补充,恢复出图像的细节内容,获得效果较好的高分辨率图像。51315
如果按照较为细致的方法进行划分,可以根据图像超分辨率的实际操作手段分成三种:基于插值的图像超分辨率方式,例如:最近邻域插值(Nearest Neighbor Interpolation)[39]、线性插值(Linear Interpolation)[38]、三次样条插值(Cubic Spline Interpolation)[38]、非均匀插值(Non-uniform Interpolation)[39]等;基于重建的图像超分辨率方式,例如:迭代反投影法(IBP:Iterative Back Projection)[13]、凸集投影法(POCS)[14]、统计复原法,即最大后验概率估计(MAP)[15]和最大似然概率法(ML)、混合最大后验概率估计\凸集投影法(MAP\POCS)[40]等;基于学习的图像超分辨率方法,例如:基于特征脸的人脸超分辨率复原方法[41]、基于稀疏表示的图像超分辨率方法[42]等。其中,基于重建的图像超分辨率方法又可以分为频域重建方法和空域重建方法两类。频域法主要是利用离散傅里叶变换(DFT)和连续傅里叶变换(FT)之间的平移、混叠性质,通过消除频谱混叠来获取高分辨率图像,频域法理论简单,但是其可扩展性弱,退化模型受限,运动模型只能局限于全局平移运动,先验约束受限;空域法即在空间域中进行图像超分辨率处理,它将空间可变点扩散函数(PSF)、帧内运动模糊、光学模糊、全局和局部运动、欠采样等内容考虑进来[39],因此有很强的扩展性,运动模型灵活、数目不限,有简单的退化模型和无限的先验约束,应用广泛,详细常见方法介绍见论文的第二章。
图像超分辨率方法的分类
按照图像超分辨率技术发展顺序,可以将其研究情况总结如下:
1) 20世纪60年代,Harris[20]和Goodman [21]初次提出了单幅图像重建的相关概念和方法,开启了对于图像超分辨率重建的探索,并且给出了具体的线性外推算法 [21]和正弦模板算法 [21]。虽然在之后的一段时期中,不断有研究学者给出新的图像超分辨率重建算法,并进行了相应的仿真,但是在实际的应用中,由于这些算法并没有得到很好的效果,因此图像超分辨率重建一直没有办法推广,甚至濒临被放弃的境地。