一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法[发明专利]

(12)发明专利申请

(10)申请公布号 CN 111402138 A(43)申请公布日 2020.07.10

(21)申请号 202010211303.3(22)申请日 2020.03.24

(71)申请人 天津城建大学

地址 300000 天津市西青区津静公路26号(72)发明人 孙叶美　张艳　刘树东　鲁维佳　

李现国　(74)专利代理机构 天津睿勤专利代理事务所

(普通合伙) 12225

代理人 孟福成(51)Int.Cl.

G06T 3/40(2006.01)G06K 9/62(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)

权利要求书2页 说明书7页 附图5页

CN 111402138 A(54)发明名称

一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法(57)摘要

本发明公开一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法，包括以下步骤：图像预处理、图像特征提取和图像重建，在图像特征提取步骤中，采用了多个MSB模块，图像在MSB模块中，采用含有不同大小卷积核的卷积层分别进行特征提取，再采用密集连接的方式进行特征重复学习，在模型中设计了监督层误差函数，用以辅助和修正模型的重建误差。本发明实现了对提取的特征图在不同尺度上处理，增强了模型的适应性；实现了信息的多通道传播，加快了收敛速度，缓解了梯度消失现象；添加辅助监督误差函数，增强了梯度的反向传播，提供额外的正则化，有效地解决了传统算法中存在的梯度消失问题，提高了算法的精度。

CN 111402138 A

权　利　要　求　书

1/2页

1.一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法，其特征在于：包括以下步骤：

图像预处理：S1：将训练集中的高分辨率图像进行YCbCr颜色空间转换，然后提取Y通道，将得到的Y通道图像记为YH；

S2：将YH图像分别按照不同缩放尺度的因子进行下采样，得到不同模糊程度的低分辨率图像；

S3：将低分辨率图像不重叠裁剪出子图像块，并进行对应尺度因子的简单上采样，再将YH不重叠裁剪成相对应的子图像块作为标签；

S4：相对应的子图像块对，作为卷积神经网络输入层的数据；图像特征提取：S1：输入的图像通过第一层卷积层，再进入MSB1模块；S2：进入MSB1模块后，采用含有不同大小卷积核的卷积层分别进行特征提取，再采用密集连接的方式进行特征重复学习，各分支的特征进行融合，输出特征图Feature_MSB1；

S3：将特征图Feature_MSB1输入到MSB2模块中，重复S2中学习步骤，将得到的特征图记为Feature_MSB2，再将其输入到下一个MSB模块中；

S4：当特征图从最后一个MSB模块中输出时，将之前学习得到的所有特征图进行融合得到特征图Feature_Sum；

S5：将Feature_Sum通过卷积层进行降维，得到维度为1的残差特征图re；图像重建：S1：在其中一个MSB模块后设计监督层，用监督层的输出修正模型的重建误差，S2：利用输入的低分辨率图像与模型之前学到的残差特征图re进行特征融合，重建出最终的高分辨率图像。

2.如权利要求1所述的基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法，其特征在于：图像预处理步骤中，

S1：将训练集中的高分辨率RGB图像进行YCbCr颜色空间转换，然后提取Y通道，将得到的Y通道图像记为YH；

S2：将YH图像分别按照缩放尺度为×2、×3、×4的因子进行下采样得到不同模糊程度的低分辨率图像，分别记为YL2、YL3、YL4；

S3：将YL2、YL3、YL4不重叠裁剪为41×41大小的子图像块，分别记为YL2-sub、YL3-sub、YL4-sub；将YL2-sub、YL3-sub、YL4-sub进行对应尺度因子的简单上采样，得到的结果记为YIL2-sub、YIL3-sub、YIL4-sub，再将YH不重叠裁剪成与YIL2-sub、YIL3-sub、YIL4-sub相对应的子图像块作为标签，分别记为YH2-sub、YH3-sub、YH4-sub；

S4：按照YIL2-sub-YH2-sub、YIL3-sub-YH3-sub、YIL4-sub-YH4-sub相对应的图像对形式保存，作为卷积神经网络输入层的数据。

3.如权利要求1所述的基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法，其特征在于：图像特征提取步骤中，模型中，除了监督层和最后一层卷积层以外，其余每一层卷积层后都有一个整流线性单元作为激活函数，所有的MSB模块网络结构采用卷积神经网络结构。

2

CN 111402138 A

权　利　要　求　书

2/2页

4.如权利要求3所述的基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法，其特征在于：图像特征提取步骤中，

S1：输入的图像通过第一层卷积核为3×3大小、通道数为的卷积层，再进入MSB1模块；

S2：进入MSB1模块后，采用含有不同大小卷积核的卷积层分别进行特征提取，每个分支采用密集连接的方式进行特征重复学习，在MSB1模块提取特征的最后，将两分支的特征进行融合，得到特征图Feature_MSB1；

S3：将得到特征图Feature_MSB1输入到MSB2模块中，重复S2中学习步骤，将得到的特征图记为Feature_MSB2，再将其输入到下一个MSB模块中；

S4：当特征图从最后一个MSB模块中输出时，将之前学习得到的特征图Feature_MSB1、Feature_MSB2、Feature_MSB3…进行融合得到特征图Feature_Sum；

S5：将Feature_Sum通过卷积核大小为1×1的卷积层进行降维，得到维度为1的残差特征图re。

5.如权利要求4所述的基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法，其特征在于：图像特征提取步骤中，S2：采用卷积核为3×3和5×5的卷积层分别进行特征提取，其中为了降低模型的计算量，卷积核为3×3的卷积层分支中，每层卷积层的通道数量设置为32，卷积核为5×5的卷积层分支中，每层卷积层的通道数量设置为16。

6.如权利要求4所述的基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法，其特征在于：图像特征提取步骤中使用10个MSB模块，在第七个MSB模块后设计监督层。

7.如权利要求1所述的基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法，其特征在于：图像重建步骤中，我们定义x和y是低分辨率输入图像和高分辨率图像，θ代表模型中需要被优化的一系列参数，re代表残差特征图，

代表训练集，N代

表训练集中样本的数量，Lsupervised代表监督层的输出，Loverall代表模型的重建误差函数，f代表从低分辨率图像到高分辨率图像的映射关系；监督层误差函数和重建误差函数可由如下表示：

其中，f1代表从输入层到监督层的低分辨率图像与高分辨率图像之间的映射关系，f2代表整个模型的低分辨率图像与高分辨率图像之间的映射关系。

3

CN 111402138 A

说　明　书

1/7页

一种基于多尺度特征提取融合的监督卷积神经网络的图像超

分辨率重建方法

技术领域

[0001]本发明属于图像处理技术领域，特别涉及一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法。

背景技术

[0002]随着数字多媒体技术的快速发展，数字图像成为信息传达的重要表现形式。图像分辨率的高低、携带有用信息量的多少直接关系到人们对信息认知程度的深浅，这使得人们对图像和视频质量的要求越来越高。然而，在实际获取数字图像的过程中，往往会受到诸多因素的影响而导致获取的图像质量下降，例如成像系统内外各种噪声，再加上一些特殊场合需要对数据进行传输、保存、下采样或者压缩，使图像的分辨率及质量进一步恶化，导致人们获取的有价值的图像细节信息大大减少。所以如何有效地提高图像的分辨率及质量以满足应用需求是需要解决的一个问题。[0003]一般地，可通过提高硬件性能来提升图像的分辨率，方式有两种：一是通过制造工艺的更新换代，例如增大CCD或CMOS传感器上传感元件的密度；二是通过扩大成像芯片的尺寸来增大传感元件的绝对数目。但这两种方式都存在着瓶颈，第一种方法无法无地减小传感元件的尺寸，因为传感元件尺寸过小会导致散粒噪声效应，从而抵消由传感元件密度增大获得的分辨率提升效果；第二种方式会造成电容增大和电荷传输率下降，这反而又了分辨率的进一步提升。而且从商业角度考虑，市场上高精度光学设备和高质量的传感器价格较高，大大增加了企业的生产成本。所以，通过改善硬件性能来提升图像分辨率的途径存在提升空间有限、成本高、易受环境因素制约的缺陷，不能很好地适应当前应用的发展趋势。

[0004]为了打破在硬件方面的局限，国内外的许多研究学者从算法入手来提高图像的分辨率。图像超分辨率重建是由单帧或多帧低分辨率(Low Resolution，LR)图像重构具有良好视觉效果和更加接近真实图像的高分辨率(High Resolution，HR)图像或序列的技术。[0005]目前，图像的超分辨率重建算法可以分为三类：基于插值的超分辨率算法、基于重建的超分辨率算法以及基于学习的超分辨率算法。基于学习的超分辨率重建算法可获得相对较好的重建效果，已经成为当前超分辨率重建研究的热点，但传统的基于学习的超分辨率重建算法在特征提取与表达能力有限，导致重建得到的图像效果不佳，不能满足人们对高质量图像的要求。[0006]近年来，深度学习在图像、语音、文本等数据上的成功应用引起了学术界和工业界的广泛关注，与其它传统的基于学习的算法相比，它端到端的训练模式和超强的特征提取与学习能力有很大的优越性，因此，越来越多的国内外学者将深度学习应用到图像超分辨率重建研究中。其中基于卷积神经网络的图像超分辨率重建算法取得了良好的重建性能，但经典的基于深度卷积神经网络的图像超分辨率重建算法(Image Super-Resolution Using Deep Convolutional Networks，SRCNN)存在网络层较少、感受野小、模型泛化能力

4

CN 111402138 A

说　明　书

2/7页

差等缺陷。

[0007]SRCNN算法分析：

[0008]该算法的重建过程分为图像特征提取、非线性映射和图像重建三个步骤，将三个步骤统一到一个卷积神经网络模型中，实现了从低分辨率图像到高分辨率图像之间的端到端学习。SRCNN算法的模型结构如图1所示。

[0009]SRCNN算法所有的操作都是由卷积层实现。图中ILR代表上采样后的低分辨率图像，HR代表重建的高分辨率图像。每一层卷积层描述如下。[0010]模型的第一层卷积层，其数学表达可表示为式(1)，其中W1和B1分别表示权重和偏置，W1的尺寸大小为c×f1×f1×N1，c是输入的图像通道数，f1是卷积核的尺寸，N1为卷积核的个数，B1是一个N1维的向量，并且采用线性激活函数(Rectified Linear Units，ReLu)作为激励函数，则第一层卷积的输出F1(Y)可以表示为：[0011]F1(Y)＝max(0，W1*Y+B1)   (1)[0012]模型的第二层卷积层，与第一层卷积层类似，第二层卷积层的数学表达可表示为式(2)，式中W2和B2分别表示权重和偏置，W2的尺寸大小为N1×f2×f2×N2，N1是输入第二层卷积层的特征图数，B2是一个N2维的向量，则第二层卷积的输出F2(Y)可以表示为：[0013]F2(Y)＝max(0，W2*F1(Y)+B2)   (2)

[0014]模型的第三层卷积层为模型的输出层，主要完成高分辨率图像的重建。数学表达可表示为式(3)，式中W3的尺寸大小为N2×f2×f2×c，B3为c维的向量。[0015]F(Y)＝W3*F2(Y)+B3   (3)

[0016]算法的最终目标是通过最小化损失函数式(4)来获得一个低分辨率图像到高分辨率图像的映射关系F，损失函数采用的是均方误差。式中θ是需要优化的参数，Xi和Yi是给定的一组高分辨率图像和低分辨率图像。

[0017]

虽然SRCNN算法成功的将卷积神经网络技术应用到了图像超分辨率重建的问题

上，并取得了很好的重建结果。但它也存在一些缺陷：第一，SRCNN算法仅使用了三层卷积层，较少的卷积层导致训练得到的模型在重建性能上有一定的局限。而有研究表明较深层模型结构可提取到图像更深层次、更复杂的特征，得到的模型具有更强的表达能力，可提升图像重建性能。第二，SRCNN算法模型的感受野较小，不同卷积层之间的局部感受野可构成相邻层神经元的上下文信息关联，SRCNN算法仅使用三层卷积层，导致模型的感受野太小(13×13)，模型不能充分利用不同卷积层之间信息，影响了模型的重建性能。第三，SRCNN算法的在提取特征能力适应性差，SRCNN没有对特征进行整合，导致模型的重建性能不佳。另外，近些年来，涌现出了大量对SRCNN算法进行改进的算法，但均存在一定的不足，例如单纯的依靠增加网络层的层数来提高图像重建的质量，由于在网络的训练过程中，模型中的参数不断通过梯度反向传播迭代更新，使得特征提取趋向误差减小的方向进行，而在训练含有较多卷积层的模型时，第一层卷积层的权重参数可能因不能得到梯度反向传播的结果而被有效更新，导致得到的模型重建的图像质量反而不如含有较少卷积层的模型，这种现象也被称作梯度消失现象。这也是目前深度学习领域的一个研究瓶颈。

[0018]

5

CN 111402138 A

说　明　书

3/7页

发明内容

[0019]本发明针对现有技术中存在的技术问题，提供一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法，采用多尺度特征提取结构和整个模型对特征的整合连接方式，并设计监督误差函数以及将其与总的误差函数进行整合。[0020]本发明采用的技术方案是：一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法，包括以下步骤：[0021](1)图像预处理

[0022]为了更好地利用深度学习框架Caffe进行训练，未将这个预处理过程包含在训练网络中。图像预处理部分主要包括以下步骤：[0023]S1：将训练集中的高分辨率RGB图像进行YCbCr颜色空间转换，然后提取Y通道，

[0024]

YH＝Y＝0.299R+0.587G+0.114B[0026]其中R、G、B代表变换前图像的通道值，Y、Cb、Cr为变换后图像的通道值，将得到的Y通道图像记为YH；[0027]S2：将YH图像分别按照缩放尺度为×2、×3、×4的因子进行下采样得到不同模糊程度的低分辨率图像，分别记为YL2、YL3、YL4；[0028]S3：将YL2、YL3、YL4不重叠裁剪为41×41大小的子图像块，分别记为YL2-sub、YL3-sub、YL4-sub；为了更好的利用卷积神经网络提取特征的能力，将YL2-sub、YL3-sub、YL4-sub进行对应尺度因子的简单上采样，得到的结果记为YIL2-sub、YIL3-sub、YIL4-sub，再将YH不重叠裁剪成与YIL2-sub、YIL3-sub、YIL4-sub相对应的子图像块作为标签(Ground Truth)，分别记为YH2-suh、YH3-sub、YH4-sub；[0029]S4：按照YIL2-sub-YH2-sub、YIL3-sub-YH3-sub、YIL4-sub-YH4-sub相对应的图像对形式保存，作为卷积神经网络输入层的数据。[0030](2)图像特征提取

[0031]特征提取的主要目的是利用卷积神经网络来学习高分辨率图像和低分辨率图像之间的映射关系。模型中，除了监督层和最后一层卷积层以外，其余每一层卷积层后都有一个整流线性单元(RectifiedLinear Unit，ReLU)作为激活函数。所有的MSB(Multi Scale feature extraction B1ock)模块网络结构采用卷积神经网络结构。整个训练学习的过程都在NVIDIA TITAN V显卡上进行，软件平台为MATLAB 2017a、Caffe深度学习框架。对输入的图像进行特征提取主要有以下步骤：[0032]S1：输入的图像通过第一层卷积核(filter)为3×3大小、通道(channel)数为的卷积层，再进入MSB1模块；[0033]S2：进入MSB1模块后，由于不同大小的卷积核提取的空间域特征不同，采用含有不同大小卷积核(3×3和5×5)的卷积层分别进行特征提取，其中为了降低模型的计算量，卷积核为3×3的卷积层分支中，每层卷积层的通道数量设置为32，卷积核为5×5的卷积层分支中，每层卷积层的通道数量设置为16。每个分支采用密集连接的方式进行特征重复学习，

6

[0025]

CN 111402138 A

说　明　书

4/7页

在MSB1模块提取特征的最后，将两分支的特征进行融合，得到特征图Feature_MSB1；[0034]S3：将得到特征图Feature_MSB1输入到MSB2模块中，重复S2中学习步骤，将得到的特征图记为Feature_MSB2，再将其输入到下一个MSB模块中；[0035]S4：当特征图从最后一个MSB模块中输出时，将之前学习得到的特征图Feature_MSB1、Feature_MSB2、Feature_MSB3…进行融合得到特征图Feature_Sum；[0036]S5：将Feature_Sum通过卷积核大小为1×1的卷积层进行降维，得到维度为1的残差特征图re。[0037](3)图像重建

[0038]该部分的主要完成模型的误差函数的定义和图像的重建。[0039]第一，误差函数的定义。我们定义x和y是低分辨率输入图像和高分辨率图像，θ代表模型中需要被优化的一系列参数，re代表残差特征图，

代表训练集，N代表训练

集中样本的数量。Lsupervised代表监督层的输出，Loverall代表模型的重建误差函数，f代表从低分辨率图像到高分辨率图像的映射关系。那么监督层误差函数和重建误差函数可由如下表示：

[0040]

[0041]

其中，f1代表从输入层到监督层的低分辨率图像与高分辨率图像之间的映射关

系，f2代表整个模型的低分辨率图像与高分辨率图像之间的映射关系。使用定义的监督层误差函数和重建误差函数优化卷积神经网络误差反向传播机制，实现网络层各权重参数的迭代更新，以改善深层卷积神经网络梯度消失现象。[0043]第二，图像的重建。图像的重建主要是利用输入的低分辨率图像与模型之前学到的残差特征图re进行特征融合，重建出最终的高分辨率图像。测试网络模型时，只需要将预处理后的图像输入训练好的网络模型即可。[0044]MSB模块中，设x0代表输入的数据，在卷积核大小为3×3的支路中，第一层卷积的输出记为f1(3×3)(x0)。将第一层的输出作为第二层卷积层的输入，则第二层的输出记为f2(3×3)(f1(3×3)(x0))。由于模块中采用的是密集连接方式，即将第一层和第二层的输出作为第三层的输入，得到第三层卷积层的输出为f3(3×3)(f1(3×3)(x0)[0045]||f2(3×3)(f1(3×3)(x0)))，其中f为相应的输入与输出之间的映射关系，||表示特征矩阵的连接。同理可以表示卷积核大小为5×5的支路输出，最终将两路的输出进行融合得到模块MSB的输出fMSB为fMSB＝f3(3×3)(f1(3×3)(x0)||f2(3×3)(f1(3×3)(x0)))+f5(5×5)(f1(5×5)(x0)||f2(5×5)(f1(5×5)(X0)))

[0046]与单纯的仅用一个尺寸卷积核提取特征相比，该方法实现了对提取的特征的聚合和互补，使提取的特征更加丰富。[0047]与现有技术相比，本发明所具有的有益效果是：[0048]1.采用不同大小的滤波器进行特征提取并融合，实现了对提取的特征图在不同尺度上处理，增强了模型的适应性；

7

[0042]

CN 111402138 A[0049]

说　明　书

5/7页

2.采用的密集连接方式可以更加充分的利用已学习到特征，实现了信息的多通道

传播，加快了收敛速度，缓解了梯度消失现象；[0050]3.添加辅助监督误差函数，增强了梯度的反向传播，提供额外的正则化，有效地解决了传统算法中存在的梯度消失问题，提高了算法的精度；[0051]4.基于残差学习的思想设计模型结构，模型仅学习高分辨率与低分辨率之间的残差图像，极大减少了模型的学习任务，提高了图像重建的速度。附图说明

[0052]图1为现有SRCNN算法模型结构；[0053]图2为本发明的网络结构示意图；[0054]图3为本发明的MSB模块结构示意图；

[0055]图4为缩放尺度因子为×3的三个不同网络上的测试结果；[0056]图5为缩放尺度因子为×2的测试图；[0057]图6为缩放尺度因子为×3的测试图；[0058]图7为缩放尺度因子为×4的测试图；

[0059]图8为缩放尺度因子为×2的超分辨率重建图；[0060]图9为缩放尺度因子为×3的超分辨率重建图；[0061]图10为缩放尺度因子为×4的超分辨率重建图。

具体实施方式

[0062]为使本领域技术人员更好的理解本发明的技术方案，下面结合附图和具体实施例对本发明作详细说明。

[0063]本发明的实施例公开了一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法，如图所示，其包括以下步骤：图像预处理、图像特征提取和图像重建。[00](1)图像预处理

[0065]为了更好地利用深度学习框架Caffe进行训练，未将这个预处理过程包含在训练网络中。图像预处理部分主要包括以下步骤：[0066]S1：将训练集中的高分辨率RGB图像进行YCbCr颜色空间转换，然后提取Y通道，

[0067]

YH＝Y＝0.299R+0.587G+0.114B[0069]其中R、G、B代表变换前图像的通道值，Y、Cb、Cr为变换后图像的通道值，将得到的Y通道图像记为YH；[0070]S2：将YH图像分别按照缩放尺度为×2、×3、×4的因子进行下采样得到不同模糊程度的低分辨率图像，分别记为YL2、YL3、YL4；[0071]S3：将YL2、YL3、YL4不重叠裁剪为41×41大小的子图像块，分别记为YL2-sub、YL3-sub、YL4-sub；为了更好的利用卷积神经网络提取特征的能力，将YL2-sub、YL3-sub、YL4-sub进行对应尺

[0068]

8

CN 111402138 A

说　明　书

6/7页

度因子的简单上采样，得到的结果记为YIL2-sub、YIL3-sub、YIL4-sub，再将YH不重叠裁剪成与YIL2-sub、YIL3-sub、YIL4-sub相对应的子图像块作为标签(Ground Truth)，分别记为YH2-sub、YH3-sub、YH4-sub；[0072]S4：按照YIL2-sub-YH2-sub、YIL3-sub-YH3-sub、YIL4-sub-YH4-sub相对应的图像对形式保存，作为卷积神经网络输入层的数据。[0073](2)图像特征提取

[0074]特征提取的主要目的是利用卷积神经网络来学习高分辨率图像和低分辨率图像之间的映射关系。模型中，除了监督层(MSB7)和最后一层卷积层以外，其余每一层卷积层后都有一个整流线性单元(Rectified Linear Unit，ReLU)作为激活函数。所有的MSB模块网络结构如图2所示，图中A.滤波大小为3×3的特征提取，B.由大小为5×5的滤波器提取特征，C.融合特征。整个训练学习的过程都在NVIDIA TITAN V显卡上进行，软件平台为MATLAB 2017a、Caffe深度学习框架。如图1所示，对输入的图像进行特征提取主要有以下步骤：[0075]S1：输入的图像通过第一层卷积核(filter)为3×3大小、通道(channel)数为的卷积层，再进入MSB1模块；[0076]S2：进入MSB1模块后，由于不同大小的卷积核提取的空间域特征不同，采用含有不同大小卷积核(3×3和5×5)的卷积层分别进行特征提取，其中为了降低模型的计算量，卷积核为3×3的卷积层分支中，每层卷积层的通道数量设置为32，卷积核为5×5的卷积层分支中，每层卷积层的通道数量设置为16。每个分支采用密集连接的方式进行特征重复学习，在MSB1模块提取特征的最后，将两分支的特征进行融合，得到特征图Feature_MSB1；[0077]S3：将得到特征图Feature_MSB1输入到MSB2模块中，重复S2中学习步骤，将得到的特征图记为Feature_MSB2，再将其输入到下一个MSB模块中；[0078]S4：当特征图从模块MSB10中输出时，将之前学习得到的特征图Feature_MSB1、Feature_MSB2、Feature_MSB3…进行融合得到特征图Feature_Sum，即Feature_Sum＝Feature_MSB1+Feature_MSB2+…+Feature_MSB10[0079]S5：将Feature_Sum通过卷积核大小为1×1的卷积层进行降维，得到维度为1的残差特征图re。[0080](3)图像重建

[0081]该部分的主要完成模型的误差函数的定义和图像的重建。[0082]第一，误差函数的定义。在第七个MSB模块后设计监督层。我们定义x和y是低分辨率输入图像和高分辨率图像，θ代表模型中需要被优化的一系列参数，re代表残差特征图，

代表训练集，N代表训练集中样本的数量。Lsupervised代表监督层的输出，Loverall代

表模型的重建误差函数，f代表从低分辨率图像到高分辨率图像的映射关系。那么监督层误差函数和重建误差函数可由如下表示：

[0083]

[0084][0085]

其中，f1代表从输入层到监督层的低分辨率图像与高分辨率图像之间的映射关

9

CN 111402138 A

说　明　书

7/7页

系，f2代表整个模型的低分辨率图像与高分辨率图像之间的映射关系。使用定义的监督层误差函数和重建误差函数优化卷积神经网络误差反向传播机制，实现网络层各权重参数的迭代更新，以改善深层卷积神经网络梯度消失现象。[0086]第二，图像的重建。图像的重建主要是利用输入的低分辨率图像与模型之前学到的残差特征图re进行特征融合，重建出最终的高分辨率图像。测试网络模型时，只需要将预处理后的图像输入训练好的网络模型即可。

[0087]本发明采用峰值信噪比(PSNR)和结构相似性信噪比(SSIM)作为评价指标。图4显示了缩放尺度因子为×3的三个不同网络上的测试结果，给出了迭代次数与平均峰值信噪比之间的关系。采用监督多尺度(3×3和5×5)特征提取网络获得线1。采用无监督多尺度(3×3和5×5)特征提取网络获得线2。采用无监督单尺度(3×3和3×3)特征提取网络获得线3。

[0088]比较线2和线3两条曲线，结果表明多尺度(3×3和5×5)特征提取融合实现了特征聚合和互补，使得特征提取更加丰富。比较线2和线1两条曲线，我们发现监督融合可以提高学习能力。因此，采用多尺度特征提取的监督卷积神经网络可以获得更好的性能。[00]图5-7显示了不同缩放尺度因子的测试结果。本发明在2×105后趋于稳定，波动较小。而参考文献Dong C，Loy C C，He K，et a1.(2015)Image super-resolution using deep convolutional networks[J].IEEE transactions on pattern analysis and machine intelligence，38(2)：295-307指出SRCNN在5×108才达到饱和。因此，本发明在任何比例因子的平均峰值信噪比的收敛速度都比SRCNN快。本发明独特的结构加快了收敛速度。

[0090]从图8-10可以看出，本发明可以恢复精确的图像，勾勒出清晰生动的轮廓，效果要优于SRCNN。

[0091]以上通过实施例对本发明进行了详细说明，但所述内容仅为本发明的示例性实施例，不能被认为用于限定本发明的实施范围。本发明的保护范围由权利要求书限定。凡利用本发明所述的技术方案，或本领域的技术人员在本发明技术方案的启发下，在本发明的实质和保护范围内，设计出类似的技术方案而达到上述技术效果的，或者对申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖保护范围之内。

10

CN 111402138 A

说　明　书　附　图

1/5页

图1

图2

11

CN 111402138 A

说　明　书　附　图

2/5页

图3

图4

12

CN 111402138 A

说　明　书　附　图

3/5页

图5

图6

13

CN 111402138 A

说　明　书　附　图

4/5页

图7

图8

14

CN 111402138 A

说　明　书　附　图

5/5页

图9

图10

15