WO2019153671A1 - 图像超分辨率方法、装置及计算机可读存储介质 - Google Patents

图像超分辨率方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
WO2019153671A1
WO2019153671A1 PCT/CN2018/099071 CN2018099071W WO2019153671A1 WO 2019153671 A1 WO2019153671 A1 WO 2019153671A1 CN 2018099071 W CN2018099071 W CN 2018099071W WO 2019153671 A1 WO2019153671 A1 WO 2019153671A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
processed
scale
resolution
super
Prior art date
Application number
PCT/CN2018/099071
Other languages
English (en)
French (fr)
Inventor
黄哲
肖志林
Original Assignee
深圳创维－Rgb电子有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳创维－Rgb电子有限公司 filed Critical 深圳创维－Rgb电子有限公司
Priority to EP18905631.0A priority Critical patent/EP3576046A4/en
Publication of WO2019153671A1 publication Critical patent/WO2019153671A1/zh
Priority to US16/545,967 priority patent/US10991076B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to the field of image processing technologies, and in particular, to an image super-resolution method, apparatus, and computer readable storage medium.
  • High-resolution display screens are becoming popular on home audio and video devices and mobile devices, so there is an increasing demand for high-quality images or video.
  • High-quality images or videos help people get richer and more accurate information, where resolution is an important criterion.
  • the resolution of the acquired image is low, and the image is relatively blurred, so that the acquired image cannot meet the requirements of the actual application. Therefore, it is imperative to improve the image resolution.
  • the most straightforward way to improve image resolution is to improve the hardware configuration, it is often limited by the cost and physical conditions of the device. Therefore, the software resolution is usually used to improve the image resolution, that is, the super-resolution technology.
  • Image super-resolution reconstruction techniques use a set of low-quality, low-resolution images or motion sequences to produce high-quality, high-resolution images.
  • artificial intelligence technicians have been able to achieve super-resolution of single-frame images based on deep convolutional neural networks, which has made great progress in single-frame image super-resolution technology.
  • super-resolution technology has a very wide range of applications in real life, including high-definition television, medical imaging, satellite imagery, security detection, microscopic imaging, virtual reality and other fields.
  • high-definition television medical imaging, satellite imagery, security detection, microscopic imaging, virtual reality and other fields.
  • the use of super-resolution reconstruction technology to convert digital television signals into high-definition television signals is an extremely important application, which can effectively improve video clarity.
  • the super-resolution technology follows the principle of “the network is deeper and the effect is better”, but the super-resolution technology using the SRResNet network structure will cause excessive parameters, slow gradient convergence, difficult training, and real-time rate degradation due to the deepening of the network. .
  • the classic ResNet model uses the Batch Normalization method to converge the gradient to speed up the training process, but the batch normalization will make the computational overhead too large as the depth of the network deepens, and the principle will make the feature standardized, which is not suitable for super Resolution application, so it is necessary to propose a processing method different from batch normalization to achieve the purpose of reducing computational overhead and speeding up the convergence of computation.
  • the classic ResNet model does not mention how the super-resolution technology of different magnifications is implemented.
  • the resolution of the television application is relatively fixed, it is not well adapted to television applications.
  • the main object of the present invention is to provide an image super-resolution method, device and computer readable storage medium, which aim to solve the technical problem that video images at different magnifications cannot share the training results of convolutional neural networks.
  • the present invention provides an image super-resolution method, the image super-resolution method comprising the following steps:
  • the second image to be processed is subjected to a restoration process to generate a restored image and output.
  • the step of acquiring the image to be processed, performing the enlargement process on the image to be processed, and extracting the scaled zoom feature to obtain the first image to be processed after the scaled feature extraction includes:
  • the preset magnification scale comprises 2 times, 3 times or 4 times.
  • the step of sending the first to-be-processed image to the residual network for the residual network to output the corrected second to-be-processed image includes:
  • the second to-be-processed image is sent to a scale reduction module.
  • the residual network includes a plurality of bottleneck residual units and a convolution layer, and each bottleneck residual unit is connected to a weight normalization module.
  • the bottleneck residual unit comprises three convolution layers, between each two convolution layers, an activation function layer, and the activation function is a PReLu function.
  • the activation function includes a variable whose value is learned by learning the upper layer network.
  • the step of performing a restoration process on the second image to be processed, generating a restored image, and outputting the method includes:
  • the scale reduction module receives the second image to be processed, performing corresponding scale reduction processing based on the scale in the scale enlargement module to generate a restored image;
  • the restored image is output.
  • the step of sending the first to-be-processed image to the residual network for the residual network to output the corrected second to-be-processed image includes:
  • the second to-be-processed image is sent to a scale reduction module.
  • the present invention also provides an image super-resolution device comprising: a memory, a processor, and an image stored on the memory and operable on the processor
  • a super-resolution program that, when executed by the processor, implements the following steps:
  • the second image to be processed is subjected to a restoration process to generate a restored image and output.
  • the second to-be-processed image is sent to a scale reduction module.
  • a computer readable storage medium characterized in that an image super-resolution program is stored on the computer readable storage medium, and when the image super-resolution program is executed by a processor, the following is achieved step:
  • the second image to be processed is subjected to a restoration process to generate a restored image and output.
  • the second to-be-processed image is sent to a scale reduction module.
  • the image to be processed is enlarged by the scale enlargement module, and the scale zoom feature is extracted, and the first image to be processed after the scaled feature extraction is obtained; and then the first image is sent.
  • the image to be processed is sent to the residual network for the residual network to output the corrected second image to be processed to the scale reduction module; and then, when the scale reduction module receives the second image to be processed, the second The image to be processed is subjected to a restoration process to generate a restored image and output.
  • the invention increases the pre-processing of different magnifications, and separates the module part relying on the magnification from the main network, so that most of the parameters independent of the magnification can share the network training results at different magnifications, increasing the versatility of the model to be applicable to 8K (the total number of video pixels is 4320) TV's super-resolution application needs.
  • FIG. 1 is a schematic structural diagram of a terminal to which an image super-resolution device belongs in a hardware operating environment according to an embodiment of the present invention
  • FIG. 2 is a schematic flow chart of a first embodiment of an image super-resolution method according to the present invention
  • FIG. 3 is a main flowchart of the first embodiment of the image super-resolution method of the present invention.
  • FIG. 4 is a schematic structural diagram of a bottleneck residual unit in a first embodiment of an image super-resolution method according to the present invention
  • FIG. 5 is a schematic diagram of a second embodiment of an image super-resolution method according to the present invention, in which an image to be processed is acquired, and a scale-up module performs an enlargement process on the image to be processed, and extracts a scale-scale feature to obtain a first scaled feature.
  • FIG. 6 is a step of transmitting the first to-be-processed image to a residual network in the third embodiment of the image super-resolution method of the present invention, for the residual network to output the corrected second to-be-processed image to the scale reduction module.
  • Schematic diagram of the refinement process
  • FIG. 7 is a diagram of a step of performing a restoration process on the second image to be processed, generating a restored image, and outputting when the scale reduction module receives the second image to be processed in the fourth embodiment of the image super-resolution method of the present invention. Refine the process diagram.
  • FIG. 1 is a schematic structural diagram of a terminal to which a device in a hardware operating environment according to an embodiment of the present invention belongs.
  • the terminal may be a PC, or may be a smart phone, a tablet computer, an e-book reader, an MP3 (Moving Picture Experts Group Audio Layer III) player, and an MP4 (Moving Picture Experts).
  • Group Audio Layer IV dynamic video experts compress standard audio layers 3) Players, portable computers and other portable terminal devices with display functions.
  • the terminal may include a processor 1001, such as a CPU, a network interface 1004, a user interface 1003, a memory 1005, and a communication bus 1002.
  • the communication bus 1002 is used to implement connection communication between these components.
  • the user interface 1003 can include a display, an input unit such as a keyboard, and the optional user interface 1003 can also include a standard wired interface, a wireless interface.
  • the network interface 1004 can optionally include a standard wired interface, a wireless interface (such as a WI-FI interface).
  • the memory 1005 may be a high speed RAM memory or a non-volatile memory such as a disk memory.
  • the memory 1005 can also optionally be a storage device independent of the aforementioned processor 1001.
  • the terminal may further include a camera, an RF (Radio Frequency) circuit, a sensor, an audio circuit, a WiFi module, and the like.
  • sensors such as light sensors, motion sensors, and other sensors.
  • the light sensor may include an ambient light sensor and a proximity sensor, wherein the ambient light sensor may adjust the brightness of the display according to the brightness of the ambient light, and the proximity sensor may turn off the display and/or when the mobile terminal moves to the ear. Backlighting.
  • the gravity acceleration sensor can detect the magnitude of acceleration in each direction (usually three axes), and can detect the magnitude and direction of gravity when stationary, and can be used to identify the posture of the mobile terminal (such as horizontal and vertical screen switching, Related games, magnetometer attitude calibration), vibration recognition related functions (such as pedometer, tapping), etc.; of course, the mobile terminal can also be equipped with other sensors such as gyroscope, barometer, hygrometer, thermometer, infrared sensor, etc. No longer.
  • terminal structure shown in FIG. 1 does not constitute a limitation to the terminal, and may include more or less components than those illustrated, or a combination of certain components, or different component arrangements.
  • an operating system may be included in the memory 1005 as a computer storage medium.
  • a network communication module may be included in the memory 1005 as a computer storage medium.
  • a user interface module may be included in the memory 1005 as a computer storage medium.
  • an image super-resolution program may be included in the memory 1005 as a computer storage medium.
  • the network interface 1004 is mainly used to connect to the background server and perform data communication with the background server;
  • the user interface 1003 is mainly used to connect the client (user end), and perform data communication with the client;
  • the processor 1001 can be used to call an image super-resolution program stored in memory 1005.
  • the image super-resolution device includes: a memory 1005, a processor 1001, and an image super-resolution program stored on the memory 1005 and operable on the processor 1001, wherein the processor 1001 invokes When the image stored in the memory 1005 is super-resolution, the following operations are performed:
  • the second image to be processed is subjected to a restoration process to generate a restored image and output.
  • the second to-be-processed image is sent to a scale reduction module.
  • FIG. 2 is a schematic flowchart of a first embodiment of an image super-resolution method according to the present invention.
  • the image super-resolution method includes:
  • Step S10 Acquire an image to be processed, perform an enlargement process on the image to be processed, and extract a scale scaling feature to obtain a first image to be processed after the scaled feature extraction;
  • the super-resolution method of the present invention can be applied to both the image field and the video field. It is preferred to obtain a single frame image.
  • the video can be first decomposed into a continuous multi-frame image sequence, and then the multi-frame image in the sequence is super-resolution processed, based on the processed high-resolution avatar integration. Into high resolution video.
  • the main flow chart of the method is shown in FIG.
  • the image to be processed is input into the pre-processing convolution layer to extract features, and after the feature extraction of the original image to be processed is completed, the image extracted by the feature is sent to the scale-up module.
  • the scale amplification module three different magnification scales are preset, which are 2 times, 3 times and 4 times respectively, and different magnification scales can be selected according to actual conditions. Since the video resolution adopted by digital television is fixed, such as 720P, 1080P, 2K, 4K, etc., generally, different video qualities are suitable for different magnification scales.
  • the magnification scale is 2 times
  • the scale of each pixel in a single direction becomes 2 times of the original, that is, from 1 pixel to 4 pixels, and the 4 pixels are 2 ⁇ 2, that is, It is said that the scale of the enlarged image pixel in any one direction becomes 2 times of the original, and the magnification scale is 3 times and 4 times, the same reason, each pixel point becomes several times of the original, for example, the magnification scale is 3
  • the magnification scale is 3
  • one pixel becomes 9 pixels
  • the magnification scale is 4 times, one pixel becomes 16 pixels.
  • the scale scaling feature is extracted.
  • the scale scaling feature is feature information about the magnification, indicating the magnification of a certain image. Then, the first image to be processed after the scaled feature extraction is obtained, and the image does not have the scale scaling feature, that is to say, for different magnification scales, after the scaled feature extraction, the first to be processed is obtained.
  • the images are all the same.
  • Step S20 Send the first to-be-processed image to the residual network, so that the residual network outputs the corrected second to-be-processed image;
  • the residual network is actually a convolutional neural network consisting of several bottleneck residual units and convolutional layers.
  • a weight normalization module is added after each bottleneck residual unit.
  • the structure diagram of each bottleneck residual unit is as shown in FIG. 4, and includes three convolution layers and two activation function layers, and two activation function layers are respectively located between every two convolution layers.
  • the activation function uses the PReLu function, which contains a variable, which is obtained from the previous layer of network learning.
  • the ResNet-34 network model is employed.
  • the residual network is composed of residual modules, and the residual module is divided into a conventional residual module and a bottleneck residual module. The 1 ⁇ 1 convolution in the bottleneck residual module can be used for lifting.
  • the activation function in the residual network changes ReLu to PReLu, introducing a learnable parameter to help it adapt to the learning part of the negative coefficient.
  • the residual network uses the image upsampling method and uses the sub-pixel convolution layer.
  • Step S30 performing a restoration process on the second image to be processed, generating a restored image, and outputting.
  • a scale reduction module is disposed after the residual network.
  • the main function of the module is to reduce the reduced image of the image to be processed that has been amplified by the amplification module, and finally generate a high-resolution restored image for output, thereby obtaining high quality. video.
  • the image super-resolution method proposed in this embodiment obtains an image to be processed, enlarges the image to be processed in a scale enlargement module, and extracts a scale-scale feature, and obtains a first to-be-processed after the scale-scale feature is extracted. And then transmitting the first image to be processed to the residual network, for the residual network to output the corrected second image to be processed to the scale reduction module; and then receiving the second to-be-processed at the scale restoration module In the image, the second image to be processed is subjected to a restoration process to generate a restored image and output.
  • the invention increases the pre-processing of different magnifications, and separates the module part relying on the magnification from the main network, so that most of the parameters independent of the magnification can share the network training results at different magnifications, increasing the versatility of the model to be applicable to 8K (the total number of video pixels is 4320) TV's super-resolution application needs.
  • step S10 includes:
  • Step S11 acquiring a low-resolution image to be processed, and pre-processing the image to be processed in a pre-processing convolution layer;
  • the image to be processed is input into the pre-processing convolution layer to extract features, and after the feature extraction of the original image to be processed is completed, the image extracted by the feature is sent to the scale-up module.
  • Step S12 Send the preprocessed image to be processed to the scale amplifying module, and enlarge the extracted image based on the preset magnification scale and extract the scale scaling feature to obtain the first image to be processed that extracts the overscale zoom feature. .
  • the scale amplification module three different magnification scales are preset, which are 2 times, 3 times and 4 times respectively, and different magnification scales can be selected according to actual conditions. Since the video resolution adopted by digital television is fixed, such as 720P, 1080P, 2K, 4K, etc., generally, different video qualities are suitable for different magnification scales.
  • the scale scaling feature is extracted.
  • the scale scaling feature is feature information about the magnification, indicating the magnification of a certain image.
  • the first image to be processed after the scaled feature extraction is obtained, and the image does not have the scale scaling feature, that is to say, for different magnification scales, after the scaled feature extraction, the first to be processed is obtained.
  • the images are all the same.
  • the method further includes:
  • the preset magnification scale includes 2, 3 or 4 times.
  • the magnification scale is 2 times
  • the scale of each pixel in a single direction becomes 2 times of the original, that is, from 1 pixel to 4 pixels, and the 4 pixels are 2 ⁇ 2, that is, It is said that the scale of the enlarged image pixel in any one direction becomes 2 times of the original, and the magnification scale is 3 times and 4 times, the same reason, each pixel point becomes several times of the original, for example, the magnification scale is 3
  • the magnification scale is 3
  • one pixel becomes 9 pixels
  • the magnification scale is 4 times, one pixel becomes 16 pixels.
  • the image super-resolution method proposed in this embodiment preprocesses the image to be processed in a pre-processing convolution layer by acquiring a low-resolution image to be processed; and then transmitting the pre-processed image to be processed to
  • the scale enlargement module enlarges the image to be processed and extracts the scaled zoom feature based on the preset magnification scale, and obtains the first image to be processed that extracts the overscale zoom feature; in the super resolution problem of the video image, the phase is considered Neighboring frames have a strong correlation, so not only the quality of the super-resolution results, but also the efficiency requirements of real-time processing.
  • step S20 includes:
  • Step S21 Send the first to-be-processed image to the residual network, and process through the bottleneck residual unit in the residual network to generate the corrected second to-be-processed image;
  • the residual network is composed of residual modules, and the residual module is divided into a conventional residual module and a bottleneck residual module. The 1 ⁇ 1 convolution in the bottleneck residual module can be used for lifting.
  • the activation function in the residual network changes ReLu to PReLu, introducing a learnable parameter to help it adapt to the learning part of the negative coefficient.
  • the residual network uses the image upsampling method and uses the sub-pixel convolution layer.
  • the residual network is actually a convolutional neural network consisting of several bottleneck residual units and convolutional layers.
  • a weight normalization module is added after each bottleneck residual unit.
  • the structure diagram of each bottleneck residual unit is as shown in FIG. 4, and includes three convolution layers and two activation function layers, and two activation function layers are respectively located between every two convolution layers.
  • the activation function uses the PReLu function, which contains a variable, which is obtained from the previous layer of network learning.
  • Step S22 sending the second to-be-processed image to the scale reduction module.
  • the scale reduction module performs scale reduction processing on the image without the scale scaling feature to generate a restored image with scale features.
  • the method further includes:
  • the residual network includes a plurality of bottleneck residual units and a convolution layer, and each bottleneck residual unit is connected to a weight normalization module.
  • the residual network is disposed after the scale amplifying module, and includes a plurality of bottleneck residual units, and a convolution layer is disposed behind the bottleneck residual unit, wherein each bottleneck residual unit has a back
  • the weight normalization module, the weight normalization process is a method of parameterization of the neural network model. Since in the deep neural network, the parameter set contains a large number of weights and deviation values, how to optimize the processing of an important problem in the real-time deep learning of the above parameters.
  • the k-order weight vector is represented by the k-order vector v and the scale factor g based on the stochastic gradient descent.
  • g is the scale factor
  • w is the k-order weight vector
  • v is the k-order vector
  • L is the loss function
  • the method further includes:
  • the bottleneck residual unit includes three convolution layers, and between each two convolution layers, an activation function layer, the activation function being a PReLu function.
  • each bottleneck residual unit includes three convolution layers, and an activation function layer is included between every two convolution layers.
  • the activation function is Parametric ReLU, which is a PReLU function.
  • the formula for this function is as follows:
  • ⁇ is a variable, learned from the upper layer of the network, the introduced variable ⁇ helps it adaptively learn part of the negative coefficient.
  • the image super-resolution method proposed in this embodiment generates the corrected second to-be-processed image by transmitting the first to-be-processed image to the residual network and processing through a plurality of bottleneck residual units in the residual network; The second to-be-processed image is then sent to the scale reduction module; the activation function layer is improved, and the learning ability and adaptability of the residual network are improved.
  • step S30 includes:
  • Step S31 when the scale reduction module receives the second image to be processed, performing corresponding scale reduction processing based on the scale in the scale enlargement module to generate a restored image;
  • a scale reduction module is disposed after the residual network.
  • the main function of the module is to reduce the reduced image of the image to be processed that has been amplified by the amplification module, and finally generate a high-resolution restored image for output, thereby obtaining high quality. video.
  • Step S32 outputting the restored image.
  • the image super-resolution method proposed in this embodiment generates a restored image by performing corresponding reduction based on the scale in the scale enlargement module when receiving the second image to be processed in the scale reduction module; and then outputting the restored image;
  • the residual network of the weight normalization module greatly reduces the computational cost of weighted normalization, avoids adding randomness in the process of noise estimation, and can adapt to more kinds of network models.
  • an embodiment of the present invention further provides a computer readable storage medium, where the image super-resolution program is stored on the computer readable storage medium, and when the image super-resolution program is executed by the processor, the following steps are implemented:
  • the second image to be processed is subjected to a restoration process to generate a restored image and output.
  • portions of the technical solution of the present invention that contribute substantially or to the prior art may be embodied in the form of a software product stored in a storage medium (such as a ROM/RAM as described above). , a disk, an optical disk, including a number of instructions for causing a terminal device (which may be a mobile phone, a computer, a server, an air conditioner, or a network device, etc.) to perform the methods described in various embodiments of the present invention.
  • a terminal device which may be a mobile phone, a computer, a server, an air conditioner, or a network device, etc.

Abstract

本发明公开了一种图像超分辨率方法，通过获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；然后发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像；之后对所述第二待处理图像进行还原处理，生成还原图像并输出。本发明还公开了一种图像超分辨率装置及计算机可读存储介质。

Description

图像超分辨率方法、装置及计算机可读存储介质 技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像超分辨率方法、装置及计算机可读存储介质。
背景技术
如今，高分辨率显示屏幕正在家庭影音设备和移动设备上普及，因此人们对于高质量的图像或视频的需求日益加大。高质量的图像或视频有助于人们获取更加丰富和准确的信息，其中，分辨率是一项重要的标准。然而很多情况下，由于外界机器设备性能的限制以及拍摄条件的影响，会使得采集到图像分辨率较低，进而造成图像比较模糊，导致采集到的图像不能达到实际应用的需求。因此，提高图像分辨率势在必行。虽然提高图像分辨率最直接的方法是提高硬件的配置，但是往往受制于成本和设备物理条件的限制，所以通常采用软件的方法对图像分辨率进行提高，也就是超分辨率技术。
图像超分辨率重建技术是利用一组低质量、低分辨率图像或运动序列来产生高质量、高分辨率图像。随着人工智能的发展，目前技术人员已经能够基于深度卷积神经网络实现单帧图像的超分辨率，使得单帧图像超分辨率技术有了巨大进步。
目前，超分辨率技术在现实生活中有着十分广泛的用途，包括高清电视，医学影像，卫星图像，安全检测，显微成像，虚拟现实等领域。其中，在数字电视领域，利用超分辨率重建技术将数字电视信号转换为高清晰度电视信号是极为重要的应用，能够有效提高视频清晰度。超分辨率技术遵循“网络更深、效果越好”的原则，但采用SRResNet网络结构的超分辨率技术由于网络的加深，会产生参数过多、梯度收敛过慢、训练困难、实时率下降等问题。经典ResNet模型采用批归一化(Batch Normalization)方法收敛梯度加快训练过程，但批归一化随着网络深度加深会使得计算开销过大，并且其原理会使得 特征被标准化，并不适用于超分辨率应用，因此需要提出不同于批归一化的处理方法，达到减少计算开销、加快计算收敛速度的目的。同时，经典ResNet模型并未提及不同放大倍率的超分辨率技术如何实现。但是由于电视应用的分辨率放大倍率较为固定，因此不能很好的适应于电视应用。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种图像超分辨率方法、装置及计算机可读存储介质，旨在解决不同放大倍率下的视频图像不能共享卷积神经网络训练结果的技术问题。
为实现上述目的，本发明提供一种图像超分辨率方法，所述图像超分辨率方法包括以下步骤：
获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；
发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像；
对所述第二待处理图像进行还原处理，生成还原图像并输出。
可选地，所述获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像的步骤包括：
获取低分辨率的待处理图像，在预处理卷积层对所述待处理图像进行预处理；
发送所述预处理后的待处理图像至尺度放大模块，基于预置的放大尺度对所述待处理图像进行放大并提取尺度缩放特征，得到提取过尺度缩放特征的第一待处理图像。
可选地，所述预置的放大尺度包括2倍、3倍或4倍。
可选地，所述发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像的步骤包括：
发送所述第一待处理图像至残差网络，经过残差网络中的若干个瓶颈残差单元处理，生成修正后的第二待处理图像；
将所述第二待处理图像发送至尺度还原模块。
可选地，所述残差网络包括若干个瓶颈残差单元和一个卷积层，各瓶颈残差单元连接有一个权重归一化模块。
可选地，所述瓶颈残差单元包括三个卷积层，在每两个卷积层之间，含有一个激活函数层，所述激活函数为PReLu函数。
可选地，所述激活函数包含一个变量，所述变量的值通过对上一层网络学习得到。
优选地可选地，所述对所述第二待处理图像进行还原处理，生成还原图像并输出的步骤包括：
在尺度还原模块接收到第二待处理图像时，基于尺度放大模块中的尺度进行相应的尺度缩小处理，生成还原图像；
输出所述还原图像。
可选地，所述发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像的步骤包括：
发送所述第一待处理图像至残差网络，经过残差网络中的若干个瓶颈残差单元处理，生成修正后的第二待处理图像；
将所述第二待处理图像发送至尺度还原模块。
此外，为实现上述目的，本发明还提供一种图像超分辨率装置，所述图像超分辨率装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像超分辨率程序，所述图像超分辨率程序被所述处理器执行时，实现以下步骤：
获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；
发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像；
对所述第二待处理图像进行还原处理，生成还原图像并输出。
其中，所述节目信息更新程序被所述处理器执行时，还实现以下 步骤：
获取低分辨率的待处理图像，在预处理卷积层对所述待处理图像进行预处理；
发送所述预处理后的待处理图像至尺度放大模块，基于预置的放大尺度对所述待处理图像进行放大并提取尺度缩放特征，得到提取过尺度缩放特征的第一待处理图像。
其中，所述节目信息更新程序被所述处理器执行时，还实现以下步骤：
发送所述第一待处理图像至残差网络，经过残差网络中的若干个瓶颈残差单元处理，生成修正后的第二待处理图像；
将所述第二待处理图像发送至尺度还原模块。
此外，为实现上述目的，一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像超分辨率程序，所述图像超分辨率程序被处理器执行时，实现以下步骤：
获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；
发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像；
对所述第二待处理图像进行还原处理，生成还原图像并输出。
其中，所述节目信息更新程序被所述处理器执行时，还实现以下步骤：
获取低分辨率的待处理图像，在预处理卷积层对所述待处理图像进行预处理；
发送所述预处理后的待处理图像至尺度放大模块，基于预置的放大尺度对所述待处理图像进行放大并提取尺度缩放特征，得到提取过尺度缩放特征的第一待处理图像。
其中，所述节目信息更新程序被所述处理器执行时，还实现以下步骤：
发送所述第一待处理图像至残差网络，经过残差网络中的若干个 瓶颈残差单元处理，生成修正后的第二待处理图像；
将所述第二待处理图像发送至尺度还原模块。
本发明方案，通过获取待处理图像，在尺度放大模块对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；然后发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像至尺度还原模块；之后在尺度还原模块接收到所述第二待处理图像时，对所述第二待处理图像进行还原处理，生成还原图像并输出。本发明增加了不同放大倍率预处理，将依赖放大倍率的模块部分与主网络分开，使大部分不依赖放大倍率的参数可以在不同放大倍率下共享网络训练结果，增加模型通用性至可适用于8K(视频像素的总列数为4320)电视的超分辨率应用需求。
附图说明
图1是本发明实施例方案涉及的硬件运行环境中图像超分辨率装置所属终端的结构示意图；
图2为本发明图像超分辨率方法第一实施例的流程示意图；
图3为本发明图像超分辨率方法第一实施例中的主流程图；
图4为本发明图像超分辨率方法第一实施例中的瓶颈残差单元结构示意图；
图5为本发明图像超分辨率方法第二实施例中获取待处理图像，在尺度放大模块对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像的步骤的细化流程示意图；
图6为本发明图像超分辨率方法第三实施例中发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像至尺度还原模块的步骤的细化流程示意图；
图7为本发明图像超分辨率方法第四实施例中在尺度还原模块接收到所述第二待处理图像时，对所述第二待处理图像进行还原处理， 生成还原图像并输出的步骤的细化流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的装置所属终端结构示意图。
本发明实施例终端可以是PC，也可以是智能手机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面3)播放器、便携计算机等具有显示功能的可移动式终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各 个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像超分辨率程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的图像超分辨率程序。
在本实施例中，图像超分辨率装置包括：存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的图像超分辨率程序，其中，处理器1001调用存储器1005中存储的图像超分辨率程序时，并执行以下操作：
获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；
发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像；
对所述第二待处理图像进行还原处理，生成还原图像并输出。
其中，所述节目信息更新程序被所述处理器执行时，还实现以下步骤：
获取低分辨率的待处理图像，在预处理卷积层对所述待处理图像进行预处理；
发送所述预处理后的待处理图像至尺度放大模块，基于预置的放大尺度对所述待处理图像进行放大并提取尺度缩放特征，得到提取过尺度缩放特征的第一待处理图像。
其中，所述节目信息更新程序被所述处理器执行时，还实现以下步骤：
发送所述第一待处理图像至残差网络，经过残差网络中的若干个瓶颈残差单元处理，生成修正后的第二待处理图像；
将所述第二待处理图像发送至尺度还原模块。
本发明第一实施例提供一种图像超分辨率方法，参照图2，图2为本发明图像超分辨率方法第一实施例的流程示意图，所述图像超分辨率方法包括：
步骤S10，获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；
本发明的超分辨率方法既可以应用到图像领域也可以应用到视频领域。首选需要获取单帧图像，对于视频来说，可以先将该视频分解成连续的多帧图像序列，然后再对序列中的多帧图像进行超分辨率处理，基于处理后的高分辨率头像整合成高分辨率视频。
如图3所示为本方法的主流程图。在获取到待处理的低分辨率图像时，将待处理图像输入到预处理卷积层中提取特征，在完成原始待处理图像的特征提取后，将经过特征提取的图像发送至尺度放大模块，在尺度放大模块预置了三个不同的放大尺度，分别是2倍，3倍和4倍，可以根据实际情况选择不同的放大尺度进行应用。由于数字电视所采用的视频分辨率是固定的几种，例如720P，1080P，2K，4K等，因此通常情况下，不同的视频质量适用于不同的放大尺度。放大尺度为2倍时，每个像素点在单一方向上的尺度变为原来的2倍，也就是从1个像素点变为4个像素点，这4个像素为2×2排列，也就是说放大后的图像像素在任意一个方向上的尺度变为原来的2倍，放大尺度为3倍和4倍时同理，每个像素点都变为原来的若干倍，例如，放大尺度为3倍时，一个像素点变为9个像素点，放大尺度为4倍时，一个像素点变为16个像素点。
待处理图像在放大模块中完成特定尺度的放大处理后，提取尺度 缩放特征。尺度缩放特征是关于放大倍数的特征信息，表示某一个图像的放大情况。之后可以得到经过尺度缩放特征提取后的第一待处理图像，这个图像不带有尺度缩放特征，也就是说，对于不同的放大尺度，在经过尺度缩放特征提取后，所得到的第一待处理图像都是一样的。
步骤S20，发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像；
残差网络实际上是一个卷积神经网络，由若干个瓶颈残差单元和卷积层组成，在每个瓶颈残差单元后添加了一个权重归一化模块。其中，每个瓶颈残差单元的结构示意图如图4所示，包括三个卷积层和两个激活函数层，两个激活函数层分别位于每两个卷积层之间。激活函数采用PReLu函数，含有一个变量，从上一层网络学习中得到。另外，在本实施例中，采用ResNet-34网络模型。
残差网络出现之前，人们采用的深度网络模型层数较少，通过设置合理的权重初始化、增加批量规范化、以及改进激活函数等一系列手段，有效缓解了梯度消失，使得深度网络训练变得可行。随着网络层数的加深，理论上误差会变小，同时模型的表达能力增强，但是在简单的叠加网络层后，训练误差变得更大了，主要是受到了梯度消失等因素的影响。于是出现了残差网络，残差网络是由残差模块垒叠构成，残差模块又分为常规残差模块和瓶颈残差模块，瓶颈残差模块中的1×1卷积能够起到升降维的作用，从而令3×3卷积可以在较低维度的输入上进行，该设计可大幅减少计算量，尤其是在非常深的网络中效果较好。其中残差网络中的激活函数将ReLu改为PReLu，引入了一个可学习参数帮助它适应性的学习部分负系数，另外上述残差网络使用图像上采样方法，使用子像素卷积层。
步骤S30，对所述第二待处理图像进行还原处理，生成还原图像并输出。
在残差网络之后设置有一个尺度还原模块，该模块的主要作用是将经过放大模块放大过的待处理图像进行缩小性还原，并最终生成高分辨率的还原图像进行输出，进而得到高质量的视频。
本实施例中提出的图像超分辨率方法，通过获取待处理图像，在尺度放大模块对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；然后发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像至尺度还原模块；之后在尺度还原模块接收到所述第二待处理图像时，对所述第二待处理图像进行还原处理，生成还原图像并输出。本发明增加了不同放大倍率预处理，将依赖放大倍率的模块部分与主网络分开，使大部分不依赖放大倍率的参数可以在不同放大倍率下共享网络训练结果，增加模型通用性至可适用于8K(视频像素的总列数为4320)电视的超分辨率应用需求。
基于第一实施例，提出本发明图像超分辨率方法的第二实施例，参照图5，步骤S10包括：
步骤S11，获取低分辨率的待处理图像，在预处理卷积层对所述待处理图像进行预处理；
在获取到待处理的低分辨率图像时，将待处理图像输入到预处理卷积层中提取特征，在完成原始待处理图像的特征提取后，将经过特征提取的图像发送至尺度放大模块。
步骤S12，发送所述预处理后的待处理图像至尺度放大模块，基于预置的放大尺度对所述待处理图像进行放大并提取尺度缩放特征，得到提取过尺度缩放特征的第一待处理图像。
在尺度放大模块预置了三个不同的放大尺度，分别是2倍，3倍和4倍，可以根据实际情况选择不同的放大尺度进行应用。由于数字电视所采用的视频分辨率是固定的几种，例如720P，1080P，2K，4K等，因此通常情况下，不同的视频质量适用于不同的放大尺度。待处理图像在放大模块中完成特定尺度的放大处理后，提取尺度缩放特征。尺度缩放特征是关于放大倍数的特征信息，表示某一个图像的放大情况。之后可以得到经过尺度缩放特征提取后的第一待处理图像，这个图像不带有尺度缩放特征，也就是说，对于不同的放大尺度，在经过尺度缩放特征提取后，所得到的第一待处理图像都是一样的。
进一步地，在一实施例中，所述方法还包括：
所述预置的放大尺度包括2倍、3倍或4倍。
放大尺度为2倍时，每个像素点在单一方向上的尺度变为原来的2倍，也就是从1个像素点变为4个像素点，这4个像素为2×2排列，也就是说放大后的图像像素在任意一个方向上的尺度变为原来的2倍，放大尺度为3倍和4倍时同理，每个像素点都变为原来的若干倍，例如，放大尺度为3倍时，一个像素点变为9个像素点，放大尺度为4倍时，一个像素点变为16个像素点。
本实施例中提出的图像超分辨率方法，通过获取低分辨率的待处理图像，在预处理卷积层对所述待处理图像进行预处理；然后发送所述预处理后的待处理图像至尺度放大模块，基于预置的放大尺度对所述待处理图像进行放大并提取尺度缩放特征，得到提取过尺度缩放特征的第一待处理图像；在视频图像的超分辨率问题上，考虑到相邻几帧具有很强的关联性，因此不仅要保证超分辨率结果的质量，还要能达到实时处理的效率要求。
基于第一实施例，提出本发明图像超分辨率方法的第三实施例，参照图6，步骤S20包括：
步骤S21，发送所述第一待处理图像至残差网络，经过残差网络中的若干个瓶颈残差单元处理，生成修正后的第二待处理图像；
残差网络出现之前，人们采用的深度网络模型层数较少，通过设置合理的权重初始化、增加批量规范化、以及改进激活函数等一系列手段，有效缓解了梯度消失，使得深度网络训练变得可行。随着网络层数的加深，理论上误差会变小，同时模型的表达能力增强，但是在简单的叠加网络层后，训练误差变得更大了，主要是受到了梯度消失等因素的影响。于是出现了残差网络，残差网络是由残差模块垒叠构成，残差模块又分为常规残差模块和瓶颈残差模块，瓶颈残差模块中的1×1卷积能够起到升降维的作用，从而令3×3卷积可以在较低维度的输入上进行，该设计可大幅减少计算量，尤其是在非常深的网络中效果较好。其中残差网络中的激活函数将ReLu改为PReLu，引入 了一个可学习参数帮助它适应性的学习部分负系数，另外上述残差网络使用图像上采样方法，使用子像素卷积层。
残差网络实际上是一个卷积神经网络，由若干个瓶颈残差单元和卷积层组成，在每个瓶颈残差单元后添加了一个权重归一化模块。其中，每个瓶颈残差单元的结构示意图如图4所示，包括三个卷积层和两个激活函数层，两个激活函数层分别位于每两个卷积层之间。激活函数采用PReLu函数，含有一个变量，从上一层网络学习中得到。
步骤S22，将所述第二待处理图像发送至尺度还原模块。
将不具有尺度缩放特征的第一待处理图像输入至残差网络，得到残差网络的超分辨率重建处理，从残差网络中输出经过修正后的第二待处理图像至尺度还原模块，以供尺度还原模块对该不具有尺度缩放特征的图像进行尺度还原处理，生成具有尺度特征的还原图像。
进一步地，在一实施例中，所述方法还包括：
所述残差网络包括若干个瓶颈残差单元和一个卷积层，各瓶颈残差单元连接有一个权重归一化模块。
如图3所示，残差网络设置在尺度放大模块之后，包含有若干个瓶颈残差单元，在上述瓶颈残差单元后面设置有一个卷积层，其中每个瓶颈残差单元后面都有一个权重归一化模块，权重归一化处理是神经网络模型参数化的一种方法。由于在深度神经网络中，参数集包含着大量的权重和偏差值，因此如何最优化的处理上述参数实时深度学习中的一个重要问题。
在权重归一化模块中，为了加快优化步骤的收敛速度，基于随机梯度下降通过k阶向量v和尺度因子g来表示k阶权重向量，通过一定的数学变化，我们可以得到下面的公式：
Figure PCTCN2018099071-appb-000001
Figure PCTCN2018099071-appb-000002
Figure PCTCN2018099071-appb-000003
其中g为尺度因子，w为k阶权重向量，v为k阶向量，L为损失函数。
进一步地，在一实施例中，所述方法还包括：
所述瓶颈残差单元包括三个卷积层，在每两个卷积层之间，都含有一个激活函数层，所述激活函数为PReLu函数。
如图4所示，每个瓶颈残差单元包含有3个卷积层，在每两个卷积层之间包含有一个激活函数层，该激活函数为Parametric ReLU也就是PReLU函数。该函数的公式如下：
Figure PCTCN2018099071-appb-000004
其中α为一个变量，从上一层网络学习得到，引入的变量α帮助它适应性的学习部分负系数。
本实施例中提出的图像超分辨率方法，通过发送所述第一待处理图像至残差网络，经过残差网络中的若干个瓶颈残差单元处理，生成修正后的第二待处理图像；然后将所述第二待处理图像发送至尺度还原模块；改善了激活函数层，提高了残差网络的学习能力和适应性。
基于第一实施例，提出本发明图像超分辨率方法的第四实施例，参照图7，步骤S30包括：
步骤S31，在尺度还原模块接收到第二待处理图像时，基于尺度放大模块中的尺度进行相应的尺度缩小处理，生成还原图像；
在残差网络之后设置有一个尺度还原模块，该模块的主要作用是将经过放大模块放大过的待处理图像进行缩小性还原，并最终生成高分辨率的还原图像进行输出，进而得到高质量的视频。
步骤S32，输出所述还原图像。
本实施例中提出的图像超分辨率方法，通过在尺度还原模块接收到第二待处理图像时，基于尺度放大模块中的尺度进行相应的缩小，生成还原图像；然后输出所述还原图像；增加了权重归一化模块的残差网络大大减少了权重标准化的计算成本，避免了在噪声估计的过程中增加随机性，能够适应更多种类的网络模型。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算 机可读存储介质上存储有图像超分辨率程序，所述图像超分辨率程序被处理器执行时，实现以下步骤：
获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；
发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像；
对所述第二待处理图像进行还原处理，生成还原图像并输出。
其中，所述节目信息更新程序被所述处理器执行时，还实现以下步骤：
获取低分辨率的待处理图像，在预处理卷积层对所述待处理图像进行预处理；
发送所述预处理后的待处理图像至尺度放大模块，基于预置的放大尺度对所述待处理图像进行放大并提取尺度缩放特征，得到提取过尺度缩放特征的第一待处理图像。
其中，所述节目信息更新程序被所述处理器执行时，还实现以下步骤：
发送所述第一待处理图像至残差网络，经过残差网络中的若干个瓶颈残差单元处理，生成修正后的第二待处理图像；
将所述第二待处理图像发送至尺度还原模块
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现， 当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (15)

  1. 一种图像超分辨率方法，其特征在于，所述图像超分辨率方法包括以下步骤：
    获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；
    发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像；
    对所述第二待处理图像进行还原处理，生成还原图像并输出。
  2. 如权利要求1所述的图像超分辨率方法，其特征在于，所述获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像的步骤包括：
    获取低分辨率的待处理图像，在预处理卷积层对所述待处理图像进行预处理；
    发送所述预处理后的待处理图像至尺度放大模块，基于预置的放大尺度对所述待处理图像进行放大并提取尺度缩放特征，得到提取过尺度缩放特征的第一待处理图像。
  3. 如权利要求2所述的图像超分辨率方法，其特征在于，所述预置的放大尺度包括2倍、3倍或4倍。
  4. 如权利要求1所述的图像超分辨率方法，其特征在于，所述发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像的步骤包括：
    发送所述第一待处理图像至残差网络，经过残差网络中的若干个瓶颈残差单元处理，生成修正后的第二待处理图像；
    将所述第二待处理图像发送至尺度还原模块。
  5. 如权利要求4所述的图像超分辨率方法，其特征在于，所述 残差网络包括若干个瓶颈残差单元和一个卷积层，各瓶颈残差单元连接有一个权重归一化模块。
  6. 如权利要求5所述的图像超分辨率方法，其特征在于，所述瓶颈残差单元包括三个卷积层，在每两个卷积层之间，含有一个激活函数层，所述激活函数为PReLu函数。
  7. 如权利要求6所述的图像超分辨率方法，其特征在于，所述激活函数包含一个变量，所述变量的值通过对上一层网络学习得到。
  8. 如权利要求1所述的图像超分辨率方法，其特征在于，所述对所述第二待处理图像进行还原处理，生成还原图像并输出的步骤包括：
    在尺度还原模块接收到第二待处理图像时，基于尺度放大模块中的尺度进行相应的尺度缩小处理，生成还原图像；
    输出所述还原图像。
  9. 如权利要求2所述的图像超分辨率方法，其中，所述发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像的步骤包括：
    发送所述第一待处理图像至残差网络，经过残差网络中的若干个瓶颈残差单元处理，生成修正后的第二待处理图像；
    将所述第二待处理图像发送至尺度还原模块。
  10. 一种图像超分辨率装置，其特征在于，所述图像超分辨率装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像超分辨率程序，所述图像超分辨率程序被所述处理器执行时，实现以下步骤：
    获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；
    发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像；
    对所述第二待处理图像进行还原处理，生成还原图像并输出。
  11. 如权利要求10所述的图像超分辨率装置，其中，所述节目信息更新程序被所述处理器执行时，还实现以下步骤：
    获取低分辨率的待处理图像，在预处理卷积层对所述待处理图像进行预处理；
    发送所述预处理后的待处理图像至尺度放大模块，基于预置的放大尺度对所述待处理图像进行放大并提取尺度缩放特征，得到提取过尺度缩放特征的第一待处理图像。
  12. 如权利要求10所述的图像超分辨率装置，其中，所述节目信息更新程序被所述处理器执行时，还实现以下步骤：
    发送所述第一待处理图像至残差网络，经过残差网络中的若干个瓶颈残差单元处理，生成修正后的第二待处理图像；
    将所述第二待处理图像发送至尺度还原模块。
  13. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像超分辨率程序，所述图像超分辨率程序被处理器执行时，实现以下步骤：
    获取待处理图像，对所述待处理图像进行放大处理，并提取尺度缩放特征，得到经尺度缩放特征提取后的第一待处理图像；
    发送所述第一待处理图像至残差网络，以供所述残差网络输出修正后的第二待处理图像；
    对所述第二待处理图像进行还原处理，生成还原图像并输出。
  14. 如权利要求13所述的计算机可读存储介质，其中，所述节目信息更新程序被所述处理器执行时，还实现以下步骤：
    获取低分辨率的待处理图像，在预处理卷积层对所述待处理图像 进行预处理；
    发送所述预处理后的待处理图像至尺度放大模块，基于预置的放大尺度对所述待处理图像进行放大并提取尺度缩放特征，得到提取过尺度缩放特征的第一待处理图像。
  15. 如权利要求13所述的计算机可读存储介质，其中，所述节目信息更新程序被所述处理器执行时，还实现以下步骤：
    发送所述第一待处理图像至残差网络，经过残差网络中的若干个瓶颈残差单元处理，生成修正后的第二待处理图像；
    将所述第二待处理图像发送至尺度还原模块。
PCT/CN2018/099071 2018-02-11 2018-08-07 图像超分辨率方法、装置及计算机可读存储介质 WO2019153671A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18905631.0A EP3576046A4 (en) 2018-02-11 2018-08-07 METHOD AND DEVICE FOR IMAGE SUPER RESOLUTION AND COMPUTER-READABLE STORAGE MEDIUM
US16/545,967 US10991076B2 (en) 2018-02-11 2019-08-20 Image super-resolution method, image super-resolution device, and computer readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810147781.5A CN108288251A (zh) 2018-02-11 2018-02-11 图像超分辨率方法、装置及计算机可读存储介质
CN201810147781.5 2018-02-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/545,967 Continuation US10991076B2 (en) 2018-02-11 2019-08-20 Image super-resolution method, image super-resolution device, and computer readable storage medium

Publications (1)

Publication Number Publication Date
WO2019153671A1 true WO2019153671A1 (zh) 2019-08-15

Family

ID=62832935

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/099071 WO2019153671A1 (zh) 2018-02-11 2018-08-07 图像超分辨率方法、装置及计算机可读存储介质

Country Status (4)

Country Link
US (1) US10991076B2 (zh)
EP (1) EP3576046A4 (zh)
CN (1) CN108288251A (zh)
WO (1) WO2019153671A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754406A (zh) * 2020-06-22 2020-10-09 北京大学深圳研究生院 图像分辨率处理方法、装置、设备及可读存储介质
CN112345251A (zh) * 2020-11-04 2021-02-09 山东科技大学 基于信号分辨率增强的机械智能故障诊断方法
WO2021048863A1 (en) * 2019-09-11 2021-03-18 The State Of Israel, Ministry Of Agriculture & Rural Development, Agricultural Research Organization (Aro) (Volcani Center) Methods and systems for super resolution for infra-red imagery

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288251A (zh) 2018-02-11 2018-07-17 深圳创维－Rgb电子有限公司 图像超分辨率方法、装置及计算机可读存储介质
CN109413213A (zh) * 2018-12-20 2019-03-01 泉州装备制造研究所 基于片上系统的集群监控系统
CN109889800B (zh) * 2019-02-28 2021-09-10 深圳市商汤科技有限公司 图像增强方法和装置、电子设备、存储介质
CN110047044B (zh) * 2019-03-21 2021-01-29 深圳先进技术研究院 一种图像处理模型的构建方法、装置及终端设备
KR20200114436A (ko) * 2019-03-28 2020-10-07 국방과학연구소 스케일러블 영상 부호화를 수행하는 장치 및 방법
CN110136066B (zh) * 2019-05-23 2023-02-24 北京百度网讯科技有限公司 面向视频的超分辨率方法、装置、设备和存储介质
CN110390636A (zh) * 2019-06-19 2019-10-29 深圳慧源创新科技有限公司 无人机超、高清图片或视频数据的模拟变焦方法
CN112419146B (zh) * 2019-08-20 2023-12-29 武汉Tcl集团工业研究院有限公司 一种图像处理方法、装置及终端设备
CN112488916B (zh) * 2019-09-12 2023-12-26 武汉Tcl集团工业研究院有限公司 一种图像超分重建模型的训练方法和计算机设备
CN111161152B (zh) * 2019-12-31 2023-03-31 西安电子科技大学 基于自适应卷积神经网络的图像超分辨方法
CN111260558B (zh) * 2020-01-22 2021-10-22 武汉大学 一种可变倍率的图像超分辨率网络模型
TWI733341B (zh) * 2020-02-20 2021-07-11 瑞昱半導體股份有限公司 用於圖像放大與增強的方法與裝置
CN113313636A (zh) * 2020-02-27 2021-08-27 瑞昱半导体股份有限公司 用于图像放大与增强的方法与装置
CN111353939B (zh) * 2020-03-02 2023-10-27 中国科学院深圳先进技术研究院 一种基于多尺度特征表示与权值共享卷积层的图像超分辨率方法
CN111429458B (zh) * 2020-03-20 2021-06-08 北京创世云科技股份有限公司 一种图像还原的方法、装置及电子设备
US11138781B1 (en) * 2020-04-01 2021-10-05 International Business Machines Corporation Creation of photorealistic 3D avatars using deep neural networks
CN112053287B (zh) * 2020-09-11 2023-04-18 北京邮电大学 图像超分辨率方法、装置及设备
CN112150360A (zh) * 2020-09-16 2020-12-29 北京工业大学 一种基于稠密残差网络的ivus图像超分辨率重建方法
CN112419201A (zh) * 2020-12-04 2021-02-26 珠海亿智电子科技有限公司 一种基于残差网络的图像去模糊方法
CN113191955A (zh) * 2021-06-17 2021-07-30 江苏奥易克斯汽车电子科技股份有限公司 图像超分辨率重建的方法及装置
CN113240586A (zh) * 2021-06-17 2021-08-10 华北电力大学（保定） 一种可自适应调节放大倍数的螺栓图像超分辨率处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110128394A1 (en) * 2009-11-30 2011-06-02 Indian Institute Of Technology Madras Method and system for generating a high resolution image
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
CN107657586A (zh) * 2017-10-13 2018-02-02 深圳市唯特视科技有限公司 一种基于深度残差网络的单照片超分辨增强方法
CN108288251A (zh) * 2018-02-11 2018-07-17 深圳创维－Rgb电子有限公司 图像超分辨率方法、装置及计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767343B (zh) * 2017-11-09 2021-08-31 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
WO2019102476A2 (en) * 2017-11-26 2019-05-31 Yeda Research And Development Co. Ltd. Signal enhancement and manipulation using a signal-specific deep network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110128394A1 (en) * 2009-11-30 2011-06-02 Indian Institute Of Technology Madras Method and system for generating a high resolution image
CN107274347A (zh) * 2017-07-11 2017-10-20 福建帝视信息科技有限公司 一种基于深度残差网络的视频超分辨率重建方法
CN107657586A (zh) * 2017-10-13 2018-02-02 深圳市唯特视科技有限公司 一种基于深度残差网络的单照片超分辨增强方法
CN108288251A (zh) * 2018-02-11 2018-07-17 深圳创维－Rgb电子有限公司 图像超分辨率方法、装置及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3576046A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021048863A1 (en) * 2019-09-11 2021-03-18 The State Of Israel, Ministry Of Agriculture & Rural Development, Agricultural Research Organization (Aro) (Volcani Center) Methods and systems for super resolution for infra-red imagery
CN111754406A (zh) * 2020-06-22 2020-10-09 北京大学深圳研究生院 图像分辨率处理方法、装置、设备及可读存储介质
CN111754406B (zh) * 2020-06-22 2024-02-23 北京大学深圳研究生院 图像分辨率处理方法、装置、设备及可读存储介质
CN112345251A (zh) * 2020-11-04 2021-02-09 山东科技大学 基于信号分辨率增强的机械智能故障诊断方法
CN112345251B (zh) * 2020-11-04 2022-03-04 山东科技大学 基于信号分辨率增强的机械智能故障诊断方法

Also Published As

Publication number Publication date
US20190370938A1 (en) 2019-12-05
EP3576046A1 (en) 2019-12-04
EP3576046A4 (en) 2021-03-03
CN108288251A (zh) 2018-07-17
US10991076B2 (en) 2021-04-27

Similar Documents

Publication Publication Date Title
WO2019153671A1 (zh) 图像超分辨率方法、装置及计算机可读存储介质
WO2021233008A1 (zh) 一种超分辨率重建方法和相关装置
CN110766777B (zh) 虚拟形象的生成方法、装置、电子设备及存储介质
CN108022212B (zh) 高分辨率图片生成方法、生成装置及存储介质
CN111182254B (zh) 一种视频处理方法、装置、设备及存储介质
CN107566739B (zh) 一种拍照方法及移动终端
US20220222776A1 (en) Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution
CN110996170B (zh) 视频文件播放方法及相关设备
CN111145192B (zh) 图像处理方法及电子设备
CN110796664B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US20240013359A1 (en) Image processing method, model training method, apparatus, medium and device
CN111259841B (zh) 一种图像处理方法及相关设备
CN113688907B (zh) 模型训练、视频处理方法，装置，设备以及存储介质
JP7010952B2 (ja) 投影画像構築方法及び装置
CN110766610B (zh) 一种超分辨率图像的重建方法及电子设备
CN108600782A (zh) 视频超分辨率方法、装置及计算机可读存储介质
WO2022057868A1 (zh) 图像超分方法和电子设备
CN112950640A (zh) 视频人像分割方法、装置、电子设备及存储介质
CN112785669B (zh) 一种虚拟形象合成方法、装置、设备及存储介质
CN112714263B (zh) 视频生成方法、装置、设备及存储介质
CN113658065A (zh) 图像降噪方法及装置、计算机可读介质和电子设备
CN116596748A (zh) 图像风格化处理方法、装置、设备、存储介质和程序产品
CN115375539A (zh) 图像分辨率增强、多帧图像超分辨率系统和方法
CN110784648B (zh) 一种图像处理方法和电子设备
CN113763230B (zh) 图像风格迁移模型训练方法、风格迁移方法及装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018905631

Country of ref document: EP

Effective date: 20190826

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18905631

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE