WO2022141660A1 - 基于神经网络的高分辨率图像复原方法及系统 - Google Patents

基于神经网络的高分辨率图像复原方法及系统 Download PDF

Info

Publication number
WO2022141660A1
WO2022141660A1 PCT/CN2021/070672 CN2021070672W WO2022141660A1 WO 2022141660 A1 WO2022141660 A1 WO 2022141660A1 CN 2021070672 W CN2021070672 W CN 2021070672W WO 2022141660 A1 WO2022141660 A1 WO 2022141660A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
features
layer
input
frame
Prior art date
Application number
PCT/CN2021/070672
Other languages
English (en)
French (fr)
Inventor
胡剑凌
高立杭
廖东
羊箭锋
曹洪龙
Original Assignee
苏州大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 苏州大学 filed Critical 苏州大学
Priority to US17/642,137 priority Critical patent/US20230154140A1/en
Publication of WO2022141660A1 publication Critical patent/WO2022141660A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

一种基于神经网络的高分辨率图像复原方法及系统，该方法包括：对网络输入中的目标帧进行特征提取，得到第一特征，并对第一帧及其相邻帧光流进行特征提取得到第二特征，将第一特征和第二特征进行级联，得到浅层特征；采用迭代式上下采样的方法对浅层特征进行特征提取和细化，得到多个输出第一特征和多个输出第二特征；对所述多个输出第二特征进行特征解码，将解码后的特征按通道维度进行级联，得到多次级联后的特征；对多次级联后的特征进行权重分配，得到最终特征，利用最终特征对图像进行复原。该方法可以有效帮助提高图像质量。

Description

基于神经网络的高分辨率图像复原方法及系统 技术领域
本发明涉及图像复原的技术领域，尤其是指一种基于神经网络的高分辨率图像复原方法及系统。
背景技术
在现代生活中，高分辨率图像的需求非常普遍，在安防监视、医学成像、目标检测和人脸识别等众多领域都需要高分辨率图像或视频的支持。高分辨率图像复原技术通过低分辨率图像作为输入，在不需要其他信息的情况下生成对应的高分辨率图像，同时具有较好的主客观评价。如传统方法中的插值算法，它能够通过插值运算有效地提高图片的分辨率，但其主客观评价较差。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中高分辨率图像的复原方法复杂，导致主客观评价较差的问题，从而提供一种方法简单，可提高对低分辨率图像质量的基于神经网络的高分辨率图像复原方法及系统。
为解决上述技术问题，本发明的一种基于神经网络的高分辨率图像复原方法，包括：对网络输入中的目标帧进行特征提取，得到第一特征，并对第一帧及其相邻帧光流进行特征提取得到第二特征，将第一特征和第二特征进行级联，得到浅层特征；采用迭代式上下采样的方法对浅层特征进行特征提取和细化，得到多个输出第一特征和多个输出第二特征；对所述多个输出第二特征进行特征解码，将解码后的特征按通道维度进行级联，得到多次级联后的特征；对多次级联后的特征进行权重分配，得到最终特征，利用最终特征对图像进行复原。
在本发明的一个实施例中，对网络输入中的目标帧进行特征提取时，采 用1-2层卷积层对目标帧进行特征提取，得到第一特征；对第一帧及其相邻帧光流进行特征提取时，采用1-2层卷积层对低分辨率图像序列及其稠密光流中的第一帧、第一帧与第二帧的稠密光流、第二帧进行特征提取。
在本发明的一个实施例中，所述采用迭代式上下采样的方法对浅层特征进行特征提取和细化的判断方法为：判断浅层特征是否有相邻帧未计算，若是，则将得到的一个输出第一特征与下一帧及其相邻帧光流的特征进行特征级联，作为下一次迭代的输入，不断循环迭代，直到所有的输入帧都经过计算为止，若否，进入步骤S3。
在本发明的一个实施例中，迭代式上下采样时，单次上下迭代的过程包含：第一卷积层、第一反卷积层、第二卷积层、第二反卷积层、第三卷积层、第三反卷积层。
在本发明的一个实施例中，所述第一卷积层和第一反卷积层采用相同的卷积核、步长、以及通道数；第二卷积层和第二反卷积层采用相同的卷积核、步长、以及通道数；第三卷积层和第三反卷积层采用相同的卷积核、步长、以及通道数。
在本发明的一个实施例中，所述第一卷积层的输入为浅层特征，第一反卷积层的输入为第一卷积层的结果，第二卷积层的输入为第一反卷积层的结果与浅层特征的差，第二反卷积层的输入为第二卷积层的结果，第三卷积层的输入为第二反卷积层的结果，第三反卷积层的输入为第三卷积层的结果与第二反卷积层的结果的差。
在本发明的一个实施例中，迭代式上下采样的数量根据对网络大小的需求调整。
在本发明的一个实施例中，所述采用迭代式上下采样的时，保存每次迭代得到的输出第二特征。
在本发明的一个实施例中，利用最终特征对图像进行复原时，采用1-2层反卷积层。
本发明还提供了一种基于神经网络的高分辨率图像复原系统，包括：特征提取模块，用于对网络输入中的目标帧进行特征提取，得到第一特征，并对第一帧及其相邻帧光流进行特征提取得到第二特征，将第一特征和第二特征进行级联，得到浅层特征；编解码模块，用于采用迭代式上下采样的方法对浅层特征进行特征提取和细化，得到多个输出第一特征和多个输出第二特征；解码模块，用于对所述多个输出第二特征进行特征解码，将解码后的特征按通道维度进行级联，得到多次级联后的特征；权重分配模块及复原模块，用于对多次级联后的特征进行权重分配，得到最终特征，利用最终特征对图像进行复原。
本发明的上述技术方案相比现有技术具有以下优点：
本发明所述的基于神经网络的高分辨率图像复原方法及系统，对网络输入中的目标帧进行特征提取，得到第一特征，并对第一帧及其相邻帧光流进行特征提取得到第二特征，不仅可以进行初步的特征拟合，而且有利于对网络的大小进行调整，从而能够控制网络参数量的大小，将第一特征和第二特征进行级联，得到浅层特征，有利于对特征进行特征提取和细化；采用迭代式上下采样的方法对浅层特征进行特征提取和细化，得到多个输出第一特征和多个输出第二特征，从而能够很好的保留输入图像的关键特征，避免在训练中出现梯度消失的情况；对所述多个输出第二特征进行特征解码，将解码后的特征按通道维度进行级联，得到多次级联后的特征；由于不同帧距离目标帧的距离不同，其对重建的信息贡献也有一定的区别，因此对多次级联后的特征进行权重分配，得到最终特征，利用最终特征对图像进行复原，从而可以有效帮助提高图像质量。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
图1是本发明基于神经网络的高分辨率图像复原方法流程图；
图2是本发明基于神经网络的高分辨率图像复原的系统示意图；
图3是本发明单次迭代的示意图。
具体实施方式
实施例一
如图1所示，本实施例提供一种基于神经网络的高分辨率图像复原方法，包括：步骤S1：对网络输入中的目标帧进行特征提取，得到第一特征，并对第一帧及其相邻帧光流进行特征提取得到第二特征，将第一特征和第二特征进行级联，得到浅层特征；步骤S2：采用迭代式上下采样的方法对浅层特征进行特征提取和细化，得到多个输出第一特征和多个输出第二特征；步骤S3：对所述多个输出第二特征进行特征解码，将解码后的特征按通道维度进行级联，得到多次级联后的特征；步骤S4：对多次级联后的特征进行权重分配，得到最终特征，利用最终特征对图像进行复原。
本实施例所述基于神经网络的高分辨率图像复原方法，所述步骤S1中，对网络输入中的目标帧进行特征提取，得到第一特征，并对第一帧及其相邻帧光流进行特征提取得到第二特征，不仅可以进行初步的特征拟合，而且有利于对网络的大小进行调整，从而能够控制网络参数量的大小，将第一特征和第二特征进行级联，得到浅层特征，有利于对特征进行特征提取和细化；所述步骤S2中，采用迭代式上下采样的方法对浅层特征进行特征提取和细化，得到多个输出第一特征和多个输出第二特征，从而能够很好的保留输入图像的关键特征，避免在训练中出现梯度消失的情况；所述步骤S3中，对所述多个输出第二特征进行特征解码，将解码后的特征按通道维度进行级联，得到多次级联后的特征；所述步骤S4中，由于不同帧距离目标帧的距离不同，其对重建的信息贡献也有一定的区别，因此对多次级联后的特征进行权重分配，得到最终特征，利用最终特征对图像进行复原，从而可以有效帮助提高图像质量。
所述步骤S1中，对网络输入中的目标帧进行特征提取时，采用1-2层卷积层对目标帧进行浅层特征提取，得到第一特征；对第一帧及其相邻帧光流进行特征提取时，采用1-2层卷积层对低分辨率图像序列及其稠密光流中 的第一帧、第一帧与第二帧的稠密光流、第二帧进行特征提取。
如图2所示，采用1-2层卷积层分别目标帧Lt和低分辨率图像序列及其稠密光流中的第一帧，第一帧与第二帧的稠密光流，第二帧[L t-2，F t-2，L t-1]进行浅层特征提取，分别得到第一特征I t和第二特征f t-2。
将所述第一特征I t和第二特征f t-2级联，得到浅层特征F conv(i)，i＝1。(其中i表示迭代次数)
所述目标帧为网络输入中的中间帧。本实施例以5帧为例，取中间帧为目标帧。
所述步骤S2中，所述采用迭代式上下采样的方法对浅层特征进行特征提取和细化的判断方法为：判断浅层特征是否有相邻帧未计算，若是，则将得到的一个输出第一特征与下一帧及其相邻帧光流的特征进行特征级联，作为下一次迭代的输入，不断循环迭代，直到所有的输入帧都经过计算为止，若否，进入步骤S4。
判断浅层特征是否有相邻帧未计算，若是，令将得到的一个输出第一特征与下一帧及其相邻帧光流进行特征级联，并令i＝i+1，将级联后的特征再一次进行特征提取，得到新的特征，将新的特征作为输入，继续再次进行迭代式上下采样提取特征，不断循环，直到所有的输入帧都经过计算。
迭代式上下采样的方法包括多组上采样、下采样模块，并采用了跨层连接。
如图3所示，迭代式上下采样时，单次上下迭代的过程包含：第一卷积层、第一反卷积层、第二卷积层、第二反卷积层、第三卷积层、第三反卷积层。
所述第一卷积层和第一反卷积层采用相同的卷积核、步长、以及通道数；第二卷积层和第二反卷积层采用相同的卷积核、步长、以及通道数；第三卷积层和第三反卷积层采用相同的卷积核、步长、以及通道数。
所述第一卷积层的输入为浅层特征，第一反卷积层的输入为第一卷积层 的结果，第二卷积层的输入为第一反卷积层的结果与浅层特征的差，第二反卷积层的输入为第二卷积层的结果，第三卷积层的输入为第二反卷积层的结果，第三反卷积层的输入为第三卷积层的结果与第二反卷积层的结果的差。
迭代式上下采样的数量根据对网络大小的需求调整。
所述步骤S3中，对所述多个输出第二特征F iter(i)进行特征解码，将解码后的特征与上一次循环中F iter(i)解码后的特征按通道维度进行级联，最后得到多次级联后的特征F rec。
所述步骤S4中，由于不同帧距离目标帧的距离不同，其对重建的信息贡献也有一定的区别，故对F rec进行权重重分配，得到F rrec；利用最终特征对图像进行复原时，采用1-2层反卷积层，利用F rrec继续对图像复原，得到最终目标帧。
在本申请中，对相邻帧及其光流处理时，首先对输入连续帧图像进行稠密光流提取，假设输入连续帧图像为[L t-(k-1)/2...L t-2，L t-1，L t，L t+1，L t+2...L t+(k-1)/2]，其中，帧数为k(k＝2i+1，i＝1，2，3...)；
提取稠密光流后的数据为：
[L t-(k-1)/2...L t-2，F t-2，L t-1，F t-1，L t，F t+1，L t+1，F t+2，L t+2...L t+(k-1)/2]
其中L t表示低分辨率帧，F t表示相邻帧之间的稠密光流。一般情况下，处理多个连续帧输入时，常用循环神经网络(RNN)，因为RNN能够较好地提取前后帧图像的时空信息，能够更好地处理序列信息。在本发明中，没有采用RNN的结构，但保留了处理序列信息的特点。
实施例二
本实施例提供一种基于神经网络的高分辨率图像复原系统，是基于实施例一的基于神经网络的高分辨率图像复原方法对图像进行复原，其原理相同。
所述基于神经网络的高分辨率图像复原系统包括：特征提取模块，用于对网络输入中的目标帧进行特征提取，得到第一特征，并对第一帧及其相邻帧光流进行特征提取得到第二特征，将第一特征和第二特征进行级联，得到 浅层特征；编解码模块，用于采用迭代式上下采样的方法对浅层特征进行特征提取和细化，得到多个输出第一特征和多个输出第二特征；解码模块，用于对所述多个输出第二特征进行特征解码，将解码后的特征按通道维度进行级联，得到多次级联后的特征；权重分配模块及复原模块，用于对多次级联后的特征进行权重分配，得到最终特征，利用最终特征对图像进行复原。
所述特征提取模块用于对输入的低分辨率图像做初步的特征筛选，提取较少的特征为编码做准备，使用卷积层来完成该部分。特征提取能够不仅可以进行初步的特征拟合，同时还可以对网络的大小进行调整，能够控制网络参数量的大小。
编解码模块，即迭代式上下采样模块，主要使用卷积层，反卷积层和残差网络结构，残差网络具有较好的传递性，能够很好的保留输入图像的关键特征，避免在训练中出现梯度消失的情况，每一个编-解码模块都包含额外的输入和之前训练的结果，这样能够充分地利用时域信息，将每一帧的信息充分利用，以此作为额外信息，帮助恢复高分辨率的当前帧图片。编解码模块对图像先放大，后缩小，再放大，不断上下迭代，学习更好的网络参数，这一过程为网络的反馈过程，与大部分只有前馈的网络结构不同，反馈能够更好地提取图像特征。
如图2所示，具体来说，一次上下迭代的过程包含六个卷积层，过程包含：卷积层1、反卷积层1、卷积层2、反卷积层2、卷积层3、反卷积层3。每一个卷积层和反卷积层都是用相同的卷积核，步长，以及通道数。其中，卷积层1的输入为浅层特征，反卷积层1的输入为卷积层1的结果，卷积层2的输入为反卷积层1的结果与浅层特征的差，反卷积层2的输入为卷积层2的结果，卷积层3的输入为反卷积层2的结果，反卷积层3的输入为卷积层3的结果与反卷积层2的结果的差。
一次编-解码过程可以包含2-3次迭代，具体数量可以根据对网络大小的需求即运算时间调整。
所述解码模块中，对应每一个编解码模块，其结构都需要为最终的重构 做出贡献，提供有效的信息。因此，在每一个编解码训练模块后，都伴随一个进一步的解码模块，该模块由反卷积层组成，充分提取编解码模块训练得到的信息。
权重分配模块及复原模块，经过解码和级联后得到网络提取的最终特征F rec。权重分配模块对前面得到的F rec进行权重的再分配得到F rrec，能够较好的消除伪影等干扰信息。复原模块使用反卷积网络完成，利用F rrec得到最后复原后的图像。
本发明针对的主要场景为远距离拍摄图片时的情况，距离过远容易使目标所占地像素区域较小，同时光线、镜头抖动等问题都和容易造成图片的模糊，在短时间内采样得到镜头中的几帧作为网络的实际输入，得到高分辨率图像输出。在使用过程中，能够非常方便的通过多张连续图片作为网络输入，得到一张高分辨率图像。在网络的训练过程中，采用多张低分辨率图像和单张高分辨率图像做为图像对，即H t——[L t-(k-1)/2...L t-2，L t-1，L t，L t+1，L t+2...L t+(k-1)/2]，多张低分辨率图片以及他们之间的稠密光流作为网络的输入，得到的网络输出为H t，S t与H t形成网络训练的损失，网络的目标是降低以该损失为主体的损失值，以更新参数，得到更好的结果。网络采用优化器Adam，初始学习率设为0.0001。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使 得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

  1. 一种基于神经网络的高分辨率图像复原方法，其特征在于，包括如下步骤：
    步骤S1：对网络输入中的目标帧进行特征提取，得到第一特征，并对第一帧及其相邻帧光流进行特征提取得到第二特征，将第一特征和第二特征进行级联，得到浅层特征；
    步骤S2：采用迭代式上下采样的方法对浅层特征进行特征提取和细化，得到多个输出第一特征和多个输出第二特征；
    步骤S3：对所述多个输出第二特征进行特征解码，将解码后的特征按通道维度进行级联，得到多次级联后的特征；
    步骤S4：对多次级联后的特征进行权重分配，得到最终特征，利用最终特征对图像进行复原。
  2. 根据权利要求1所述的基于神经网络的高分辨率图像复原方法，其特征在于：对网络输入中的目标帧进行特征提取时，采用1-2层卷积层对目标帧进行特征提取，得到第一特征；对第一帧及其相邻帧光流进行特征提取时，采用1-2层卷积层对低分辨率图像序列及其稠密光流中的第一帧、第一帧与第二帧的稠密光流、第二帧进行特征提取。
  3. 根据权利要求1所述的基于神经网络的高分辨率图像复原方法，其特征在于：所述采用迭代式上下采样的方法对浅层特征进行特征提取和细化的判断方法为：判断浅层特征是否有相邻帧未计算，若是，则将得到的一个输出第一特征与下一帧及其相邻帧光流的特征进行特征级联，作为下一次迭代的输入，不断循环迭代，直到所有的输入帧都经过计算为止，若否，进入步骤S3。
  4. 根据权利要求1或3所述的基于神经网络的高分辨率图像复原方法，其特征在于：迭代式上下采样时，单次上下迭代的过程包含：第一卷积层、第 一反卷积层、第二卷积层、第二反卷积层、第三卷积层、第三反卷积层。
  5. 根据权利要求4所述的基于神经网络的高分辨率图像复原方法，其特征在于：所述第一卷积层和第一反卷积层采用相同的卷积核、步长、以及通道数；第二卷积层和第二反卷积层采用相同的卷积核、步长、以及通道数；第三卷积层和第三反卷积层采用相同的卷积核、步长、以及通道数。
  6. 根据权利要求4所述的基于神经网络的高分辨率图像复原方法，其特征在于：所述第一卷积层的输入为浅层特征，第一反卷积层的输入为第一卷积层的结果，第二卷积层的输入为第一反卷积层的结果与浅层特征的差，第二反卷积层的输入为第二卷积层的结果，第三卷积层的输入为第二反卷积层的结果，第三反卷积层的输入为第三卷积层的结果与第二反卷积层的结果的差。
  7. 根据权利要求1或3所述的基于神经网络的高分辨率图像复原方法，其特征在于：迭代式上下采样的数量根据对网络大小的需求调整。
  8. 根据权利要求3所述的基于神经网络的高分辨率图像复原方法，其特征在于：所述采用迭代式上下采样的时，保存每次迭代得到的输出第二特征。
  9. 根据权利要求1所述的基于神经网络的高分辨率图像复原方法，其特征在于：利用最终特征对图像进行复原时，采用1-2层反卷积层。
  10. 一种基于神经网络的高分辨率图像复原系统，其特征在于，包括：
    特征提取模块，用于对网络输入中的目标帧进行特征提取，得到第一特征，并对第一帧及其相邻帧光流进行特征提取得到第二特征，将第一特征和第二特征进行级联，得到浅层特征；
    编解码模块，用于采用迭代式上下采样的方法对浅层特征进行特征提取和细化，得到多个输出第一特征和多个输出第二特征；
    解码模块，用于对所述多个输出第二特征进行特征解码，将解码后的特征按通道维度进行级联，得到多次级联后的特征；
    权重分配模块及复原模块，用于对多次级联后的特征进行权重分配，得 到最终特征，利用最终特征对图像进行复原。
PCT/CN2021/070672 2020-12-28 2021-01-07 基于神经网络的高分辨率图像复原方法及系统 WO2022141660A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/642,137 US20230154140A1 (en) 2020-12-28 2021-01-07 Neural network-based high-resolution image restoration method and system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011606864.XA CN112669234A (zh) 2020-12-28 2020-12-28 基于神经网络的高分辨率图像复原方法及系统
CN202011606864.X 2020-12-28

Publications (1)

Publication Number Publication Date
WO2022141660A1 true WO2022141660A1 (zh) 2022-07-07

Family

ID=75410877

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/070672 WO2022141660A1 (zh) 2020-12-28 2021-01-07 基于神经网络的高分辨率图像复原方法及系统

Country Status (3)

Country Link
US (1) US20230154140A1 (zh)
CN (1) CN112669234A (zh)
WO (1) WO2022141660A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113163138B (zh) * 2021-05-20 2023-01-17 苏州大学 基于双向循环网络的高分辨率视频复原系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709875A (zh) * 2016-12-30 2017-05-24 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
CN110276721A (zh) * 2019-04-28 2019-09-24 天津大学 基于级联残差卷积神经网络的图像超分辨率重建方法
CN111311490A (zh) * 2020-01-20 2020-06-19 陕西师范大学 基于多帧融合光流的视频超分辨率重建方法
CN111507462A (zh) * 2020-04-15 2020-08-07 华中科技大学鄂州工业技术研究院 一种端对端的三维医学图像超分辨率重建方法及系统
WO2020206630A1 (zh) * 2019-04-10 2020-10-15 深圳市大疆创新科技有限公司 用于图像复原的神经网络及其训练与使用方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664400A (zh) * 2019-09-24 2023-08-29 南京工程学院 视频高时空分辨率信号处理方法
CN111353940B (zh) * 2020-03-31 2021-04-02 成都信息工程大学 一种基于深度学习迭代上下采样的图像超分辨率重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709875A (zh) * 2016-12-30 2017-05-24 北京工业大学 一种基于联合深度网络的压缩低分辨率图像复原方法
WO2020206630A1 (zh) * 2019-04-10 2020-10-15 深圳市大疆创新科技有限公司 用于图像复原的神经网络及其训练与使用方法
CN110276721A (zh) * 2019-04-28 2019-09-24 天津大学 基于级联残差卷积神经网络的图像超分辨率重建方法
CN111311490A (zh) * 2020-01-20 2020-06-19 陕西师范大学 基于多帧融合光流的视频超分辨率重建方法
CN111507462A (zh) * 2020-04-15 2020-08-07 华中科技大学鄂州工业技术研究院 一种端对端的三维医学图像超分辨率重建方法及系统

Also Published As

Publication number Publication date
US20230154140A1 (en) 2023-05-18
CN112669234A (zh) 2021-04-16

Similar Documents

Publication Publication Date Title
Anwar et al. Densely residual laplacian super-resolution
Bao et al. Memc-net: Motion estimation and motion compensation driven neural network for video interpolation and enhancement
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
WO2021208122A1 (zh) 基于深度学习的视频盲去噪方法及装置
Yuan et al. Plug-and-play algorithms for video snapshot compressive imaging
CN112801877B (zh) 一种视频帧的超分辨率重构方法
TW202134997A (zh) 用於對影像進行去雜訊的方法、用於擴充影像資料集的方法、以及使用者設備
Wang et al. Event-driven video frame synthesis
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
CN110111251B (zh) 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法
CN110992367B (zh) 对带有遮挡区域的图像进行语义分割的方法
Wei et al. Improving resolution of medical images with deep dense convolutional neural network
CN109949217B (zh) 基于残差学习和隐式运动补偿的视频超分辨率重建方法
Cheng et al. A dual camera system for high spatiotemporal resolution video acquisition
Niu et al. Blind motion deblurring super-resolution: When dynamic spatio-temporal learning meets static image understanding
CN114820341A (zh) 一种基于增强Transformer的图像盲去噪方法及系统
Han et al. Hybrid high dynamic range imaging fusing neuromorphic and conventional images
WO2022141660A1 (zh) 基于神经网络的高分辨率图像复原方法及系统
CN117333398A (zh) 一种基于自监督的多尺度图像去噪方法及装置
Amiri et al. A fast video super resolution for facial image
Ho et al. SR-CL-DMC: P-frame coding with super-resolution, color learning, and deep motion compensation
CN112348745B (zh) 一种基于残差卷积网络的视频超分辨率重构方法
Zeng et al. Swin-CasUNet: cascaded U-Net with Swin Transformer for masked face restoration
Tang et al. A Constrained Deformable Convolutional Network for Efficient Single Image Dynamic Scene Blind Deblurring with Spatially-Variant Motion Blur Kernels Estimation
CN112734635A (zh) 一种带约束条件的图像超分辨率的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21912443

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21912443

Country of ref document: EP

Kind code of ref document: A1