WO2013087003A1 - 一种基于非局部性的超分辨率重建方法和设备 - Google Patents

一种基于非局部性的超分辨率重建方法和设备 Download PDF

Info

Publication number
WO2013087003A1
WO2013087003A1 PCT/CN2012/086570 CN2012086570W WO2013087003A1 WO 2013087003 A1 WO2013087003 A1 WO 2013087003A1 CN 2012086570 W CN2012086570 W CN 2012086570W WO 2013087003 A1 WO2013087003 A1 WO 2013087003A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
macroblock
current
pixel block
frame
Prior art date
Application number
PCT/CN2012/086570
Other languages
English (en)
French (fr)
Inventor
刘家瑛
卓越
任杰
郭宗明
Original Assignee
北京大学
北大方正集团有限公司
北京北大方正电子有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京大学, 北大方正集团有限公司, 北京北大方正电子有限公司 filed Critical 北京大学
Priority to US14/129,764 priority Critical patent/US9111367B2/en
Priority to KR1020137034526A priority patent/KR101568073B1/ko
Priority to JP2014546300A priority patent/JP6126121B2/ja
Publication of WO2013087003A1 publication Critical patent/WO2013087003A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Definitions

  • the present invention relates to the field of digital image enhancement technologies, and in particular, to a non-locality-based super-resolution reconstruction method and apparatus. Background technique
  • the goal of multi-frame based super-resolution reconstruction is to fuse a series of low-resolution images into a high-resolution image. Due to the sub-pixel offset, the low-resolution images contain some complementary information. If you know the offset between them, you can combine these low-resolution images and remove the aliasing to generate higher resolution images. .
  • Adaptive parameter selection adaptively selects these parameters by discussing the size of the block and the relationship between the size of the search window and the performance of the non-local method.
  • the moving window strategy of the algorithm is suitable for pixels and is easy to fall into the local optimal solution, thus reducing the sharpness of the reconstructed image.
  • a non-localized super-resolution reconstruction method and device provided by the embodiments of the present invention are used to solve the problem that the resolution of the image after the non-locality-based super-resolution reconstruction is relatively low in the prior art. .
  • a non-localized super-resolution reconstruction method includes: interpolating each frame image that needs to be reconstructed, and dividing each frame image into a plurality of macroblocks of the same size;
  • Each pixel point on each frame of the image is centered, and the set distance is a radius, and the pixel block corresponding to each pixel point is determined;
  • each pixel block in each frame of image the following operations are performed: determining the current pixel block in the search window of each frame image according to the position of the search window in each frame image of the macroblock where the pixel point corresponding to the current pixel block is located And determining a similarity value of each pixel block in the search window and the current pixel block, respectively;
  • determining the location of the search window of the current macroblock in each of the other frames of the image comprises: determining a motion vector of the current macroblock to each of the other frame images, respectively;
  • the determined motion vector of the current macroblock to the frame image is used as the motion vector of the search window of the current macroblock in the frame image, and the position of the search window is relocated.
  • determining the similarity value of each pixel block in the search window and the current pixel block includes: determining a local structure descriptor and a local brightness descriptor of each pixel block and the current pixel block in the search window, respectively;
  • the similarity values of each pixel block in the search window and the current pixel block are respectively determined.
  • determining the center pixel value after the current pixel block optimization comprises:
  • the similarity value of each pixel block and the current pixel block is used as a weight, and the central pixel value before each pixel block is weighted and averaged to obtain a central pixel value optimized by the current pixel block.
  • the non-locality-based super-resolution reconstruction device includes: a first processing module, configured to perform interpolation processing on each frame image that needs to be reconstructed, and divide each frame image into multiple sizes. The same macro block;
  • a location determining module configured to: perform, for each macroblock in each frame of image: determining a location of a search window of the current macroblock in each of the other frames of the image;
  • a second processing module configured to use each pixel point on each frame of the image as a center, set a distance as a radius, and determine a pixel block corresponding to each pixel point;
  • the similarity determining module is configured to: perform, according to the position of the search window in each frame image, the position of the current pixel block in each frame image according to the position of the macro block in which the pixel point corresponding to the current pixel block is located: a search window of each frame image, and determining a similarity value of each pixel block in the search window and the current pixel block, respectively;
  • a pixel value determining module configured to respectively determine an optimized central pixel value of each pixel block according to a similarity value of each pixel block.
  • the location determining module determines a motion vector of the current macroblock to each of the other frames of the image
  • the determined motion vector of the current macroblock to the frame image is used as the motion vector of the search window of the current macroblock in the frame image, and the position of the search window is relocated.
  • the similarity determination module respectively determines a local structure descriptor and a local luminance descriptor of each pixel block and the current pixel block in the search window; and determines the normalization according to the determined local structure descriptor and the local luminance descriptor.
  • Total value of similarity; each pixel block in the search window is determined according to the determined local structure descriptor, the local luminance descriptor, and the normalized similarity total value The similarity value to the current pixel block.
  • the pixel value determining module respectively uses the similarity value of each pixel block and the current pixel block as a weight, and weights the center pixel value before each pixel block optimization and averages The center pixel value after the current pixel block is optimized.
  • Determining a search window of the current pixel block in each frame image according to the position of the search window in each frame image of the macroblock corresponding to the pixel point corresponding to the current pixel block, and determining each pixel block in the search window respectively The similarity value of the current pixel block, and determining the central pixel value of each pixel block optimized according to the similarity value of each pixel block, thereby improving the clarity of the image after performing super-resolution reconstruction based on non-locality Degree; further eliminates the blockiness of the non-local super-resolution algorithm.
  • FIG. 1 is a schematic flowchart of a non-localized super-resolution reconstruction method according to an embodiment of the present invention
  • FIG. 2 is a schematic structural diagram of a non-locality super-resolution reconstruction device according to an embodiment of the present invention.
  • the embodiment of the present invention determines the position of the search window of the current macroblock in each of the other frame images; the pixel is set as the center of each pixel on each frame, and the set distance is a radius, and the pixel block corresponding to each pixel is determined. Determining a search window of the current pixel block in each frame image according to the position of the search window in the macroblock of the pixel block corresponding to the current pixel block, and determining each pixel block in the search window separately The similarity value of the current pixel block; the center pixel value after optimization of each pixel block is determined according to the similarity value of each pixel block.
  • Determining a search window of the current pixel block in each frame image according to the position of the search window in each frame image of the macroblock corresponding to the pixel point corresponding to the current pixel block, and determining each pixel block in the search window respectively The similarity value of the current pixel block, and determining the central pixel value of each pixel block optimized according to the similarity value of each pixel block, thereby improving the clarity of the image after performing super-resolution reconstruction based on non-locality degree.
  • the non-localized super-resolution reconstruction method of the embodiment of the present invention includes the following steps:
  • Step 101 Perform interpolation processing on each frame image that needs to be reconstructed, and divide each frame image into a plurality of macroblocks of the same size;
  • Step 102 Perform the following operations for each macroblock in each frame of image: determining a location of a search window of the current macroblock in each of the other frame images;
  • Step 103 taking each pixel point on each frame of the image as a center, setting a distance as a radius, and determining a pixel block corresponding to each pixel point;
  • Step 104 Perform an operation for each pixel block in each frame of image: determining, according to a position of a search window in each frame image, a position of a current pixel block in each frame according to a position of a macroblock in which the pixel point corresponding to the current pixel block is located Search window, and determining similarity values of each pixel block in the search window and the current pixel block, respectively;
  • Step 105 Determine, according to the similarity value of each pixel block, a central pixel value optimized for each pixel block.
  • each frame of the low resolution image that needs to be reconstructed is inserted into the required high resolution by using the spatial interpolation method.
  • the low-resolution image that needs to be reconstructed is 640 x 320
  • the required high resolution is 800 x 600.
  • the image of 640 X 320 is inserted into 800 ⁇ 600.
  • Each frame of the image is divided into a plurality of equally sized macroblocks, such as 16 x 16 macroblocks.
  • the number of macroblocks that are specifically divided into can be set according to needs or experience.
  • each macroblock is processed in the same manner.
  • the following is an example of a macroblock.
  • the macroblock being processed is referred to as the current macroblock.
  • the macroblock-based search is used to relocate the search window position of the current macroblock in other images.
  • the motion vector of the current macroblock to each of the other frame images is separately determined; for the one frame image, the determined motion vector of the current macroblock to the frame image is used as the motion of the search window of the current macroblock in the frame image.
  • Vector, and reposition the position of the search window are separately determined; for the one frame image, the determined motion vector of the current macroblock to the frame image.
  • the motion vector of the current macroblock to each of the other frame images may be determined according to Equation 1 or Equation 2. >m) --Formulaone; ⁇ m)...the formula 2; wherein, the current macroblock is on the mth frame image; the input is the motion vector of the current macroblock to the nth frame image; is the macro corresponding to the current macroblock on the i-1th frame image a motion vector of the block to the ith frame image; A 2 is a motion vector of the current macroblock to the Xth frame image; ⁇ " is a macroblock to a jth frame image corresponding to the current macroblock on the j+1th frame image Motion vector.
  • Equation 1 is to determine the motion vector of each frame image after the current macroblock to the frame image in which it is located; if the formula is to determine the motion vector of each frame image before the current macroblock to the frame image in which it is located.
  • step 102 A1 is determined according to the following steps :
  • the initial prediction vector of the macroblock corresponding to the current macroblock on the i-1th frame image is determined, and the adaptive cross mode search is performed according to the determined initial prediction vector to obtain A.
  • step 102 if the image of the i-1th frame is the image of the current macroblock, and the current macroblock is located at the leftmost side of the image, the initial prediction vector of the corresponding macroblock is a zero vector;
  • the motion vector of the macroblock adjacent to the left is used as the initial prediction vector of the corresponding macroblock
  • the motion vector of the macroblock on the image of the previous frame is used as the initial prediction vector of the corresponding macroblock.
  • step 102 A J is determined according to the following steps :
  • step 102 if the image of the j+1th frame is the image of the current macroblock, and the current macroblock is located at the leftmost side of the image, the initial prediction vector of the corresponding macroblock is a zero vector;
  • the motion vector of the macroblock adjacent to the left is used as the initial prediction vector of the corresponding macroblock
  • the motion vector on the latter frame image is used as the initial prediction vector of the corresponding macroblock.
  • (d x, d y) is the initial prediction vector, If the current macroblock (x, Y) is the leftmost column of macroblocks, the (d x, d y) initial value is zero vector, if the current macroblock (x , y) is not the leftmost column of macroblocks, the motion vector of the adjacent macroblock (on the same line as the current macroblock) on the left side of the current macroblock (x, y) is used as the initial value of (dx, dy).
  • Embodiments of the invention t is less than t.
  • the way and t are greater than t.
  • the way is similar, and will not be repeated here.
  • the pixel-centered setting is adopted.
  • the distance is a radius, and a plurality of pixel blocks are formed, wherein each pixel block uniquely corresponds to one pixel point, and the center of each pixel block is a pixel point corresponding to the pixel block.
  • each pixel block and each of the other pixels in each image search window can be determined by a rotation invariance metric. The similarity of the blocks.
  • the size of the search window and the length of the radius can be set according to needs or experience.
  • the radius can be 6 pixels and the search window can be (27x27) pixels.
  • the embodiment of the present invention uses a local structure and local brightness for each pixel block, so that the similarity between each pixel block and each of the other pixel blocks can use local structure and local brightness. Said.
  • each pixel block is processed in the same manner.
  • the following is a description of one pixel block.
  • the pixel block being processed is referred to as a current pixel block.
  • step 104 determining a local structure descriptor and a local luminance descriptor of each pixel block in the current pixel block and the search window, respectively;
  • the similarity values of each pixel block in the search window and the current pixel block are respectively determined according to the determined local structure descriptor, the local luminance descriptor, and the normalized similarity total value.
  • each pixel block in the search window can be determined according to the motion vector of the macroblock macroblock in which the pixel block is located to the motion vector of the search window as the motion vector of the search window.
  • the local structure may be described by using a SIFT (Scale-invariant feature transform) operator;
  • the local brightness can be determined by Equation 3:
  • Y(i,j) is the pixel value at the (i,j) position
  • I t (k,l,r) is the local luminance value, It represents the first t+1 components, which represent the average of the brightness of all pixels with a distance from the central pixel (k, l) to Manhattan; mean is the average
  • s ⁇ is the meaning of "satisfaction"
  • i, j , k, l have the same meaning as in the above formula.
  • the similarity value of each pixel block in the current pixel block and the search window may be represented by a Gaussian function whose structural distance and luminance distance are variables.
  • step 104 the normalized similarity total value is determined according to formula 4:
  • step 104 the similarity is determined according to formula 5:
  • c(A, /) is the normalized similarity total value
  • w( ⁇ , ') is the similarity value of the pixel block corresponding to the pixel point and the pixel block corresponding to the (i, j) pixel point
  • k is The abscissa of the pixel point corresponding to the current pixel block
  • 1 is the ordinate of the pixel point corresponding to the current pixel block
  • i is the abscissa of the pixel point corresponding to another pixel block
  • j is the vertical point of the pixel point corresponding to another pixel block Coordinates
  • r is the radius
  • ⁇ the local structure descriptor of the other pixel block
  • ⁇ , ) is the local structure descriptor of the current pixel block
  • , ', ) is the local luminance descriptor of the other pixel block
  • ⁇ ⁇ is the weight corresponding to the local structure descriptor
  • " 2
  • a preferred processing method is to fix ⁇ 2 , and then make ⁇ adaptive according to the nearest distance between the current pixel block and each pixel block in the search window. Change in place.
  • the weight corresponding to the local structure descriptor is determined according to formula 6: Mm P(i, j, r) - P(k, l, r)
  • step 105 for each pixel block, the similarity value of each pixel block and the current pixel block is used as a weight, and the central pixel value before each pixel block is weighted and averaged to obtain the current pixel.
  • the central pixel value after block optimization.
  • the embodiment of the present invention When relocating the search window, the embodiment of the present invention considers the continuity of motion in time and space, and effectively reduces the risk that the macroblock-based search falls into local optimum.
  • the SIFT operator is used to describe the local structure, and the adaptive parameter selection is used to balance the weight of the local structure and the brightness in the similarity calculation, thereby further improving the accuracy of the similarity calculation.
  • the embodiment of the present invention recovers more details and removes the block effect of the non-local super-resolution algorithm compared to the bicubic interpolation and non-local super-resolution algorithms.
  • the embodiment of the present invention is 28.61 dB; the bicubic interpolation is 28.45 dB; the non-local super resolution algorithm is 27.81 dB, and the above results indicate the reconstruction of the embodiment of the present invention. The result is closer to the original image.
  • a non-localized super-resolution reconstruction device is also provided in the embodiment of the present invention, and the principle of solving the problem is similar to the non-local super-resolution reconstruction method in the embodiment of the present invention. Therefore, the implementation of the device can be referred to the implementation of the method, and the repeated description will not be repeated.
  • the non-localized super-resolution reconstruction device includes: a first processing module 20, a location determining module 21, a second processing module 22, a similarity determining module 23, and a pixel value determining module 24. .
  • a first processing module 20 configured to perform interpolation processing on each frame image that needs to be reconstructed, and each The frame image is divided into a plurality of macroblocks of the same size;
  • the location determining module 21 is configured to: perform, for each macroblock in each frame of image, the following operations: determining a location of a search window of the current macroblock in each of the other frames of the image;
  • the second processing module 22 is configured to determine a pixel block corresponding to each pixel point by using each pixel point on each image as a center and setting a distance as a radius;
  • the similarity determining module 23 is configured to: perform, for each pixel block in each frame of image, the following operation: determining a current pixel block according to a position of a search window in each frame image of the macroblock in which the pixel point corresponding to the current pixel block is located In a search window of each frame image, and respectively determining a similarity value of each pixel block in the search window and the current pixel block;
  • the pixel value determining module 24 is configured to respectively determine an optimized central pixel value of each pixel block according to the similarity value of each pixel block.
  • the position determining module 21 respectively determines a motion vector of the current macroblock to each of the other frame images; and for a frame image, the determined current macroblock to the motion vector of the frame image is used as the current macroblock in the frame image.
  • the position determining module 21 determines the motion vector of the current macroblock to each of the other frame images according to Equation 1 or Equation 2.
  • the location determining module 21 determines an initial prediction vector of the macroblock corresponding to the current macroblock on the i-1th frame image, and performs an adaptive cross mode search according to the determined initial prediction vector to determine that the current macroblock is in the first
  • the initial prediction vector of the macroblock corresponding to the j+1 frame image is obtained by performing an adaptive cross pattern search according to the determined initial prediction vector.
  • the location determining module 21 determines that the initial prediction vector of the macroblock is a zero vector
  • the location determining module 21 determines that the motion vector of the macroblock adjacent to the left is used as the initial prediction vector of the macroblock;
  • the position determining module 21 will image the previous frame.
  • the motion vector of the macroblock on the macroblock is used as the initial prediction vector of the macroblock;
  • the position determining module 21 determines that the initial prediction vector of the macroblock is a zero vector
  • the position determining module 21 determines that the motion vector of the left adjacent macroblock is used as the initial prediction vector of the macroblock;
  • the position determining module 21 uses the motion vector of the macroblock on the latter frame image as the initial prediction vector of the macroblock.
  • the similarity determining module 23 respectively determines a local structure descriptor and a local luminance descriptor of each pixel block and the current pixel block in the search window; and determines a normalization according to the determined local structure descriptor and the local luminance descriptor.
  • the similarity determination module 23 determines the normalized similarity total value according to Equation 4.
  • the similarity determination module 23 determines the similarity according to Equation 5.
  • the similarity determination module 23 determines the weight corresponding to the local structure descriptor according to Equation 6.
  • the pixel value determining module 24 respectively uses the similarity value of each pixel block and the current pixel block as a weight, weights the center pixel value before each pixel block optimization, and averages the current pixel value to obtain a current The central pixel value after the pixel block is optimized.
  • embodiments of the present invention can be provided as a method, system, or computer program product. Accordingly, the present invention may take the form of an entirely hardware embodiment, an entirely software embodiment, or a combination of software and hardware. Moreover, the present invention is applicable to one or more computer usable storage media (including but not limited to disk storage, including computer usable program code,
  • the computer program instructions can also be stored in a computer readable memory that can direct a computer or other programmable data processing device to operate in a particular manner, such that the instructions stored in the computer readable memory produce an article of manufacture comprising the instruction device.
  • the apparatus implements the functions specified in one or more blocks of a flow or a flow and/or block diagram of the flowchart.
  • These computer program instructions can also be loaded onto a computer or other programmable data processing device such that a series of operational steps are performed on a computer or other programmable device to produce computer-implemented processing for execution on a computer or other programmable device.
  • the instructions provide steps for implementing the functions specified in one or more of the flow or in a block or blocks of a flow diagram.
  • the disclosed and other embodiments, and the functional operations described in this specification can be implemented in the form of digital circuits or computer software, firmware or hardware including the structures disclosed in the specification and their structural equivalents, or one of them. Or a combination of multiples to implement.
  • the disclosed and other embodiments can be implemented as one or more computer program products, i.e., one or more modules of computer program instructions encoded on a computer readable medium for execution or control of operation by a data processing device.
  • the computer readable medium can be a machine readable storage device, a machine readable storage substrate, a memory device, a synthetic material that affects a machine readable propagated signal, or a combination of one or more thereof.
  • data processing apparatus encompasses all apparatus, devices, and machines for processing data, including, for example, a programmable processor, a computer, a plurality of processors, or a computer.
  • the apparatus can include code to create an execution environment of the computer program in question, such as code that constitutes processor firmware, a protocol branch, a database management system, and an operating system, or one or more combinations thereof.
  • a propagated signal is an artificially generated signal, such as a machine-generated electrical, optical, or electromagnetic signal that is generated to encode information for transmission to an appropriate receiver device.
  • a computer program (also referred to as a program, software, software application, script, or code) can be written in any form of programming language, including compiled or interpreted language, and can be deployed in any form, including as a stand-alone program. Or as a module, component, subroutine or other unit suitable for use in a computing environment.
  • the computer program does not need to correspond to a file in the file system.
  • the program may be stored in a portion of a file that holds other programs or data (eg, one or more scripts stored in a markup language document), in a single file dedicated to the program in question, or multiple collaborative files (eg, A file in which one or more modules, subroutines, or code portions are stored.
  • the computer program can be deployed to be executed on one computer or on multiple computers located at one location or distributed across multiple locations and interconnected by a communication network.
  • the processes and logic flows described in this specification can be performed by one or more programmable processors executing one or more computer programs to perform functions by operating on input data and generating output.
  • the processing and logic flow can also be performed by logic circuits of special functions such as an FPGA (Field Programmable Gate Array) and an ASIC (Application Specific Integrated Circuit), and the apparatus can also be implemented as the logic circuit of the special function.
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • a processor suitable for the execution of a computer program comprises a general purpose and special purpose microprocessor, and any one or more processors of any type of digital computer.
  • a processor will receive instructions and data from a read only memory or a random access memory or both.
  • the basic elements of a computer are a processor for executing instructions and one or more memory devices for storing instructions and data.
  • the computer will also include one or more mass storage devices for storing data, such as magnetic, magnetic-optical or optical disks, or operatively coupled to the one or more mass storage devices for receiving therefrom Data or send data to it or both.
  • the computer does not need to have such a device.
  • a computer readable medium suitable for storing computer program instructions and data includes non-volatile memory, media, and memory devices in the form of, for example, including: semiconductor memory devices, such as EPROM, EEPROM, and flash memory devices: magnetic disks, such as internal hard disks or Mobile disk: magnetic. CD; and CD-ROM and DVD-ROM.
  • the processor and memory may be supplemented or incorporated by special purpose logic circuitry.
  • the disclosed embodiments can be implemented on a computer having a display device such as a CRT (Cathode Ray Tube) or LCD (Liquid Crystal Display) monitor for displaying information to a user, and a keyboard and A pointing device such as a mouse or trackball that a user can use to provide input to a computer.
  • feedback provided to the user may be any form of inductive feedback, such as visual feedback, audible feedback, or haptic feedback, and input from the user may be in any form Receive, including sound, voice or touch input.
  • inductive feedback such as visual feedback, audible feedback, or haptic feedback
  • input from the user may be in any form Receive, including sound, voice or touch input.
  • the disclosed embodiments may include, for example, a backend component as a data server, or include an intermediate component such as an application server, or include a front end component such as a client computer, or one or more such backend, middle or front end components
  • the client computer has a graphical user interface or web browser through which the user can interact with the embodiments disclosed herein.
  • the components of the system can be interconnected by any form or digital data communication medium such as a communication network. Examples of communication networks include a local area network (LAN) and a wide area network (WAN), such as the Internet.
  • LAN local area network
  • WAN wide area network
  • the system for implementing the disclosed embodiments may include a client computer (client) and a server computer (server).
  • client client
  • server server
  • the client and server are typically remote from each other and typically interact through a communication network.
  • the relationship between the client and the server can occur through a computer program running on the respective computers and having a client, server relationship with each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及数字图像增强技术领域，特别涉及一种基于非局部性的超分辨率重建方法和设备，用以解决现有技术中存在的进行基于非局部性的超分辨率重建后的图像的清晰度比较低的问题。本发明实施例的方法包括：确定当前宏块在其他每一帧图像中的搜索窗口的位置；根据当前像素块对应的像素点所在的宏块在每一帧图像中的搜索窗口的位置，确定当前像素块在每一帧图像的搜索窗口，以及分别确定搜索窗口中的每个像素块与当前像素块的相似度值；根据每个像素块的相似度值，分别确定每个像素块优化后的中心像素值。釆用本发明实施例能够提高进行基于非局部性的超分辨率重建后的图像的清晰度。

Description

说 明 书 一种基于非局部性的超分辨率重建方法和设备 技术领域
本发明涉及数字图像增强技术领域，特别涉及一种基于非局部性的超分辨 率重建方法和设备。 背景技术
基于多帧的超分辨率重建的目标是把一系列的低分辨率图像融合成一幅 高分辨率图像。由于存在亚像素的偏移，低分辨图像间包含了一些互补的信息， 如果知道了它们之间的偏移， 可以把这些低分辨率图像融合起来并去除锯齿， 从而生成更高分辨率的图像。
在传统的多帧融合算法中，必须要知道各个低分辨率图像间的偏移。因此， 精确的运动估计在传统的多帧融合中起着决定性的作用，如果运动估计错误会 导致严重的失真。 为规避运动估计， 出现了一种不需要运动估计的超分辨率方 法。 该算法通过度量块之间的相似度， 加权计算出中心像素的值。 但该算法仅 考虑了平动， 而在自然视频中往往包含着复杂的运动， 甚至在一帧内， 某些纹 理也会存在旋转， 从而减少了非局部算法能够找到的相似块数量。 在非局部超 分辨率重建或是非局部去噪算法的基础上， 有两类改进被提出： 自适应参数选 择和基于不变性的相似度度量。
自适应的参数选择通过讨论块的大小以及搜索窗口的大小与非局部方法 性能间的关系， 自适应地选择这些参数。 但是该算法的移动窗口策略 于像 素的并且艮容易陷入局部最优解， 从而降低了重建后图像的清晰度。
综上所述， 目前进行基于非局部性的超分辨率重建后的图像的清晰度比较 低。 发明内容
本发明实施例提供的一种基于非局部性的超分辨率重建方法和设备， 用以 解决现有技术中存在的进行基于非局部性的超分辨率重建后的图像的清晰度 比较低的问题。
本发明实施例提供的一种基于非局部性的超分辨率重建方法， 包括： 将需要进行重建的每一帧图像进行插值处理，将每帧图像划分成多个大小 相同的宏块；
针对每帧图像中的每个宏块做如下操作： 确定当前宏块在其他每一帧图像 中的搜索窗口的位置；
以每帧图像上的每个像素点为圓心， 设定的距离为半径， 确定每个像素点 对应的像素块；
针对每帧图像中的每个像素块做如下操作： 根据当前像素块对应的像素点 所在的宏块在每一帧图像中的搜索窗口的位置， 确定当前像素块在每一帧图 像的搜索窗口， 以及分别确定搜索窗口中的每个像素块与当前像素块的相似 度值；
根据每个像素块的相似度值， 分别确定每个像素块优化后的中心像素值。 较佳地， 确定当前宏块在其他每一帧图像中的搜索窗口的位置包括： 分别确定当前宏块到其他每一帧图像的运动向量；
针对一帧图像，将确定的当前宏块到该帧图像的运动向量作为当前宏块在 该帧图像中的搜索窗口的运动向量， 并重定位搜索窗口的位置。
较佳地， 确定搜索窗口中的每个像素块与当前像素块的相似度值包括： 分别确定搜索窗口中每个像素块和当前像素块的局部结构描述子以及局 部亮度描述子；
根据确定的局部结构描述子以及局部亮度描述子，确定归一化的相似度总 值；
根据确定的局部结构描述子、 局部亮度描述子以及归一化的相似度总值， 分别确定搜索窗口中的每个像素块与当前像素块的相似度值。
较佳地， 确定当前像素块优化后的中心像素值包括：
针对一个像素块， 分别将每个像素块与当前像素块的相似度值作为权值， 将每个像素块优化前的中心像素值加权后取平均，得到当前像素块优化后的中 心像素值。
本发明实施例提供的一种基于非局部性的超分辨率重建设备， 包括： 第一处理模块， 用于将需要进行重建的每一帧图像进行插值处理， 将每帧 图像划分成多个大小相同的宏块；
位置确定模块， 用于针对每帧图像中的每个宏块做如下操作： 确定当前宏 块在其他每一帧图像中的搜索窗口的位置；
第二处理模块， 用于以每帧图像上的每个像素点为圓心， 设定的距离为半 径， 确定每个像素点对应的像素块；
相似度确定模块， 用于针对每帧图像中的每个像素块做如下操作： 根据当 前像素块对应的像素点所在的宏块在每一帧图像中的搜索窗口的位置， 确定 当前像素块在每一帧图像的搜索窗口， 以及分别确定搜索窗口中的每个像素 块与当前像素块的相似度值；
像素值确定模块， 用于根据每个像素块的相似度值， 分别确定每个像素块 优化后的中心像素值。
较佳地，所述位置确定模块分别确定当前宏块到其他每一帧图像的运动向 量；
针对一帧图像，将确定的当前宏块到该帧图像的运动向量作为当前宏块在 该帧图像中的搜索窗口的运动向量， 并重定位搜索窗口的位置。
较佳地， 所述相似度确定模块分别确定搜索窗口中每个像素块和当前像 素块的局部结构描述子以及局部亮度描述子； 根据确定的局部结构描述子以及 局部亮度描述子， 确定归一化的相似度总值； 根据确定的局部结构描述子、 局 部亮度描述子以及归一化的相似度总值， 分别确定搜索窗口中的每个像素块 与当前像素块的相似度值。
较佳地， 针对一个像素块， 所述像素值确定模块分别将每个像素块与当 前像素块的相似度值作为权值，将每个像素块优化前的中心像素值加权后取平 均， 得到当前像素块优化后的中心像素值。
由于根据当前像素块对应的像素点所在的宏块在每一帧图像中的搜索窗 口的位置， 确定当前像素块在每一帧图像的搜索窗口， 以及分别确定搜索窗 口中的每个像素块与当前像素块的相似度值， 并根据每个像素块的相似度值， 分别确定每个像素块优化后的中心像素值， 从而提高了进行基于非局部性的 超分辨率重建后的图像的清晰度； 进一步消除了非局部超分辨率算法的块效 应。 附图说明
图 1为本发明实施例基于非局部性的超分辨率重建方法的流程示意图； 图 2为本发明实施例基于非局部性的超分辨率重建设备的结构示意图。 具体实施方式
本发明实施例确定当前宏块在其他每一帧图像中的搜索窗口的位置； 以 每帧图像上的每个像素点为圓心， 设定的距离为半径， 确定每个像素点对应的 像素块；根据当前像素块对应的像素点所在的宏块在每一帧图像中的搜索窗口 的位置， 确定当前像素块在每一帧图像的搜索窗口， 以及分别确定搜索窗口 中的每个像素块与当前像素块的相似度值； 根据每个像素块的相似度值， 分别 确定每个像素块优化后的中心像素值。 由于根据当前像素块对应的像素点所 在的宏块在每一帧图像中的搜索窗口的位置， 确定当前像素块在每一帧图像 的搜索窗口， 以及分别确定搜索窗口中的每个像素块与当前像素块的相似度 值， 并根据每个像素块的相似度值， 分别确定每个像素块优化后的中心像素 值， 从而提高了进行基于非局部性的超分辨率重建后的图像的清晰度。 下面结合说明书附图对本发明实施例作进一步详细描述。
如图 1所示， 本发明实施例基于非局部性的超分辨率重建方法包括下列步 骤：
步骤 101、 将需要进行重建的每一帧图像进行插值处理， 将每帧图像划分 成多个大小相同的宏块；
步骤 102、 针对每帧图像中的每个宏块做如下操作： 确定当前宏块在其他 每一帧图像中的搜索窗口的位置；
步骤 103、 以每帧图像上的每个像素点为圓心， 设定的距离为半径， 确定 每个像素点对应的像素块；
步骤 104、 针对每帧图像中的每个像素块做如下操作： 根据当前像素块对 应的像素点所在的宏块在每一帧图像中的搜索窗口的位置， 确定当前像素块 在每一帧图像的搜索窗口， 以及分别确定搜索窗口中的每个像素块与当前像 素块的相似度值；
步骤 105、 根据每个像素块的相似度值， 分别确定每个像素块优化后的中 心像素值。
较佳地， 步骤 101中， 首先釆用空域插值方法， 把所有需要进行重建的 每一帧低分辨率图像上插到需要的高分辨率。 比如需要进行重建的低分辨 率图像是 640 x 320 , 需要的高分辨率是 800 x 600 , 则釆用空域插值方法， 将 640 X 320的图像上插成 800 χ 600。
将每帧图像划分成多个大小相等的宏块， 比如划分成 16 x 16个宏块。 具 体划分成多少个宏块可以根据需要或经验进行设定。
然后需要确定每一个宏块在其他每一帧图像中的搜索窗口的位置。
在实施中， 每个宏块的处理方式都相同， 下面针对一个宏块进行举例 说明， 为了与其他宏块进行区分， 将正在进行处理的宏块称为当前宏块。
较佳地， 步骤 102中， 釆用基于宏块的搜索， 重定位当前宏块在其它图 像中的搜索窗口位置。 具体的， 分别确定当前宏块到其他每一帧图像的运动向量； 针对一帧图像，将确定的当前宏块到该帧图像的运动向量作为当前宏块在 该帧图像中的搜索窗口的运动向量， 并重定位搜索窗口的位置。
在实施中， 可以根据公式一或公式二， 确定当前宏块到其他每一帧图像的 运动向量。
Figure imgf000008_0001
> m)…―公式一；
Figure imgf000008_0002
< m)…―公式二； 其中， 当前宏块在第 m帧图像上； 入是当前宏块到第 n帧图像的运动向 量； 是当前宏块在第 i-1帧图像上所对应的宏块到第 i帧图像的运动向量； A2是当前宏块到第 X帧图像的运动向量； Α」是当前宏块在第 j+1帧图像上所对 应的宏块到第 j帧图像的运动向量。
公式一是确定当前宏块到所在的帧图像之后的每个帧图像的运动向量； 公 式若是确定当前宏块到所在的帧图像之前的每个帧图像的运动向量。
较佳地， 步骤 102中， 根据下列步骤确定 A1:
确定当前宏块在第 i-1帧图像上所对应的宏块的初始预测向量， 根据确定 的初始预测向量， 进行自适应十字模式搜索得到 A。
较佳地， 步骤 102中， 若第 i-1帧图像是当前宏块所在的图像， 且当前宏 块位于图像最左侧， 则对应的宏块的初始预测向量是零向量；
若第 i-1帧图像是当前宏块所在的图像， 且当前宏块不位于图像最左侧， 则将左边邻近的宏块的运动向量作为对应的宏块的初始预测向量；
若第 i-1帧图像不是当前宏块所在的图像， 将前一帧图像上的宏块的运动 向量作为对应的宏块的初始预测向量。
较佳地， 步骤 102中， 根据下列步骤确定 AJ :
确定当前宏块在第 j+1帧图像上所对应的宏块的初始预测向量， 根据确定 的初始预测向量， 进行自适应十字模式搜索得到 k
较佳地， 步骤 102中， 若第 j+1帧图像是当前宏块所在的图像， 且当前宏 块位于图像最左侧， 则对应的宏块的初始预测向量是零向量；
若第 j+1帧图像是当前宏块所在的图像， 且当前宏块不位于图像最左侧， 则将左边邻近的宏块的运动向量作为对应的宏块的初始预测向量；
若第 j+1帧图像不是当前宏块所在的图像， 将后一帧图像上的运动向量作 为对应的宏块的初始预测向量。
下面以计算 t0帧的当前宏块 (x,y)到第 t帧 （假设 t大于 t0 ) 的运动向量为 例详细描述本发明的运动向量的计算方法。
设 (dx,dy)是初始预测向量，如果当前宏块 (x,y)是最左边一列的宏块，则 (dx,dy) 初值为零向量， 如果当前宏块 (x,y)不是最左边一列的宏块， 则把当前宏块 (x,y) 左边邻近的宏块（与当前宏块处于同一行） 的运动向量作为（dx,dy)的初值。
以 (dx,dy)为初始预测向量， 对第 t0帧的当前宏块 (x,y) 进行自适应十字模 式搜索， 得到当前宏块 (x,y)到第 tO+1 帧的运动向量； 然后查找当前宏块 (x,y) 在第 tO+1帧所对应的宏块 A (即第 tO+1帧图像上且当前宏块的位置加上当前 宏块到第 tO+1帧图像的运动向量后的位置上的宏块）， 并把当前宏块的运动向 量赋给 (dx,dy)做为宏块 A的初始预测向量， 继续进行自适应十字模式搜索， 得 到宏块 A到第 tO+2帧的运动向量；然后查找宏块 A在第 tO+1帧所对应的宏块 B (即第 tO+2帧图像上且宏块 A的位置加上宏块 A到第 tO+2帧图像的运动向 量后的位置上的宏块）， 并把宏块 A的运动向量赋给 (dx,dy)做为宏块 B的初始 预测向量， 继续进行自适应十字模式搜索， 得到宏块 B到第 t0+3帧的运动向 量，依次类推直到计算出当前宏块 (x,y)在第 t-1帧所对应的宏块，到第 t帧的运 动向量为止； 最后把所有的运动向量相加， 最终得到从第 tQ帧的当前宏块 (x,y) 到第 t帧的运动向量。 上述的内容是对公式一的解释。
本发明实施例 t小于 t。的方式与 t大于 t。的方式类似， 在此不再赘述。
较佳地， 步骤 103中， 对于待重建帧的每一个像素， 取以像素为中心设定 的距离为半径， 形成多个像素块， 其中每个像素块唯一对应一个像素点， 每个 像素块的圓心就是该像素块对应的像素点。
在确定了每个像素点对应的像素块后， 针对每帧图像中的每个像素块， 都 可以通过旋转不变性度量，确定每一幅图像搜索窗口中的每个像素块与其他 每个像素块的相似度。
搜索窗口的大小以及半径的长度可以根据需要或经验进行设定。 比如半径 可以是 6像素， 搜索窗口可以是（27x27 )像素。
较佳地， 本发明实施例对于每一个像素块， 釆用局部的结构和局部的亮度 来描述， 这样每个像素块与其他每个像素块的相似度可以釆用局部的结构和 局部的亮度表示。
在实施中， 每个像素块的处理方式都相同， 下面针对一个像素块进行举 例说明， 为了与其他像素块进行区分， 将正在进行处理的像素块称为当前像 素块。
具体的， 步骤 104 中， 分别确定当前像素块和搜索窗口中每个像素块的 局部结构描述子以及局部亮度描述子；
根据确定的局部结构描述子以及局部亮度描述子，确定归一化的相似度总 值；
根据确定的局部结构描述子、 局部亮度描述子以及归一化的相似度总值， 分别确定搜索窗口中的每个像素块与当前像素块的相似度值。
其中，根据像素块所处的宏块宏块到各帧的运动向量作为搜索窗口的运动 向量重定位搜索窗口位置， 就可以确定搜索窗口中的每个像素块。
本发明实施例中， 局部结构可以釆用 SIFT ( Scale-invariant feature transform, 尺度不变特征变换） 算子进行描述；
局部亮度可以釆用公式三确定：
It{k , r) = mean Y(i ) 公式三
{i ,j )s.t\i-k\+\j-l\=t ^ 其中， Y(i,j)是在 (i,j)位置的像素值； It(k,l,r)是局部亮度值， 其表示的是第 t+1个分量，该分量表示的是与中心像素 (k,l)的曼哈顿距离为 t的所有像素亮度 的平均值； mean是取平均值； s丄是 "满足" 的意思； i,j,k,l与上面的公式中的 含义相同。
较佳地， 步骤 104 中， 当前像素块与搜索窗口中的每个像素块的相似度 值可以通过结构距离和亮度距离为变量的高斯函数来表示。
相应的， 步骤 104中， 根据公式四确定归一化的相似度总值：
....公式四:
Figure imgf000011_0001
相应的， 步骤 104中， 根据公式五确定相似度:
....公式五;
Figure imgf000011_0002
其中， c(A，/)是归一化的相似度总值； w(^， ')是 像素点对应的像素块 和 (i,j)像素点对应的像素块的相似度值； k是当前像素块对应的像素点的横坐 标； 1是当前像素块对应的像素点的纵坐标； i是一个其他像素块对应的像素 点的横坐标； j是一个其他像素块对应的像素点的纵坐标； r是半径； Ρ ， 其他像素块的局部结构描述子； ^， )是当前像素块的局部结构描述子； ， '， )是其他像素块的局部亮度描述子； ( 是当前像素块的局部亮度描述 子； σι是局部结构描述子对应的权值； " 2是局部亮度描述子对应的权值； N k, 是 (k,l)的邻域， 其中 (k,l)在每一帧中的搜索窗口的统称就是该邻域。
为了自适应地平衡局部结构与亮度在相似度计算中的权重， 一种较佳的处 理方式是固定 σ2， 然后使得 σι根据当前像素块与搜索窗口中的每个像素块的 最近距离自适应地变化。
具体的， 局部结构描述子对应的权值是根据公式六确定的： mm P(i, j, r) - P(k, l, r)
σχ = 0 + step χ
L .公式:
其中， σ。是初始值， 可以根据经验进行设定； L是分段函数的长度。
较佳地， 步骤 105中， 针对一个像素块， 分别将每个像素块与当前像素块 的相似度值作为权值， 将每个像素块优化前的中心像素值加权后取平均， 得到 当前像素块优化后的中心像素值。
在确定了每个像素块优化后的中心像素值后， 就实现了基于基于非局部 性的超分辨率重建方案。
本发明实施例在重定位搜索窗口时， 考虑了运动在时间和空间上的连续 性， 有效地减少了基于宏块的搜索陷入局部最优的风险。 在度量块相似度时， 釆用 SIFT算子来描述局部结构，并使用自适应的参数选择来平衡局部结构与亮 度在相似度计算中的权重， 从而进一步提升了相似度计算的准确性。
经过试验对比， 本发明实施例相比与双三次插值、 非局部超分辨率算法， 可以看到本发明恢复了更多的细节， 并去除了非局部超分辨率算法的块效 应。 针对同一幅图像扩展到相同分别率后进行的 PSNR对比中， 本发明实施 例是 28.61dB; 双三次插值是 28.45dB; 非局部超分辨率算法是 27.81dB, 上 述结果表明本发明实施例的重建结果更接近于原图。
基于同一发明构思， 本发明实施例中还提供了一种基于非局部性的超分辨 率重建设备， 由于该设备解决问题的原理与本发明实施例基于非局部性的超分 辨率重建的方法相似， 因此该设备的实施可以参见方法的实施， 重复之处不再 赘述。
如图 2所示， 本发明实施例基于非局部性的超分辨率重建设备包括： 第一 处理模块 20、位置确定模块 21、 第二处理模块 22、相似度确定模块 23和像素 值确定模块 24。
第一处理模块 20,用于将需要进行重建的每一帧图像进行插值处理，将每 帧图像划分成多个大小相同的宏块；
位置确定模块 21 ,用于针对每帧图像中的每个宏块做如下操作： 确定当前 宏块在其他每一帧图像中的搜索窗口的位置；
第二处理模块 22,用于以每帧图像上的每个像素点为圓心，设定的距离为 半径， 确定每个像素点对应的像素块；
相似度确定模块 23 ,用于针对每帧图像中的每个像素块做如下操作： 根据 当前像素块对应的像素点所在的宏块在每一帧图像中的搜索窗口的位置， 确 定当前像素块在每一帧图像的搜索窗口， 以及分别确定搜索窗口中的每个像 素块与当前像素块的相似度值；
像素值确定模块 24,用于根据每个像素块的相似度值，分别确定每个像素 块优化后的中心像素值。
较佳地， 位置确定模块 21分别确定当前宏块到其他每一帧图像的运动向 量； 针对一帧图像， 将确定的当前宏块到该帧图像的运动向量作为当前宏块在 该帧图像中的搜索窗口的运动向量， 并重定位搜索窗口的位置。
较佳地， 位置确定模块 21根据公式一或公式二确定当前宏块到其他每一 帧图像的运动向量。
较佳地，位置确定模块 21确定当前宏块在第 i-1帧图像上所对应的宏块的 初始预测向量， 根据确定的初始预测向量， 进行自适应十字模式搜索得到 确定当前宏块在第 j+1帧图像上所对应的宏块的初始预测向量， 根据确定的初 始预测向量， 进行自适应十字模式搜索得到 。
较佳地， 若第 i-1帧图像是当前宏块所在的图像， 且当前宏块位于图像最 左侧， 则位置确定模块 21确定宏块的初始预测向量是零向量；
若第 i-1帧图像是当前宏块所在的图像， 且当前宏块不位于图像最左侧， 则位置确定模块 21确定将左边邻近的宏块的运动向量作为宏块的初始预测向 量；
若第 i-1帧图像不是当前宏块所在的图像，位置确定模块 21将前一帧图像 上的宏块的运动向量作为宏块的初始预测向量；
若第 j+1帧图像是当前宏块所在的图像， 且当前宏块位于图像最左侧， 则 位置确定模块 21确定宏块的初始预测向量是零向量；
若第 j+1帧图像是当前宏块所在的图像， 且当前宏块不位于图像最左侧， 则位置确定模块 21确定将左边邻近的宏块的运动向量作为宏块的初始预测向 量；
若第 j+1帧图像不是当前宏块所在的图像， 位置确定模块 21将后一帧图 像上的宏块的运动向量作为宏块的初始预测向量。
较佳地，相似度确定模块 23分别确定搜索窗口中每个像素块和当前像素 块的局部结构描述子以及局部亮度描述子； 根据确定的局部结构描述子以及局 部亮度描述子， 确定归一化的相似度总值； 根据确定的局部结构描述子、局部 亮度描述子以及归一化的相似度总值， 分别确定搜索窗口中的每个像素块与 当前像素块的相似度值。
较佳地， 相似度确定模块 23根据公式四确定归一化的相似度总值。
较佳地， 相似度确定模块 23根据公式五确定相似度。
较佳地，相似度确定模块 23根据公式六确定局部结构描述子对应的权值。 较佳地， 针对一个像素块， 像素值确定模块 24分别将每个像素块与当前 像素块的相似度值作为权值， 将每个像素块优化前的中心像素值加权后取平 均， 得到当前像素块优化后的中心像素值。
本领域内的技术人员应明白， 本发明的实施例可提供为方法、 系统、 或计 算机程序产品。 因此， 本发明可釆用完全硬件实施例、 完全软件实施例、 或结 合软件和硬件方面的实施例的形式。 而且， 本发明可釆用在一个或多个其中包 含有计算机可用程序代码的计算机可用存储介质 (包括但不限于磁盘存储器、
CD-ROM, 光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、 设备（系统）、 和计算机程序产 品的流程图和 /或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和 /或方框、 以及流程图和 /或方框图中的流程和 / 或方框的结合。 可提供这些计算机程序指令到通用计算机、 专用计算机、 嵌入 式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算 机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一 个流程或多个流程和 /或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设 备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中 的指令产生包括指令装置的制造品， 该指令装置实现在流程图一个流程或多个 流程和 /或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使 得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处 理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个 流程或多个流程和 /或方框图一个方框或多个方框中指定的功能的步骤。
所公开的和其它实施例以及该说明书中所描述的功能性操作能够以数字 电路或者包括该说明书中所公开的结构及其结构等同物的计算机软件、 固件或 硬件来实施， 或者以它们的一个或多个的组合来实施。 所公开的和其它实施例 可作为一个或多个计算机程序产品来实施， 即在计算机可读介质上编码的计算 机程序指令的一个或多个模块， 以便由数据处理装置来执行或者控制其操作。 所述计算机可读介质可以是机器可读的存储设备、 机器可读的存储基片、 存储 器设备、 影响机器可读的传播信号的合成物质或它们的一个或多个的组合。 术 语"数据处理装置 "包含用于处理数据的所有装置、 设备和机器， 例如包括可编 程处理器、 计算机、 多个处理器或计算机。 除了硬件之外， 所述装置可包括创 建所讨论的计算机程序的执行环境的代码， 例如构成处理器固件、 协议枝、 数 据库管理系统和操作系统或它们的一个或多个组合的代码。传播信号是人工生 成的信号， 例如机器生成的电、 光或电磁信号， 其被生成来对信息进行编码以 便传送到适当的接收器装置。 计算机程序 (还被称为为程序、 软件、 软件应用、 脚本或代码)可以以任意 形式的编程语言来书写， 包括编译的或解释性语言， 并且其可以以任意形式被 部署， 包括作为独立程序或作为模块、 组件、 子程序或适于在计算环境中使用 的其它单元。 计算机程序无需对应于文件系统中的文件。 程序可存储在保存其 它程序或数据 (例如， 存储在标记语言文档中的一个或多个脚本〉 的文件的一 部分中、 专用于所讨论的程序的单个文件中、 或者多个协同文件 (例如， 存储 一个或多个模块、 子程序或代码部分的文件）中。 计算机程序可被部署为在一 个计算机或位于一个地点或分布在多个地点并且通过通信网络互连的多个计 算机上执行。
该说明书中所描述的处理和逻辑流程可由执行一个或多个计算机程序以 通过对输入数据进行操作并产生输出来执行功能的一个或多个可编程处理器 来执行。所述处理和逻辑流程还可以由例如 FPGA (现场可编程门阵列）和 ASIC (专用集成电路)的特殊功能的逻辑电路来执行， 并且装置也可以作为所述特殊 功能的逻辑电路来实现。
作为示例，适合于执行计算机程序的处理器包括通用和特殊用途的微处理 器， 以及任意类型的数字计算机的任意的一个或多个处理器。 通常， 处理器将 从只读存储器或随机存取存储器或这二者接收指令和数据。计算机的基本元件 为用于执行指令的处理器以及用于存储指令和数据的一个或多个存储器设备。 通常， 计算机还将包括一个或多个用于存储数据的大容量存储设备， 例如磁、 磁-光盘或光盘， 或者可操作地搞合到所述一个或多个大容量存储设备以便从 其接收数据或向其发送数据或这二者。 然而， 计算机无需具有这样的设备。 适 合于存储计算机程序指令和数据的计算机可读介质包括所用形式的非易失性 存储器、 媒体和存储器设备， 例如包括:半导体存储器设备， 例如 EPROM、 EEPROM和闪存设备:磁盘，例如内部硬盘或可移动盘:磁.光盘； 以及 CD-ROM 和 DVD-ROM盘。所述处理器和存储器可由特殊用途的逻辑电路作为补充或结 合于其中。 为了提供与用户的交互， 所公开的实施例可在计算机上实施， 所述计算机 具有用于向用户显示信息的例如 CRT (阴极射线管)或 LCD (液晶显示器)监视器 的显示设备以及键盘和例如鼠标或轨迹球的指示设备， 用户利用其能够对计算 机提供输入。也可使用其它类型的设备来提供与用户的交互;例如，提供给用户 的反馈可以为任何形式的感应反馈， 例如视觉反馈、 昕觉反馈或触觉反馈， 并 且来自用户的输入可以以任意形式被接收， 包括声音、 语音或触碰输入。
所公开的实施例可以在包括例如作为数据服务器的后端组件， 或者包括例 如应用服务器的中间组件， 或者包括例如客户端计算机的前端组件， 或者一个 或多个这样的后端、 中间或前端组件的任意集合的计算系统中实施， 所述客户 端计算机具有图形用户界面或 Web浏览器，用户通过其能够与这里所公开的实 施方式进行交互。 所述系统的组件可通过任意形式或例如通信网络的数字数据 通信介质进行互连。通信网络的示例包括局域网（LAN)和广域网（WAN) , 例如 互联网。
用于实施所公开实施例的系统可包括客户端计算机 (客户端)和服务器计算 机 (服务器)。客户端和服务器通常彼此远离并且典型地通过通信网络进行交互。 客户端和服务器的关系可通过在各自计算机上运行并且彼此具有客户端，服务 器关系的计算机程序而发生。
虽然该说明书包括许多特定内容，但是这些并不构成任意发明或所要求的 范围的限制， 而是作为特定实施例的特定特征的描述。 在本说明书中在单独实 施例环境下所描述的某些特征还可以在单个实施例中组合实施。 相反， 在单个 实施例环境下描述的各种特征也可以分散地或者以任意适当的子组合在多个 实施例中实施。 此外， 以上可将特征描述为以某些组合发生作用， 甚至最初要 求为这样，但是来自所要求的组合的→个或多个特征在一些情况下可从所述组 合中去除， 并且所要求的组合可被指向子组合或子组合的变化形式。
类似地， 虽然操作在附图中以特定顺序所描绘， 但是这不应当被理解为要 求以所示的特定顺序或连续顺序执行这些操作， 或者执行所有所图示的操作来 实现所需的结果。 在某些情形中， 多任务和并行处理是有利的。 此外， 以上所 描述的实施例中的各种系统组件的分隔不应当被理解为要求在所有实施例中 进行这样的分隔， 并且应当理解的是， 所描述的程序组件和系统通常能够在单 个软件产品中集成在一起或者被封装到多个软件产品中。
由此，己经描述了特定实施例。其它实施例处于所附权利要求的范围之内。 尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基 本创造性概念， 则可对这些实施例作出另外的变更和修改。 所以， 所附权利要 求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。 明的精神和范围。 这样， 倘若本发明的这些修改和变型属于本发明权利要求及 其等同技术的范围之内， 则本发明也意图包含这些改动和变型在内。

Claims

权 利 要 求 书
1、 一种基于非局部性的超分辨率重建方法， 其特征在于， 该方法包括： 将需要进行重建的每一帧图像进行插值处理，将每帧图像划分成多个大小 相同的宏块；
针对每帧图像中的每个宏块做如下操作： 确定当前宏块在其他每一帧图像 中的搜索窗口的位置；
以每帧图像上的每个像素点为圓心， 设定的距离为半径， 确定每个像素点 对应的像素块；
针对每帧图像中的每个像素块做如下操作： 根据当前像素块对应的像素点 所在的宏块在每一帧图像中的搜索窗口的位置， 确定当前像素块在每一帧图 像的搜索窗口， 以及分别确定搜索窗口中的每个像素块与当前像素块的相似 度值；
根据每个像素块的相似度值， 分别确定每个像素块优化后的中心像素值。
2、 如权利要求 1 所述的方法， 其特征在于， 确定当前宏块在其他每一帧 图像中的搜索窗口的位置包括：
分别确定当前宏块到其他每一帧图像的运动向量；
针对一帧图像，将确定的当前宏块到该帧图像的运动向量作为当前宏块在 该帧图像中的搜索窗口的运动向量， 并重定位搜索窗口的位置。
3、 如权利要求 2所述的方法， 其特征在于， 根据下列公式确定当前宏块 到其他每一帧图像的运动向量：
Figure imgf000019_0001
m—l
A2=^A7 < m) . 其中， 当前宏块在第 m帧图像上； 入是当前宏块到第 n帧图像的运动向 量； 是当前宏块在第 i-1帧图像上所对应的宏块到第 i帧图像的运动向量； A2是当前宏块到第 X帧图像的运动向量； Α」是当前宏块在第 j+1帧图像上所对 应的宏块到第 j帧图像的运动向量。
4、 如权利要求 3所述的方法， 其特征在于， 根据下列步骤确定 A1:
确定当前宏块在第 i-1帧图像上所对应的宏块的初始预测向量， 根据确定 的初始预测向量， 进行自适应十字模式搜索得到 A1;
根据下列步骤确定
确定当前宏块在第 j+1帧图像上所对应的宏块的初始预测向量， 根据确定 的初始预测向量， 进行自适应十字模式搜索得到 Aj。
5、 如权利要求 4所述的方法， 其特征在于， 确定当前宏块在第 i-1帧图像 上所对应的宏块的初始预测向量包括：
若第 i-1帧图像是当前宏块所在的图像， 且当前宏块位于图像最左侧， 则 宏块的初始预测向量是零向量；
若第 i-1帧图像是当前宏块所在的图像， 且当前宏块不位于图像最左侧， 则将左边邻近的宏块的运动向量作为宏块的初始预测向量；
若第 i-1帧图像不是当前宏块所在的图像， 将前一帧图像上的宏块的运动 向量作为宏块的初始预测向量；
确定当前宏块在第 j+1帧图像上所对应的宏块的初始预测向量包括： 若第 j+1帧图像是当前宏块所在的图像， 且当前宏块位于图像最左侧， 则 宏块的初始预测向量是零向量；
若第 j+1帧图像是当前宏块所在的图像， 且当前宏块不位于图像最左侧， 则将左边邻近的宏块的运动向量作为宏块的初始预测向量；
若第 j+1帧图像不是当前宏块所在的图像， 将后一帧图像上的运动向量作 为宏块的初始预测向量。
6、 如权利要求 1所述的方法， 其特征在于， 确定搜索窗口中的每个像素 块与当前像素块的相似度值包括： 分别确定搜索窗口中每个像素块和当前像素块的局部结构描述子以及局 部亮度描述子；
根据确定的局部结构描述子以及局部亮度描述子，确定归一化的相似度总 值；
根据确定的局部结构描述子、 局部亮度描述子以及归一化的相似度总值， 分别确定搜索窗口中的每个像素块与当前像素块的相似度值。
7、 如权利要求 6所述的方法， 其特征在于， 根据下列公式确定归一化的 相似度总值：
Figure imgf000021_0001
根据下列公式确定相似度值:
Figure imgf000021_0002
其中， c(A，/)是归一化的相似度总值； w )是 像素点对应的像素块 和 (i,j)像素点对应的像素块的相似度值； k是当前像素块对应的像素点的横坐 标； 1是当前像素块对应的像素点的纵坐标； i是一个其他像素块对应的像素 点的横坐标； j是一个其他像素块对应的像素点的纵坐标； r是半径； 是 其他像素块的局部结构描述子； P ^)是当前像素块的局部结构描述子； '， )是其他像素块的局部亮度描述子； ， 是当前像素块的局部亮度描述 子； σι是局部结构描述子对应的权值； " 2是局部亮度描述子对应的权值；
N k, 是 (k,l)的邻域。
8、 如权利要求 7所述的方法， 其特征在于， 所述局部结构描述子对应的 权值是根据下列公式确定的：
Figure imgf000022_0001
其中， σ。是初始值； L是分段函数的长度。
9、 如权利要求 1 ~ 8任一所述的方法， 其特征在于， 确定当前像素块优化 后的中心像素值包括：
针对一个像素块， 分别将每个像素块与当前像素块的相似度值作为权值， 将每个像素块优化前的中心像素值加权后取平均，得到当前像素块优化后的中 心像素值。
10、 一种基于非局部性的超分辨率重建设备， 其特征在于， 该设备包括： 第一处理模块， 用于将需要进行重建的每一帧图像进行插值处理， 将每帧 图像划分成多个大小相同的宏块；
位置确定模块， 用于针对每帧图像中的每个宏块做如下操作： 确定当前宏 块在其他每一帧图像中的搜索窗口的位置；
第二处理模块， 用于以每帧图像上的每个像素点为圓心， 设定的距离为半 径， 确定每个像素点对应的像素块；
相似度确定模块， 用于针对每帧图像中的每个像素块做如下操作： 根据当 前像素块对应的像素点所在的宏块在每一帧图像中的搜索窗口的位置， 确定 当前像素块在每一帧图像的搜索窗口， 以及分别确定搜索窗口中的每个像素 块与当前像素块的相似度值；
像素值确定模块， 用于根据每个像素块的相似度值， 分别确定每个像素块 优化后的中心像素值。
11、 如权利要求 10所述的设备， 其特征在于， 所述位置确定模块具体用 于：
分别确定当前宏块到其他每一帧图像的运动向量；
针对一帧图像，将确定的当前宏块到该帧图像的运动向量作为当前宏块在 该帧图像中的搜索窗口的运动向量， 并重定位搜索窗口的位置。
12、 如权利要求 11 所述的设备， 其特征在于， 所述位置确定模块根据下 列公式确定当前宏块到其他每一帧图像的运动向量：
Π
A = ^ Ai( n > m ,
i—m-\-\
Figure imgf000023_0001
其中， 当前宏块在第 m帧图像上； 入是当前宏块到第 n帧图像的运动向 量； 是当前宏块在第 i-1帧图像上所对应的宏块到第 i帧图像的运动向量； A2是当前宏块到第 X帧图像的运动向量； Α」是当前宏块在第 j+1帧图像上所对 应的宏块到第 j帧图像的运动向量。
13、 如权利要求 12所述的设备， 其特征在于， 所述位置确定模块具体用 于：
确定当前宏块在第 i-1帧图像上所对应的宏块的初始预测向量， 根据确定 的初始预测向量， 进行自适应十字模式搜索得到 A1;
确定当前宏块在第 j+1帧图像上所对应的宏块的初始预测向量， 根据确定 的初始预测向量， 进行自适应十字模式搜索得到 Aj。
14、 如权利要求 13所述的设备， 其特征在于， 所述位置确定模块具体用 于：
若第 i-1帧图像是当前宏块所在的图像， 且当前宏块位于图像最左侧， 则 宏块的初始预测向量是零向量；
若第 i-1帧图像是当前宏块所在的图像， 且当前宏块不位于图像最左侧， 则将左边邻近的宏块的运动向量作为宏块的初始预测向量；
若第 i-1帧图像不是当前宏块所在的图像， 将前一帧图像上的宏块的运动 向量作为宏块的初始预测向量；
若第 j+1帧图像是当前宏块所在的图像， 且当前宏块位于图像最左侧， 则 宏块的初始预测向量是零向量；
若第 j+1帧图像是当前宏块所在的图像， 且当前宏块不位于图像最左侧， 则将左边邻近的宏块的运动向量作为宏块的初始预测向量；
若第 j+1帧图像不是当前宏块所在的图像， 将后一帧图像上的运动向量作 为宏块的初始预测向量。
15、 如权利要求 10所述的设备， 其特征在于， 所述相似度确定模块具体 用于：
分别确定搜索窗口中每个像素块和当前像素块的局部结构描述子以及局 部亮度描述子； 根据确定的局部结构描述子以及局部亮度描述子， 确定归一化 的相似度总值；根据确定的局部结构描述子、局部亮度描述子以及归一化的相 似度总值， 分别确定搜索窗口中的每个像素块与当前像素块的相似度值。
16、 如权利要求 10 ~ 15任一所述的设备， 其特征在于， 所述像素值确定 模块具体用于：
针对一个像素块， 分别将每个像素块与当前像素块的相似度值作为权值， 将每个像素块优化前的中心像素值加权后取平均，得到当前像素块优化后的中 心像素值。
PCT/CN2012/086570 2011-12-14 2012-12-13 一种基于非局部性的超分辨率重建方法和设备 WO2013087003A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/129,764 US9111367B2 (en) 2011-12-14 2012-12-13 Nonlocality based super resolution reconstruction method and device
KR1020137034526A KR101568073B1 (ko) 2011-12-14 2012-12-13 비집약성 초고해상도에 따른 재구성 방법 및 장치
JP2014546300A JP6126121B2 (ja) 2011-12-14 2012-12-13 非局所的超解像再構成の方法及び装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201110418317.3 2011-12-14
CN201110418317.3A CN103167218B (zh) 2011-12-14 2011-12-14 一种基于非局部性的超分辨率重建方法和设备

Publications (1)

Publication Number Publication Date
WO2013087003A1 true WO2013087003A1 (zh) 2013-06-20

Family

ID=48589937

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2012/086570 WO2013087003A1 (zh) 2011-12-14 2012-12-13 一种基于非局部性的超分辨率重建方法和设备

Country Status (5)

Country Link
US (1) US9111367B2 (zh)
JP (1) JP6126121B2 (zh)
KR (1) KR101568073B1 (zh)
CN (1) CN103167218B (zh)
WO (1) WO2013087003A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991188A (zh) * 2019-12-02 2021-06-18 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质、电子设备

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376544B (zh) * 2013-08-15 2017-04-19 北京大学 一种基于多区域尺度放缩补偿的非局部超分辨率重建方法
CN103700062B (zh) * 2013-12-18 2017-06-06 华为技术有限公司 图像处理方法和装置
US10089955B2 (en) 2014-03-18 2018-10-02 Mediatek Inc. Data processing apparatus capable of using different compression configurations for image quality optimization and/or display buffer capacity optimization and related data processing method
CN104010114B (zh) * 2014-05-29 2017-08-29 广东威创视讯科技股份有限公司 视频去噪方法和装置
CN104809705B (zh) * 2015-04-29 2018-01-12 厦门美图之家科技有限公司 一种基于阈值块匹配的图像去噪的方法和系统
CN105069825B (zh) * 2015-08-14 2018-06-12 厦门大学 基于深度置信网络的图像超分辨率重建方法
CN106558024B (zh) * 2015-09-28 2019-02-01 北京大学 进行自适应窗口拓展的自回归插值方法及装置
US10366480B2 (en) 2016-07-01 2019-07-30 Analytical Mechanics Associates, Inc. Super-resolution systems and methods
KR102553598B1 (ko) * 2016-11-18 2023-07-10 삼성전자주식회사 영상 처리 장치 및 그 제어 방법
CN107169928A (zh) * 2017-05-12 2017-09-15 武汉华大联创智能科技有限公司 一种基于深层线性映射学习的人脸超分辨率重建算法
CN110148091A (zh) * 2019-04-10 2019-08-20 深圳市未来媒体技术研究院 基于非局部注意力机制的神经网络模型及图像超分辨方法
CN111598965B (zh) * 2020-05-18 2023-07-14 南京超维景生物科技有限公司 超声造影图像的超分辨重建预处理方法和超分辨重建方法
CN111833251A (zh) * 2020-07-13 2020-10-27 北京安德医智科技有限公司 一种三维医学图像超分辨率重建方法及装置
CN114331849B (zh) * 2022-03-15 2022-06-10 之江实验室 一种跨模态核磁共振超分网络及图像超分辨率方法
TWI788251B (zh) * 2022-04-01 2022-12-21 偉詮電子股份有限公司 超解析度影像的重建方法以及超解析度影像的重建系統
CN115829842B (zh) * 2023-01-05 2023-04-25 武汉图科智能科技有限公司 一种基于fpga实现图片超分辨率重建的装置
CN116071220B (zh) * 2023-03-06 2023-06-20 浙江华感科技有限公司 一种图像窗口数据处理方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917624A (zh) * 2010-07-26 2010-12-15 清华大学 一种高分辨率视频图像重建方法
CN102142137A (zh) * 2011-03-10 2011-08-03 西安电子科技大学 基于高分辨率字典的稀疏表征图像超分辨重建方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1357514B1 (en) * 2002-04-23 2008-07-16 STMicroelectronics S.r.l. Method for obtaining a high-resolution digital image
US7940844B2 (en) * 2002-06-18 2011-05-10 Qualcomm Incorporated Video encoding and decoding techniques
US7831088B2 (en) * 2003-06-13 2010-11-09 Georgia Tech Research Corporation Data reconstruction using directional interpolation techniques
US20070171987A1 (en) * 2006-01-20 2007-07-26 Nokia Corporation Method for optical flow field estimation using adaptive Filting
US7957610B2 (en) * 2006-04-11 2011-06-07 Panasonic Corporation Image processing method and image processing device for enhancing the resolution of a picture by using multiple input low-resolution pictures
WO2009087641A2 (en) * 2008-01-10 2009-07-16 Ramot At Tel-Aviv University Ltd. System and method for real-time super-resolution
JP5166156B2 (ja) * 2008-07-25 2013-03-21 株式会社東芝 解像度変換装置、方法およびプログラム
CN101739670B (zh) * 2009-11-27 2011-12-07 西安电子科技大学 非局部均值空域时变图像滤波方法
JP5448983B2 (ja) 2010-04-05 2014-03-19 三菱電機株式会社 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917624A (zh) * 2010-07-26 2010-12-15 清华大学 一种高分辨率视频图像重建方法
CN102142137A (zh) * 2011-03-10 2011-08-03 西安电子科技大学 基于高分辨率字典的稀疏表征图像超分辨重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PROTTER, M. ET AL.: "Generalizing the Non-local-Means to Super-resolution Reconstruction", IEEE TRANS. ON IMAGE PROCESSING, vol. 8, no. 1, January 2009 (2009-01-01), pages 36 - 51 *
ZHUO, YUE ET AL.: "Nonlocal Based Super Resolution with Rotation Invariance and Search Window Relocation", 15 November 2011 (2011-11-15), Retrieved from the Internet <URL:http://www.icst.pku.edu.cn/course/icb/ARISWR.html> *
ZHUO, YUE ET AL.: "Nonlocal Based Super Resolution with Rotation Invariance and Search Window Relocation", ICASSP 2012 IEEE INTERNATIONAL CONFERENCE ON, 25 March 2012 (2012-03-25), pages 853 - 356 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991188A (zh) * 2019-12-02 2021-06-18 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质、电子设备
CN112991188B (zh) * 2019-12-02 2023-06-27 RealMe重庆移动通信有限公司 图像处理方法及装置、存储介质、电子设备

Also Published As

Publication number Publication date
KR101568073B1 (ko) 2015-11-10
CN103167218A (zh) 2013-06-19
CN103167218B (zh) 2016-04-06
US9111367B2 (en) 2015-08-18
JP2015502120A (ja) 2015-01-19
KR20140030272A (ko) 2014-03-11
US20140133780A1 (en) 2014-05-15
JP6126121B2 (ja) 2017-05-10

Similar Documents

Publication Publication Date Title
WO2013087003A1 (zh) 一种基于非局部性的超分辨率重建方法和设备
CN111587447B (zh) 帧循环视频超分辨率
CN105409196B (zh) 用于视频稳定的自适应路径平滑
JP5517954B2 (ja) 変換の高速でメモリ効率の良い実施のための方法
JP5778187B2 (ja) 汎用プラットフォーム・ビデオ画像安定化
US9824426B2 (en) Reduced latency video stabilization
US9953400B2 (en) Adaptive path smoothing for video stabilization
Chen VLSI implementation of an adaptive edge-enhanced image scalar for real-time multimedia applications
TW201146011A (en) Bi-directional, local and global motion estimation based frame rate conversion
US10003783B2 (en) Apparatus for generating a three-dimensional color image and a method for producing a three-dimensional color image
TW200922323A (en) Image processing device and method performing motion compensation using motion estimation
JP5166156B2 (ja) 解像度変換装置、方法およびプログラム
TW202119294A (zh) 處理影像超解析度的裝置及方法
Wu et al. Image autoregressive interpolation model using GPU-parallel optimization
Lee et al. Fast 3D video stabilization using ROI-based warping
WO2019041264A1 (zh) 图像处理装置、方法及相关电路
TWI417810B (zh) 影像增強方法、影像增強裝置及影像處理電路
GB2506686A (en) Generating super-resolution images
Lei et al. GPU based fast algorithm for tanner graph based image interpolation
CN115908879B (zh) 基于点引导注意力机制的自适应局部图像特征匹配方法
Wang et al. A GPU-based implementation on super-resolution reconstruction
CN116029911A (zh) 一种模糊图像生成方法、网络模型训练方法及装置
CN113096002A (zh) 一种视频帧尺度变换异构系统和方法以及存储介质
TW202315380A (zh) 增強幀序列的質量的方法及系統
Wu et al. GPU-parallel implementation of the autoregressive model interpolation for high-resolution remote sensing images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12858202

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20137034526

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2014546300

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14129764

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 07-10-2014)

122 Ep: pct application non-entry in european phase

Ref document number: 12858202

Country of ref document: EP

Kind code of ref document: A1