WO2021080233A1 - 이미지 복원 방법 및 장치 - Google Patents

이미지 복원 방법 및 장치 Download PDF

Info

Publication number
WO2021080233A1
WO2021080233A1 PCT/KR2020/013937 KR2020013937W WO2021080233A1 WO 2021080233 A1 WO2021080233 A1 WO 2021080233A1 KR 2020013937 W KR2020013937 W KR 2020013937W WO 2021080233 A1 WO2021080233 A1 WO 2021080233A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
restoration
resolution
fake
original
Prior art date
Application number
PCT/KR2020/013937
Other languages
English (en)
French (fr)
Inventor
신재섭
류성걸
손세훈
김형덕
김효성
Original Assignee
주식회사 픽스트리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 픽스트리 filed Critical 주식회사 픽스트리
Priority to US17/771,007 priority Critical patent/US20230005114A1/en
Publication of WO2021080233A1 publication Critical patent/WO2021080233A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/60—
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole

Definitions

  • the present embodiment relates to an image restoration method and apparatus.
  • techniques for restoring a low-resolution image into a high-resolution image are classified according to the number of input images used for restoration or a restoration technology. Depending on the number of input images, it is divided into a single image super-resolution restoration technology and a continuous image super-resolution restoration technology.
  • the single image super-resolution image restoration technology has a higher processing speed than the continuous super-resolution image restoration technology, but the quality of image restoration is low because information required for restoration is insufficient.
  • the continuous image super-resolution image restoration technology uses various features extracted from a number of consecutively acquired images, the quality of the reconstructed image is superior to that of the single image super-resolution image restoration technology, but the algorithm is complex and the computational amount is large. It is difficult to process.
  • the technology using edge information has a high speed and can restore an image while maintaining the sharpness of the edge, but has a disadvantage in that it may include a visually remarkable reconstruction error when the edge direction is incorrectly estimated.
  • the technology using the frequency characteristic can restore the image while maintaining the sharpness of the edge like the technology using the edge information using the high frequency component, but there is a disadvantage of generating ringing artifacts near the boundary line.
  • techniques using machine learning such as example-based or deep learning, have the best quality of reconstructed images, but their processing speed is very slow.
  • the continuous image super-resolution image restoration technology can be applied to a field requiring a digital zoom function using the existing interpolation method, and provides superior quality images compared to the image restoration technology based on the interpolation method. to provide.
  • the existing super-resolution image restoration technology is limited in technology that can be applied to electro-optical equipment requiring limited resources and real-time processing due to a complex amount of computation.
  • the present embodiment generates different independent restoration models by performing training at different resolutions, receives an image with distortion, and applies a restoration model corresponding to the resolution of the image with distortion among different independent restoration models.
  • An object of the present invention is to provide an image restoration method and apparatus for restoring an improved up-scaling image centering on an object to be restored within.
  • a receiver for receiving an image and a processor for processing the image through convolution operation and non-linearization are included, wherein the processor receives a plurality of images having different resolutions from each other and A learning unit for learning an independent reconstruction model for each resolution by performing learning for each resolution; A selection unit for selecting an appropriate restoration model by analyzing the resolution of the distorted observed image y when receiving an input of the distorted observed image y; And an image restoration unit for generating a restored image (restored image x ⁇ ) in which the observed image is restored using a restoration model corresponding to the resolution of the observed image y among independent restoration models different for each resolution. It provides an image restoration apparatus, characterized in that.
  • a learning process of receiving a plurality of images having different resolutions and performing training for each of the different resolutions to learn an independent reconstruction model for each resolution;
  • a selection process of selecting an appropriate restoration model by analyzing the resolution of the distorted observation image (y) upon receiving the distorted observation image (y);
  • an image restoration process of generating a reconstructed image (x ⁇ ) reconstructing the observed image using a restoration model corresponding to the resolution of the observed image y among independent restoration models different for each resolution.
  • training is performed at different resolutions to generate different independent reconstruction models, receiving an image with distortion and corresponding to the resolution of an image with distortion among different independent reconstruction models.
  • a restoration model there is an effect of restoring an improved upscaling image centering on an object to be restored in a distorted image.
  • FIG. 1 is a diagram showing an input image and an output image according to the present embodiment.
  • FIG. 2 is a diagram for explaining an image restoration process according to the present embodiment.
  • FIG. 3 is a diagram for explaining an observed image and a reconstructed image according to the present embodiment.
  • FIG. 4 is a diagram showing distortion of an observed image according to the present embodiment.
  • FIG. 5 is a diagram illustrating a reconstructed image for each observation image according to the present embodiment.
  • FIG. 6 is a diagram showing an original image, an observation image, and a generated fake image of an input image according to the present embodiment.
  • FIG. 7A and 7B are diagrams showing an image restoration apparatus according to the present embodiment.
  • FIG. 1 is a diagram showing an input image and an output image according to the present embodiment.
  • the image restoration apparatus 700 applies Generative Adversarial Networks (GAN) to the distorted image and outputs an upscaling image.
  • GAN Generative Adversarial Networks
  • the image restoration apparatus 700 restores an upscaling image by improving the object to be restored in the distorted image.
  • FIG. 2 is a diagram for explaining an image restoration process according to the present embodiment.
  • the image restoration apparatus 700 generates a restored image x ⁇ restored by applying a deep learning technique to the observed image y.
  • a generator 712 in Generative Adversarial Networks generates a reconstructed upscaling image (64x64) using a CNN based on an input image (32x32).
  • the discriminator 714 in the GAN determines whether the upscaling image output from the generation unit (G) 712 is an original real image or a generated fake image.
  • the discrimination unit (D) 714 in the GAN backpropagates the score that determines whether the upscaling image output from the generation unit (G) 712 is real or a generated fake, and the GAN is the original ( In order to increase the score for determining whether it is real or a generated fake, training is performed to generate a generated fake upscaling image like the original.
  • x) is an observation image (y), which is a distorted image from the original image (x), so it is possible to model confirmed distortion knowledge such as blur, noise, compression, etc. )can do.
  • P(x) is a prior term, and knowledge about the original image (x) can be modeled.
  • the distinguishing unit (D) 714 itself models a probability distribution for p(x) and determines whether it is a real or a generated fake based on how similar the distances between the probability distributions are.
  • the distinguishing portion (D) 714 itself represents a prior term.
  • the distinguishing unit (D) inputs an image with a resolution of 2 times lower, Output), and learns based on an image with twice the resolution.
  • the distinguishing unit (D) itself models the probability distribution for the original image (x) (target image)
  • the correct answer (output) for the 32 ⁇ 32 image ) Is output as a 64 ⁇ 64 image
  • the correct answer (output) for a 64 ⁇ 64 image has a problem that not only 128 ⁇ 128 images but also 64 ⁇ 64 images are output as real images.
  • the image restoration apparatus 700 generates a model independent from each other for each original image x (target image) and outputs the most suitable image.
  • FIG. 3 is a diagram for explaining an observed image and a reconstructed image according to the present embodiment.
  • the image restoration apparatus 700 models knowledge of blur, noise, compression, etc.
  • random noise is added from the original image x, and the blur kernel is convolved.
  • a distorted observation image (y) is obtained as a result of being compressed.
  • the observed image (y) has the same value as [Equation 2] due to the occurrence of distortion.
  • K S blur kernel with size s
  • JPEGq JPEG compression with quality q
  • N ⁇ ;c means a noise level dependent on channel c.
  • K S denotes a blur kernel for size s.
  • JPEG q means that JPEG compression is performed with compression quality q.
  • JPEG compression is an example, and the present invention is not limited to a specific image/video compression technique.
  • the discriminator (D) 714 acquires a distorted image y and then performs learning based on the distorted observation image y and the original image x. That is, the image restoration apparatus 700 receives the distorted observation image y as an input, sets the original image x as the correct answer (output), and performs learning.
  • the image restoration apparatus 700 acquires a distorted observation image y and then generates a reconstructed image x ⁇ based on the distorted observation image y and the original image x.
  • the image restoration apparatus 700 uses [Equation 3] to generate a restored image (x ⁇ ).
  • G ⁇ generator network (EDSR) with parameter
  • x) denotes a probability distribution modeling the distorted observation image (y).
  • P(x) means the probability distribution of the original image (x).
  • the reconstructed image (x ⁇ ) has a probability distribution P(y
  • the reconstructed image (x ⁇ ) is the probability distribution P(y
  • R(x) denotes a score that determines whether the upscaling image output from the generation unit (G) 712 from the discrimination unit (D) 714 in the GAN is real or a generated fake. .
  • G ⁇ (y) refers to a fake image generated by the generation unit (G) 712.
  • E means the squared difference between the original image (x) and G ⁇ (y).
  • F refers to the network learned for object recognition.
  • the image restoration apparatus 700 separates and learns the model according to the Likelihood term and Prior term.
  • the image restoration apparatus 700 learns an independent model G according to whether the target image as a correct answer is a 64 ⁇ 64 image, a 128 ⁇ 128 image, a 2k image, a 4k image, or an 8k image according to a prior term. That is, the image restoration apparatus 700 must have an independent model G for each resolution.
  • the image restoration apparatus 700 is modeled as shown in [Equation 1] mathematically, so that learning is performed by separating each resolution.
  • the image restoration apparatus 700 may model the distorted observation image y as shown in [Equation 2].
  • the image restoration apparatus 700 additionally implements an object recognition network when minimizing the data term between the distorted observation image y and the correct answer image, thereby minimizing only the main characteristics of the object to be restored.
  • the object recognition network F extracts features of the object to be reconstructed while reducing the size of the convolution map.
  • a face recognition network may be implemented to learn in a direction of minimizing the difference between main features of the face.
  • the image restoration device 700 calculates a score for determining whether the upscaling image output from the generation unit (G) 712 by the distinguishing unit (D) 714 of the GAN is real or a generated fake. Calculate.
  • the discrimination unit (D) 714 determines whether the up-scaling image output from the generation unit G is real or a generated fake based on the learned information. Thereafter, the discrimination unit (D) 714 is improved to use the learned information without information on the correct answer as a criterion for determining whether it is the original (real) or the generated fake (fake).
  • the image restoration apparatus 700 has a multi-scale structure in order to integrate the above-described process.
  • the image restoration apparatus 700 When a distorted (degraded) image having various resolutions is input, the image restoration apparatus 700 upscales the image to an upscaling image having a preset resolution (512 ⁇ 512). The image restoration apparatus 700 downscales (32x32, 64x64, 128x128) the upscaling image (512x512) again to a preset multiple (2x, 4x).
  • the image restoration apparatus 700 generates data of different scales.
  • the upscaling image (512 ⁇ 512) is passed through the learned network as input to obtain the result.
  • the image restoration apparatus 700 passes an up-scaling image (512 ⁇ 512) through the network learned as an input, and downscaling (32 ⁇ 32, 64 ⁇ 64, 128 ⁇ 128) to a preset multiple (2 ⁇ , 4 ⁇ ). ) Generated image.
  • the image restoration apparatus 700 generates the smallest image (32 ⁇ 32) when downscaling.
  • the image restoration apparatus 700 converts the smallest downscaling image (32 ⁇ 32) into an upscaling image (64 ⁇ 64).
  • the image restoration apparatus 700 generates an upscaling image (128x128) by combining the upscaling image (64x64) and the downscaled image (64x64).
  • the image restoration apparatus 700 generates an upscaling image (256x256) by combining the upscaling image (128x128) and the downscaled image (128x128).
  • the image restoration apparatus 700 generates an upscaling image (512 ⁇ 512) by combining the upscaling image (256 ⁇ 256) and the downscaled image (256 ⁇ 256).
  • the image restoration apparatus 700 always tries to obtain consistently good results regardless of different scales and different distortions.
  • the image restoration apparatus 700 generates a distorted observation image y from the original image x, restores the distorted observation image y, and generates a reconstructed image (x ⁇ ).
  • the image restoration apparatus 700 upscales the input image to 512 ⁇ 512 and generates and inputs the input image while lowering the resolution to 1/2, 1/4, 1/8, etc. of the upscaled image. .
  • FIG. 4 is a diagram showing distortion of an observed image according to the present embodiment.
  • the observed image y may be distorted in various forms with respect to the original image x.
  • distortion such as the observed image y shown in FIG. 4 may occur due to the noise image, the blur image, the resized image, the compressed image, the noise, and the compressed image of the original image x.
  • FIG. 5 is a diagram illustrating a reconstructed image for each observation image according to the present embodiment.
  • the image restoration apparatus 700 receives various types of distorted observation images y shown in FIG. 4 and generates a reconstructed image (x ⁇ ) as shown in FIG. 5.
  • each of a noise image, a blur image, a resize image, a compressed image, a noise, and a compressed image A reconstructed image for is created.
  • FIG. 6 is a diagram showing an original image, an observation image, and a generated fake image of an input image according to the present embodiment.
  • the image restoration apparatus 700 includes an input image input to the generation unit (G) 712 and the generation unit (G) 712.
  • the generated CNN image and the ground-truth image input to the distinguishing unit (D) 714 are shown in FIG. 6.
  • the discrimination unit (D) 714 in the image restoration apparatus 700 calculates a score that determines whether the upscaling image output from the generation unit (G) 712 is real or a generated fake. .
  • the discrimination unit (D) 714 in the image restoration apparatus 700 determines whether the upscaling image output from the generation unit G is real or a generated fake based on the learned information.
  • the image restoration apparatus 700 improves the performance of the distinguishing unit (D) 714 to determine whether it is the original (real) or the generated fake (Ground-Truth) and the generation unit (G).
  • the fake image (Relative-GAN) created in is delivered together.
  • FIG. 7A and 7B are diagrams showing an image restoration apparatus according to the present embodiment.
  • the image restoration apparatus 700 includes a learning unit 710 and an image restoration unit 720. Components included in the image restoration apparatus 700 are not necessarily limited thereto.
  • Each component included in the image restoration apparatus 700 is connected to a communication path connecting software modules or hardware modules inside the device, so that they can operate organically with each other. These components communicate using one or more communication buses or signal lines.
  • Each component of the image restoration apparatus 700 shown in FIGS. 7A and 7B refers to a unit that processes at least one function or operation, and may be implemented as a software module, a hardware module, or a combination of software and hardware. .
  • the learning unit 710 receives a plurality of images having different resolutions from each other and performs training at different resolutions to generate independent reconstruction models different from each other for each resolution.
  • the learning unit 710 includes a generation unit (G) 712 and a distinguishing unit (D) 714.
  • the generation unit (G) 712 generates a reconstructed image obtained by upscaling the resolution of the input image by a preset resolution.
  • the generation unit (G) 712 generates an upscaling image obtained by upscaling the input image into an image having a preset resolution.
  • the generation unit (G) 712 repeats inputting the up-scaling image as an input image while lowering the resolution so as to have a resolution of a preset ratio.
  • the distinguishing unit (D) 714 receives the generated fake image and the original image x, and determines whether the generated fake image is a real image or a generated fake image. Calculate the score. The distinguishing unit (D) 714 generates a reconstructed model for each resolution based on the score.
  • the image restoration unit 720 restores the observed image using a restoration model corresponding to the resolution of the observed image y among independent restoration models different for each resolution. ⁇ ).
  • the observed image (y) has a channel-dependent noise level (N ⁇ ;c ) added to the original image (x) to which a blur kernel (K S ) for size and a JPEG compression quality (JPEG q ) are applied.
  • the image restoration unit 720 is a reconstructed image having a value for making the probability distribution P(y
  • the image restoration unit 720 makes the probability distribution P(y
  • the image restoration unit 720 determines whether the original image (x), the fake image G ⁇ (y) generated by the generation unit (G) 712, and the image generated by the generation unit (G) 712 are real. A reconstructed image from a parameter set that minimizes the squared value E between the original image (x) and the generated fake image G ⁇ (y) based on the score R(x) that determines whether it is a generated fake ( x ⁇ ).
  • the image restoration unit 720 is an object recognition network additionally implemented to minimize the data term between the distorted observation image (y) and the original image (x) when generating the restored image (x ⁇ ). By applying it, a value obtained by extracting only the main features of the object to be restored is applied while reducing the size of the convolution map.

Abstract

이미지 복원 방법 및 장치를 개시한다. 본 실시예는 서로 상이한 해상도마다 학습을 수행하여 서로 다른 독립된 복원 모델을 생성하고, 왜곡이 발생한 이미지를 입력받아 서로 다른 독립된 복원 모델 중 왜곡이 발생한 이미지의 해상도에 대응하는 복원 모델을 적용하여 왜곡 이미지 내의 복원 대상 객체를 중심으로 개선한 업스케일링 영상으로 복원하는 이미지 복원 방법 및 장치를 제공한다.

Description

이미지 복원 방법 및 장치
본 실시예는 이미지 복원 방법 및 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
일반적으로 저해상도 영상을 고해상도 영상으로 복원하는 기술은 복원에 사용되는 입력영상의 수 또는 복원 기술에 따라 구분된다. 입력영상의 수에 따라 단일영상 초해상도 복원 기술과 연속영상 초해상도 복원 기술로 구분된다.
일반적으로 단일영상 초해상도 영상복원 기술은 연속영상 초해상도 영상복원에 비하여 처리 속도는 빠르지만, 복원에 필요한 정보가 부족하므로 영상 복원의 품질이 낮다.
연속영상 초해상도 영상복원 기술은 연속적으로 획득된 다수의 영상들로부터 추출된 다양한 특징을 이용하므로 단일영상 초해상도 영상복원 기술에 비하여 복원된 영상의 품질은 우수하나, 알고리즘이 복잡하고 연산량이 많아 실시간 처리가 어렵다.
복원 기술에 따라서는 보간법을 이용한 기술, 에지 정보를 이용한 기술, 주파수 특성을 이용한 기술, 딥러닝 등과 같은 기계학습을 이용한 기술 등이 있다. 보간법을 이용한 기술은 처리 속도가 빠르지만 가장자리 부분이 흐릿해지는 단점이 있다.
에지 정보를 이용한 기술은 속도도 빠르고 가장자리의 선명도를 유지하면서 영상을 복원할 수 있으나, 에지 방향을 잘못 추정한 경우에는 시각적으로 두드러지는 복원 에러를 포함할 수 있는 단점이 있다.
주파수 특성을 이용한 기술은 고주파성분을 이용하여 에지 정보를 이용한 기술과 같이 가장자리의 선명도를 유지하며 영상을 복원할 수 있으나 경계선 부근의 Ringing Artifact가 발생하는 단점이 있다. 마지막으로 예제 기반 또는 딥러닝과 같은 기계학습을 이용한 기술은 복원된 영상의 품질이 가장 우수하지만 처리속도가 매우 느리다.
상술한 바와 같이 기존의 다양한 고해상도 영상 복원 기술들 중 연속영상 초해상도 영상복원 기술은 기존의 보간법을 이용한 디지털 줌 기능이 필요한 분야에 적용될 수 있으며, 보간법 기반의 영상복원 기술에 비해 우수한 품질의 영상을 제공한다. 그러나, 기존의 초해상도 영상복원 기술은, 제한된 리소스와 실시간 처리가 요구되는 전자광학 장비에는 복잡한 연산량으로 인해 적용할 수 있는 기술이 제한적이다.
실시간 처리가 가능한 기존의 단일영상 기반의 초해상도 영상복원 기술은 2배 이상의 고배율로 영상 확대가 필요한 경우에 연속영상 기반의 복원 기술에 비해 성능 저하가 크다는 문제가 있다.
본 실시예는 서로 상이한 해상도마다 학습을 수행하여 서로 다른 독립된 복원 모델을 생성하고, 왜곡이 발생한 이미지를 입력받아 서로 다른 독립된 복원 모델 중 왜곡이 발생한 이미지의 해상도에 대응하는 복원 모델을 적용하여 왜곡 이미지 내의 복원 대상 객체를 중심으로 개선한 업스케일링 영상으로 복원하는 이미지 복원 방법 및 장치를 제공하는 데 목적이 있다.
본 실시예의 일 측면에 의하면, 이미지를 수신하는 수신기와 컨볼루션 연산 및 비선형화를 통해 상기 이미지를 처리하는 프로세서를 포함하고, 상기 프로세서는, 서로 상이한 해상도를 갖는 복수의 이미지를 입력 받아 상기 서로 상이한 해상도마다 학습을 수행하여 해상도별로 독립된 복원 모델을 학습하는 학습부; 왜곡된 관측 이미지(observed image y)를 입력받으면, 상기 왜곡된 관측 이미지(y)의 해상도를 분석하여 적합한 복원 모델을 선택하는 선택부; 및 상기 해상도별로 서로 다른 독립된 복원 모델 중 상기 관측 이미지(y)의 해상도에 대응하는 복원 모델을 이용하여 상기 관측 이미지를 복원한 복원 이미지(restored image x^)를 생성하는 이미지 복원부;를 포함하는 것을 특징으로 하는 이미지 복원 장치를 제공한다.
본 실시예의 다른 측면에 의하면, 서로 상이한 해상도를 갖는 복수의 이미지를 입력 받아 상기 서로 상이한 해상도마다 학습을 수행하여 해상도별로 독립된 복원 모델을 학습하는 학습 과정; 왜곡된 관측 이미지(y)를 입력받으면, 상기 왜곡된 관측 이미지(y)의 해상도를 분석하여 적합한 복원 모델을 선택하는 선택 과정; 및 상기 해상도별로 서로 다른 독립된 복원 모델 중 상기 관측 이미지(y)의 해상도에 대응하는 복원 모델을 이용하여 상기 관측 이미지를 복원한 복원 이미지(x^)를 생성하는 이미지 복원 과정;을 포함하는 것을 특징으로 하는 이미지 복원 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 서로 상이한 해상도마다 학습을 수행하여 서로 다른 독립된 복원 모델을 생성하고, 왜곡이 발생한 이미지를 입력 받아 서로 다른 독립된 복원 모델 중 왜곡이 발생한 이미지의 해상도에 대응하는 복원 모델을 적용하여 왜곡 이미지 내의 복원 대상 객체를 중심으로 개선한 업스케일링 영상으로 복원할 수 있는 효과가 있다.
도 1은 본 실시예에 따른 입력 영상과 출력 영상을 나타낸 도면이다.
도 2는 본 실시예에 따른 영상 복원 과정을 설명하기 위한 도면이다.
도 3은 본 실시예에 따른 관측 이미지와 복원 이미지를 설명하기 위한 도면이다.
도 4는 본 실시예에 따른 관측 이미지의 왜곡을 나타낸 도면이다.
도 5는 본 실시예에 따른 관측 이미지별 복원 이미지를 나타낸 도면이다.
도 6은 본 실시예에 따른 입력 영상의 원본 이미지, 관측 이미지, 생성된 가짜 이미지를 나타낸 도면이다.
도 7a,7b는 본 실시예에 따른 이미지 복원 장치를 나타낸 도면이다.
<도면에 나타낸 부호의 설명>
700: 이미지 복원 장치
710: 학습부
712: 생성부(G) 714: 구별부(D)
720: 이미지 복원부
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 실시예에 따른 입력 영상과 출력 영상을 나타낸 도면이다.
본 실시예에 따른 이미지 복원 장치(700)는 왜곡된 이미지에 대해 GAN(Generative Adversarial Networks)를 적용하여 업스케일링 이미지로 출력한다.
이미지 복원 장치(700)는 왜곡된 이미지 내의 복원 대상 객체를 중심으로 개선하여 업스케일링 영상으로 복원한다.
도 1의 (a)에 도시된 바와 같이, 64×64 왜곡 이미지를 복원하면, 종래의 도 1의 (b)에 도시된 정도로 복원될 수 있으나, 본 실시예에 따른 이미지 복원 장치(700)는 도 1의 (c)에 도시된 바와 같은 수준의 업스케일링 이미지로 복원할 수 있다.
도 2는 본 실시예에 따른 영상 복원 과정을 설명하기 위한 도면이다.
원본 이미지(clean image x)가 존재할 때 다양한 원인에 의해서 원본 이미지(x)에 왜곡이 발생할 수 있다. 도 2에 도시된 바와 같이, 원본 이미지(x)에 원인을 알 수 없는 왜곡(Unknown degradation)(블러, 노이즈, 압축 등에 의한 원인)이 발생하여 관측 이미지(observed image y)에 왜곡이 발생한다.
이미지 복원 장치(700)는 관측 이미지(y)에 딥러닝(deep learning) 기술을 적용하여 복원(restoration)한 복원 이미지(restored image x^)를 생성한다.
GAN(Generative Adversarial Networks) 내의 생성부(generator)(712)는 입력 이미지(32×32)를 기반으로 CNN을 이용하여 복원 업스케일링 이미지(64×64)를 생성한다.
GAN 내의 구별부(discriminator)(714)에서 생성부(G)(712)에서 출력한 업스케일링 이미지가 원본 진짜(real) 이미지인지 생성된 가짜(fake) 이미지인지의 여부를 판별한다. GAN 내의 구별부(D)(714)에서 생성부(G)(712)에서 출력한 업스케일링 이미지가 원본(real)인지 생성된 가짜(fake)인지를 판별한 점수를 역전파하고, GAN은 원본(real)인지 생성된 가짜(fake)인지를 판별하기 위한 점수를 높이기 위해 원본(real)같은 생성된 가짜 업스케일링 이미지를 생성하기 위해 학습을 수행한다.
관측 이미지(y)와 원본 이미지(x)의 관계는 [수학식 1]로 나타낼 수 있다.
Figure PCTKR2020013937-appb-M000001
(y｜x)은 원본 이미지(x)로부터 왜곡된 이미지인 관측 이미지(y)가 얻어지게 되므로, 블러(blur), 노이즈(noise), 압축(compression) 등과 같은 확인된 왜곡 지식을 모델링(likehood)할 수 있다.
P(x)은 prior term으로서, 원본 이미지(x)에 대한 지식을 모델링할 수 있다.
구별부(D)(714) 자체가 p(x)에 대한 확률 분포를 모델링해서 확률 분포 사이의 거리가 얼마나 유사한지를 기반으로 원본(real)인지 생성된 가짜(fake)인지를 판별한다. 구별부(D)(714) 자체가 prior term을 대표한다.
일반적으로 구별부(D)는 32×32 이미지를 64×64 이미지로 모델링하거나 64×64 이미지를 128×128로 두 배를 모델링한다고 가정할 때, 해상도가 2배 낮은 이미지를 입력하고, 정답(출력)으로 해상도가 2배 높은 이미지를 기준으로 학습한다.
하지만, 이러한 학습 방법은 구별부(D) 자체가 원본 이미지(x)(타겟 이미지)에 대한 확률 분포를 모델링하기 때문에 모든 이미지들을 정답(출력)으로 설정하면, 32×32 이미지에 대한 정답(출력)은 64×64 이미지로 출력되나, 64×64 이미지에 대한 정답(출력)은 128×128 이미지뿐만 아니라 64×64 이미지까지 원본(real) 이미지로 출력되는 문제가 있다.
본 실시예에 따른 이미지 복원 장치(700)는 각각의 원본 이미지(x)(타겟 이미지)마다 서로 독립된 모델을 생성하여 가장 적합한 이미지를 출력한다.
도 3은 본 실시예에 따른 관측 이미지와 복원 이미지를 설명하기 위한 도면이다.
본 실시예에 따른 이미지 복원 장치(700)는 블러, 노이즈, 압축 등에 대한 지식을 모델링하기 때문에, 원본 이미지(x)로부터 랜덤 노이즈(Random Noise)를 더하고, 블러 커널이 컨볼루션(Convolution)된 상태에서 이미지 압축 기술이 압축된 결과로서 왜곡된 관측 이미지(y)를 획득한다.
관측 이미지(y)는 왜곡 발생으로 인해 [수학식 2]와 같은 값을 갖는다.
Figure PCTKR2020013937-appb-M000002
Nσ;c : AWGN with channel dependent noise level
KS: blur kernel with size s
JPEGq: JPEG compression with quality q
다시 말해, Nσ;c는 채널 c에 의존적인 노이즈 레벨을 의미한다. KS는 사이즈 s에 대한 블러 커널을 의미한다. JPEGq는 압축 퀄리티 q로 JPEG 압축을 수행함을 의미한다. 여기서, JPEG 압축은 일례이며 본 발명은 특정 이미지/비디오 압축 기술에 한정되지 않는다.
본 실시예에 따른 구별부(D)(714)는 왜곡된 이미지(y)를 획득한 후 왜곡된 관측 이미지(y), 원본 이미지(x)를 기반으로 학습을 수행한다. 즉, 이미지 복원 장치(700)는 왜곡된 관측 이미지(y)를 입력으로 원본 이미지(x)를 정답(출력)으로 설정하고 학습을 수행한다.
본 실시예에 따른 이미지 복원 장치(700)는 왜곡된 관측 이미지(y)를 획득한 후 왜곡된 관측 이미지(y), 원본 이미지(x)를 기반으로 복원 이미지(x^)를 생성한다.
본 실시예에 따른 이미지 복원 장치(700)는 복원 이미지(x^)를 생성하기 위해 [수학식 3]을 이용한다.
Figure PCTKR2020013937-appb-M000003
F: (5,4)-th convolution map of object recognition network
Gθ: generator network (EDSR) with parameter
Dφ;x : discriminator network with parameter φ given prior x
P(y｜x)는 왜곡된 관측 이미지(y)를 모델링하는 확률분포를 의미한다.
P(x)는 원본 이미지(x)의 확률분포를 의미한다.
복원 이미지(x^)는 왜곡된 관측 이미지(y)를 모델링하는 확률분포 P(y｜x)와 원본 이미지(x)의 확률분포 P(x)를 최대값으로 만들기 위한 값(x)을 갖는다.
복원 이미지(x^)는 -log을 취한 왜곡된 관측 이미지(y)를 모델링하는 확률분포 P(y｜x)와 -log을 취한 원본 이미지(x)의 확률분포 P(x)를 최소값으로 만들기 위한 값(x)을 갖는다.
R(x)는 GAN 내의 구별부(D)(714)에서 생성부(G)(712)에서 출력한 업스케일링 이미지가 원본(real)인지 생성된 가짜(fake)인지를 판별한 점수를 의미한다.
Gθ(y)는 생성부(G)(712)에서 생성한 가짜(fake) 이미지를 의미한다.
E는 원본 이미지(x)와 Gθ(y) 사이의 차를 제곱한 값을 의미한다.
F는 객체 인식을 위해 학습한 네트워크를 의미한다.
이미지 복원 장치(700)는 [수학식1]에 기재된 바와 같이, Likelihood term, Prior term에 의해 모델이 분리되어 학습됨을 알 수 있다.
이미지 복원 장치(700)는 prior term에 따라 정답으로 하는 타겟 이미지가 64×64 이미지인지 128×128 이미지 인지 2k 이미지 인지, 4k 이미지, 8k 이미지 인지에 따라서 독립된 모델(G)을 학습한다. 즉, 이미지 복원 장치(700)는 해상도 별로 독립된 모델(G)를 구비해야 한다.
본 실시예에 따른 이미지 복원 장치(700)는 수식적으로 [수학식1]과 같이 모델링하므로 해상도별로 분리해서 학습을 수행한다. 이미지 복원 장치(700)는 왜곡된 관측 이미지(y)를 [수학식2]와 같이 모델링을 수행할 수 있다.
이미지 복원 장치(700)는 왜곡된 관측 이미지(y)와 정답 이미지 사이의 데이터 텀을 최소화할 때 객체 인식 네트워크를 추가적으로 구현하여 복원 대상 객체의 주요 특징만을 최소화한다. 여기서, 객체 인식 네트워크(F)는 컨볼루션 맵의 사이즈를 줄여나가면서 복원 대상 객체의 특징을 추출하게 된다. 일례로, 복원하고자 하는 대상 객체가 얼굴 이미지인 응용 예에서는 얼굴 인식 네트워크를 구현하여 얼굴의 주요 특징 사이의 차를 최소화하는 방향으로 학습할 수 있다.
이미지 복원 장치(700)는 GAN의 구별부(D)(714)가 생성부(G)(712)에서 출력한 업스케일링 이미지가 원본(real)인지 생성된 가짜(fake)인지를 판별한 점수를 산출한다.
구별부(D)(714)는 학습한 정보를 토대로 생성부(G)에서 출력한 업스케일링 이미지가 원본(real)인지 생성된 가짜(fake)인지를 판별한다. 이후 구별부(D)(714)를 개선하여 원본(real)인지 생성된 가짜(fake)인지를 판별하는 기준으로 정답에 대한 정보 없이 학습된 정보를 이용할 수 있다.
이후 이미지 복원 장치(700)는 전술한 과정을 통합하기 위해 멀티 스케일 구조를 갖는다.
이미지 복원 장치(700)는 다양한 해상도를 갖는 임의의 왜곡된(열화된) 이미지가 입력되면 기 설정된 해상도(512×512)를 갖는 업스케일링 이미지로 업스케일링한다. 이미지 복원 장치(700)는 업스케일링 이미지(512×512)를 다시 기 설정된 배수(2배, 4배)로 다운스케일링(32×32, 64×64, 128×128)한다.
이후 이미지 복원 장치(700)는 서로 다른 스케일의 데이터를 생성한다. 업스케일링 이미지(512×512)를 입력으로 학습된 네트워크를 통과시켜서 결과를 얻게 된다.
이미지 복원 장치(700)는 업스케일링 이미지(512×512)를 입력으로 학습된 네트워크를 통과시켜서 다시 기 설정된 배수(2배, 4배)로 다운스케일링(32×32, 64×64, 128×128)된 영상을 생성한다. 이미지 복원 장치(700)는 다운스케일링할 때 가장 작은 이미지(32×32)부터 생성한다. 이미지 복원 장치(700)는 가장 작은 다운스케일링 이미지(32×32)를 업스케일링 이미지(64×64)로 변환한다.
이미지 복원 장치(700)는 업스케일링 이미지(64×64)와 다운스케일링된 이미지(64×64)를 결합하여 업스케일링 이미지(128×128)를 생성한다. 이미지 복원 장치(700)는 업스케일링 이미지(128×128)와 다운스케일링된 이미지(128×128)를 결합하여 업스케일링 이미지(256×256)를 생성한다. 이미지 복원 장치(700)는 업스케일링 이미지(256×256)와 다운스케일링된 이미지(256×256)를 결합하여 업스케일링 이미지(512×512)를 생성한다. 이미지 복원 장치(700)는 서로 다른 스케일과 서로 다른 왜곡에 대해서 무관하게 항상 일정하게 좋은 결과를 얻고자 한다.
이미지 복원 장치(700)는 원본 이미지(x)를 가지고 왜곡된 관측 이미지(y)를 생성하고, 왜곡된 관측 이미지(y)를 복원하여 복원 이미지(x^)를 생성한다. 이미지 복원 장치(700)는 입력 이미지를 512×512로 업스케일링 하고, 업스케일링 이미지를 1/2, 1/4, 1/8 등으로 해상도를 낮춰가면서 입력 이미지를 생성하고, 입력하는 것을 반복한다.
도 4는 본 실시예에 따른 관측 이미지의 왜곡을 나타낸 도면이다.
도 4에 도시된 바와 같이, 원본 이미지(x)에 대해 다양한 형태로 관측 이미지(y)가 왜곡될 수 있다. 다시 말해, 원본 이미지(x)에 대해 노이즈 이미지, 블러 이미지, 리사이즈 이미지, 압축 이미지, 노이즈 및 압축 이미지로 인해 도 4에 도시된 관측 이미지(y)와 같은 왜곡이 발생할 수 있다.
도 5는 본 실시예에 따른 관측 이미지별 복원 이미지를 나타낸 도면이다.
이미지 복원 장치(700)는 도 4에 도시된 다양한 형태의 왜곡된 관측 이미지(y)를 입력 받아 복원 이미지(x^)를 생성한 결과는 도 5에 도시된 바와 같다.
다시 말해, 이미지 복원 장치(700)는 다양한 형태의 왜곡된 관측 이미지(y)를 입력 받아 복원하면 도 5에 도시된 바와 같이, 노이즈 이미지, 블러 이미지, 리사이즈 이미지, 압축 이미지, 노이즈 및 압축 이미지 각각에 대한 복원 이미지가 생성된다.
도 6은 본 실시예에 따른 입력 영상의 원본 이미지, 관측 이미지, 생성된 가짜 이미지를 나타낸 도면이다.
이미지 복원 장치(700)는 도 6에 도시된 바와 같이 입력 영상을 복원한 복원 영상으로 생성하는 과정에서, 생성부(G)(712)로 입력되는 Input 이미지, 생성부(G)(712)에서 생성한 CNN 이미지, 구별부(D)(714)로 입력되는 Ground-Truth 이미지 등은 도 6과 같다. 이미지 복원 장치(700) 내의 구별부(D)(714)가 생성부(G)(712)에서 출력한 업스케일링 이미지가 원본(real)인지 생성된 가짜(fake)인지를 판별한 점수를 산출한다.
이미지 복원 장치(700) 내의 구별부(D)(714)는 학습한 정보를 토대로 생성부(G)에서 출력한 업스케일링 이미지가 원본(real)인지 생성된 가짜(fake)인지를 판별한다. 이미지 복원 장치(700)는 구별부(D)(714)의 성능을 개선하여 원본(real)인지 생성된 가짜(fake)인지를 판별하는 기준으로 정답 이미지(Ground-Truth)와 생성부(G)에서 생성한 가짜 이미지(Relative-GAN)를 함께 전달한다.
도 7a,7b는 본 실시예에 따른 이미지 복원 장치를 나타낸 도면이다.
본 실시예에 따른 이미지 복원 장치(700)는 학습부(710), 이미지 복원부(720)를 포함한다. 이미지 복원 장치(700)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
이미지 복원 장치(700)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.
도 7a,7b에 도시된 이미지 복원 장치(700)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.
학습부(710)는 서로 상이한 해상도를 갖는 복수의 이미지를 입력받아 서로 상이한 해상도마다 학습을 수행하여 해상도별로 서로 다른 독립된 복원 모델을 각각 생성한다.
학습부(710)는 생성부(G)(712), 구별부(D)(714)를 포함한다.
생성부(G)(712)는 입력된 이미지가 갖는 해상도를 기 설정된 해상도만큼 업스케일링(upscaling)한 복원 이미지를 생성한다.
생성부(G)(712)는 입력된 이미지를 기 설정된 해상도를 갖는 이미지로 업스케일링한 업스케일링 이미지를 생성한다. 생성부(G)(712)는 업스케일링 이미지를 기 설정된 비율의 해상도를 갖도록 해상도를 낮춰가면서 입력 이미지로 입력하는 것을 반복한다.
구별부(D)(714)는 생성된 가짜(fake) 이미지와 원본 이미지(x)를 입력받고, 생성된 가짜 이미지가 원본(real) 이미지인지 생성된 가짜(fake) 이미지인지의 여부를 판별한 점수를 산출한다. 구별부(D)(714)는 점수를 기반으로 해상도별로 복원 모델을 생성한다.
이미지 복원부(720)는 왜곡된 관측 이미지(y)를 입력 받으면, 해상도별로 서로 다른 독립된 복원 모델 중 관측 이미지(y)의 해상도에 대응하는 복원 모델을 이용하여 관측 이미지를 복원한 복원 이미지(x^)를 생성한다.
관측 이미지(y)는 원본 이미지(x)에 더해진 채널에 의존적인 노이즈 레벨(Nσ;c) 값에 사이즈에 대한 블러 커널(KS), JPEG 압축 퀄리티(JPEGq)가 적용된 값을 갖는다.
이미지 복원부(720)는 왜곡된 관측 이미지(y)를 모델링하는 확률분포 P(y｜x)와 원본 이미지(x)의 확률분포 P(x)를 최대값으로 만들기 위한 값을 갖도록 하는 복원 이미지(x^)를 생성한다.
이미지 복원부(720)는 -log을 취한 왜곡된 관측 이미지(y)를 모델링하는 확률분포 P(y｜x)와 -log을 취한 원본 이미지(x)의 확률분포 P(x)를 최소값으로 만들기 위한 값을 갖도록 하는 복원 이미지(x^)를 생성한다.
이미지 복원부(720)는 원본 이미지(x), 생성부(G)(712)에서 생성한 가짜 이미지 Gθ(y), 생성부(G)(712)에서 생성한 이미지가 원본(real)인지 생성된 가짜(fake)인지를 판별한 점수 R(x)를 기반으로 원본 이미지(x)와 생성된 가짜 이미지 Gθ(y) 사이의 차를 제곱한 값 E를 최소화하는 파라미터 셋으로부터 복원 이미지(x^)를 생성한다.
이미지 복원부(720)는 복원 이미지(x^)를 생성할 때, 왜곡된 관측 이미지(y)와 원본 이미지(x) 사이의 데이터 텀을 최소화하기 위해 추가적으로 구현된 객체 인식 네트워크(object recognition network)적용하여 컨볼루션 맵(convolution map)의 사이즈를 줄여나가면서 복원 대상 객체의 주요 특징만을 추출한 값을 적용한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (17)

  1. 이미지를 수신하는 수신기와 컨볼루션 연산 및 비선형화를 통해 상기 이미지를 처리하는 프로세서를 포함하고,
    상기 프로세서는,
    서로 상이한 해상도를 갖는 복수의 이미지를 입력 받아 상기 서로 상이한 해상도마다 학습을 수행하여 해상도별로 독립된 복원 모델을 학습하는 학습부;
    왜곡된 관측 이미지(observed image y)를 입력받으면, 상기 왜곡된 관측 이미지(y)의 해상도를 분석하여 적합한 복원 모델을 선택하는 선택부; 및
    상기 해상도별로 서로 다른 독립된 복원 모델 중 상기 관측 이미지(y)의 해상도에 대응하는 복원 모델을 이용하여 상기 관측 이미지를 복원한 복원 이미지(restored image x^)를 생성하는 이미지 복원부;
    를 포함하는 것을 특징으로 하는 이미지 복원 장치.
  2. 제1항에 있어서,
    상기 학습부는,
    입력된 이미지가 갖는 해상도를 기 설정된 해상도만큼 증가시키는 가짜 이미지를 생성하는 생성부(generator);
    상기 생성된 가짜 이미지(fake image)와 원본 이미지(x)를 입력받고, 상기 생성된 가짜 이미지가 원본(real) 이미지인지 가짜(fake) 이미지인지의 여부를 판별하여 점수를 산출하며, 산출한 점수를 기반으로 해상도별로 상기 복원 모델을 생성하는 구별부(discriminator);
    를 포함하는 것을 특징으로 하는 이미지 복원 장치.
  3. 제1항에 있어서,
    상기 관측 이미지(y)는,
    상기 원본 이미지(x)에 채널 의존적인 노이즈 와 다양한 강도의 블러 및 이미지/동영상 압축이 적용되는 것을 특징으로 하는 이미지 복원 장치.
  4. 제1항에 있어서,
    상기 이미지 복원부는,
    상기 왜곡된 관측 이미지(y)를 모델링하는 확률분포 P(y｜x)와 상기 원본 이미지(x)의 확률분포 P(x)를 최대값으로 만들기 위한 값을 갖도록 하는 상기 복원 이미지(x^)를 생성하는 것을 특징으로 하는 이미지 복원 장치.
  5. 제1항에 있어서,
    상기 이미지 복원부는,
    -log을 취한 상기 왜곡된 관측 이미지(y)를 모델링하는 확률분포 P(y｜x)와 -log을 취한 상기 원본 이미지(x)의 확률분포 P(x)를 최소값으로 만들기 위한 값을 갖도록 하는 상기 복원 이미지(x^)를 생성하는 것을 특징으로 하는 이미지 복원 장치.
  6. 제2항에 있어서,
    상기 이미지 복원부는,
    상기 생성부에서 생성된 가짜 이미지가 원본(real)인지 생성된 가짜(fake)인지 여부를 상기 구별부에서 산출한 점수 R(x)를 기반으로 상기 원본 이미지(x)와 상기 생성된 가짜 이미지 Gθ(y) 사이의 차를 최소화하는 상기 복원 이미지(x^)를 생성하는 것을 특징으로 하는 이미지 복원 장치.
  7. 제2항에 있어서,
    상기 구별부는,
    상기 생성부에 의해 생성된 가짜 이미지가 원본(real)인지 생성된 가짜(fake)인지를 산출한 점수와 원본 이미지가 원본(real)인지 생성된 가짜(fake)인지를 산출한 점수를 상대적으로 비교하여 해당 점수의 차이가 최소화되도록 하는 상기 복원 이미지(x^)를 생성하는 것을 특징으로 하는 이미지 복원 장치.
  8. 제2항에 있어서,
    상기 학습부는,
    상기 복원 이미지(x^)를 생성할 때, 상기 왜곡된 관측 이미지(y)와 상기 원본 이미지(x) 사이의 데이터 텀을 최소화하기 위해 객체 인식 네트워크(object recognition network) 모델을 통과하여 컨볼루션 맵(convolution map)에서 추출된 복원 대상 객체의 주요 특징 사이의 차이를 학습하는 것을 특징으로 하는 이미지 복원 장치.
  9. 제2항에 있어서,
    상기 생성부는,
    입력된 이미지를 기 설정된 해상도를 갖는 이미지로 업스케일링한 업스케일링 이미지를 생성하고, 상기 업스케일링 이미지를 기 설정된 비율의 해상도를 갖도록 해상도를 낮춰가면서 입력 이미지로 입력하는 것을 반복하는 것을 특징으로 하는 이미지 복원 장치.
  10. 서로 상이한 해상도를 갖는 복수의 이미지를 입력 받아 상기 서로 상이한 해상도마다 학습을 수행하여 해상도별로 독립된 복원 모델을 학습하는 학습 과정;
    왜곡된 관측 이미지(y)를 입력받으면, 상기 왜곡된 관측 이미지(y)의 해상도를 분석하여 적합한 복원 모델을 선택하는 선택 과정; 및
    상기 해상도별로 서로 다른 독립된 복원 모델 중 상기 관측 이미지(y)의 해상도에 대응하는 복원 모델을 이용하여 상기 관측 이미지를 복원한 복원 이미지(x^)를 생성하는 이미지 복원 과정;
    을 포함하는 것을 특징으로 하는 이미지 복원 방법.
  11. 제10항에 있어서,
    상기 학습 과정은,
    입력된 이미지가 갖는 해상도를 기 설정된 해상도만큼 증가시키는 가짜 이미지를 생성하는 생성 과정;
    상기 생성된 가짜 이미지(fake image)와 원본 이미지(x)를 입력받고, 상기 생성된 가짜 이미지가 원본(real) 이미지인지 생성된 가짜(fake) 이미지인지의 여부를 판별하여 점수를 산출하며, 산출한 점수를 기반으로 해상도별로 상기 복원 모델을 생성하는 구별 과정;
    를 포함하는 것을 특징으로 하는 이미지 복원 방법.
  12. 제10항에 있어서,
    상기 이미지 복원 과정은,
    상기 왜곡된 관측 이미지(y)를 모델링하는 확률분포 P(y｜x)와 상기 원본 이미지(x)의 확률분포 P(x)를 최대값으로 만들기 위한 값을 갖도록 하는 상기 복원 이미지(x^)를 생성하는 것을 특징으로 하는 이미지 복원 방법.
  13. 제10항에 있어서,
    상기 이미지 복원 과정은,
    -log을 취한 상기 왜곡된 관측 이미지(y)를 모델링하는 확률분포 P(y｜x)와 -log을 취한 상기 원본 이미지(x)의 확률분포 P(x)를 최소값으로 만들기 위한 값을 갖도록 하는 상기 복원 이미지(x^)를 생성하는 것을 특징으로 하는 이미지 복원 방법.
  14. 제11항에 있어서,
    상기 이미지 복원 과정은,
    상기 생성 과정에서 생성된 가짜 이미지가 원본(real)인지 생성된 가짜(fake)인지 여부를 상기 구별부에서 산출한 점수 R(x)를 기반으로 상기 원본 이미지(x)와 상기 생성된 가짜 이미지 Gθ(y) 사이의 차를 최소화하는 상기 복원 이미지(x^)를 생성하는 것을 특징으로 하는 이미지 복원 방법.
  15. 제11항에 있어서,
    상기 구별 과정은,
    상기 생성 과정에서 생성된 가짜 이미지가 원본(real)인지 생성된 가짜(fake)인지를 산출한 점수와 원본 이미지가 원본(real)인지 생성된 가짜(fake)인지를 산출한 점수를 상대적으로 비교하여 해당 점수의 차이가 최소화되도록 하는 상기 복원 이미지(x^)를 생성하는 것을 특징으로 하는 이미지 복원 방법.
  16. 제11항에 있어서,
    상기 학습 과정은,
    상기 복원 이미지(x^)를 생성할 때, 상기 왜곡된 관측 이미지(y)와 상기 원본 이미지(x) 사이의 데이터 텀을 최소화하기 위해 객체 인식 네트워크(object recognition network) 모델을 통과하여 컨볼루션 맵(convolution map)에서 추출된 복원 대상 객체의 주요 특징 사이의 차를 학습하는 것을 특징으로 하는 이미지 복원 방법.
  17. 제11항에 있어서,
    상기 생성 과정은,
    입력된 이미지를 기 설정된 해상도를 갖는 이미지로 업스케일링한 업스케일링 이미지를 생성하고, 상기 업스케일링 이미지를 기 설정된 비율의 해상도를 갖도록 해상도를 낮춰가면서 입력 이미지로 입력하는 것을 반복하는 것을 특징으로 하는 이미지 복원 방법.
PCT/KR2020/013937 2019-10-21 2020-10-13 이미지 복원 방법 및 장치 WO2021080233A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/771,007 US20230005114A1 (en) 2019-10-21 2020-10-13 Image restoration method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190130542A KR102236788B1 (ko) 2019-10-21 2019-10-21 이미지 복원 방법 및 장치
KR10-2019-0130542 2019-10-21

Publications (1)

Publication Number Publication Date
WO2021080233A1 true WO2021080233A1 (ko) 2021-04-29

Family

ID=75472789

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/013937 WO2021080233A1 (ko) 2019-10-21 2020-10-13 이미지 복원 방법 및 장치

Country Status (3)

Country Link
US (1) US20230005114A1 (ko)
KR (1) KR102236788B1 (ko)
WO (1) WO2021080233A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128624A (zh) * 2021-05-11 2021-07-16 山东财经大学 一种基于多尺度字典的图网络人脸恢复方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230075233A1 (en) * 2020-01-30 2023-03-09 The Regents Of The University Of California Synthetic human fingerprints
WO2022068735A1 (en) * 2020-09-30 2022-04-07 Splitmedialabs Limited Computing platform using machine learning for foreground mask estimation
US11975738B2 (en) * 2021-06-03 2024-05-07 Ford Global Technologies, Llc Image annotation for deep neural networks
US11922320B2 (en) * 2021-06-09 2024-03-05 Ford Global Technologies, Llc Neural network for object detection and tracking
KR102496362B1 (ko) * 2022-11-15 2023-02-06 (주)빛글림 인공지능 기반 영상 콘텐츠 제작 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050122845A (ko) * 2004-06-25 2005-12-29 주식회사 대우일렉트로닉스 영상 신호의 해상도에 따른 노이즈 감쇄 장치와 방법
JP2012059118A (ja) * 2010-09-10 2012-03-22 Saga Univ ノイズ除去装置、その方法、及びプログラム
KR20190058285A (ko) * 2017-11-20 2019-05-29 주식회사 클라리파이 딥러닝 기반 ct 이미지 잡음 저감 장치 및 방법
KR20190096295A (ko) * 2018-02-08 2019-08-19 애플 인크. 생성적 적대 신경망을 이용한 비공개화된 머신 러닝
KR102034248B1 (ko) * 2019-04-19 2019-10-18 주식회사 루닛 GAN(Generative Adversarial Networks)을 이용하는 이상 검출 방법, 장치 및 그 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60248299A (ja) * 1984-05-22 1985-12-07 Otsuka Chem Co Ltd 汚泥の処理方法
JP6448839B1 (ja) 2018-06-20 2019-01-09 株式会社 ディー・エヌ・エー 画像生成装置、画像生成器、画像識別器、画像生成プログラム、及び、画像生成方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050122845A (ko) * 2004-06-25 2005-12-29 주식회사 대우일렉트로닉스 영상 신호의 해상도에 따른 노이즈 감쇄 장치와 방법
JP2012059118A (ja) * 2010-09-10 2012-03-22 Saga Univ ノイズ除去装置、その方法、及びプログラム
KR20190058285A (ko) * 2017-11-20 2019-05-29 주식회사 클라리파이 딥러닝 기반 ct 이미지 잡음 저감 장치 및 방법
KR20190096295A (ko) * 2018-02-08 2019-08-19 애플 인크. 생성적 적대 신경망을 이용한 비공개화된 머신 러닝
KR102034248B1 (ko) * 2019-04-19 2019-10-18 주식회사 루닛 GAN(Generative Adversarial Networks)을 이용하는 이상 검출 방법, 장치 및 그 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128624A (zh) * 2021-05-11 2021-07-16 山东财经大学 一种基于多尺度字典的图网络人脸恢复方法

Also Published As

Publication number Publication date
KR102236788B1 (ko) 2021-04-06
US20230005114A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
WO2021080233A1 (ko) 이미지 복원 방법 및 장치
US7952775B2 (en) Gray scale image cleaning system and method
Su et al. Spatially adaptive block-based super-resolution
JPH08228282A (ja) 文書画像の処理方法及びバイナリ画像画素処理装置
WO2021107610A1 (en) Method and system for generating a tri-map for image matting
WO2021246821A1 (ko) 얼굴 이미지 개선 방법 및 장치
WO2021246822A1 (ko) 객체 이미지 개선 방법 및 장치
CN114494071A (zh) 图像处理方法、装置、设备及存储介质
WO2022255523A1 (ko) 멀티 스케일 객체 이미지 복원 방법 및 장치
CN114913095B (zh) 基于域适应的深度去模糊方法
WO2019135625A1 (ko) 영상 디스플레이 장치 및 그 제어 방법
WO2021071258A1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
CN113947563A (zh) 一种基于深度学习的电缆工艺质量动态缺陷检测方法
Xu et al. Camera-model identification using markovian transition probability matrix
CN113269692A (zh) 一种基于图像修复的视频去logo方法及系统
JP2001127999A (ja) 画像処理装置および画像処理方法
WO2023214616A1 (ko) 단말기에서 모아레 패턴을 제거하는 장치 및 방법
JP3073381B2 (ja) 画像処理方法及び装置
WO2022019590A1 (ko) 인공지능을 이용한 편집된 이미지 검출 방법 및 시스템
WO2024072021A1 (en) Generating images with small objects for training a pruned super-resolution network
Zhang Redundancy of parallel thinning
RU2737346C1 (ru) Способ сравнения изображения с шаблоном
WO2023014073A1 (en) Unsupervised learning-based scale-independent blur kernel estimation for super-resolution
JP3783815B2 (ja) 画像処理装置
WO2023224179A1 (ko) 에지 선명도의 조정이 가능한 초해상화 이미지 생성 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20879031

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20879031

Country of ref document: EP

Kind code of ref document: A1