KR102565318B1

KR102565318B1 - Method and apparatus for acquiring continuous images from blurred image

Info

Publication number: KR102565318B1
Application number: KR1020220124693A
Authority: KR
Inventors: 허용석; 이태복; 한수지
Original assignee: 아주대학교 산학협력단
Priority date: 2022-09-29
Filing date: 2022-09-29
Publication date: 2023-08-10

Abstract

본 발명의 일 실시예에 따른 하는 블러 이미지에 포함된 연속적인 이미지의 취득 방법은 블러 이미지(Blurred image) 및 조절 요소(Control factor)를 입력받는 단계; 자체 제어 적용 블록(Control-Adaptive block)을 이용하여, 상기 블러 이미지의 특징맵에서 상기 조절 요소에 대응되는 위치와 채널에 관한 정보인 특징정보를 생성하는 단계; 및 상기 자체 제어 적용 블록을 이용하여, 상기 블러 이미지, 상기 특징맵 및 상기 특징정보로부터 상기 조절 요소에 대응되는 결과 이미지를 생성하는 단계를 포함한다.A method of obtaining a continuous image included in a blur image according to an embodiment of the present invention includes receiving a blur image and a control factor; generating feature information that is information about a position and a channel corresponding to the adjusting element in the feature map of the blur image by using a control-adaptive block; and generating a resulting image corresponding to the adjusting element from the blur image, the feature map, and the feature information using the self-control application block.

Description

Method and apparatus for acquiring continuous images included in blur images

본 발명은 흐릿한 블러 이미지로부터 연속적인 이미지를 취득하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for obtaining a continuous image from a blurry blurred image.

영상의 모션 블러(motion blur)란 사진 촬영 시 빈번하게 발생하는 이미지의 품질 저하 현상 중 하나로 카메라의 흔들림 및 피사체의 움직임에 의해 발생하는 것을 일컫는다. Motion blur of an image is one of the image quality deterioration phenomena that frequently occur when taking pictures, and refers to a phenomenon caused by shaking of a camera and movement of a subject.

모션 블러가 발생한 얼굴 영상 정보는 시각적으로 만족스럽지 않을 뿐만 아니라, 얼굴 검출(Face Detection), 얼굴 인식(Face Recognition) 및 신원 확인(identification) 등 중요 얼굴 영상 관련 기술들의 성능을 크게 저하시키는 요인이 된다. The face image information with motion blur is not only visually unsatisfactory, but also significantly degrades the performance of important face image-related technologies such as face detection, face recognition, and identification. .

모션 블러가 발생한 단일 영상(single image)으로부터 선명한 영상을 복원하는 것을 단일 영상 모션 디블러링(single image motion deblurring) 이라고 한다. 최근 단일 영상 모션 디블러링에 관한 연구가 활발히 진행되고 있지만, 출력 영상의 개수가 제한되거나, 다수의 네트워크에 대한 학습이 필요한 경우가 대부분이어서 제약이 있는 것이 현실이다.Restoring a clear image from a single image with motion blur is called single image motion deblurring. Recently, studies on single-image motion deblurring have been actively conducted, but in reality, there are limitations because the number of output images is limited or learning on multiple networks is required in most cases.

따라서, 본 발명은 모션 블러가 발생한 블러 이미지로부터 단일 네트워크만을 이용하여 임의의 시점에서의 선명한 이미지를 생성하는 방법 및 그 장치를 제공하고자 한다.Accordingly, an object of the present invention is to provide a method and apparatus for generating a clear image at an arbitrary point in time using only a single network from a blurred image in which motion blur occurs.

본 발명은 블러 이미지로부터 임의의 시점에서의 선명한 이미지를 생성하는 방법 및 장치를 제공하고자 한다.An object of the present invention is to provide a method and apparatus for generating a sharp image at an arbitrary point in time from a blurred image.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 블러 이미지에 포함된 연속적인 이미지의 취득 방법은 블러 이미지(Blurred image) 및 조절 요소(Control factor)를 입력받는 단계; 자체 제어 적용 블록(Control-Adaptive block)을 이용하여, 상기 블러 이미지의 특징맵에서 상기 조절 요소에 대응되는 위치와 채널에 관한 정보인 특징정보를 생성하는 단계; 및 상기 자체 제어 적용 블록을 이용하여, 상기 블러 이미지, 상기 특징맵 및 상기 특징정보로부터 상기 조절 요소에 대응되는 결과 이미지를 생성하는 단계를 포함한다.A method for obtaining a continuous image included in a blurred image according to an embodiment of the present invention for achieving the above object includes receiving a blurred image and a control factor; generating feature information that is information about a position and a channel corresponding to the adjusting element in the feature map of the blur image by using a control-adaptive block; and generating a resulting image corresponding to the adjusting element from the blur image, the feature map, and the feature information using the self-control application block.

바람직하게는, 상기 자체 제어 적용 블록은 조건부 생성적 적대 신경망(Conditional Generative Adversarial Network, CGAN)을 통해 학습될 수 있다.Preferably, the self-controlled application block may be learned through a Conditional Generative Adversarial Network (CGAN).

바람직하게는, 상기 CGAN은 상기 자체 제어 적용 블록을 포함하는 생성네트워크; 및 상기 블러 이미지와 상기 결과 이미지를 입력받아, 상기 결과 이미지의 진위를 판단하고, 상기 결과 이미지에 대응되는 조절 요소를 예측하는 식별네트워크를 포함할 수 있다.Preferably, the CGAN includes a generating network including the self-controlled application block; and an identification network that receives the blur image and the resulting image, determines authenticity of the resulting image, and predicts an adjusting element corresponding to the resulting image.

바람직하게는, 상기 식별네트워크는 상기 블러 이미지에 포함된 피사체의 특징점 위치를 이용하여 소정의 기준에 따라 상기 블러 이미지에 포함된 연속적인 이미지 각각의 순서를 재정렬하고, 상기 재정렬된 순서에 따라 상기 결과 이미지에 대응되는 조절 요소를 예측할 수 있다.Preferably, the identification network rearranges the order of each successive image included in the blur image according to a predetermined criterion using the position of the feature point of the subject included in the blur image, and the result is obtained according to the rearranged order. Adjustment factors corresponding to images can be predicted.

바람직하게는, 상기 조절 요소는 소정의 범위로 정규화(Normalization)된 값을 가질 수 있다.Preferably, the control element may have a normalized value within a predetermined range.

또한, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 블러 이미지에 포함된 연속적인 이미지의 취득 장치는 블러 이미지 및 조절 요소를 입력받는 입력부; 및 자체 제어 적용 블록을 이용하여, 상기 블러 이미지의 특징맵에서 상기 조절 요소에 대응되는 위치와 채널에 관한 정보인 특징정보를 생성하고, 상기 블러 이미지, 상기 특징맵 및 상기 특징정보로부터 상기 조절 요소에 대응되는 결과 이미지를 생성하는 생성네트워크를 포함한다.In addition, an apparatus for obtaining a continuous image included in a blur image according to an embodiment of the present invention for achieving the above object includes an input unit for receiving a blur image and an adjustment element; and generating feature information that is information about a position and a channel corresponding to the adjusting element in the feature map of the blurred image by using a self-controlling application block, and generating the adjusting element from the blurred image, the feature map, and the feature information. It includes a generation network that generates a resulting image corresponding to .

바람직하게는, 상기 자체 제어 적용 블록은 조건부 생성적 적대 신경망(CGAN)을 통해 학습될 수 있다.Preferably, the self-controlled application block may be learned through a conditional generative adversarial network (CGAN).

바람직하게는, 상기 CGAN은 상기 생성네트워크; 및 상기 블러 이미지와 상기 결과 이미지를 입력받아, 상기 결과 이미지의 진위를 판단하고, 상기 결과 이미지에 대응되는 조절 요소를 예측하는 식별네트워크를 포함할 수 있다.Preferably, the CGAN comprises: the generative network; and an identification network that receives the blur image and the resulting image, determines authenticity of the resulting image, and predicts an adjusting element corresponding to the resulting image.

바람직하게는, 상기 조절 요소는 소정의 범위로 정규화된 값을 가질 수 있다.Preferably, the control element may have a normalized value within a predetermined range.

본 발명에서 개시하고 있는 일 실시예에 따르면, 단일 네트워크만을 이용하여 블러 이미지로부터 임의의 시점에서의 선명한 이미지를 생성할 수 있는 효과가 있다.According to an embodiment disclosed in the present invention, there is an effect of generating a clear image at an arbitrary point in time from a blur image using only a single network.

도 1은 본 발명의 일 실시예에 따른 블러 이미지에 포함된 연속적인 이미지의 취득 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 블러 이미지에 포함된 연속적인 이미지의 취득 장치를 설명하기 위한 블록도이다.
도 3은 본 발명의 전체적인 구조를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 조절 요소를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 자체 제어 적용 블록을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 연속적인 이미지의 순서 예측을 설명하기 위한 도면이다.1 is a flowchart illustrating a method of obtaining a continuous image included in a blur image according to an embodiment of the present invention.
2 is a block diagram illustrating an apparatus for obtaining a continuous image included in a blur image according to an embodiment of the present invention.
3 is a diagram for explaining the overall structure of the present invention.
4 is a diagram for explaining a control element according to an embodiment of the present invention.
5 is a diagram for explaining a self-control application block according to an embodiment of the present invention.
6 is a diagram for explaining order prediction of successive images according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. Like reference numerals have been used for like elements throughout the description of each figure.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention. The terms and/or include any combination of a plurality of related recited items or any of a plurality of related recited items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, the terms "include" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that it does not preclude the possibility of the presence or addition of numbers, steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't

도 1은 본 발명의 일 실시예에 따른 블러 이미지에 포함된 연속적인 이미지의 취득 방법을 설명하기 위한 흐름도이다.1 is a flowchart illustrating a method of obtaining a continuous image included in a blur image according to an embodiment of the present invention.

단계 S110에서는, 연속적인 이미지의 저장 장치가 블러 이미지(Blurred image) 및 조절 요소(Control factor)를 입력받는다.In step S110, a continuous image storage device receives a blurred image and a control factor.

여기서, 블러 이미지는 피사체가 움직이는 동안 촬영되어 흐릿하게 보이는 이미지를 의미할 수 있다. 예컨대, 실내에서 사람을 피사체로 하여 사진을 찍는 경우를 가정하면, 그 사람이 사진을 찍는 동안 움직였을 때 그 사람의 얼굴은 사진 상에 흐릿하게 나타날 수 있다.Here, the blur image may refer to an image that is photographed while the subject is moving and looks blurry. For example, assuming a case of taking a picture with a person as a subject indoors, when the person moves while taking the picture, the person's face may appear blurry on the picture.

한편, 조절 요소는 블러 이미지 내에서 피사체의 특징점의 움직임을 시간 순서에 따라 나타내는 값일 수 있다. 예컨대, 블러 이미지가 사람의 얼굴을 포함하는 경우 그 사람의 왼쪽 눈을 특징점으로 하여 왼쪽 눈의 움직임을 시간 순서에 따라 나타내는 값을 의미할 수 있다. 이때, 조절 요소는 후술하는 바와 같이 정규화된 값일 수 있다.Meanwhile, the control element may be a value indicating movement of a feature point of a subject in a time order within a blur image. For example, when the blur image includes a person's face, it may mean a value representing the movement of the person's left eye in time sequence using the person's left eye as a feature point. In this case, the control factor may be a normalized value as will be described later.

다른 실시예에서는, 조절 요소는 소정의 범위로 정규화(Normalization)된 값을 가질 수 있다.In other embodiments, the adjustment element may have values normalized to a predetermined range.

예컨대, 조절 요소는 0에서 1까지의 범위로 정규화된 값을 가질 수 있다. 보다 구체적으로, 도 4를 참조하면, 블러 이미지에 포함된 사람의 얼굴이 움직이는 시간을 t=t₁에서부터 t₂까지라고 한다면, 조절 요소(c)는 t=t₁일 때를 0으로 하고, t=t₂일 때를 1로 하여, 정규화될 수 있다.For example, an adjustment factor may have a normalized value in the range of 0 to 1. More specifically, referring to FIG. 4, if the moving time of the human face included in the blur image is from t = t ₁ to t ₂ , the control factor (c) is set to 0 when t = t ₁ , When t=t ₂ , it can be normalized by setting it to 1.

단계 S120에서는, 연속적인 이미지의 저장 장치가 자체 제어 적용 블록(Control-Adaptive block)을 이용하여, 그 블러 이미지의 특징맵에서 그 조절 요소에 대응되는 위치와 채널에 관한 정보인 특징정보를 생성한다.In step S120, the continuous image storage device uses its own control-adaptive block to generate feature information, which is information about the position and channel corresponding to the control element in the feature map of the blur image. .

즉, 연속적인 이미지의 저장 장치는 자체 제어 적용 블록을 이용하여 그 블러 이미지에서 특징맵을 추출할 수 있다. 그리고, 연속적인 이미지의 저장 장치는 자체 제어 적용 블록을 이용하여 그 특징맵에서 그 조절 요소에 대응되는 위치와 채널에 관한 정보를 포함하는 특징정보를 생성할 수 있다.That is, the continuous image storage device may extract a feature map from the blurred image using a self-controlled application block. Also, the continuous image storage device may generate feature information including information about a position and a channel corresponding to the control element in the feature map using the self-control application block.

다시 말하면, 연속적인 이미지의 저장 장치는 그 블러 이미지에서 그 조절 요소에 대응되는 시점에서의 선명한 이미지를 얻기 위하여 특징정보를 생성할 수 있다.In other words, the continuous image storage device may generate feature information in order to obtain a clear image at a time point corresponding to the control element in the blur image.

이를 위해, 자체 제어 적용 블록은 도 5를 참조하면, 제어 적용 가변형 컨벌루션 (Control-Adaptive Deformable Convolution Module, CADC) 모듈과 제어 적용 채널 집중 모듈(Control-Adaptive Channel Attention, CACA) 모듈을 포함할 수 있다.To this end, referring to FIG. 5, the self-control application block may include a Control-Adaptive Deformable Convolution Module (CADC) module and a Control-Adaptive Channel Attention (CACA) module. .

여기서, CADC모듈은 공간적 변형을 모델링하는 가변형 컨벌루션을 기반으로 하며, 오프셋(Offset)과 집중도(Weight)는 조절 요소와 블러 이미지로부터 추출된 특징들을 이용하여 학습될 수 있다. 또한, CACA모듈은 조절 요소와 블러 이미지를 기반으로 이미지 내에서 흐릿함을 제거할 때, 특징맵의 어느 채널에 집중할 지를 학습할 수 있다.Here, the CADC module is based on variable convolution modeling spatial transformation, and offset and weight can be learned using features extracted from control elements and blur images. In addition, the CACA module can learn which channel of the feature map to focus on when deblurring an image based on the adjustment factor and the blur image.

단계 S130에서는, 연속적인 이미지의 저장 장치가 그 자체 제어 적용 블록을 이용하여, 그 블러 이미지, 특징맵 및 특징정보로부터 조절 요소에 대응되는 결과 이미지를 생성한다.In step S130, the continuous image storage device uses its own control application block to generate a resulting image corresponding to the adjusting element from the blur image, feature map, and feature information.

즉, 연속적인 이미지의 저장 장치는 그 자체 제어 적용 블록을 이용하여 그 블러 이미지로부터 특징맵의 특징정보에 대응되는 이미지를 생성함으로써, 결과 이미지를 생성할 수 있다.That is, the continuous image storage device may generate an image corresponding to the feature information of the feature map from the blur image using its own control application block, thereby generating a resulting image.

보다 구체적으로, 연속적인 이미지의 저장 장치는 특징맵에서 특징정보에 포함된 위치와 채널에 대응되는 부분을 추출하고, 그 추출된 부분과 그 블러 이미지를 이용하여 결과 이미지를 생성할 수 있다.More specifically, the continuous image storage device may extract a portion corresponding to a location and a channel included in feature information from a feature map, and generate a resulting image using the extracted portion and the blur image.

결과적으로, 연속적인 이미지의 저장 장치는 블러 이미지에서 입력된 조절 요소에 대응되는 시점의 선명한 결과 이미지를 생성할 수 있다. 나아가, 연속적인 이미지의 저장 장치는 일정 범위 내에서 연속되는 값을 가지는 조절 요소를 순차적으로 입력받는 경우에, 연속되는 결과 이미지를 생성할 수 있다.As a result, the continuous image storage device may generate a clear resulting image at a viewpoint corresponding to the control element input from the blur image. Furthermore, the continuous image storage device may generate a continuous result image when sequentially inputting control elements having continuous values within a certain range.

다른 실시예에서는, 자체 제어 적용 블록은 조건부 생성적 적대 신경망(Conditional Generative Adversarial Network, CGAN)을 통해 학습될 수 있다.In another embodiment, the self-controlled adaptive block may be learned through a Conditional Generative Adversarial Network (CGAN).

여기서, CGAN은 생성네트워크와 식별네트워크가 학습하는 동안 추가 정보를 사용하는 조건이 붙은 신경망을 의미한다. 바람직하게는, CGAN은 입력된 조절 요소를 추가 정보로 하여 자체 제어 적용 블록을 학습시킬 수 있다.Here, CGAN refers to a conditioned neural network that uses additional information during training of the generative network and the discriminatory network. Preferably, the CGAN can learn a self-controlled application block by using the input control element as additional information.

또 다른 실시예에서는, 조건부 생성적 적대 신경망(CGAN)은 생성네트워크(Generator)와 식별네트워크(Discriminator)를 포함할 수 있다.In another embodiment, a conditional generative adversarial network (CGAN) may include a generator and discriminator.

여기서, 도 3을 참조하면, 생성네트워크(G)는 자체 제어 적용 블록을 포함할 수 있다. 한편, 자체 제어 적용 블록은 입력된 조절 요소(c)에 따라 블러 이미지(b)로부터 추출한 특징맵에서 중요한 위치와 채널에 집중하여 결과 이미지를 생성할 수 있다. 즉, 자체 제어 적용 블록은 그 블러 이미지로부터 그 조절 요소에 대응되는 시점에서의 선명한 이미지를 추출함으로써, 결과 이미지()를 생성할 수 있다.Here, referring to FIG. 3, the generation network G may include a self-control application block. On the other hand, the self-control application block can create a resultant image by concentrating on important positions and channels in the feature map extracted from the blur image (b) according to the input control factor (c). That is, the self-control application block extracts a clear image at a time point corresponding to the adjusting element from the blur image, thereby resulting in an image ( ) can be created.

또한, 식별네트워크(D)는 그 블러 이미지(b)와 결과 이미지()를 입력받아, 결과 이미지()의 진위를 판단하고, 그 결과 이미지()에 대응되는 조절 요소(c)를 예측할 수 있다. 즉, 식별네트워크(D)는 생성네트워크(G)가 생성한 결과 이미지()와 블러 이미지(b)를 동시에 입력받아, 그 결과 이미지()가 그 블러 이미지(b)로부터 생성된 이미지가 맞는 지를 판단하고, 그 결과 이미지()가 어떤 조절 요소(c)값에 따라 생성되었는 지를 예측할 수 있다. 또한, 식별네트워크(D)는 그 결과를 생성네트워크(G)에게 피드백함으로써, 생성네트워크(G)를 학습시킬 수 있다.In addition, the identification network (D) is the blur image (b) and the resulting image ( ) is input, and the resulting image ( ) and determine the authenticity of the resulting image ( ) can predict the control factor (c) corresponding to. That is, the identification network (D) is the resultant image generated by the generation network (G) ( ) and the blur image (b) at the same time, and the resulting image ( ) determines whether the image generated from the blur image (b) is correct, and the resulting image ( ) can be predicted according to the value of the control factor (c). In addition, the identification network (D) can learn the generation network (G) by feeding back the result to the generation network (G).

한편, 생성네트워크는 조절 요소에 기반하는 부차적 회귀 손실, 결과 이미지와 정답 이미지의 픽셀 단위 거리에 기반하는 픽셀 단위 손실, 결과 이미지와 정답 이미지에 기반하는 지각 손실, 생성네트워크 및 식별네트워크의 경쟁 학습에 의해 발생하는 적대적 손실에 기반하여 학습될 수 있다.On the other hand, the generative network is applied to secondary regression loss based on the control factor, pixel unit loss based on the pixel unit distance between the result image and the correct answer image, perceptual loss based on the result image and the answer image, and competitive learning of the generative network and the discrimination network. can be learned based on the adversarial losses incurred by

또 다른 실시예에서는, 식별네트워크는 그 블러 이미지에 포함된 피사체의 특징점 위치를 이용하여 소정의 기준에 따라 블러 이미지에 포함된 연속적인 이미지 각각의 순서를 재정렬하고, 그 재정렬된 순서에 따라 결과 이미지에 대응되는 조절 요소를 예측할 수 있다.In another embodiment, the identification network rearranges the order of each successive image included in the blur image according to a predetermined criterion using the position of the feature point of the subject included in the blur image, and the resulting image according to the rearranged order. A control factor corresponding to can be predicted.

예컨대, 도 6을 참조하면, 블러 이미지로부터 생성된 복수의 이미지(S[1], S[2], ??)가 사람의 왼쪽 눈을 특징점으로 하여 왼쪽 눈의 움직임의 시간 순서에 따라 재정렬(S(0), S(1), ??)되어 있다. 이를 통해 시간 순서에 따라 움직이는 불규칙한 사람 얼굴의 움직임을 효율적으로 예측할 수 있다.For example, referring to FIG. 6, a plurality of images (S[1], S[2], ??) generated from a blur image are rearranged according to the time order of movements of the left eye of a person using the left eye as a feature point ( S(0), S(1), ??). Through this, it is possible to efficiently predict the motion of an irregular human face moving according to a time sequence.

또한, 식별네트워크는 그 재정렬(S(0), S(1), ??)된 순서에 따라, 결과 이미지의 조절 요소를 예측하고, 그 예측 결과를 생성네트워크에게 제공할 수 있다. 보다 구체적으로, 식별네트워크는 결과 이미지를 그 재정렬(S(0), S(1), ??)된 이미지 각각과 비교한 후, 대응되는 이미지를 결정하고, 그 결정된 이미지에 대응되는 조절 요소를 예측값으로 결정할 수 있다.In addition, the identification network may predict the control elements of the resulting image according to the rearranged order (S(0), S(1), ??), and provide the prediction result to the generation network. More specifically, the identification network compares the resulting image with each of the rearranged images (S(0), S(1), ??), determines a corresponding image, and selects an adjustment element corresponding to the determined image. It can be determined as a predicted value.

이때, 식별네트워크는 그 블러 이미지에서 특징점의 위치에 대응되는 x축 좌표를 기준으로 하여 오름차순에 의해 움직임의 시간 순서(즉, 조절 요소)를 재정렬할 수 있다. 또한, 식별네트워크는 특징점의 위치에 대응되는 x축 좌표가 동일한 경우에는 y축의 좌표를 기준으로 하여 오름차순에 의해 움직임의 시간 순서를 재정렬할 수 있다. 또한, 식별네트워크는 특징점의 위치에 대응되는 x축 좌표 및 y축 좌표가 모두 동일한 경우에는 그 블러 이미지에 대응되는 동영상 에서의 시간의 오름차순에 따라 재정렬할 수 있다.At this time, the identification network may rearrange the temporal order of movement (ie, control elements) in an ascending order based on the x-axis coordinate corresponding to the location of the feature point in the blurred image. In addition, when the x-axis coordinates corresponding to the positions of feature points are the same, the identification network may rearrange the temporal order of movements in ascending order based on the y-axis coordinates. In addition, when the x-axis coordinate and the y-axis coordinate corresponding to the position of the feature point are the same, the identification network can be rearranged in ascending order of time in the video corresponding to the blurred image.

이와 같이, 본 발명의 일 실시예에 따른 블러 이미지에 포함된 연속적인 이미지의 취득 방법은 블러 이미지로부터 단일 네트워크만을 이용하여 조절 요소의 값에 대응되는 임의의 시점에서의 선명한 이미지를 생성할 수 있는 효과가 있다.In this way, the method for obtaining a continuous image included in a blur image according to an embodiment of the present invention can generate a clear image at any time point corresponding to the value of the control element using only a single network from the blur image. It works.

도 2는 본 발명의 일 실시예에 따른 블러 이미지에 포함된 연속적인 이미지의 취득 장치를 설명하기 위한 블록도이다.2 is a block diagram illustrating an apparatus for obtaining a continuous image included in a blur image according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 블러 이미지에 포함된 연속적인 이미지의 취득 장치(200)는 입력부(210) 및 생성네트워크(220)를 포함한다.Referring to FIG. 2 , an apparatus 200 for obtaining a continuous image included in a blurred image according to an embodiment of the present invention includes an input unit 210 and a generating network 220 .

한편, 본 발명의 일 실시예에 따른 블러 이미지에 포함된 연속적인 이미지의 취득 장치(200)는 데스크탑PC, 노트북PC, 스마트폰, 태블릿PC 및 서버컴퓨터 등과 같은 컴퓨팅 장치에 탑재될 수 있다.Meanwhile, the apparatus 200 for obtaining a continuous image included in a blur image according to an embodiment of the present invention may be mounted on a computing device such as a desktop PC, a notebook PC, a smart phone, a tablet PC, and a server computer.

입력부(210)는 블러 이미지 및 조절 요소를 입력받는다.The input unit 210 receives a blur image and an adjustment element.

다른 실시예에서는, 조절 요소는 소정의 범위로 정규화된 값을 가질 수 있다.In other embodiments, the adjustment element may have values normalized to a predetermined range.

생성네트워크(220)는 자체 제어 적용 블록을 이용하여, 블러 이미지의 특징맵에서 조절 요소에 대응되는 위치와 채널에 관한 정보인 특징정보를 생성하고, 그 블러 이미지, 특징맵 및 특징정보로부터 조절 요소에 대응되는 결과 이미지를 생성한다.The generation network 220 generates feature information, which is information about a position and a channel corresponding to a control element in a feature map of a blur image, using a self-control application block, and controls elements from the blur image, feature map, and feature information. Creates a result image corresponding to .

다른 실시예에서는, 자체 제어 적용 블록은 조건부 생성적 적대 신경망(CGAN)을 통해 학습될 수 있다.In another embodiment, the self-controlled applied block may be learned through a conditional generative adversarial network (CGAN).

또 다른 실시예에서는, CGAN은 생성네트워크(220)와 그 블러 이미지와 결과 이미지를 입력받아, 그 결과 이미지의 진위를 판단하고, 그 결과 이미지에 대응되는 조절 요소를 예측하는 식별네트워크(미도시)를 포함할 수 있다.In another embodiment, the CGAN is an identification network (not shown) that receives the generation network 220, the blur image, and the resulting image, determines the authenticity of the resulting image, and predicts an adjusting element corresponding to the resulting image. can include

또 다른 실시예에서는, 식별네트워크는 블러 이미지에 포함된 피사체의 특징점 위치를 이용하여 소정의 기준에 따라 블러 이미지에 포함된 연속적인 이미지 각각의 순서를 재정렬하고, 그 재정렬된 순서에 따라 결과 이미지에 대응되는 조절 요소를 예측할 수 있다.In another embodiment, the identification network rearranges the order of each successive image included in the blur image according to a predetermined criterion using the position of the feature point of the subject included in the blur image, and the resultant image is displayed according to the rearranged order. Corresponding control factors can be predicted.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 사람이라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 실행된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely an example of the technical idea of the present invention, and various modifications and variations can be made to those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments implemented in the present invention are not intended to limit the technical idea of the present invention, but to explain, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed according to the claims below, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.

Claims

receiving a blurred image and a control factor by an input unit of a continuous image acquisition device included in the blurred image;
Information about the position and channel corresponding to the control element in the feature map of the blur image, by using a control-adaptive block generated by the generation network of the acquisition device of the continuous image included in the blur image. generating feature information; and
Generating, by the generation network, a resulting image corresponding to the adjusting element from the blur image, the feature map, and the feature information using the self-controlling application block.
A method for obtaining a continuous image included in a blur image, comprising:

According to claim 1,
The self-control application block
A method for obtaining a continuous image included in a blurred image, characterized in that it is learned through a conditional generative adversarial network (CGAN).

According to claim 2,
The CGAN is
a production network including the self-controlled application block; and
An identification network that receives the blurred image and the resulting image, determines the authenticity of the resulting image, and predicts an adjusting element corresponding to the resulting image.
A method for acquiring a continuous image included in a blur image, comprising:

According to claim 3,
The identification network is
Rearranging the order of each successive image included in the blur image according to a predetermined criterion using the position of the feature point of the subject included in the blur image;
A method of obtaining a continuous image included in a blur image, characterized in that predicting an adjustment element corresponding to the resulting image according to the rearranged order.

According to claim 1,
The control element is
A method of obtaining a continuous image included in a blur image, characterized in that it has a value normalized to a predetermined range.

an input unit that receives a blur image and an adjustment element; and
By using a self-control application block, feature information, which is information about a position and a channel corresponding to the adjusting element in the feature map of the blurred image, is generated, and the feature information is generated from the blurred image, the feature map, and the feature information to the adjusting element. A generative network that generates a corresponding resulting image
Apparatus for obtaining a continuous image included in a blur image, characterized in that it comprises a.

According to claim 6,
The self-control application block
An apparatus for obtaining a continuous image included in a blurred image, characterized in that it is learned through a conditional generative adversarial network (CGAN).

According to claim 7,
The CGAN is
the production network; and
An identification network that receives the blurred image and the resulting image, determines the authenticity of the resulting image, and predicts an adjusting element corresponding to the resulting image.
Apparatus for obtaining a continuous image included in a blur image, characterized in that it comprises a.

According to claim 8,
The identification network is
Rearranging the order of each successive image included in the blur image according to a predetermined criterion using the position of the feature point of the subject included in the blur image;
Apparatus for obtaining a continuous image included in a blur image, characterized in that for predicting an adjusting element corresponding to the resulting image according to the rearranged order.

According to claim 6,
The control element is
An apparatus for obtaining a continuous image included in a blur image, characterized in that it has a value normalized to a predetermined range.