KR101780057B1 - Apparatus and method for restroing high resolution image - Google Patents
Apparatus and method for restroing high resolution image Download PDFInfo
- Publication number
- KR101780057B1 KR101780057B1 KR1020160098574A KR20160098574A KR101780057B1 KR 101780057 B1 KR101780057 B1 KR 101780057B1 KR 1020160098574 A KR1020160098574 A KR 1020160098574A KR 20160098574 A KR20160098574 A KR 20160098574A KR 101780057 B1 KR101780057 B1 KR 101780057B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- resolution image
- feature maps
- enlarged
- image processing
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000011176 pooling Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 241000283070 Equus zebra Species 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H04N5/23232—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명의 실시예들은 저해상도 영상에 복수 개의 영상처리 레이어(layer)를 순차적으로 적용하여, 고해상도 영상을 복원하는 고해상도 영상 복원 방법 및 그 장치에 관한 것이다.Embodiments of the present invention relate to a high-resolution image reconstruction method and apparatus for sequentially reconstructing a high-resolution image by sequentially applying a plurality of image processing layers to a low-resolution image.
통신기술이 발달함에 따라, 사용자들은 상호간에 텍스트 형태의 정보뿐만 아니라, 사진, 동영상 등 다양한 정보를 상호간에 공유할 수 있게 되었으나, 이러한 사진, 동영상 등은 그 용량이 커서 원본 영상을 그대로 전송하는 경우, 지나치게 많은 자원을 소모하게 된다.As the communication technology has developed, users have been able to share various information such as pictures, videos, and the like in addition to text information among each other. However, such a photograph, video, , Consuming too much resources.
따라서, 통신망을 통해 사진, 동영상을 비롯한 각종 영상을 전송하는 경우, 원본 영상을 압축하여 저해상도 영상을 전송한 뒤, 수신자 측에서 압축된 영상에 이미지 처리 기법을 적용하여 원본 영상과 유사한 고해상도 영상을 생성하는 방식을 이용하게 된다.Therefore, when transmitting various images such as photographs and moving images through a communication network, a low-resolution image is compressed by compressing the original image, and a high-resolution image similar to the original image is generated by applying an image processing technique to the compressed image at the receiver side .
한편, 영상을 보간하여 고해상도 영상을 생성하는 방식은, 영상 전송 분야뿐만 아니라 과속 단속 카메라가 추출한 영상에서 자동차 번호판을 인식하거나, 영상 내 촬영된 인물의 인상착의를 분석하기 위한 분야를 비롯한 다양한 분야에서 활용되게 된다.On the other hand, a method of interpolating images and generating a high-resolution image is not limited to the field of image transmission, but also in various fields including a field for recognizing a license plate in a video extracted by a speeding-speed camera or analyzing impressions of a person photographed in an image .
이러한, 저해상도 영상을 고해상도 영상으로 보간하기 위해 종래에는 저해상도 영상과 고해상도 영상의 상관관계를 이용하였으며, 이러한 영상 보간법(image interpolation)에는 최근린내삽법(Nearest Neighbor), 공일차내삽법(Bilinear), 스플라인 보간법(Spline) 등이 있다.In order to interpolate low-resolution images into high-resolution images, correlation between low-resolution images and high-resolution images has been used. Recently, image interpolation includes nearest neighbor, bilinear interpolation, Spline interpolation method (spline), and the like.
그러나, 종래의 영상 보간법(image interpolation)은 저해상도 영상과 고해상도 영상의 상관관계를 이용하였기 때문에, 저해상도 영상과 고해상도 영상의 상관관계를 산출할 수 없는 경우에는, 영상의 복원이 불가능한 문제가 있었다.However, since the conventional image interpolation uses the correlation between the low-resolution image and the high-resolution image, there is a problem that the image can not be reconstructed if the correlation between the low-resolution image and the high-resolution image can not be calculated.
따라서, 인공신경망을 활용하여 저해상도 영상에 복수 개의 영상처리 레이어(layer)를 순차적으로 적용하여, 저해상도 영상과 고해상도 영상의 상관관계를 산출할 수 없는 경우에도 고해상도 영상을 복원할 수 있는, 고해상도 영상 복원 방법 및 그 장치가 필요한 실정이다.Therefore, by applying artificial neural network to a plurality of image processing layers sequentially on a low-resolution image, it is possible to restore a high-resolution image even when a correlation between a low-resolution image and a high- Method and apparatus are needed.
본 발명의 목적은, 상기 문제점을 해결하기 위한 것으로, 저해상도 영상에 복수 개의 영상처리 레이어(layer)를 순차적으로 적용하여 산출된 잔류 영상(residual image)을 이용하여 고해상도 영상을 복원하기 위한 것이다.An object of the present invention is to restore a high-resolution image using a residual image calculated by sequentially applying a plurality of image processing layers to a low-resolution image.
나아가, 본 발명의 목적은, 저해상도 영상과 고해상도 영상의 상관관계를 산출할 수 없는 경우에도 원본 영상과 유사한 고해상도 영상을 복원할 수 있도록 하기 위함이다.Furthermore, it is an object of the present invention to restore a high-resolution image similar to an original image even when a correlation between a low-resolution image and a high-resolution image can not be calculated.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the above-mentioned problem (s), and another problem (s) not mentioned can be clearly understood by those skilled in the art from the following description.
상기한 목적을 달성하기 위하여, 본 발명의 실시예에 따른 고해상도 영상 복원 방법은 영상 확대부가, 입력된 저해상도 영상을 기설정된 기준에 따라 확대한 영상인 확대 저해상도 영상을 생성하는 단계, 잔류 영상 생성부가, 확대 저해상도 영상에 복수 개의 영상처리 레이어(layer)를 순차적으로 적용하여 확대 저해상도 영상의 특징을 이용해 산출된 영상인 잔류 영상(residual image)을 생성하는 단계 및 영상 복원부가, 확대 저해상도 영상 및 잔류 영상을 이용하여, 확대 고해상도 영상을 생성하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method for reconstructing a high-resolution image, the method comprising: generating an enlarged low-resolution image that is an enlarged image of an input low-resolution image according to a predetermined reference; A step of sequentially applying a plurality of image processing layers to an enlarged low resolution image to generate a residual image which is a feature of the enlarged low resolution image and a step of generating an enlarged low resolution image and a residual image And generating an enlarged high resolution image using the enlarged high resolution image.
일 실시예에 따라, 확대 저해상도 영상을 생성하는 단계에서, 영상 확대부는, 입력된 저해상도 영상의 너비 및 높이를 각각 2배로 확대하여 보간한 확대 저해상도 영상을 생성하는 것을 특징으로 한다.According to one embodiment, in the step of generating the enlarged low resolution image, the image enlarging unit enlarges the width and height of the input low resolution image by two and generates an interpolated expanded low resolution image.
예컨대, 잔류 영상을 생성하는 단계는, 잔류 영상 생성부가, 확대 저해상도 영상에 제1 영상처리 레이어를 적용하여 확대 저해상도 영상의 특징을 포함하는 특징 맵(feature map)인 복수 개의 제1 특징 맵을 산출하는 단계, 잔류 영상 생성부가, 복수 개의 제1 특징 맵에 제2 영상처리 레이어를 적용하여 복수 개의 제1 특징 맵 각각의 대표 특징을 포함하는 특징 맵인 복수 개의 제2 특징 맵을 산출하는 단계, 잔류 영상 생성부가, 복수 개의 제2 특징 맵에 제3 영상처리 레이어를 적용하여 복수 개의 제2 특징 맵의 특징을 포함하는 특징 맵인 복수 개의 제3 특징 맵을 산출하는 단계 및 잔류 영상 생성부가, 상기 복수 개의 제3 특징 맵에 제4 영상처리 레이어를 적용하여 잔류 영상을 산출하는 단계를 포함한다.For example, in the step of generating the residual image, the residual image generating unit may apply a first image processing layer to the enlarged low resolution image to calculate a plurality of first feature maps, which are feature maps including the features of the enlarged low resolution image Calculating a plurality of second feature maps, which are feature maps that include representative features of each of the plurality of first feature maps, by applying a second image processing layer to the plurality of first feature maps; The image generating unit may include a step of calculating a plurality of third feature maps, which are feature maps including features of the plurality of second feature maps, by applying a third image processing layer to the plurality of second feature maps, And applying a fourth image processing layer to the third feature maps to calculate a residual image.
예를 들어, 복수 개의 제1 특징 맵을 산출하는 단계에서, 제1 영상처리 레이어는, 기설정된 크기의 제1 윈도우(window)를 기설정된 개수만큼 포함하는 컨볼루션(convolution) 레이어이며, 복수 개의 제1 특징 맵은 제1 윈도우의 개수만큼 산출되는 것을 특징으로 한다.For example, in the step of calculating the plurality of first feature maps, the first image processing layer is a convolution layer including a predetermined number of first windows of a predetermined size, And the first feature map is calculated by the number of the first windows.
일 실시예에 따라, 복수 개의 제2 특징 맵을 산출하는 단계에서, 제2 영상처리 레이어는, 기설정된 크기의 제2 윈도우(window)를 기설정된 개수만큼 포함하는 풀링(pooling) 레이어이며, 복수 개의 제2 특징 맵은 제2 윈도우의 개수만큼 산출되는 것을 특징으로 한다.According to an exemplary embodiment, in the step of calculating the plurality of second feature maps, the second image processing layer is a pooling layer including a predetermined number of second windows of a predetermined size, And the second feature map is calculated by the number of the second windows.
예컨대, 풀링 레이어는, 기설정된 크기의 제2 윈도우가 적용된 픽셀들 각각의 픽셀값들 중 가장 큰 픽셀값을 반복하여 추출하는 최대 풀링(Max Pooling) 레이어인 것을 특징으로 한다.For example, the pooling layer is a Max Pooling layer that repeatedly extracts the largest pixel value among pixel values of pixels to which a second window of a predetermined size is applied.
예를 들어, 복수 개의 제3 특징 맵을 산출하는 단계에서, 제3 영상처리 레이어는, 기설정된 크기의 제3 윈도우(window)를 기설정된 개수만큼 포함하는 컨볼루션(convolution) 레이어이며, 복수 개의 제3 특징 맵은 제3 윈도우의 개수만큼 산출되는 것을 특징으로 한다.For example, in the step of calculating the plurality of third feature maps, the third image processing layer is a convolution layer including a predetermined number of third windows of a predetermined size, And the third feature map is calculated by the number of the third windows.
일 실시예에 따라, 잔류 영상을 산출하는 단계에서, 제4 영상처리 레이어는, 기설정된 크기의 제4 윈도우(window)를 포함하는 디컨볼루션(deconvolution) 레이어인 것을 특징으로 한다.According to one embodiment, in the step of calculating the residual image, the fourth image processing layer is a deconvolution layer including a fourth window of a predetermined size.
상기한 목적을 달성하기 위하여, 본 발명의 실시예에 따른 고해상도 영상 복원 장치는 입력된 저해상도 영상을 기설정된 기준에 따라 확대한 영상인 확대 저해상도 영상을 생성하는 영상 확대부, 확대 저해상도 영상에 복수 개의 영상처리 레이어(layer)를 순차적으로 적용하여 확대 저해상도 영상의 특징을 이용해 산출된 영상인 잔류 영상(residual image)을 생성하는 잔류 영상 생성부 및 확대 저해상도 영상 및 잔류 영상을 이용하여, 확대 고해상도 영상을 생성하는 영상 복원부를 포함한다.According to an aspect of the present invention, there is provided an apparatus for reconstructing a high-resolution image, the apparatus including an image enlargement unit for generating an enlarged low-resolution image, which is an enlarged image of an input low- A residual image generating unit for generating a residual image, which is an image generated using the features of the enlarged low resolution image, and an enlarged low resolution image and a residual image sequentially applying the image processing layer to the enlarged high resolution image And an image restoring unit for generating the image.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.The details of other embodiments are included in the detailed description and the accompanying drawings.
본 발명의 실시예에 따르면, 저해상도 영상에 복수 개의 영상처리 레이어(layer)를 순차적으로 적용하여 산출된 잔류 영상(residual image)을 이용하여 고해상도 영상을 복원할 수 있다.According to an embodiment of the present invention, a high-resolution image can be restored by using a residual image calculated by sequentially applying a plurality of image processing layers to a low-resolution image.
나아가, 본 발명의 실시예에 따르면, 저해상도 영상과 고해상도 영상의 상관관계를 산출할 수 없는 경우에도 높은 정확도로 원본 영상과 유사한 고해상도 영상을 복원할 수 있다.Furthermore, according to the embodiment of the present invention, even when a correlation between a low-resolution image and a high-resolution image can not be calculated, a high-resolution image similar to an original image can be restored with high accuracy.
도 1은 본 발명의 실시예에 따른 고해상도 영상 복원 장치를 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른 고해상도 영상 복원 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 실시예에 따른 고해상도 영상 복원 방법에서 잔류 영상 생성 단계의 일 실시예를 설명하기 위한 순서도이다.
도 4는 본 발명의 실시예에 따른 고해상도 영상 복원 방법에서 잔류 영상 생성 단계의 복수 개의 영상 처리 레이어의 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 고해상도 영상 복원 방법 및 장치와 종래의 고해상도 영상 복원 방법을 비교하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 고해상도 영상 복원 방법 및 장치와 종래의 고해상도 영상 복원 방법을 비교하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 고해상도 영상 복원 방법 및 장치와 종래의 고해상도 영상 복원 방법을 비교하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 고해상도 영상 복원 방법 및 장치와 종래의 고해상도 영상 복원 방법의 성능 차이를 설명하기 위한 도면이다.1 is a block diagram illustrating a high-resolution image restoration apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating a high-resolution image restoration method according to an embodiment of the present invention.
3 is a flowchart illustrating a residual image generating step in a high-resolution image restoring method according to an embodiment of the present invention.
4 is a view for explaining an embodiment of a plurality of image processing layers in a residual image generating step in a high-resolution image restoring method according to an embodiment of the present invention.
FIG. 5 is a diagram for comparing a high-resolution image restoration method and apparatus according to an embodiment of the present invention and a conventional high-resolution image restoration method.
6 is a diagram for comparing a high-resolution image restoration method and apparatus and a conventional high-resolution image restoration method according to an embodiment of the present invention.
FIG. 7 is a diagram for comparing a method and apparatus for reconstructing a high-resolution image according to an embodiment of the present invention and a conventional high-resolution image reconstruction method.
8 is a view for explaining a difference in performance between a high resolution image restoration method and apparatus and a conventional high resolution image restoration method according to an embodiment of the present invention.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to facilitate a person skilled in the art to easily carry out the technical idea of the present invention. . In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
이하, 본 발명의 실시예에 따른 고해상도 영상 복원 방법 및 장치를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다.Hereinafter, a high-resolution image restoration method and apparatus according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 실시예에 따른 고해상도 영상 복원 장치를 설명하기 위한 구성도이다.1 is a block diagram illustrating a high-resolution image restoration apparatus according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 고해상도 영상 복원 장치는 영상 확대부(110), 잔류 영상 생성부(120) 및 영상 복원부(130)를 포함한다.As shown in FIG. 1, a high-resolution image restoration apparatus according to an embodiment of the present invention includes an
일 실시예에 따라, 영상 확대부(110)는 입력된 저해상도 영상을 기설정된 기준에 따라 확대한 영상인 확대 저해상도 영상을 생성할 수 있다.According to an exemplary embodiment, the
예컨대, 잔류 영상 생성부(120)는 확대 저해상도 영상에 복수 개의 영상처리 레이어(layer)를 순차적으로 적용하여 확대 저해상도 영상의 특징을 이용해 산출된 영상인 잔류 영상(residual image)을 생성할 수 있다.For example, the residual
예를 들어, 영상 복원부(130)는 확대 저해상도 영상 및 잔류 영상을 이용하여, 확대 고해상도 영상을 생성할 수 있다.For example, the
일 실시예에 따라, 영상 복원부(130)는 확대 저해상도 영상과 잔류 영상을 더하여 확대 고해상도 영상을 생성할 수 있다.According to one embodiment, the
예컨대, 확대 저해상도 영상에 잔류 영상을 더하는 것은, 확대 저해상도 영상의 각각의 픽셀들과 대응되는 잔류 영상의 각각의 픽셀들을 더하는 것을 의미할 수도 있다.For example, adding the residual image to the enlarged low resolution image may mean adding each pixel of the enlarged low resolution image to each of the corresponding pixels of the residual image.
본 발명의 실시예에 따른 고해상도 영상 복원 장치의 각각의 구성들에 대한 보다 구체적인 설명은 이하 도 2 내지 도 8을 참조하여 보다 상세히 설명하도록 하며, 중복되는 설명은 생략한다.A more detailed description of each configuration of the high-resolution image restoration apparatus according to the embodiment of the present invention will be described in more detail with reference to FIG. 2 to FIG. 8, and redundant description will be omitted.
이제 도 2를 참조하여, 본 발명의 실시예에 따른 고해상도 영상 복원 방법을 설명한다.Now, referring to FIG. 2, a high-resolution image restoration method according to an embodiment of the present invention will be described.
도 2는 본 발명의 실시예에 따른 고해상도 영상 복원 방법을 설명하기 위한 순서도이다.2 is a flowchart illustrating a high-resolution image restoration method according to an embodiment of the present invention.
도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 고해상도 영상 복원 방법은 확대 저해상도 영상을 생성하는 단계(S210), 잔류 영상을 생성하는 단계(S220) 및 확대 고해상도 영상을 생성하는 단계(S230)를 포함한다.2, the method for reconstructing a high-resolution image according to an exemplary embodiment of the present invention includes a step S210 of generating an enlarged low-resolution image, a step S220 of generating a residual image, and a step S230 of generating an enlarged high- ).
S210 단계에서, 영상 확대부(110)는, 입력된 저해상도 영상을 기설정된 기준에 따라 확대한 영상인 확대 저해상도 영상을 생성한다.In step S210, the
여기서, 입력된 저해상도 영상은, 복원의 대상이 되는 영상을 의미할 수 있으며, 도면에 도시되지는 않았으나, 저해상도 영상은 별도의 입력부(미도시)를 통해 입력되거나, 별도의 저장부(미도시)에 미리 저장되어 있을 수도 있다.Here, the input low-resolution image may be an image to be restored. Although not shown in the figure, the low-resolution image may be input through a separate input unit (not shown) or may be stored in a separate storage unit (not shown) In advance.
일 실시예에 따라, S210 단계에서, 영상 확대부(110)는 입력된 저해상도 영상의 너비 및 높이를 서로 같은 비율로 확대하여 보간한 확대 저해상도 영상을 생성할 수 있다.According to one embodiment, in step S210, the
예컨대, 입력된 저해상도 영상의 너비 및 높이를 각각 확대하는 비율은, 확대 저해상도 영상의 크기와 S230 단계에서 생성하고자 하는 확대 고해상도 영상의 크기가 같아질 수 있는 비율을 의미할 수 있다.For example, the ratio of enlarging the width and height of the input low-resolution image may be the ratio of the size of the enlarged low-resolution image to the size of the enlarged high-resolution image to be generated in step S230.
일 실시예에 따라, S210 단계에서, 영상 확대부(110)가 입력된 저해상도 영상의 너비 및 높이를 각각 기설정된 배수로 확대하여 보간한 확대 저해상도 영상을 생성하기 위해, 영상 확대부(110)는 0차 홀드 보간법, linear 보간법, bilinear 보간법, spline 보간법, color 보간법, nearest neighbor 보간법, cubic convolution 보간법을 비롯한 각종 영상 보간법을 활용할 수 있다.According to an embodiment, in step S210, the
예를 들어, S210 단계에서 영상 확대부(110)는, 입력된 저해상도 영상의 너비 및 높이를 각각 2배로 확대하여 보간한 확대 저해상도 영상을 생성할 수도 있다.For example, in step S210, the
이 경우, S230 단계에서 생성되는 확대 고해상도 영상은 확대 저해상도 영상과 같은 크기로 생성될 수 있다.In this case, the enlarged high-resolution image generated in step S230 may be generated in the same size as the enlarged low-resolution image.
S220 단계에서, 잔류 영상 생성부(120)는 확대 저해상도 영상에 복수 개의 영상처리 레이어(layer)를 순차적으로 적용하여 확대 저해상도 영상의 특징을 이용해 산출된 영상인 잔류 영상(residual image)을 생성할 수 있다.In step S220, the residual
S220 단계에서, 잔류 영상 생성부(120)가 잔류 영상을 생성하기 위하여, 컨볼루션 뉴럴 네트워크(Convolutional Neural Network, CNN)을 이용할 수 있다.In step S220, the residual
컨볼루션 뉴럴 네트워크(Convolutional Neural Network, CNN)는 딥 러닝(deep learning)의 일종으로, 영상 처리 분야에서 이미지를 이해하거나, 이미지로부터 각종 정보를 추출하기 위한 인공 신경망을 의미할 수 있다.Convolutional Neural Network (CNN) is a type of deep learning that can be used to understand an image in the field of image processing or to extract artifacts from an image.
한편, S220 단계에서, 잔류 영상 생성부(120)가 잔류 영상을 생성하기 위하여, 4 개의 영상처리 레이어를 가지는 변형 컨볼루션 뉴럴 네트워크를 활용할 수도 있다.Meanwhile, in step S220, the residual
일 실시예에 따라, 잔류 영상은 확대 고해상도 영상의 픽셀 정보 중 확대 저해상도 영상의 픽셀 정보에서는 누락된 픽셀 정보를 포함하는 영상을 의미할 수 있다.According to one embodiment, the residual image may mean an image including missing pixel information in the pixel information of the enlarged low resolution image among the pixel information of the enlarged high resolution image.
예컨대, 잔류 영상은 종래의 영상 확대 및 보간 방법으로는 복원할 수 없는 영상 정보를 변형 컨볼루션 뉴럴 네트워크를 이용하여 예측한 영상 정보를 포함할 수 있다.For example, the residual image may include image information obtained by predicting image information that can not be restored by a conventional image enlargement and interpolation method using a deformation convolution neural network.
일 실시예에 따라 잔류 영상은, 픽셀의 강도의 크기값 및 위치값의 변동에 대한 정보를 포함할 수 있다.According to one embodiment, the residual image may include information about the magnitude value of the intensity of the pixel and the variation of the position value.
예를 들어, 잔류 영상은 고주파 성분을 가지는 영상 정보를 포함할 수 있다.For example, the residual image may include image information having a high frequency component.
예컨대, 잔류 영상은 확대 고해상도 영상과 확대 저해상도 영상의 차이값을 의미할 수 있다.For example, the residual image may mean the difference value between the enlarged high resolution image and the enlarged low resolution image.
S220 단계에 대한 보다 구체적인 설명은 이하 도 3 및 도 4를 참조하여 후술하도록 하며, 중복되는 설명은 생략한다.A more detailed description of step S220 will be described below with reference to FIG. 3 and FIG. 4, and redundant description will be omitted.
S230 단계에서, 영상 복원부(130)는, 확대 저해상도 영상 및 잔류 영상을 이용하여, 확대 고해상도 영상을 생성할 수 있다.In operation S230, the
예컨대, S230 단계에서, 영상 복원부(130)는 확대 저해상도 영상의 각각의 픽셀들과 잔류 영상의 각각에 픽셀들 중 확대 저해상도 영상의 각각의 픽셀들과 대응되는 픽셀들의 픽셀값을 서로 더하여 확대 고해상도 영상을 생성할 수 있다.For example, in step S230, the
일 실시예에 따라, S230 단계에서, 영상 복원부(130)는 확대 저해상도 영상의 각각의 픽셀들 중 영상정보가 누락된 픽셀들의 픽셀값에 잔류 영상의 각각의 픽셀값을 더하여 확대 고해상도 영상을 생성할 수도 있다.According to an exemplary embodiment, the
다시 말해, S230 단계에서 영상 복원부(130)는 확대 저해상도 영상과 잔류 영상 각각의 픽셀값에 기초하여 확대 고해상도 영상을 생성할 수 있는 것이다.In other words, in step S230, the
이때, S230 단계에서 생성되는 확대 고해상도 영상의 크기는 S210 단계에서 생성된 확대 저해상도 영상의 크기와 동일할 수 있다.At this time, the size of the enlarged high resolution image generated in step S230 may be the same as the size of the enlarged low resolution image generated in step S210.
이제 도 3을 참조하여, S220 단계를 보다 상세히 설명하도록 한다.Referring now to Figure 3, step S220 will be described in more detail.
도 3은 본 발명의 실시예에 따른 고해상도 영상 복원 방법에서 잔류 영상 생성 단계의 일 실시예를 설명하기 위한 순서도이다.3 is a flowchart illustrating a residual image generating step in a high-resolution image restoring method according to an embodiment of the present invention.
도 3에 도시된 바와 같이, S220 단계는 복수 개의 제1 특징 맵을 산출하는 단계(S222), 복수 개의 제2 특징 맵을 산출하는 단계(S224), 복수 개의 제3 특징 맵을 산출하는 단계(S226) 및 잔류 영상을 산출하는 단계(S228)를 포함한다.As shown in FIG. 3, step S220 includes a step S222 of calculating a plurality of first feature maps, a step S224 of calculating a plurality of second feature maps, a step of calculating a plurality of third feature maps S226) and calculating a residual image (S228).
S222 단계에서, 잔류 영상 생성부(120)는, 확대 저해상도 영상에 제1 영상처리 레이어를 적용하여 확대 저해상도 영상의 특징을 포함하는 특징 맵(feature map)인 복수 개의 제1 특징 맵을 산출할 수 있다.In step S222, the residual
S224 단계에서, 잔류 영상 생성부(120)는, 복수 개의 제1 특징 맵에 제2 영상처리 레이어를 적용하여 복수 개의 제1 특징 맵 각각의 대표 특징을 포함하는 특징 맵인 복수 개의 제2 특징 맵을 산출할 수 있다.In step S224, the residual
S226 단계에서, 잔류 영상 생성부(120)는, 복수 개의 제2 특징 맵에 제3 영상처리 레이어를 적용하여 복수 개의 제2 특징 맵의 특징을 포함하는 특징 맵인 복수 개의 제3 특징 맵을 산출할 수 있다.In step S226, the residual
S228 단계에서, 잔류 영상 생성부(120)는, 복수 개의 제3 특징 맵에 제4 영상처리 레이어를 적용하여 잔류 영상을 산출할 수 있다.In step S228, the residual
이때, 특징 맵(feature map)은 영상처리 레이어를 적용하여 생성된 새로운 영상 정보로, 영상처리 레이어를 적용하기 이전 영상의 특징들이 각각 포함된 새로운 영상 정보를 의미할 수 있다.In this case, the feature map may be new image information generated by applying the image processing layer, and may include new image information including the features of the image before applying the image processing layer.
예컨대, 영상처리 레이어를 적용하여 산출된 복수 개의 특징 맵 각각에는 영상처리 레이어를 적용하기 이전 영상의 특징들 중 하나의 특징을 의미하는 특징 값(feature value), 영상처리 레이어를 적용하기 이전 영상의 특징들 중 복수의 특징을 의미하는 특징 벡터(feature vector) 및 특징 행렬(feature matrix)를 비롯한 특징들이 포함될 수 있다. For example, in each of the plurality of feature maps calculated by applying the image processing layer, a feature value indicating one feature of the image before applying the image processing layer, a feature value indicating a feature of the image before applying the image processing layer, Features including a feature vector and a feature matrix may be included, which means a plurality of features among the features.
이제 도 3 및 도 4를 동시에 참조하여, S222 단계, S224 단계, S226 단계 및 S228 단계 각각을 보다 상세히 설명하도록 한다.Referring now to FIGS. 3 and 4 simultaneously, steps S222, S224, S226 and S228 will be described in more detail.
도 4는 본 발명의 실시예에 따른 고해상도 영상 복원 방법에서 잔류 영상 생성 단계의 복수 개의 영상 처리 레이어의 일 실시예를 설명하기 위한 도면이다.4 is a view for explaining an embodiment of a plurality of image processing layers in a residual image generating step in a high-resolution image restoring method according to an embodiment of the present invention.
S222 단계에서, 잔류 영상 생성부(120)는, 확대 저해상도 영상에 제1 영상처리 레이어를 적용하여 복수 개의 제1 특징 맵을 산출할 수 있다.In step S222, the residual
보다 상세하게, S222 단계에서 제1 영상처리 레이어는 기설정된 크기의 제1 윈도우(window)를 기설정된 개수만큼 포함하는 레이어를 의미할 수 있다.More specifically, in step S222, the first image processing layer may include a predetermined number of first windows having a predetermined size.
일 실시예에 따라, 제1 영상처리 레이어의 기설정된 개수의 제1 윈도우는 계층적으로 서로 연결될 수 있다.According to one embodiment, a predetermined number of first windows of the first image processing layer may be hierarchically interconnected.
이때, 제1 영상처리 레이어는 확대 저해상도 영상에 적용된 기설정된 크기의 제1 윈도우를 기설정된 칸씩 슬라이드 하면서, 복수 개의 제1 특징 맵을 산출할 수도 있다.At this time, the first image processing layer may calculate the plurality of first feature maps while sliding the first window of the predetermined size applied to the enlarged low resolution image by predetermined spaces.
예컨대, S222 단계에서 복수 개의 제1 특징 맵은 제1 윈도우의 기설정된 개수만큼 산출될 수 있다.For example, in step S222, the plurality of first feature maps may be calculated by a predetermined number of the first windows.
도 4를 참조하면, S222 단계에서 제1 영상처리 레이어는 컨볼루션(convolution) 레이어일 수 있다. 이때, 제1 영상처리 레이어는 64개의 9×9 크기의 제1 윈도우가 64 층으로 연결된 레이어이며, 제1 윈도우를 1칸씩 슬라이드(stride1)하는 레이어를 의미할 수 있다.Referring to FIG. 4, in step S222, the first image processing layer may be a convolution layer. In this case, the first image processing layer may be a layer in which 64 first 9 × 9 windows are connected in 64 layers, and a first window is strided by 1 frame.
이 경우, 제1 영상처리 레이어는, 확대 저해상도 영상에 컨볼루션 필터링을 수행하여 확대 저해상도 영상의 엣지를 비롯한 특징을 추출하여 복수 개의 제1 특징 맵을 산출할 수 있으며, 복수 개의 제1 윈도우는 각각 1칸씩 슬라이드 하기 때문에, 복수 개의 제1 특징 맵은 각각 확대 저해상도 영상과 같은 크기를 가질 수 있고, 제1 윈도우가 64 층으로 연결되었기 때문에, 복수 개의 제1 특징 맵은 총 64개가 생성될 수 있다.In this case, the first image processing layer may perform convolutional filtering on the enlarged low resolution image to extract features including an edge of the enlarged low resolution image to calculate a plurality of first feature maps, The first feature map can have the same size as the enlarged low resolution image, and since the first window is connected to 64 layers, a total of 64 first feature maps can be generated .
S224 단계에서, 잔류 영상 생성부(120)는, 복수 개의 제1 특징 맵에 제2 영상처리 레이어를 적용하여 복수 개의 제2 특징 맵을 산출할 수 있다.In step S224, the residual
보다 상세하게, S224 단계에서 제2 영상처리 레이어는 기설정된 크기의 제2 윈도우(window)를 기설정된 개수만큼 포함하는 레이어를 의미할 수 있다.More specifically, in step S224, the second image processing layer may include a predetermined number of second windows having a predetermined size.
일 실시예에 따라, 제2 영상처리 레이어의 기설정된 개수의 제2 윈도우는 계층적으로 서로 연결될 수 있다.According to one embodiment, a predetermined number of second windows of the second image processing layer may be hierarchically interconnected.
이때, 제2 영상처리 레이어는 복수 개의 제1특징 맵에 적용된 기설정된 크기의 제2 윈도우를 기설정된 칸씩 슬라이드 하면서, 복수 개의 제1특징 맵의 대표값을 포함하는 복수 개의 제2 특징 맵을 산출할 수도 있다.At this time, the second image processing layer calculates a plurality of second feature maps including a representative value of the plurality of first feature maps, while sliding the second window of the predetermined size applied to the plurality of first feature maps by predetermined spaces You may.
예컨대, S224 단계에서 복수 개의 제2 특징 맵은 제2 윈도우의 기설정된 개수만큼 산출될 수 있다.For example, in step S224, the plurality of second feature maps may be calculated by a predetermined number of the second windows.
일 실시예에 따르면, 제2 영상처리 레이어는 복수 개의 제1특징 맵의 대표값을 산출하는 풀링(Pooling) 레이어일 수 있다.According to an embodiment, the second image processing layer may be a pooling layer for calculating a representative value of a plurality of first feature maps.
도 4를 참조하면, S224단계에서 제2 영상처리 레이어는 최대 풀링(Max Pooling) 레이어 일 수 있다.Referring to FIG. 4, in step S224, the second image processing layer may be a Max Pooling layer.
이때, 최대 풀링 레이어는 기설정된 크기의 제2 윈도우가 적용된 픽셀들 각각의 픽셀값들 중 가장 큰 픽셀값을 반복하여 추출하는 영상 처리 레이어를 의미할 수 있다.In this case, the maximum pooling layer may refer to an image processing layer that repeatedly extracts the largest pixel value among the pixel values of the pixels to which the second window of a predetermined size is applied.
이때, 제2 영상처리 레이어는 64개의 2×2 크기의 제2 윈도우가 64 층으로 연결된 레이어이며, 제2 윈도우는 2칸씩 슬라이드(stride2)하는 레이어를 의미할 수 있다.In this case, the second image processing layer may be a layer in which 64 second 2 × 2 second windows are connected in 64 layers, and the second window is a layer that
이 경우, 제2 영상처리 레이어는, 복수 개의 제1 특징 맵에 포함된 픽셀들 중 2×2 크기의 윈도우가 적용된 픽셀들의 픽셀값 중 가장 큰 픽셀값을 추출하고, 2×2 크기의 윈도우를 2칸 슬라이드 하여 다시 가장 큰 픽셀값을 추출하는 동작을 반복하여, 복수 개의 제1 특징 맵의 대표값을 추출할 수 있다.In this case, the second image processing layer extracts the largest pixel value among the pixel values of the pixels to which the 2x2 window is applied among the pixels included in the plurality of first feature maps, and outputs the 2x2 size window The representative value of the plurality of first feature maps can be extracted by repeating the operation of two-fold sliding and extracting the largest pixel value again.
여기서, 복수 개의 제2 윈도우는 각각 2칸씩 슬라이드 하여, 복수 개의 제1 특징 맵에 포함된 인접한 총 4개의 픽셀값 중 제일 큰 값만을 추출하는 동작을 반복하기 때문에, 복수 개의 제2 특징 맵은 각각 복수 개의 제1 특징맵보다 넓이가 1/4로 줄어들고, 너비 및 높이가 각각 1/2로 줄어든 크기를 가질 수 있으며, 제2 윈도우가 64 층으로 연결되었기 때문에, 복수 개의 제2 특징 맵은 총 64개가 생성될 수 있다.Here, since the plurality of second windows slide by two spaces each, and the operation of extracting only the largest one among the four neighboring pixel values included in the plurality of first feature maps is repeated, a plurality of second feature maps The width of the first characteristic map is reduced to 1/4, the width and height of the second characteristic map are reduced to 1/2, and the second window is connected to the 64th layer. Therefore, 64 can be generated.
S226 단계에서, 잔류 영상 생성부(120)는, 복수 개의 제2 특징 맵에 제3 영상처리 레이어를 적용하여 복수 개의 제3 특징 맵을 산출할 수 있다.In step S226, the residual
보다 상세하게, S226 단계에서 제3 영상처리 레이어는 기설정된 크기의 제3 윈도우(window)를 기설정된 개수만큼 포함하는 레이어를 의미할 수 있다.More specifically, in step S226, the third image processing layer may include a predetermined number of third windows having a predetermined size.
일 실시예에 따라, 제3 영상처리 레이어의 기설정된 개수의 제3 윈도우는 계층적으로 서로 연결될 수 있다.According to one embodiment, a predetermined number of third windows of the third image processing layer may be hierarchically interconnected.
이때, 제3 영상처리 레이어는 복수 개의 제2 특징 맵에 적용된 기설정된 크기의 제3 윈도우를 기설정된 칸씩 슬라이드 하면서, 복수 개의 제3 특징 맵을 산출할 수도 있다.At this time, the third image processing layer may calculate a plurality of third feature maps while sliding the third window of a predetermined size applied to the plurality of second feature maps by predetermined spaces.
예컨대, S226 단계에서 복수 개의 제3 특징 맵은 제3 윈도우의 기설정된 개수만큼 산출될 수 있다.For example, in step S226, the plurality of third feature maps may be calculated by a predetermined number of the third windows.
도 4를 참조하면, S226 단계에서 제3 영상처리 레이어는 컨볼루션(convolution) 레이어일 수 있다. 이때, 제3 영상처리 레이어는 32개의 3×3 크기의 제3 윈도우가 32 층으로 연결된 레이어이며, 제3 윈도우를 1칸씩 슬라이드(stride1)하는 레이어를 의미할 수 있다.Referring to FIG. 4, in step S226, the third image processing layer may be a convolution layer. In this case, the third image processing layer is a layer in which thirty-third 3 × 3 size third windows are connected in 32 layers, and the third window is strided by one frame.
이 경우, 제3 영상처리 레이어는, 복수 개의 제2 특징 맵에 컨볼루션 필터링을 수행하여 복수 개의 제2 특징 맵의 엣지를 비롯한 특징을 추출하여 복수 개의 제3 특징 맵을 산출할 수 있으며, 복수 개의 제3 윈도우는 각각 1칸씩 슬라이드 하기 때문에, 복수 개의 제3 특징 맵은 각각 복수 개의 제2 특징 맵과 같은 크기를 가질 수 있고, 제3 윈도우가 32 층으로 연결되었기 때문에, 복수 개의 제3 특징 맵은 총 32개가 생성될 수 있다.In this case, the third image processing layer may perform convolution filtering on the plurality of second feature maps to extract features including the edges of the plurality of second feature maps to calculate a plurality of third feature maps, Each of the third windows slides by one space each. Therefore, the plurality of third feature maps may have the same size as the plurality of second feature maps, and the third window is connected to the 32th layer, A total of 32 maps can be created.
S228 단계에서, 잔류 영상 생성부(120)는 잔류 영상 생성부(120)는, 복수 개의 제3 특징 맵에 제4 영상처리 레이어를 적용하여 잔류 영상을 산출할 수 있다.In step S228, the residual
보다 상세하게, S228 단계에서 제4 영상처리 레이어는 기설정된 크기의 제4 윈도우(window)를 포함하는 레이어를 의미할 수 있다.More specifically, in step S228, the fourth image processing layer may include a fourth window having a predetermined size.
이때, 제4 영상처리 레이어는 복수 개의 제3 특징 맵에 적용된 기설정된 크기의 제4 윈도우를 기설정된 칸씩 슬라이드 하면서, 잔류 영상을 산출할 수도 있다.At this time, the fourth image processing layer may calculate the residual image while sliding the fourth window of the predetermined size applied to the plurality of third characteristic maps by predetermined intervals.
도 4를 참조하면, S228 단계에서 제4 영상처리 레이어는 디컨볼루션(deconvolution) 레이어일 수 있다. 이때, 제4 영상처리 레이어는 1개의 6×6 크기의 제4 윈도우를 포함하는 레이어일 수 있다.Referring to FIG. 4, in operation S228, the fourth image processing layer may be a deconvolution layer. At this time, the fourth image processing layer may be a layer including one 6 × 6 fourth window.
디컨볼루션(deconvolution) 레이어는 제1 영상처리 레이어, 제2 영상처리 레이어 및 제3 영상처리 레이어 각각에서 추출 및 압축된 특징들을 해석할 수 있다.The deconvolution layer may interpret extracted and compressed features in each of the first image processing layer, the second image processing layer, and the third image processing layer.
일 실시예에 따라, 제4 영상처리 레이어는, 확대 저해상도 영상에 비해 넓이가 1/4로 줄어들고, 너비 및 높이가 각각 1/2로 줄어든 크기를 가지는 복수 개의 제3 특징 맵의 각각의 픽셀로부터 너비 방향으로 1개의 픽셀, 높이 방향으로 1개의 픽셀 그리고 대각선 방향으로 1개의 픽셀을 추가로 생성하여 확대 저해상도 영상과 같은 크기의 1개의 잔류 영상을 산출할 수 있다.According to an embodiment, the fourth image processing layer may be formed from a plurality of pixels of a plurality of third feature maps each of which has a width reduced by 1/4 compared to the enlarged low resolution image, One pixel in the width direction, one pixel in the height direction and one pixel in the diagonal direction can be additionally generated to generate one residual image having the same size as the enlarged low resolution image.
다시 말해, 제4 영상처리 레이어는, 복수 개의 제3 특징 맵의 각각의 픽셀로부터 총 3개의 인접한 추가 픽셀을 생성하여, 확대 저해상도 영상과 같은 크기의 1개의 잔류 영상을 산출할 수 있다.In other words, the fourth image processing layer can generate a total of three adjacent additional pixels from each pixel of the plurality of third feature maps, thereby generating one residual image of the same size as the enlarged low-resolution image.
이제 도 5 내지 도 8을 동시에 참조하여, 본 발명의 실시예에 따른 고해상도 영상 복원 방법 및 장치와 종래의 고해상도 영상 복원 방법을 비교하도록 한다.Now, referring to FIGS. 5 to 8, a high-resolution image restoration method and apparatus according to an embodiment of the present invention and a conventional high-resolution image restoration method will be compared.
도 5 내지 도 7은 각각 본 발명의 실시예에 따른 고해상도 영상 복원 방법 및 장치와 종래의 고해상도 영상 복원 방법을 비교하기 위한 도면이다.5 to 7 are diagrams for comparing a high-resolution image restoration method and apparatus according to an embodiment of the present invention and a conventional high-resolution image restoration method.
도 8은 본 발명의 실시예에 따른 고해상도 영상 복원 방법 및 장치와 종래의 고해상도 영상 복원 방법의 성능 차이를 설명하기 위한 도면이다.8 is a view for explaining a difference in performance between a high resolution image restoration method and apparatus and a conventional high resolution image restoration method according to an embodiment of the present invention.
이때, 본 발명의 실시예에 따른 고해상도 영상 복원 방법 및 장치는 총 4개의 영상처리 레이어를 순차적으로 적용하는 변형 컨볼루션 뉴럴 네트워크를 활용한 영상 복원 방법 및 장치일 수 있다.Here, the high-resolution image restoration method and apparatus according to an embodiment of the present invention may be an image restoration method and apparatus utilizing a modified convolution neural network that sequentially applies a total of four image processing layers.
도 5a는 고해상도 영상 복원 방법의 대상이 되는 아기 이미지에 대한 전체 이미지로, 도 5a에 도시된 사각형 테두리 내의 이미지에 대해 본 발명의 실시예에 따른 고해상도 영상 복원 방법 및 장치와 종래의 고해상도 영상 복원 방법을 비교하도록 한다.5A is a whole image of a baby image to be subjected to a high-resolution image restoration method. Referring to FIG. 5A, a high-resolution image restoration method and apparatus according to an embodiment of the present invention and a conventional high- .
도 5b는 입력된 저해상도 이미지를 의미하고, 도 5c는 원본 고해상도 이미지를 의미한다.FIG. 5B shows an input low-resolution image, and FIG. 5C shows an original high-resolution image.
이때, 도 5b의 이미지를 종래의 고해상도 영상 복원 방법을 이용하여 복원한 결과는 도 5d와 같이 나타난다.The result of restoring the image of FIG. 5B using the conventional high-resolution image restoration method is shown in FIG. 5D.
한편, 도 5b의 이미지에 대해 본 발명의 실시예에 따른 고해상도 영상 복원 방법 및 장치를 적용하는 경우 잔류 이미지는 도 5e에 도시된 바와 같이 나타나고, 잔류 이미지를 활용하여 복원한 결과는 도 5f와 같이 나타난다.5B, when the high-resolution image restoring method and apparatus according to the embodiment of the present invention is applied, the residual image is shown in FIG. 5E, and the restored image using the residual image is shown in FIG. 5F appear.
이때, 도 5d의 경우 영상의 엣지가 올바르게 복원되지 않았으나, 도 5f의 경우 영상의 엣지가 올바르게 복원된 것을 확인할 수 있다.In this case, although the edge of the image is not correctly restored in FIG. 5D, it can be seen that the edge of the image is correctly restored in FIG. 5F.
본 발명의 실시예에 따른 고해상도 영상 복원 방법 및 장치와 종래의 고해상도 영상 복원 방법을 보다 명확하게 비교하기 위하여, 원본 고해상도 이미지인 도 5c를 도 5d 및 도 5f와 각각 비교한다.In order to more clearly compare the high resolution image restoration method and apparatus according to the embodiment of the present invention and the conventional high resolution image restoration method, FIG. 5C, which is an original high resolution image, is compared with FIGS. 5D and 5F, respectively.
원본 고해상도 이미지인 도 5c와 종래의 고해상도 영상 복원 방법을 이용하여 복원한 이미지인 도 5d를 비교하여 에러를 산출한 결과는 도 5g와 같이 나타난다.5C, which is an original high-resolution image, and FIG. 5D, which is an image restored by using a conventional high-resolution image restoring method, and the error is calculated as shown in FIG. 5G.
한편, 원본 고해상도 이미지인 도 5c와 본 발명의 실시예에 따른 고해상도 영상 복원 방법 및 장치를 이용하여 복원한 이미지인 도 5f를 비교하여 에러를 산출한 결과는 도 5h와 같이 나타난다.Meanwhile, FIG. 5H, which is an original high-resolution image, and FIG. 5H, which is an image restored by using the high-resolution image restoration method and apparatus according to an embodiment of the present invention, and the error is calculated as shown in FIG. 5H.
도 5g의 경우 아기의 볼 부분에서 뚜렷한 엣지가 검출되었으나, 도 5h의 경우 뚜렷한 엣지가 검출되지 않는 것을 확인할 수 있다.In FIG. 5G, a clear edge is detected in the baby's ball portion, but in FIG. 5H, no clear edge is detected.
다시 말해, 도 5g에서 확인할 수 있듯이 종래의 고해상도 영상 복원 방법을 이용하는 경우 원본 고해상도 이미지와 차이가 크게 나타는데 비하여, 도 5h에서 확인할 수 있듯이 본 발명의 실시예에 따른 고해상도 영상 복원 방법 및 장치를 이용하는 경우 원본 고해상도 이미지와 차이가 적게 나타나게 되는 것이다.5G, a difference between the conventional high resolution image reconstruction method and the original high resolution image is large. On the other hand, as can be seen from FIG. 5H, the high resolution image reconstruction method and apparatus according to the embodiment of the present invention The difference between the original image and the original high-resolution image is small.
도 6a는 고해상도 영상 복원 방법의 대상이 되는 얼룩말 이미지에 대한 전체 이미지로, 도 6a에 도시된 사각형 테두리 내의 이미지에 대해 본 발명의 실시예에 따른 고해상도 영상 복원 방법 및 장치와 종래의 고해상도 영상 복원 방법을 비교하도록 한다.6A is an overall image of a zebra image to be subjected to a high-resolution image restoration method. Referring to FIG. 6A, a method and apparatus for restoring a high-resolution image according to an embodiment of the present invention and a conventional high- .
이때, 도 6b는 입력된 저해상도 이미지, 도 6c는 원본 고해상도 이미지, 도 6d는 종래의 고해상도 영상 복원 방법을 이용하여 복원한 이미지, 도 6e는 본 발명의 실시예에 따른 고해상도 영상 복원 방법 및 장치에서 잔류 이미지, 도 6f는 본 발명의 실시예에 따른 고해상도 영상 복원 방법 및 장치를 활용하여 복원한 이미지, 도 6g는 도 6c와 도 6d간 에러를 나타내는 이미지, 도 6h는 도 6c와 도 6f간 에러를 나타내는 이미지이다.6B shows an input low resolution image, FIG. 6C shows an original high resolution image, FIG. 6D shows an image restored using a conventional high resolution image restoration method, FIG. 6E shows a high resolution image restoration method and apparatus according to an embodiment of the present invention, FIG. 6F shows an image reconstructed using the high-resolution image reconstruction method and apparatus according to the embodiment of the present invention, FIG. 6G shows an image showing an error between FIG. 6C and FIG. 6D, FIG. 6H shows an error between FIGS. 6C and 6F .
도 5에서 설명한 바와 마찬가지로, 도 6g에서 확인할 수 있듯이 종래의 고해상도 영상 복원 방법을 이용하는 경우 원본 고해상도 이미지와 차이가 크게 나타는데 비하여, 도 6h에서 확인할 수 있듯이 본 발명의 실시예에 따른 고해상도 영상 복원 방법 및 장치를 이용하는 경우 원본 고해상도 이미지와 차이가 적게 나타나게 되는 것을 확인할 수 있다.As shown in FIG. 6G, when the conventional high-resolution image restoration method is used, the difference from the original high-resolution image is large. On the other hand, as shown in FIG. 6H, the high- And the difference between the original high-resolution image and the original low-resolution image is small.
도 7은 고해상도 영상 복원 방법의 대상이 되는 소년 이미지에 대한 전체 이미지이며, 도 7에 대해 도 5 및 도 6과 동일한 비교를 수행하였으며, 도 5의 아기 이미지, 도 6의 얼룩말 이미지 및 도 7의 소년 이미지 각각에 대해 종래의 고해상도 영상 복원 방법과 본 발명의 실시예에 따른 고해상도 영상 복원 방법을 비교한 결과는 도 8에 도시된 바와 같이 나타날 수 있다.7 is a whole image of a boy image to be subjected to a high-resolution image restoration method. FIG. 7 is a view similar to FIG. 5 and FIG. 6 for comparison. FIG. 7 shows a baby image of FIG. 5, The results of comparing the conventional high resolution image restoration method and the high resolution image restoration method according to the embodiment of the present invention with respect to each of the boy images can be shown as shown in FIG.
도 8은 도 5의 아기 이미지, 도 6의 얼룩말 이미지 및 도 7의 소년 이미지 각각에 대해 종래의 고해상도 영상 복원 방법(SRCNN)과 본 발명의 실시예에 따른 고해상도 영상 복원 방법(Proposed)을 최대 신호 대 잡음비(Peak Signal-to-Noise Ratio)를 통해 비교한 결과이다.FIG. 8 shows a conventional high resolution image reconstruction method (SRCNN) and a high resolution image reconstruction method (proposed) according to an embodiment of the present invention for the baby image of FIG. 5, the zebra image of FIG. 6, (Peak Signal-to-Noise Ratio).
도 5의 아기 이미지의 경우, 종래의 고해상도 영상 복원 방법(SRCNN)은 36.99dB의 PSNR값이 도출되고, 본 발명의 실시예에 따른 고해상도 영상 복원 방법(Proposed)은 37.05dB의 PSNR값이 도출되었으며, 본 발명의 실시예에 따른 고해상도 영상 복원 방법(Proposed)은 종래의 고해상도 영상 복원 방법(SRCNN)에 비해 0.06dB만큼 성능의 향상을 보였다.In the case of the baby image of FIG. 5, the PSNR value of 36.99 dB is derived from the conventional high resolution image restoration method (SRCNN), and the PSNR value of 37.05 dB is derived from the high resolution image restoration method according to the embodiment of the present invention , The high resolution image reconstruction method according to the embodiment of the present invention shows a performance improvement of 0.06 dB compared to the conventional high resolution image reconstruction method (SRCNN).
도 6의 얼룩말 이미지의 경우, 종래의 고해상도 영상 복원 방법(SRCNN)은 31.17dB의 PSNR값이 도출되고, 본 발명의 실시예에 따른 고해상도 영상 복원 방법(Proposed)은 31.58dB의 PSNR값이 도출되었으며, 본 발명의 실시예에 따른 고해상도 영상 복원 방법(Proposed)은 종래의 고해상도 영상 복원 방법(SRCNN)에 비해 0.41dB만큼 성능의 향상을 보였다.In the case of the zebra image shown in FIG. 6, the PSNR value of 31.17 dB is derived from the conventional high resolution image restoration method (SRCNN), and the PSNR value of 31.58 dB is derived from the high resolution image restoration method according to the embodiment of the present invention , The high resolution image reconstruction method according to the embodiment of the present invention shows a performance improvement of 0.41 dB compared to the conventional high resolution image reconstruction method (SRCNN).
도 7의 소년 이미지의 경우, 종래의 고해상도 영상 복원 방법(SRCNN)은 33.98dB의 PSNR값이 도출되고, 본 발명의 실시예에 따른 고해상도 영상 복원 방법(Proposed)은 34.23dB의 PSNR값이 도출되었으며, 본 발명의 실시예에 따른 고해상도 영상 복원 방법(Proposed)은 종래의 고해상도 영상 복원 방법(SRCNN)에 비해 0.25dB만큼 성능의 향상을 보였다.In the case of the boy image in FIG. 7, the PSNR value of 33.98 dB is derived from the conventional high resolution image restoration method (SRCNN), and the PSNR value of 34.23 dB is derived from the high resolution image restoration method according to the embodiment of the present invention , The high resolution image reconstruction method according to the embodiment of the present invention shows a performance improvement by 0.25 dB compared to the conventional high resolution image reconstruction method (SRCNN).
이상에서 본 발명에 따른 바람직한 실시예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진 자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but many variations and modifications may be made without departing from the scope of the present invention. It will be understood that the invention may be practiced.
110: 영상 확대부
120: 잔류 영상 생성부
130: 영상 복원부110:
120: Residual image generating unit
130:
Claims (9)
잔류 영상 생성부가, 상기 확대 저해상도 영상에 복수 개의 영상처리 레이어(layer)를 순차적으로 적용하여 상기 확대 저해상도 영상의 특징을 이용해 산출된 영상인 잔류 영상(residual image)을 생성하는 단계; 및
영상 복원부가, 상기 확대 저해상도 영상 및 상기 잔류 영상을 이용하여, 확대 고해상도 영상을 생성하는 단계를 포함하며,
상기 잔류 영상을 생성하는 단계는,
상기 잔류 영상 생성부가, 상기 확대 저해상도 영상에 제1 영상처리 레이어를 적용하여 상기 확대 저해상도 영상의 특징을 포함하는 특징 맵(feature map)인 복수 개의 제1 특징 맵을 산출하는 단계;
상기 잔류 영상 생성부가, 상기 복수 개의 제1 특징 맵에 제2 영상처리 레이어를 적용하여 상기 복수 개의 제1 특징 맵 각각의 대표 특징을 포함하는 특징 맵인 복수 개의 제2 특징 맵을 산출하는 단계;
상기 잔류 영상 생성부가, 상기 복수 개의 제2 특징 맵에 제3 영상처리 레이어를 적용하여 상기 복수 개의 제2 특징 맵의 특징을 포함하는 특징 맵인 복수 개의 제3 특징 맵을 산출하는 단계; 및
상기 잔류 영상 생성부가, 상기 복수 개의 제3 특징 맵에 제4 영상처리 레이어를 적용하여 상기 잔류 영상을 산출하는 단계를 순차적으로 포함하고,
상기 제1 영상처리 레이어는, 기설정된 크기의 제1 윈도우(window)를 기설정된 개수만큼 포함하는 컨볼루션(convolution) 레이어이며,
상기 제2 영상처리 레이어는, 기설정된 크기의 제2 윈도우(window)를 기설정된 개수만큼 포함하는 풀링(pooling) 레이어이며,
상기 제3 영상처리 레이어는, 기설정된 크기의 제3 윈도우(window)를 기설정된 개수만큼 포함하는 컨볼루션(convolution) 레이어이며,
상기 제4 영상처리 레이어는, 기설정된 크기의 제4 윈도우(window)를 포함하는 디컨볼루션(deconvolution) 레이어인 것을 특징으로 하는,
고해상도 영상 복원 방법.Generating an enlarged low resolution image which is an enlarged image of the inputted low resolution image according to a preset reference;
A residual image generating unit sequentially applying a plurality of image processing layers to the enlarged low resolution image to generate a residual image that is a calculated image using the feature of the enlarged low resolution image; And
And generating an enlarged high resolution image using the enlarged low resolution image and the residual image,
Wherein the generating the residual image comprises:
Wherein the residual image generating unit comprises: calculating a plurality of first feature maps, which are feature maps including a feature of the enlarged low resolution image, by applying a first image processing layer to the enlarged low resolution image;
Wherein the residual image generating unit comprises: calculating a plurality of second feature maps, which are feature maps including representative features of each of the plurality of first feature maps, by applying a second image processing layer to the plurality of first feature maps;
Wherein the residual image generating unit comprises: calculating a plurality of third feature maps, which are feature maps including the features of the plurality of second feature maps, by applying a third image processing layer to the plurality of second feature maps; And
Wherein the residual image generating unit sequentially applies the fourth image processing layer to the plurality of third feature maps to calculate the residual image,
The first image processing layer is a convolution layer including a predetermined number of first windows of a predetermined size,
The second image processing layer is a pooling layer including a predetermined number of second windows of a predetermined size,
The third image processing layer is a convolution layer including a predetermined number of third windows of a predetermined size,
Wherein the fourth image processing layer is a deconvolution layer including a fourth window of a predetermined size.
High resolution image restoration method.
상기 확대 저해상도 영상을 생성하는 단계에서,
상기 영상 확대부는, 상기 입력된 저해상도 영상의 너비 및 높이를 각각 2배로 확대하여 보간한 확대 저해상도 영상을 생성하는 것을 특징으로 하는,
고해상도 영상 복원 방법.The method according to claim 1,
In the step of generating the enlarged low-resolution image,
Wherein the image enlarging unit enlarges the width and the height of the inputted low resolution image by two and generates an interpolated expanded low resolution image,
High resolution image restoration method.
상기 복수 개의 제1 특징 맵을 산출하는 단계에서,
상기 복수 개의 제1 특징 맵은 상기 제1 윈도우의 개수만큼 산출되는 것을 특징으로 하는,
고해상도 영상 복원 방법.The method according to claim 1,
In the step of calculating the plurality of first feature maps,
Wherein the plurality of first feature maps are calculated by the number of the first windows.
High resolution image restoration method.
상기 복수 개의 제2 특징 맵을 산출하는 단계에서,
상기 복수 개의 제2 특징 맵은 상기 제2 윈도우의 개수만큼 산출되는 것을 특징으로 하는,
고해상도 영상 복원 방법.The method according to claim 1,
In the step of calculating the plurality of second feature maps,
Wherein the plurality of second feature maps are calculated by the number of the second windows.
High resolution image restoration method.
상기 풀링 레이어는,
상기 기설정된 크기의 제2 윈도우가 적용된 픽셀들 각각의 픽셀값들 중 가장 큰 픽셀값을 반복하여 추출하는 최대 풀링(Max Pooling) 레이어인 것을 특징으로 하는,
고해상도 영상 복원 방법.6. The method of claim 5,
The pulling layer
And a maximum pooling layer for repeatedly extracting a largest pixel value among pixel values of pixels to which the second window of the predetermined size is applied.
High resolution image restoration method.
상기 복수 개의 제3 특징 맵을 산출하는 단계에서,
상기 복수 개의 제3 특징 맵은 상기 제3 윈도우의 개수만큼 산출되는 것을 특징으로 하는,
고해상도 영상 복원 방법.The method according to claim 1,
In the step of calculating the plurality of third characteristic maps,
Wherein the plurality of third feature maps are calculated as the number of the third windows.
High resolution image restoration method.
상기 확대 저해상도 영상에 복수 개의 영상처리 레이어(layer)를 순차적으로 적용하여 상기 확대 저해상도 영상의 특징을 이용해 산출된 영상인 잔류 영상(residual image)을 생성하는 잔류 영상 생성부; 및
상기 확대 저해상도 영상 및 상기 잔류 영상을 이용하여, 확대 고해상도 영상을 생성하는 영상 복원부를 포함하며,
상기 잔류 영상 생성부는,
상기 확대 저해상도 영상에 제1 영상처리 레이어를 적용하여 상기 확대 저해상도 영상의 특징을 포함하는 특징 맵(feature map)인 복수 개의 제1 특징 맵을 산출하고, 상기 복수 개의 제1 특징 맵에 제2 영상처리 레이어를 적용하여 상기 복수 개의 제1 특징 맵 각각의 대표 특징을 포함하는 특징 맵인 복수 개의 제2 특징 맵을 산출하고, 상기 복수 개의 제2 특징 맵에 제3 영상처리 레이어를 적용하여 상기 복수 개의 제2 특징 맵의 특징을 포함하는 특징 맵인 복수 개의 제3 특징 맵을 산출하고, 상기 복수 개의 제3 특징 맵에 제4 영상처리 레이어를 적용하여 상기 잔류 영상을 산출하는 동작을 순차적으로 수행하고,
상기 제1 영상처리 레이어는, 기설정된 크기의 제1 윈도우(window)를 기설정된 개수만큼 포함하는 컨볼루션(convolution) 레이어이며,
상기 제2 영상처리 레이어는, 기설정된 크기의 제2 윈도우(window)를 기설정된 개수만큼 포함하는 풀링(pooling) 레이어이며,
상기 제3 영상처리 레이어는, 기설정된 크기의 제3 윈도우(window)를 기설정된 개수만큼 포함하는 컨볼루션(convolution) 레이어이며,
상기 제4 영상처리 레이어는, 기설정된 크기의 제4 윈도우(window)를 포함하는 디컨볼루션(deconvolution) 레이어인 것을 특징으로 하는,
고해상도 영상 복원 장치.An image enlarging unit for generating an enlarged low resolution image which is an enlarged image of the input low resolution image according to a predetermined reference;
A residual image generating unit for sequentially applying a plurality of image processing layers to the enlarged low resolution image to generate a residual image which is a calculated image using the feature of the enlarged low resolution image; And
And an image restoring unit for generating an enlarged high resolution image using the enlarged low resolution image and the residual image,
Wherein the residual image generating unit comprises:
Applying a first image processing layer to the enlarged low resolution image to calculate a plurality of first feature maps that are feature maps including the features of the enlarged low resolution image, A processing layer is applied to calculate a plurality of second feature maps that are feature maps that include representative features of each of the plurality of first feature maps and a third image processing layer is applied to the plurality of second feature maps, Sequentially calculating a plurality of third feature maps, which are feature maps including features of a second feature map, and calculating a residual image by applying a fourth image processing layer to the plurality of third feature maps,
The first image processing layer is a convolution layer including a predetermined number of first windows of a predetermined size,
The second image processing layer is a pooling layer including a predetermined number of second windows of a predetermined size,
The third image processing layer is a convolution layer including a predetermined number of third windows of a predetermined size,
Wherein the fourth image processing layer is a deconvolution layer including a fourth window of a predetermined size.
High resolution image restoration device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160098574A KR101780057B1 (en) | 2016-08-02 | 2016-08-02 | Apparatus and method for restroing high resolution image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160098574A KR101780057B1 (en) | 2016-08-02 | 2016-08-02 | Apparatus and method for restroing high resolution image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101780057B1 true KR101780057B1 (en) | 2017-09-19 |
Family
ID=60033463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160098574A KR101780057B1 (en) | 2016-08-02 | 2016-08-02 | Apparatus and method for restroing high resolution image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101780057B1 (en) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101933696B1 (en) | 2018-05-21 | 2018-12-28 | 주식회사 지디에프랩 | Vod service system based on ai video learning platform |
| KR101933698B1 (en) | 2018-05-21 | 2018-12-28 | 주식회사 지디에프랩 | Device for extracting and providing weights through ai image learning |
| KR20190040586A (en) * | 2017-10-11 | 2019-04-19 | 인하대학교 산학협력단 | Method and apparatus for reconstructing single image super-resolution based on artificial neural network |
| KR20190089777A (en) * | 2018-01-23 | 2019-07-31 | 주식회사 날비컴퍼니 | Method for processing image for improving the quality of the image and apparatus for performing the same |
| WO2019147020A1 (en) * | 2018-01-23 | 2019-08-01 | 주식회사 날비컴퍼니 | Method and device for processing image for quality improvement of image |
| CN110191299A (en) * | 2019-04-15 | 2019-08-30 | 浙江大学 | A kind of multiplex frame interpolation method based on convolutional neural networks |
| CN110288518A (en) * | 2019-06-28 | 2019-09-27 | 北京三快在线科技有限公司 | Image processing method, device, terminal and storage medium |
| CN110298791A (en) * | 2019-07-08 | 2019-10-01 | 西安邮电大学 | A kind of super resolution ratio reconstruction method and device of license plate image |
| WO2019209005A1 (en) * | 2018-04-24 | 2019-10-31 | 주식회사 지디에프랩 | Artificial intelligence based resolution improvement system |
| WO2019225793A1 (en) * | 2018-05-21 | 2019-11-28 | 주식회사 지디에프랩 | Ai video learning platform-based vod service system |
| KR20190139781A (en) * | 2018-06-08 | 2019-12-18 | 연세대학교 산학협력단 | CNN-based high resolution image generating apparatus for minimizing data acquisition time and method therefor |
| KR20190140815A (en) * | 2018-11-15 | 2019-12-20 | 주식회사 지디에프랩 | Image learning support system for resolution restoration using user's preference information |
| KR20190140813A (en) * | 2018-11-15 | 2019-12-20 | 주식회사 지디에프랩 | Image learning system that performs resolution restoration function based on object |
| KR20190140814A (en) * | 2018-11-15 | 2019-12-20 | 주식회사 지디에프랩 | System for providing VOD in poor network environments |
| WO2020017871A1 (en) * | 2018-07-16 | 2020-01-23 | 삼성전자 주식회사 | Image processing apparatus and operation method thereof |
| KR20200068062A (en) * | 2018-11-27 | 2020-06-15 | (주)팍스메디 | Resolution correction device of thermal image |
| KR102157610B1 (en) | 2019-10-29 | 2020-09-18 | 세종대학교산학협력단 | System and method for automatically detecting structural damage by generating super resolution digital images |
| WO2020242221A1 (en) * | 2019-05-31 | 2020-12-03 | 동국대학교 산학협력단 | Method and device for generating high resolution video using operation information |
| KR102216391B1 (en) | 2020-12-23 | 2021-02-17 | 박준영 | Real-time video transmission system and method of video transmission using digital remastering technology |
| US11095925B2 (en) | 2018-04-24 | 2021-08-17 | Gdflab Co., Ltd. | Artificial intelligence based resolution improvement system |
| KR20230085299A (en) | 2021-12-07 | 2023-06-14 | 세종대학교산학협력단 | System and method for detecting damage of structure by generating multi-scale resolution image |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005033667A (en) * | 2003-07-10 | 2005-02-03 | Fuji Xerox Co Ltd | Image processing system, image providing device, image output device, image processing method, and its program |
-
2016
- 2016-08-02 KR KR1020160098574A patent/KR101780057B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005033667A (en) * | 2003-07-10 | 2005-02-03 | Fuji Xerox Co Ltd | Image processing system, image providing device, image output device, image processing method, and its program |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190040586A (en) * | 2017-10-11 | 2019-04-19 | 인하대학교 산학협력단 | Method and apparatus for reconstructing single image super-resolution based on artificial neural network |
| KR101996730B1 (en) * | 2017-10-11 | 2019-07-04 | 인하대학교 산학협력단 | Method and apparatus for reconstructing single image super-resolution based on artificial neural network |
| US11798131B2 (en) | 2018-01-23 | 2023-10-24 | Nalbi Inc. | Method for processing image for improving the quality of the image and apparatus for performing the same |
| KR102174777B1 (en) | 2018-01-23 | 2020-11-06 | 주식회사 날비컴퍼니 | Method for processing image for improving the quality of the image and apparatus for performing the same |
| KR20190089777A (en) * | 2018-01-23 | 2019-07-31 | 주식회사 날비컴퍼니 | Method for processing image for improving the quality of the image and apparatus for performing the same |
| WO2019147020A1 (en) * | 2018-01-23 | 2019-08-01 | 주식회사 날비컴퍼니 | Method and device for processing image for quality improvement of image |
| WO2019209005A1 (en) * | 2018-04-24 | 2019-10-31 | 주식회사 지디에프랩 | Artificial intelligence based resolution improvement system |
| US11095925B2 (en) | 2018-04-24 | 2021-08-17 | Gdflab Co., Ltd. | Artificial intelligence based resolution improvement system |
| KR101933698B1 (en) | 2018-05-21 | 2018-12-28 | 주식회사 지디에프랩 | Device for extracting and providing weights through ai image learning |
| WO2019225793A1 (en) * | 2018-05-21 | 2019-11-28 | 주식회사 지디에프랩 | Ai video learning platform-based vod service system |
| KR101933696B1 (en) | 2018-05-21 | 2018-12-28 | 주식회사 지디에프랩 | Vod service system based on ai video learning platform |
| US11368758B2 (en) | 2018-05-21 | 2022-06-21 | Gdflab Co., Ltd. | VOD service system based on AI video learning platform |
| KR102224597B1 (en) * | 2018-06-08 | 2021-03-08 | 연세대학교 산학협력단 | CNN-based high resolution image generating apparatus for minimizing data acquisition time and method therefor |
| KR20190139781A (en) * | 2018-06-08 | 2019-12-18 | 연세대학교 산학협력단 | CNN-based high resolution image generating apparatus for minimizing data acquisition time and method therefor |
| US11871144B2 (en) | 2018-07-16 | 2024-01-09 | Samsung Electronics Co., Ltd. | Image processing apparatus and operation method thereof |
| WO2020017871A1 (en) * | 2018-07-16 | 2020-01-23 | 삼성전자 주식회사 | Image processing apparatus and operation method thereof |
| KR102130074B1 (en) | 2018-11-15 | 2020-07-03 | 주식회사 지디에프랩 | System for providing VOD in poor network environments |
| KR102130075B1 (en) | 2018-11-15 | 2020-07-03 | 주식회사 지디에프랩 | Image learning support system for resolution restoration using user's preference information |
| KR102130073B1 (en) | 2018-11-15 | 2020-07-03 | 주식회사 지디에프랩 | Image learning system that performs resolution restoration function based on object |
| KR20190140814A (en) * | 2018-11-15 | 2019-12-20 | 주식회사 지디에프랩 | System for providing VOD in poor network environments |
| KR20190140813A (en) * | 2018-11-15 | 2019-12-20 | 주식회사 지디에프랩 | Image learning system that performs resolution restoration function based on object |
| KR20190140815A (en) * | 2018-11-15 | 2019-12-20 | 주식회사 지디에프랩 | Image learning support system for resolution restoration using user's preference information |
| KR20200068062A (en) * | 2018-11-27 | 2020-06-15 | (주)팍스메디 | Resolution correction device of thermal image |
| KR102140657B1 (en) * | 2018-11-27 | 2020-08-03 | (주)팍스메디 | Resolution correction device of thermal image |
| CN110191299A (en) * | 2019-04-15 | 2019-08-30 | 浙江大学 | A kind of multiplex frame interpolation method based on convolutional neural networks |
| WO2020242221A1 (en) * | 2019-05-31 | 2020-12-03 | 동국대학교 산학협력단 | Method and device for generating high resolution video using operation information |
| CN110288518B (en) * | 2019-06-28 | 2020-10-23 | 北京三快在线科技有限公司 | Image processing method, device, terminal and storage medium |
| CN110288518A (en) * | 2019-06-28 | 2019-09-27 | 北京三快在线科技有限公司 | Image processing method, device, terminal and storage medium |
| CN110298791B (en) * | 2019-07-08 | 2022-10-28 | 西安邮电大学 | Super-resolution reconstruction method and device for license plate image |
| CN110298791A (en) * | 2019-07-08 | 2019-10-01 | 西安邮电大学 | A kind of super resolution ratio reconstruction method and device of license plate image |
| KR102157610B1 (en) | 2019-10-29 | 2020-09-18 | 세종대학교산학협력단 | System and method for automatically detecting structural damage by generating super resolution digital images |
| KR102216391B1 (en) | 2020-12-23 | 2021-02-17 | 박준영 | Real-time video transmission system and method of video transmission using digital remastering technology |
| KR20230085299A (en) | 2021-12-07 | 2023-06-14 | 세종대학교산학협력단 | System and method for detecting damage of structure by generating multi-scale resolution image |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101780057B1 (en) | Apparatus and method for restroing high resolution image | |
| CN111047516B (en) | Image processing method, image processing device, computer equipment and storage medium | |
| CN111476737B (en) | Image processing method, intelligent device and computer readable storage medium | |
| JP5188205B2 (en) | Method for increasing the resolution of moving objects in an image acquired from a scene by a camera | |
| US20220222776A1 (en) | Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution | |
| CN111709895A (en) | Image blind deblurring method and system based on attention mechanism | |
| CN111563552B (en) | Image fusion method, related device and apparatus | |
| RU2454721C2 (en) | Image forming device and method, program for realising said method and data medium storing program | |
| JP2007000205A (en) | Image processing apparatus, image processing method, and image processing program | |
| WO2011092696A1 (en) | Method and system for generating an output image of increased pixel resolution from an input image | |
| WO2003047234A2 (en) | System and method for providing multi-sensor super-resolution | |
| Tian et al. | Joint image registration and super-resolution from low-resolution images with zooming motion | |
| CN111402139A (en) | Image processing method, image processing device, electronic equipment and computer readable storage medium | |
| CN115115522A (en) | Goods shelf commodity image splicing method and system | |
| Deshpande et al. | SURVEY OF SUPER RESOLUTION TECHNIQUES. | |
| Simpkins et al. | An introduction to super-resolution imaging | |
| Chandramouli et al. | A generative model for generic light field reconstruction | |
| Zamani et al. | Multiple-frames super-resolution for closed circuit television forensics | |
| CN110555414B (en) | Target detection method, device, equipment and storage medium | |
| Köhler et al. | Benchmarking super-resolution algorithms on real data | |
| Paul et al. | Maximum accurate medical image demosaicing using WRGB based Newton Gregory interpolation method | |
| Alshammri et al. | Three-dimensional video super-resolution reconstruction scheme based on histogram matching and recursive Bayesian algorithms | |
| KR102366187B1 (en) | A method and apparatus for generating super resolve intensity image | |
| Bonanomi et al. | I3D: a new dataset for testing denoising and demosaicing algorithms | |
| Haris et al. | An efficient super resolution based on image dimensionality reduction using accumulative intensity gradient |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |