KR20190110320A - Method for restoration of image, apparatus and system for executing the method - Google Patents

Method for restoration of image, apparatus and system for executing the method Download PDF

Info

Publication number
KR20190110320A
KR20190110320A KR1020180032168A KR20180032168A KR20190110320A KR 20190110320 A KR20190110320 A KR 20190110320A KR 1020180032168 A KR1020180032168 A KR 1020180032168A KR 20180032168 A KR20180032168 A KR 20180032168A KR 20190110320 A KR20190110320 A KR 20190110320A
Authority
KR
South Korea
Prior art keywords
subband
low resolution
residual
neural network
image
Prior art date
Application number
KR1020180032168A
Other languages
Korean (ko)
Other versions
KR102064486B1 (en
Inventor
이현재
최규상
정호열
Original Assignee
영남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 영남대학교 산학협력단 filed Critical 영남대학교 산학협력단
Priority to KR1020180032168A priority Critical patent/KR102064486B1/en
Publication of KR20190110320A publication Critical patent/KR20190110320A/en
Application granted granted Critical
Publication of KR102064486B1 publication Critical patent/KR102064486B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

Disclosed are an image restoration method, a device and a system for executing the same. According to an embodiment of the present invention, the image restoration system comprises: an image restoration device wavelet transforming an inputted low resolution image to generate a low resolution sub band, receiving a residual sub band corresponding to the low resolution sub band, composing the low resolution sub band and the residual sub band to generate a restoration sub band, and inversely wavelet transforming the restoration sub band to be restored into a high resolution image; and a composite product neural network receiving the low resolution sub band from the image restoration device and transmitting the residual sub band outputted in accordance with input of the low resolution sub band to the image restoration device.

Description

영상 복원 방법과 이를 수행하기 위한 장치 및 시스템{METHOD FOR RESTORATION OF IMAGE, APPARATUS AND SYSTEM FOR EXECUTING THE METHOD}Image restoration method and apparatus and system for performing the same {METHOD FOR RESTORATION OF IMAGE, APPARATUS AND SYSTEM FOR EXECUTING THE METHOD}

본 발명의 실시예는 영상 복원 기술과 관련된다. Embodiments of the present invention relate to image reconstruction techniques.

최근, 디지털 신호 처리 및 디스플레이 등의 기술 발전으로 많은 분야에서 고해상도 영상에 관심을 가지고 있다. 고해상도 영상은 저해상도의 영상에 비해 많은 정보를 제공하고, 정교한 분석 및 처리를 가능하게 한다. 그러나, 고해상도 영상을 획득하기 위해서는 고가의 하드웨어를 사용해야만 한다는 문제가 존재한다. 이러한 문제를 해결하기 위해, 초고해상도(Super Resolution) 복원 기법이 제안되고 있다. Recently, with the development of technologies such as digital signal processing and display, many fields are interested in high resolution images. High resolution images provide more information and enable sophisticated analysis and processing than low resolution images. However, there is a problem that expensive hardware must be used to obtain a high resolution image. In order to solve this problem, a super resolution restoration technique has been proposed.

초고해상도 복원 기법은 단일 또는 다수의 저해상도의 입력 영상으로부터 고해상도의 영상을 복원하는 기법으로, 의료, CCTV, 모바일 등 다양한 분야에서 활용되고 있다. 기존의 초고해상도 복원 기법으로는 선형 보간법, 고등차수 보간법, 최근접 보간법 등이 있다. 위의 복원 기법은 저해상도의 영상을 업 샘플링 한 후 선형 필터를 적용하여 영상을 복원하게 되는데, 이러한 방법들은 영상에서 고주파 영역의 복원에 한계점이 존재한다. The ultra high resolution restoration technique is a technique for restoring a high resolution image from a single or multiple low resolution input images, and is being used in various fields such as medical, CCTV, and mobile. Existing super resolution restoration techniques include linear interpolation, higher order interpolation, and nearest interpolation. The above reconstruction technique reconstructs an image by applying a linear filter after upsampling a low resolution image. These methods have a limitation in reconstruction of a high frequency region in an image.

한국등록특허공보 제10-0803045호(2008.02.18)Korea Patent Publication No. 10-0803045 (2008.02.18)

본 발명의 실시예는 고주파 영역을 효율적으로 복원할 수 있는 영상 복원 방법과 이를 수행하기 위한 장치 및 시스템을 제공하기 위한 것이다. Embodiments of the present invention provide an image restoration method capable of efficiently restoring a high frequency region, and an apparatus and system for performing the same.

개시되는 일 실시예에 따른 영상 복원 시스템은, 입력되는 저해상도의 영상을 웨이블릿 변환하여 저해상도 서브 밴드를 생성하고, 상기 저해상도 서브 밴드에 대응하는 잔차 서브 밴드를 수신하며, 상기 저해상도 서브 밴드와 상기 잔차 서브 밴드를 합성하여 복원용 서브 밴드를 생성하며, 상기 복원용 서브 밴드를 역 웨이블릿 변환하여 고해상도 영상으로 복원하는 영상 복원 장치; 및 상기 영상 복원 장치로부터 상기 저해상도 서브 밴드를 수신하고, 상기 저해상도 서브 밴드의 입력에 따라 출력되는 상기 잔차 서브 밴드를 상기 영상 복원 장치로 전송하는 합성곱 신경망을 포함한다.According to an exemplary embodiment, an image reconstruction system includes wavelet transforming an input low resolution image to generate a low resolution subband, receiving a residual subband corresponding to the low resolution subband, and receiving the low resolution subband and the residual subband. An image reconstruction device for generating a reconstruction subband by synthesizing the bands, and reconstructing the reconstruction subband into a high resolution image by inverse wavelet transform; And a composite product neural network configured to receive the low resolution subband from the image reconstruction device and transmit the residual subband output according to the input of the low resolution subband to the image reconstruction device.

상기 저해상도 서브 밴드는, 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 포함하고, 상기 영상 복원 장치는, 상기 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 하나의 영상으로 합성하여 상기 합성곱 신경망으로 전송할 수 있다.The low resolution subband includes a first low resolution subband (LRLL), a second low resolution subband (LRLH), a third low resolution subband (LRHL), and a fourth low resolution subband (LRHH). Is synthesized by combining the first low resolution subband (LRLL), the second low resolution subband (LRLH), the third low resolution subband (LRHL), and the fourth low resolution subband (LRHH) into one image. Can be sent.

상기 합성곱 신경망은, 상기 제1 저해상도 서브 밴드(LRLL)와 제1 고해상도 서브 밴드(HRLL) 간의 차이에 따른 제1 잔차 서브 밴드(△LL)를 출력하고, 상기 제2 저해상도 서브 밴드(LRLH)와 제2 고해상도 서브 밴드(HRLH) 간의 차이에 따른 제2 잔차 서브 밴드(△LH)를 출력하며, 상기 제3 저해상도 서브 밴드(LRHL)와 제3 고해상도 서브 밴드(HRHL) 간의 차이에 따른 제3 잔차 서브 밴드(△HL)를 출력하며, 상기 제4 저해상도 서브 밴드(LRHH)와 제4 고해상도 서브 밴드(HRHH) 간의 차이에 따른 제4 잔차 서브 밴드(△HH)를 출력하도록 학습된 것일 수 있다.The composite product neural network outputs a first residual subband ΔLL according to a difference between the first low resolution subband LRLL and the first high resolution subband HRLL, and outputs the second low resolution subband LRLH. And a second residual subband (ΔLH) according to a difference between the second high resolution subband (HRLH) and a third according to the difference between the third low resolution subband (LRHL) and the third high resolution subband (HRHL). The residual subband ΔHL may be output, and the fourth residual subband ΔHH according to the difference between the fourth low resolution subband LRHH and the fourth high resolution subband HRHH may be learned. .

상기 영상 복원 장치는, 상기 제1 저해상도 서브 밴드(LRLL)와 상기 제1 잔차 서브 밴드(△LL)를 합성하여 제1 복원용 서브 밴드(SRLL)를 생성하고, 상기 제2 저해상도 서브 밴드(LRLH)와 상기 제2 잔차 서브 밴드(△LH)를 합성하여 제2 복원용 서브 밴드(SRLH)를 생성하며, 상기 제3 저해상도 서브 밴드(LRHL)와 상기 제3 잔차 서브 밴드(△HL)를 합성하여 제3 복원용 서브 밴드(SRHL)를 생성하고, 상기 제4 저해상도 서브 밴드(LRHH)와 상기 제4 잔차 서브 밴드(△HH)를 합성하여 제4 복원용 서브 밴드(SRHH)를 생성할 수 있다.The image reconstruction apparatus synthesizes the first low resolution subband LRLL and the first residual subband ΔLL to generate a first reconstruction subband SRLL, and the second low resolution subband LLRH. ) And the second residual subband (ΔLH) are synthesized to generate a second restoration subband (SRLH), and the third low resolution subband (LRHL) and the third residual subband (ΔHL) are synthesized. To generate a third recovery subband SRHL, and synthesize the fourth low-resolution subband LLRH and the fourth residual subband? HH to generate a fourth recovery subband SRHH. have.

상기 저해상도 서브 밴드는, 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 포함하고, 상기 합성곱 신경망은, 제1 합성곱 신경망, 제2 합성곱 신경망, 제3 합성곱 신경망, 및 제4 합성곱 신경망을 포함하며, 상기 영상 복원 장치는, 상기 제1 저해상도 서브 밴드(LRLL)를 상기 제1 합성곱 신경망으로 전송하고, 상기 제2 저해상도 서브 밴드(LRLH)를 상기 제2 합성곱 신경망으로 전송하며, 상기 제3 저해상도 서브 밴드(LRHL)를 상기 제3 합성곱 신경망으로 전송하고, 상기 제4 저해상도 서브 밴드(LRHH)를 상기 제4 합성곱 신경망으로 전송할 수 있다.The low resolution subband includes a first low resolution subband (LRLL), a second low resolution subband (LRLH), a third low resolution subband (LRHL), and a fourth low resolution subband (LRHH). And a first convolutional neural network, a second convolutional neural network, a third convolutional neural network, and a fourth convolutional neural network, wherein the image reconstruction device comprises: combining the first low resolution subband (LRLL) with the first synthesis; Transmit to the multiplication neural network, transmit the second low resolution subband (LRLH) to the second composite product neural network, transmit the third low resolution subband (LRHL) to the third composite product neural network, and transmit the fourth low resolution A subband (LRHH) may be transmitted to the fourth convolutional neural network.

상기 제1 합성곱 신경망은, 상기 제1 저해상도 서브 밴드(LRLL)와 제1 고해상도 서브 밴드(HRLL) 간의 차이에 따른 제1 잔차 서브 밴드(△LL)를 출력하도록 학습된 것이고, 상기 제2 합성곱 신경망은, 상기 제2 저해상도 서브 밴드(LRLH)와 제2 고해상도 서브 밴드(HRLH) 간의 차이에 따른 제2 잔차 서브 밴드(△LH)를 출력하도록 학습된 것이며, 상기 제3 합성곱 신경망은, 상기 제3 저해상도 서브 밴드(LRHL)와 제3 고해상도 서브 밴드(HRHL) 간의 차이에 따른 제3 잔차 서브 밴드(△HL)를 출력하도록 학습된 것이고, 상기 제4 합성곱 신경망은, 상기 제4 저해상도 서브 밴드(LRHH)와 제4 고해상도 서브 밴드(HRHH) 간의 차이에 따른 제4 잔차 서브 밴드(△HH)를 출력하도록 학습된 것일 수 있다.The first composite product neural network is trained to output a first residual subband (ΔLL) according to a difference between the first low resolution subband (LRLL) and the first high resolution subband (HRLL), and the second synthesis The multiplication neural network is trained to output a second residual subband (ΔLH) according to the difference between the second low resolution subband (LRLH) and the second high resolution subband (HRLH), and the third composite product neural network, The third low-resolution subband LRHL and the third high-resolution subband HRHL are trained to output a third residual subband DELTA HL, and the fourth composite product neural network is the fourth low resolution. It may be learned to output the fourth residual subband ΔHH according to the difference between the subband LRHH and the fourth high resolution subband HRHH.

상기 영상 복원 장치는, 상기 제1 합성곱 신경망으로부터 상기 제1 잔차 서브 밴드(△LL)를 수신하고, 상기 제1 저해상도 서브 밴드(LRLL)와 상기 제1 잔차 서브 밴드(△LL)를 합성하여 제1 복원용 서브 밴드(SRLL)를 생성하며, 상기 제2 합성곱 신경망으로부터 상기 제2 잔차 서브 밴드(△LH)를 수신하고, 상기 제2 저해상도 서브 밴드(LRLH)와 상기 제2 잔차 서브 밴드(△LH)를 합성하여 제2 복원용 서브 밴드(SRLH)를 생성하며, 상기 제3 합성곱 신경망으로부터 상기 제3 잔차 서브 밴드(△HL)를 수신하고, 상기 제3 저해상도 서브 밴드(LRHL)와 상기 제3 잔차 서브 밴드(△HL)를 합성하여 제3 복원용 서브 밴드(SRHL)를 생성하며, 상기 제4 합성곱 신경망으로부터 상기 제4 잔차 서브 밴드(△HH)를 수신하고, 상기 제4 저해상도 서브 밴드(LRHH)와 상기 제4 잔차 서브 밴드(△HH)를 합성하여 제4 복원용 서브 밴드(SRHH)를 생성할 수 있다.The image reconstruction device receives the first residual subband (ΔLL) from the first composite product neural network, synthesizes the first low resolution subband (LRLL) and the first residual subband (ΔLL). A first reconstruction subband SRLL is generated, the second residual subband ΔLH is received from the second convolutional neural network, and the second low resolution subband LLRH and the second residual subband are generated. (ΔLH) is synthesized to generate a second recovery subband (SRLH), the third residual subband (ΔHL) is received from the third composite product neural network, and the third low resolution subband (LRHL) is received. And synthesize the third residual subband (ΔHL) to generate a third recovery subband (SRHL), receive the fourth residual subband (ΔHH) from the fourth composite product neural network, 4 Sum the low resolution subband (LRHH) and the fourth residual subband (ΔHH) And it may generate a fourth sub-band for restoring (SRHH).

상기 저해상도 서브 밴드는, 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 포함하고, 상기 영상 복원 장치는, 상기 제1 저해상도 서브 밴드(LRLL)를 상기 합성곱 신경망으로 전송하고, 상기 합성곱 신경망은, 상기 제1 저해상도 서브 밴드(LRLL)와 제1 고해상도 서브 밴드(HRLL) 간의 차이에 따른 제1 잔차 서브 밴드(△LL)를 출력하도록 학습된 것일 수 있다.The low resolution subband includes a first low resolution subband (LRLL), a second low resolution subband (LRLH), a third low resolution subband (LRHL), and a fourth low resolution subband (LRHH). Transmits the first low resolution subband (LRLL) to the convolutional neural network, and the convolutional neural network comprises a first according to a difference between the first low resolution subband (LRLL) and a first high resolution subband (HRLL). It may be learned to output the residual subband DELTA LL.

상기 영상 복원 장치는, 상기 합성곱 신경망으로부터 상기 제1 잔차 서브 밴드(△LL)를 수신하고, 상기 제1 저해상도 서브 밴드(LRLL)와 상기 제1 잔차 서브 밴드(△LL)를 합성하여 제1 복원용 서브 밴드(SRLL)를 생성하며, 상기 제1 복원용 서브 밴드(SRLL)를 역 웨이블릿 변환하여 고해상도 영상으로 복원할 수 있다.The image reconstruction device receives the first residual subband (ΔLL) from the composite product neural network, synthesizes the first low resolution subband (LRLL) and the first residual subband (ΔLL), and then combines the first residual subband (ΔLL). A reconstruction subband SRLL may be generated, and the first reconstruction subband SRLL may be inverse wavelet transformed to reconstruct a high resolution image.

개시되는 일 실시예에 따른 영상 복원 장치는, 입력되는 저해상도의 영상을 웨이블릿 변환하여 저해상도 서브 밴드를 생성하는 웨이블릿 변환부; 상기 저해상도 서브 밴드를 합성곱 신경망으로 전송하고, 상기 합성곱 신경망으로부터 상기 저해상도 서브 밴드에 대응하는 잔차 서브 밴드를 수신하는 통신부; 상기 저해상도 서브 밴드와 상기 잔차 서브 밴드를 합성하여 복원용 서브 밴드를 생성하는 영상 합성부; 및 상기 복원용 서브 밴드를 역 웨이블릿 변환하여 고해상도 영상으로 복원하는 역 웨이블릿 변환부를 포함한다.In accordance with another aspect of the present disclosure, an apparatus for restoring an image includes: a wavelet transform unit configured to wavelet transform an input low resolution image to generate a low resolution subband; A communication unit which transmits the low resolution subbands to a composite product neural network and receives a residual subband corresponding to the low resolution subbands from the composite product neural network; An image synthesizer configured to synthesize the low resolution subband and the residual subband to generate a reconstruction subband; And an inverse wavelet transform unit for inverse wavelet transforming the reconstructed subband to restore a high resolution image.

상기 저해상도 서브 밴드는, 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 포함하고, 상기 영상 복원 장치는, 상기 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 하나의 영상으로 합성하여 상기 합성곱 신경망으로 전송할 수 있다.The low resolution subband includes a first low resolution subband (LRLL), a second low resolution subband (LRLH), a third low resolution subband (LRHL), and a fourth low resolution subband (LRHH). Is synthesized by combining the first low resolution subband (LRLL), the second low resolution subband (LRLH), the third low resolution subband (LRHL), and the fourth low resolution subband (LRHH) into one image. Can be sent.

상기 통신부는, 상기 합성곱 신경망으로부터 상기 제1 저해상도 서브 밴드(LRLL)와 제1 고해상도 서브 밴드(HRLL) 간의 차이에 따른 제1 잔차 서브 밴드(△LL), 상기 제2 저해상도 서브 밴드(LRLH)와 제2 고해상도 서브 밴드(HRLH) 간의 차이에 따른 제2 잔차 서브 밴드(△LH), 상기 제3 저해상도 서브 밴드(LRHL)와 제3 고해상도 서브 밴드(HRHL) 간의 차이에 따른 제3 잔차 서브 밴드(△HL), 및 상기 제4 저해상도 서브 밴드(LRHH)와 제4 고해상도 서브 밴드(HRHH) 간의 차이에 따른 제4 잔차 서브 밴드(△HH)를 수신할 수 있다.The communication unit may include a first residual subband (ΔLL) and the second low resolution subband (LRLH) according to a difference between the first low resolution subband (LRLL) and the first high resolution subband (HRLL) from the convolutional neural network. And a second residual subband ΔLH according to a difference between the second high resolution subband HRLH and a third residual subband according to a difference between the third low resolution subband LRHL and the third high resolution subband HRHL. (ΔHL) and a fourth residual subband (ΔHH) according to a difference between the fourth low resolution subband (LRHH) and the fourth high resolution subband (HRHH).

상기 영상 합성부는, 상기 제1 저해상도 서브 밴드(LRLL)와 상기 제1 잔차 서브 밴드(△LL)를 합성하여 제1 복원용 서브 밴드(SRLL)를 생성하고, 상기 제2 저해상도 서브 밴드(LRLH)와 상기 제2 잔차 서브 밴드(△LH)를 합성하여 제2 복원용 서브 밴드(SRLH)를 생성하며, 상기 제3 저해상도 서브 밴드(LRHL)와 상기 제3 잔차 서브 밴드(△HL)를 합성하여 제3 복원용 서브 밴드(SRHL)를 생성하고, 상기 제4 저해상도 서브 밴드(LRHH)와 상기 제4 잔차 서브 밴드(△HH)를 합성하여 제4 복원용 서브 밴드(SRHH)를 생성하며, 상기 역 웨이블릿 변환부는, 상기 제1 복원용 서브 밴드(SRLL), 상기 제2 복원용 서브 밴드(SRLH), 상기 제3 복원용 서브 밴드(SRHL), 및 상기 제4 복원용 서브 밴드(SRHH)를 역 웨이블릿 변환하여 고해상도 영상으로 복원할 수 있다.The image synthesizer synthesizes the first low resolution subband (LRLL) and the first residual subband (ΔLL) to generate a first reconstruction subband SRLL, and the second low resolution subband (LRLH). And synthesize the second residual subband (ΔLH) to generate a second restoration subband (SRLH), and synthesize the third low resolution subband (LRHL) and the third residual subband (ΔHL). Generating a third restoring subband SRHL, synthesizing the fourth low resolution subband LRHH and the fourth residual subband ΔHH, and generating a fourth restoring subband SRHH; The inverse wavelet transform unit is configured to replace the first reconstruction subband SRLL, the second reconstruction subband SRLH, the third reconstruction subband SRHL, and the fourth reconstruction subband SRHH. Inverse wavelet transform can be restored to a high resolution image.

상기 저해상도 서브 밴드는, 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 포함하고, 상기 통신부는, 상기 제1 저해상도 서브 밴드(LRLL)를 상기 제1 합성곱 신경망으로 전송하고, 상기 제2 저해상도 서브 밴드(LRLH)를 상기 제2 합성곱 신경망으로 전송하며, 상기 제3 저해상도 서브 밴드(LRHL)를 상기 제3 합성곱 신경망으로 전송하고, 상기 제4 저해상도 서브 밴드(LRHH)를 상기 제4 합성곱 신경망으로 전송할 수 있다.The low resolution subband includes a first low resolution subband (LRLL), a second low resolution subband (LRLH), a third low resolution subband (LRHL), and a fourth low resolution subband (LRHH). The first low resolution subband (LRLL) is transmitted to the first convolutional neural network, the second low resolution subband (LRLH) is transmitted to the second convolutional neural network, and the third low resolution subband (LRHL) is transmitted. The third convolutional neural network may be transmitted, and the fourth low resolution subband (LRHH) may be transmitted to the fourth convolutional neural network.

상기 통신부는, 상기 제1 합성곱 신경망으로부터 상기 제1 저해상도 서브 밴드(LRLL)와 제1 고해상도 서브 밴드(HRLL) 간의 차이에 따른 제1 잔차 서브 밴드(△LL)를 수신하고, 상기 제2 합성곱 신경망으로부터 상기 제2 저해상도 서브 밴드(LRLH)와 제2 고해상도 서브 밴드(HRLH) 간의 차이에 따른 제2 잔차 서브 밴드(△LH)를 수신하며, 상기 제3 합성곱 신경망으로부터 상기 제3 저해상도 서브 밴드(LRHL)와 제3 고해상도 서브 밴드(HRHL) 간의 차이에 따른 제3 잔차 서브 밴드(△HL)를 수신하고, 상기 제4 합성곱 신경망으로부터 상기 제4 저해상도 서브 밴드(LRHH)와 제4 고해상도 서브 밴드(HRHH) 간의 차이에 따른 제4 잔차 서브 밴드(△HH)를 수신할 수 있다.The communication unit receives a first residual subband ΔLL according to a difference between the first low resolution subband LRLL and a first high resolution subband HRLL from the first composite product neural network, and receives the second synthesis. Receive a second residual subband (ΔLH) according to a difference between the second low resolution subband (LRLH) and the second high resolution subband (HRLH) from a product neural network, and receive the third low resolution subband from the third composite product neural network. Receive a third residual subband ΔHL according to the difference between the band LRHL and the third high resolution subband HRHL, and receive the fourth low resolution subband LRHH and the fourth high resolution from the fourth convolutional neural network. The fourth residual subband ΔHH according to the difference between the subbands HRHH may be received.

상기 저해상도 서브 밴드는, 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 포함하고, 상기 통신부는, 상기 제1 저해상도 서브 밴드(LRLL)를 상기 합성곱 신경망으로 전송하고, 상기 합성곱 신경망으로부터 상기 제1 저해상도 서브 밴드(LRLL)와 제1 고해상도 서브 밴드(HRLL) 간의 차이에 따른 제1 잔차 서브 밴드(△LL)를 수신할 수 있다.The low resolution subband includes a first low resolution subband (LRLL), a second low resolution subband (LRLH), a third low resolution subband (LRHL), and a fourth low resolution subband (LRHH). The first low resolution subband (LRLL) is transmitted to the convolutional neural network, and a first residual subband according to the difference between the first low resolution subband (LRLL) and the first high resolution subband (HRLL) from the convolutional neural network. (ΔLL) can be received.

상기 영상 합성부는, 상기 제1 저해상도 서브 밴드(LRLL)와 상기 제1 잔차 서브 밴드(△LL)를 합성하여 제1 복원용 서브 밴드(SRLL)를 생성하며, 상기 역 웨이블릿 변환부는, 상기 제1 복원용 서브 밴드(SRLL)를 역 웨이블릿 변환하여 고해상도 영상으로 복원할 수 있다. The image synthesizer synthesizes the first low resolution subband LRLL and the first residual subband ΔLL to generate a first reconstruction subband SRLL, and the inverse wavelet transform unit is configured to generate the first reconstruction subband SRLL. The reconstruction subband SRLL may be inverse wavelet transformed to reconstruct a high resolution image.

개시되는 일 실시예에 따른 영상 복원 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 입력되는 저해상도의 영상을 웨이블릿 변환하여 저해상도 서브 밴드를 생성하는 단계; 상기 저해상도 서브 밴드를 합성곱 신경망으로 전송하는 단계; 상기 합성곱 신경망으로부터 상기 저해상도 서브 밴드에 대응하는 잔차 서브 밴드를 수신하는 단계; 상기 저해상도 서브 밴드와 상기 잔차 서브 밴드를 합성하여 복원용 서브 밴드를 생성하는 단계; 및 상기 복원용 서브 밴드를 역 웨이블릿 변환하여 고해상도 영상으로 복원하는 단계를 포함한다.An image restoration method according to an embodiment of the present disclosure is performed in a computing device having one or more processors and a memory storing one or more programs executed by the one or more processors. Wavelet transforming to generate a low resolution subband; Transmitting the low resolution subbands to a multiplicative neural network; Receiving a residual subband corresponding to the low resolution subband from the convolutional neural network; Generating a subband for restoration by synthesizing the low resolution subband and the residual subband; And reconstructing the high-definition image by performing inverse wavelet transform on the reconstructed subband.

개시되는 일 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들; 메모리; 및 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램들은, 입력되는 저해상도의 영상을 웨이블릿 변환하여 저해상도 서브 밴드를 생성하기 위한 명령; 상기 저해상도 서브 밴드를 합성곱 신경망으로 전송하기 위한 명령; 상기 합성곱 신경망으로부터 상기 저해상도 서브 밴드에 대응하는 잔차 서브 밴드를 수신하기 위한 명령; 상기 저해상도 서브 밴드와 상기 잔차 서브 밴드를 합성하여 복원용 서브 밴드를 생성하기 위한 명령; 및 상기 복원용 서브 밴드를 역 웨이블릿 변환하여 고해상도 영상으로 복원하기 위한 명령을 포함한다.According to one embodiment, a computing device includes: one or more processors; Memory; And one or more programs, wherein the one or more programs are stored in the memory and configured to be executed by the one or more processors, wherein the one or more programs perform wavelet transform of the input low resolution image to generate a low resolution subband. Instructions for generating; Instructions for transmitting the low resolution subbands to a convolutional neural network; Receiving a residual subband corresponding to the low resolution subband from the convolutional neural network; Generating a subband for restoration by synthesizing the low resolution subband and the residual subband; And an inverse wavelet transform of the reconstruction subband to reconstruct the high resolution image.

개시되는 실시예에서는, 저해상도 영상을 웨이블릿 변환하여 저해상도 서브 밴드를 생성하고, 생성된 저해상도 서브 밴드를 합성곱 신경망의 입력으로 함으로써, 고주파 영역도 효율적으로 복원할 수 있게 된다. 즉, 저해상도 영상을 웨이블릿 변환함으로써 저해상도 영상에서 수평, 수직, 대각선의 고주파 영역의 정보를 분해할 수 있게 되며, 분해된 고주파 영역의 정보를 합성곱 신경망에서 학습하게 되므로, 고주파 영역도 효율적으로 복원할 수 있게 된다. 그로 인해, 복원된 영상에 블러(Blur) 현상이 줄어들게 된다. In the disclosed embodiment, low-resolution subbands are generated by wavelet transforming the low-resolution images, and the high-frequency region can be efficiently restored by using the generated low-resolution subbands as inputs to the composite-product neural network. That is, by wavelet transforming the low resolution image, the information of the horizontal, vertical, and diagonal high frequency regions can be decomposed in the low resolution image, and the information of the decomposed high frequency region is learned from the composite-product neural network. It becomes possible. As a result, blur in the reconstructed image is reduced.

또한, 영상의 크기가 줄어 든 저해상도 서브 밴드가 합성곱 신경망의 입력으로 사용됨으로써, 합성곱 신경망에서 학습 시간 및 실행 시간이 단축되게 된다.In addition, since the low resolution subband having the reduced size of the image is used as an input of the multiplicative neural network, the learning time and execution time are shortened in the multiplicative neural network.

도 1은 본 발명의 일 실시예에 따른 영상 복원 시스템을 나타낸 도면
도 2는 본 발명의 일 실시예에 따른 영상 복원 장치의 구성을 나타낸 도면
도 3은 본 발명의 일 실시예에 따른 영상 복원 방법을 개략적으로 나타낸 도면
도 4는 본 발명의 다른 실시예에 따른 영상 복원 방법을 개략적으로 나타낸 도면
도 5는 본 발명의 또 다른 실시예에 따른 영상 복원 방법을 개략적으로 나타낸 도면
도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도1 is a diagram illustrating an image restoration system according to an embodiment of the present invention.
2 is a diagram illustrating a configuration of an image reconstruction device according to an embodiment of the present invention.
3 is a view schematically showing an image restoration method according to an embodiment of the present invention;
4 is a diagram schematically illustrating an image restoration method according to another embodiment of the present invention.
5 is a view schematically showing an image restoration method according to another embodiment of the present invention;
6 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in exemplary embodiments.

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. The following detailed description is provided to assist in a comprehensive understanding of the methods, devices, and / or systems described herein. However, this is only an example and the present invention is not limited thereto.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing the embodiments of the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, terms to be described below are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a user or an operator. Therefore, the definition should be made based on the contents throughout the specification. The terminology used in the description is for the purpose of describing embodiments of the invention only and should not be limiting. Unless explicitly used otherwise, the singular forms “a,” “an,” and “the” include plural forms of meaning. In this description, expressions such as "comprises" or "equipment" are intended to indicate certain features, numbers, steps, actions, elements, portions or combinations thereof, and one or more than those described. It should not be construed to exclude the presence or possibility of other features, numbers, steps, actions, elements, portions or combinations thereof.

이하의 설명에 있어서, 신호 또는 정보의 "전송", "통신", "송신", "수신" 기타 이와 유사한 의미의 용어는 일 구성요소에서 다른 구성요소로 신호 또는 정보가 직접 전달되는 것뿐만이 아니라 다른 구성요소를 거쳐 전달되는 것도 포함한다. 특히 신호 또는 정보를 일 구성요소로 "전송" 또는 "송신"한다는 것은 그 신호 또는 정보의 최종 목적지를 지시하는 것이고 직접적인 목적지를 의미하는 것이 아니다. 이는 신호 또는 정보의 "수신"에 있어서도 동일하다. 또한 본 명세서에 있어서, 2 이상의 데이터 또는 정보가 "관련"된다는 것은 하나의 데이터(또는 정보)를 획득하면, 그에 기초하여 다른 데이터(또는 정보)의 적어도 일부를 획득할 수 있음을 의미한다. In the following description, the terms "transfer", "communication", "transmit", "receive" and other similar meanings of signals or information are not only meant to directly convey the signal or information from one component to another. It also includes passing through other components. In particular, "transmitting" or "sending" a signal or information to a component indicates the final destination of the signal or information and does not mean a direct destination. The same is true for the "reception" of a signal or information. In addition, in this specification, that two or more pieces of data or information are "related" means that if one data (or information) is obtained, at least a portion of the other data (or information) can be obtained based thereon.

또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.In addition, terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms may be used for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.

도 1은 본 발명의 일 실시예에 따른 영상 복원 시스템을 나타낸 도면이다. 1 is a view showing an image restoration system according to an embodiment of the present invention.

도 1을 참조하면, 영상 복원 시스템(100)은 영상 복원 장치(102) 및 합성곱 신경망(104)을 포함할 수 있다. Referring to FIG. 1, the image reconstruction system 100 may include an image reconstruction device 102 and a convolutional neural network 104.

영상 복원 장치(102)는 통신 네트워크를 통해 합성곱 신경망(104)과 통신 가능하게 연결된다. 몇몇 실시예들에서, 통신 네트워크는 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wire area networks), 셀룰러 네트워크, 모바일 네트워크, 그 밖에 다른 종류의 네트워크들, 또는 이러한 네트워크들의 조합을 포함할 수 있다.The image reconstruction device 102 is communicatively coupled with the multiplication neural network 104 via a communication network. In some embodiments, the communication network may comprise the Internet, one or more local area networks, wire area networks, cellular networks, mobile networks, other types of networks, or a combination of these networks. It may include.

영상 복원 장치(102)는 입력되는 저해상도의 영상을 합성곱 신경망(104)을 이용하여 고해상도의 영상으로 복원할 수 있다. 도 2는 본 발명의 일 실시예에 따른 영상 복원 장치(102)의 구성을 나타낸 도면이다.The image reconstruction device 102 may reconstruct an input low resolution image into a high resolution image using the composite product neural network 104. 2 is a diagram illustrating a configuration of an image reconstruction device 102 according to an embodiment of the present invention.

도 2를 참조하면, 영상 복원 장치(102)는 웨이블릿 변환부(111), 통신부(113), 영상 합성부(115), 및 역 웨이블릿 변환부(117)를 포함할 수 있다. Referring to FIG. 2, the image reconstruction device 102 may include a wavelet transform unit 111, a communication unit 113, an image synthesizer 115, and an inverse wavelet transform unit 117.

웨이블릿 변환부(111)는 입력되는 저해상도의 영상을 웨이블릿 변환할 수 있다. 웨이블릿 변환부(111)는 저해상도의 영상을 수평 방향 및 수직 방향에 대해 각각 저주파수 필터 및 고주파수 필터를 적용하여 4개의 저해상도 서브 밴드(Low Resolution Sub Band : LRSB)를 생성할 수 있다. The wavelet converter 111 may wavelet the input low resolution image. The wavelet converter 111 may generate four low resolution subbands (LRSBs) by applying a low frequency filter and a high frequency filter to the low resolution image in the horizontal and vertical directions, respectively.

즉, 웨이블릿 변환부(111)는 저해상도의 영상을 수평 방향 및 수직 방향에 대해 각각 저주파수 필터를 적용하여 제1 저해상도 서브 밴드(LRLL)를 생성할 수 있다. 웨이블릿 변환부(111)는 저해상도의 영상을 수평 방향에 대해 저주파수 필터를 적용하고 수직 방향에 대해 고주파수 필터를 적용하여 제2 저해상도 서브 밴드(LRLH)를 생성할 수 있다. 웨이블릿 변환부(111)는 저해상도의 영상을 수평 방향에 대해 고주파수 필터를 적용하고 수직 방향에 대해 저주파수 필터를 적용하여 제3 저해상도 서브 밴드(LRHL)를 생성할 수 있다. 웨이블릿 변환부(111)는 저해상도의 영상을 수평 방향 및 수직 방향에 대해 각각 고주파수 필터를 적용하여 제4 저해상도 서브 밴드(LRHH)를 생성할 수 있다. That is, the wavelet converter 111 may generate a first low resolution subband LRLL by applying a low frequency filter to the low resolution image in the horizontal direction and the vertical direction, respectively. The wavelet converter 111 may generate a second low resolution subband (LRLH) by applying a low frequency filter to the horizontal direction and a high frequency filter to the vertical direction of the low resolution image. The wavelet converter 111 may generate a third low resolution subband LRHL by applying a high frequency filter to the horizontal direction and applying a low frequency filter to the vertical direction. The wavelet converter 111 may generate a fourth low resolution subband (LRHH) by applying a high frequency filter to the low resolution image in the horizontal direction and the vertical direction, respectively.

통신부(113)는 합성곱 신경망(104)과 통신 가능하게 연결될 수 있다. 통신부(113)는 저해상도 서브 밴드(LRSB)를 합성곱 신경망(104)으로 전송할 수 있다. 여기서, 저해상도 서브 밴드(LRSB)는 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 포함할 수 있다. The communication unit 113 may be communicatively coupled to the multiplication neural network 104. The communication unit 113 may transmit the low resolution subband (LRSB) to the multiplication neural network 104. Here, the low resolution subband (LRSB) may include a first low resolution subband (LRLL), a second low resolution subband (LRLH), a third low resolution subband (LRHL), and a fourth low resolution subband (LRHH). .

또한, 통신부(113)는 합성곱 신경망(104)으로부터 저해상도 서브 밴드(LRSB)와 고해상도 서브 밴드(High Resolution Sub Band : HRSB) 간의 차이에 따른 잔차 서브 밴드를 수신할 수 있다. 여기서, 잔차 서브 밴드는 합성곱 신경망(104)에서 저해상도 서브 밴드(LRSB)를 입력으로 하였을 때 출력 값이 되도록 학습된 것일 수 있다. In addition, the communication unit 113 may receive the residual subband according to the difference between the low resolution subband (LRSB) and the high resolution subband (HRSB) from the composite product neural network 104. Here, the residual subband may be learned to be an output value when the low resolution subband (LRSB) is input to the composite product neural network 104.

고해상도 서브 밴드(HRSB)는 고해상도의 영상을 웨이블릿 변환하여 생성된 것으로, 제1 고해상도 서브 밴드(HRLL), 제2 고해상도 서브 밴드(HRLH), 제3 고해상도 서브 밴드(HRHL), 및 제4 고해상도 서브 밴드(HRHH)를 포함할 수 있다. 제1 고해상도 서브 밴드(HRLL)는 고해상도의 영상을 수평 방향 및 수직 방향에 대해 각각 저주파수 필터를 적용하여 생성된 것일 수 있다. 제2 고해상도 서브 밴드(HRLH)는 고해상도의 영상을 수평 방향에 대해 저주파수 필터를 적용하고 수직 방향에 대해 고주파수 필터를 적용하여 생성된 것일 수 있다. 제3 고해상도 서브 밴드(HRHL)는 고해상도의 영상을 수평 방향에 대해 고주파수 필터를 적용하고 수직 방향에 대해 저주파수 필터를 적용하여 생성된 것일 수 있다. 제4 고해상도 서브 밴드(HRHH)는 고해상도의 영상을 수평 방향 및 수직 방향에 대해 각각 고주파수 필터를 적용하여 생성된 것일 수 있다. The high resolution subband HRSB is generated by wavelet transforming a high resolution image, and includes a first high resolution subband HRLL, a second high resolution subband HRLH, a third high resolution subband HRHL, and a fourth high resolution subband. And band (HRHH). The first high resolution subband HRHR may be generated by applying a low frequency filter to a high resolution image in a horizontal direction and a vertical direction, respectively. The second high resolution subband HRLH may be generated by applying a low frequency filter to the horizontal direction and a high frequency filter to the vertical direction. The third high resolution subband HRHL may be generated by applying a high frequency filter to the horizontal direction and applying a low frequency filter to the vertical direction. The fourth high resolution subband HRHH may be generated by applying a high frequency filter to the high resolution image in the horizontal direction and the vertical direction, respectively.

예시적인 실시예에서, 잔차 서브 밴드는 제1 저해상도 서브 밴드(LRLL)와 제1 고해상도 서브 밴드(HRLL) 간의 차이에 의한 제1 잔차 서브 밴드(△LL), 제2 저해상도 서브 밴드(LRLH)와 제2 고해상도 서브 밴드(HRLH) 간의 차이에 의한 제2 잔차 서브 밴드(△LH), 제3 저해상도 서브 밴드(LRHL)와 제3 고해상도 서브 밴드(HRHL) 간의 차이에 의한 제3 잔차 서브 밴드(△HL), 및 제4 저해상도 서브 밴드(LRHH)와 제4 고해상도 서브 밴드(HRHH) 간의 차이에 의한 제4 잔차 서브 밴드(△HH)를 포함할 수 있다. In an exemplary embodiment, the residual subbands may include a first residual subband (ΔLL), a second low resolution subband (LRLH), and a difference between the first low resolution subband (LRLL) and the first high resolution subband (HRLL). Second residual subband ΔLH due to the difference between the second high resolution subbands HRLH, and Third residual subband Δ due to the difference between the third low resolution subband LRHL and the third high resolution subband HRHL. HL) and a fourth residual subband (ΔHH) due to the difference between the fourth low resolution subband (LRHH) and the fourth high resolution subband (HRHH).

영상 합성부(115)는 저해상도 서브 밴드(LRSB)와 잔차 서브 밴드를 합성하여 복원용 서브 밴드를 생성할 수 있다. 예시적인 실시예에서, 영상 합성부(115)는 제1 저해상도 서브 밴드(LRLL)와 제1 잔차 서브 밴드(△LL)를 합성하여 제1 복원용 서브 밴드를 생성할 수 있다. 영상 합성부(115)는 제2 저해상도 서브 밴드(LRLH)와 제2 잔차 서브 밴드(△LH)를 합성하여 제2 복원용 서브 밴드를 생성할 수 있다. 영상 합성부(115)는 제3 저해상도 서브 밴드(LRHL)와 제3 잔차 서브 밴드(△HL)를 합성하여 제3 복원용 서브 밴드를 생성할 수 있다. 영상 합성부(115)는 제4 저해상도 서브 밴드(LRHH)와 제4 잔차 서브 밴드(△HH)를 합성하여 제4 복원용 서브 밴드를 생성할 수 있다. The image synthesizer 115 may generate a subband for restoration by synthesizing the low resolution subband (LRSB) and the residual subband. In an exemplary embodiment, the image synthesizer 115 may generate the first reconstruction subband by synthesizing the first low resolution subband LRLL and the first residual subband ΔLL. The image synthesizer 115 may generate the second reconstruction subband by synthesizing the second low resolution subband LLRH and the second residual subband ΔLH. The image synthesizer 115 may generate the third reconstruction subband by synthesizing the third low resolution subband LRHL and the third residual subband ΔHL. The image synthesizer 115 may generate a fourth reconstruction subband by synthesizing the fourth low resolution subband LRHH and the fourth residual subband ΔHH.

역 웨이블릿 변환부(117)는 복원용 서브 밴드(즉, 제1 복원용 서브 밴드 내지 제4 복원용 서브 밴드)에 역 웨이블릿 변환을 수행하여 고해상도로 복원된 복원 영상을 생성할 수 있다. The inverse wavelet transform unit 117 may generate a reconstructed image reconstructed with high resolution by performing inverse wavelet transform on the reconstruction subbands (ie, the first reconstruction subband to the fourth reconstruction subband).

다시 도 1을 참조하면, 합성곱 신경망(104)은 영상 복원 장치(102)로부터 저해상도 서브 밴드(LRSB)를 수신할 수 있다. 합성곱 신경망(104)은 저해상도 서브 밴드(LRSB)가 입력되는 경우, 잔차 서브 밴드를 출력하도록 학습된 신경망일 수 있다. Referring back to FIG. 1, the convolutional neural network 104 may receive a low resolution subband (LRSB) from the image reconstruction device 102. The convolutional neural network 104 may be a neural network learned to output a residual subband when a low resolution subband (LRSB) is input.

구체적으로, 합성곱 신경망(104)은 소정 영상의 저해상도 서브 밴드(LRSB)와 고해상도 서브 밴드(HRSB) 간의 차이에 따른 잔차 서브 밴드를 출력하도록 학습된 신경망일 수 있다. 즉, 학습 단계에서는 합성곱 신경망(104)에 소정 영상의 저해상도 서브 밴드(LRSB)와 고해상도 서브 밴드(HRSB)가 각각 입력되고, 합성곱 신경망(104)에서 저해상도 서브 밴드(LRSB)와 고해상도 서브 밴드(HRSB)의 차이가 학습될 수 있다. 합성곱 신경망(104)은 반복적인 학습에 의해 저해상도 서브 밴드로부터 고해상도 서브 밴드를 예측하기 위한 최적의 가중치 계수를 설정할 수 있다. In detail, the convolutional neural network 104 may be a neural network trained to output a residual subband according to a difference between a low resolution subband (LRSB) and a high resolution subband (HRSB) of a predetermined image. That is, in the learning phase, a low resolution subband (LRSB) and a high resolution subband (HRSB) of a predetermined image are respectively input to the composite product neural network 104, and a low resolution subband (LRSB) and a high resolution subband are respectively input to the composite product neural network 104. The difference in (HRSB) can be learned. The convolutional neural network 104 may set an optimal weighting coefficient for predicting the high resolution subband from the low resolution subband by repetitive learning.

합성곱 신경망(104)은 저해상도 서브 밴드(LRSB)의 입력 시 출력되는 잔차 서브 밴드를 영상 복원 장치(102)로 전송할 수 있다. The multiplicative neural network 104 may transmit the residual subband output when the low resolution subband (LRSB) is input to the image reconstruction device 102.

합성곱 신경망(104)은 컨벌루션(104a) 및 활성 함수(104b)를 포함하는 복수 개의 단위 유닛을 포함할 수 있다. 컨벌루션(104a)은 입력되는 영상에 복수 개의 컨벌루션 윈도우를 적용하여 복수 개의 특징 맵 이미지를 생성할 수 있다. 복수 개의 컨벌루션 윈도우는 가중치 계수가 서로 다르게 적용될 수 있다. 활성 함수(104b)로는 예를 들어, ReLU(Rectified Linear Unit)이 적용될 수 있으나, 이에 한정되는 것은 아니며 시그모이드 함수(Sigmoid Function) 등이 적용될 수도 있다. The convolutional neural network 104 may include a plurality of unit units including a convolution 104a and an activation function 104b. The convolution 104a may generate a plurality of feature map images by applying a plurality of convolution windows to the input image. The plurality of convolution windows may have different weight coefficients. As the activation function 104b, for example, a rectified linear unit (ReLU) may be applied, but is not limited thereto, and a sigmoid function may be applied.

컨벌루션(104a) 및 활성 함수(104b)는 합성곱 신경망(Convolutional Neural Network)에서는 이미 공지된 구성이므로 이에 대한 자세한 설명은 생략하기로 한다. 합성곱 신경망(104)으로 입력되는 저해상도 서브 밴드(LRSB)는 복수 개의 단위 유닛을 순차적으로 거치면서 처리되어 최종적으로 잔차 서브 밴드가 출력되게 된다. Since the convolution 104a and the activation function 104b are already known in the convolutional neural network, a detailed description thereof will be omitted. The low resolution subband (LRSB) input to the multiplicative neural network 104 is processed through a plurality of unit units in sequence to finally output the residual subband.

개시되는 실시예에서는, 저해상도 영상을 웨이블릿 변환하여 저해상도 서브 밴드(LRSB)를 생성하고, 생성된 저해상도 서브 밴드(LRSB)를 합성곱 신경망(104)의 입력으로 함으로써, 고주파 영역도 효율적으로 복원할 수 있게 된다. 즉, 저해상도 영상을 웨이블릿 변환함으로써 저해상도 영상에서 수평, 수직, 대각선의 고주파 영역의 정보를 분해할 수 있게 되며, 분해된 고주파 영역의 정보를 합성곱 신경망(104)에서 학습하게 되므로, 고주파 영역도 효율적으로 복원할 수 있게 된다. 그로 인해, 복원된 영상에 블러(Blur) 현상이 줄어들게 된다. In the disclosed embodiment, low-resolution subbands (LRSBs) are generated by wavelet transforming low-resolution images, and the generated low-resolution subbands (LRSBs) are input to the multiplicative neural network 104, thereby efficiently restoring a high frequency region. Will be. That is, by wavelet transforming the low resolution image, the information of the horizontal, vertical, and diagonal high frequency regions can be decomposed in the low resolution image, and the information of the decomposed high frequency region is learned by the multiplicative neural network 104. Can be restored. As a result, blur in the reconstructed image is reduced.

또한, 영상의 크기가 줄어 든 저해상도 서브 밴드가 합성곱 신경망(104)의 입력으로 사용됨으로써, 합성곱 신경망(104)에서 학습 시간 및 실행 시간이 단축되게 된다.In addition, since the low resolution subband having the reduced size of the image is used as an input of the multiplicative neural network 104, the learning time and the execution time of the multiplicative neural network 104 are reduced.

도 3은 본 발명의 일 실시예에 따른 영상 복원 방법을 개략적으로 나타낸 도면이다. 3 is a diagram schematically illustrating an image restoration method according to an embodiment of the present invention.

도 3을 참조하면, 영상 복원 장치(102)는 입력되는 저해상도 영상(Low Resolution : LR)을 이산 웨이블릿 변환(Discrete Wavelet Transform : DWT)하여 수학식 1과 같은 저해상도 서브 밴드(LRSB)를 생성한다. 저해상도 서브 밴드(LRSB)는 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 포함할 수 있다.Referring to FIG. 3, the image reconstruction device 102 generates a discrete low resolution subband (LRSB) such as a discrete wavelet transform (DWT) of an input low resolution image (LR). The low resolution subband (LRSB) may include a first low resolution subband (LRLL), a second low resolution subband (LRLH), a third low resolution subband (LRHL), and a fourth low resolution subband (LRHH).

(수학식 1)(Equation 1)

LRSB = {LRLL, LRLH, LRHL, LRHH} = DWT{LR}LRSB = {LRLL, LRLH, LRHL, LRHH} = DWT {LR}

다음으로, 영상 복원 장치(102)는 저해상도 서브 밴드(LRSB)를 합성곱 신경망(104)으로 전송한다. 즉, 저해상도 서브 밴드(LRSB)가 합성곱 신경망(104)의 입력으로 사용된다. 여기서, 저해상도 서브 밴드(LRSB)는 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)가 하나의 영상으로 합성된 것일 수 있다. Next, the image reconstruction device 102 transmits the low resolution subband (LRSB) to the convolutional neural network 104. That is, a low resolution subband (LRSB) is used as the input of the convolutional neural network 104. Here, the low resolution subband (LRSB) includes a first low resolution subband (LRLL), a second low resolution subband (LRLH), a third low resolution subband (LRHL), and a fourth low resolution subband (LRHH) as one image. It may be synthesized.

예시적인 실시예에서, 영상 복원 장치(102)는 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 하나의 영상(예를 들어, 3차원 입체 영상 등)으로 합성하여 합성곱 신경망(104)으로 전송할 수 있다. In an exemplary embodiment, the image reconstruction device 102 may include a first low resolution subband (LRLL), a second low resolution subband (LRLH), a third low resolution subband (LRHL), and a fourth low resolution subband (LRHH). One image (eg, 3D stereoscopic image, etc.) may be synthesized and transmitted to the composite product neural network 104.

그러면, 합성곱 신경망(104)은 저해상도 서브 밴드(LRSB)의 입력에 따라 잔차 서브 밴드(△SB)를 출력한다. 잔차 서브 밴드(△SB)는 저해상도 서브 밴드(LRSB)와 고해상도 서브 밴드(HRSB)의 차이로 아래의 수학식 2와 같이 나타낼 수 있다. The multiplication neural network 104 then outputs a residual subband [Delta] SB in accordance with the input of the low resolution subband LRSB. The residual subband ΔSB may be expressed by Equation 2 below as a difference between the low resolution subband LRSB and the high resolution subband HRSB.

(수학식 2)(Equation 2)

△SB = HRSB - LRSB = {HRLL - LRLL, HRLH - LRLH, HRHL - LRHL, HRHH - LRHH} = {△LL, △LH, △HL, △HH}ΔSB = HRSB-LRSB = {HRLL-LRLL, HRLH-LRLH, HRHL-LRHL, HRHH-LRHH} = {ΔLL, ΔLH, ΔHL, ΔHH}

다음으로, 영상 복원 장치(102)는 합성곱 신경망(104)으로부터 잔차 서브 밴드(△SB)를 수신하고, 잔차 서브 밴드(△SB)와 저해상도 서브 밴드(LRSB)를 합성하여 초고해상도 복원을 위한 복원용 서브 밴드(SRSB : Super Resolution Sub Band)를 생성한다. 복원용 서브 밴드(SRSB)는 하기의 수학식 3과 같이 나타낼 수 있다. 복원용 서브 밴드(SRSB)는 제1 복원용 서브 밴드(SRLL), 제2 복원용 서브 밴드(SRLH), 제3 복원용 서브 밴드(SRHL), 및 제4 복원용 서브 밴드(SRHH)를 포함할 수 있다.Next, the image reconstruction device 102 receives the residual subband (ΔSB) from the composite product neural network 104, synthesizes the residual subband (ΔSB) and the low resolution subband (LRSB) for ultra-high resolution reconstruction. Creates a super resolution sub band (SRSB). The reconstruction subband SRSB may be represented by Equation 3 below. The restoring subband SRSB includes a first restoring subband SRLL, a second restoring subband SRLH, a third restoring subband SRHL, and a fourth restoring subband SRHH. can do.

(수학식 3)(Equation 3)

SRSB = {SRLL, SRLH, SRHL, SRHH} = LRSB + △SB = {LRLL + △LL, LRLH + △LH, LRHL + △HL, LRHH + △HH}SRSB = {SRLL, SRLH, SRHL, SRHH} = LRSB + ΔSB = {LRLL + △ LL, LRLH + ΔLH, LRHL + ΔHL, LRHH + ΔHH}

다음으로, 영상 복원 장치(102)는 복원용 서브 밴드(SRSB)를 역 이산 웨이블릿 변환하여 고해상도 영상(SR)으로 복원한다. 고해상도 영상(SR)은 하기의 수학식 4와 같이 나타낼 수 있다. Next, the image reconstruction apparatus 102 reconstructs the subband SRSB for inverse discrete wavelet conversion to reconstruct the high resolution image SR. The high resolution image SR may be represented by Equation 4 below.

(수학식 4)(Equation 4)

SR = IDWT{SRSB}SR = IDWT {SRSB}

도 4는 본 발명의 다른 실시예에 따른 영상 복원 방법을 개략적으로 나타낸 도면이다. 4 is a view schematically showing an image restoration method according to another embodiment of the present invention.

도 4를 참조하면, 영상 복원 장치(102)는 입력되는 저해상도 영상(Low Resolution : LR)을 이산 웨이블릿 변환(Discrete Wavelet Transform : DWT)하여 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 생성한다. Referring to FIG. 4, the image reconstruction device 102 performs a discrete wavelet transform (DWT) of an input low resolution image (LR) to perform a first low resolution subband (LRLL) and a second low resolution subband ( LRLH), a third low resolution subband (LRHL), and a fourth low resolution subband (LRHH).

다음으로, 영상 복원 장치(102)는 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 각각 제1 합성곱 신경망(104-1), 제2 합성곱 신경망(104-2), 제3 합성곱 신경망(104-3), 및 제4 합성곱 신경망(104-4)으로 전송한다. 즉, 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH) 각각이 제1 합성곱 신경망(104-1), 제2 합성곱 신경망(104-2), 제3 합성곱 신경망(104-3), 및 제4 합성곱 신경망(104-4)의 입력으로 사용된다. Next, the image reconstructing apparatus 102 includes a first low resolution subband (LRLL), a second low resolution subband (LRLH), a third low resolution subband (LRHL), and a fourth low resolution subband (LRHH), respectively. The multiplication multiplication neural network 104-1, the second multiplication multiplication neural network 104-2, the third multiplication multiplication neural network 104-3, and the fourth multiplication multiplication neural network 104-4. That is, each of the first low resolution subband (LRLL), the second low resolution subband (LRLH), the third low resolution subband (LRHL), and the fourth low resolution subband (LRHH) may be the first composite product neural network 104-1. , Second convolutional neural network 104-2, third convolutional neural network 104-3, and fourth convolutional neural network 104-4.

그러면, 제1 합성곱 신경망(104-1), 제2 합성곱 신경망(104-2), 제3 합성곱 신경망(104-3), 및 제4 합성곱 신경망(104-4)은 각각 제1 잔차 서브 밴드(△LL), 제2 잔차 서브 밴드(△LH), 제3 잔차 서브 밴드(△HL), 및 제4 잔차 서브 밴드(△HH)를 출력한다. Then, the first convolutional neural network 104-1, the second convolutional neural network 104-2, the third convolutional neural network 104-3, and the fourth convolutional neural network 104-3 are each a first The residual subband DELTA LL, the second residual subband DELTA LH, the third residual subband DELTA HL, and the fourth residual subband DELTA HH are output.

즉, 제1 합성곱 신경망(104-1)은 제1 저해상도 서브 밴드(LRLL)와 제1 고해상도 서브 밴드(HRLL) 간의 차이에 따른 제1 잔차 서브 밴드(△LL)를 출력하도록 학습된 신경망일 수 있다. 제2 합성곱 신경망(104-2)은 제2 저해상도 서브 밴드(LRLH)와 제2 고해상도 서브 밴드(HRLH) 간의 차이에 따른 제2 잔차 서브 밴드(△LH)를 출력하도록 학습된 신경망일 수 있다. 제3 합성곱 신경망(104-3)은 제3 저해상도 서브 밴드(LRHL)와 제3 고해상도 서브 밴드(HRHL) 간의 차이에 따른 제3 잔차 서브 밴드(△HL)를 출력하도록 학습된 신경망일 수 있다. 제4 합성곱 신경망(104-4)은 제4 저해상도 서브 밴드(LRHH)와 제4 고해상도 서브 밴드(HRHH) 간의 차이에 따른 제4 잔차 서브 밴드(△HH)를 출력하도록 학습된 신경망일 수 있다.That is, the first composite product neural network 104-1 is a neural network trained to output a first residual subband ΔLL according to a difference between the first low resolution subband LRLL and the first high resolution subband HRLL. Can be. The second convolutional neural network 104-2 may be a neural network trained to output a second residual subband ΔLH according to a difference between the second low resolution subband LLRH and the second high resolution subband HRLH. . The third composite product neural network 104-3 may be a neural network trained to output a third residual subband ΔHL according to a difference between the third low resolution subband LRHL and the third high resolution subband HRHL. . The fourth multiplicative neural network 104-4 may be a neural network trained to output a fourth residual subband ΔHH according to a difference between the fourth low resolution subband LRHH and the fourth high resolution subband HRHH. .

영상 복원 장치(102)는 제1 합성곱 신경망(104-1), 제2 합성곱 신경망(104-2), 제3 합성곱 신경망(104-3), 및 제4 합성곱 신경망(104-4)으로부터 각각 제1 잔차 서브 밴드(△LL), 제2 잔차 서브 밴드(△LH), 제3 잔차 서브 밴드(△HL), 및 제4 잔차 서브 밴드(△HH)를 수신할 수 있다. The image reconstruction device 102 includes a first convolutional neural network 104-1, a second convolutional neural network 104-2, a third convolutional neural network 104-3, and a fourth convolutional neural network 104-4. ) May receive a first residual subband (ΔLL), a second residual subband (ΔLH), a third residual subband (ΔHL), and a fourth residual subband (ΔHH), respectively.

다음으로, 영상 복원 장치(102)는 제1 저해상도 서브 밴드(LRLL)와 제1 잔차 서브 밴드(△LL)를 합성하여 제1 복원용 서브 밴드(SRLL)를 생성하고, 제2 저해상도 서브 밴드(LRLH)와 제2 잔차 서브 밴드(△LH)를 합성하여 제2 복원용 서브 밴드(SRLH)를 생성하며, 제3 저해상도 서브 밴드(LRHL)와 제3 잔차 서브 밴드(△HL)를 합성하여 제3 복원용 서브 밴드(SRHL)를 생성하고, 제4 저해상도 서브 밴드(LRHH)와 제4 잔차 서브 밴드(△HH)를 합성하여 제4 복원용 서브 밴드(SRHH)를 생성한다. Next, the image reconstructing apparatus 102 generates a first reconstruction subband SRLL by combining the first low resolution subband LRLL and the first residual subband ΔLL, and generates a second low resolution subband SRL. LRLH) and the second residual subband (ΔLH) are synthesized to generate a second restoration subband (SRLH), and the third low resolution subband (LRHL) and the third residual subband (ΔHL) are synthesized. The third restoration subband SRHL is generated, and the fourth low resolution subband LRHH and the fourth residual subband ΔHH are synthesized to generate a fourth restoration subband SRHH.

다음으로, 영상 복원 장치(102)는 제1 복원용 서브 밴드(SRLL), 제2 복원용 서브 밴드(SRLH), 제3 복원용 서브 밴드(SRHL), 및 제4 복원용 서브 밴드(SRHH)를 역 웨이블릿 변환하여 고해상도 영상(SR)으로 복원한다. Next, the image reconstruction device 102 includes a first reconstruction subband SRLL, a second reconstruction subband SRLH, a third reconstruction subband SRHL, and a fourth reconstruction subband SRHH. Inverse wavelet transform to reconstruct the high resolution image SR.

이와 같이, 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH) 각각을 제1 합성곱 신경망(104-1), 제2 합성곱 신경망(104-2), 제3 합성곱 신경망(104-3), 및 제4 합성곱 신경망(104-4)의 입력으로 사용함으로써, 각각의 서브 밴드들을 독립적으로 학습 및 실행할 수 있으며, 초고해상도 복원 기법에서 가장 중요한 요소인 고주파 복원 능력을 집중적으로 학습하여 복원 성능을 높일 수 있게 된다. As such, the first low-resolution subband (LRLL), the second low-resolution subband (LRLH), the third low-resolution subband (LRHL), and the fourth low-resolution subband (LRHH) may each be a first composite product neural network 104-1. ), The second convolutional neural network 104-2, the third convolutional neural network 104-3, and the fourth convolutional neural network 104-4 as inputs to independently learn and It is possible to improve the restoration performance by intensively learning the high frequency restoration ability, which is the most important factor in the ultra high resolution restoration technique.

도 5는 본 발명의 또 다른 실시예에 따른 영상 복원 방법을 개략적으로 나타낸 도면이다. 5 is a view schematically showing an image restoration method according to another embodiment of the present invention.

도 5를 참조하면, 영상 복원 장치(102)는 입력되는 저해상도 영상(Low Resolution : LR)을 이산 웨이블릿 변환(Discrete Wavelet Transform : DWT)하여 저해상도 서브 밴드(LRSB)를 생성한다. 저해상도 서브 밴드(LRSB)는 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 포함할 수 있다. Referring to FIG. 5, the image reconstruction device 102 generates a low resolution subband (LRSB) by performing a discrete wavelet transform (DWT) on an input low resolution image (LR). The low resolution subband (LRSB) may include a first low resolution subband (LRLL), a second low resolution subband (LRLH), a third low resolution subband (LRHL), and a fourth low resolution subband (LRHH).

영상 복원 장치(102)는 저해상도 서브 밴드(LRSB) 중 제1 저해상도 서브 밴드(LRLL)를 합성곱 신경망(104)으로 전송한다. 즉, 제1 저해상도 서브 밴드(LRLL)가 합성곱 신경망(104)의 입력으로 사용된다. The image reconstruction device 102 transmits the first low resolution subband (LRLL) among the low resolution subbands (LRSB) to the composite product neural network 104. That is, the first low resolution subband (LRLL) is used as the input of the composite product neural network 104.

그러면, 합성곱 신경망(104)은 제1 저해상도 서브 밴드(LRLL)의 입력에 따라 제1 잔차 서브 밴드(△LL)를 출력한다. 즉, 합성곱 신경망(104)은 제1 저해상도 서브 밴드(LRLL)와 제1 고해상도 서브 밴드(HRLL) 간의 차이에 따른 제1 잔차 서브 밴드(△LL)를 출력하도록 학습된 신경망일 수 있다. The multiplicative neural network 104 then outputs a first residual subband DELTA LL according to the input of the first low resolution subband LRLL. That is, the convolutional neural network 104 may be a neural network learned to output a first residual subband ΔLL according to a difference between the first low resolution subband LRLL and the first high resolution subband HRLL.

다음으로, 영상 복원 장치(102)는 합성곱 신경망(104)으로부터 제1 잔차 서브 밴드(△LL)를 수신하고, 제1 저해상도 서브 밴드(LRLL)와 제1 잔차 서브 밴드(△LL)를 합성하여 제1 복원용 서브 밴드(SRLL)를 생성한다. Next, the image reconstruction device 102 receives the first residual subband ΔLL from the composite product neural network 104 and synthesizes the first low resolution subband LRLL and the first residual subband ΔLL. To generate a first recovery subband SRLL.

다음으로, 영상 복원 장치(102)는 제1 복원용 서브 밴드(SRLL)를 역 웨이블릿 변환하여 고해상도 영상(SR)으로 복원한다. Next, the image reconstruction device 102 performs inverse wavelet transform on the first reconstruction subband SRLL to reconstruct the high resolution image SR.

이와 같이, 저해상도 서브 밴드(LRSB) 중 제1 저해상도 서브 밴드(LRLL)를 합성곱 신경망(104)의 입력으로 사용함으로써, 모든 저해상도 서브 밴드를 입력으로 사용하는 경우에 비하여 영상의 크기를 1/4 수준으로 줄일 수 있으며, 그로 인해 합성곱 신경망(104)의 학습 속도 및 실행 속도를 향상시킬 수 있게 된다. 또한, 제1 저해상도 서브 밴드(LRLL)는 입력되는 영상의 저주파 영역에 해당하는 것으로 입력되는 영상의 대부분의 데이터를 포함하고 있는 바, 복원 성능도 모든 저해상도 서브 밴드를 입력으로 사용하는 경우와 비슷한 성능을 보이게 된다.In this way, by using the first low resolution subband (LRLL) among the low resolution subbands (LRSB) as the input of the multiplicative neural network 104, the size of the image is 1/4 compared to the case where all the low resolution subbands are used as the input. It can be reduced to a level, thereby improving the learning speed and execution speed of the convolutional neural network 104. In addition, the first low resolution subband (LRLL) corresponds to the low frequency region of the input image and includes most of the data of the input image. The reconstruction performance is similar to that of using all the low resolution subbands as an input. Will be shown.

도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.6 is a block diagram illustrating and describing a computing environment 10 including a computing device suitable for use in example embodiments. In the illustrated embodiment, each component may have different functions and capabilities in addition to those described below, and may include additional components in addition to those described below.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 영상 복원 장치(예를 들어, 영상 복원 장치(102))일 수 있다.The illustrated computing environment 10 includes a computing device 12. In one embodiment, computing device 12 may be an image reconstruction device (eg, image reconstruction device 102).

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.Computing device 12 includes at least one processor 14, computer readable storage medium 16, and communication bus 18. The processor 14 may cause the computing device 12 to operate according to the example embodiments mentioned above. For example, processor 14 may execute one or more programs stored in computer readable storage medium 16. The one or more programs may include one or more computer executable instructions that, when executed by the processor 14, cause the computing device 12 to perform operations in accordance with an exemplary embodiment. Can be.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.Computer readable storage medium 16 is configured to store computer executable instructions or program code, program data and / or other suitable forms of information. The program 20 stored in the computer readable storage medium 16 includes a set of instructions executable by the processor 14. In one embodiment, computer readable storage medium 16 includes memory (volatile memory, such as random access memory, nonvolatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash Memory devices, or any other form of storage medium that is accessible by computing device 12 and capable of storing desired information, or a suitable combination thereof.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.The communication bus 18 interconnects various other components of the computing device 12, including the processor 14 and the computer readable storage medium 16.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.Computing device 12 may also include one or more input / output interfaces 22 and one or more network communication interfaces 26 that provide an interface for one or more input / output devices 24. The input / output interface 22 and the network communication interface 26 are connected to the communication bus 18. The input / output device 24 may be connected to other components of the computing device 12 via the input / output interface 22. Exemplary input / output devices 24 may include pointing devices (such as a mouse or trackpad), keyboards, touch input devices (such as touchpads or touchscreens), voice or sound input devices, various types of sensor devices, and / or imaging devices. Input devices, and / or output devices such as display devices, printers, speakers, and / or network cards. The example input / output device 24 may be included inside the computing device 12 as one component of the computing device 12, and may be connected to the computing device 12 as a separate device from the computing device 12. It may be.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.While the exemplary embodiments of the present invention have been described in detail above, those skilled in the art will appreciate that various modifications can be made to the above-described embodiments without departing from the scope of the present invention. . Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined by the claims below and equivalents thereof.

100 : 영상 복원 시스템
102 : 영상 복원 장치
104 : 합성곱 신경망
111 : 웨이블릿 변환부
113 : 통신부
115 : 영상 합성부
117 : 역 웨이블릿 변환부100: Image Restoration System
102: image restoration device
104: composite product neural network
111: wavelet transform unit
113: communication unit
115: video synthesis unit
117: inverse wavelet transform unit

Claims (19)

입력되는 저해상도의 영상을 웨이블릿 변환하여 저해상도 서브 밴드를 생성하고, 상기 저해상도 서브 밴드에 대응하는 잔차 서브 밴드를 수신하며, 상기 저해상도 서브 밴드와 상기 잔차 서브 밴드를 합성하여 복원용 서브 밴드를 생성하며, 상기 복원용 서브 밴드를 역 웨이블릿 변환하여 고해상도 영상으로 복원하는 영상 복원 장치; 및
상기 영상 복원 장치로부터 상기 저해상도 서브 밴드를 수신하고, 상기 저해상도 서브 밴드의 입력에 따라 출력되는 상기 잔차 서브 밴드를 상기 영상 복원 장치로 전송하는 합성곱 신경망을 포함하는, 영상 복원 시스템.
Wavelet transforms the input low resolution image to generate a low resolution subband, receives a residual subband corresponding to the low resolution subband, synthesizes the low resolution subband and the residual subband, and generates a reconstruction subband; An image reconstruction device for performing inverse wavelet transform on the reconstruction subband to reconstruct a high resolution image; And
And a composite product neural network that receives the low resolution subband from the image reconstruction device and transmits the residual subband output according to the input of the low resolution subband to the image reconstruction device.
청구항 1에 있어서,
상기 저해상도 서브 밴드는, 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 포함하고,
상기 영상 복원 장치는, 상기 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 하나의 영상으로 합성하여 상기 합성곱 신경망으로 전송하는, 영상 복원 시스템.
The method according to claim 1,
The low resolution subband includes a first low resolution subband (LRLL), a second low resolution subband (LRLH), a third low resolution subband (LRHL), and a fourth low resolution subband (LRHH),
The image reconstruction device synthesizes the first low resolution subband (LRLL), the second low resolution subband (LRLH), the third low resolution subband (LRHL), and the fourth low resolution subband (LRHH) into one image. Transmitting to the convolutional neural network.
청구항 2에 있어서,
상기 합성곱 신경망은,
상기 제1 저해상도 서브 밴드(LRLL)와 제1 고해상도 서브 밴드(HRLL) 간의 차이에 따른 제1 잔차 서브 밴드(△LL)를 출력하고, 상기 제2 저해상도 서브 밴드(LRLH)와 제2 고해상도 서브 밴드(HRLH) 간의 차이에 따른 제2 잔차 서브 밴드(△LH)를 출력하며, 상기 제3 저해상도 서브 밴드(LRHL)와 제3 고해상도 서브 밴드(HRHL) 간의 차이에 따른 제3 잔차 서브 밴드(△HL)를 출력하며, 상기 제4 저해상도 서브 밴드(LRHH)와 제4 고해상도 서브 밴드(HRHH) 간의 차이에 따른 제4 잔차 서브 밴드(△HH)를 출력하도록 학습된 것인, 영상 복원 시스템.
The method according to claim 2,
The composite product neural network,
Output a first residual subband ΔLL according to a difference between the first low resolution subband LRLL and the first high resolution subband HRLL, and output the second low resolution subband LLRH and the second high resolution subband Outputs a second residual subband ΔLH according to a difference between HRLH, and a third residual subband ΔHL according to a difference between the third low resolution subband LRHL and a third high resolution subband HRHL. And output a fourth residual subband (ΔHH) according to the difference between the fourth low resolution subband (LRHH) and the fourth high resolution subband (HRHH).
청구항 3에 있어서,
상기 영상 복원 장치는,
상기 제1 저해상도 서브 밴드(LRLL)와 상기 제1 잔차 서브 밴드(△LL)를 합성하여 제1 복원용 서브 밴드(SRLL)를 생성하고, 상기 제2 저해상도 서브 밴드(LRLH)와 상기 제2 잔차 서브 밴드(△LH)를 합성하여 제2 복원용 서브 밴드(SRLH)를 생성하며, 상기 제3 저해상도 서브 밴드(LRHL)와 상기 제3 잔차 서브 밴드(△HL)를 합성하여 제3 복원용 서브 밴드(SRHL)를 생성하고, 상기 제4 저해상도 서브 밴드(LRHH)와 상기 제4 잔차 서브 밴드(△HH)를 합성하여 제4 복원용 서브 밴드(SRHH)를 생성하는, 영상 복원 시스템.
The method according to claim 3,
The image restoration apparatus,
Synthesizing the first low resolution subband (LRLL) and the first residual subband (ΔLL) to generate a first restoring subband (SRLL), and the second low resolution subband (LRLH) and the second residual A second reconstruction subband SRLH is generated by synthesizing the subbands ΔLH, and a third reconstruction subband is synthesized by synthesizing the third low resolution subband LRHL and the third residual subband ΔHL. Generating a band SRHL, and synthesizing the fourth low resolution subband (LRHH) and the fourth residual subband (ΔHH) to generate a fourth restoring subband (SRHH).
청구항 1에 있어서,
상기 저해상도 서브 밴드는, 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 포함하고,
상기 합성곱 신경망은, 제1 합성곱 신경망, 제2 합성곱 신경망, 제3 합성곱 신경망, 및 제4 합성곱 신경망을 포함하며,
상기 영상 복원 장치는,
상기 제1 저해상도 서브 밴드(LRLL)를 상기 제1 합성곱 신경망으로 전송하고, 상기 제2 저해상도 서브 밴드(LRLH)를 상기 제2 합성곱 신경망으로 전송하며, 상기 제3 저해상도 서브 밴드(LRHL)를 상기 제3 합성곱 신경망으로 전송하고, 상기 제4 저해상도 서브 밴드(LRHH)를 상기 제4 합성곱 신경망으로 전송하는, 영상 복원 시스템.
The method according to claim 1,
The low resolution subband includes a first low resolution subband (LRLL), a second low resolution subband (LRLH), a third low resolution subband (LRHL), and a fourth low resolution subband (LRHH),
The convolutional neural network includes a first convolutional neural network, a second convolutional neural network, a third convolutional neural network, and a fourth convolutional neural network,
The image restoration apparatus,
The first low resolution subband (LRLL) is transmitted to the first convolutional neural network, the second low resolution subband (LRLH) is transmitted to the second convolutional neural network, and the third low resolution subband (LRHL) is transmitted. Transmitting to the third convolutional neural network and transmitting the fourth low resolution subband (LRHH) to the fourth convolutional neural network.
청구항 5에 있어서,
상기 제1 합성곱 신경망은, 상기 제1 저해상도 서브 밴드(LRLL)와 제1 고해상도 서브 밴드(HRLL) 간의 차이에 따른 제1 잔차 서브 밴드(△LL)를 출력하도록 학습된 것이고,
상기 제2 합성곱 신경망은, 상기 제2 저해상도 서브 밴드(LRLH)와 제2 고해상도 서브 밴드(HRLH) 간의 차이에 따른 제2 잔차 서브 밴드(△LH)를 출력하도록 학습된 것이며,
상기 제3 합성곱 신경망은, 상기 제3 저해상도 서브 밴드(LRHL)와 제3 고해상도 서브 밴드(HRHL) 간의 차이에 따른 제3 잔차 서브 밴드(△HL)를 출력하도록 학습된 것이고,
상기 제4 합성곱 신경망은, 상기 제4 저해상도 서브 밴드(LRHH)와 제4 고해상도 서브 밴드(HRHH) 간의 차이에 따른 제4 잔차 서브 밴드(△HH)를 출력하도록 학습된 것인, 영상 복원 시스템.
The method according to claim 5,
The first convolutional neural network is trained to output a first residual subband (ΔLL) according to a difference between the first low resolution subband (LRLL) and the first high resolution subband (HRLL),
The second convolutional neural network is trained to output a second residual subband (ΔLH) according to a difference between the second low resolution subband (LRLH) and the second high resolution subband (HRLH),
The third composite product neural network is trained to output a third residual subband ΔHL according to a difference between the third low resolution subband LRHL and a third high resolution subband HRHL.
The fourth composite product neural network is trained to output a fourth residual subband (ΔHH) according to a difference between the fourth low resolution subband (LRHH) and the fourth high resolution subband (HRHH). .
청구항 6에 있어서,
상기 영상 복원 장치는,
상기 제1 합성곱 신경망으로부터 상기 제1 잔차 서브 밴드(△LL)를 수신하고, 상기 제1 저해상도 서브 밴드(LRLL)와 상기 제1 잔차 서브 밴드(△LL)를 합성하여 제1 복원용 서브 밴드(SRLL)를 생성하며,
상기 제2 합성곱 신경망으로부터 상기 제2 잔차 서브 밴드(△LH)를 수신하고, 상기 제2 저해상도 서브 밴드(LRLH)와 상기 제2 잔차 서브 밴드(△LH)를 합성하여 제2 복원용 서브 밴드(SRLH)를 생성하며,
상기 제3 합성곱 신경망으로부터 상기 제3 잔차 서브 밴드(△HL)를 수신하고, 상기 제3 저해상도 서브 밴드(LRHL)와 상기 제3 잔차 서브 밴드(△HL)를 합성하여 제3 복원용 서브 밴드(SRHL)를 생성하며,
상기 제4 합성곱 신경망으로부터 상기 제4 잔차 서브 밴드(△HH)를 수신하고, 상기 제4 저해상도 서브 밴드(LRHH)와 상기 제4 잔차 서브 밴드(△HH)를 합성하여 제4 복원용 서브 밴드(SRHH)를 생성하는, 영상 복원 시스템.
The method according to claim 6,
The image restoration apparatus,
The first residual subband (ΔLL) is received from the first composite product neural network, the first low resolution subband (LRLL) and the first residual subband (ΔLL) are synthesized, and a first reconstruction subband is obtained. (SRLL),
The second residual subband (ΔLH) is received from the second composite product neural network, and the second low resolution subband (LRLH) and the second residual subband (ΔLH) are synthesized to perform a second restoration subband. (SRLH),
The third residual subband (ΔHL) is received from the third composite product neural network, the third low resolution subband (LRHL) and the third residual subband (ΔHL) are synthesized, and a third reconstruction subband is generated. (SRHL),
The fourth residual subband (ΔHH) is received from the fourth composite product neural network, and the fourth low resolution subband (LRHH) and the fourth residual subband (ΔHH) are synthesized to form a fourth restoration subband. (SRHH).
청구항 1에 있어서,
상기 저해상도 서브 밴드는, 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 포함하고,
상기 영상 복원 장치는, 상기 제1 저해상도 서브 밴드(LRLL)를 상기 합성곱 신경망으로 전송하고,
상기 합성곱 신경망은, 상기 제1 저해상도 서브 밴드(LRLL)와 제1 고해상도 서브 밴드(HRLL) 간의 차이에 따른 제1 잔차 서브 밴드(△LL)를 출력하도록 학습된 것인, 영상 복원 시스템.
The method according to claim 1,
The low resolution subband includes a first low resolution subband (LRLL), a second low resolution subband (LRLH), a third low resolution subband (LRHL), and a fourth low resolution subband (LRHH),
The image reconstruction device transmits the first low resolution subband (LRLL) to the composite product neural network,
The composite product neural network is trained to output a first residual subband (ΔLL) according to the difference between the first low resolution subband (LRLL) and the first high resolution subband (HRLL).
청구항 8에 있어서,
상기 영상 복원 장치는,
상기 합성곱 신경망으로부터 상기 제1 잔차 서브 밴드(△LL)를 수신하고, 상기 제1 저해상도 서브 밴드(LRLL)와 상기 제1 잔차 서브 밴드(△LL)를 합성하여 제1 복원용 서브 밴드(SRLL)를 생성하며, 상기 제1 복원용 서브 밴드(SRLL)를 역 웨이블릿 변환하여 고해상도 영상으로 복원하는, 영상 복원 시스템.
The method according to claim 8,
The image restoration apparatus,
The first residual subband (ΔLL) is received from the composite product neural network, the first low resolution subband (LRLL) and the first residual subband (ΔLL) are synthesized, and a first reconstruction subband (SRLL) is obtained. And reconstruct the first reconstructed subband (SRLL) by inverse wavelet transform to reconstruct the high resolution image.
입력되는 저해상도의 영상을 웨이블릿 변환하여 저해상도 서브 밴드를 생성하는 웨이블릿 변환부;
상기 저해상도 서브 밴드를 합성곱 신경망으로 전송하고, 상기 합성곱 신경망으로부터 상기 저해상도 서브 밴드에 대응하는 잔차 서브 밴드를 수신하는 통신부;
상기 저해상도 서브 밴드와 상기 잔차 서브 밴드를 합성하여 복원용 서브 밴드를 생성하는 영상 합성부; 및
상기 복원용 서브 밴드를 역 웨이블릿 변환하여 고해상도 영상으로 복원하는 역 웨이블릿 변환부를 포함하는, 영상 복원 장치.
A wavelet converter configured to wavelet the input low resolution image to generate a low resolution subband;
A communication unit which transmits the low resolution subbands to a composite product neural network and receives a residual subband corresponding to the low resolution subbands from the composite product neural network;
An image synthesizer configured to synthesize the low resolution subband and the residual subband to generate a reconstruction subband; And
And an inverse wavelet transform unit configured to inversely wavelet-convert the restored subband to a high resolution image.
청구항 10에 있어서,
상기 저해상도 서브 밴드는, 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 포함하고,
상기 영상 복원 장치는, 상기 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 하나의 영상으로 합성하여 상기 합성곱 신경망으로 전송하는, 영상 복원 장치.
The method according to claim 10,
The low resolution subband includes a first low resolution subband (LRLL), a second low resolution subband (LRLH), a third low resolution subband (LRHL), and a fourth low resolution subband (LRHH),
The image reconstruction device synthesizes the first low resolution subband (LRLL), the second low resolution subband (LRLH), the third low resolution subband (LRHL), and the fourth low resolution subband (LRHH) into one image. Image reconstruction apparatus for transmitting to the composite product neural network.
청구항 10에 있어서,
상기 통신부는,
상기 합성곱 신경망으로부터 상기 제1 저해상도 서브 밴드(LRLL)와 제1 고해상도 서브 밴드(HRLL) 간의 차이에 따른 제1 잔차 서브 밴드(△LL), 상기 제2 저해상도 서브 밴드(LRLH)와 제2 고해상도 서브 밴드(HRLH) 간의 차이에 따른 제2 잔차 서브 밴드(△LH), 상기 제3 저해상도 서브 밴드(LRHL)와 제3 고해상도 서브 밴드(HRHL) 간의 차이에 따른 제3 잔차 서브 밴드(△HL), 및 상기 제4 저해상도 서브 밴드(LRHH)와 제4 고해상도 서브 밴드(HRHH) 간의 차이에 따른 제4 잔차 서브 밴드(△HH)를 수신하는, 영상 복원 장치.
The method according to claim 10,
The communication unit,
A first residual subband (ΔLL), the second low resolution subband (LRLH), and a second high resolution according to a difference between the first low resolution subband (LRLL) and the first high resolution subband (HRLL) from the composite product neural network Second residual subband ΔLH according to the difference between the subbands HRLH, and Third residual subband ΔHL according to the difference between the third low resolution subband LRHL and the third high resolution subband HRHL. And a fourth residual subband (ΔHH) according to a difference between the fourth low resolution subband (LRHH) and the fourth high resolution subband (HRHH).
청구항 12에 있어서,
상기 영상 합성부는,
상기 제1 저해상도 서브 밴드(LRLL)와 상기 제1 잔차 서브 밴드(△LL)를 합성하여 제1 복원용 서브 밴드(SRLL)를 생성하고, 상기 제2 저해상도 서브 밴드(LRLH)와 상기 제2 잔차 서브 밴드(△LH)를 합성하여 제2 복원용 서브 밴드(SRLH)를 생성하며, 상기 제3 저해상도 서브 밴드(LRHL)와 상기 제3 잔차 서브 밴드(△HL)를 합성하여 제3 복원용 서브 밴드(SRHL)를 생성하고, 상기 제4 저해상도 서브 밴드(LRHH)와 상기 제4 잔차 서브 밴드(△HH)를 합성하여 제4 복원용 서브 밴드(SRHH)를 생성하며,
상기 역 웨이블릿 변환부는,
상기 제1 복원용 서브 밴드(SRLL), 상기 제2 복원용 서브 밴드(SRLH), 상기 제3 복원용 서브 밴드(SRHL), 및 상기 제4 복원용 서브 밴드(SRHH)를 역 웨이블릿 변환하여 고해상도 영상으로 복원하는, 영상 복원 장치.
The method according to claim 12,
The image synthesis unit,
Synthesizing the first low resolution subband (LRLL) and the first residual subband (ΔLL) to generate a first restoring subband (SRLL), and the second low resolution subband (LRLH) and the second residual A second reconstruction subband SRLH is generated by synthesizing the subbands ΔLH, and a third reconstruction subband is synthesized by synthesizing the third low resolution subband LRHL and the third residual subband ΔHL. A band SRHL is generated, and a fourth reconstruction subband SRHH is generated by synthesizing the fourth low resolution subband LRHH and the fourth residual subband ΔHH,
The inverse wavelet transform unit,
Inverse wavelet transforms the first reconstruction subband SRLL, the second reconstruction subband SRLH, the third reconstruction subband SRHL, and the fourth reconstruction subband SRHH by inverse wavelet transform. An image restoring apparatus for restoring to an image.
청구항 10에 있어서,
상기 저해상도 서브 밴드는, 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 포함하고,
상기 통신부는,
상기 제1 저해상도 서브 밴드(LRLL)를 상기 제1 합성곱 신경망으로 전송하고, 상기 제2 저해상도 서브 밴드(LRLH)를 상기 제2 합성곱 신경망으로 전송하며, 상기 제3 저해상도 서브 밴드(LRHL)를 상기 제3 합성곱 신경망으로 전송하고, 상기 제4 저해상도 서브 밴드(LRHH)를 상기 제4 합성곱 신경망으로 전송하는, 영상 복원 장치.
The method according to claim 10,
The low resolution subband includes a first low resolution subband (LRLL), a second low resolution subband (LRLH), a third low resolution subband (LRHL), and a fourth low resolution subband (LRHH),
The communication unit,
The first low resolution subband (LRLL) is transmitted to the first convolutional neural network, the second low resolution subband (LRLH) is transmitted to the second convolutional neural network, and the third low resolution subband (LRHL) is transmitted. Transmitting to the third convolutional neural network and transmitting the fourth low resolution subband (LRHH) to the fourth convolutional neural network.
청구항 14에 있어서,
상기 통신부는,
상기 제1 합성곱 신경망으로부터 상기 제1 저해상도 서브 밴드(LRLL)와 제1 고해상도 서브 밴드(HRLL) 간의 차이에 따른 제1 잔차 서브 밴드(△LL)를 수신하고,
상기 제2 합성곱 신경망으로부터 상기 제2 저해상도 서브 밴드(LRLH)와 제2 고해상도 서브 밴드(HRLH) 간의 차이에 따른 제2 잔차 서브 밴드(△LH)를 수신하며,
상기 제3 합성곱 신경망으로부터 상기 제3 저해상도 서브 밴드(LRHL)와 제3 고해상도 서브 밴드(HRHL) 간의 차이에 따른 제3 잔차 서브 밴드(△HL)를 수신하고,
상기 제4 합성곱 신경망으로부터 상기 제4 저해상도 서브 밴드(LRHH)와 제4 고해상도 서브 밴드(HRHH) 간의 차이에 따른 제4 잔차 서브 밴드(△HH)를 수신하는, 영상 복원 장치.
The method according to claim 14,
The communication unit,
Receiving a first residual subband (ΔLL) according to a difference between the first low resolution subband (LRLL) and a first high resolution subband (HRLL) from the first convolutional neural network,
Receiving a second residual subband (ΔLH) according to a difference between the second low resolution subband (LRLH) and a second high resolution subband (HRLH) from the second convolutional neural network,
Receiving a third residual subband (ΔHL) according to a difference between the third low resolution subband (LRHL) and a third high resolution subband (HRHL) from the third composite product neural network,
And receiving a fourth residual subband (ΔHH) according to the difference between the fourth low resolution subband (LRHH) and the fourth high resolution subband (HRHH) from the fourth composite product neural network.
청구항 10에 있어서,
상기 저해상도 서브 밴드는, 제1 저해상도 서브 밴드(LRLL), 제2 저해상도 서브 밴드(LRLH), 제3 저해상도 서브 밴드(LRHL), 및 제4 저해상도 서브 밴드(LRHH)를 포함하고,
상기 통신부는,
상기 제1 저해상도 서브 밴드(LRLL)를 상기 합성곱 신경망으로 전송하고, 상기 합성곱 신경망으로부터 상기 제1 저해상도 서브 밴드(LRLL)와 제1 고해상도 서브 밴드(HRLL) 간의 차이에 따른 제1 잔차 서브 밴드(△LL)를 수신하는, 영상 복원 장치.
The method according to claim 10,
The low resolution subband includes a first low resolution subband (LRLL), a second low resolution subband (LRLH), a third low resolution subband (LRHL), and a fourth low resolution subband (LRHH),
The communication unit,
The first low resolution subband (LRLL) is transmitted to the convolutional neural network, and a first residual subband according to the difference between the first low resolution subband (LRLL) and the first high resolution subband (HRLL) from the convolutional neural network. An image decompression device for receiving (ΔLL).
청구항 16에 있어서,
상기 영상 합성부는, 상기 제1 저해상도 서브 밴드(LRLL)와 상기 제1 잔차 서브 밴드(△LL)를 합성하여 제1 복원용 서브 밴드(SRLL)를 생성하며,
상기 역 웨이블릿 변환부는, 상기 제1 복원용 서브 밴드(SRLL)를 역 웨이블릿 변환하여 고해상도 영상으로 복원하는, 영상 복원 장치.
The method according to claim 16,
The image synthesis unit generates a first reconstruction subband SRLL by combining the first low resolution subband LRLL and the first residual subband ΔLL.
The inverse wavelet transform unit inverse wavelet transforms the first restoring subband (SRLL) to restore a high resolution image.
하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
입력되는 저해상도의 영상을 웨이블릿 변환하여 저해상도 서브 밴드를 생성하는 단계;
상기 저해상도 서브 밴드를 합성곱 신경망으로 전송하는 단계;
상기 합성곱 신경망으로부터 상기 저해상도 서브 밴드에 대응하는 잔차 서브 밴드를 수신하는 단계;
상기 저해상도 서브 밴드와 상기 잔차 서브 밴드를 합성하여 복원용 서브 밴드를 생성하는 단계; 및
상기 복원용 서브 밴드를 역 웨이블릿 변환하여 고해상도 영상으로 복원하는 단계를 포함하는, 영상 복원 방법.
One or more processors, and
A method performed in a computing device having a memory that stores one or more programs executed by the one or more processors, the method comprising:
Generating a low resolution subband by wavelet transforming an input low resolution image;
Transmitting the low resolution subbands to a multiplicative neural network;
Receiving a residual subband corresponding to the low resolution subband from the convolutional neural network;
Generating a subband for restoration by synthesizing the low resolution subband and the residual subband; And
And performing inverse wavelet transform on the reconstruction subband to reconstruct the high resolution image.
하나 이상의 프로세서들;
메모리; 및
하나 이상의 프로그램들을 포함하고,
상기 하나 이상의 프로그램들은 상기 메모리에 저장되고, 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되며,
상기 하나 이상의 프로그램들은,
입력되는 저해상도의 영상을 웨이블릿 변환하여 저해상도 서브 밴드를 생성하기 위한 명령;
상기 저해상도 서브 밴드를 합성곱 신경망으로 전송하기 위한 명령;
상기 합성곱 신경망으로부터 상기 저해상도 서브 밴드에 대응하는 잔차 서브 밴드를 수신하기 위한 명령;
상기 저해상도 서브 밴드와 상기 잔차 서브 밴드를 합성하여 복원용 서브 밴드를 생성하기 위한 명령; 및
상기 복원용 서브 밴드를 역 웨이블릿 변환하여 고해상도 영상으로 복원하기 위한 명령을 포함하는, 컴퓨팅 장치.

One or more processors;
Memory; And
Contains one or more programs,
The one or more programs are stored in the memory and configured to be executed by the one or more processors,
The one or more programs,
Generating a low resolution subband by wavelet transforming an input low resolution image;
Instructions for transmitting the low resolution subbands to a convolutional neural network;
Receiving a residual subband corresponding to the low resolution subband from the convolutional neural network;
Generating a subband for restoration by synthesizing the low resolution subband and the residual subband; And
And performing inverse wavelet transform on the reconstruction subband to reconstruct the high resolution image.

KR1020180032168A 2018-03-20 2018-03-20 Method for restoration of image, apparatus and system for executing the method KR102064486B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180032168A KR102064486B1 (en) 2018-03-20 2018-03-20 Method for restoration of image, apparatus and system for executing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180032168A KR102064486B1 (en) 2018-03-20 2018-03-20 Method for restoration of image, apparatus and system for executing the method

Publications (2)

Publication Number Publication Date
KR20190110320A true KR20190110320A (en) 2019-09-30
KR102064486B1 KR102064486B1 (en) 2020-03-02

Family

ID=68098636

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180032168A KR102064486B1 (en) 2018-03-20 2018-03-20 Method for restoration of image, apparatus and system for executing the method

Country Status (1)

Country Link
KR (1) KR102064486B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476745A (en) * 2020-01-13 2020-07-31 杭州电子科技大学 Multi-branch network and method for motion blur super-resolution
KR20220003389A (en) * 2020-07-01 2022-01-10 주식회사 딥브레인에이아이 Method and apparatus for learning key point of based neural network
CN117036987A (en) * 2023-10-10 2023-11-10 武汉大学 Remote sensing image space-time fusion method and system based on wavelet domain cross pairing
CN117274064A (en) * 2023-11-15 2023-12-22 中国科学技术大学 Image super-resolution method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100803045B1 (en) 2006-09-11 2008-02-18 중앙대학교 산학협력단 Apparatus and method for recovering image based on blocks
KR20180010950A (en) * 2016-07-22 2018-01-31 한국과학기술원 Method and apparatus for processing image based on neural network
KR101829287B1 (en) * 2016-11-29 2018-02-14 인천대학교 산학협력단 Nonsubsampled Contourlet Transform Based Infrared Image Super-Resolution

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100803045B1 (en) 2006-09-11 2008-02-18 중앙대학교 산학협력단 Apparatus and method for recovering image based on blocks
KR20180010950A (en) * 2016-07-22 2018-01-31 한국과학기술원 Method and apparatus for processing image based on neural network
KR101829287B1 (en) * 2016-11-29 2018-02-14 인천대학교 산학협력단 Nonsubsampled Contourlet Transform Based Infrared Image Super-Resolution

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Tiantong Guo ET AL:"Deep wavelet prediction for image super-resolution", 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 21-26 July 2017(2017.07.21.) 1부.* *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476745A (en) * 2020-01-13 2020-07-31 杭州电子科技大学 Multi-branch network and method for motion blur super-resolution
KR20220003389A (en) * 2020-07-01 2022-01-10 주식회사 딥브레인에이아이 Method and apparatus for learning key point of based neural network
CN117036987A (en) * 2023-10-10 2023-11-10 武汉大学 Remote sensing image space-time fusion method and system based on wavelet domain cross pairing
CN117036987B (en) * 2023-10-10 2023-12-08 武汉大学 Remote sensing image space-time fusion method and system based on wavelet domain cross pairing
CN117274064A (en) * 2023-11-15 2023-12-22 中国科学技术大学 Image super-resolution method
CN117274064B (en) * 2023-11-15 2024-04-02 中国科学技术大学 Image super-resolution method

Also Published As

Publication number Publication date
KR102064486B1 (en) 2020-03-02

Similar Documents

Publication Publication Date Title
KR102064486B1 (en) Method for restoration of image, apparatus and system for executing the method
US10311547B2 (en) Image upscaling system, training method thereof, and image upscaling method
US20220383072A1 (en) Knowledge distillation method based on regression task and computing device for executing the method
US20220210402A1 (en) Method and apparatus for deep neural network based inter-frame prediction in video coding
KR20220124622A (en) Image compression method and apparatus thereof
JP2009037597A (en) Method of filtering input image to create output image
US20160048947A1 (en) Upsampling and signal enhancement
JP7355851B2 (en) Method and apparatus for identifying videos
WO2009047643A2 (en) Mehtod and apparatus for image processing
Witwit et al. Global motion based video super-resolution reconstruction using discrete wavelet transform
US20240242467A1 (en) Video encoding and decoding method, encoder, decoder and storage medium
JP5717548B2 (en) Super-resolution auxiliary information generation device, encoding device, decoding device, and programs thereof
JP7378500B2 (en) Autoregressive video generation neural network
US20060284891A1 (en) Method for spatial up-scaling of video frames
JP7002213B2 (en) Spatial / gradation super-resolution device and program
Patel et al. Analysis of signals via non-maximally decimated non-uniform filter banks
Devi et al. FPGA implementation of balanced biorthogonal multiwavelet using direct pipelined mapping method for image compression applications
Blanes et al. Isorange pairwise orthogonal transform
CN118318442A (en) Image coding and decoding method and device
Bystrov et al. Usage of video codec based on multichannel wavelet decomposition in video streaming telecommunication systems
CN113129922A (en) Voice signal processing method and device
US20060245667A1 (en) 1-D image restoration using a sliding window method
Patel et al. Implementation of the 5/3 Lifting 2D Discrete Wavelet Transform
El-Ashkar et al. Simultaneous compressed sensing and single-image super resolution for SAR image reconstruction
Hsung et al. Generalized discrete multiwavelet transform with embedded orthogonal symmetric prefilter bank

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant