KR102543690B1 - Image Upscaling Apparatus And Method Based On Learning With Privileged Information - Google Patents

Image Upscaling Apparatus And Method Based On Learning With Privileged Information Download PDF

Info

Publication number
KR102543690B1
KR102543690B1 KR1020200140601A KR20200140601A KR102543690B1 KR 102543690 B1 KR102543690 B1 KR 102543690B1 KR 1020200140601 A KR1020200140601 A KR 1020200140601A KR 20200140601 A KR20200140601 A KR 20200140601A KR 102543690 B1 KR102543690 B1 KR 102543690B1
Authority
KR
South Korea
Prior art keywords
image
network
loss
student
teacher
Prior art date
Application number
KR1020200140601A
Other languages
Korean (ko)
Other versions
KR20220055970A (en
Inventor
함범섭
이원경
이중협
김도형
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020200140601A priority Critical patent/KR102543690B1/en
Publication of KR20220055970A publication Critical patent/KR20220055970A/en
Application granted granted Critical
Publication of KR102543690B1 publication Critical patent/KR102543690B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution

Abstract

본 발명은 학습 시 결합되는 인코더와 디코더를 포함하는 오토 인코더로 구현되고, 미리 획득된 학습 데이터 셋의 고해상도 영상을 인가받아 학습된 방식에 따라 특징을 추출하여 함축 특징맵을 획득하고, 획득된 함축 특징맵으로부터 학습된 방식에 따라 고해상도 영상을 재구성하여 재구성 영상을 획득하는 교사 네트워크, 교사 네트워크의 디코더와 동일한 구조로 구성되어, 업스케일링 대상이 되는 저해상도의 대상 영상을 인가받아 미리 학습된 방식에 따라 업스케일링하여 고해상도의 업스케일링 영상을 획득하는 학생 네트워크 및 학습 시에 결합되어, 학습 데이터 셋의 고해상도 영상과 대응하는 저해상도 영상, 재구성 영상 및 함축 특징맵을 기반으로 교사 네트워크에 대한 학습을 우선 수행하고, 학습된 교사 네트워크를 기반으로 지식 증류 기법에 따라 학생 네트워크에 학습 데이터 셋의 저해상도 영상을 인가하여 학습을 수행하는 학습부를 포함하여, 사용자 단말에서도 효율적으로 저해상도 영상으로부터 고품질의 고해상도의 영상을 획득할 수 있는 영상 업스케일링 장치 및 방법을 제공할 수 있다.The present invention is implemented as an auto-encoder including an encoder and a decoder that are combined during learning, receives a high-resolution image of a training data set obtained in advance, extracts features according to a learned method, obtains an implicit feature map, and obtains an implicit feature map. It is composed of the same structure as the teacher network and the decoder of the teacher network that reconstructs the high-resolution image according to the method learned from the feature map and acquires the reconstructed image. The student network that acquires a high-resolution upscaling image by upscaling and the student network that acquires a high-resolution upscaling image are combined during learning, and the teacher network is first trained based on the high-resolution image of the training data set and the corresponding low-resolution image, reconstructed image, and implicit feature map. , Including a learning unit that performs learning by applying the low-resolution image of the learning data set to the student network according to the knowledge distillation technique based on the learned teacher network, the user terminal can efficiently acquire high-quality and high-resolution images from the low-resolution images. It is possible to provide an image upscaling apparatus and method capable of

Description

사전 정보 학습 기반 영상 업스케일링 장치 및 방법{Image Upscaling Apparatus And Method Based On Learning With Privileged Information}Image Upscaling Apparatus And Method Based On Learning With Privileged Information

본 발명은 영상 업스케일링 장치 및 방법에 관한 것으로, 사전 정보와 지식 증류 기법으로 학습되어 영상을 업스케일링 하는 영상 업스케일링 장치 및 방법에 관한 것이다.The present invention relates to an image upscaling apparatus and method, and relates to an image upscaling apparatus and method for upscaling an image by learning prior information and a knowledge distillation technique.

최근 영상 기술의 발전으로 인해 고해상도 영상에 대한 요구가 증가되고 있으며, 이에 저해상도 영상을 초고해상도 영상으로 변환하는 업스케일링(Upscaling) 기술에 또한 관심을 받고 있다.Due to the recent development of image technology, the demand for high-resolution images is increasing, and accordingly, upscaling technology for converting low-resolution images into ultra-high resolution images is also drawing attention.

영상 업 스케일링 기술로 다양한 알고리즘이 제안되었으나, 단순한 산술 연산에 기반한 알고리즘보다 인공 신경망을 이용하여 연산하는 방법인 초해상도(Super-Resolution) 기법이 더 좋은 성능을 나타내는 것으로 알려져 있다.Various algorithms have been proposed as an image upscaling technique, but it is known that the super-resolution technique, which is a method of calculating using an artificial neural network, exhibits better performance than an algorithm based on simple arithmetic operation.

초해상도 기법에서는 콘볼루션(Convolution)연산을 기반으로 하는 CNN(Convolution Neural Network) 알고리즘을 이용하였다. 그러나 CNN은 영상 품질을 향상시키기 위해 많은 메모리와 연산량을 요구할 뿐만 아니라, 업스케일링 속도가 느리다는 문제가 있다.In the super-resolution technique, a Convolution Neural Network (CNN) algorithm based on convolution operation was used. However, CNNs not only require a large amount of memory and computation to improve image quality, but also have a problem in that upscaling speed is slow.

이에 적은 수의 컨볼루션 레이어로 구성되어 단순한 구조를 갖는 SRCNN(Super-Resolution Convolutional Neural Network) 또는 FSRCNN(Fast SRCNN)이 제안되었다. SRCNN이나 FSRCNN은 구조가 복잡하지 않아, TV나 스마트폰과 같은 사용자 단말 수준에서도 빠르게 실행될 수 있으나, 요구되는 고품질의 고해상도 영상을 획득하기 어렵다는 한계가 있다.Accordingly, a Super-Resolution Convolutional Neural Network (SRCNN) or Fast SRCNN (FSRCNN) having a simple structure composed of a small number of convolutional layers has been proposed. SRCNN or FSRCNN has an uncomplicated structure and can be quickly executed at the level of a user terminal such as a TV or smartphone, but has a limitation in that it is difficult to obtain the required high-quality, high-resolution image.

최근에는 어텐션(attention) 구조나 재귀(recursive) 구조 등의 이용하여 복잡한 네트워크 구조를 갖지만 속도 및 메모리 측면에서 효율적이고 높은 업스케일링 성능을 나타낼 수 있는 기법이 제안되었으나, 복잡한 구조로 인해 여전히 하드웨어로 구현이 어렵다는 문제가 있다.Recently, a technique that has a complex network structure using an attention structure or a recursive structure, but is efficient in terms of speed and memory and can show high upscaling performance has been proposed, but it is still implemented in hardware due to the complex structure. There is a problem with this difficult.

한국 등록 특허 제10-2061935호 (2019.12.26 등록)Korean Registered Patent No. 10-2061935 (registered on December 26, 2019)

본 발명의 목적은 저해상도 영상을 고품질의 고해상도의 영상으로 업스케일링할 수 있는 영상 업스케일링 장치 및 방법을 제공하는데 있다.An object of the present invention is to provide an image upscaling apparatus and method capable of upscaling a low-resolution image to a high-quality, high-resolution image.

본 발명의 다른 목적은 사전 정보에 기반하여 학습된 교사 네트워크의 학습 정보를 지식 증류 기법으로 전달받은 학생 네트워크를 이용하여 간단한 구조로 효율적으로 고품질의 고해상도의 영상을 획득할 수 있는 영상 업스케일링 장치 및 방법을 제공하는데 있다.Another object of the present invention is an image upscaling device capable of efficiently acquiring high-quality, high-resolution images with a simple structure using a student network that receives learning information from a teacher network learned based on prior information through a knowledge distillation technique, and is to provide a way

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 업스케일링 장치는 학습 시 결합되는 인코더와 디코더를 포함하는 오토 인코더로 구현되고, 미리 획득된 학습 데이터 셋의 고해상도 영상을 인가받아 학습된 방식에 따라 특징을 추출하여 함축 특징맵을 획득하고, 획득된 함축 특징맵으로부터 학습된 방식에 따라 고해상도 영상을 재구성하여 재구성 영상을 획득하는 교사 네트워크; 상기 교사 네트워크의 디코더와 동일한 구조로 구성되어, 업스케일링 대상이 되는 저해상도의 대상 영상을 인가받아 미리 학습된 방식에 따라 업스케일링하여 고해상도의 업스케일링 영상을 획득하는 학생 네트워크; 및 학습 시에 결합되어, 상기 학습 데이터 셋의 고해상도 영상과 대응하는 저해상도 영상, 상기 재구성 영상 및 상기 함축 특징맵을 기반으로 상기 교사 네트워크에 대한 학습을 우선 수행하고, 학습된 교사 네트워크를 기반으로 지식 증류 기법에 따라 학생 네트워크에 상기 학습 데이터 셋의 저해상도 영상을 인가하여 학습을 수행하는 학습부를 포함한다.An image upscaling apparatus according to an embodiment of the present invention for achieving the above object is implemented as an auto-encoder including an encoder and a decoder that are combined during learning, and is learned by receiving a high-resolution image of a training data set obtained in advance A teacher network that obtains an implicit feature map by extracting features according to and reconstructs a high-resolution image according to a method learned from the obtained implicit feature map to obtain a reconstructed image; a student network having the same structure as the decoder of the teacher network, receiving a low resolution target image to be upscaled and upscaling it according to a pre-learned method to obtain a high resolution upscaling image; and combined during learning, learning of the teacher network is first performed based on the low-resolution image corresponding to the high-resolution image of the training data set, the reconstructed image, and the implicit feature map, and knowledge is obtained based on the learned teacher network. and a learning unit for performing learning by applying a low-resolution image of the training data set to a student network according to a distillation technique.

상기 인코더는 학습에 의해 업데이트되는 가중치를 기반으로 각각 기지정된 연산을 수행하는 다수의 연산 레이어를 포함하는 인공 신경망으로 구현되어, 학습된 방식에 따라 인가된 학습 데이터 셋의 고해상도 영상의 특징을 추출하여, 상기 저해상도 영상에 대응하는 크기를 갖는 상기 함축 특징맵을 획득할 수 있다.The encoder is implemented as an artificial neural network including a plurality of computation layers that perform predetermined operations based on weights updated by learning, and extracts features of a high-resolution image of the applied training data set according to a learned method. , the implicit feature map having a size corresponding to the low-resolution image can be obtained.

상기 디코더는 학습에 의해 업데이트되는 가중치를 기반으로 각각 기지정된 연산을 수행하는 다수의 연산 레이어를 포함하는 인공 신경망으로 구현되어, 학습된 방식에 따라 인가된 상기 함축 특징맵을 상기 고해상도 영상에 대응하는 크기를 갖는 상기 재구성 영상으로 재구성할 수 있다.The decoder is implemented as an artificial neural network including a plurality of computation layers each of which performs a predetermined operation based on a weight updated by learning, and converts the implied feature map applied according to the learned method to the high-resolution image. It can be reconstructed with the reconstructed image having a size.

상기 학생 네트워크는 상기 디코더와 동일한 구조를 갖고 지식 증류 기법에 따라 상기 디코더의 다수의 연산 레이어에서 대응하는 연산 레이어의 가중치가 전이되어 초기 설정되는 다수의 연산 레이어를 포함하는 인공 신경망으로 구현될 수 있다.The student network may be implemented as an artificial neural network including a plurality of computation layers having the same structure as the decoder and initially set by transferring weights of corresponding computation layers in a plurality of computation layers of the decoder according to a knowledge distillation technique. .

상기 학습부는 상기 교사 네트워크에 대한 학습 수행 시, 상기 함축 특징맵(

Figure 112020114284219-pat00001
)과 저해상도 영상(X)을 기반으로 모방 손실(
Figure 112020114284219-pat00002
)을 수학식 When the learning unit performs learning on the teacher network, the implicit feature map (
Figure 112020114284219-pat00001
) and the imitation loss based on the low-resolution image (X) (
Figure 112020114284219-pat00002
) to the equation

Figure 112020114284219-pat00003
Figure 112020114284219-pat00003

(여기서 i, j는 픽셀 위치 좌표를 나타내고, H' 과 W' 은 각각 저해상도 영상(X)의 높이와 폭을 나타낸다.)에 따라 계산할 수 있다.(Here, i and j represent pixel location coordinates, and H' and W' represent the height and width of the low-resolution image X, respectively.).

상기 학습부는 상기 재구성 영상(

Figure 112020114284219-pat00004
)과 상기 고해상도 영상(Y)을 기반으로 교사 복원 손실(
Figure 112020114284219-pat00005
)을 수학식 The learning unit reconstructed image (
Figure 112020114284219-pat00004
) and the teacher restoration loss based on the high-resolution image (Y) (
Figure 112020114284219-pat00005
) to the equation

Figure 112020114284219-pat00006
Figure 112020114284219-pat00006

(여기서 i, j는 픽셀 위치 좌표를 나타내고, H 과 W 은 각각 고해상도 영상(Y)의 높이와 폭을 나타낸다.)에 따라 계산할 수 있다.(Where i and j represent pixel position coordinates, and H and W represent the height and width of the high-resolution image Y, respectively.).

상기 학습부는 계산된 모방 손실(

Figure 112020114284219-pat00007
)과 교사 복원 손실(
Figure 112020114284219-pat00008
)로부터 교사 총손실(
Figure 112020114284219-pat00009
)을 수학식 The learning unit calculates the imitation loss (
Figure 112020114284219-pat00007
) and teacher restoration loss (
Figure 112020114284219-pat00008
) from teacher total loss (
Figure 112020114284219-pat00009
) to the equation

Figure 112020114284219-pat00010
Figure 112020114284219-pat00010

(여기서 λT 는 모방 손실(

Figure 112020114284219-pat00011
)과 교사 복원 손실(
Figure 112020114284219-pat00012
)의 비중을 조절하기 위한 파라미터이다.)에 따라 획득하여, 상기 교사 총손실(
Figure 112020114284219-pat00013
)을 상기 교사 네트워크로 역전파할 수 있다.(Where λ T is the imitation loss (
Figure 112020114284219-pat00011
) and teacher restoration loss (
Figure 112020114284219-pat00012
) is a parameter for adjusting the proportion of.), and the teacher total loss (
Figure 112020114284219-pat00013
) can be back-propagated to the teacher network.

상기 학습부는 지식 정보가 전이된 학생 네트워크에 대한 추가 학습 수행 시, 상기 학습 데이터 셋의 저해상도 영상이 인가된 학생 네트워크에서 출력되는 업스케일링 영상(

Figure 112020114284219-pat00014
)과 고해상도 영상(Y)을 기반으로 수학식 When the learning unit performs additional learning on the student network to which the knowledge information is transferred, an upscaling image output from the student network to which the low-resolution image of the learning data set is applied (
Figure 112020114284219-pat00014
) and the equation based on the high-resolution image (Y)

Figure 112020114284219-pat00015
Figure 112020114284219-pat00015

에 따라 학생 복원 손실(

Figure 112020114284219-pat00016
)을 계산할 수 있다.Depending on the student restoration loss (
Figure 112020114284219-pat00016
) can be calculated.

상기 학습부는 지식 정보가 전이된 학생 네트워크에 대한 추가 학습 수행 시, 상기 학습 데이터 셋의 저해상도 영상이 인가된 학생 네트워크의 다수의 연산 레이어 중 최종 연산 레이어를 제외한 연산 레이어 중 기지정된 하나의 연산 레이어에서 출력되는 중간 특징맵(fS)과 디코더의 대응하는 위치의 연산 레이어에서 출력되는 중간 특징맵(fT)을 인가받고, 다변량 라플라스 분포(multivariate Laplace distribution)를 기반으로 하는 중간 특징맵(fT, fS) 사이의 파라메트릭 모델(q(fT; fS))을 이용하여 중간 특징맵(fT, fS) 사이의 픽셀 위치에 대한 파라메트릭인 위치맵(μ)과 스케일에 대한 파라메트릭인 스케일맵(b)을 추정할 수 있다.When the learning unit performs additional learning on the student network to which the knowledge information is transferred, in one predetermined calculation layer among the calculation layers excluding the final calculation layer among the plurality of calculation layers of the student network to which the low-resolution image of the learning data set is applied. An intermediate feature map (f T ) output from an intermediate feature map (f S ) and an intermediate feature map (f T ) output from a computation layer at a corresponding position of a decoder are authorized, and an intermediate feature map (f T ) based on a multivariate Laplace distribution is obtained. , f S ) using the parametric model (q(f T ; f S )) between the intermediate feature maps (f T , f S ) for the pixel position between the parametric position map (μ) and the scale A parametric scale map (b) can be estimated.

상기 학습부는 상기 위치맵(μ)과 상기 스케일맵(b) 및 상기 교사 네트워크에서 인가된 중간 특징맵(fT)을 기반으로 증류 손실(

Figure 112020114284219-pat00017
)을 수학식The learning unit distillation loss (based on the location map (μ), the scale map (b), and the intermediate feature map (f T ) applied from the teacher network
Figure 112020114284219-pat00017
) to the equation

Figure 112020114284219-pat00018
Figure 112020114284219-pat00018

(여기서 C는 중간 특징맵(fT, fS)의 채널 수이고, (i,j,k)는 중간 특징맵(fT, fS)의 픽셀 위치)에 따라 계산할 수 있다.(Where C is the number of channels of the intermediate feature map (f T , f S ), and (i, j, k) is the pixel position of the intermediate feature map (f T , f S )).

상기 학습부는 상기 학생 복원 손실(

Figure 112020114284219-pat00019
)과 상기 증류 손실(
Figure 112020114284219-pat00020
)로부터 학생 총손실(
Figure 112020114284219-pat00021
)을 수학식 The learning unit restores the student loss (
Figure 112020114284219-pat00019
) and the distillation loss (
Figure 112020114284219-pat00020
) from student total loss (
Figure 112020114284219-pat00021
) to the equation

Figure 112020114284219-pat00022
Figure 112020114284219-pat00022

에 따라 획득하여, 상기 학생 총손실(

Figure 112020114284219-pat00023
)을 상기 학생 네트워크로 역전파할 수 있다.Acquired according to, the student total loss (
Figure 112020114284219-pat00023
) to the student network.

상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 학생 네트워크와 학습 시에 결합되는 교사 네트워크 및 학습부를 포함하는 영상 업스케일링 장치의 영상 스케일링 방법은 상기 학습부가 인코더와 디코더를 포함하는 오토 인코더로 구현되는 상기 교사 네트워크에 미리 획득된 학습 데이터 셋의 고해상도 영상을 입력하고, 학습된 방식에 따라 상기 고해상도 영상의 특징을 추출하여 함축 특징맵이 획득되면, 획득된 함축 특징맵으로부터 학습된 방식에 따라 고해상도 영상을 재구성하여 재구성 영상을 획득하고, 상기 학습 데이터 셋의 고해상도 영상과 대응하는 저해상도 영상, 상기 재구성 영상 및 상기 함축 특징맵을 기반으로 상기 교사 네트워크를 학습시키는 단계; 상기 교사 네트워크에 대한 학습이 완료되면, 학습된 교사 네트워크를 기반으로 지식 증류 기법에 따라 학생 네트워크에 상기 학습 데이터 셋의 저해상도 영상을 인가하여 상기 학생 네트워크를 학습시키는 단계; 및 상기 학생 네트워크에 대한 학습이 완료된 이후, 영상 업스케일링 동작 시에, 학생 네트워크가 업스케일링 대상이 되는 저해상도의 대상 영상을 인가받아 미리 학습된 방식에 따라 업스케일링하여 고해상도의 업스케일링 영상을 획득하는 단계를 포함한다.According to another embodiment of the present invention for achieving the above object, an image scaling method of an image upscaling device including a learning unit and a student network coupled during learning is an auto-encoder including an encoder and a decoder in the learning unit. When a high-resolution image of a training data set obtained in advance is input to the implemented teacher network, and features of the high-resolution image are extracted according to a learned method and an implicit feature map is obtained, according to a method learned from the obtained implicit feature map acquiring a reconstructed image by reconstructing a high-resolution image, and training the teacher network based on the low-resolution image corresponding to the high-resolution image of the training data set, the reconstructed image, and the implied feature map; learning the student network by applying a low-resolution image of the learning data set to the student network according to a knowledge distillation technique based on the learned teacher network when the learning of the teacher network is completed; and after the learning of the student network is completed, during an image upscaling operation, the student network receives a low-resolution target image to be upscaled and upscales it according to a pre-learned method to obtain a high-resolution upscaling image. Include steps.

따라서, 본 발명의 실시예에 따른 영상 업스케일링 장치 및 방법은 고해상도 영상을 사전 정보로 이용하여 미리 학습된 교사 네트워크로부터 지식 증류 기법으로 지식 정보가 전달되는 단순 구조의 학생 네트워크를 이용하여 사용자 단말에서도 효율적으로 저해상도 영상으로부터 고품질의 고해상도의 영상을 획득할 수 있도록 한다.Therefore, an image upscaling apparatus and method according to an embodiment of the present invention uses a simple structured student network in which knowledge information is transmitted by a knowledge distillation technique from a teacher network pre-learned using high-resolution images as prior information, and can be used in user terminals. It is possible to efficiently obtain a high-quality, high-resolution image from a low-resolution image.

도 1은 본 발명의 일 실시예에 따른 영상 업스케일링 장치의 개략적 구조를 나타낸다.
도 2는 도 1의 영상 업스케일링 장치의 지식 증류 기법에 따른 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 업스케일링 방법을 나타낸다.1 shows a schematic structure of an image upscaling apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining an operation according to a knowledge distillation technique of the image upscaling apparatus of FIG. 1 .
3 shows an image upscaling method according to an embodiment of the present invention.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. In order to fully understand the present invention and its operational advantages and objectives achieved by the practice of the present invention, reference should be made to the accompanying drawings illustrating preferred embodiments of the present invention and the contents described in the accompanying drawings.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다. Hereinafter, the present invention will be described in detail by describing preferred embodiments of the present invention with reference to the accompanying drawings. However, the present invention may be embodied in many different forms and is not limited to the described embodiments. And, in order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals in the drawings indicate the same members.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. Throughout the specification, when a part "includes" a certain component, it means that it may further include other components, not excluding other components unless otherwise stated. In addition, terms such as "... unit", "... unit", "module", and "block" described in the specification mean a unit that processes at least one function or operation, which is hardware, software, or hardware. and software.

도 1은 본 발명의 일 실시예에 따른 영상 업스케일링 장치의 개략적 구조를 나타내고, 도 2는 도 1의 영상 업스케일링 장치의 지식 증류 기법에 따른 동작을 설명하기 위한 도면이다.FIG. 1 shows a schematic structure of an image upscaling device according to an embodiment of the present invention, and FIG. 2 is a diagram for explaining an operation of the image upscaling device of FIG. 1 according to a knowledge distillation technique.

도 1 및 도 2를 참조하면, 본 실시예에 따른 영상 업스케일링 장치는 교사 네트워크(100), 학생 네트워크(200) 및 학습부(300)를 포함한다.Referring to FIGS. 1 and 2 , the video upscaling apparatus according to the present embodiment includes a teacher network 100 , a student network 200 and a learning unit 300 .

교사 네트워크(100)는 인공 신경망으로 구현될 수 있으며, 특히 본 실시예에서 교사 네트워크는 입력 영상을 인가받아 특징을 추출하고, 추출된 특징을 이용하여 입력 영상을 재구성하는 오토 인코더(Auto-encoder)로 구현된다.The teacher network 100 can be implemented as an artificial neural network, and in particular, in this embodiment, the teacher network is an auto-encoder that receives an input image, extracts features, and reconstructs the input image using the extracted features. is implemented as

오토 인코더로 구현되는 교사 네트워크(100)는 고해상도(High Resolution: HR) 영상(Y)을 인가받아 특징을 추출하여 저차원의 함축 특징맵(

Figure 112020114284219-pat00024
)을 획득하는 인코더(110)와 인코더(110)에서 획득된 함축 특징맵(
Figure 112020114284219-pat00025
)으로부터 고해상도의 영상을 재구성하여 재구성 영상(
Figure 112020114284219-pat00026
)을 획득하는 디코더(120)를 포함할 수 있다.The teacher network 100 implemented as an auto-encoder receives a high-resolution (HR) image (Y) and extracts features to generate a low-dimensional implicit feature map (
Figure 112020114284219-pat00024
The encoder 110 obtaining ) and the implicit feature map obtained in the encoder 110 (
Figure 112020114284219-pat00025
) by reconstructing a high-resolution image from the reconstructed image (
Figure 112020114284219-pat00026
) may include a decoder 120 that obtains.

인코더(110)는 일 예로 다수의 컨볼루션 레이어와 활성화 함수인 ReLU 를 포함하는 인공 신경망으로 구현될 수 있으며, 여기서는 일 예로 4개의 컨볼루션 레이어와 PReLU(Parametric ReLU)를 포함하는 인공 신경망으로 구현되는 것으로 가정하였다. 그리고 다수의 컨볼루션 레이어 중 하나의 컨볼루션 레이어(예를 들면 2번째 컨볼루션 레이어)는 기지정된 스케일 팩터(s)에 따른 스트라이드(stride)를 갖고 나머지 컨볼루션 레이어는 1의 스트라이드를 갖도록 설정될 수 있다. 여기서 스케일 팩터(s)는 교사 네트워크(100)에 입력되는 고해상도 영상(Y)과 학생 네트워크(200)에 입력되는 저해상도 영상(X)의 해상도 비(Y = Xs)에 대응하여 결정될 수 있다. 일 예로 고해상도 영상(Y)이 UHD(Ultra High Definition) 영상이고 저해상도 영상(X)이 FHD(Full High Definition) 영상인 경우, 스케일 팩터(s)는 2로 설정될 수 있다.The encoder 110 may be implemented as an artificial neural network including, for example, a plurality of convolutional layers and an activation function ReLU, and here, as an example, the encoder 110 is implemented as an artificial neural network including four convolutional layers and PReLU (Parametric ReLU). It was assumed that And among the plurality of convolution layers, one convolution layer (for example, the second convolution layer) has a stride according to a pre-specified scale factor (s), and the remaining convolution layers are set to have a stride of 1 can Here, the scale factor (s) may be determined corresponding to the resolution ratio (Y = X s ) of the high-resolution image (Y) input to the teacher network 100 and the low-resolution image (X) input to the student network 200. For example, when the high resolution image Y is an ultra high definition (UHD) image and the low resolution image X is a full high definition (FHD) image, the scale factor s may be set to 2.

인공 신경망으로 구현되는 인코더(110)는 학습부(300)에 의해 미리 학습될 수 있으며, 고해상도 영상(Y)이 인가되면 미리 학습된 방식에 따라 고해상도 영상(Y)의 특징을 추출하여 저해상도 영상(X)에 대응하는 크기의 함축 특징맵(

Figure 112020114284219-pat00027
)을 획득한다.The encoder 110 implemented as an artificial neural network may be pre-learned by the learning unit 300, and when a high-resolution image Y is applied, it extracts features of the high-resolution image Y according to a pre-learned method to obtain a low-resolution image ( An implied feature map of size corresponding to X) (
Figure 112020114284219-pat00027
) to obtain

고해상도 영상(Y)을 인가받아 함축 특징맵(

Figure 112020114284219-pat00028
)을 획득하는 인코더(110)의 동작 함수를 GT라고 하면, 함축 특징맵(
Figure 112020114284219-pat00029
)은 수학식 1로 표현될 수 있다.The high-resolution image (Y) is authorized and the implied feature map (
Figure 112020114284219-pat00028
) If the operation function of the encoder 110 to obtain is G T , the implied feature map (
Figure 112020114284219-pat00029
) can be expressed as Equation 1.

Figure 112020114284219-pat00030
Figure 112020114284219-pat00030

한편 디코더(120)는 다수의 컨볼루션 레이어와 디콘볼루션 레이어를 포함하여 구성될 수 있다. 디코더(120)는 FSRCNN와 유사하게 인가되는 함축 특징맵(

Figure 112020114284219-pat00031
)에 대해 각각 특징 추출, 축소, 맵핑 및 확장 기능을 수행하는 다수의 컨볼루션 레이어와 다수의 컨볼루션 레이어에서 최종적으로 출력되는 특징맵을 고해상도의 영상으로 재구성하는 디콘볼루션 레이어를 포함할 수 있다.Meanwhile, the decoder 120 may include a plurality of convolution layers and deconvolution layers. The decoder 120 applies an implied feature map similar to FSRCNN (
Figure 112020114284219-pat00031
), it may include a plurality of convolution layers that perform feature extraction, reduction, mapping, and expansion functions, respectively, and a deconvolution layer that reconstructs the feature map finally output from the plurality of convolution layers into a high-resolution image. .

그리고 디코더(120) 또한 인코더(110)와 마찬가지로 인공 신경망으로 구현되므로, 학습부(300)에 의해 미리 학습되어, 인코더(110)로부터 함축 특징맵(

Figure 112020114284219-pat00032
)이 인가되면, 미리 학습된 방식에 따라 함축 특징맵(
Figure 112020114284219-pat00033
)으로부터 고해상도 영상(Y)을 재구성한 재구성 영상(
Figure 112020114284219-pat00034
)을 획득한다.In addition, since the decoder 120 is also implemented as an artificial neural network like the encoder 110, it is pre-learned by the learning unit 300, and the implied feature map from the encoder 110 (
Figure 112020114284219-pat00032
) is applied, the implicit feature map (
Figure 112020114284219-pat00033
) Reconstructed image (reconstructed high-resolution image (Y) from
Figure 112020114284219-pat00034
) to obtain

함축 특징맵(

Figure 112020114284219-pat00035
)을 인가받아 고해상도의 재구성 영상(
Figure 112020114284219-pat00036
)을 획득하는 디코더(120)의 동작 함수를 FT라고 하면, 재구성 영상(
Figure 112020114284219-pat00037
)은 수학식 2로 표현될 수 있다.Implicit feature map (
Figure 112020114284219-pat00035
) and a high-resolution reconstructed image (
Figure 112020114284219-pat00036
) If the operating function of the decoder 120 to obtain is F T , the reconstructed image (
Figure 112020114284219-pat00037
) can be expressed as Equation 2.

Figure 112020114284219-pat00038
Figure 112020114284219-pat00038

교사 네트워크(100)의 인코더(110)와 디코더(120) 각각은 학습이 수행됨에 따라 다수의 컨볼루션 레이어의 가중치가 업데이트된다. Each of the encoder 110 and the decoder 120 of the teacher network 100 updates weights of multiple convolution layers as learning is performed.

한편 학생 네트워크(200)는 교사 네트워크(100)의 디코더(120)와 동일하게 구성된다. 즉 학생 네트워크(200)는 교사 네트워크(100)의 디코더(120)와 마찬가지로 FSRCNN과 유사한 구조로 다수의 컨볼루션 레이어와 디콘볼루션 레이어를 포함하여 구성될 수 있다.Meanwhile, the student network 200 is configured identically to the decoder 120 of the teacher network 100. That is, the student network 200, like the decoder 120 of the teacher network 100, may include a plurality of convolution layers and deconvolution layers in a structure similar to that of FSRCNN.

그리고 학생 네트워크(200)는 교사 네트워크(100)의 학습이 완료된 이후, 학습 완료된 교사 네트워크(100)의 지식 정보를 기반으로 지식 증류(knowledge distillation) 기법으로 학습될 수 있다.In addition, the student network 200 may be learned by a knowledge distillation technique based on the knowledge information of the teacher network 100 after the learning of the teacher network 100 is completed.

미리 학습된 인공 신경망을 이용하여 다른 인공 신경망을 학습시키는 기법으로는 지식 증류 기법과 전이 학습(transfer learning) 기법이 알려져 있다. 이중 전이 학습 기법의 경우, 학습된 인공 신경망, 즉 교사 네트워크(100)의 디코더(120)의 가중치를 학생 네트워크(200)에 그대로 적용하여 추가 학습을 수행하는 방식이나, 교사 네트워크(100)와 학생 네트워크(200)가 완전하게 동일한 구조를 갖고 동일한 대상 데이터에 대한 처리만을 수행할 수 있다.A knowledge distillation technique and a transfer learning technique are known as techniques for learning another artificial neural network using a pretrained artificial neural network. In the case of the double transfer learning technique, additional learning is performed by applying the weight of the decoder 120 of the learned artificial neural network, that is, the teacher network 100 as it is to the student network 200, or The network 200 may have a completely identical structure and may only process the same target data.

그에 반해 지식 증류 기법은 학생 네트워크(200)가 미리 학습된 교사 네트워크(100)의 연산 과정에서 추출되는 중간 특징맵 또는 최종 결과물과 동일한 중간 특징맵 또는 최종 결과물을 도출할 수 있도록 학생 네트워크(200)를 별도로 학습시키는 기법이다. 그리고 지식 증류 기법에서는 사 네트워크(100)의 중간 특징맵(또는 최종 결과물)과 학생 네트워크(200)의 중간 특징맵(또는 최종 결과물) 사이의 차이를 나타내는 증류 손실을 정의하여 학생 네트워크(200)가 교사 네트워크(200)에 대응하여 학습될 수 있도록 한다. 따라서 학생 네트워크(200)는 교사 네트워크(100)와 구조가 일치하지 않을 수 있다. 이에 본 실시예에서 학생 네트워크(200)는 교사 네트워크(100)의 디코더(120)와 일치하는 구조를 갖는다.On the other hand, the knowledge distillation technique allows the student network 200 to derive the same intermediate feature map or final result as the intermediate feature map extracted in the computation process of the pre-learned teacher network 100 or the student network 200. It is a method of learning separately. In the knowledge distillation technique, a distillation loss representing the difference between the intermediate feature map (or final product) of the private network 100 and the intermediate feature map (or final product) of the student network 200 is defined, so that the student network 200 Corresponds to the teacher network 200 so that it can be learned. Therefore, the structure of the student network 200 and the teacher network 100 may not match. Accordingly, in this embodiment, the student network 200 has a structure consistent with the decoder 120 of the teacher network 100.

지식 증류 기법에 따른 학습에 대한 상세한 설명은 후술하도록 한다.A detailed description of learning according to the knowledge distillation technique will be described later.

한편 지식 증류 기법에 따라 학습 완료된 학생 네트워크(200)는 이후 실제 이용시에 업스케일링 대상이 되는 저해상도 영상(X)을 인가받고, 학습된 방식에 따라 인가된 저해상도 영상(X)을 업스케일링하여 고해상도의 업스케일링 영상(

Figure 112020114284219-pat00039
)을 획득한다.On the other hand, the student network 200 that has been trained according to the knowledge distillation technique receives a low-resolution image (X) to be upscaled in actual use, and up-scales the applied low-resolution image (X) according to the learned method to obtain a high-resolution image. Upscaling video (
Figure 112020114284219-pat00039
) to obtain

저해상도 영상(X)을 인가받아 고해상도의 업스케일링 영상(

Figure 112020114284219-pat00040
)을 획득하는 학생 네트워크(200)의 동작 함수를 FS라고 하면, 업스케일링 영상(
Figure 112020114284219-pat00041
)은 수학식 3으로 표현될 수 있다.A high-resolution upscaling image (by receiving a low-resolution image (X))
Figure 112020114284219-pat00040
) If the operating function of the student network 200 to obtain is F S , the upscaling image (
Figure 112020114284219-pat00041
) can be expressed as Equation 3.

Figure 112020114284219-pat00042
Figure 112020114284219-pat00042

여기서는 학생 네트워크(200)는 저해상도 영상(X)을 인가받아 고해상도의 업스케일링 영상(

Figure 112020114284219-pat00043
)을 획득하도록 구성되는 반면, 교사 네트워크(100)는 고해상도 영상(Y)을 학습을 위한 사전 정보(Privileged Information)로서 인가받아 특징을 추출하여 함축 특징맵(
Figure 112020114284219-pat00044
)을 획득하고, 함축 특징맵(
Figure 112020114284219-pat00045
)으로부터 다시 고해상도의 재구성 영상(
Figure 112020114284219-pat00046
)을 획득하도록 구성된다. 이는 상기한 바와 같이, 본 실시예에서는 학생 네트워크(200)가 지식 증류 기법으로 학습되므로, 교사 네트워크(100)와 상이하게 구성될 수 있기 때문이다.Here, the student network 200 receives a low-resolution image (X) and upscaling a high-resolution image (
Figure 112020114284219-pat00043
), while the teacher network 100 receives the high-resolution image Y as privileged information for learning, extracts features, and extracts the features of the implied feature map (
Figure 112020114284219-pat00044
) is obtained, and the implicit feature map (
Figure 112020114284219-pat00045
) from the high-resolution reconstructed image (
Figure 112020114284219-pat00046
) is configured to obtain. This is because, as described above, since the student network 200 is learned by the knowledge distillation technique in this embodiment, it may be configured differently from the teacher network 100.

교사 네트워크(100)가 인코더(110)를 더 구비하여 사전 정보인 고해상도 영상(Y)에서 함축 특징맵(

Figure 112020114284219-pat00047
)을 획득하여 디코더(120)로 전달하는 경우, 디코더(120)는 고해상도 영상(Y)의 특징이 집약된 함축 특징맵(
Figure 112020114284219-pat00048
)으로부터 고품질의 재구성 영상(
Figure 112020114284219-pat00049
)을 획득하도록 학습될 수 있다. 그리고 디코더(120)가 고품질의 재구성 영상(
Figure 112020114284219-pat00050
)을 획득하도록 학습되면, 학습되는 학생 네트워크(200)는 지식 증류 기법에 따라 저해상도 영상(X)으로부터 고품질의 고해상도의 업스케일링 영상(
Figure 112020114284219-pat00051
)을 획득하도록 학습될 수 있다.The teacher network 100 further includes an encoder 110, so that the implied feature map (
Figure 112020114284219-pat00047
) is obtained and transmitted to the decoder 120, the decoder 120 has an implied feature map in which the features of the high-resolution image Y are integrated (
Figure 112020114284219-pat00048
) from high-quality reconstruction images (
Figure 112020114284219-pat00049
) can be learned to acquire. And the decoder 120 is a high-quality reconstructed image (
Figure 112020114284219-pat00050
), the student network 200 to be trained is a high-quality, high-resolution upscaling image (
Figure 112020114284219-pat00051
) can be learned to acquire.

학습부(300)는 교사 네트워크(100)를 학습시키기 위한 교사 학습부(310)와 학생 네트워크(200)를 학습시키기 위한 학생 학습부(320)를 포함할 수 있다.The learning unit 300 may include a teacher learning unit 310 for learning the teacher network 100 and a student learning unit 320 for learning the student network 200 .

교사 학습부(310)는 교사 네트워크(100)의 인코더(110)와 디코더(120)의 학습 과정에서 모방 손실(

Figure 112020114284219-pat00052
)과 복원 손실(
Figure 112020114284219-pat00053
)을 계산하고, 계산된 모방 손실(
Figure 112020114284219-pat00054
)과 복원 손실(
Figure 112020114284219-pat00055
)에 따라 획득되는 교사 총손실(
Figure 112020114284219-pat00056
)을 계산하여 교사 네트워크(100)로 역전파함으로써, 교사 네트워크(100)를 학습시킨다.The teacher learning unit 310 performs an imitation loss (
Figure 112020114284219-pat00052
) and restoration loss (
Figure 112020114284219-pat00053
) is calculated, and the calculated mimic loss (
Figure 112020114284219-pat00054
) and restoration loss (
Figure 112020114284219-pat00055
), the teacher's total loss (
Figure 112020114284219-pat00056
) is calculated and propagated back to the teacher network 100, thereby training the teacher network 100.

여기서 모방 손실(

Figure 112020114284219-pat00057
)은 학습 시에 교사 네트워크(100)의 인코더(110)에 고해상도 영상(Y)이 인가되어 획득된 함축 특징맵(
Figure 112020114284219-pat00058
)과 고해상도 영상(Y)에 대응하는 저해상도 영상(X) 사이의 차로 수학식 4와 같이 계산될 수 있다.where the imitation loss (
Figure 112020114284219-pat00057
) is an implicit feature map obtained by applying the high-resolution image Y to the encoder 110 of the teacher network 100 during learning (
Figure 112020114284219-pat00058
) and the low-resolution image (X) corresponding to the high-resolution image (Y) can be calculated as in Equation 4.

Figure 112020114284219-pat00059
Figure 112020114284219-pat00059

(여기서 i, j는 픽셀 위치 좌표를 나타내고, H' 과 W' 은 각각 저해상도 영상(X)의 높이와 폭을 나타낸다.)(Here, i and j represent pixel position coordinates, and H' and W' represent the height and width of the low-resolution image (X), respectively.)

즉 모방 손실(

Figure 112020114284219-pat00060
)은 교사 네트워크(100)의 인코더(110)가 고해상도 영상(Y)으로부터 얼마나 저해상도 영상(X)과 유사한 함축 특징맵(
Figure 112020114284219-pat00061
)을 획득할 수 있는지를 나타낸다. 여기서 교사 네트워크(100)의 학습 시에 이용되는 저해상도 영상(X)은 사전 정보인 고해상도 영상(Y)에서 해상도만을 기존의 다양한 다운샘플링 기법으로 저하시킨 영상이다. 영상에 대한 다운샘플링 기법은 업샘플링 기법에 비해 간단한 연산으로 매우 용이하게 획득될 수 있으며, 다양한 기법이 공지되어 있으므로 여기서는 상세하게 설명하지 않는다. 즉 교사 네트워크(100)의 학습 시에는 고해상도 영상(Y)과 고해상도 영상(Y)을 다운 샘플링한 저해상도 영상(X)이 학습 데이터 셋으로 이용될 수 있다.i.e. imitation loss (
Figure 112020114284219-pat00060
) is an implied feature map of how similar the encoder 110 of the teacher network 100 is to the low-resolution image (X) from the high-resolution image (Y) (
Figure 112020114284219-pat00061
) can be obtained. Here, the low-resolution image (X) used in the learning of the teacher network 100 is an image obtained by lowering only the resolution of the high-resolution image (Y), which is prior information, using various existing downsampling techniques. A downsampling technique for an image can be obtained very easily with a simple operation compared to an upsampling technique, and since various techniques are well known, they will not be described in detail here. That is, when the teacher network 100 learns, a high-resolution image Y and a low-resolution image X obtained by downsampling the high-resolution image Y may be used as a training data set.

한편, 복원 손실(

Figure 112020114284219-pat00062
)은 교사 네트워크(100)가 고해상도 영상(Y)을 함축 특징맵(
Figure 112020114284219-pat00063
)으로 함축한 후, 재구성 영상(
Figure 112020114284219-pat00064
)으로 재구성시에 얼마나 고해상도 영상(Y)과 유사하게 복원할 수 있는지를 나타내는 손실로서, 고해상도 영상(Y)과 재구성 영상(
Figure 112020114284219-pat00065
) 사이의 차로 수학식 5와 같이 계산될 수 있다.On the other hand, restoration loss (
Figure 112020114284219-pat00062
) is a feature map (which the teacher network 100 implies for the high-resolution image Y)
Figure 112020114284219-pat00063
), and then the reconstruction image (
Figure 112020114284219-pat00064
), as a loss indicating how similarly to the high-resolution image (Y) can be restored during reconstruction, the high-resolution image (Y) and the reconstructed image (
Figure 112020114284219-pat00065
) can be calculated as in Equation 5.

Figure 112020114284219-pat00066
Figure 112020114284219-pat00066

(여기서 i, j는 픽셀 위치 좌표를 나타내고, H 과 W 은 각각 고해상도 영상(Y)의 높이와 폭을 나타낸다.)(Here, i and j represent pixel position coordinates, and H and W represent the height and width of the high-resolution image (Y), respectively.)

이에 교사 학습부(310)는 모방 손실(

Figure 112020114284219-pat00067
)과 복원 손실(
Figure 112020114284219-pat00068
)의 합으로 수학식 6에 따라 교사 총손실(
Figure 112020114284219-pat00069
)을 획득할 수 있다.Accordingly, the teacher learning unit 310 imitation loss (
Figure 112020114284219-pat00067
) and restoration loss (
Figure 112020114284219-pat00068
) as the total teacher loss (according to Equation 6)
Figure 112020114284219-pat00069
) can be obtained.

Figure 112020114284219-pat00070
Figure 112020114284219-pat00070

(여기서 λT 는 모방 손실(

Figure 112020114284219-pat00071
)과 복원 손실(
Figure 112020114284219-pat00072
)의 비중을 조절하기 위한 파라미터이다.)(Where λ T is the imitation loss (
Figure 112020114284219-pat00071
) and restoration loss (
Figure 112020114284219-pat00072
) is a parameter for adjusting the specific gravity.)

교사 학습부(310)는 획득된 교사 총손실(

Figure 112020114284219-pat00073
)을 교사 네트워크로 역전파함으로써, 인코더(110)와 디코더(120)의 가중치, 즉 지식 정보를 업데이트함으로써 학습을 수행할 수 있다. 이때, 교사 학습부(310)는 기지정된 횟수 또는 교사 총손실(
Figure 112020114284219-pat00074
)이 기지정된 기준 교사 총손실 이하가 되도록 반복 학습을 수행하여, 인코더(110)와 디코더(120)의 지식 정보를 요구되는 수준으로 업데이트 할 수 있다.The teacher learning unit 310 obtains the teacher total loss (
Figure 112020114284219-pat00073
) to the teacher network, learning can be performed by updating the weights of the encoder 110 and the decoder 120, that is, knowledge information. At this time, the teacher learning unit 310 is a predetermined number of times or teacher total loss (
Figure 112020114284219-pat00074
) is less than or equal to the predetermined standard teacher total loss, and the knowledge information of the encoder 110 and the decoder 120 may be updated to a required level.

한편, 학생 학습부(320)는 교사 학습부(310)의 교사 네트워크(100) 학습 완료 여부를 확인하고, 교사 네트워크(100)의 학습이 완료되면, 학습된 디코더(120)를 기반으로 학생 네트워크(200)로 지식 증류 기법에 따라 학습시킨다. 이때 학생 학습부(320)는 학생 네트워크(200)가 함축 특징맵(

Figure 112020114284219-pat00075
)이 아닌 저해상도 영상(X)으로부터 업스케일링 영상(
Figure 112020114284219-pat00076
)을 획득할 수 있도록 증류 학습 기법에 따라 학습을 수행한다.Meanwhile, the student learning unit 320 checks whether the teacher learning unit 310 has completed learning of the teacher network 100, and when the learning of the teacher network 100 is completed, based on the learned decoder 120, the student network (200) to learn according to the knowledge distillation technique. At this time, the student learning unit 320 has a feature map implied by the student network 200 (
Figure 112020114284219-pat00075
) Upscaling image (
Figure 112020114284219-pat00076
), learning is performed according to the distillation learning technique.

학생 학습부(320)는 우선 학습 데이터 셋의 고해상도 영상(Y)과 업스케일링 영상(

Figure 112020114284219-pat00077
) 사이의 차에 따라 수학식 7에 따라 학생 네트워크(200)의 복원 손실(
Figure 112020114284219-pat00078
)을 수학식 7과 같이 계산할 수 있다.The student learning unit 320 first generates a high-resolution image Y of the training data set and an upscaling image (
Figure 112020114284219-pat00077
) The restoration loss of the student network 200 according to Equation 7 according to the difference between (
Figure 112020114284219-pat00078
) can be calculated as in Equation 7.

Figure 112020114284219-pat00079
Figure 112020114284219-pat00079

여기서 복원 손실(

Figure 112020114284219-pat00080
)은 학생 네트워크(200)가 저해상도 영상(X)에 대응하는 고해상도 영상(Y)을 얼마나 정확하게 복원하였는지 여부를 나타낸다.where the restoration loss (
Figure 112020114284219-pat00080
) indicates how accurately the student network 200 reconstructed the high-resolution image Y corresponding to the low-resolution image X.

이하에서는 학생 학습부(320)에서 획득되는 복원 손실(

Figure 112020114284219-pat00081
)을 교사 학습부(320)에서 획득되는 복원 손실(
Figure 112020114284219-pat00082
)과 구분하기 위해 교사 복원 손실(
Figure 112020114284219-pat00083
)과 학생 복원 손실(
Figure 112020114284219-pat00084
)이라 한다.Hereinafter, the restoration loss obtained by the student learning unit 320 (
Figure 112020114284219-pat00081
) to the restoration loss obtained from the teacher learning unit 320 (
Figure 112020114284219-pat00082
) to distinguish it from the teacher restoration loss (
Figure 112020114284219-pat00083
) and student restoration loss (
Figure 112020114284219-pat00084
) is called

또한 학생 학습부(320)는 학생 네트워크(200)가 지식 증류 기법에 따라 학습된 교사 네트워크(100)의 지식을 습득할 수 있도록 한다. 본 실시예에서 학생 학습부(320)는 동일한 구조를 갖는 디코더(120)와 학생 네트워크(200)의 다수의 컨볼루션 레이어 중 서로 대응하는 동일 위치의 하나의 컨볼루션 레이어에서 출력되는 중간 특징맵(fT, fS)을 획득하고, 획득된 중간 특징맵(fT, fS) 사이의 상호 정보(I(fT; fS))가 최대가 되도록 하는 증류 손실(distillation loss)(

Figure 112020114284219-pat00085
)을 정의하고, 정의된 증류 손실(
Figure 112020114284219-pat00086
)을 이용하여 학생 네트워크(200)가 지식 증류 기법에 따라 학습되도록 한다.In addition, the student learning unit 320 enables the student network 200 to acquire knowledge of the teacher network 100 learned through the knowledge distillation technique. In this embodiment, the student learning unit 320 is an intermediate feature map output from one convolution layer at the same position corresponding to each other among a plurality of convolution layers of the decoder 120 and the student network 200 having the same structure ( f T , f S ) is acquired, and the distillation loss (distillation loss (
Figure 112020114284219-pat00085
) is defined, and the defined distillation loss (
Figure 112020114284219-pat00086
) is used to make the student network 200 learn according to the knowledge distillation technique.

여기서 중간 특징맵(fT, fS) 사이의 상호 정보(I(fT; fS))는 수학식 8로 정의될 수 있다.Here, the mutual information (I(f T ; f S )) between the intermediate feature maps (f T , f S ) may be defined as Equation 8.

Figure 112020114284219-pat00087
Figure 112020114284219-pat00087

(여기서 H(fT)는 주변 엔트로피(marginal entropy)를 나타내고, H(fT|fS)는 조건부 엔트로피(conditional entropy)를 나타낸다.)(Where H(f T ) represents marginal entropy, and H(f T |f S ) represents conditional entropy.)

수학식 8로부터 상호 정보(I(fT; fS))가 최대화되기 위해서는 조건부 엔트로피(H(fT|fS))를 최적화해야 한다. 그러나 조건부 확률(p(fT|fS))을 최적화하는 것은 용이하지 않다. 이에 학생 학습부(320)는 수학식 8의 변동 정보 최대화(variational information maximization) 기법에 따라 가우시안 분포(Gaussian distribution)나 라플라스 분포(Laplace distribution)와 같은 중간 특징맵(fT, fS) 사이의 분포 관계에 대한 파라메트릭 모델(parametric model)(q(fT; fS))을 추정하여 조건부 분포(p(fT|fS))를 근사화함으로써, 상호 정보(I(fT; fS))의 하한을 계산할 수 있으며, 상호 정보(I(fT; fS))의 하한이 최대화되도록 할 수 있다.From Equation 8, in order to maximize the mutual information (I(f T ; f S )), the conditional entropy (H(f T |f S )) needs to be optimized. However, optimizing the conditional probability p(f T |f S ) is not easy. Accordingly, the student learning unit 320 calculates between intermediate feature maps (f T , f S ) such as a Gaussian distribution or a Laplace distribution according to the variational information maximization technique of Equation 8. By approximating the conditional distribution (p(f T |f S )) by estimating a parametric model (q(f T ; f S )) for the distributional relationship, the mutual information (I(f T ; f S ) ) is obtained. )) can be calculated, and the lower limit of mutual information (I(f T ; f S )) can be maximized.

여기서는 일 예로 학생 학습부(320)가 다변량 라플라스 분포(multivariate Laplace distribution)를 기반으로 하는 중간 특징맵(fT, fS) 사이의 파라메트릭 모델(q(fT; fS))을 이용하여 중간 특징맵(fT, fS) 사이의 픽셀 위치(location)에 대한 파라메트릭인 위치맵(μ ∈ RC×H'×W', 여기서 R은 실수를 나타내고, C는 중간 특징맵(fT, fS)의 채널 수)과 스케일(scale)에 대한 파라메트릭인 스케일맵(b ∈ RC×H'×W')을 추정하는 것으로 가정한다.Here, as an example, the student learning unit 320 uses a parametric model (q(f T ; f S )) between intermediate feature maps (f T , f S ) based on a multivariate Laplace distribution A location map (μ ∈ R C×H'×W' , which is parametric for pixel locations between intermediate feature maps (f T , f S ), where R represents a real number, and C is an intermediate feature map (f It is assumed that a scale map (b ∈ R C×H′×W′ ), which is a parametric for T , f S ) and scale, is estimated.

따라서 본 실시예에 따른 학생 학습부(320)는 학생 네트워크의 중간 특징맵(fS)로부터 파라메트릭 모델(q(fT; fS))에 기반하여 위치맵(μ)과 스케일맵(b)을 추정하고, 추정된 위치맵(μ)과 스케일맵(b) 및 교사 네트워크의 중간 특징맵(fT)을 이용하여 중간 특징맵(fT, fS) 사이의 상호 정보(I(fT; fS))의 하한이 최대가 되도록 하는 증류 손실(

Figure 112020114284219-pat00088
)을 수학식 9로 정의한다.Therefore, the student learning unit 320 according to the present embodiment provides a location map (μ) and a scale map (b) based on the parametric model (q(f T ; f S )) from the intermediate feature map (f S ) of the student network. ) is estimated, and the mutual information (I(f) between the intermediate feature maps (f T , f S ) is estimated using the estimated location map (μ) and scale map (b) and the intermediate feature map (f T ) of the teacher network. T ; f S )) distillation loss such that the lower bound is maximized (
Figure 112020114284219-pat00088
) is defined by Equation 9.

Figure 112020114284219-pat00089
Figure 112020114284219-pat00089

수학식 9에 따르면, 증류 손실(

Figure 112020114284219-pat00090
)이 감소될수록 교사 네트워크의 중간 특징맵(fT)과 위치맵(μ) 사이의 거리가 최소화되며, 스케일맵(b)은 증류 범위를 제어한다.According to Equation 9, the distillation loss (
Figure 112020114284219-pat00090
) is reduced, the distance between the intermediate feature map (f T ) and the location map (μ) of the teacher network is minimized, and the scale map (b) controls the distillation range.

그리고 학생 학습부(320)는 학생 복원 손실(

Figure 112020114284219-pat00091
)과 증류 손실(
Figure 112020114284219-pat00092
)의 합으로 수학식 10에 따라 학생 총손실(
Figure 112020114284219-pat00093
)을 획득할 수 있다.And the student learning unit 320 is a student recovery loss (
Figure 112020114284219-pat00091
) and distillation losses (
Figure 112020114284219-pat00092
) as the sum of the total student losses (according to Equation 10)
Figure 112020114284219-pat00093
) can be obtained.

Figure 112020114284219-pat00094
Figure 112020114284219-pat00094

(여기서 λS 는 학생 복원 손실(

Figure 112020114284219-pat00095
)과 증류 손실(
Figure 112020114284219-pat00096
)의 비중을 조절하기 위한 파라미터이다.)(Where λ S is the student restoration loss (
Figure 112020114284219-pat00095
) and distillation losses (
Figure 112020114284219-pat00096
) is a parameter for adjusting the specific gravity.)

학생 학습부(320)는 획득된 학생 총손실(

Figure 112020114284219-pat00097
)을 학생 네트워크(200)로 역전파하여 학생 네트워크(200)에 대한 학습을 수행할 수 있다. 학생 학습부(320) 또한 기지정된 횟수 또는 학생 총손실(
Figure 112020114284219-pat00098
)이 기지정된 기준 학생 총손실 이하가 되도록 반복 학습을 수행할 수 있다.The student learning unit 320 acquires the student total loss (
Figure 112020114284219-pat00097
) may be back-propagated to the student network 200 to perform learning on the student network 200. The student learning unit 320 also has a predetermined number of students or a total loss of students (
Figure 112020114284219-pat00098
) can be performed repeatedly so that the total loss of students is less than the predetermined standard.

도 1에 도시된 영상 업스케일링 장치에서 교사 네트워크(100)와 학습부(300)는 학생 네트워크(200)를 학습시키기 위한 구성으로 고성능의 서버 등에서 학생 네트워크(200)와 함께 학습될 수 있으나, 학생 네트워크(200)의 학습이 완료되면 제외될 수 있다. 즉 영상 업스케일링 장치의 실제 이용시에는 학생 네트워크만이 이용된다.In the video upscaling device shown in FIG. 1, the teacher network 100 and the learning unit 300 are configured to train the student network 200 and can be learned together with the student network 200 in a high-performance server, but students When learning of the network 200 is completed, it can be excluded. That is, only the student network is used when the video upscaling device is actually used.

상기한 바와 같이, 사전 정보를 이용한 증류 기법 기반 학습이 완료된 학생 네트워크(200)는 저해상도 영상으로부터 기존의 FSRCNN이나 교사 네트워크와 동일한 구조를 갖는 학생 네트워크가 증류 기법으로 학습되는 기존의 방식에 비해 매우 고품질의 고해상도 영상을 획득할 수 있다.As described above, the student network 200 completed learning based on the distillation technique using prior information has a very high quality compared to the existing method in which a student network having the same structure as the existing FSRCNN or teacher network is learned from a low-resolution image by the distillation technique. High-resolution images of can be obtained.

상기에서는 오토 인코더로 구현되는 교사 네트워크(100)와 교사 네트워크(100)의 디코더(120)와 동일한 구조를 갖는 학생 네트워크(200)가 다수의 컨볼루션 레이어를 포함하는 것으로 설명하였으나, 이는 교사 네트워크(100)와 학생 네트워크(200)가 컨볼루션 연산에 기반하여 동작하는 경우에 대한 예시로서, 경우에 따라서는 다른 연산을 수행하는 레이어가 이용될 수도 있다. 즉 컨볼루션 레이어는 교사 네트워크(100)와 학생 네트워크(200)의 구성에 따라 다양한 연산 레이어로 구성될 수 있다.In the above, it has been described that the student network 200 having the same structure as the teacher network 100 implemented as an auto-encoder and the decoder 120 of the teacher network 100 includes a plurality of convolutional layers, but this is a teacher network ( 100) and the student network 200 operate based on a convolution operation. In some cases, a layer performing another operation may be used. That is, the convolution layer may be composed of various operation layers according to the configuration of the teacher network 100 and the student network 200 .

도 3은 본 발명의 일 실시예에 따른 영상 업스케일링 방법을 나타낸다.3 shows an image upscaling method according to an embodiment of the present invention.

도 1 및 도 2를 참조하여, 도 3의 영상 업스케일링 방법을 설명하면, 우선 학습부(300)가 인코더(110)와 디코더(120)를 포함하는 오토 인코더로 구현되는 교사 네트워크(100)를 학습시킨다.Referring to FIGS. 1 and 2, the video upscaling method of FIG. 3 is described. First, the learning unit 300 implements a teacher network 100 implemented as an auto encoder including an encoder 110 and a decoder 120. learn

교사 네트워크를 학습시키는 단계에서는 먼저 미리 준비된 학습 데이터 셋의 고해상도 영상(Y)을 사전 정보로서 입력 받는다(S11). 여기서 학습 데이터 셋은 고해상도 영상(Y)과 이를 다운스케일링하여 미리 획득된 저해상도 영상(X)의 집합이다. 그리고 교사 네트워크(100)의 인코더(110)는 현재까지 학습된 방식에 따라 고해상도 영상(Y)의 특징을 추출하여, 함축 특징맵(

Figure 112020114284219-pat00099
)을 획득한다(S12). 함축 특징맵(
Figure 112020114284219-pat00100
)이 획득되면, 교사 네트워크(100)의 디코더(120)가 현재까지 학습된 방식에 따라 획득된 함축 특징맵(
Figure 112020114284219-pat00101
)으로부터 고해상도의 영상을 재구성하여 재구성 영상(
Figure 112020114284219-pat00102
)을 획득한다(S13).In the step of training the teacher network, the high-resolution image Y of the previously prepared training data set is input as prior information (S11). Here, the training data set is a set of a high-resolution image (Y) and a low-resolution image (X) pre-obtained by downscaling the high-resolution image (Y). And the encoder 110 of the teacher network 100 extracts the features of the high-resolution image Y according to the method learned so far, and the implied feature map (
Figure 112020114284219-pat00099
) is obtained (S12). Implicit feature map (
Figure 112020114284219-pat00100
) is obtained, the implicit feature map ( obtained according to the method that the decoder 120 of the teacher network 100 has learned so far
Figure 112020114284219-pat00101
) by reconstructing a high-resolution image from the reconstructed image (
Figure 112020114284219-pat00102
) is obtained (S13).

이에 학습부(300)는 획득된 함축 특징맵(

Figure 112020114284219-pat00103
)과 저해상도 영상(X)을 이용하여, 수학식 4에 따라 모방 손실(
Figure 112020114284219-pat00104
)을 계산하고, 재구성 영상(
Figure 112020114284219-pat00105
)과 고해상도 영상(Y)을 이용하여 교사 복원 손실(
Figure 112020114284219-pat00106
)을 수학식 5에 따라 계산한다(S14). 그리고 계산된 모방 손실(
Figure 112020114284219-pat00107
)과 교사 복원 손실(
Figure 112020114284219-pat00108
)을 합하여, 수학식 6과 같이 교사 총손실(
Figure 112020114284219-pat00109
)을 획득한다(S15).Accordingly, the learning unit 300 performs the obtained implicit feature map (
Figure 112020114284219-pat00103
) and the low-resolution image (X), according to Equation 4, the imitation loss (
Figure 112020114284219-pat00104
) is calculated, and the reconstruction image (
Figure 112020114284219-pat00105
) and teacher restoration loss (
Figure 112020114284219-pat00106
) is calculated according to Equation 5 (S14). and the calculated imitation loss (
Figure 112020114284219-pat00107
) and teacher restoration loss (
Figure 112020114284219-pat00108
), as shown in Equation 6, the teacher's total loss (
Figure 112020114284219-pat00109
) is obtained (S15).

이후, 학습부(300)는 교사 네트워크(100)에 대한 학습이 완료되었는지 판별한다(S16). 여기서 학습부(300)는 기지정된 횟수만큼 학습이 반복되었거나, 교사 총손실(

Figure 112020114284219-pat00110
)이 기지정된 기준 교사 총손실 이하가 되면, 교사 네트워크(100)에 대한 학습이 완료된 것으로 판별할 수 있다.Thereafter, the learning unit 300 determines whether learning on the teacher network 100 is completed (S16). Here, the learning unit 300 has repeated learning a predetermined number of times, or the teacher's total loss (
Figure 112020114284219-pat00110
) becomes less than or equal to the predetermined standard teacher total loss, it may be determined that learning for the teacher network 100 is completed.

만일 교사 네트워크(100)에 대한 학습이 완료되지 않았으면, 학습부(300)는 교사 총손실(

Figure 112020114284219-pat00111
)을 교사 네트워크(100)로 역전파하여 교사 네트워크(100)의 지식 정보인 가중치를 업데이트 한다(S17).If the learning for the teacher network 100 is not completed, the learning unit 300 calculates the teacher total loss (
Figure 112020114284219-pat00111
) is back-propagated to the teacher network 100 to update the weight, which is knowledge information of the teacher network 100 (S17).

그러나 교사 네트워크(100)에 대한 학습이 완료된 것으로 판별되면, 학습부(300)는 지식 증류 기법을 기반으로 학생 네트워크(200)에 대한 학습을 수행한다.However, when it is determined that learning on the teacher network 100 is completed, the learning unit 300 performs learning on the student network 200 based on a knowledge distillation technique.

학생 네트워크 학습 시에 학습부(300)는 학생 네트워크(200)에 학습 데이터 셋의 저해상도 영상(X)을 입력시킨다(S21). 이에 학생 네트워크(200)는 인가된 저해상도 영상(X)을 학습되는 방식에 따라 업스케일링하여 업스케일링 영상(

Figure 112020114284219-pat00112
)을 획득한다(S22). 학습부(300)는 업스케일링 영상(
Figure 112020114284219-pat00113
)을 획득하는 과정에서 학생 네트워크(200)를 구성하는 다수의 레이어 중 기지정된 레이어에서 출력되는 중간 특징맵(fS)을 인가받고, 인가된 파라메트릭 모델(q(fT; fS))에 기반하여 중간 특징맵(fS)에 대한 위치맵(μ)과 스케일맵(b)을 추정한다(S23).When learning the student network, the learning unit 300 inputs the low-resolution image (X) of the learning data set to the student network 200 (S21). Accordingly, the student network 200 upscales the applied low-resolution image (X) according to the learning method, and upscaling the image (
Figure 112020114284219-pat00112
) is obtained (S22). The learning unit 300 upscaling image (
Figure 112020114284219-pat00113
), an intermediate feature map (f S ) output from a predetermined layer among a plurality of layers constituting the student network 200 is authorized, and the applied parametric model (q (f T ; f S )) Based on , a location map (μ) and a scale map (b) for the intermediate feature map (f S ) are estimated (S23).

위치맵(μ)과 스케일맵(b)이 추정되면, 학습부(300)는 증류 손실(

Figure 112020114284219-pat00114
)을 수학식 9에 따라 계산하고, 학생 복원 손실(
Figure 112020114284219-pat00115
)을 수학식 7에 따라 계산한다(S24). 그리고 계산된 증류 손실(
Figure 112020114284219-pat00116
)과 학생 복원 손실(
Figure 112020114284219-pat00117
)로부터 학생 총손실(
Figure 112020114284219-pat00118
)을 수학식 10에 따라 계산하여 획득한다(S25).When the location map (μ) and the scale map (b) are estimated, the learning unit 300 calculates the distillation loss (
Figure 112020114284219-pat00114
) is calculated according to Equation 9, and the student restoration loss (
Figure 112020114284219-pat00115
) is calculated according to Equation 7 (S24). and the calculated distillation loss (
Figure 112020114284219-pat00116
) and student restoration loss (
Figure 112020114284219-pat00117
) from student total loss (
Figure 112020114284219-pat00118
) is obtained by calculating according to Equation 10 (S25).

학습부(300)는 학생 네트워크(200)에 대한 학습이 완료되었는지 판별한다(S26). 학습부(300)는 학생 네트워크(200)에 대한 학습이 기지정된 횟수만큼 학습이 반복되었거나, 학생 총손실(

Figure 112020114284219-pat00119
)이 기지정된 기준 학생 총손실 이하가 되면, 학생 총손실(
Figure 112020114284219-pat00120
)에 대한 학습이 완료된 것으로 판별할 수 있다.The learning unit 300 determines whether learning on the student network 200 has been completed (S26). The learning unit 300 determines whether the learning of the student network 200 is repeated a predetermined number of times, or the student's total loss (
Figure 112020114284219-pat00119
) is less than the predetermined standard total student loss, the total student loss (
Figure 112020114284219-pat00120
) can be determined as having been completed.

만일 학생 네트워크(200)에 대한 학습이 완료되지 않았으면, 학습부(300)는 학생 총손실(

Figure 112020114284219-pat00121
)을 학생 네트워크(200)로 역전파하여 학생 네트워크(200)의 가중치를 업데이트 한다(S27). 이때, 학생 네트워크(200)가 학생 복원 손실(
Figure 112020114284219-pat00122
)뿐만 아니라, 증류 손실(
Figure 112020114284219-pat00123
)로부터 학생 총손실(
Figure 112020114284219-pat00124
)을 획득하므로, 학생 네트워크(200)는 미리 학습된 교사 네트워크(100)으로부터 지식 증류 기법에 따라 지식을 전달받아 학습되는 것으로 볼 수 있다.If learning for the student network 200 is not completed, the learning unit 300 calculates the student total loss (
Figure 112020114284219-pat00121
) is back-propagated to the student network 200 to update the weight of the student network 200 (S27). At this time, the student network 200 is the student restoration loss (
Figure 112020114284219-pat00122
) as well as distillation losses (
Figure 112020114284219-pat00123
) from student total loss (
Figure 112020114284219-pat00124
) is obtained, the student network 200 can be regarded as being learned by receiving knowledge from the teacher network 100 that has been trained in advance according to the knowledge distillation technique.

한편 학생 네트워크(200)에 대한 학습이 완료되었으면, 학생 네트워크(200)를 업스케일링 작업을 수행해야 하는 장치에 실장 시킨다(S31). 그리고 업스케일링 대상이 되는 저해상도의 대상 영상을 입력받아 미리 학습된 방식에 따라 업스케일링하여 고해상도의 업스케일링 영상(

Figure 112020114284219-pat00125
)을 출력한다(S32).On the other hand, if learning about the student network 200 is completed, the student network 200 is installed in a device to perform an upscaling operation (S31). In addition, a high-resolution upscaling image (
Figure 112020114284219-pat00125
) is output (S32).

결과적으로 본 실시예에 따른 영상 업스케일링 장치 및 방법은 교사 네트워크(100)를 저해상도 영상(X)에서 곧바로 고해상도의 재구성 영상(

Figure 112020114284219-pat00126
)을 획득하도록 학습시키지 않고, 고해상도 영상(Y)에서 함축 특징맵(
Figure 112020114284219-pat00127
)을 획득한 후, 함축 특징맵(
Figure 112020114284219-pat00128
)에서 재구성 영상(
Figure 112020114284219-pat00129
)을 획득하도록 학습시킨 후, 학습된 교사 네트워크(100)를 기반으로 지식 증류 기법으로 학생 네트워크(200)를 학습 시킴으로써, 학생 네트워크(200)가 간단한 구조로도 매우 높은 수준의 업스케일링 영상(
Figure 112020114284219-pat00130
)을 재구성하도록 학습시킬 수 있다. 따라서 하드웨어 성능의 제약이 많은 사용자 단말에서도 학생 네트워크(200)만을 구비하여 저해상도 영상으로부터 고품질의 고해상도 영상이 재구성되도록 할 수 있다.As a result, the image upscaling apparatus and method according to the present embodiment converts the teacher network 100 directly from the low-resolution image X to the high-resolution reconstructed image (
Figure 112020114284219-pat00126
) in the high-resolution image (Y) without learning to acquire the implied feature map (
Figure 112020114284219-pat00127
) After obtaining the implied feature map (
Figure 112020114284219-pat00128
) in the reconstruction image (
Figure 112020114284219-pat00129
), and then by learning the student network 200 with a knowledge distillation technique based on the learned teacher network 100, the student network 200 has a very high level of upscaling image (with a simple structure)
Figure 112020114284219-pat00130
) can be trained to reconstruct. Therefore, even in a user terminal with many hardware performance limitations, a high-quality, high-resolution image can be reconstructed from a low-resolution image by using only the student network 200 .

본 발명에 따른 방법은 컴퓨터에서 실행시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.The method according to the present invention may be implemented as a computer program stored in a medium for execution on a computer. Here, computer readable media may be any available media that can be accessed by a computer, and may also include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data, including read-only memory (ROM) dedicated memory), random access memory (RAM), compact disk (CD)-ROM, digital video disk (DVD)-ROM, magnetic tape, floppy disk, optical data storage device, and the like.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, this is only exemplary, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom.

따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.

100: 교사 네트워크 110: 인코더
120: 디코더 200: 학생 네트워크
300: 학습부 310: 교사 학습부
320: 학생 학습부100: teacher network 110: encoder
120: decoder 200: student network
300: learning unit 310: teacher learning unit
320: student learning department

Claims (19)

학습 시 결합되는 인코더와 디코더를 포함하는 오토 인코더로 구현되고, 미리 획득된 학습 데이터 셋의 고해상도 영상을 인가받아 학습된 방식에 따라 특징을 추출하여 저해상도 영상에 대응하는 크기를 갖는 함축 특징맵을 획득하고, 획득된 함축 특징맵으로부터 학습된 방식에 따라 고해상도 영상을 재구성하여 재구성 영상을 획득하는 교사 네트워크;
상기 교사 네트워크의 디코더와 동일한 구조로 구성되어, 업스케일링 대상이 되는 저해상도의 대상 영상을 인가받아 미리 학습된 방식에 따라 업스케일링하여 고해상도의 업스케일링 영상을 획득하는 학생 네트워크; 및
학습 시에 결합되어, 상기 학습 데이터 셋의 고해상도 영상과 대응하는 저해상도 영상, 상기 재구성 영상 및 상기 함축 특징맵을 기반으로 상기 교사 네트워크에 대한 학습을 우선 수행하고, 학습된 교사 네트워크를 기반으로 지식 증류 기법에 따라 학생 네트워크에 상기 학습 데이터 셋의 저해상도 영상을 인가하여 학습을 수행하는 학습부를 포함하는 영상 업스케일링 장치.It is implemented as an auto-encoder including an encoder and a decoder that are combined during learning, receives the high-resolution image of the training data set obtained in advance, extracts features according to the learned method, and obtains an implicit feature map having a size corresponding to the low-resolution image. and a teacher network for acquiring a reconstructed image by reconstructing a high-resolution image according to a method learned from the obtained implicit feature map;
a student network having the same structure as the decoder of the teacher network, receiving a low resolution target image to be upscaled and upscaling it according to a pre-learned method to obtain a high resolution upscaling image; and
Combined during learning, the teacher network is first learned based on the low-resolution image corresponding to the high-resolution image of the training data set, the reconstructed image, and the implicit feature map, and knowledge is distilled based on the learned teacher network An image upscaling apparatus comprising a learning unit configured to perform learning by applying a low-resolution image of the training data set to a student network according to a method. 제1항에 있어서, 상기 인코더는
학습에 의해 업데이트되는 가중치를 기반으로 각각 기지정된 연산을 수행하는 다수의 연산 레이어를 포함하는 인공 신경망으로 구현되어, 학습된 방식에 따라 인가된 학습 데이터 셋의 고해상도 영상의 특징을 추출하여, 상기 저해상도 영상에 대응하는 크기를 갖는 상기 함축 특징맵을 획득하는 영상 업스케일링 장치.The method of claim 1, wherein the encoder
It is implemented as an artificial neural network including a plurality of computation layers that perform predetermined operations based on weights updated by learning, and extracts features of a high-resolution image of the applied training data set according to a learned method, An image upscaling device for acquiring the implied feature map having a size corresponding to the image. 제2항에 있어서, 상기 디코더는
학습에 의해 업데이트되는 가중치를 기반으로 각각 기지정된 연산을 수행하는 다수의 연산 레이어를 포함하는 인공 신경망으로 구현되어, 학습된 방식에 따라 인가된 상기 함축 특징맵을 상기 고해상도 영상에 대응하는 크기를 갖는 상기 재구성 영상으로 재구성하는 영상 업스케일링 장치.3. The method of claim 2, wherein the decoder
It is implemented as an artificial neural network including a plurality of computation layers that each perform a predetermined operation based on a weight updated by learning, and the implied feature map applied according to the learned method has a size corresponding to the high-resolution image. An image upscaling device for reconstructing the reconstructed image. 제3항에 있어서, 상기 학습부는
상기 교사 네트워크에 대한 학습 수행 시, 상기 함축 특징맵(
Figure 112020114284219-pat00131
)과 저해상도 영상(X)을 기반으로 모방 손실(
Figure 112020114284219-pat00132
)을 수학식
Figure 112020114284219-pat00133

(여기서 i, j는 픽셀 위치 좌표를 나타내고, H' 과 W' 은 각각 저해상도 영상(X)의 높이와 폭을 나타낸다.)
에 따라 계산하는 영상 업스케일링 장치.The method of claim 3, wherein the learning unit
When learning is performed on the teacher network, the implicit feature map (
Figure 112020114284219-pat00131
) and the imitation loss based on the low-resolution image (X) (
Figure 112020114284219-pat00132
) to the equation
Figure 112020114284219-pat00133

(Here, i and j represent pixel position coordinates, and H' and W' represent the height and width of the low-resolution image (X), respectively.)
An image upscaling device that calculates according to 제4항에 있어서, 상기 학습부는
상기 재구성 영상(
Figure 112020114284219-pat00134
)과 상기 고해상도 영상(Y)을 기반으로 교사 복원 손실(
Figure 112020114284219-pat00135
)을 수학식
Figure 112020114284219-pat00136

(여기서 i, j는 픽셀 위치 좌표를 나타내고, H 과 W 은 각각 고해상도 영상(Y)의 높이와 폭을 나타낸다.)
에 따라 계산하는 영상 업스케일링 장치.The method of claim 4, wherein the learning unit
The reconstruction image (
Figure 112020114284219-pat00134
) and the teacher restoration loss based on the high-resolution image (Y) (
Figure 112020114284219-pat00135
) to the equation
Figure 112020114284219-pat00136

(Here, i and j represent pixel position coordinates, and H and W represent the height and width of the high-resolution image (Y), respectively.)
An image upscaling device that calculates according to 제5항에 있어서, 상기 학습부는
계산된 모방 손실(
Figure 112020114284219-pat00137
)과 교사 복원 손실(
Figure 112020114284219-pat00138
)로부터 교사 총손실(
Figure 112020114284219-pat00139
)을 수학식
Figure 112020114284219-pat00140

(여기서 λT 는 모방 손실(
Figure 112020114284219-pat00141
)과 교사 복원 손실(
Figure 112020114284219-pat00142
)의 비중을 조절하기 위한 파라미터이다.)
에 따라 획득하여, 상기 교사 총손실(
Figure 112020114284219-pat00143
)을 상기 교사 네트워크로 역전파하는 영상 업스케일링 장치.The method of claim 5, wherein the learning unit
Calculated imitation loss (
Figure 112020114284219-pat00137
) and teacher restoration loss (
Figure 112020114284219-pat00138
) from teacher total loss (
Figure 112020114284219-pat00139
) to the equation
Figure 112020114284219-pat00140

(Where λ T is the imitation loss (
Figure 112020114284219-pat00141
) and teacher restoration loss (
Figure 112020114284219-pat00142
) is a parameter for adjusting the specific gravity.)
Acquired according to, the teacher total loss (
Figure 112020114284219-pat00143
) to the teacher network. 제6항에 있어서, 상기 학습부는
상기 학생 네트워크에 대한 학습 수행 시, 상기 학습 데이터 셋의 저해상도 영상이 인가된 학생 네트워크에서 출력되는 업스케일링 영상(
Figure 112020114284219-pat00144
)과 고해상도 영상(Y)을 기반으로 수학식
Figure 112020114284219-pat00145

에 따라 학생 복원 손실(
Figure 112020114284219-pat00146
)을 계산하는 영상 업스케일링 장치.The method of claim 6, wherein the learning unit
When learning is performed on the student network, an upscaling image output from the student network to which the low-resolution image of the learning data set is applied (
Figure 112020114284219-pat00144
) and the equation based on the high-resolution image (Y)
Figure 112020114284219-pat00145

Depending on the student restoration loss (
Figure 112020114284219-pat00146
) An image upscaling device that calculates 제7항에 있어서, 상기 학습부는
상기 학생 네트워크에 대한 추가 학습 수행 시, 상기 학습 데이터 셋의 저해상도 영상이 인가된 학생 네트워크의 다수의 연산 레이어 중 기지정된 하나의 연산 레이어에서 출력되는 중간 특징맵(fS)과 디코더의 대응하는 위치의 연산 레이어에서 출력되는 중간 특징맵(fT)을 인가받고, 다변량 라플라스 분포(multivariate Laplace distribution)를 기반으로 하는 중간 특징맵(fT, fS) 사이의 파라메트릭 모델(q(fT; fS))을 이용하여 중간 특징맵(fT, fS) 사이의 픽셀 위치에 대한 파라메트릭인 위치맵(μ)과 스케일에 대한 파라메트릭인 스케일맵(b)을 추정하는 영상 업스케일링 장치.The method of claim 7, wherein the learning unit
When additional learning is performed on the student network, an intermediate feature map (f S ) output from one predetermined calculation layer among a plurality of calculation layers of the student network to which the low-resolution image of the learning data set is applied and the corresponding position of the decoder A parametric model ( q( f T ; An image upscaling device that estimates a position map (μ), which is parametric for pixel positions between intermediate feature maps (f T , f S ), and a scale map (b), which is parametric for scale, using f S )) . 제8항에 있어서, 상기 학습부는
상기 위치맵(μ)과 상기 스케일맵(b) 및 상기 교사 네트워크에서 인가된 중간 특징맵(fT)을 기반으로 증류 손실(
Figure 112020114284219-pat00147
)을 수학식
Figure 112020114284219-pat00148

(여기서 C는 중간 특징맵(fT, fS)의 채널 수이고, (i,j,k)는 중간 특징맵(fT, fS)의 픽셀 위치)
에 따라 계산하는 영상 업스케일링 장치.The method of claim 8, wherein the learning unit
Based on the location map (μ), the scale map (b), and the intermediate feature map (f T ) applied from the teacher network, the distillation loss (
Figure 112020114284219-pat00147
) to the equation
Figure 112020114284219-pat00148

(Where C is the number of channels of the intermediate feature map (f T , f S ), and (i, j, k) is the pixel position of the intermediate feature map (f T , f S ))
An image upscaling device that calculates according to 제9항에 있어서, 상기 학습부는
상기 학생 복원 손실(
Figure 112020114284219-pat00149
)과 상기 증류 손실(
Figure 112020114284219-pat00150
)로부터 학생 총손실(
Figure 112020114284219-pat00151
)을 수학식
Figure 112020114284219-pat00152

에 따라 획득하여, 상기 학생 총손실(
Figure 112020114284219-pat00153
)을 상기 학생 네트워크로 역전파하는 영상 업스케일링 장치.10. The method of claim 9, wherein the learning unit
The student restoration loss (
Figure 112020114284219-pat00149
) and the distillation loss (
Figure 112020114284219-pat00150
) from student total loss (
Figure 112020114284219-pat00151
) to the equation
Figure 112020114284219-pat00152

Acquired according to, the student total loss (
Figure 112020114284219-pat00153
) to the student network. 학생 네트워크와 학습 시에 결합되는 교사 네트워크 및 학습부를 포함하는 영상 업스케일링 장치의 영상 스케일링 방법에 있어서,
상기 학습부가 인코더와 디코더를 포함하는 오토 인코더로 구현되는 상기 교사 네트워크에 미리 획득된 학습 데이터 셋의 고해상도 영상을 입력하고, 학습된 방식에 따라 상기 고해상도 영상의 특징을 추출하여 저해상도 영상에 대응하는 크기를 갖는 함축 특징맵이 획득되면, 획득된 함축 특징맵으로부터 학습된 방식에 따라 고해상도 영상을 재구성하여 재구성 영상을 획득하고, 상기 학습 데이터 셋의 고해상도 영상과 대응하는 저해상도 영상, 상기 재구성 영상 및 상기 함축 특징맵을 기반으로 상기 교사 네트워크를 학습시키는 단계;
상기 교사 네트워크에 대한 학습이 완료되면, 학습된 교사 네트워크를 기반으로 지식 증류 기법에 따라 상기 교사 네트워크의 디코더와 동일한 구조로 구성된 학생 네트워크에 상기 학습 데이터 셋의 저해상도 영상을 인가하여 상기 학생 네트워크를 학습시키는 단계; 및
상기 학생 네트워크에 대한 학습이 완료된 이후, 영상 업스케일링 동작 시에, 학생 네트워크가 업스케일링 대상이 되는 저해상도의 대상 영상을 인가받아 미리 학습된 방식에 따라 업스케일링하여 고해상도의 업스케일링 영상을 획득하는 단계를 포함하는 영상 업스케일링 방법.An image scaling method of an image upscaling device including a teacher network and a learning unit coupled to a student network during learning,
The learning unit inputs a high-resolution image of a training data set obtained in advance to the teacher network implemented as an auto-encoder including an encoder and a decoder, extracts features of the high-resolution image according to a learned method, and obtains a size corresponding to the low-resolution image. When an implicit feature map having is obtained, a reconstructed image is obtained by reconstructing a high-resolution image according to a method learned from the obtained implicit feature map, and a low-resolution image corresponding to the high-resolution image of the training data set, the reconstructed image, and the implicit training the teacher network based on the feature map;
When learning of the teacher network is completed, a low-resolution image of the learning data set is applied to a student network configured with the same structure as the decoder of the teacher network according to a knowledge distillation technique based on the learned teacher network to learn the student network step of doing; and
After the learning of the student network is completed, during an image upscaling operation, the student network receiving a low-resolution target image to be upscaled and upscaling it according to a pre-learned method to obtain a high-resolution upscaling image Image upscaling method comprising a. 제11항에 있어서, 상기 교사 네트워크를 학습시키는 단계는
학습에 의해 업데이트되는 가중치를 기반으로 각각 기지정된 연산을 수행하는 다수의 연산 레이어를 포함하는 상기 인코더에 상기 학습 데이터 셋의 고해상도 영상을 입력하여, 상기 저해상도 영상에 대응하는 크기를 갖는 상기 함축 특징맵을 획득하는 단계;
학습에 의해 업데이트되는 가중치를 기반으로 각각 기지정된 연산을 수행하는 다수의 연산 레이어를 포함하는 상기 디코더가 상기 함축 특징맵을 인가받아 상기 고해상도 영상에 대응하는 크기를 갖는 상기 재구성 영상을 재구성하는 단계;
상기 학습 데이터 셋의 고해상도 영상과 상기 재구성 영상 사이의 차에 따라 기지정된 방식으로 교사 복원 손실을 계산하는 단계;
상기 저해상도 영상과 상기 함축 특징맵 사이의 차에 따라 기지정된 방식으로 모방 손실을 계산하는 단계; 및
계산된 상기 교사 복원 손실과 상기 모방 손실을 이용하여 기지정된 방식으로 교사 총손실을 획득하여 상기 교사 네트워크로 역전파하는 단계를 포함하는 영상 업스케일링 방법.12. The method of claim 11, wherein the step of training the teacher network
The implied feature map having a size corresponding to the low-resolution image by inputting a high-resolution image of the training data set to the encoder including a plurality of calculation layers each of which performs a predetermined operation based on a weight updated by learning obtaining;
receiving the implied feature map and reconstructing the reconstructed image having a size corresponding to the high-resolution image;
Calculating a teacher restoration loss according to a difference between a high-resolution image of the training data set and the reconstructed image in a predetermined manner;
calculating an imitation loss according to a difference between the low-resolution image and the implied feature map in a predetermined manner; and
and back-propagating a total teacher loss to the teacher network by using the calculated teacher restoration loss and the simulated loss in a predetermined manner. 제12항에 있어서, 상기 학생 네트워크를 학습시키는 단계는
학생 네트워크에서 저해상도 영상으로부터 상기 업스케일링 영상을 획득하는 과정에서 생성되는 중간맵과 상기 디코더에서 상기 함축 특징맵으로부터 상기 재구성 영상을 획득하는 과정에서 생성되는 중간맵을 획득하여 기지정된 방식으로 증류 손실을 계산하는 단계;
상기 학습 데이터 셋의 고해상도 영상과 상기 업스케일링 영상 사이의 차에 따라 기지정된 방식으로 학생 복원 손실을 계산하는 단계; 및
계산된 상기 학생 복원 손실과 상기 증류 손실을 이용하여 기지정된 방식으로 학생 총손실을 획득하여 상기 학생 네트워크로 역전파하는 단계를 포함하는 영상 업스케일링 방법.13. The method of claim 12, wherein training the student network comprises:
The intermediate map generated in the process of obtaining the upscaling image from the low-resolution image in the student network and the intermediate map generated in the process of obtaining the reconstructed image from the implied feature map in the decoder are obtained to calculate distillation loss in a predetermined method. calculating;
Calculating a student restoration loss according to a difference between a high-resolution image of the training data set and the upscaling image in a predetermined manner; and
and obtaining a student total loss in a predetermined manner by using the calculated student restoration loss and the distillation loss, and backpropagating the student network to the image upscaling method. 제13항에 있어서, 상기 교사 복원 손실을 계산하는 단계는
상기 교사 복원 손실(
Figure 112020114284219-pat00154
)을 수학식
Figure 112020114284219-pat00155

(여기서 Y는 고해상도 영상이고,
Figure 112020114284219-pat00156
는 재구성 영상이며, i, j는 픽셀 위치 좌표를 나타내고, H 과 W 은 각각 고해상도 영상(Y)의 높이와 폭을 나타낸다.)
에 따라 계산하는 영상 업스케일링 방법.14. The method of claim 13, wherein calculating the teacher restoration loss comprises:
The teacher restoration loss (
Figure 112020114284219-pat00154
) to the equation
Figure 112020114284219-pat00155

(Where Y is a high-resolution image,
Figure 112020114284219-pat00156
is a reconstructed image, i and j represent pixel position coordinates, and H and W represent the height and width of the high-resolution image (Y), respectively.)
Image upscaling method calculated according to . 제14항에 있어서, 상기 모방 손실을 계산하는 단계는
상기 모방 손실(
Figure 112020114284219-pat00157
)을 수학식
Figure 112020114284219-pat00158

(여기서 X는 저해상도 영상이고,
Figure 112020114284219-pat00159
는 함축 특징맵이며, i, j는 픽셀 위치 좌표를 나타내고, H' 과 W' 은 각각 저해상도 영상(X)의 높이와 폭을 나타낸다.)
에 따라 계산하는 영상 업스케일링 방법.15. The method of claim 14, wherein calculating the mimic loss comprises:
The imitation loss (
Figure 112020114284219-pat00157
) to the equation
Figure 112020114284219-pat00158

(Where X is a low-resolution image,
Figure 112020114284219-pat00159
is an implied feature map, i and j represent pixel location coordinates, and H' and W' represent the height and width of the low-resolution image (X), respectively.)
Image upscaling method calculated according to . 제15항에 있어서, 상기 교사 네트워크로 역전파하는 단계는
상기 교사 총손실(
Figure 112020114284219-pat00160
)을 수학식
Figure 112020114284219-pat00161

(여기서 λT 는 모방 손실(
Figure 112020114284219-pat00162
)과 교사 복원 손실(
Figure 112020114284219-pat00163
)의 비중을 조절하기 위한 파라미터이다.)
에 따라 획득하여 역전파하는 영상 업스케일링 방법.16. The method of claim 15, wherein backpropagating to the teacher network comprises:
The teacher total loss (
Figure 112020114284219-pat00160
) to the equation
Figure 112020114284219-pat00161

(Where λ T is the imitation loss (
Figure 112020114284219-pat00162
) and teacher restoration loss (
Figure 112020114284219-pat00163
) is a parameter for adjusting the specific gravity.)
An image upscaling method that acquires and backpropagates according to. 제16항에 있어서, 상기 증류 손실을 계산하는 단계는
상기 학습 데이터 셋의 저해상도 영상이 인가된 학생 네트워크의 다수의 연산 레이어 중 기지정된 하나의 연산 레이어에서 출력되는 중간 특징맵(fS)과 디코더의 대응하는 위치의 연산 레이어에서 출력되는 중간 특징맵(fT)을 획득하는 단계;
다변량 라플라스 분포를 기반으로 하는 중간 특징맵(fT, fS) 사이의 파라메트릭 모델(q(fT; fS))을 이용하여 중간 특징맵(fT, fS) 사이의 픽셀 위치에 대한 파라메트릭인 위치맵(μ)과 스케일에 대한 파라메트릭인 스케일맵(b)을 추정하는 단계; 및
상기 위치맵(μ)과 상기 스케일맵(b) 및 상기 교사 네트워크에서 인가된 중간 특징맵(fT)을 기반으로 상기 증류 손실(
Figure 112020114284219-pat00164
)을 수학식
Figure 112020114284219-pat00165

(여기서 C는 중간 특징맵(fT, fS)의 채널 수이고, (i,j,k)는 중간 특징맵(fT, fS)의 픽셀 위치)
에 따라 계산하는 단계를 포함하는 영상 업스케일링 방법.17. The method of claim 16, wherein calculating the distillation loss comprises
An intermediate feature map (f S ) output from a predetermined calculation layer among a plurality of calculation layers of a student network to which the low-resolution image of the learning data set is applied and an intermediate feature map (f S ) output from a calculation layer at a corresponding position of a decoder ( obtaining f T );
A parametric model (q(f T ; f S )) between intermediate feature maps (f T , f S ) based on multivariate Laplace distribution is used to determine pixel positions between intermediate feature maps (f T , f S ). estimating a position map (μ) that is parametric for the scale and a scale map (b) that is parametric for the scale; and
Based on the location map (μ), the scale map (b), and the intermediate feature map (f T ) applied from the teacher network, the distillation loss (
Figure 112020114284219-pat00164
) to the equation
Figure 112020114284219-pat00165

(Where C is the number of channels of the intermediate feature map (f T , f S ), and (i, j, k) is the pixel position of the intermediate feature map (f T , f S ))
An image upscaling method comprising the step of calculating according to . 제17항에 있어서, 상기 학생 복원 손실을 계산하는 단계는
상기 학생 복원 손실(
Figure 112020114284219-pat00166
)을 수학식
Figure 112020114284219-pat00167

(여기서
Figure 112020114284219-pat00168
는 업스케일링 영상)
에 따라 계산하는 영상 업스케일링 방법.18. The method of claim 17, wherein calculating the student restoration loss comprises:
The student restoration loss (
Figure 112020114284219-pat00166
) to the equation
Figure 112020114284219-pat00167

(here
Figure 112020114284219-pat00168
is the upscaling image)
Image upscaling method calculated according to . 제18항에 있어서, 상기 학생 네트워크로 역전파하는 단계는
상기 학생 복원 손실(
Figure 112020114284219-pat00169
)과 상기 증류 손실(
Figure 112020114284219-pat00170
)로부터 학생 총손실(
Figure 112020114284219-pat00171
)을 수학식
Figure 112020114284219-pat00172

에 따라 획득하여, 상기 학생 총손실(
Figure 112020114284219-pat00173
)을 상기 학생 네트워크로 역전파하는 영상 업스케일링 방법.19. The method of claim 18, wherein backpropagating to the student network comprises:
The student restoration loss (
Figure 112020114284219-pat00169
) and the distillation loss (
Figure 112020114284219-pat00170
) from student total loss (
Figure 112020114284219-pat00171
) to the equation
Figure 112020114284219-pat00172

Acquired according to, the student total loss (
Figure 112020114284219-pat00173
) to the student network.
KR1020200140601A 2020-10-27 2020-10-27 Image Upscaling Apparatus And Method Based On Learning With Privileged Information KR102543690B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200140601A KR102543690B1 (en) 2020-10-27 2020-10-27 Image Upscaling Apparatus And Method Based On Learning With Privileged Information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200140601A KR102543690B1 (en) 2020-10-27 2020-10-27 Image Upscaling Apparatus And Method Based On Learning With Privileged Information

Publications (2)

Publication Number Publication Date
KR20220055970A KR20220055970A (en) 2022-05-04
KR102543690B1 true KR102543690B1 (en) 2023-06-13

Family

ID=81584046

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200140601A KR102543690B1 (en) 2020-10-27 2020-10-27 Image Upscaling Apparatus And Method Based On Learning With Privileged Information

Country Status (1)

Country Link
KR (1) KR102543690B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024043760A1 (en) * 2022-08-25 2024-02-29 한국전자통신연구원 Method, device, and recording medium for image encoding/decoding
CN116486285B (en) * 2023-03-15 2024-03-19 中国矿业大学 Aerial image target detection method based on class mask distillation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017500651A (en) 2014-03-20 2017-01-05 三菱電機株式会社 A method for processing an input low resolution (LR) image into an output high resolution (HR) image
JP2018156451A (en) 2017-03-17 2018-10-04 株式会社東芝 Network learning device, network learning system, network learning method, and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102061935B1 (en) 2017-02-21 2020-01-02 한국과학기술원 Knowledge Transfer Method Using Deep Neural Network and Apparatus Therefor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017500651A (en) 2014-03-20 2017-01-05 三菱電機株式会社 A method for processing an input low resolution (LR) image into an output high resolution (HR) image
JP2018156451A (en) 2017-03-17 2018-10-04 株式会社東芝 Network learning device, network learning system, network learning method, and program

Also Published As

Publication number Publication date
KR20220055970A (en) 2022-05-04

Similar Documents

Publication Publication Date Title
US11966839B2 (en) Auto-regressive neural network systems with a soft attention mechanism using support data patches
KR102543690B1 (en) Image Upscaling Apparatus And Method Based On Learning With Privileged Information
Chen et al. Convolutional neural network based dem super resolution
US11348203B2 (en) Image generation using subscaling and depth up-scaling
Son et al. Toward real-world super-resolution via adaptive downsampling models
Liu et al. Effective image super resolution via hierarchical convolutional neural network
US11871144B2 (en) Image processing apparatus and operation method thereof
CN113762147B (en) Facial expression migration method and device, electronic equipment and storage medium
CN105488759B (en) A kind of image super-resolution rebuilding method based on local regression model
CN103473797B (en) Spatial domain based on compressed sensing sampling data correction can downscaled images reconstructing method
WO2022156621A1 (en) Artificial intelligence-based image coloring method and apparatus, electronic device, computer readable storage medium, and computer program product
CN107862707A (en) A kind of method for registering images based on Lucas card Nader's image alignment
CN112132770A (en) Image restoration method and device, computer readable medium and electronic equipment
CN114049314A (en) Medical image segmentation method based on feature rearrangement and gated axial attention
Rajput et al. A robust facial image super-resolution model via mirror-patch based neighbor representation
CN114612289A (en) Stylized image generation method and device and image processing equipment
Rajput Mixed Gaussian-impulse noise robust face hallucination via noise suppressed low-and-high resolution space-based neighbor representation
KR102582706B1 (en) Method and apparatus for image super resolution
CN115867933A (en) Computer-implemented method, computer program product and system for processing images
US20230073175A1 (en) Method and system for processing image based on weighted multiple kernels
CN115496654A (en) Image super-resolution reconstruction method, device and medium based on self-attention mechanism
Li et al. Multi-scale cross-fusion for arbitrary scale image super resolution
Ghasemi-Falavarjani et al. Particle filter based multi-frame image super resolution
Heintz et al. Multiscale Super-Resolution Remote Imaging via Deep Conditional Normalizing Flows
Tian et al. Deep iterative residual back-projection networks for single-image super-resolution

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant