KR102543690B1 - Image Upscaling Apparatus And Method Based On Learning With Privileged Information - Google Patents
Image Upscaling Apparatus And Method Based On Learning With Privileged Information Download PDFInfo
- Publication number
- KR102543690B1 KR102543690B1 KR1020200140601A KR20200140601A KR102543690B1 KR 102543690 B1 KR102543690 B1 KR 102543690B1 KR 1020200140601 A KR1020200140601 A KR 1020200140601A KR 20200140601 A KR20200140601 A KR 20200140601A KR 102543690 B1 KR102543690 B1 KR 102543690B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- network
- loss
- student
- teacher
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 108
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000013140 knowledge distillation Methods 0.000 claims abstract description 22
- 239000000284 extract Substances 0.000 claims abstract description 11
- 238000004821 distillation Methods 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 5
- 230000005484 gravity Effects 0.000 claims description 4
- 230000003278 mimic effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000012467 final product Substances 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006722 reduction reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 학습 시 결합되는 인코더와 디코더를 포함하는 오토 인코더로 구현되고, 미리 획득된 학습 데이터 셋의 고해상도 영상을 인가받아 학습된 방식에 따라 특징을 추출하여 함축 특징맵을 획득하고, 획득된 함축 특징맵으로부터 학습된 방식에 따라 고해상도 영상을 재구성하여 재구성 영상을 획득하는 교사 네트워크, 교사 네트워크의 디코더와 동일한 구조로 구성되어, 업스케일링 대상이 되는 저해상도의 대상 영상을 인가받아 미리 학습된 방식에 따라 업스케일링하여 고해상도의 업스케일링 영상을 획득하는 학생 네트워크 및 학습 시에 결합되어, 학습 데이터 셋의 고해상도 영상과 대응하는 저해상도 영상, 재구성 영상 및 함축 특징맵을 기반으로 교사 네트워크에 대한 학습을 우선 수행하고, 학습된 교사 네트워크를 기반으로 지식 증류 기법에 따라 학생 네트워크에 학습 데이터 셋의 저해상도 영상을 인가하여 학습을 수행하는 학습부를 포함하여, 사용자 단말에서도 효율적으로 저해상도 영상으로부터 고품질의 고해상도의 영상을 획득할 수 있는 영상 업스케일링 장치 및 방법을 제공할 수 있다.The present invention is implemented as an auto-encoder including an encoder and a decoder that are combined during learning, receives a high-resolution image of a training data set obtained in advance, extracts features according to a learned method, obtains an implicit feature map, and obtains an implicit feature map. It is composed of the same structure as the teacher network and the decoder of the teacher network that reconstructs the high-resolution image according to the method learned from the feature map and acquires the reconstructed image. The student network that acquires a high-resolution upscaling image by upscaling and the student network that acquires a high-resolution upscaling image are combined during learning, and the teacher network is first trained based on the high-resolution image of the training data set and the corresponding low-resolution image, reconstructed image, and implicit feature map. , Including a learning unit that performs learning by applying the low-resolution image of the learning data set to the student network according to the knowledge distillation technique based on the learned teacher network, the user terminal can efficiently acquire high-quality and high-resolution images from the low-resolution images. It is possible to provide an image upscaling apparatus and method capable of
Description
본 발명은 영상 업스케일링 장치 및 방법에 관한 것으로, 사전 정보와 지식 증류 기법으로 학습되어 영상을 업스케일링 하는 영상 업스케일링 장치 및 방법에 관한 것이다.The present invention relates to an image upscaling apparatus and method, and relates to an image upscaling apparatus and method for upscaling an image by learning prior information and a knowledge distillation technique.
최근 영상 기술의 발전으로 인해 고해상도 영상에 대한 요구가 증가되고 있으며, 이에 저해상도 영상을 초고해상도 영상으로 변환하는 업스케일링(Upscaling) 기술에 또한 관심을 받고 있다.Due to the recent development of image technology, the demand for high-resolution images is increasing, and accordingly, upscaling technology for converting low-resolution images into ultra-high resolution images is also drawing attention.
영상 업 스케일링 기술로 다양한 알고리즘이 제안되었으나, 단순한 산술 연산에 기반한 알고리즘보다 인공 신경망을 이용하여 연산하는 방법인 초해상도(Super-Resolution) 기법이 더 좋은 성능을 나타내는 것으로 알려져 있다.Various algorithms have been proposed as an image upscaling technique, but it is known that the super-resolution technique, which is a method of calculating using an artificial neural network, exhibits better performance than an algorithm based on simple arithmetic operation.
초해상도 기법에서는 콘볼루션(Convolution)연산을 기반으로 하는 CNN(Convolution Neural Network) 알고리즘을 이용하였다. 그러나 CNN은 영상 품질을 향상시키기 위해 많은 메모리와 연산량을 요구할 뿐만 아니라, 업스케일링 속도가 느리다는 문제가 있다.In the super-resolution technique, a Convolution Neural Network (CNN) algorithm based on convolution operation was used. However, CNNs not only require a large amount of memory and computation to improve image quality, but also have a problem in that upscaling speed is slow.
이에 적은 수의 컨볼루션 레이어로 구성되어 단순한 구조를 갖는 SRCNN(Super-Resolution Convolutional Neural Network) 또는 FSRCNN(Fast SRCNN)이 제안되었다. SRCNN이나 FSRCNN은 구조가 복잡하지 않아, TV나 스마트폰과 같은 사용자 단말 수준에서도 빠르게 실행될 수 있으나, 요구되는 고품질의 고해상도 영상을 획득하기 어렵다는 한계가 있다.Accordingly, a Super-Resolution Convolutional Neural Network (SRCNN) or Fast SRCNN (FSRCNN) having a simple structure composed of a small number of convolutional layers has been proposed. SRCNN or FSRCNN has an uncomplicated structure and can be quickly executed at the level of a user terminal such as a TV or smartphone, but has a limitation in that it is difficult to obtain the required high-quality, high-resolution image.
최근에는 어텐션(attention) 구조나 재귀(recursive) 구조 등의 이용하여 복잡한 네트워크 구조를 갖지만 속도 및 메모리 측면에서 효율적이고 높은 업스케일링 성능을 나타낼 수 있는 기법이 제안되었으나, 복잡한 구조로 인해 여전히 하드웨어로 구현이 어렵다는 문제가 있다.Recently, a technique that has a complex network structure using an attention structure or a recursive structure, but is efficient in terms of speed and memory and can show high upscaling performance has been proposed, but it is still implemented in hardware due to the complex structure. There is a problem with this difficult.
본 발명의 목적은 저해상도 영상을 고품질의 고해상도의 영상으로 업스케일링할 수 있는 영상 업스케일링 장치 및 방법을 제공하는데 있다.An object of the present invention is to provide an image upscaling apparatus and method capable of upscaling a low-resolution image to a high-quality, high-resolution image.
본 발명의 다른 목적은 사전 정보에 기반하여 학습된 교사 네트워크의 학습 정보를 지식 증류 기법으로 전달받은 학생 네트워크를 이용하여 간단한 구조로 효율적으로 고품질의 고해상도의 영상을 획득할 수 있는 영상 업스케일링 장치 및 방법을 제공하는데 있다.Another object of the present invention is an image upscaling device capable of efficiently acquiring high-quality, high-resolution images with a simple structure using a student network that receives learning information from a teacher network learned based on prior information through a knowledge distillation technique, and is to provide a way
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 업스케일링 장치는 학습 시 결합되는 인코더와 디코더를 포함하는 오토 인코더로 구현되고, 미리 획득된 학습 데이터 셋의 고해상도 영상을 인가받아 학습된 방식에 따라 특징을 추출하여 함축 특징맵을 획득하고, 획득된 함축 특징맵으로부터 학습된 방식에 따라 고해상도 영상을 재구성하여 재구성 영상을 획득하는 교사 네트워크; 상기 교사 네트워크의 디코더와 동일한 구조로 구성되어, 업스케일링 대상이 되는 저해상도의 대상 영상을 인가받아 미리 학습된 방식에 따라 업스케일링하여 고해상도의 업스케일링 영상을 획득하는 학생 네트워크; 및 학습 시에 결합되어, 상기 학습 데이터 셋의 고해상도 영상과 대응하는 저해상도 영상, 상기 재구성 영상 및 상기 함축 특징맵을 기반으로 상기 교사 네트워크에 대한 학습을 우선 수행하고, 학습된 교사 네트워크를 기반으로 지식 증류 기법에 따라 학생 네트워크에 상기 학습 데이터 셋의 저해상도 영상을 인가하여 학습을 수행하는 학습부를 포함한다.An image upscaling apparatus according to an embodiment of the present invention for achieving the above object is implemented as an auto-encoder including an encoder and a decoder that are combined during learning, and is learned by receiving a high-resolution image of a training data set obtained in advance A teacher network that obtains an implicit feature map by extracting features according to and reconstructs a high-resolution image according to a method learned from the obtained implicit feature map to obtain a reconstructed image; a student network having the same structure as the decoder of the teacher network, receiving a low resolution target image to be upscaled and upscaling it according to a pre-learned method to obtain a high resolution upscaling image; and combined during learning, learning of the teacher network is first performed based on the low-resolution image corresponding to the high-resolution image of the training data set, the reconstructed image, and the implicit feature map, and knowledge is obtained based on the learned teacher network. and a learning unit for performing learning by applying a low-resolution image of the training data set to a student network according to a distillation technique.
상기 인코더는 학습에 의해 업데이트되는 가중치를 기반으로 각각 기지정된 연산을 수행하는 다수의 연산 레이어를 포함하는 인공 신경망으로 구현되어, 학습된 방식에 따라 인가된 학습 데이터 셋의 고해상도 영상의 특징을 추출하여, 상기 저해상도 영상에 대응하는 크기를 갖는 상기 함축 특징맵을 획득할 수 있다.The encoder is implemented as an artificial neural network including a plurality of computation layers that perform predetermined operations based on weights updated by learning, and extracts features of a high-resolution image of the applied training data set according to a learned method. , the implicit feature map having a size corresponding to the low-resolution image can be obtained.
상기 디코더는 학습에 의해 업데이트되는 가중치를 기반으로 각각 기지정된 연산을 수행하는 다수의 연산 레이어를 포함하는 인공 신경망으로 구현되어, 학습된 방식에 따라 인가된 상기 함축 특징맵을 상기 고해상도 영상에 대응하는 크기를 갖는 상기 재구성 영상으로 재구성할 수 있다.The decoder is implemented as an artificial neural network including a plurality of computation layers each of which performs a predetermined operation based on a weight updated by learning, and converts the implied feature map applied according to the learned method to the high-resolution image. It can be reconstructed with the reconstructed image having a size.
상기 학생 네트워크는 상기 디코더와 동일한 구조를 갖고 지식 증류 기법에 따라 상기 디코더의 다수의 연산 레이어에서 대응하는 연산 레이어의 가중치가 전이되어 초기 설정되는 다수의 연산 레이어를 포함하는 인공 신경망으로 구현될 수 있다.The student network may be implemented as an artificial neural network including a plurality of computation layers having the same structure as the decoder and initially set by transferring weights of corresponding computation layers in a plurality of computation layers of the decoder according to a knowledge distillation technique. .
상기 학습부는 상기 교사 네트워크에 대한 학습 수행 시, 상기 함축 특징맵()과 저해상도 영상(X)을 기반으로 모방 손실()을 수학식 When the learning unit performs learning on the teacher network, the implicit feature map ( ) and the imitation loss based on the low-resolution image (X) ( ) to the equation
(여기서 i, j는 픽셀 위치 좌표를 나타내고, H' 과 W' 은 각각 저해상도 영상(X)의 높이와 폭을 나타낸다.)에 따라 계산할 수 있다.(Here, i and j represent pixel location coordinates, and H' and W' represent the height and width of the low-resolution image X, respectively.).
상기 학습부는 상기 재구성 영상()과 상기 고해상도 영상(Y)을 기반으로 교사 복원 손실()을 수학식 The learning unit reconstructed image ( ) and the teacher restoration loss based on the high-resolution image (Y) ( ) to the equation
(여기서 i, j는 픽셀 위치 좌표를 나타내고, H 과 W 은 각각 고해상도 영상(Y)의 높이와 폭을 나타낸다.)에 따라 계산할 수 있다.(Where i and j represent pixel position coordinates, and H and W represent the height and width of the high-resolution image Y, respectively.).
상기 학습부는 계산된 모방 손실()과 교사 복원 손실()로부터 교사 총손실()을 수학식 The learning unit calculates the imitation loss ( ) and teacher restoration loss ( ) from teacher total loss ( ) to the equation
(여기서 λT 는 모방 손실()과 교사 복원 손실()의 비중을 조절하기 위한 파라미터이다.)에 따라 획득하여, 상기 교사 총손실()을 상기 교사 네트워크로 역전파할 수 있다.(Where λ T is the imitation loss ( ) and teacher restoration loss ( ) is a parameter for adjusting the proportion of.), and the teacher total loss ( ) can be back-propagated to the teacher network.
상기 학습부는 지식 정보가 전이된 학생 네트워크에 대한 추가 학습 수행 시, 상기 학습 데이터 셋의 저해상도 영상이 인가된 학생 네트워크에서 출력되는 업스케일링 영상()과 고해상도 영상(Y)을 기반으로 수학식 When the learning unit performs additional learning on the student network to which the knowledge information is transferred, an upscaling image output from the student network to which the low-resolution image of the learning data set is applied ( ) and the equation based on the high-resolution image (Y)
에 따라 학생 복원 손실()을 계산할 수 있다.Depending on the student restoration loss ( ) can be calculated.
상기 학습부는 지식 정보가 전이된 학생 네트워크에 대한 추가 학습 수행 시, 상기 학습 데이터 셋의 저해상도 영상이 인가된 학생 네트워크의 다수의 연산 레이어 중 최종 연산 레이어를 제외한 연산 레이어 중 기지정된 하나의 연산 레이어에서 출력되는 중간 특징맵(fS)과 디코더의 대응하는 위치의 연산 레이어에서 출력되는 중간 특징맵(fT)을 인가받고, 다변량 라플라스 분포(multivariate Laplace distribution)를 기반으로 하는 중간 특징맵(fT, fS) 사이의 파라메트릭 모델(q(fT; fS))을 이용하여 중간 특징맵(fT, fS) 사이의 픽셀 위치에 대한 파라메트릭인 위치맵(μ)과 스케일에 대한 파라메트릭인 스케일맵(b)을 추정할 수 있다.When the learning unit performs additional learning on the student network to which the knowledge information is transferred, in one predetermined calculation layer among the calculation layers excluding the final calculation layer among the plurality of calculation layers of the student network to which the low-resolution image of the learning data set is applied. An intermediate feature map (f T ) output from an intermediate feature map (f S ) and an intermediate feature map (f T ) output from a computation layer at a corresponding position of a decoder are authorized, and an intermediate feature map (f T ) based on a multivariate Laplace distribution is obtained. , f S ) using the parametric model (q(f T ; f S )) between the intermediate feature maps (f T , f S ) for the pixel position between the parametric position map (μ) and the scale A parametric scale map (b) can be estimated.
상기 학습부는 상기 위치맵(μ)과 상기 스케일맵(b) 및 상기 교사 네트워크에서 인가된 중간 특징맵(fT)을 기반으로 증류 손실()을 수학식The learning unit distillation loss (based on the location map (μ), the scale map (b), and the intermediate feature map (f T ) applied from the teacher network ) to the equation
(여기서 C는 중간 특징맵(fT, fS)의 채널 수이고, (i,j,k)는 중간 특징맵(fT, fS)의 픽셀 위치)에 따라 계산할 수 있다.(Where C is the number of channels of the intermediate feature map (f T , f S ), and (i, j, k) is the pixel position of the intermediate feature map (f T , f S )).
상기 학습부는 상기 학생 복원 손실()과 상기 증류 손실()로부터 학생 총손실()을 수학식 The learning unit restores the student loss ( ) and the distillation loss ( ) from student total loss ( ) to the equation
에 따라 획득하여, 상기 학생 총손실()을 상기 학생 네트워크로 역전파할 수 있다.Acquired according to, the student total loss ( ) to the student network.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 학생 네트워크와 학습 시에 결합되는 교사 네트워크 및 학습부를 포함하는 영상 업스케일링 장치의 영상 스케일링 방법은 상기 학습부가 인코더와 디코더를 포함하는 오토 인코더로 구현되는 상기 교사 네트워크에 미리 획득된 학습 데이터 셋의 고해상도 영상을 입력하고, 학습된 방식에 따라 상기 고해상도 영상의 특징을 추출하여 함축 특징맵이 획득되면, 획득된 함축 특징맵으로부터 학습된 방식에 따라 고해상도 영상을 재구성하여 재구성 영상을 획득하고, 상기 학습 데이터 셋의 고해상도 영상과 대응하는 저해상도 영상, 상기 재구성 영상 및 상기 함축 특징맵을 기반으로 상기 교사 네트워크를 학습시키는 단계; 상기 교사 네트워크에 대한 학습이 완료되면, 학습된 교사 네트워크를 기반으로 지식 증류 기법에 따라 학생 네트워크에 상기 학습 데이터 셋의 저해상도 영상을 인가하여 상기 학생 네트워크를 학습시키는 단계; 및 상기 학생 네트워크에 대한 학습이 완료된 이후, 영상 업스케일링 동작 시에, 학생 네트워크가 업스케일링 대상이 되는 저해상도의 대상 영상을 인가받아 미리 학습된 방식에 따라 업스케일링하여 고해상도의 업스케일링 영상을 획득하는 단계를 포함한다.According to another embodiment of the present invention for achieving the above object, an image scaling method of an image upscaling device including a learning unit and a student network coupled during learning is an auto-encoder including an encoder and a decoder in the learning unit. When a high-resolution image of a training data set obtained in advance is input to the implemented teacher network, and features of the high-resolution image are extracted according to a learned method and an implicit feature map is obtained, according to a method learned from the obtained implicit feature map acquiring a reconstructed image by reconstructing a high-resolution image, and training the teacher network based on the low-resolution image corresponding to the high-resolution image of the training data set, the reconstructed image, and the implied feature map; learning the student network by applying a low-resolution image of the learning data set to the student network according to a knowledge distillation technique based on the learned teacher network when the learning of the teacher network is completed; and after the learning of the student network is completed, during an image upscaling operation, the student network receives a low-resolution target image to be upscaled and upscales it according to a pre-learned method to obtain a high-resolution upscaling image. Include steps.
따라서, 본 발명의 실시예에 따른 영상 업스케일링 장치 및 방법은 고해상도 영상을 사전 정보로 이용하여 미리 학습된 교사 네트워크로부터 지식 증류 기법으로 지식 정보가 전달되는 단순 구조의 학생 네트워크를 이용하여 사용자 단말에서도 효율적으로 저해상도 영상으로부터 고품질의 고해상도의 영상을 획득할 수 있도록 한다.Therefore, an image upscaling apparatus and method according to an embodiment of the present invention uses a simple structured student network in which knowledge information is transmitted by a knowledge distillation technique from a teacher network pre-learned using high-resolution images as prior information, and can be used in user terminals. It is possible to efficiently obtain a high-quality, high-resolution image from a low-resolution image.
도 1은 본 발명의 일 실시예에 따른 영상 업스케일링 장치의 개략적 구조를 나타낸다.
도 2는 도 1의 영상 업스케일링 장치의 지식 증류 기법에 따른 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 업스케일링 방법을 나타낸다.1 shows a schematic structure of an image upscaling apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining an operation according to a knowledge distillation technique of the image upscaling apparatus of FIG. 1 .
3 shows an image upscaling method according to an embodiment of the present invention.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. In order to fully understand the present invention and its operational advantages and objectives achieved by the practice of the present invention, reference should be made to the accompanying drawings illustrating preferred embodiments of the present invention and the contents described in the accompanying drawings.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다. Hereinafter, the present invention will be described in detail by describing preferred embodiments of the present invention with reference to the accompanying drawings. However, the present invention may be embodied in many different forms and is not limited to the described embodiments. And, in order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals in the drawings indicate the same members.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. Throughout the specification, when a part "includes" a certain component, it means that it may further include other components, not excluding other components unless otherwise stated. In addition, terms such as "... unit", "... unit", "module", and "block" described in the specification mean a unit that processes at least one function or operation, which is hardware, software, or hardware. and software.
도 1은 본 발명의 일 실시예에 따른 영상 업스케일링 장치의 개략적 구조를 나타내고, 도 2는 도 1의 영상 업스케일링 장치의 지식 증류 기법에 따른 동작을 설명하기 위한 도면이다.FIG. 1 shows a schematic structure of an image upscaling device according to an embodiment of the present invention, and FIG. 2 is a diagram for explaining an operation of the image upscaling device of FIG. 1 according to a knowledge distillation technique.
도 1 및 도 2를 참조하면, 본 실시예에 따른 영상 업스케일링 장치는 교사 네트워크(100), 학생 네트워크(200) 및 학습부(300)를 포함한다.Referring to FIGS. 1 and 2 , the video upscaling apparatus according to the present embodiment includes a
교사 네트워크(100)는 인공 신경망으로 구현될 수 있으며, 특히 본 실시예에서 교사 네트워크는 입력 영상을 인가받아 특징을 추출하고, 추출된 특징을 이용하여 입력 영상을 재구성하는 오토 인코더(Auto-encoder)로 구현된다.The
오토 인코더로 구현되는 교사 네트워크(100)는 고해상도(High Resolution: HR) 영상(Y)을 인가받아 특징을 추출하여 저차원의 함축 특징맵()을 획득하는 인코더(110)와 인코더(110)에서 획득된 함축 특징맵()으로부터 고해상도의 영상을 재구성하여 재구성 영상()을 획득하는 디코더(120)를 포함할 수 있다.The
인코더(110)는 일 예로 다수의 컨볼루션 레이어와 활성화 함수인 ReLU 를 포함하는 인공 신경망으로 구현될 수 있으며, 여기서는 일 예로 4개의 컨볼루션 레이어와 PReLU(Parametric ReLU)를 포함하는 인공 신경망으로 구현되는 것으로 가정하였다. 그리고 다수의 컨볼루션 레이어 중 하나의 컨볼루션 레이어(예를 들면 2번째 컨볼루션 레이어)는 기지정된 스케일 팩터(s)에 따른 스트라이드(stride)를 갖고 나머지 컨볼루션 레이어는 1의 스트라이드를 갖도록 설정될 수 있다. 여기서 스케일 팩터(s)는 교사 네트워크(100)에 입력되는 고해상도 영상(Y)과 학생 네트워크(200)에 입력되는 저해상도 영상(X)의 해상도 비(Y = Xs)에 대응하여 결정될 수 있다. 일 예로 고해상도 영상(Y)이 UHD(Ultra High Definition) 영상이고 저해상도 영상(X)이 FHD(Full High Definition) 영상인 경우, 스케일 팩터(s)는 2로 설정될 수 있다.The
인공 신경망으로 구현되는 인코더(110)는 학습부(300)에 의해 미리 학습될 수 있으며, 고해상도 영상(Y)이 인가되면 미리 학습된 방식에 따라 고해상도 영상(Y)의 특징을 추출하여 저해상도 영상(X)에 대응하는 크기의 함축 특징맵()을 획득한다.The
고해상도 영상(Y)을 인가받아 함축 특징맵()을 획득하는 인코더(110)의 동작 함수를 GT라고 하면, 함축 특징맵()은 수학식 1로 표현될 수 있다.The high-resolution image (Y) is authorized and the implied feature map ( ) If the operation function of the
한편 디코더(120)는 다수의 컨볼루션 레이어와 디콘볼루션 레이어를 포함하여 구성될 수 있다. 디코더(120)는 FSRCNN와 유사하게 인가되는 함축 특징맵()에 대해 각각 특징 추출, 축소, 맵핑 및 확장 기능을 수행하는 다수의 컨볼루션 레이어와 다수의 컨볼루션 레이어에서 최종적으로 출력되는 특징맵을 고해상도의 영상으로 재구성하는 디콘볼루션 레이어를 포함할 수 있다.Meanwhile, the
그리고 디코더(120) 또한 인코더(110)와 마찬가지로 인공 신경망으로 구현되므로, 학습부(300)에 의해 미리 학습되어, 인코더(110)로부터 함축 특징맵()이 인가되면, 미리 학습된 방식에 따라 함축 특징맵()으로부터 고해상도 영상(Y)을 재구성한 재구성 영상()을 획득한다.In addition, since the
함축 특징맵()을 인가받아 고해상도의 재구성 영상()을 획득하는 디코더(120)의 동작 함수를 FT라고 하면, 재구성 영상()은 수학식 2로 표현될 수 있다.Implicit feature map ( ) and a high-resolution reconstructed image ( ) If the operating function of the
교사 네트워크(100)의 인코더(110)와 디코더(120) 각각은 학습이 수행됨에 따라 다수의 컨볼루션 레이어의 가중치가 업데이트된다. Each of the
한편 학생 네트워크(200)는 교사 네트워크(100)의 디코더(120)와 동일하게 구성된다. 즉 학생 네트워크(200)는 교사 네트워크(100)의 디코더(120)와 마찬가지로 FSRCNN과 유사한 구조로 다수의 컨볼루션 레이어와 디콘볼루션 레이어를 포함하여 구성될 수 있다.Meanwhile, the
그리고 학생 네트워크(200)는 교사 네트워크(100)의 학습이 완료된 이후, 학습 완료된 교사 네트워크(100)의 지식 정보를 기반으로 지식 증류(knowledge distillation) 기법으로 학습될 수 있다.In addition, the
미리 학습된 인공 신경망을 이용하여 다른 인공 신경망을 학습시키는 기법으로는 지식 증류 기법과 전이 학습(transfer learning) 기법이 알려져 있다. 이중 전이 학습 기법의 경우, 학습된 인공 신경망, 즉 교사 네트워크(100)의 디코더(120)의 가중치를 학생 네트워크(200)에 그대로 적용하여 추가 학습을 수행하는 방식이나, 교사 네트워크(100)와 학생 네트워크(200)가 완전하게 동일한 구조를 갖고 동일한 대상 데이터에 대한 처리만을 수행할 수 있다.A knowledge distillation technique and a transfer learning technique are known as techniques for learning another artificial neural network using a pretrained artificial neural network. In the case of the double transfer learning technique, additional learning is performed by applying the weight of the
그에 반해 지식 증류 기법은 학생 네트워크(200)가 미리 학습된 교사 네트워크(100)의 연산 과정에서 추출되는 중간 특징맵 또는 최종 결과물과 동일한 중간 특징맵 또는 최종 결과물을 도출할 수 있도록 학생 네트워크(200)를 별도로 학습시키는 기법이다. 그리고 지식 증류 기법에서는 사 네트워크(100)의 중간 특징맵(또는 최종 결과물)과 학생 네트워크(200)의 중간 특징맵(또는 최종 결과물) 사이의 차이를 나타내는 증류 손실을 정의하여 학생 네트워크(200)가 교사 네트워크(200)에 대응하여 학습될 수 있도록 한다. 따라서 학생 네트워크(200)는 교사 네트워크(100)와 구조가 일치하지 않을 수 있다. 이에 본 실시예에서 학생 네트워크(200)는 교사 네트워크(100)의 디코더(120)와 일치하는 구조를 갖는다.On the other hand, the knowledge distillation technique allows the
지식 증류 기법에 따른 학습에 대한 상세한 설명은 후술하도록 한다.A detailed description of learning according to the knowledge distillation technique will be described later.
한편 지식 증류 기법에 따라 학습 완료된 학생 네트워크(200)는 이후 실제 이용시에 업스케일링 대상이 되는 저해상도 영상(X)을 인가받고, 학습된 방식에 따라 인가된 저해상도 영상(X)을 업스케일링하여 고해상도의 업스케일링 영상()을 획득한다.On the other hand, the
저해상도 영상(X)을 인가받아 고해상도의 업스케일링 영상()을 획득하는 학생 네트워크(200)의 동작 함수를 FS라고 하면, 업스케일링 영상()은 수학식 3으로 표현될 수 있다.A high-resolution upscaling image (by receiving a low-resolution image (X)) ) If the operating function of the
여기서는 학생 네트워크(200)는 저해상도 영상(X)을 인가받아 고해상도의 업스케일링 영상()을 획득하도록 구성되는 반면, 교사 네트워크(100)는 고해상도 영상(Y)을 학습을 위한 사전 정보(Privileged Information)로서 인가받아 특징을 추출하여 함축 특징맵()을 획득하고, 함축 특징맵()으로부터 다시 고해상도의 재구성 영상()을 획득하도록 구성된다. 이는 상기한 바와 같이, 본 실시예에서는 학생 네트워크(200)가 지식 증류 기법으로 학습되므로, 교사 네트워크(100)와 상이하게 구성될 수 있기 때문이다.Here, the
교사 네트워크(100)가 인코더(110)를 더 구비하여 사전 정보인 고해상도 영상(Y)에서 함축 특징맵()을 획득하여 디코더(120)로 전달하는 경우, 디코더(120)는 고해상도 영상(Y)의 특징이 집약된 함축 특징맵()으로부터 고품질의 재구성 영상()을 획득하도록 학습될 수 있다. 그리고 디코더(120)가 고품질의 재구성 영상()을 획득하도록 학습되면, 학습되는 학생 네트워크(200)는 지식 증류 기법에 따라 저해상도 영상(X)으로부터 고품질의 고해상도의 업스케일링 영상()을 획득하도록 학습될 수 있다.The
학습부(300)는 교사 네트워크(100)를 학습시키기 위한 교사 학습부(310)와 학생 네트워크(200)를 학습시키기 위한 학생 학습부(320)를 포함할 수 있다.The
교사 학습부(310)는 교사 네트워크(100)의 인코더(110)와 디코더(120)의 학습 과정에서 모방 손실()과 복원 손실()을 계산하고, 계산된 모방 손실()과 복원 손실()에 따라 획득되는 교사 총손실()을 계산하여 교사 네트워크(100)로 역전파함으로써, 교사 네트워크(100)를 학습시킨다.The
여기서 모방 손실()은 학습 시에 교사 네트워크(100)의 인코더(110)에 고해상도 영상(Y)이 인가되어 획득된 함축 특징맵()과 고해상도 영상(Y)에 대응하는 저해상도 영상(X) 사이의 차로 수학식 4와 같이 계산될 수 있다.where the imitation loss ( ) is an implicit feature map obtained by applying the high-resolution image Y to the
(여기서 i, j는 픽셀 위치 좌표를 나타내고, H' 과 W' 은 각각 저해상도 영상(X)의 높이와 폭을 나타낸다.)(Here, i and j represent pixel position coordinates, and H' and W' represent the height and width of the low-resolution image (X), respectively.)
즉 모방 손실()은 교사 네트워크(100)의 인코더(110)가 고해상도 영상(Y)으로부터 얼마나 저해상도 영상(X)과 유사한 함축 특징맵()을 획득할 수 있는지를 나타낸다. 여기서 교사 네트워크(100)의 학습 시에 이용되는 저해상도 영상(X)은 사전 정보인 고해상도 영상(Y)에서 해상도만을 기존의 다양한 다운샘플링 기법으로 저하시킨 영상이다. 영상에 대한 다운샘플링 기법은 업샘플링 기법에 비해 간단한 연산으로 매우 용이하게 획득될 수 있으며, 다양한 기법이 공지되어 있으므로 여기서는 상세하게 설명하지 않는다. 즉 교사 네트워크(100)의 학습 시에는 고해상도 영상(Y)과 고해상도 영상(Y)을 다운 샘플링한 저해상도 영상(X)이 학습 데이터 셋으로 이용될 수 있다.i.e. imitation loss ( ) is an implied feature map of how similar the
한편, 복원 손실()은 교사 네트워크(100)가 고해상도 영상(Y)을 함축 특징맵()으로 함축한 후, 재구성 영상()으로 재구성시에 얼마나 고해상도 영상(Y)과 유사하게 복원할 수 있는지를 나타내는 손실로서, 고해상도 영상(Y)과 재구성 영상() 사이의 차로 수학식 5와 같이 계산될 수 있다.On the other hand, restoration loss ( ) is a feature map (which the
(여기서 i, j는 픽셀 위치 좌표를 나타내고, H 과 W 은 각각 고해상도 영상(Y)의 높이와 폭을 나타낸다.)(Here, i and j represent pixel position coordinates, and H and W represent the height and width of the high-resolution image (Y), respectively.)
이에 교사 학습부(310)는 모방 손실()과 복원 손실()의 합으로 수학식 6에 따라 교사 총손실()을 획득할 수 있다.Accordingly, the
(여기서 λT 는 모방 손실()과 복원 손실()의 비중을 조절하기 위한 파라미터이다.)(Where λ T is the imitation loss ( ) and restoration loss ( ) is a parameter for adjusting the specific gravity.)
교사 학습부(310)는 획득된 교사 총손실()을 교사 네트워크로 역전파함으로써, 인코더(110)와 디코더(120)의 가중치, 즉 지식 정보를 업데이트함으로써 학습을 수행할 수 있다. 이때, 교사 학습부(310)는 기지정된 횟수 또는 교사 총손실()이 기지정된 기준 교사 총손실 이하가 되도록 반복 학습을 수행하여, 인코더(110)와 디코더(120)의 지식 정보를 요구되는 수준으로 업데이트 할 수 있다.The
한편, 학생 학습부(320)는 교사 학습부(310)의 교사 네트워크(100) 학습 완료 여부를 확인하고, 교사 네트워크(100)의 학습이 완료되면, 학습된 디코더(120)를 기반으로 학생 네트워크(200)로 지식 증류 기법에 따라 학습시킨다. 이때 학생 학습부(320)는 학생 네트워크(200)가 함축 특징맵()이 아닌 저해상도 영상(X)으로부터 업스케일링 영상()을 획득할 수 있도록 증류 학습 기법에 따라 학습을 수행한다.Meanwhile, the
학생 학습부(320)는 우선 학습 데이터 셋의 고해상도 영상(Y)과 업스케일링 영상() 사이의 차에 따라 수학식 7에 따라 학생 네트워크(200)의 복원 손실()을 수학식 7과 같이 계산할 수 있다.The
여기서 복원 손실()은 학생 네트워크(200)가 저해상도 영상(X)에 대응하는 고해상도 영상(Y)을 얼마나 정확하게 복원하였는지 여부를 나타낸다.where the restoration loss ( ) indicates how accurately the
이하에서는 학생 학습부(320)에서 획득되는 복원 손실()을 교사 학습부(320)에서 획득되는 복원 손실()과 구분하기 위해 교사 복원 손실()과 학생 복원 손실()이라 한다.Hereinafter, the restoration loss obtained by the student learning unit 320 ( ) to the restoration loss obtained from the teacher learning unit 320 ( ) to distinguish it from the teacher restoration loss ( ) and student restoration loss ( ) is called
또한 학생 학습부(320)는 학생 네트워크(200)가 지식 증류 기법에 따라 학습된 교사 네트워크(100)의 지식을 습득할 수 있도록 한다. 본 실시예에서 학생 학습부(320)는 동일한 구조를 갖는 디코더(120)와 학생 네트워크(200)의 다수의 컨볼루션 레이어 중 서로 대응하는 동일 위치의 하나의 컨볼루션 레이어에서 출력되는 중간 특징맵(fT, fS)을 획득하고, 획득된 중간 특징맵(fT, fS) 사이의 상호 정보(I(fT; fS))가 최대가 되도록 하는 증류 손실(distillation loss)()을 정의하고, 정의된 증류 손실()을 이용하여 학생 네트워크(200)가 지식 증류 기법에 따라 학습되도록 한다.In addition, the
여기서 중간 특징맵(fT, fS) 사이의 상호 정보(I(fT; fS))는 수학식 8로 정의될 수 있다.Here, the mutual information (I(f T ; f S )) between the intermediate feature maps (f T , f S ) may be defined as Equation 8.
(여기서 H(fT)는 주변 엔트로피(marginal entropy)를 나타내고, H(fT|fS)는 조건부 엔트로피(conditional entropy)를 나타낸다.)(Where H(f T ) represents marginal entropy, and H(f T |f S ) represents conditional entropy.)
수학식 8로부터 상호 정보(I(fT; fS))가 최대화되기 위해서는 조건부 엔트로피(H(fT|fS))를 최적화해야 한다. 그러나 조건부 확률(p(fT|fS))을 최적화하는 것은 용이하지 않다. 이에 학생 학습부(320)는 수학식 8의 변동 정보 최대화(variational information maximization) 기법에 따라 가우시안 분포(Gaussian distribution)나 라플라스 분포(Laplace distribution)와 같은 중간 특징맵(fT, fS) 사이의 분포 관계에 대한 파라메트릭 모델(parametric model)(q(fT; fS))을 추정하여 조건부 분포(p(fT|fS))를 근사화함으로써, 상호 정보(I(fT; fS))의 하한을 계산할 수 있으며, 상호 정보(I(fT; fS))의 하한이 최대화되도록 할 수 있다.From Equation 8, in order to maximize the mutual information (I(f T ; f S )), the conditional entropy (H(f T |f S )) needs to be optimized. However, optimizing the conditional probability p(f T |f S ) is not easy. Accordingly, the
여기서는 일 예로 학생 학습부(320)가 다변량 라플라스 분포(multivariate Laplace distribution)를 기반으로 하는 중간 특징맵(fT, fS) 사이의 파라메트릭 모델(q(fT; fS))을 이용하여 중간 특징맵(fT, fS) 사이의 픽셀 위치(location)에 대한 파라메트릭인 위치맵(μ ∈ RC×H'×W', 여기서 R은 실수를 나타내고, C는 중간 특징맵(fT, fS)의 채널 수)과 스케일(scale)에 대한 파라메트릭인 스케일맵(b ∈ RC×H'×W')을 추정하는 것으로 가정한다.Here, as an example, the
따라서 본 실시예에 따른 학생 학습부(320)는 학생 네트워크의 중간 특징맵(fS)로부터 파라메트릭 모델(q(fT; fS))에 기반하여 위치맵(μ)과 스케일맵(b)을 추정하고, 추정된 위치맵(μ)과 스케일맵(b) 및 교사 네트워크의 중간 특징맵(fT)을 이용하여 중간 특징맵(fT, fS) 사이의 상호 정보(I(fT; fS))의 하한이 최대가 되도록 하는 증류 손실()을 수학식 9로 정의한다.Therefore, the
수학식 9에 따르면, 증류 손실()이 감소될수록 교사 네트워크의 중간 특징맵(fT)과 위치맵(μ) 사이의 거리가 최소화되며, 스케일맵(b)은 증류 범위를 제어한다.According to Equation 9, the distillation loss ( ) is reduced, the distance between the intermediate feature map (f T ) and the location map (μ) of the teacher network is minimized, and the scale map (b) controls the distillation range.
그리고 학생 학습부(320)는 학생 복원 손실()과 증류 손실()의 합으로 수학식 10에 따라 학생 총손실()을 획득할 수 있다.And the
(여기서 λS 는 학생 복원 손실()과 증류 손실()의 비중을 조절하기 위한 파라미터이다.)(Where λ S is the student restoration loss ( ) and distillation losses ( ) is a parameter for adjusting the specific gravity.)
학생 학습부(320)는 획득된 학생 총손실()을 학생 네트워크(200)로 역전파하여 학생 네트워크(200)에 대한 학습을 수행할 수 있다. 학생 학습부(320) 또한 기지정된 횟수 또는 학생 총손실()이 기지정된 기준 학생 총손실 이하가 되도록 반복 학습을 수행할 수 있다.The
도 1에 도시된 영상 업스케일링 장치에서 교사 네트워크(100)와 학습부(300)는 학생 네트워크(200)를 학습시키기 위한 구성으로 고성능의 서버 등에서 학생 네트워크(200)와 함께 학습될 수 있으나, 학생 네트워크(200)의 학습이 완료되면 제외될 수 있다. 즉 영상 업스케일링 장치의 실제 이용시에는 학생 네트워크만이 이용된다.In the video upscaling device shown in FIG. 1, the
상기한 바와 같이, 사전 정보를 이용한 증류 기법 기반 학습이 완료된 학생 네트워크(200)는 저해상도 영상으로부터 기존의 FSRCNN이나 교사 네트워크와 동일한 구조를 갖는 학생 네트워크가 증류 기법으로 학습되는 기존의 방식에 비해 매우 고품질의 고해상도 영상을 획득할 수 있다.As described above, the
상기에서는 오토 인코더로 구현되는 교사 네트워크(100)와 교사 네트워크(100)의 디코더(120)와 동일한 구조를 갖는 학생 네트워크(200)가 다수의 컨볼루션 레이어를 포함하는 것으로 설명하였으나, 이는 교사 네트워크(100)와 학생 네트워크(200)가 컨볼루션 연산에 기반하여 동작하는 경우에 대한 예시로서, 경우에 따라서는 다른 연산을 수행하는 레이어가 이용될 수도 있다. 즉 컨볼루션 레이어는 교사 네트워크(100)와 학생 네트워크(200)의 구성에 따라 다양한 연산 레이어로 구성될 수 있다.In the above, it has been described that the
도 3은 본 발명의 일 실시예에 따른 영상 업스케일링 방법을 나타낸다.3 shows an image upscaling method according to an embodiment of the present invention.
도 1 및 도 2를 참조하여, 도 3의 영상 업스케일링 방법을 설명하면, 우선 학습부(300)가 인코더(110)와 디코더(120)를 포함하는 오토 인코더로 구현되는 교사 네트워크(100)를 학습시킨다.Referring to FIGS. 1 and 2, the video upscaling method of FIG. 3 is described. First, the
교사 네트워크를 학습시키는 단계에서는 먼저 미리 준비된 학습 데이터 셋의 고해상도 영상(Y)을 사전 정보로서 입력 받는다(S11). 여기서 학습 데이터 셋은 고해상도 영상(Y)과 이를 다운스케일링하여 미리 획득된 저해상도 영상(X)의 집합이다. 그리고 교사 네트워크(100)의 인코더(110)는 현재까지 학습된 방식에 따라 고해상도 영상(Y)의 특징을 추출하여, 함축 특징맵()을 획득한다(S12). 함축 특징맵()이 획득되면, 교사 네트워크(100)의 디코더(120)가 현재까지 학습된 방식에 따라 획득된 함축 특징맵()으로부터 고해상도의 영상을 재구성하여 재구성 영상()을 획득한다(S13).In the step of training the teacher network, the high-resolution image Y of the previously prepared training data set is input as prior information (S11). Here, the training data set is a set of a high-resolution image (Y) and a low-resolution image (X) pre-obtained by downscaling the high-resolution image (Y). And the
이에 학습부(300)는 획득된 함축 특징맵()과 저해상도 영상(X)을 이용하여, 수학식 4에 따라 모방 손실()을 계산하고, 재구성 영상()과 고해상도 영상(Y)을 이용하여 교사 복원 손실()을 수학식 5에 따라 계산한다(S14). 그리고 계산된 모방 손실()과 교사 복원 손실()을 합하여, 수학식 6과 같이 교사 총손실()을 획득한다(S15).Accordingly, the
이후, 학습부(300)는 교사 네트워크(100)에 대한 학습이 완료되었는지 판별한다(S16). 여기서 학습부(300)는 기지정된 횟수만큼 학습이 반복되었거나, 교사 총손실()이 기지정된 기준 교사 총손실 이하가 되면, 교사 네트워크(100)에 대한 학습이 완료된 것으로 판별할 수 있다.Thereafter, the
만일 교사 네트워크(100)에 대한 학습이 완료되지 않았으면, 학습부(300)는 교사 총손실()을 교사 네트워크(100)로 역전파하여 교사 네트워크(100)의 지식 정보인 가중치를 업데이트 한다(S17).If the learning for the
그러나 교사 네트워크(100)에 대한 학습이 완료된 것으로 판별되면, 학습부(300)는 지식 증류 기법을 기반으로 학생 네트워크(200)에 대한 학습을 수행한다.However, when it is determined that learning on the
학생 네트워크 학습 시에 학습부(300)는 학생 네트워크(200)에 학습 데이터 셋의 저해상도 영상(X)을 입력시킨다(S21). 이에 학생 네트워크(200)는 인가된 저해상도 영상(X)을 학습되는 방식에 따라 업스케일링하여 업스케일링 영상()을 획득한다(S22). 학습부(300)는 업스케일링 영상()을 획득하는 과정에서 학생 네트워크(200)를 구성하는 다수의 레이어 중 기지정된 레이어에서 출력되는 중간 특징맵(fS)을 인가받고, 인가된 파라메트릭 모델(q(fT; fS))에 기반하여 중간 특징맵(fS)에 대한 위치맵(μ)과 스케일맵(b)을 추정한다(S23).When learning the student network, the
위치맵(μ)과 스케일맵(b)이 추정되면, 학습부(300)는 증류 손실()을 수학식 9에 따라 계산하고, 학생 복원 손실()을 수학식 7에 따라 계산한다(S24). 그리고 계산된 증류 손실()과 학생 복원 손실()로부터 학생 총손실()을 수학식 10에 따라 계산하여 획득한다(S25).When the location map (μ) and the scale map (b) are estimated, the
학습부(300)는 학생 네트워크(200)에 대한 학습이 완료되었는지 판별한다(S26). 학습부(300)는 학생 네트워크(200)에 대한 학습이 기지정된 횟수만큼 학습이 반복되었거나, 학생 총손실()이 기지정된 기준 학생 총손실 이하가 되면, 학생 총손실()에 대한 학습이 완료된 것으로 판별할 수 있다.The
만일 학생 네트워크(200)에 대한 학습이 완료되지 않았으면, 학습부(300)는 학생 총손실()을 학생 네트워크(200)로 역전파하여 학생 네트워크(200)의 가중치를 업데이트 한다(S27). 이때, 학생 네트워크(200)가 학생 복원 손실()뿐만 아니라, 증류 손실()로부터 학생 총손실()을 획득하므로, 학생 네트워크(200)는 미리 학습된 교사 네트워크(100)으로부터 지식 증류 기법에 따라 지식을 전달받아 학습되는 것으로 볼 수 있다.If learning for the
한편 학생 네트워크(200)에 대한 학습이 완료되었으면, 학생 네트워크(200)를 업스케일링 작업을 수행해야 하는 장치에 실장 시킨다(S31). 그리고 업스케일링 대상이 되는 저해상도의 대상 영상을 입력받아 미리 학습된 방식에 따라 업스케일링하여 고해상도의 업스케일링 영상()을 출력한다(S32).On the other hand, if learning about the
결과적으로 본 실시예에 따른 영상 업스케일링 장치 및 방법은 교사 네트워크(100)를 저해상도 영상(X)에서 곧바로 고해상도의 재구성 영상()을 획득하도록 학습시키지 않고, 고해상도 영상(Y)에서 함축 특징맵()을 획득한 후, 함축 특징맵()에서 재구성 영상()을 획득하도록 학습시킨 후, 학습된 교사 네트워크(100)를 기반으로 지식 증류 기법으로 학생 네트워크(200)를 학습 시킴으로써, 학생 네트워크(200)가 간단한 구조로도 매우 높은 수준의 업스케일링 영상()을 재구성하도록 학습시킬 수 있다. 따라서 하드웨어 성능의 제약이 많은 사용자 단말에서도 학생 네트워크(200)만을 구비하여 저해상도 영상으로부터 고품질의 고해상도 영상이 재구성되도록 할 수 있다.As a result, the image upscaling apparatus and method according to the present embodiment converts the
본 발명에 따른 방법은 컴퓨터에서 실행시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.The method according to the present invention may be implemented as a computer program stored in a medium for execution on a computer. Here, computer readable media may be any available media that can be accessed by a computer, and may also include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data, including read-only memory (ROM) dedicated memory), random access memory (RAM), compact disk (CD)-ROM, digital video disk (DVD)-ROM, magnetic tape, floppy disk, optical data storage device, and the like.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, this is only exemplary, and those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.
100: 교사 네트워크 110: 인코더
120: 디코더 200: 학생 네트워크
300: 학습부 310: 교사 학습부
320: 학생 학습부100: teacher network 110: encoder
120: decoder 200: student network
300: learning unit 310: teacher learning unit
320: student learning department
Claims (19)
상기 교사 네트워크의 디코더와 동일한 구조로 구성되어, 업스케일링 대상이 되는 저해상도의 대상 영상을 인가받아 미리 학습된 방식에 따라 업스케일링하여 고해상도의 업스케일링 영상을 획득하는 학생 네트워크; 및
학습 시에 결합되어, 상기 학습 데이터 셋의 고해상도 영상과 대응하는 저해상도 영상, 상기 재구성 영상 및 상기 함축 특징맵을 기반으로 상기 교사 네트워크에 대한 학습을 우선 수행하고, 학습된 교사 네트워크를 기반으로 지식 증류 기법에 따라 학생 네트워크에 상기 학습 데이터 셋의 저해상도 영상을 인가하여 학습을 수행하는 학습부를 포함하는 영상 업스케일링 장치.It is implemented as an auto-encoder including an encoder and a decoder that are combined during learning, receives the high-resolution image of the training data set obtained in advance, extracts features according to the learned method, and obtains an implicit feature map having a size corresponding to the low-resolution image. and a teacher network for acquiring a reconstructed image by reconstructing a high-resolution image according to a method learned from the obtained implicit feature map;
a student network having the same structure as the decoder of the teacher network, receiving a low resolution target image to be upscaled and upscaling it according to a pre-learned method to obtain a high resolution upscaling image; and
Combined during learning, the teacher network is first learned based on the low-resolution image corresponding to the high-resolution image of the training data set, the reconstructed image, and the implicit feature map, and knowledge is distilled based on the learned teacher network An image upscaling apparatus comprising a learning unit configured to perform learning by applying a low-resolution image of the training data set to a student network according to a method.
학습에 의해 업데이트되는 가중치를 기반으로 각각 기지정된 연산을 수행하는 다수의 연산 레이어를 포함하는 인공 신경망으로 구현되어, 학습된 방식에 따라 인가된 학습 데이터 셋의 고해상도 영상의 특징을 추출하여, 상기 저해상도 영상에 대응하는 크기를 갖는 상기 함축 특징맵을 획득하는 영상 업스케일링 장치.The method of claim 1, wherein the encoder
It is implemented as an artificial neural network including a plurality of computation layers that perform predetermined operations based on weights updated by learning, and extracts features of a high-resolution image of the applied training data set according to a learned method, An image upscaling device for acquiring the implied feature map having a size corresponding to the image.
학습에 의해 업데이트되는 가중치를 기반으로 각각 기지정된 연산을 수행하는 다수의 연산 레이어를 포함하는 인공 신경망으로 구현되어, 학습된 방식에 따라 인가된 상기 함축 특징맵을 상기 고해상도 영상에 대응하는 크기를 갖는 상기 재구성 영상으로 재구성하는 영상 업스케일링 장치.3. The method of claim 2, wherein the decoder
It is implemented as an artificial neural network including a plurality of computation layers that each perform a predetermined operation based on a weight updated by learning, and the implied feature map applied according to the learned method has a size corresponding to the high-resolution image. An image upscaling device for reconstructing the reconstructed image.
상기 교사 네트워크에 대한 학습 수행 시, 상기 함축 특징맵()과 저해상도 영상(X)을 기반으로 모방 손실()을 수학식
(여기서 i, j는 픽셀 위치 좌표를 나타내고, H' 과 W' 은 각각 저해상도 영상(X)의 높이와 폭을 나타낸다.)
에 따라 계산하는 영상 업스케일링 장치.The method of claim 3, wherein the learning unit
When learning is performed on the teacher network, the implicit feature map ( ) and the imitation loss based on the low-resolution image (X) ( ) to the equation
(Here, i and j represent pixel position coordinates, and H' and W' represent the height and width of the low-resolution image (X), respectively.)
An image upscaling device that calculates according to
상기 재구성 영상()과 상기 고해상도 영상(Y)을 기반으로 교사 복원 손실()을 수학식
(여기서 i, j는 픽셀 위치 좌표를 나타내고, H 과 W 은 각각 고해상도 영상(Y)의 높이와 폭을 나타낸다.)
에 따라 계산하는 영상 업스케일링 장치.The method of claim 4, wherein the learning unit
The reconstruction image ( ) and the teacher restoration loss based on the high-resolution image (Y) ( ) to the equation
(Here, i and j represent pixel position coordinates, and H and W represent the height and width of the high-resolution image (Y), respectively.)
An image upscaling device that calculates according to
계산된 모방 손실()과 교사 복원 손실()로부터 교사 총손실()을 수학식
(여기서 λT 는 모방 손실()과 교사 복원 손실()의 비중을 조절하기 위한 파라미터이다.)
에 따라 획득하여, 상기 교사 총손실()을 상기 교사 네트워크로 역전파하는 영상 업스케일링 장치.The method of claim 5, wherein the learning unit
Calculated imitation loss ( ) and teacher restoration loss ( ) from teacher total loss ( ) to the equation
(Where λ T is the imitation loss ( ) and teacher restoration loss ( ) is a parameter for adjusting the specific gravity.)
Acquired according to, the teacher total loss ( ) to the teacher network.
상기 학생 네트워크에 대한 학습 수행 시, 상기 학습 데이터 셋의 저해상도 영상이 인가된 학생 네트워크에서 출력되는 업스케일링 영상()과 고해상도 영상(Y)을 기반으로 수학식
에 따라 학생 복원 손실()을 계산하는 영상 업스케일링 장치.The method of claim 6, wherein the learning unit
When learning is performed on the student network, an upscaling image output from the student network to which the low-resolution image of the learning data set is applied ( ) and the equation based on the high-resolution image (Y)
Depending on the student restoration loss ( ) An image upscaling device that calculates
상기 학생 네트워크에 대한 추가 학습 수행 시, 상기 학습 데이터 셋의 저해상도 영상이 인가된 학생 네트워크의 다수의 연산 레이어 중 기지정된 하나의 연산 레이어에서 출력되는 중간 특징맵(fS)과 디코더의 대응하는 위치의 연산 레이어에서 출력되는 중간 특징맵(fT)을 인가받고, 다변량 라플라스 분포(multivariate Laplace distribution)를 기반으로 하는 중간 특징맵(fT, fS) 사이의 파라메트릭 모델(q(fT; fS))을 이용하여 중간 특징맵(fT, fS) 사이의 픽셀 위치에 대한 파라메트릭인 위치맵(μ)과 스케일에 대한 파라메트릭인 스케일맵(b)을 추정하는 영상 업스케일링 장치.The method of claim 7, wherein the learning unit
When additional learning is performed on the student network, an intermediate feature map (f S ) output from one predetermined calculation layer among a plurality of calculation layers of the student network to which the low-resolution image of the learning data set is applied and the corresponding position of the decoder A parametric model ( q( f T ; An image upscaling device that estimates a position map (μ), which is parametric for pixel positions between intermediate feature maps (f T , f S ), and a scale map (b), which is parametric for scale, using f S )) .
상기 위치맵(μ)과 상기 스케일맵(b) 및 상기 교사 네트워크에서 인가된 중간 특징맵(fT)을 기반으로 증류 손실()을 수학식
(여기서 C는 중간 특징맵(fT, fS)의 채널 수이고, (i,j,k)는 중간 특징맵(fT, fS)의 픽셀 위치)
에 따라 계산하는 영상 업스케일링 장치.The method of claim 8, wherein the learning unit
Based on the location map (μ), the scale map (b), and the intermediate feature map (f T ) applied from the teacher network, the distillation loss ( ) to the equation
(Where C is the number of channels of the intermediate feature map (f T , f S ), and (i, j, k) is the pixel position of the intermediate feature map (f T , f S ))
An image upscaling device that calculates according to
상기 학생 복원 손실()과 상기 증류 손실()로부터 학생 총손실()을 수학식
에 따라 획득하여, 상기 학생 총손실()을 상기 학생 네트워크로 역전파하는 영상 업스케일링 장치.10. The method of claim 9, wherein the learning unit
The student restoration loss ( ) and the distillation loss ( ) from student total loss ( ) to the equation
Acquired according to, the student total loss ( ) to the student network.
상기 학습부가 인코더와 디코더를 포함하는 오토 인코더로 구현되는 상기 교사 네트워크에 미리 획득된 학습 데이터 셋의 고해상도 영상을 입력하고, 학습된 방식에 따라 상기 고해상도 영상의 특징을 추출하여 저해상도 영상에 대응하는 크기를 갖는 함축 특징맵이 획득되면, 획득된 함축 특징맵으로부터 학습된 방식에 따라 고해상도 영상을 재구성하여 재구성 영상을 획득하고, 상기 학습 데이터 셋의 고해상도 영상과 대응하는 저해상도 영상, 상기 재구성 영상 및 상기 함축 특징맵을 기반으로 상기 교사 네트워크를 학습시키는 단계;
상기 교사 네트워크에 대한 학습이 완료되면, 학습된 교사 네트워크를 기반으로 지식 증류 기법에 따라 상기 교사 네트워크의 디코더와 동일한 구조로 구성된 학생 네트워크에 상기 학습 데이터 셋의 저해상도 영상을 인가하여 상기 학생 네트워크를 학습시키는 단계; 및
상기 학생 네트워크에 대한 학습이 완료된 이후, 영상 업스케일링 동작 시에, 학생 네트워크가 업스케일링 대상이 되는 저해상도의 대상 영상을 인가받아 미리 학습된 방식에 따라 업스케일링하여 고해상도의 업스케일링 영상을 획득하는 단계를 포함하는 영상 업스케일링 방법.An image scaling method of an image upscaling device including a teacher network and a learning unit coupled to a student network during learning,
The learning unit inputs a high-resolution image of a training data set obtained in advance to the teacher network implemented as an auto-encoder including an encoder and a decoder, extracts features of the high-resolution image according to a learned method, and obtains a size corresponding to the low-resolution image. When an implicit feature map having is obtained, a reconstructed image is obtained by reconstructing a high-resolution image according to a method learned from the obtained implicit feature map, and a low-resolution image corresponding to the high-resolution image of the training data set, the reconstructed image, and the implicit training the teacher network based on the feature map;
When learning of the teacher network is completed, a low-resolution image of the learning data set is applied to a student network configured with the same structure as the decoder of the teacher network according to a knowledge distillation technique based on the learned teacher network to learn the student network step of doing; and
After the learning of the student network is completed, during an image upscaling operation, the student network receiving a low-resolution target image to be upscaled and upscaling it according to a pre-learned method to obtain a high-resolution upscaling image Image upscaling method comprising a.
학습에 의해 업데이트되는 가중치를 기반으로 각각 기지정된 연산을 수행하는 다수의 연산 레이어를 포함하는 상기 인코더에 상기 학습 데이터 셋의 고해상도 영상을 입력하여, 상기 저해상도 영상에 대응하는 크기를 갖는 상기 함축 특징맵을 획득하는 단계;
학습에 의해 업데이트되는 가중치를 기반으로 각각 기지정된 연산을 수행하는 다수의 연산 레이어를 포함하는 상기 디코더가 상기 함축 특징맵을 인가받아 상기 고해상도 영상에 대응하는 크기를 갖는 상기 재구성 영상을 재구성하는 단계;
상기 학습 데이터 셋의 고해상도 영상과 상기 재구성 영상 사이의 차에 따라 기지정된 방식으로 교사 복원 손실을 계산하는 단계;
상기 저해상도 영상과 상기 함축 특징맵 사이의 차에 따라 기지정된 방식으로 모방 손실을 계산하는 단계; 및
계산된 상기 교사 복원 손실과 상기 모방 손실을 이용하여 기지정된 방식으로 교사 총손실을 획득하여 상기 교사 네트워크로 역전파하는 단계를 포함하는 영상 업스케일링 방법.12. The method of claim 11, wherein the step of training the teacher network
The implied feature map having a size corresponding to the low-resolution image by inputting a high-resolution image of the training data set to the encoder including a plurality of calculation layers each of which performs a predetermined operation based on a weight updated by learning obtaining;
receiving the implied feature map and reconstructing the reconstructed image having a size corresponding to the high-resolution image;
Calculating a teacher restoration loss according to a difference between a high-resolution image of the training data set and the reconstructed image in a predetermined manner;
calculating an imitation loss according to a difference between the low-resolution image and the implied feature map in a predetermined manner; and
and back-propagating a total teacher loss to the teacher network by using the calculated teacher restoration loss and the simulated loss in a predetermined manner.
학생 네트워크에서 저해상도 영상으로부터 상기 업스케일링 영상을 획득하는 과정에서 생성되는 중간맵과 상기 디코더에서 상기 함축 특징맵으로부터 상기 재구성 영상을 획득하는 과정에서 생성되는 중간맵을 획득하여 기지정된 방식으로 증류 손실을 계산하는 단계;
상기 학습 데이터 셋의 고해상도 영상과 상기 업스케일링 영상 사이의 차에 따라 기지정된 방식으로 학생 복원 손실을 계산하는 단계; 및
계산된 상기 학생 복원 손실과 상기 증류 손실을 이용하여 기지정된 방식으로 학생 총손실을 획득하여 상기 학생 네트워크로 역전파하는 단계를 포함하는 영상 업스케일링 방법.13. The method of claim 12, wherein training the student network comprises:
The intermediate map generated in the process of obtaining the upscaling image from the low-resolution image in the student network and the intermediate map generated in the process of obtaining the reconstructed image from the implied feature map in the decoder are obtained to calculate distillation loss in a predetermined method. calculating;
Calculating a student restoration loss according to a difference between a high-resolution image of the training data set and the upscaling image in a predetermined manner; and
and obtaining a student total loss in a predetermined manner by using the calculated student restoration loss and the distillation loss, and backpropagating the student network to the image upscaling method.
상기 교사 복원 손실()을 수학식
(여기서 Y는 고해상도 영상이고, 는 재구성 영상이며, i, j는 픽셀 위치 좌표를 나타내고, H 과 W 은 각각 고해상도 영상(Y)의 높이와 폭을 나타낸다.)
에 따라 계산하는 영상 업스케일링 방법.14. The method of claim 13, wherein calculating the teacher restoration loss comprises:
The teacher restoration loss ( ) to the equation
(Where Y is a high-resolution image, is a reconstructed image, i and j represent pixel position coordinates, and H and W represent the height and width of the high-resolution image (Y), respectively.)
Image upscaling method calculated according to .
상기 모방 손실()을 수학식
(여기서 X는 저해상도 영상이고, 는 함축 특징맵이며, i, j는 픽셀 위치 좌표를 나타내고, H' 과 W' 은 각각 저해상도 영상(X)의 높이와 폭을 나타낸다.)
에 따라 계산하는 영상 업스케일링 방법.15. The method of claim 14, wherein calculating the mimic loss comprises:
The imitation loss ( ) to the equation
(Where X is a low-resolution image, is an implied feature map, i and j represent pixel location coordinates, and H' and W' represent the height and width of the low-resolution image (X), respectively.)
Image upscaling method calculated according to .
상기 교사 총손실()을 수학식
(여기서 λT 는 모방 손실()과 교사 복원 손실()의 비중을 조절하기 위한 파라미터이다.)
에 따라 획득하여 역전파하는 영상 업스케일링 방법.16. The method of claim 15, wherein backpropagating to the teacher network comprises:
The teacher total loss ( ) to the equation
(Where λ T is the imitation loss ( ) and teacher restoration loss ( ) is a parameter for adjusting the specific gravity.)
An image upscaling method that acquires and backpropagates according to.
상기 학습 데이터 셋의 저해상도 영상이 인가된 학생 네트워크의 다수의 연산 레이어 중 기지정된 하나의 연산 레이어에서 출력되는 중간 특징맵(fS)과 디코더의 대응하는 위치의 연산 레이어에서 출력되는 중간 특징맵(fT)을 획득하는 단계;
다변량 라플라스 분포를 기반으로 하는 중간 특징맵(fT, fS) 사이의 파라메트릭 모델(q(fT; fS))을 이용하여 중간 특징맵(fT, fS) 사이의 픽셀 위치에 대한 파라메트릭인 위치맵(μ)과 스케일에 대한 파라메트릭인 스케일맵(b)을 추정하는 단계; 및
상기 위치맵(μ)과 상기 스케일맵(b) 및 상기 교사 네트워크에서 인가된 중간 특징맵(fT)을 기반으로 상기 증류 손실()을 수학식
(여기서 C는 중간 특징맵(fT, fS)의 채널 수이고, (i,j,k)는 중간 특징맵(fT, fS)의 픽셀 위치)
에 따라 계산하는 단계를 포함하는 영상 업스케일링 방법.17. The method of claim 16, wherein calculating the distillation loss comprises
An intermediate feature map (f S ) output from a predetermined calculation layer among a plurality of calculation layers of a student network to which the low-resolution image of the learning data set is applied and an intermediate feature map (f S ) output from a calculation layer at a corresponding position of a decoder ( obtaining f T );
A parametric model (q(f T ; f S )) between intermediate feature maps (f T , f S ) based on multivariate Laplace distribution is used to determine pixel positions between intermediate feature maps (f T , f S ). estimating a position map (μ) that is parametric for the scale and a scale map (b) that is parametric for the scale; and
Based on the location map (μ), the scale map (b), and the intermediate feature map (f T ) applied from the teacher network, the distillation loss ( ) to the equation
(Where C is the number of channels of the intermediate feature map (f T , f S ), and (i, j, k) is the pixel position of the intermediate feature map (f T , f S ))
An image upscaling method comprising the step of calculating according to .
상기 학생 복원 손실()을 수학식
(여기서 는 업스케일링 영상)
에 따라 계산하는 영상 업스케일링 방법.18. The method of claim 17, wherein calculating the student restoration loss comprises:
The student restoration loss ( ) to the equation
(here is the upscaling image)
Image upscaling method calculated according to .
상기 학생 복원 손실()과 상기 증류 손실()로부터 학생 총손실()을 수학식
에 따라 획득하여, 상기 학생 총손실()을 상기 학생 네트워크로 역전파하는 영상 업스케일링 방법.19. The method of claim 18, wherein backpropagating to the student network comprises:
The student restoration loss ( ) and the distillation loss ( ) from student total loss ( ) to the equation
Acquired according to, the student total loss ( ) to the student network.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200140601A KR102543690B1 (en) | 2020-10-27 | 2020-10-27 | Image Upscaling Apparatus And Method Based On Learning With Privileged Information |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200140601A KR102543690B1 (en) | 2020-10-27 | 2020-10-27 | Image Upscaling Apparatus And Method Based On Learning With Privileged Information |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220055970A KR20220055970A (en) | 2022-05-04 |
KR102543690B1 true KR102543690B1 (en) | 2023-06-13 |
Family
ID=81584046
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200140601A KR102543690B1 (en) | 2020-10-27 | 2020-10-27 | Image Upscaling Apparatus And Method Based On Learning With Privileged Information |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102543690B1 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230156664A (en) | 2022-05-06 | 2023-11-14 | 주식회사 엘지에너지솔루션 | Pre-lithiation method of electrode, pre-lithiated electrode and pre-lithiation apparatus |
WO2024043760A1 (en) * | 2022-08-25 | 2024-02-29 | 한국전자통신연구원 | Method, device, and recording medium for image encoding/decoding |
KR20240120992A (en) | 2023-02-01 | 2024-08-08 | 서강대학교산학협력단 | Anomaly detection system using a student-teacher network and method thereof |
CN116486285B (en) * | 2023-03-15 | 2024-03-19 | 中国矿业大学 | Aerial image target detection method based on class mask distillation |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017500651A (en) | 2014-03-20 | 2017-01-05 | 三菱電機株式会社 | A method for processing an input low resolution (LR) image into an output high resolution (HR) image |
JP2018156451A (en) | 2017-03-17 | 2018-10-04 | 株式会社東芝 | Network learning device, network learning system, network learning method, and program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102061935B1 (en) | 2017-02-21 | 2020-01-02 | 한국과학기술원 | Knowledge Transfer Method Using Deep Neural Network and Apparatus Therefor |
-
2020
- 2020-10-27 KR KR1020200140601A patent/KR102543690B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017500651A (en) | 2014-03-20 | 2017-01-05 | 三菱電機株式会社 | A method for processing an input low resolution (LR) image into an output high resolution (HR) image |
JP2018156451A (en) | 2017-03-17 | 2018-10-04 | 株式会社東芝 | Network learning device, network learning system, network learning method, and program |
Also Published As
Publication number | Publication date |
---|---|
KR20220055970A (en) | 2022-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102543690B1 (en) | Image Upscaling Apparatus And Method Based On Learning With Privileged Information | |
US11966839B2 (en) | Auto-regressive neural network systems with a soft attention mechanism using support data patches | |
CN101299235B (en) | Method for reconstructing human face super resolution based on core principle component analysis | |
US11871144B2 (en) | Image processing apparatus and operation method thereof | |
JP7536893B2 (en) | Image Processing Using Self-Attention Based Neural Networks | |
US11348203B2 (en) | Image generation using subscaling and depth up-scaling | |
Son et al. | Toward real-world super-resolution via adaptive downsampling models | |
CN113762147B (en) | Facial expression migration method and device, electronic equipment and storage medium | |
CN105488759B (en) | A kind of image super-resolution rebuilding method based on local regression model | |
CN105488776A (en) | Super-resolution image reconstruction method and apparatus | |
KR102582706B1 (en) | Method and apparatus for image super resolution | |
WO2022156621A1 (en) | Artificial intelligence-based image coloring method and apparatus, electronic device, computer readable storage medium, and computer program product | |
CN103473797B (en) | Spatial domain based on compressed sensing sampling data correction can downscaled images reconstructing method | |
CN114049314A (en) | Medical image segmentation method based on feature rearrangement and gated axial attention | |
CN113591528A (en) | Document correction method, device, computer equipment and storage medium | |
CN116258976A (en) | Hierarchical transducer high-resolution remote sensing image semantic segmentation method and system | |
CN114612289A (en) | Stylized image generation method and device and image processing equipment | |
Rajput et al. | A robust facial image super-resolution model via mirror-patch based neighbor representation | |
CN117788295B (en) | Super-resolution reconstruction method, system and medium for remote sensing image | |
Rajput | Mixed gaussian-impulse noise robust face hallucination via noise suppressed low-and-high resolution space-based neighbor representation | |
CN115496654A (en) | Image super-resolution reconstruction method, device and medium based on self-attention mechanism | |
CN117726513A (en) | Depth map super-resolution reconstruction method and system based on color image guidance | |
US20230073175A1 (en) | Method and system for processing image based on weighted multiple kernels | |
CN114219900B (en) | Three-dimensional scene reconstruction method, reconstruction system and application based on mixed reality glasses | |
CN114897702A (en) | Image reconstruction method, image reconstruction device, computer equipment and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |