KR102122065B1

KR102122065B1 - 보간된 전역 지름길 연결을 적용한 잔류 컨볼루션 신경망을 이용하는 초해상도 추론 방법 및 장치

Info

Publication number: KR102122065B1
Application number: KR1020180126898A
Authority: KR
Inventors: 한상일; 김정민
Original assignee: 주식회사 아나패스
Priority date: 2018-10-23
Filing date: 2018-10-23
Publication date: 2020-06-11
Also published as: KR20200052402A

Abstract

본 발명은 보간된 전역 지름길 연결을 적용한 잔류 컨볼루션 신경망을 이용하는 초해상도 추론 방법 및 장치에 관한 것으로서, 상기 추론 장치는, 이미지를 입력받는 입력부, 상기 입력부와 전역 지름길로 연결된 출력부 및 상기 이미지를 입력받아 연산을 수행하는 잔류 모듈을 포함하고, 상기 잔류 모듈은 적어도 하나의 컨볼루션 층을 포함하고, 상기 전역 지름길 연결과 상기 잔류 모듈은 잔류 컨볼루션 신경망을 구성하고, 상기 출력부는 상기 이미지를 보간한 후 상기 잔류 모듈의 연산 수행 결과와 가산하여 상기 이미지의 초해상도 이미지를 출력하는 것을 특징으로 한다. 본 발명에 따르면, 잔류 컨볼루션 신경망에 진정한 의미의 전역 지름길 연결을 적용하여 신경망 내의 모든 컨볼루션 층의 잔류 학습이 가능하도록 함으로써, 종래의 잔류 컨볼루션 신경망을 이용하는 초해상도 추론 방법 및 장치가 일부 컨볼루션 층만 잔류 학습이 가능한 것에 비하여, 초해상도 추론 연산에 필요한 메모리의 양을 줄이는 동시에 성능 및 학습 수렴속도를 개선하는 효과가 있다.

Description

보간된 전역 지름길 연결을 적용한 잔류 컨볼루션 신경망을 이용하는 초해상도 추론 방법 및 장치{SUPER RESOLUTION INFERENCE METHOD AND APPARATUS USING RESIDUAL CONVOLUTIONAL NEURAL NETWORK WITH INTERPOLATED GLOBAL SHORTCUT CONNECTION}

본 발명은 컨볼루션 신경망을 이용하는 초해상도 추론 방법 및 장치에 관한 것으로, 보다 상세하게는, 잔류 컨볼루션 신경망을 이용하는 초해상도 추론 연산에 필요한 메모리의 양을 줄이는 동시에 성능 및 학습 수렴속도를 개선하는 방법 및 장치에 관한 것이다.

저해상도의 이미지를 고해상도의 이미지로 확대하는 초해상도(SR; Super Resolution) 추론(inference) 기술은 디스플레이 장치의 해상도에 따라 이미지 컨텐츠의 해상도를 조정하거나, 저해상도의 이미지를 크게 볼 필요가 있는 경우에 사용되는 기술로서 그 활용도가 매우 높다. 특히 디스플레이 장치의 해상도가 지속적으로 높아져 기존 Full HD 영상의 4배 및 16배 해상도인 4K 및 8K TV 시장이 확대되고 있는 상황 속에서, 기존의 저해상도로 만들어진 컨텐츠를 고해상도의 장치에서 시청할 수 있도록 이미지를 확대하는 초해상도 기술에 대한 필요성이 더욱 대두되고 있다.

그런데, 이와 같이 저해상도의 이미지를 고해상도로 확대함에 있어서는 이미지의 에지 부분에서의 선명도가 떨어지거나 이미지 확대 방법에 따라 노이즈, 블러링, 조율 흔적(artifact) 등의 각종 왜곡이 일어나는 경우가 많이 있다. 따라서 확대된 이미지에서 선명도를 유지하면서도 왜곡이 발생하지 아니하도록 이미지를 확대하는 것이 초해상도 추론 기술의 주된 목표이다.

초해상도 추론에 딥러닝(deep learning)을 하는 신경망(neural network)을 사용하는 연구가 많이 시도되고 있는데, 대표적인 시도로서 Chao Dong, et al., “Image Super-Resolution Using Deep Convolutional Networks”, IEEE transactions on pattern analysis and machine intelligence, 38(2), 2016.은 초해상도 추론에 컨볼루션 신경망(CNN; convolutional neural network)을 최초로 적용한 SRCNN(Super Resolution using deep CNN)을 발표하였다. 컨볼루션 신경망 모델은 다층의 컨볼루션 층(convolutional layer)으로 구성된 신경망으로서, 상위 계층으로 갈수록 점진적으로 대상 영역이 확장되는 형태의 특징맵(feature map)을 생성하며, 이 과정에서 receptive field의 연결구조를 통하여 특징점의 위치이동에 강인한 특징맵을 학습해 나간다. SRCNN은 이렇게 학습된 특징맵을 이용하여 초해상도 추론을 하는 것이다. SRCNN이 발표된 이후, Kensuke Umehara, et al., “Super-resolution convolutional neural network for the improvement of the image quality of magnified images in chest radiographs”, Proc. of SPIE Vol. 10133, 2017.을 포함하여 많은 후속 연구가 이루어졌는데, 도 1은 Kensuke 논문에 수록된 SRCNN의 구조를 도시하고 있다.

도 1을 참조하면, SRCNN은 저해상도(LR; low resolution)의 입력 이미지(1)를 고해상도의 이미지로 보간(interpolation)한 후에, 보간된 이미지(13)를 컨볼루션 신경망의 입력으로 사용한다. 보간된 이미지는 미리 학습된 필터(또는 커널, 또는 가중치(weight)들)로 연산되는 다층의 컨볼루션 층을 통과하여 최종적으로 고해상도(HR; high resolution)의 출력 이미지(9)를 획득하게 된다.

그런데, SRCNN은 저해상도의 입력 이미지를 보간을 통해 “고해상도의 이미지로 일단 확대(13)한 후에 컨볼루션 연산을 수행”하기 때문에 신경망의 크기가 상당이 커지는 단점이 있다. 따라서, 이렇듯 저해상도 이미지(1)를 일단 고해상도로 보간한 후에, 보간된 이미지(13)를 컨볼루션 연산의 입력으로 사용하면, 수많은 필터 곱셈 연산을 수행하는 컨볼루션 연산의 특성상 그 연산량이 급격하게 증가하게 된다. 특히, 4K 등의 이미지를 입력 이미지로 사용하는 컨볼루션 연산에는 초당 수십 Tera 이상의 연산이 수반되는 문제점이 있다 또한, 기존 컨볼루션 신경망이 내포하고 있는 그레디언트 소멸(gradient diminishing) 등의 문제로 인해 컨볼루션 층을 깊게 할 수 없는 문제점도 가지고 있다.

상술한 SRCNN의 문제점들을 해결하기 위해, 도 2 및 도 3에 도시되어 있듯이, 잔류 학습(residual learning)이 가능한 잔류 모듈(residual module)과 지름길 연결(shortcut connection 또는 skip connection)로 구성되는 잔류 컨볼루션 신경망(residual CNN)을 초해상도 추론에 도입한 것이 C. Ledig, et al. “Photo-realistic single image super-resolution using a generative adversarial network” arXiv:1609.04802, 2016.의 SRResnet이다. 지름길 연결은 그레이디언트가 잘 전파되도록 해주어, 그레디언트 소멸문제가 발생하지 않아, 기존의 plain 신경망에 비하여 더 많은 컨볼루션 층을 사용할 수 있게 한다. 또한, 잔류 모듈은 지름길 연결 특성으로 인하여, 컨볼루션 층들이 저해상도 이미지에서 고해상도 이미지로의 “전체 정보”를 학습해야 하는 기존의 plain 신경망에 비하여, 저해상도 이미지와 고해상도 이미지 간의 “잔류 정보”만 학습하면 되므로 신경망이 학습해야 할 정보량의 크기가 작아진다. 따라서, 더 많은 컨볼루션 층을 사용할 수 있고, 수렴속도도 빠르고, 동일한 필터가 담을 수 있는 정보도 많아져, 결국 성능이 상당히 개선되는 효과를 내고 있다. SRResnet을 조금 더 개선한 기술로서 Bee Lim, et al. "Enhanced deep residual networks for single image super-resolution." The IEEE conference on computer vision and pattern recognition (CVPR) workshops. Vol. 1. No. 2. 2017.의 EDSR이 있다.

그런데, SRResnet과 EDSR은, 전역(global) 지름길 연결을 위해 입력 이미지(1)를 “컨볼루션 연산한 결과(43)를 저장”하고 있어야 하므로 큰 메모리(또는 버퍼, on-chip memory)를 사용해야 하며, 일부 컨볼루션 층은 여전히 잔류 학습(residual learning)이 불가능하므로 학습 수렴 속도 및 성능이 제한된다는 문제가 있다.

KR 10-1791573 B1.

Chao Dong, et al., "Image Super-Resolution Using Deep Convolutional Networks", IEEE transactions on pattern analysis and machine intelligence, 38(2), 2016. Kensuke Umehara, et al., "Super-resolution convolutional neural network for the improvement of the image quality of magnified images in chest radiographs", Proc. of SPIE Vol. 10133, 2017. C. Ledig, et al. "Photo-realistic single image super-resolution using a generative adversarial network" arXiv:1609.04802, 2016. Bee Lim, et al. "Enhanced deep residual networks for single image super-resolution." The IEEE conference on computer vision and pattern recognition (CVPR) workshops. Vol. 1. No. 2. 2017.

본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 창안된 것으로, 잔류 컨볼루션 신경망에 보간된 전역 지름길 연결을 적용하여 신경망 내의 모든 컨볼루션 층의 잔류 학습이 가능하도록 함으로써 초해상도 추론 연산에 필요한 메모리의 양을 줄이는 동시에 성능 및 학습 수렴속도를 개선하는 방법 및 그 장치를 제공하는 것을 목적으로 한다.

상기 기술적 과제를 달성하기 위한, 본 발명의 일 실시예에 따르면, 이미지를 입력받는 입력부; 상기 입력부와 전역 지름길로 연결된 출력부; 및 상기 이미지를 입력받아 연산을 수행하는 잔류 모듈;을 포함하고, 상기 잔류 모듈은 적어도 하나의 컨볼루션 층을 포함하고, 상기 전역 지름길 연결과 상기 잔류 모듈은 잔류 컨볼루션 신경망을 구성하고, 상기 출력부는 상기 이미지를 보간한 후 상기 잔류 모듈의 연산 수행 결과와 가산하여 상기 이미지의 초해상도 이미지를 출력하는, 초해상도 추론 장치가 제공된다.

상기 보간은 상기 입력받는 이미지와 상기 초해상도 이미지의 해상도 차이를 보간할 수 있다.

상기 보간은 근위 보간, 쌍선형 보간 또는 쌍큐빅 보간일 수 있다.

상기 잔류 컨볼루션 신경망은 잔류 학습에 의해 미리 학습될 수 있다.

상기 컨볼루션 층은 적어도 하나의 미리 학습된 필터를 포함할 수 있다.

상기 잔류 모듈은, 상기 이미지를 입력으로 연산을 수행하는 적어도 하나의 컨볼루션 층; 상기 컨볼루션 층의 연산 결과를 입력으로 연산을 수행하는 적어도 하나의 잔류 블록; 및 상기 잔류 블록의 연산 결과를 입력으로 순차적으로 연산을 수행하는 컨볼루션 층 및 업샘플층;을 포함할 수 있다.

상기 잔류 블록은 적어도 하나의 컨볼루션 층과 활성 함수를 포함할 수 있다.

상기 업샘플층은 해상도를 높이는 컨볼루션 층을 포함할 수 있다.

상기 잔류 모듈은, 상기 업샘플층의 연산 결과를 입력으로 하여 연산을 수행하는 컨볼루션 층을 더 포함할 수 있다.

상기 기술적 과제를 달성하기 위한, 본 발명의 다른 일 실시예에 따르면, 전역 지름길 연결과 잔류 모듈을 포함하는 장치의 초해상도 추론 방법으로서, 이미지를 입력받아 저장하는 단계; 상기 이미지를 입력으로 잔류 모듈의 연산을 수행하는 단계; 및 상기 저장되어 있는 이미지를 보간한 후 상기 잔류 모듈의 연산 수행 결과와 가산하여 상기 이미지의 초해상도 이미지를 추론하는 단계;를 포함하고, 상기 잔류 모듈은 적어도 하나의 컨볼루션 층을 포함하고, 상기 전역 지름길 연결과 상기 잔류 모듈은 잔류 컨볼루션 신경망을 구성하는, 초해상도 추론 방법이 제공된다.

상기 잔류 모듈의 연산을 수행하는 단계는, 상기 이미지를 입력으로 적어도 하나의 컨볼루션 층의 연산을 수행하는 단계; 상기 컨볼루션 층의 연산 결과를 입력으로 적어도 하나의 잔류 블록 및 컨볼루션 층의 연산을 순차적으로 수행하는 단계; 및 상기 순차적으로 수행된 연산 결과를 입력으로 업샘플층의 연산을 수행하는 단계;를 포함할 수 있다.

상기 잔류 모듈의 연산을 수행하는 단계는, 상기 업샘플층의 연산 결과를 입력으로 적어도 하나의 컨볼루션 층의 연산을 수행하는 단계를 더 포함할 수 있다.

또한, 다른 바람직한 일 실시예에 따르면, 전술한 각 방법에 따른 방법을 실행시키기 위한, 컴퓨터-판독가능한 기록매체에 저장된 컴퓨터 프로그램이 제공된다.

또한, 또 다른 바람직한 일 실시예에 따르면, 전술한 각 방법을 실행시키기 위한 프로그램이 기록된, 컴퓨터-판독가능한 기록매체가 제공된다.

이상과 같이, 본 발명에 따르면, 잔류 컨볼루션 신경망에 보간된 전역 지름길 연결을 적용하여 신경망 내의 모든 컨볼루션 층의 잔류 학습이 가능하도록 함으로써, 종래의 잔류 컨볼루션 신경망을 이용하는 초해상도 추론 방법 및 장치에 비하여 초해상도 추론 연산에 필요한 메모리의 양을 줄이는 동시에 성능 및 학습 수렴속도를 개선하는 효과가 있다.

도 1은 종래의 SRCNN의 구성을 나타내는 블록도이다.
도 2는 잔류 컨볼루션 신경망을 구성하는, 지름길 연결과 잔류 모듈을 나타내는 도면이다.
도 3은 종래의 SRResnet 및 EDSR 초해상도 추론 장치의 블록도이다.
도 4는 잔류 컨볼루션 신경망을 이용하는 초해상도 추론 장치에 사용되는 잔류 블록을 나타내는 도면이다.
도 5는 잔류 컨볼루션 신경망을 이용하는 초해상도 추론 장치에 사용되는 업샘플링층을 나타내는 블록도이다.
도 6은 본 발명의 일 실시예에 따른 초해상도 추론 장치를 나타내는 블록도이다.
도 7은 본 발명의 다양한 실시예에 따른 초해상도 추론 장치에 사용되는 보간 블록 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 초해상도 추론 장치와 종래의 EDSR 초해상도 추론 장치의 성능을 비교한 실험 결과를 나타내는 그래프이다.
도 9는 본 발명의 일 실시예에 따른 초해상도 추론 장치와 종래의 EDSR 초해상도 추론 장치의 학습 수렴 속도를 비교한 실험 결과를 나타내는 그래프이다.
도 10은 본 발명의 일 실시예에 따른 초해상도 추론 방법에 대한 구체적인 일례를 나타내는 순서도이다.
도 11은 본 발명의 일 실시예에 따른 잔류 모듈의 연산 수행 방법에 대한 구체적인 일례를 나타내는 순서도이다.

이하, 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 하기의 설명에서는 본 발명의 실시예에 따른 동작을 이해하는데 필요한 부분만이 도시되고 설명되며 그 이외 부분의 도시와 설명은 본 발명의 요지를 흐리지 않도록 생략하였다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

또한, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우만을 한정하는 것이 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

설명의 간략함을 위해, 본 명세서에서는 예시를 들어 순서도 또는 플로우 차트의 형태로 하나 이상의 방법이 일련의 단계로서 도시되고 기술되어 있지만, 본 발명이 단계들의 순서에 의해 제한되지 않는데 그 이유는 본 발명에 따라 본 명세서에 도시되고 기술되어 있는 것과 다른 순서로 또는 다른 단계들과 동시에 행해질 수 있기 때문이라는 것을 잘 알 것이다. 또한, 예시된 모든 단계들이 본 발명에 따라 방법을 구현해야만 하는 것은 아닐 수 있다.

본 발명의 다양한 실시예들을 설명함에 있어, 대응되는 구성요소에 대해서는 동일한 명칭 및 동일한 참조부호를 부여하여 설명하도록 한다. 본 발명의 실시예를 설명하기 위하여 참조하는 도면에서 구성요소의 크기나 선의 두께 등은 이해의 편의상 과장되게 표현되어 있을 수 있다.

도 2는 잔류 컨볼루션 신경망을 구성하는, 지름길 연결과 잔류 모듈을 나타내는 도면이다.

도 2(a)를 참조하면, 잔류 컨볼루션 신경망은 지름길(21)과 잔류 모듈(23)을 포함한다. SRCNN에 사용되는 일반(plain) 컨볼루션 신경망과 달리 잔류 컨볼루션 신경망은 “지름길(21)”을 포함하는 것이 차이점이다. 즉, l번째 층(layer)이 잔류 컨볼루션 신경망이면 입력(x _l )과 출력(x _l ₊₁ ) 사이에 지름길(21), 잔류 모듈(23) 및 가산기(27)를 포함한다.

지름길(21)은 입력(x _l )이 직접 가산기(27)로 연결된다. 지름길(21)을 실제로 SW나 HW로 구현한다면, 잔류 모듈(23)의 연산이 완료될 때까지 입력(x _l ) 값을 유지 또는 저장하고 있어야 한다. 따라서, 소정의 저장소 또는 메모리(또는 버퍼, on-chip memory 등)를 구비하여야 한다.

잔류 모듈(23)은 컨볼루션 층(Conv2), BN(batch normalization), ReLU(ReLU; rectified linear unit) 같은 비선형 활성함수 등을 포함할 수 있다. 잔류 모듈은 선행 학습에 의해 컨볼루션 층의 필터(또는 커널, 또는 가중치(weight)들)들이 미리 학습되어 정해진다.

또한, 도 2(b)의 잔류 모듈(25)이 사용되기도 하는데, 도 2(a)에서 BN이 제거된 것이 차이점이다

가산기(27)는 지름길(21)로 넘어온 입력(x _l )에 잔류 모듈(23)의 연산 결과를 가산한다.

이하, 일반(plain) 컨볼루션 신경망과 달리 잔류 컨볼루션 신경망을 비교해보기로 한다.

일반(plain) 컨볼루션 신경망은 지름길(21)을 포함하지 않기 때문에 입력(x _l )과 출력(x _l+1 )의 “전체 정보”를 학습하게 된다.

이에 비하여, 잔류 컨볼루션 신경망은 지름길(21)을 포함하기 때문에 입력(x _l )과 출력(x _l+1 )의 “잔류(residual) 정보”만 학습하면 된다. 즉, 입력(x _l )과 출력(x _l ₊ ₁ )이 서로 상관 관계가 크거나 매우 유사하다면, 입력(x _l )과 출력(x _l ₊ ₁ )의 “미세한 차이”만 학습하면 되므로, 네트워크의 크기가 작아질 수 있다. 또한, 지름길 연결은 그레디언트가 잘 전파되도록 해주어, 그레디언트 소멸문제가 발생하지 않게 한다. 따라서, 잔류 컨볼루션 신경망은 일반(plain) 컨볼루션 신경망보다 더 많은 컨볼루션 층을 사용할 수 있고, 같은 용량의 네트워크라면 더 많은 정보를 담을 수 있기 때문에 성능이 좋아진다고 알려져 있다.

배경 기술에서 설명한 SRCNN이 초해상도 추론에 일반(plain) 컨볼루션 신경망을 사용한 것이고, SRResnet과 EDSR이 잔류 컨볼루션 신경망을 도입한 것이다.

도 3은 종래의 SRResnet 및 EDSR 초해상도 추론 장치(30)의 블록도이다.

도 3을 참조하면, SRResnet 및 EDSR 초해상도 추론 장치(30)는 이미지(1), 컨볼루션 신경망(47) 및 초해상도 이미지(9)를 포함한다.

입력되는 이미지(1)는 초해상도 추론을 하려는 저해상도(LR)의 원(original) 이미지이다. 예를 들면, 4K 이미지의 경우 3840 x 2160 해상도의 RGB 이미지일 수 있다.

초해상도 이미지(9)는 입력되는 이미지(1)를 초해상도로 추론한 이미지이다. 예를 들면, 4K 이미지(1)로부터 고해상도(HR)의 8K 이미지(9)로 추론된 것일 수 있다.

컨볼루션 신경망(47)은 계층 구조의 컨볼루션 층을 포함하는 구조로서, 복수의 컨볼루션 층(31, 41), 지름길(43), 잔류 모듈(45), 가산기(37), 업샘플층(39)을 포함할 수 있다.

컨볼루션 층인 Conv1(31)은 저해상도 이미지(1)를 중간 특징맵(Intermediate Feature map)으로 변환하는 첫번째 컨볼루션 층을 의미한다. 일반적으로 이미지는 RGB 세개의 특징맵으로 표현되며, 중간 특징맵은 목적하는 성능을 만족할 수 있는 F개로 정의하게 된다. 특징맵의 개수 F가 크면 컨볼루션 신경망의 용량이 커져서 보다 높은 성능을 얻을 수 있지만, F에 비례하는 메모리와 F의 제곱에 비례하는 연산량이 요구되기 때문에, 일반적으로는 목적하는 성능을 만족하는 최소 개의 특징맵을 사용하는 것이 바람직하다.

지름길(43)은 신경망 내에서의 역할 및 위치에 따라 지역(local) 지름길 또는 전역(global) 지름길로 구분된다. SRResnet과 EDSR에서는 전역 지름길(43)을 사용하고, 잔류 모듈(45)의 연산 수행 결과와 가산기(37)에서 가산(합산; summation)된다.

잔류 모듈(45)은 복수개의 잔류 블록(33)과 컨볼루션 층 Conv2(35)로 구성된다.

Conv2(35)는 Conv1(31) 이후부터 잔류 모듈(45) 내의 모든 컨볼루션 연산에 사용되는 컨볼루션 층이다. 입력 및 출력 특징맵의 개수는 Conv1(31) 출력 특징맵 개수 F와 동일하게 된다.

잔류 블록(33)은 도 4의 잔류 블록이 사용된다. SRResnet은 도 4(a)를 사용하고, EDSR은 도 4(b)를 사용한다.

도 4(a)를 참조하면, 잔류 블록(33)은 지역 지름길(48), 서브 잔류 모듈(49) 및 가산기를 포함한다.

서브 잔류 모듈(49)은 복수의 Conv2(35와 동일), 복수의 BN 및 ReLU를 포함한다.

ReLU(rectified linear unit)은 입력이 0보다 작으면 0을 출력하고, 0보다 크면 입력을 그대로 출력하는 비선형 활성함수(activation function)의 일종이다. 과거 신경망에서 많이 사용되던 활성함수인 시그모이드(sigmoid) 함수보다 나은 성능을 보여 최근 신경망에서 많이 사용되고 있다.

BN(batch normalization)은, 컨볼루션 층의 출력 값들이 한쪽으로 치우쳐지면 활성함수(activation function)가 제대로 동작하지 않아서, gradient diminishing/exploding 문제를 야기할 수 있고, 학습 수렴속도도 저하되므로, 입력의 평균을 0으로, 분산을 1로 정규화 시켜주는 방법이다. 활성 함수의 입력이 한쪽으로 치우치게 되면, 제 역할을 못 할 수 있기 때문에 컨볼루션 신경망에서 자주 사용되는 기법이다.

그런데, EDSR에서는 잔류 블록(33)으로서 도 4(b)를 사용하는데, 도 4(a)에서 BN을 제거함으로써 더 나은 성능을 보이고 있다고 보고되고 있다.

다시 도 3으로 돌아와서, SRResnet과 EDSR은 BN의 유무 외에는 동일한 구조를 가지며, 전역 지름길(43)은 Conv1(31)의 결과를 사용한다.

가산기(37)에서 Conv1(31)의 결과를 잔류 모듈(45)의 결과와 가산(합산; summation)하고, 가산한 결과는 업샘플층(39)의 입력으로 사용된다.

업샘플층(39)은, 도 5에 도시되어 있듯이, Conv3과 Shuffle로 구성된다.

Conv3는 해상도를 높이는 업샘플을 위해 사용되는 컨볼류션이다. 특징맵 F개를 받아 해상도 확대 인자(scaling factor) “s”의 제곱에 해당하는 개수의 특징맵을 생성한다. 예를 들어, 확대인자가 2인 경우 4F 개수의 특징맵을 출력한다.

Shuffle은 저해상도 특징맵 [H, W, 4F]를 고해상도 특징맵 [2H, 2W, F]로 재구성하는 함수로 복사연산으로 이루어진다.

명세서 전체에서 설명의 편의상, 컨볼루션 층의 차원을 나타내기 위해 [높이, 넓이, 깊이]로 표시하기로 한다.

다시 도 3을 참조하면, 업샘플층(39)의 연산 결과는 Conv4(41)의 입력으로 사용된다.

Conv4(41)는 고해상도 특징맵을 입력으로 받아 최종 결과물인 초해상도 이미지(9)를 출력한다.

도 3의 SRResnet과 EDSR을 분석해보면, 컨볼루션 신경망(47) 내의 잔류 모듈(45)은 잔류 학습으로 학습되는 반면, 나머지 컨볼루션 층들인 Conv1(31), 업샘플층(39) 및 Conv4(41)는 잔류 학습이 적용되지 않음을 알 수 있다. 즉, 전역 지름길(43)을 사용함에도 불구하고, 일부 컨볼루션 층은 잔류 학습을 적용하지 못하는 문제점이 있는 것이다.

또한, Conv1(31)의 결과를 전역 지름길(43)로 사용하기 때문에 잔류 모듈(45)의 연산이 완료될 때까지 Conv1(31)의 결과를 모두 저장하고 있어야 한다는 문제점이 있다. 본원 발명은 바로 이러한 문제점들을 해결하기 위해 창안된 것이다.

도 6은 본 발명의 일 실시예에 따른 초해상도 추론 장치(10)를 나타내는 블록도이다.

도 6을 참조하면, 본 발명에 따른 초해상도 추론 장치(10)는 입력부(2), 출력부(4) 및 잔류 모듈(5)을 포함하여 구성될 수 있다.

입력부(2)에 입력되는 이미지(1)는 초해상도 추론을 하려는 저해상도(LR)의 원(original) 이미지이다. 예를 들면, 4K 이미지의 경우 3840 x 2160 해상도의 RGB 이미지일 수 있으나 이에 한정되는 것은 아니다. 입력되는 이미지는 정지 이미지(still cut)일 수도 있고, 동영상의 연속된 프레임 중의 임의의 한 프레임일 수도 있다.

출력부(4)는 입력부(2)와 전역 지름길(3)로 연결되며, 이미지(1)를 보간(8)한 후 잔류 모듈(5)의 연산 수행 결과와 가산(7)하여 입력 이미지(1)의 초해상도(super-resolution) 이미지(9)를 출력할 수 있다.

초해상도 이미지(9)는 입력되는 이미지(1)를 초해상도로 추론한 이미지이다. 예를 들면, 4K 이미지(1)로부터 고해상도(HR)의 8K 이미지(9)로 추론된 것일 수 있으나 이에 한정되는 것은 아니다.

본 발명에 따른 초해상도 추론 장치(10)는, 종래의 SRResnet이나 EDSR(30)과는 달리, 입력된 이미지(1)를 직접 초해상도 출력과 연결하는 진정한 의미의 전역 지름길(3)을 사용한다. 전역 지름길(3) 연결과 잔류 모듈(5)은 도 2에서 설명한 잔류 컨볼루션 신경망을 구성한다.

본 발명에 따른 장치(10)는 전역 지름길(3)로 직접 연결되는 저해상도의 입력 이미지(1)와 출력되는 초해상도 이미지(9)의 해상도가 다르기 때문에 보간(8)을 사용한다. 즉, 입력 받는 이미지(1)와 초해상도 이미지(9)의 해상도 차이를 보간하는 것이다. 그러면, 잔류 모듈(5)은 입력 받는 이미지(1)의 보간된 값과 초해상도 이미지(9)의 차이인 “잔류 정보”만을 잔류 학습하면 되는 것이다.

보간(8)은 도 7(a)와 같은 근위 보간(nearest neighbor interpolation)을 사용할 수도 있고, 도 7(b)와 같은 쌍선형 보간(bilinear interpolation)을 사용할 수도 있고, 이외에 쌍큐빅 보간(bicubic interpolation)을 사용할 수도 있으나 이에 반드시 한정되는 것은 아니다.

잔류 모듈(5)은 이미지(1)를 입력 받는 적어도 하나의 컨볼루션 층을 포함하는 계층 구조의 잔류 컨볼루션 신경망으로 구성될 수 있다. 잔류 모듈(5)은 잔류 학습에 의해 미리 학습되어, 잔류 모듈(5) 내의 컨볼루션 층은 적어도 하나의 미리 학습된 필터(또는 커널, 가중치)를 포함한다.

잔류 모듈(5)은 복수의 컨볼루션 층(31, 35, 41), 복수의 잔류 블록(33), 업샘플층(39)을 포함하여 구성될 수 있으나, 반드시 이에 한정되는 것은 아니다. 복수의 컨볼루션 층(31, 35, 41), 복수의 잔류 블록(33), 업샘플층(39) 등에 대하여는 도 3에서 설명하였으므로 생략하기로 한다.

본 발명의 일 실시예에 따른 잔류 모듈(5)은 도 3의 컨볼루션 신경망(47)으로 구성되되, 다만 가산기(37)와 지름길(43)이 제거된 것으로 구현될 수 있다.

즉, 본 발명에 따른 잔류 모듈(5)에서는, 도 3의 컨볼루션 신경망(47)에서의 가산기(37)와 지름길(43)이 없고, Conv2(35)의 결과를 업샘플층(39)의 입력으로 바로 사용할 수 있다. 그리고, Conv4(41)의 연산 수행 결과를 보간된(8) 전역지름길 연결과 가산(7)하여 초해상도 이미지(9)를 출력할 수 있다.

본 발명에 따른 초해상도 추론 장치(10)를 도 3의 SRResnet 또는 EDSR(30)과 비교를 하면 다음 두 가지의 큰 차이점이 존재한다.

첫째, 지름길 연결이 다르다. 도 3의 SRResnet 또는 EDSR(30)의 전역 지름길(43)은 Con1(31)의 “출력”을 저장하였다가 업샘플층(39) 직전의 가산기(37)에서 가산된다. 반면, 본 추론 장치(10)의 전역 지름길(3)은 입력되는 원 이미지(1)(또는 Conv1(31)의 “입력”)을 저장하였다가 최종 초해상도 이미지(9) 직전의 가산기(7)에서 가산된다. 따라서, 전역 지름길을 위해 저장해야 하는 데이터의 양은 본 추론 장치(10) 보다 SRResnet 또는 EDSR(30)이 훨씬 크게 된다. 그 이유는 본 추론 장치(10)는 컨볼루션(Conv1; 31) 연산을 수행하기 “전”의 데이터를 저장하고, SRResnet 또는 EDSR(30)는 컨볼루션(Conv1; 31) 연산을 수행한 “후”의 확장된 데이터를 저장하기 때문이다.

둘째, 잔류 학습이 적용되는 컨볼루션 층이 다르다. SRResnet과 EDSR(30)은 컨볼루션 신경망(47) 내의 일부인 잔류 모듈(45)은 잔류 학습으로 학습되지만, 나머지 층들인 Conv1(31), 업샘플층(39) 및 Conv4(41)는 잔류 학습이 적용되지 않음을 알 수 있다. 반면, 본 추론 장치(10)는, Conv1(31), 업샘플층(39) 및 Conv4(41)이 잔류 모듈(5)에 포함되므로, 잔류 모듈(5)의 “모든” 컨볼루션 층에서 잔류 학습의 적용이 가능하다. 따라서, 모든 계층에서 잔류 학습이 적용되므로 같은 용량의 컨볼루션 신경망을 구성한다면 보다 나은 성능을 나타내게 된다.

상술한 차이점을 하나의 실시예로서 정리하면 표 1과 같다.

	Operation	입력 차원	출력 차원
Conv1	컨볼루션	[H, W, I]	[H, W, F]
Conv2	컨볼루션	[H, W, F]	[H, W, F]
ReLU	활성 함수	[H, W, F]	[H, W, F]
Conv3	컨볼루션	[H, W, F]	[H, W, 4F]
Shuffle	재구성 함수	[H, W, 4F]	[2H, 2W, F]
Conv4	컨볼루션	[2H, 2W, F]	[2H, 2W, I]

표 1 및 도 6에 사용된 약자 및 예시는 표 2와 같다.

	설명	예시	비고
LR	저해상도 이미지	4K	UHD
H	높이(또는 세로)	2160
W	넓이(또는 가로)	3840
I	입출력 특징맵 개수	3	RGB
F	중간 특징맵 개수	16
s	확대인자	2
HR	고해상도 이미지	8K	QUHD

표 1 및 2를 참조하면, 4K 이미지를 8K 이미지로 초해상도 추론을 하는 예시이다.

상술한 첫번째 차이점을 표 1 및 2의 예시로 살펴보면, 본 발명의 추론 장치(10)는, 전역 지름길 연결(3)을 구현하기 위해, [H, W, I], 즉, [2160, 3840, 3]의 데이터를 메모리에 저장하였다가, 잔류 모듈(5)의 연산이 완료되면, 화소별로 보간을 하여 잔류 모듈(5)의 연산 결과와 화소별로 가산을 하면 된다.

반면, SRResnet 또는 EDSR(30)은, 전역 지름길 연결(43)을 구현하기 위해, [H, W, F], 즉, [2160, 3840, 16]의 데이터를 메모리에 저장하였다가, 잔류 모듈(45)의 연산 수행 결과와 화소별로 가산을 한다.

즉, 표 1 및 2의 예시에서 잔류 모듈이 16개라면 R16F16 CNN이 되므로, 특징맵의 비트수가 12bit이면, 본 발명의 추론 장치(10)는 전역 지름길 연결(3)을 위해 [2160, 3840, 3]의 데이터를 저장하여야 하므로 2160*3840*3*12 = 36.5Mbyte이 된다. 반면, 동일한 조건에서 SRResnet 또는 EDSR(30)은 전역 지름길 연결(43)을 위해 [2160, 3840, 16]의 데이터를 저장하여야 하므로 2160*3840*16*12 = 194.4Mbyte이 된다. 따라서, 본 발명의 추론 장치(10)는 전역 지름길 연결을 위해 SRResnet 또는 EDSR(30) 대비 약 19%의 데이터만 메모리만 저장하면 되는 장점이 있다.

또한, 전역 지름길 연결을 위한 메모리 대비, 잔류 모듈을 위한 연산에 필요한 메모리는, 이미지 프레임 단위의 구현과 이미지 라인 단위의 구현에 따라 다소 차이는 있으나, 대략 2배 정도 필요하다. 따라서, 이를 감안하더라도, 본 발명의 추론 장치(10)는 SRResnet 또는 EDSR(30) 대비 약 73%의 데이터만 메모리에 저장하면 되는 장점이 있다.

도 8 및 도 9는 본 발명의 일 실시예에 따른 초해상도 추론 장치(10)와 종래의 EDSR 초해상도 추론 장치(30)의 성능 및 학습 수렴 속도 각각 비교한 실험 결과를 나타내는 그래프이다.

도 6의 예시와 같이, 잔류 모듈이 16개이고 중간 특징맵이 16개인 R16F16 CNN을 기준으로 잔류 모듈의 개수와 중간 특징맵의 개수를 변화시키면서 PSNR을 측정하면 표 3과 같이 나타나고, 이를 그래프로 도시한 것이 도 8이다. 여기에서 사용된 보간 방법은 근위 보간(nearest neighbor interpolation)이다.

잔류 모듈(33) 개수	특징맵 개수	normalized complexity	본 발명의 추론 장치(10)	EDSR(30)
16	16	1.00	35.102	35.072
16	12	0.82	35.050	35.003
12	16	0.56	34.991	34.959
12	12	0.46	34.947	34.900

도 8을 참조하면, 본 발명에 따른 추론 장치(10)의 성능이 EDSR(30)보다 개선되었음을 파악할 수 있다.

또한, 도 8의 PSNR이 35dB에서, 연산량 기준으로는 본 발명의 추론 장치(10)가 EDSR(30)보다 복잡도가 약 25% 작음을 알 수 있다.

도 9를 참조하면, 본 발명의 추론 장치(10)의 학습 수렴 속도가 EDSR(30)보다 빠르다는 것을 파악할 수 있다. 그 이유는, 전술한대로, 본 발명의 추론 장치(10)는 모든 컨볼루션 층의 잔류 학습이 가능하기 때문이다.

도 10은 본 발명의 일 실시예에 따른 초해상도 추론 방법(S100)에 대한 구체적인 일례를 나타내는 순서도이다.

도 10을 참조하면, S110 단계에서, 장치(10)는 이미지(1)를 입력 받아 저장할 수 있다.

입력되는 이미지(1)는 초해상도 추론을 하려는 저해상도(LR)의 원(original) 이미지이다. 예를 들면, 4K 이미지의 경우 3840 x 2160 해상도의 RGB 이미지일 수 있으나 이에 한정되는 것은 아니다. 입력되는 이미지는 정지 이미지(still cut)일 수도 있고, 동영상의 연속된 프레임 중의 임의의 한 프레임일 수도 있다.

S120 단계에서, 장치(10)는 입력받은 저해상도 이미지(1)를 입력으로 하여 잔류 모듈(5)의 연산을 수행할 수 있으며, 잔류 모듈(5)의 연산 수행에 대하여는 도 11에서 설명하기로 한다.

S130 단계에서, 장치(10)는 S110 단계에서 저장되어 있는 이미지를 보간한(8) 후 S120 단계의 연산 수행 결과와 가산하여(7) 초해상도 이미지(9)를 추론할 수 있다.

전술하였듯이 장치(10)는 전역 지름길(3) 연결과 잔류 모듈(5)로 구성되는 잔류 컨볼루션 신경망을 이용하는 초해상도 추론 장치이며, S110 단계에서 저장된 이미지는 전역 지름길(3) 연결의 역할을 하고, 잔류 모듈(5)에 포함되는 계층적 구조의 컨볼루션 층은 잔류 학습에 의해 미리 학습된다.

도 11은 본 발명의 일 실시예에 따른 잔류 모듈(5)의 연산 수행 방법(S120)에 대한 구체적인 일례를 나타내는 순서도이다.

도 11을 참조하면, S121 단계에서, 장치(10)는 입력받은 이미지(1)를 입력으로 적어도 하나의 컨볼루션 층(Conv1; 31)의 연산을 수행할 수 있다.

S123 단계에서, 장치(10)는 S121 단계의 연산 수행 결과를 입력으로 하여 적어도 하나의 잔류 블록(ResBlock; 33) 및 컨볼루션 층(Conv2; 35)의 연산을 순차적으로 수행할 수 있다.

S125 단계에서, 장치(10)는 S123 단계의 연산 수행 결과를 입력으로 하여 업샘플층(39)의 연산을 수행할 수 있다. 업샘플층(39)은 해상도를 높이는 컨볼루션 층(Conv3)을 포함함으로써, 입력받은 이미지(1)와 초해상도 이미지(9)의 해상도 차이를 맞추어주는 역할을 한다.

S127 단계에서, 장치(10)는 S125 단계의 연산 수행 결과를 입력으로 하여 적어도 하나의 컨볼루션 층(Conv4; 41)의 연산을 수행할 수 있다.

S127 단계의 연산 수행 결과는 도 10의 S130 단계에 사용될 수 있다.

이상과 같이, 본 실시예들에 의하면, 잔류 컨볼루션 신경망에 보간된 전역 지름길 연결을 적용하여 신경망 내의 모든 컨볼루션 층의 잔류 학습이 가능하도록 함으로써, 종래의 잔류 컨볼루션 신경망을 이용하는 초해상도 추론 방법 및 장치에 비하여 초해상도 추론 연산에 필요한 메모리의 양을 줄이는 동시에 성능 및 학습 수렴속도를 개선이 가능하다.

또한, 이상에서 설명된 보간된 전역 지름길 연결을 적용한 잔류 컨볼루션 신경망을 이용하는 초해상도 추론 방법의 실시예는 다양한 컴퓨터 구성요소들을 통하여 수행될 수 있는 컴퓨터 프로그램 명령어의 형태로 구현될 수 있다. 또한, 상기 구현된 컴퓨터 프로그램은 컴퓨터 판독 가능한 기록 매체에 기록될 수도 있다. 언급된 기록 매체는 ROM, 자기 디스크 혹은 콤팩트 디스크, 광 디스크 등 일 수 있으나, 이에 반드시 한정되지는 않는다.

이상에서와 같이, 본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

1: (입력받는) 이미지
2: 입력부
3, 21, 43, 48: 전역 지름길 또는 지역 지름길
4: 출력부
5, 23, 25, 45, 49: 잔류 모듈
7, 27, 37: 가산기
8: 보간
9: (추론된) 초해상도 이미지
10: 본 발명에 따른 추론 장치
13: 보간된 이미지
30: SRResnet 또는 EDSR
31: Conv1
33: 잔류 블록
35: Conv2
39: 업샘플층
41: Conv4
47: 컨볼루션 신경망

Claims

이미지를 입력받는 입력부;
상기 입력부와 전역 지름길(global shortcut connection)로 연결된 출력부; 및
상기 이미지를 입력받아 연산을 수행하는 잔류(residual) 모듈;
을 포함하고,
상기 잔류 모듈은 적어도 하나의 컨볼루션 층(convolutional layer)을 포함하고,
상기 전역 지름길 연결과 상기 잔류 모듈은 잔류 컨볼루션 신경망(residual convolutional neural network)을 구성하고,
상기 입력부와 상기 출력부 사이에는 지역 지름길 (local shortcut connection)을 가지는 복수의 잔류 블록(residual block)이 포함되고,
상기 입력부와 상기 출력부 사이의 모든 컨볼루션 층은 잔류 학습(residual learning)으로 미리 학습되되, 일부는 상기 전역 지름길에 의해 잔류 학습이 되고 나머지는 상기 전역 및 지역 지름길에 의해 잔류 학습이 되고,
상기 출력부는 상기 이미지를 보간한 후 상기 잔류 모듈의 연산 수행 결과와 가산하여 상기 이미지의 초해상도(super-resolution) 이미지를 출력하는,
초해상도 추론 장치.
제1항에 있어서,
상기 보간은 상기 입력받는 이미지와 상기 초해상도 이미지의 해상도 차이를 보간하는 것을 특징으로 하는, 초해상도 추론 장치.
제1항에 있어서,
상기 보간은 근위 보간(nearest neighbor interpolation), 쌍선형 보간(bilinear interpolation) 또는 쌍큐빅 보간(bicubic interpolation)인 것을 특징으로 하는, 초해상도 추론 장치.
삭제
제1항에 있어서,
상기 컨볼루션 층은 적어도 하나의 미리 학습된 필터를 포함하는 것을 특징으로 하는, 초해상도 추론 장치.
삭제
삭제
삭제
삭제
전역 지름길 연결과 잔류 모듈을 포함하는 장치의 초해상도 추론 방법으로서,
이미지를 입력받아 저장하는 단계;
상기 이미지를 입력으로 잔류 모듈의 연산을 수행하는 단계; 및
상기 저장되어 있는 이미지를 보간한 후 상기 잔류 모듈의 연산 수행 결과와 가산하여 상기 이미지의 초해상도 이미지를 추론하는 단계;
를 포함하고,
상기 잔류 모듈은 적어도 하나의 컨볼루션 층을 포함하고,
상기 전역 지름길 연결과 상기 잔류 모듈은 잔류 컨볼루션 신경망을 구성하고,
상기 잔류 모듈은 지역 지름길을 가지는 복수의 잔류 블록을 포함하고,
상기 잔류 모듈에 포함되는 모든 컨볼루션 층은 잔류 학습으로 미리 학습되되, 일부는 상기 전역 지름길에 의해 잔류 학습이 되고 나머지는 상기 전역 및 지역 지름길에 의해 잔류 학습이 되는,
초해상도 추론 방법.
제10항에 있어서,
상기 보간은 상기 입력받는 이미지와 상기 초해상도 이미지의 해상도 차이를 보간하는 것을 특징으로 하는, 초해상도 추론 방법.
제10항에 있어서,
상기 보간은 근위 보간, 쌍선형 보간 또는 쌍큐빅 보간인 것을 특징으로 하는, 초해상도 추론 방법.
삭제
제10항에 있어서,
상기 컨볼루션 층은 적어도 하나의 미리 학습된 필터를 포함하는 것을 특징으로 하는, 초해상도 추론 방법.
삭제
삭제
삭제
삭제
청구항 제10항에 따른 방법을 실행시키기 위한, 컴퓨터-판독가능한 기록매체에 저장된 프로그램.
청구항 제10항에 따른 방법을 실행시키기 위한 프로그램이 기록된, 컴퓨터-판독가능한 기록매체.