KR20190059157A - 영상 화질 개선방법 및 그 장치 - Google Patents

Abstract

본 실시예는 컨볼루션 신경망을 사용해 영상의 화질을 개선함에 있어서 움직임 보상 과정을 수행하지 않고 전후 인접 프레임의 시공간적 정보를 활용함으로써 그 수행 과정에 대한 복잡도를 감소시키면서도 높은 화질의 초해상화 영상이 생성될 수 있도록 하는 영상 화질 개선방법 및 그 장치에 관한 것이다.

Description

영상 화질 개선방법 및 그 장치{Method and Apparatus for Improving Image Quality}

본 실시예는 영상 화질 개선방법 및 그 장치에 관한 것이다. 더욱 상세하게는, 삼차원 컨볼루션 신경망을 활용하여 움직임 보상 없이도 저복잡도로 높은 화질의 초해상화 출력이 가능토록 하는 영상 화질 개선방법 및 그 장치에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

최근, 디스플레이의 대화면화 및 고해상도화 추세에 따라 저해상도 영상을 고화질의 고해상도 영상으로 변환하기 위한 업 스케일링(UP-Scaling) 기법의 중요성이 점차 증가하고 있으며, 그 중 하나로 초고해상도(SR: Super-Resolution) 영상 복원 기법이 사용되고 있다.

전형적인 초고해상도 영상 복원 기법(이하, SR 기법으로 예시하여 설명하도록 한다.)은 여러 장의 저해상도 영상들을 정합하여 하나의 초고해상도 영상을 복원해내는 기법을 말한다. 하지만, 이런 SR 기법은 움직임 보상 기반 정합을 위해 방대한 연산량을 요구한다는 문제점이 존재한다. 혹은, 초해상화 되는 화소 위치 주변 몇 개의 화소값들을 사용하여 새로운 화소값을 생성하는 Bicubic 보간 방법을 사용하기도 하나, 이러한 기법은 주변 화소값들만을 활용하기 때문에 초해상화 후의 영상이 화질이 떨어질 수 있는 문제점이 역시 존재한다

최근 들어, 초해상화 성능을 획기적으로 향상시킬 수 있는 학습 기반의 SR 기법이 사용되고 있다. 예컨대, 학습 기반의 SR 기법은 입력된 저해상도 영상을 목표 해상도로 업스케일링하여 컨볼루션 신경망에 입력하고, 이를 통해 학습된 학습 데이터를 이용하여 고해상도 영상을 생성함으로써 영상 개선 과정이 보다 원활하게 수행될 수 있도록 하는 효과가 있다. 하지만, 이러한, 컨볼루션 신경망을 이용한 SR 기법의 경우 또한 그 학습 과정에서 방대한 연산량을 요구한다는 한계가 존재한다.

이에, 기존의 컨볼루션 신경망을 활용하여 영상을 개선 시의 장점은 그대로 유지하면서도 저복잡도로 높은 화질의 출력을 생성할 수 있도록 하는 새로운 기술을 필요로 한다.

본 실시예는, 컨볼루션 신경망을 사용해 영상의 화질을 개선함에 있어서 움직임 보상 과정을 수행하지 않고 전후 인접 프레임의 시공간적 정보를 활용함으로써 그 수행 과정에 대한 복잡도를 감소시키면서도 높은 화질의 초해상화 영상이 생성될 수 있도록 하는 데 그 목적이 있다.

본 실시예는, 화질 개선의 대상이 되는 대상 프레임을 포함한 일련의 연속된 입력 프레임을 수신하는 입력부; 상기 입력 프레임 내 적어도 하나의 더미(Dummy) 프레임을 외삽하여 상기 입력 프레임을 재구성하고, 재구성된 입력 프레임을 컨볼루션 신경망에 적용하여 상기 대상 프레임의 화소값의 변화 특징을 산출하는 학습부; 및 상기 대상 프레임 및 상기 변화 특징을 기반으로 상기 대상 프레임에 대한 화질 개선을 수행하는 제어부를 포함하는 것을 특징으로 하는 영상 처리장치를 제공한다.

또한, 본 실시예의 다른 측면에 의하면, 영상 처리장치의 영상 화질 개선방법에 있어서, 화질 개선의 대상이 되는 대상 프레임을 포함한 일련의 연속된 입력 프레임을 수신하는 과정; 상기 입력 프레임 내 적어도 하나의 더미 프레임을 외삽하여 상기 입력 프레임을 재구성하고, 재구성된 입력 프레임을 컨볼루션 신경망에 적용하여 상기 대상 프레임의 화소값의 변화 특징을 산출하는 과정; 및 상기 대상 프레임 및 상기 변화 특징을 기반으로 상기 대상 프레임에 대한 화질 개선을 수행하는 과정을 포함하는 것을 특징으로 하는 영상 화질 개선방법을 제공한다.

본 실시예에 의하면, 컨볼루션 신경망을 사용해 영상의 화질을 개선함에 있어서 움직임 보상 과정을 수행하지 않고 전후 인접 프레임의 시공간적 정보를 활용함으로써 그 수행 과정에 대한 복잡도를 감소시키면서도 높은 화질의 초해상화 영상이 생성 가능한 효과가 있다.

또한, 본 실시예에 의하면, 컨불루션 신경망을 사용해 영상의 화질을 개선함에 있어서, 저해상도 영상을 그대로 컨볼루션 신경망의 입력값으로 활용함으로써 학습 과정에서의 연산량을 감소시키면서도 활용 화소의 범위를 넓혀 그 성능을 향상시킬 수 있는 효과가 있다.

또한, 본 실시예에 의하면, 일련의 입력 프레임 전후에 각각 하나 이상의 임의의 프레임을 외삽하고, 이를 컨볼루션 신경망에 적용함으로써 프레임 영상 간 시공간적인 관계가 보다 정확하게 학습될 수 있는 효과가 있다.

도 1은 본 실시예에 따른 영상 처리장치를 개략적으로 나타낸 블록 구성도이다.
도 2는 본 실시예에 따른 컨볼루션 신경망의 구조를 나타낸 도면이다.
도 3은 본 실시예에 따른 컨볼루션 신경망을 이용한 영상 화질 개선방법을 설명하기 위한 개념도이다.
도 4는 본 실시예에 따른 컨볼루션 신경망에 적용되는 입력 프레임을 예시한 예시도이다.
도 5는 본 실시예에 따른 영상 화질 개선방법을 설명하기 위한 순서도이다.
도 6은 본 실시예에 따른 영상 화질 개선방법의 효과를 설명하기 위한 예시도이다.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

딥러닝(Deep Learning) 기술의 핵심 계산 모형인 컨볼루션 신경망(CNN: Convolutional Neural Network)은 각각의 뉴런이 인간의 시각 신경계에서 중복 영역의 응답 특성과 유사한 특성을 갖도록 다중 계층으로 배치된 인공신경망의 한 종류이다.

본 실시예의 경우 이러한, 컨볼루션 신경망을 활용한 영상 화질 개선방법에 대한 내용을 개시한다. 보다 자세하게는, 3D 컨볼루션 신경망을 활용하여 영상의 화질을 개선함에 있어서, 그 복잡도를 감소시키면서도 높은 화질의 초해상화 영상이 생성될 수 있도록 하는 방법을 제안한다.

도 1은 본 실시예에 따른 영상 처리장치를 개략적으로 나타낸 블록 구성도이다.

본 실시예에 따른 영상 처리장치(100)는 입력부(110), 학습부(120) 및 제어부(130)를 포함한다. 이때, 본 실시예에 따른 영상 처리장치(100)에 포함되는 구성요소는 반드시 이에 한정되는 것은 아니다.

입력부(110)는 영상의 화질 개선을 수행하는 과정에서 필요한 정보들을 송수신하는 장치를 의미한다. 한편, 이미지 초해상화 기법들과 다르게 동영상 초해상화의 경우 전후 프레임들의 시공간 정보를 활용할 수 있다.

이 점에 기인하여, 본 실시예에 따른 입력부(110)는 컨텐츠 제공장치(미도시)와 통신을 수행하고, 컨텐츠 제공장치로부터 화질 개선의 대상이 되는 대상 프레임을 포함하는 일련의 연속된 입력 프레임을 수신한다.

본 실시예에 있어서, 입력부(110)는 대상 프레임을 중심으로 이전 N(N=자연수)개의 프레임 및 이후 N개의 프레임으로 이루어진 입력 프레임을 수신할 수 있다. 예컨대, 도 2를 참조하여 설명하자면, 입력부(110)는 대상 프레임을 중심으로 이전 2개의 프레임 및 이후 2개의 프레임으로 이루어진 입력 프레임을 수신할 수 있다.

학습부(120)는 입력부(110)로부터 제공된 입력 프레임을 기반으로 하여 학습절차를 수행하고, 학습 결과에 따라 대상 프레임의 화소값의 변화 특징을 산출하는 장치를 의미한다.

본 실시예에 따른 학습부(120)는 바람직하게는 컨볼루션 신경망을 구비하고, 구비된 컨볼루션 신경망을 활용하여 입력 프레임에 대한 학습절차를 수행할 수 있다. 이러한, 컨볼루션 신경망은 하나 이상의 3-D 컨볼루션 계층으로 이루어지며, 각각의 컨볼루션 계층이 적어도 하나의 필터를 통해 대상 프레임의 화소값의 변화 특징을 산출토록 하는 구조로 구현될 수 있다.

학습부(120)는 입력 프레임을 컨볼루션 신경망에 적용함에 있어서, 입력 프레임 내 적어도 하나의 더미(Dummy) 프레임을 외삽하여 입력 프레임을 재구성하고, 재구성된 입력 프레임을 컨볼루션 신경망에 적용한다. 예컨대, 학습부(120)는 입력 프레임 전후에 각각 하나 이상의 더미 프레임을 외삽하고, 이를 통해 재구성된 입력 프레임을 컨볼루션 신경망의 입력으로서 제공할 수 있다. 이때, 더미 프레임은 바람직하게는 제로 프레임인 것이 바람직하나 반드시 이에 한정되는 것은 아니다.

한편, 본 실시예에 따른 학습부(120)는 입력 프레임 내 적어도 하나의 더미 프레임을 외삽하고, 이를 컨볼루션 신경망의 입력으로서 제공함에 따라 이후 학습과정에서 은닉 계층이 깊어질수록 시간적(Temporal) 정보가 감소됨으로 인해 발생할 수 있는 성능 열화를 사전에 방지할 수 있는 효과가 있다.

본 실시예에 따른 학습부(120)는 상기의 화소값의 변화 특징으로 대상 프레임에 대응되는 고해상도 잔차(Residual) 신호를 산출할 수 있다. 보다 자세하게는, 고해상도 잔차 신호는 대상 프레임에 대한 고해상도 영상 신호와 보간(Bicubic Upsampling) 영상 신호 사이의 차분 신호일 수 있다.

본 실시예에 있어서, 학습부(120)는 상기의 화소값의 변화 특징과 관련하여대상 프레임을 구성하는 N²(N=2이상의 자연수)개의 영역 각각에 대응되는 고해상도 잔차 신호를 산출토록 구현될 수 있다. 예컨대, 도 3을 참조하여 설명하자면, 학습부(120)는 컨볼루션 신경망을 활용하여 대상 프레임을 구성하는 4개(좌상, 우상, 좌하, 우하)의 영역 각각에 대응되는 고해상도 잔차 신호를 학습 결과로서 산출할 수 있다. 이를 위해, 본 실시예에 따른 컨볼루션 신경망은 대상 프레임 내 기 정의된 영역별로 그 화소값의 변화 특징에 보다 가중치를 둔 학습결과가 산출될 수 있도록 하는 구조로 구현될 수 있다

한편, 대상 프레임 내 기 정의된 영역은 대상 프레임의 목표 해상도에 따라 상이하게 결정될 수 있다. 예컨대, 목표 해상도가 대상 프레임의 원본 해상도 대비 2배인 경우일 시 기 정의된 영역은 4개의 영역이될 수 있으며, 3배의 경우일 시 기 정의된 영역은 9개의 영역이될 수 있다.

한편, 본 실시예에 따른 학습부(120)가 컨볼루션 신경망을 활용하여 상기의 화소값의 변화 특징을 추출하는 구체적인 방법에 대해서는 도 2의 컨볼루션 신경망의 구조를 설명하는 과정에서 후술토록 한다.

제어부(130)는 대상 프레임에 대한 화질 개선 절차를 수행하는 장치를 의미한다.

본 실시예에 따른 제어부(130)는 입력부(110)를 이용하여 수신된 입력 프레임 및 학습부(120)를 이용하여 산출된 대상 프레임의 화소값의 변화 특징을 기반으로 대상 프레임에 대한 화질 개선을 수행한다.

이하, 제어부(130)가 대상 프레임에 대한 화질 개선을 수행하는 방법에 대해 설명하도록 한다.

제어부(130)는 입력 프레임 내 포함된 대상 프레임을 간단한 보간 방법(ex: Bi-Cubic)을 통해 보간하고, 이를 통해, 대상 프레임을 목표 해상도로 업샘플링(Upsampling)한다.

제어부(130)는 업샘플링된 대상 프레임 내 입력부(110)를 이용하여 산출된 대상 프레임의 화소값의 변화 특징(=고해상도 잔차 신호)을 반영하여 대상 프레임의 화질을 개선한다.

예컨대, 대상 프레임의 화소값의 변화 특징으로서 대상 프레임을 구성하는 복수 개의 영역 각각에 대한 고해상도 잔차 신호가 산출된 경우를 예시하여 설명하자면, 제어부(130)는 산출된 고해상도 잔차 신호를 조합(Reshape)하여 조합신호를 생성하고, 이를 업샘플링된 대상 프레임의 화소값에 더함으로써 대상 프레임의 화질 개선을 수행할 수 있다. 한편, 다른 실시예에서 제어부(130)는 학습부(120)로부터 직접 상기의 조합신호를 수신하는 형태로 구현될 수 있다. 이 경우, 학습부(120)는 산출된 고해상도 잔차 신호를 조합하여 조합신호를 생성하고, 생성된 조합신호를 제어부(130)로 출력하도록 구현될 수 있다.

도 2는 본 실시예에 따른 컨볼루션 신경망의 구조를 나타낸 도면이다.

이하에서는 본 실시예에 따른 영상 처리장치(100)가 3D 컨볼루션 신경망을 활용하여 대상 프레임에 대한 학습절차를 수행하는 것으로 예시하여 설명하나 반드시 이에 한정되는 것은 아니다. 한편, 이러한, 3D 컨볼루션 신경망을 활용하는 경우 학습 과정에서 프레임 내 공간적인 특성뿐만 아니라 프레임 간 시간적인 특성을 보다 효과적으로 추출 가능하다는 장점이 존재한다.

도 2에 도시하듯이, 본 실시예에 따른 컨볼루션 신경망은 제1 내지 제N 컨볼루션 계층으로 이루어지며, 마지막 계층을 제외한 각 컨볼루션 계층에는 ReLU(Rectified Linear Unit)가 후속된다. ReLU는 컨볼루션 신경망 계층이 깊어짐에 따라 정확성이 떨어지는 것을 막기 위해 사용하는 활성화 함수의 일종을 의미한다.

한편, 도 2에서는 컨볼루션 신경망이 복수 개의 컨볼루션 계층만으로 이루어진 것으로 예시하였으나, 이는 본 실시예에 따른 컬볼루션 신경망을 이용한 학습 절차를 보다 명확하게 설명하기 위한 예시에 불과하며 반드시 이에 한정되는 것은 아니다. 예컨대, 컨볼루션 신경망은 그 내부에 학습 절차 수행과 관련하여 많거나 적은 구성요소 또는 상이한 구성요소의 구성(Configuration)을 가질 수 있음을 인식하여야 한다. 예컨대, 컨볼루션 신경망에는 폴링(Pooling) 계층 등이 추가 구비될 수 있다.

이하, 도 2에는 컨볼루션 신경망이 총 6개의 컨볼루션 계층으로 이루어진 것으로 예시하여 설명하도록 한다.

도 2를 참조하면, 본 실시예에 따른 컨볼루션 신경망은 6개의 컨볼루션 계층으로 이루어지며, 각각의 컨볼루션 계층은 입력 프레임을 적어도 하나의 필터를 이용하여 컨볼빙하여 대상 프레임의 화소값의 변화 특징을 나타내는 적어도 하나의 특징 맵(Feature Map)을 생성한다.

본 실시예에 있어서, 제1 컨볼루션 계층은 앞서 입력 프레임 내 적어도 하나의 더미 프레임을 외삽하는 과정을 거쳐 재구성된 입력 프레임을 수신하여 최초 특징 맵을 생성하고, 제2 내지 제6 컨볼루션 계층은 선행 컨볼루션 계층으로부터 생성된 특징 맵을 입력 프레임으로 수신하여 새로운 특징 맵을 생성한다. 한편, 이러한 복수 개의 컨볼루션 계층을 거쳐 생성되는 특징 맵은 다수의 학습 과정을 거침에 따라 대상 필드의 화소값의 변화 특징이 부각되어 나타나게 된다.

보다 자세하게는, 제1 내지 제6 컨볼루션 계층은, 각 컨볼루션 계층으로 입력되는 프레임을 서로 상이한 필터 계수를 갖는 복수 개의 필터를 이용하여 컨볼빙하여 복수 개의 특징 맵(ex: 필터당 하나의 특징 맵)을 생성한다. 이후, 각각의 컨볼루션 계층으로부터 출력되는 복수 개의 특징 맵은 후속 컨볼루션 계층에 의해 하나의 그룹으로 조합되고, 조합된 특징 맵은 해당 컨볼루션 계층의 필터를 이용하여 컨볼빙되게 된다. 한편, 각각의 컨볼루션 계층에서 수행되는 컨볼빙 동작은 종래의 컨볼루션 계층에서 수행되는 컨볼빙 동작과 동일하며 이에 자세한 설명은 생략하도록 한다.

본 실시예의 경우 제2 내지 제6 컨볼루션 계층 중 마지막 컨볼루션 계층을 제외한 적어도 하나의 컨볼루션 계층은 상기의 조합된 특징 맵을 복수 개의 필터에 적용하기 앞서, 조합된 특징 맵 내 적어도 하나의 더미 프레임을 외삽하는 과정을 추가로 수행할 수 있다. 이는, 복수 개의 컨볼루션 계층을 이용한 학습 과정에서 은닉 계층이 깊어질 수록 시간적 정보가 감소됨으로 인해 발생할 수 있는 성능 열화를 방지하기 위해 수행될 수 있다.

한편, 본 실시예의 경우 그 성능 등의 요인들을 고려하여 제2 내지 제4 컨볼루션 계층에서 상기의 더미 프레임 외삽 과정이 수행되는 것으로 예시하였으나 반드시 이에 한정되는 것은 아니다. 예컨대, 상기의 더미 프레임 외삽 과정을 추가 수행하는 컨볼루션 계층의 조합은 실시예에 따라 다양하게 결정될 수 있다.

또한, 본 실시예에서는 제1 컨볼루션 계층의 경우 편의상 사전에 더미 프레임의 외삽이 이루어진 입력 프레임(=재구성된 입력 프레임)을 수신하는 것으로 명시하였으나 반드시 이에 한정되는 것은 아니다. 예컨대, 제1 컨볼루션 계층 또한 다른 후속 컨볼루션 계층과 마찬가지로, 직접 입력 프레임 내 더미 프레임을 외삽하는 과정을 수행토록 구현될 수 있다.

최종적으로 제6 컨볼루션 계층은, 제5 컨볼루션 계층으로부터 입력 받은 복수 개의 특징 맵을 조합하고, 조합된 특징 맵을 하나의 필터를 이용하여 컨볼빙함으로써 최종 특징 맵을 출력한다. 이때, 최종 특징 맵은 앞서 설명하였듯이, 대상 프레임을 구성하는 영역 각각에 대응되는 고해상도 잔차 신호일 수 있다.

한편, 제6 컨볼루션 계층은, 대상 프레임에 대한 목표 해상도에 기반하여 그 필터 갯수가 상이하게 결정될 수 있다. 예컨대, 본 실시예의 경우 제6 컨볼루션 계층은, 대상 프레임의 원본 해상도 대비 2배의 크기를 갖는 고해상도 영상이 생성될 수 있도록 하기 위해 총 4개의 필터를 구비한 형태로 구현될 수 있다. 이 경우, 제6 컨볼루션 계층은 대상 프레임을 구성하는 4개(좌상, 우상, 좌하, 우하)의 영역 각각에 대응되는 고해상도 잔차 신호를 최종 특징 맵으로서 출력하게 된다. 한편, 본 실시예의 경우 각각의 필터를 통해 출력되는 특징 맵은 대상 프레임의 원본 해상도와 동일한 해상도를 갖는 특징 맵이 출력되게 된다.

한편, 다른 실시예에서, 제1 내지 제6 컨볼루션 계층은, 각 컨볼루션 계층으로 입력되는 프레임을 서로 상이한 필터 계수를 갖는 복수 개의 필터를 이용하여 컨볼빙하여 복수 개의 특징 맵으로 이루어진 복수 개의 특징 맵 그룹(ex: 필터당 하나의 특징 맵 그룹)을 생성할 수 있다. 이후, 각각의 컨볼루션 계층으로부터 출력되는 복수 개의 특징 맵 그룹은 후속 컨볼루션 계층에 의해 하나의 그룹으로 조합되고, 조합된 특정 맵은 해당 컨볼루션 계층의 필터를 이용하여 컨볼빙되게 된다.

마찬가지로, 제2 내지 제6 컨볼루션 계층 중 마지막 컨볼루션 계층을 제외한 적어도 하나의 컨볼루션 계층은 상기의 조합된 특징 맵을 복수 개의 필터에 적용하기 앞서, 조합된 특징 맵 내 적어도 하나의 더미 프레임을 외삽하는 과정을 추가로 수행할 수 있다.

이러한, 본 발명의 다른 실시예에 의하는 경우 컨볼루션 신경망 내 구성되는 복수 개의 컨볼루션 계층이 모두 동일한 구조로 설계 가능하다는 효과가 있다.

도 3은 본 실시예에 따른 컨볼루션 신경망을 이용한 영상 화질 개선방법을 설명하기 위한 개념도이다.

도 3에 도시하듯이, 본 실시예에 따른 컨볼루션 신경망을 이용한 영상 화질 개선방법은 ① 내지 ④의 단계로 이루어진다.

① 영상 처리장치(100)는 컨텐츠 제공장치로부터 화질 개선의 대상이되는 대상 프레임을 포함하는 일련의 연속된 입력 프레임을 수신하고, 수신한 입력 프레임 내 적어도 하나의 더미 프레임을 외삽하여 입력 프레임을 재구성한다.

②, ③ 영상 처리장치(100)는 단계 ①에서 재구성된 입력 프레임을 컨볼루션 신경망에 입력하여 학습을 수행하고, 학습 결과에 따라 대상 프레임의 화소값의 변화 특징을 산출한다. 이때, 대상 프레임의 화소값의 변화 특징은 대상 프레임을 구성하는 복수 개의 영역 각각에 대응되는 고해상도 잔차 신호일 수 있다.

④ 영상 처리장치(100)는 단계 ③에서 산출한 대상 프레임의 화소값의 변화 특징을 기반으로 대상 프레임에 대한 화질 개선을 수행한다. 단계 ④에서 영상 처리장치(100)는 단계 ③에서 산출된 고해상도 잔차 신호를 조합하여 조합신호를 생성하고, 이를 업샘플링된 대상 프레임의 화소값에 더함으로써 대상 프레임의 화질 개선을 수행한다. 결과적으로, 본 실시예에 따른 영상 처리장치(100)는 대상 프레임의 원본 해상도 대비 2배의 크기를 갖는 고해상도 영상을 생성하게 된다.

도 4는 본 실시예에 따른 컨볼루션 신경망에 적용되는 입력 프레임을 예시한 예시도이다.

도 4에 도시하듯이, 본 실시예에 따른 영상 처리장치(100)는 대상 프레임을 중심으로 이전 N(N=자연수)개의 프레임 및 이후 N개의 프레임으로 이루어진 입력 프레임을 수신한다.

이후, 영상 처리장치(100)는 입력 프레임을 컨볼루션 신경망에 적용함에 있어서, 입력 프레임 내 적어도 하나의 더미 프레임을 외삽하여 입력 프레임을 재구성하고, 재구성된 입력 프레임을 컨볼루션 신경망에 적용한다. 예컨대, 영상 처리장치(100)는 입력 프레임 전후에 각각 하나 이상의 더미 프레임을 외삽하고, 이를 통해 재구성된 입력 프레임을 컨볼루션 신경망의 입력으로서 제공할 수 있다.

본 실시예의 경우 이러한, 입력 프레임 내 더미 프레임의 외삽 과정은 컨볼루션 신경망을 이용한 학습 과정에서도 기 정의된 횟수 만큼 반복 수행될 수 있다.

도 5는 본 실시예에 따른 영상 화질 개선방법을 설명하기 위한 순서도이다.

영상 처리장치(100)는 컨텐츠 제공장치로부터 화질 개선 대상이되는 대상 프레임을 포함하는 일련의 연속된 입력 프레임을 수신한다(S502).

영상 처리장치(100)는 단계 S502에서 수신한 입력 프레임 내 적어도 하나의 더미 프레임을 외삽하여 입력 프레임을 재구성한다(S504). 단계 S504에서 영상 처리장치(100)는 입력 프레임 전후에 각각 하나 이상의 더미 프레임을 외삽하여 입력 프레임을 재구성할 수 있다.

영상 처리장치(100)는 단계 S504에서 재구성된 입력 프레임을 컨볼루션 신경망에 적용하여 대상 프레임의 화소값의 변화 특징을 산출한다(S506). 본 실시예에 있어서, 컨볼루션 신경망은 하나 이상의 3-D 컨볼루션 계층으로 이루어지며, 각각의 컨볼루션 계층이 적어도 하나의 필터를 통해 대상 프레임의 화소갑의 변화 특징을 산출토록 하는 구조로 구현될 수 있다.

단계 S506에서 영상 처리장치(100)는 상기의 화소값의 변화 특징으로서 대상 프레임에 대응되는 고해상도 잔차(Residual) 신호를 산출할 수 있다. 이때, 고해상도 잔차 신호는 대상 프레임에 대한 고해상도 영상 신호와 보간(Bicubic Upsampling) 영상 신호 사이의 차분 신호일 수 있다.

영상 처리장치(100)는 단계 S502에서 수신한 대상 프레임 및 단계 S506에서 산출한 대상 프레임의 화소값의 변화 특징을 기반으로 대상 프레임에 대한 화질 개선을 수행한다(S508). 단계 S508에서 영상 처리장치(100)는 단계 S502에서 수신한 대상 프레임을 업샘플링하고, 업샘플링된 대상 프레임 내 단계 S506에서 산출된 고해상도 잔차 신호를 반영함으로써 대상 프레임의 원본 해상도 대비 2배의 크기를 갖는 고해상도 영상을 생성한다.

여기서, 단계 S502 내지 S508은 앞서 설명된 영상 처리장치(100)의 각 구성요소의 동작에 대응되므로 더 이상의 상세한 설명은 생략한다.

도 5에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 5에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.

전술한 바와 같이 도 5에 기재된 영상 화질 개선방법은 프로그램으로 구현되고 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 기록될 수 있다.

도 6은 본 실시예에 따른 영상 화질 개선방법의 효과를 설명하기 위한 예시도이다. 한편, 도 6의 (a)는 종래의 Bicubic 보간 방법에 따라 생성된 보간 영상을 예시하였으며, 도 6의 (b)는 본 실시예에 따른 영상 화질 개선방법에 의해 생성된 초해상화 영상을 예시하였다.

도 6의 (a) 및 (b)를 참조하면, 본 실시예에 따른 영상 화질 개선방법에 의하는 경우 기존 대비 높은 화질의 초해상화 영상이 생성되는 것을 확인할 수 있다.

이러한, 본 실시예에 따른 영상 화질 개선방법에 의하는 경우 컨볼루션 신경망을 사용해 영상의 화질을 개선함에 있어서 움직임 보상 과정을 수행하지 않고 전후 인접 프레임의 시공간적 정보를 활용함으로써 그 수행 과정에 대한 복잡도를 감소시키면서도 높은 화질의 초해상화 영상이 생성 가능한 효과가 있다.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 영상 처리장치 110: 입력부
120: 학습부 130: 제어부

Claims (13)

1. 화질 개선의 대상이 되는 대상 프레임을 포함한 일련의 연속된 입력 프레임을 수신하는 입력부;
   상기 입력 프레임 내 적어도 하나의 더미(Dummy) 프레임을 외삽하여 상기 입력 프레임을 재구성하고, 재구성된 입력 프레임을 컨볼루션 신경망에 적용하여 상기 대상 프레임의 화소값의 변화 특징을 산출하는 학습부; 및
   상기 대상 프레임 및 상기 변화 특징을 기반으로 상기 대상 프레임에 대한 화질 개선을 수행하는 제어부
   를 포함하는 것을 특징으로 하는 영상 처리장치.
2. 제 1항에 있어서,
   상기 입력부는,
   상기 대상 프레임을 중심으로 이전 N(N=자연수)개의 프레임 및 이후 N개의 프레임으로 이루어진 상기 입력 프레임을 수신하는 것을 특징으로 하는 영상 처리장치.
3. 제 1항에 있어서,
   상기 학습부는,
   상기 입력 프레임 전후에 각각 하나 이상의 상기 더미 프레임을 외삽하여 상기 입력 프레임을 재구성하는 것을 특징으로 하는 영상 처리장치.
4. 제 3항에 있어서,
   상기 더미 프레임은,
   제로 프레임인 것을 특징으로 하는 영상 처리장치.
5. 제 1항에 있어서,
   상기 학습부는, 상기 변화 특징으로서, 상기 대상 프레임에 대응되는 고해상도 잔차 신호를 산출하고,
   상기 제어부는, 상기 대상 프레임을 목표 해상도로 업샘플링하고, 업샘플링된 대상 프레임 내 상기 고해상도 잔차 신호를 적용하여 상기 대상 프레임에 대한 화질 개선을 수행하는 것을 특징으로 하는 영상 처리장치.
6. 제 5항에 있어서,
   상기 학습부는, 상기 대상 프레임을 구성하는 N²(N=2이상의 자연수)개의 영역 각각에 대응되는 상기 고해상도 잔차 신호를 산출하고,
   상기 제어부는, 각각의 영역에 대하여 산출된 고해상도 잔차 신호를 조합한 조합 신호를 상기 업샘플링된 대상 프레임 내 적용하는 것을 특징으로 하는 영상 처리장치.
7. 제 6항에 있어서,
   상기 복수 개의 영역은,
   상기 목표 해상도에 따라 기 정의되는 것을 특징으로 하는 영상 처리장치.
8. 제 1항에 있어서,
   상기 컨볼루션 신경망은,
   3D 컨볼루션 신경망으로서, 제1 내지 제N 컨볼루션 계층으로 이루어지며, 각각의 컨볼루션 계층은 입력 프레임을 서로 상이한 필터 계수를 갖는 복수 개의 필터를 이용하여 컨볼빙하여 상기 대상 프레임의 화소값의 변화 특징을 나타내는 특징 맵을 생성하는 것을 특징으로 하는 영상 처리장치.
9. 제 8항에 있어서,
   상기 제1 컨볼루션 계층은 상기 재구성된 입력 프레임을 수신하여 최초 특징 맵을 생성하고, 제2 내지 제N 컨볼루션 계층은 선행 컨볼루션 계층으로부터 생성된 특징 맵을 입력 프레임으로서 수신하여 새로운 특징 맵을 생성하는 것을 특징으로 하는 영상 처리장치.
10. 제 8항에 있어서,
    상기 제1 내지 제N 컨볼루션 계층은, 상기 입력 프레임을 서로 상이한 필터 계수를 갖는 복수 개의 필터를 이용하여 컨볼빙하여 복수 개의 특징 맵을 생성하되,
    상기 제N 컨볼루션 계층은, 상기 대상 프레임에 대한 목표 해상도에 기반하여 필터 갯수가 상이하게 결정되는 것을 특징으로 하는 영상 처리장치.
11. 제 10항에 있어서,
    상기 제2 내지 제N 컨볼루션 계층은,
    선행 컨볼루션 계층으로부터 입력받은 복수 개의 특징 맵을 조합하고, 조합된 특징 맵을 상기 복수 개의 필터를 이용하여 컨볼빙하는 것을 특징으로 하는 영상 처리장치.
12. 제 11항에 있어서,
    상기 제2 내지 제N 컨볼루션 계층 중 상기 제N 컨볼루션 계층을 제외한 적어도 하나의 컨볼루션 계층은 상기 조합된 특징 맵을 상기 복수 개의 필터에 적용 시 상기 조합된 특징 맵 내 적어도 하나의 더미 프레임을 외삽하는 것을 특징으로 하는 영상 처리장치.
13. 영상 처리장치의 영상 화질 개선방법에 있어서,
    화질 개선의 대상이 되는 대상 프레임을 포함한 일련의 연속된 입력 프레임을 수신하는 과정;
    상기 입력 프레임 내 적어도 하나의 더미 프레임을 외삽하여 상기 입력 프레임을 재구성하고, 재구성된 입력 프레임을 컨볼루션 신경망에 적용하여 상기 대상 프레임의 화소값의 변화 특징을 산출하는 과정; 및
    상기 대상 프레임 및 상기 변화 특징을 기반으로 상기 대상 프레임에 대한 화질 개선을 수행하는 과정
    을 포함하는 것을 특징으로 하는 영상 화질 개선방법.

Images