KR20150093993A - 초해상도 영상 복원 방법 및 장치 - Google Patents

Abstract

본 발명은 초고해상도 영상을 복원하는 방법 및 장치에 관한 것으로서, 본 발명에 따른 초고해상도 영상의 복원 장치의 일 예에 의하면, 패치 분석부, 유사도 측정부, 유사패치 결정부를 포함하는 유사 패치 검색부에서 검색된 유사 패치를 이용하여 재귀적 방법을 통해 초고해상도의 영상을 효과적으로 복원할 수 있다.

Description

초해상도 영상 복원 방법 및 장치{METHOD AND APPARATUS FOR IMAGE RECONSTRUCTION USING SUPER-RESOLUTION}

본 발명은 초해상도 영상 복원 기법에 관한 것으로서, 보다 상세하게는 초해상도 알고리듬에서의 유사 패치 검색 방법 및 장치에 관한 것이다.

최근 HD(High Definition) 해상도의 영상 콘텐츠가 다양한 모바일 단말 및 TV에 제공 되면서 많은 사용자들이 고해상도, 고화질의 영상에 익숙해져 있으며 이에 따라 기존 촬영된 영상을 고해상도로 복원하는 기술이 주목을 받고 있다.

또한, 최근에는 HDTV의 4배 해상도를 가지는 UHD(Ultra High Definition) TV 에 대한 관심이 증대되어 이에 따른 UHD 콘텐츠 확보가 중요한 사안이므로 기존 콘텐츠를 UHD 콘텐츠로 변환 할 수 있는 초해상도 영상 복원 알고리듬은 모바일 단말 및 TV에서 핵심 기술로 부각되고 있다.

초해상도 영상 복원을 위해, 주어진 저해상도 픽셀 값들을 보간하여 고해상도 픽셀 값들을 예측하는 보간 (interpolation) 기술, 여러 장의 저해상도 이미지와 카메라 모델링을 이용하여 고해상도 이미지를 예측하고 그 오류를 최소화 시키는 복원 (reconstruction) 기술, 여러 영상에서의 트레이닝(training)을 통해 저해상도, 고해상도 패치 쌍을 구성하여 저장하고 그를 이용하여 영상을 복원하는 학습 기반 복원(example-based reconstruction) 기술 등을 사용할 수 있다.

복원 기술과 학습 기반 복원과 관련된 초해상도 기술에서는 이미지 간의 서로 상응하는 부분을 검색하는 영상 매칭(image matching) 기법이 사용된다. 영상 매칭을 위해 영상의 픽셀 값을 비교하는 인텐시티(intensity) 기반 검색 기술과 이미지 내의 물체의 특징을 비교하는 특징(feature) 기반 검색 기술 등을 사용할 수 있다.

한편, 이와 같은 초해상도 영상의 복원에서는 유사 패치를 검색하고 이를 기반으로 영상을 복원하는 과정을 거치게 되는데, 종래의 유사 패치 검색 방법에서는 픽셀 값 등의 객관적인 수치를 이용하여 검색을 수행함으로써 유사 패치를 찾아내는데 한계가 있을 수 있다. 따라서, 복원 영상의 주관적 화질(subjective quality)이 저하되는 문제가 생길 수 있으므로, 이를 해결하기 위한 방법이 필요하다.

본 발명은 초해상도 복원 영상의 주관적 화질을 향상 시키기 위하여 유사 패치를 검색하는 초해상도 영상 복원 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명의 일 실시 형태는, 패치 분석부, 유사도 측정부, 유사패치 결정부 중 최소 하나 이상을 포함하는 유사패치 검색부를 갖는 초해상도 영상 복원 방법 및 장치이다.

본 발명의 다른 실시 형태는, 선명도 측정부, 일반 유사도 측정부, 에지 유사도 측정부, 유사패치 결정부 중 최소 하나 이상을 포함하는 유사패치 검색부를 갖는 초해상도 영상 복원 방법 및 장치이다.

본 발명의 또 다른 실시 형태는 유사도 측정부, 유사패치 결정부 중 최소 하나 이상을 포함하는 유사패치 검색부를 갖는 초해상도 영상복원 방법 및 장치이다.

본 발명에 의하면, 사람의 시각적 인지 특성을 이용해서 유사 패치를 찾는 검색 방법을 사용하여 초해상도 영상의 주관적 화질을 향상시킬 수 있다.

도 1은 본 발명이 적용되는 초해상도 영상 복원 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 유사 패치 검색부에서 시각적 특성을 이용하는 유사 패치 검색 방법을 설명하는 블록도이다.
도 3은 패치 분석부에서 입력 영상 패치에 따른 가중치 α와 β 값의 예를 나타낸 도면이다.
도 4와 도 5는 유사 패치 검색부에서 시각적 특성을 이용하여 유사 패치 검색을 하는 방법을 설명하는 블록도이다.
도 6과 도 7은 재귀적 구조를 가지는 유사 패치 검색 실시예의 유사 패치 결정 과정을 개략적으로 나타내는 도면이다.
도 8은 계층적 초해상도 영상 복원 방법 및 장치를 개략적으로 나타내는 도면이다.
도 9는 본 발명에 따른 영상 복원 방법의 일 예를 개략적으로 설명하는 순서도이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 본 발명이 적용되는 초해상도 영상 복원 장치의 일 실시예에 따른 구성을 개략적으로 설명하는 블록도이다.

후술하는 실시예에서는 도 1에서와 같이 자가 유사성(self similarity)를 기반으로 하는 초해상도 영상 복원의 과정을 예로서 설명하지만, 본 발명은 이에 한정되지 않으며, 다른 초해상도 영상의 복원 방법 및 장치에도 동일하게 적용될 수 있다.

도 1을 참조하면, 초해상도 영상 복원 장치(100)는 주파수 영역 분할부(110), 해상도 변환부(120), 패치 분할부(130), 유사 패치 검색부(140), 패치 복사 및 매핑부(150), 주파수 영역 융합부(160), 배경 투사부(170), 패치 합성부(180)를 포함한다.

초해상도 영상 복원 장치(100)에 입력되는 영상은 주파수 영역별로 분할될 수 있다. 자가 유사성을 이용한 영상 복원 방법에서는 저주파 영역 영상과 고주파 영역 영상을 함께 이용하여 영상을 복원하기 때문에 주파수 영역 분할이 필요하다.

구체적으로, 주파수 영역 분할부(110)는 로우 패스 필터(lowpass filter)를 적용하여 저주파 영역의 영상을 획득할 수 있다. 주파수 영역 분할부(110)는 입력 영상과 저주파 영역 영상의 차분을 이용하여 고주파 영역의 영상을 획득할 수 있다. 이와 같이, 주파수 영역 분할부(110)는 입력 영상을 주파수 영역별로 분할할 수 있다. 이와 관련하여, 주파수 영역 분할부(110)에서는 로우 패스 필터로서 가우시안 필터(Gaussian filter), 버터워스 필터(Butterworth filter) 등을 이용할 수 있다.

해상도 변환부(120)는 입력 영상에 대하여 업샘플링(upsampling) 또는 다운샘플링(downsampling)을 적용하여, 입력 영상을 하위 해상도의 영상으로 변환하거나 입력 영상을 상위 해상도의 영상으로 변환할 수 있다. 여기서 하위 해상도의 영상은 입력 영상보다 작은 해상도를 가지는 영상이며, 상위 해상도의 영상은 입력 영상보다 큰 해상도를 가지는 영상이다.

입력 영상에 업샘플링을 수행할 때는 보간(interpolation) 방법을 이용할 수 있다. 예를 들어, 보간 방법으로서 쌍일차(bilinear) 보간, 쌍삼차(bicubic) 보간 등을 이용할 수 있다. 여기서, 업샘플링된 영상은 상위 해상도 영상의 저주파 영역으로서의 역할을 할 수 있다.

입력 영상에 다운 샘플링을 수행할 때에는 앨리어싱 효과(aliasing effect)를 방지하기 위해 저주파 필터를 거쳐 다운샘플링을 수행할 수 있다. 다운샘플링된 영상의 저주파 영역 영상 역시 상위 해상도의 고주파 영역 복원에 활용될 수 있다.

패치 분할부(130)는 상위 해상도 영상, 하위 해상도 영상 및 입력 영상의 저주파 영역 영상을 패치(patch) 단위로 분할한다. 여기서, 패치란 특정 크기를 가지는 픽셀들의 집합을 의미하며, 예를 들어 4x4 픽셀 사이즈를 가지는 조각을 의미할 수도 있다.

유사 패치 검색부(140)는 패치 분할부(130)에서 분할된 패치를 이용해서 상위 해상도 영상과 입력 영상 및 하위 해상도 영상 간의 유사 패치를 검색한다. 이때, 유사패치 검색을 위해서 인텐시티(intensity) 기반 검색 기술 및 이미지 내의 물체의 특징을 비교하는 특징(feature) 기반 검색 기술 등을 사용할 수 있다.

유사 패치 검색은 보간된 상위 해상도 영상 내 패치를 기준으로 입력 영상 및 하위 해상도 영상의 저주파 영역에서 이루어진다. 상기 입력 영상 및 하위 해상도 영상의 저주파 영역에서 상기 인텐시티 혹은 특징을 기반으로 검색된 최적의 저주파 패치에 상응하는 고주파 영상 패치를 이용하여 상위 해상도 영상의 고주파 영역이 복원된다.

하지만 상기 인텐시티 혹은 특징을 기반으로 하는 검색 기술은 하나의 객관적 수치를 이용하여 유사 패치 검색을 수행하므로 유사 패치를 찾는데 한계가 있을 수 있다. 따라서 이러한 한계를 극복하기 위해 본 발명에서는 사람이 인지하는 여러 가지 시각적 특성을 기반으로 유사 패치를 검색하는 방법이 이용될 수 있다.

사람이 인지하는 여러 가지 시각적 특성’이란, 예를 들어 밝기(brightness), 명암(contrast), 선명도(sharpness), 구조(structure), 에지(edge) 등일 수 있다.

구체적으로, 밝기(brightness)는 영상 패치의 픽셀값을 비교할 수 있는 척도이다. 밝기는 수학식 1의 예와 같이 영상 패치 내의 평균 픽셀 값을 이용하여 측정할 수 있다.

<수학식 1>

수학식 1에서 μ_patch는 영상 패치의 평균값을 의미하고, (x, y)는 영상 패치 내에 존재하는 픽셀의 좌표를 의미한다. I(x, y)는 픽셀 좌표 (x, y)의 픽셀 값을 의미하고, N은 영상 패치 내에 존재하는 픽셀의 개수를 의미한다.

명암(contrast)은 영상 패치의 밝기에 관한 대조를 비교할 수 있는 척도이다. 명암은 수학식 2의 예 또는 수학식 3의 예와 같이 영상 패치 내의 픽셀 값들의 분산 또는 표준 편차를 이용하여 측정할 수 있다.

<수학식 2>

<수학식 3>

수학식 2와 수학식 3에서 S² _patch와 S_patch는 각각 영상 패치의 분산 값과 표준 편차 값을 의미한다. μ_patch는 영상 패치의 평균값을 의미하고, (x, y)는 영상 패치 내에 존재하는 픽셀의 좌표를 의미한다. I(x, y)는 픽셀 좌표 (x, y)의 픽셀 값을 의미하고, N은 영상 패치 내에 존재하는 픽셀의 개수를 의미한다.

선명도(sharpness)는 영상 패치의 그라디언트(gradient) 세기의 대조를 비교할 수 있는 척도이다. 선명도는 영상 패치의 그라디언트 맵(gradient map)의 표준 편차 또는 분산 값을 이용하여 측정할 수 있다.

그라디언트 맵을 구성함에 있어서는 소벨(Sobel), 샤르(Scharr), 로버츠 크로스(Roberts Cross), 프리윗(Prewitt) 등의 연산자를 사용할 수 있다. 예를 들어, 그라디언트 맵 구성을 위해 수학식 4의 예와 같이 소벨 연산자를 이용할 수 있다.

<수학식 4>

여기서,

수학식 4에서 G_patch는 영상 패치의 그라디언트 맵을 의미한다. A는 영상 패치의 픽셀 값들을 의미하며, G_x와 G_y는 각각 영상 패치 A의 수직 그라디언트 맵과 수평 그라이언트 맵을 의미한다. 또한, 연산자 *는 컨볼루션(convolution) 연산의 연산자이다.

구조(structure)는 두 영상 패치의 개별 픽셀 값들이 얼마나 유사한가를 측정하는 척도이다. 구조는 수학식 5의 예와 같이 영상 패치의 상관 계수(correlation coefficient)를 이용하여 측정할 수 있다.

<수학식 5>

수학식 5에서, S_xy는 영상 패치 x와 y의 상관 계수를 의미한다. μ_x와 μ_y는 각각 영상 패치 x와 y의 평균값을 의미하며, N은 영상 패치 내에 존재하는 픽셀의 개수를 의미한다.

에지(edge)는 두 영상 패치의 에지 성분이 얼마나 유사한가를 측정하는 척도가 된다. 에지는 두 영상 패치의 그라디언트 맵의 상관 계수(correlation coefficient)를 이용하여 측정할 수 있다.

이하, 상기 시각적 특성을 이용하여 유사 패치를 적응적으로 검색하는 방법을 특징으로 하는 본 발명의 구체적인 내용을 설명한다.

도 2는 유사 패치 검색부에서 시각적 특성을 이용하여 유사 패치 검색을 수행하는 일 예를 설명하는 블록도이다.

도 2에서 유사 패치 검색부(200)는 도 1의 유사 패치 검색부(140)에 대응한다.

도 2를 참조하면, 유사 패치 검색부(200)는 패치 분석부(410), 유사도 측정부(420), 유사 패치 결정부(430)를 포함한다.

패치 분석부(410)에 상위 해상도 영상의 패치가 입력되면, 패치 분석부(410)는 해당 패치의 특성을 명암과 선명도를 기반으로 분석한다. 패치 분석부(410)는 분석된 결과에 따라 유사도 측정에 필요한 가중치 α(c)와 β(s)를 결정한다.

이때, α(c)에서 c는 영상 패치의 명암 값을 뜻하며, α(c)는 명암 값을 변수로 하는 함수로서 패치의 구조 유사도에 대한 가중치 역할을 한다. 예컨대, 명암이 높을수록 α(c)이 커진다.

또한, β(s)에서 s는 영상 패치의 선명도 값을 뜻하며, β(s)는 선명도 값을 변수로 하는 함수로서 에지 유사도에 대한 가중치 역할을 한다. 예컨대, 선명도가 높을수록 β(s)가 커진다.

도 3은 패치 분석부의 입력 영상 패치에 따른 가중치 α와 β 값의 예를 보여주는 도면이다.

도 3에서는 상위 해상도 영상의 영상 패치를 예로서 보여주고 있다.

도 3(a) 영상 패치의 명암이 도 3(b) 영상 패치의 명암보다 작으므로, 도 3(a)에서의 α가 도 3(b)에서의 α보다 더 작다는 것을 알 수 있다.

또한, 도 3(a) 영상 패치의 선명도가 도 3(b) 영상 패치의 선명도보다 작으므로, 도 3(a)에서의 β가 도 3(b)에서의 β보다 더 작다는 것을 알 수 있다.

다시 도 2로 돌아와서, 유사도 측정부(420)는 패치들 간의 유사도를 측정하여, 상위 해상도 영상의 패치에 대한 유사도가 가장 높은 패치를 입력 영상 저주파 영역의 영상 패치들과 하위 해상도 영상 저주파 영역의 패치들 중에서 선택함으로써 최적의 패치를 결정할 수 있다.

이때 패치들 간의 유사도 측정은 수학식 6의 예와 같이 수행될 수 있다.

<수학식 6>

수학식 6에서, P_sim은 패치 유사도를 의미한다. 또한, B_sim, S_sim, E_sim은 각각 밝기 유사도, 구조 유사도, 에지 유사도를 의미하며, α(c)와 β(s)는 앞서 설명한 가중치를 의미한다.

수학식 6의 예에서는, 명암값이 큰 영상 패치에 대해 유사 패치를 검색함에 있어서, 구조 유사도(S_sim)에 가중치를 두고 있다. 이는 명암 정도에 따라 물체 구조를 인지하는 사람의 인지 특성을 반영한 것이다.

또한, 수학식 6의 예에서는, 선명도가 큰 영상 패치에 대해 유사 패치를 검색함에 있어서, 에지 유사도(E_sim)에 큰 가중치를 두고 있다. 이는 또한, 선명도가 높은 영상에 대해서 에지 인지율이 높아지는 사람의 인지 특성을 반영한 것이다.

유사 패치 결정부(430)에서는 P_sim 값을 기준으로 유사 패치 후보들 중에서 어느 저주파 영역의 패치가 가장 유사한 패치가 될 것인지를 선정할 수 있다. 이때, 유사 패치 결정부(430)는 상기 수학식 6으로부터 계산된 유사도 값 중 가장 높은 유사도 값을 가지는 패치를 최적의 패치로 결정할 수 있다.

또한, 유사 패치 결정부(430)는 유사도가 높은 여러 유사 패치 후보들에 대해서 패치 P_sim 값에 따라서 다른 가중치를 주어서 조합할 수도 있다. 이 경우, 패치 복사 및 매핑부(150)에서는 선택된 후보 유사 패치들에 상응하는 고주파 영상 패치들에 가중치를 주어 조합함으로써 상위 해상도의 고주파 영역을 복원할 수 있다.

도 4는 유사 패치 검색부에서 시각적 특성을 이용하여 유사 패치 검색을 수행하는 다른 예를 설명하는 블록도이다.

유사 패치 검색부는 도 1의 유사 패치 검색부(140)에 대응할 수 있다.

도 4를 참조하면, 유사 패치 검색부(400)는 선명도 측정부(510), 일반 유사도 측정부(520), 에지 유사도 측정부(530), 유사 패치 결정부(540)를 포함한다.

선명도 측정부(510)에서는 입력된 상위 해상도 영상의 패치에 대하여 선명도 값을 측정하여 일반 유사도 측정을 수행할 것인지 에지 정보를 포함하는 에지 유사도 측정을 수행할 것인지를 결정한다.

입력 영상 패치의 선명도 값이 크지 않을 경우, 일반 유사도 측정부(520)는 상위 해상도 영상의 패치를 입력 영상의 패치들 및 하위 해상도 저주파 영상의 패치들과 비교하여 밝기, 명암, 구조의 유사도를 구한 후, 이것들을 종합하여 유사도를 판단할 수 있다.

일반 유사 패치 검색을 수행할 때, 종래의 픽셀 값만을 이용한 비교로는 번짐 현상이나 작은 노이즈들이 있는 영상 패치에 대한 유사도 판단의 정확성이 떨어지기 때문에 복원 영상의 주관적 화질이 떨어질 수 있다.

유사도를 판단함에 있어서, 두 영상 패치 간의 평균 밝기와 명암 정도 및 픽셀 값의 공간적 상관 관계까지 고려하여 유사도를 평가하면, 주관적으로 유사한 패치를 더 효과적으로 찾을 수 있다.

일반 유사 패치 검색에 있어서 패치의 유사도는 수학식 7의 예와 같이 결정될 수 있다.

<수학식 7>

수학식 7에서 P_sim은 패치 유사도를 의미한다. B_sim, C_sim, S_sim은 각각 밝기 유사도, 명암 유사도, 구조 유사도를 의미한다. β, γ, σ는 각각 밝기 유사도, 명암 유사도, 구조 유사도의 범위에 대한 정상화 계수로서 각 유사도의 범위를 한정한다. 또한, λ는 식 전체에 대한 정상화 계수이다.

한편, 입력 영상 패치의 선명도 값이 큰 경우에 영상 패치의 에지 영역에 대한 유사도를 고려하지 않으면, 유사 패치의 주관적 화질이 떨어질 가능성이 있다. 이 경우, 에지 유사도 측정부(520)는 에지 영역의 유사도를 고려하여, 상위 해상도 영상의 패치와 입력 영상의 패치 및 하위 해상도 저주파 영역의 영상 패치 간 유사도를 판단할 수 있다.

에지를 고려한 유사도 측정시, 종래와 같이 그라디언트의 세기 값만을 이용한 비교로는 패치의 전체적인 휘도나 명암 정도, 그라디언트의 방향 등에 대한 정보가 부족하기 때문에 복원 영상의 주관적 화질이 떨어질 수 있다.

유사성을 판단함에 있어서, 두 영상 패치 간 그라디언트 맵 상관 관계뿐만 아니라, 평균 밝기와 명암 정도 그리고 픽셀 값의 공간적 상관 관계까지 고려하여 유사도를 평가하면 주관적으로 유사한 패치를 더 효과적으로 찾을 수 있다.

에지 유사도를 고려하여 유사 패치를 검색하는 경우에, 패치의 유사도는 수학식 8의 예와 같이 결정할 수 있다.

<수학식 8>

수학식 8에서 P_sim은 패치 유사도를 의미한다. E_sim, B_sim, C_sim, S_sim은 각각 에지 유사도, 밝기 유사도, 명암 유사도, 구조 유사도를 의미한다. ε, β, γ, σ는 각각 에지 유사도, 밝기 유사도, 명암 유사도, 구조 유사도의 범위에 대한 정상화 계수로 각 유사도의 범위를 한정한다. 또한, λ는 식 전체에 대한 정상화 계수이다.

유사 패치 결정부(540)에서는 유사 패치 후보들 중 어느 저주파 영역 패치가 가장 유사한 패치가 될 것인지를 P_sim 값을 기준으로 결정할 수 있다. 이때, 수학식 8로부터 계산된 유사도 값들 중 가장 높은 값을 가지는 패치를 최적의 패치로 결정할 수 있다.

또한, 유사도 패치 결정부(540)는 유사도가 높은 여러 유사 패치 후보들에 대하여 패치 P_sim 값에 따라 다른 가중치를 주어 조합할 수도 있다. 이 경우, 패치 복사 및 매핑부(150)에서는 선택된 후보 유사 패치들에 상응하는 고주파 영상 패치들에 가중치를 주어서 조합함으로써 상위 해상도의 고주파 영역을 복원할 수 있다.

도 5는 유사 패치 검색부에서 시각적 특성을 이용하여 유사 패치를 검색하는 또 다른 실시예를 설명하는 블록도이다. 유사 패치 검색부는 도 1의 유사 패치 검색부(140)에 대응할 수 있다.

도 5의 실시예는 재귀적 구조를 가지는 유사 패치 검색 방법에도 동일하게 적용될 수 있다.

도 6은 재귀적 구조를 가지는 유사 패치 검색 실시예에 있어서, 유사 패치의 결정 과정을 개략적으로 설명하는 도면이다.

이하, 도 5 및 도 6을 참조하여 유사 패치 검색에 관하여 설명한다.

도 5를 참조하면, 유사 패치 검색부(500)는 유사도 측정부(610) 및 유사 패치 결정부(620)를 포함한다.

유사도 측정부(610)에 입력 영상의 영상 패치들 및 하위 해상도 저주파 영역의 영상 패치들이 입력되면, 상위 해상도 영상 패치를 기준으로 패치 간 유사도를 결정한다.

이때 유사도 측정부(610)는 하나의 시각적 특성에 대한 유사도를 측정하여 유사 패치 결정부(620)에 전달한다. 예를 들어, 유사도 측정부(610) 첫 단계로 밝기 유사도를 측정하여 유사 패치 결정부(620)에 전달한다. 유사 패치 결정부(620)는 일정 유사도 한계점(threshold)을 넘긴 유사 패치들을 선정하여 다시 유사도 측정부(610)에 전달한다.

유사도 측정부(610)에서는 선정된 유사 패치들에 대하여 다른 시각적 특성에 대한 유사도를 측정하여 유사 패치 결정부(620)에 전달한다. 예를 들어 밝기 유사도 기반으로 선정된 유사 패치들(630)에 대하여 구조 유사도를 측정하여 유사 패치 결정부(620)에서 일정 유사도 한계점을 넘긴 유사 패치들(640)을 선정하도록 한다. 선정된 유사 패치들(630)은 다시 유사도 측정부(610)로 전달된다.

이어서, 다른 시각적 특성에 대한 유사도 측정을 반복 시행한다. 예컨대, 밝기 유사도와 구조 유사도를 기반으로 선정된 유사 패치들(640)에 대해 에지 유사도를 측정하여, 에지 유사도의 한계점을 넘긴 유사 패치들을 선정할 수도 있다.

상기 방법을 이용하여 최종 선택된 유사 패치들에 대해서는 그 유사도 값에 따라 값에 따라 다른 가중치를 주어 조합할 수 있다. 이 경우 패치 복사 및 매핑부(150)에서는 선택된 후보 유사 패치들에 상응하는 고주파 영상 패치들에 가중치를 주어 조합하여 상위 해상도의 고주파 영역을 복원할 수 있다.

상기 방법을 사용할 때, 유사도 측정부(610)에서 사용할 시각적 특성과 그 적용 순서는 다양할 수 있다. 예를 들어 밝기, 명암, 선명도, 구조, 대조 등의 특성을 다 사용할 수도 있고, 그 일부를 사용하거나 다른 시각적 특성을 이용 할 수도 있다.

또한, 도 6의 예에서는 밝기 유사도, 구조 유사도, 에지 유사도를 순서대로 적용하였으나, 본 발명은 이에 한정되지 않는다. 예컨대, 밝기, 명암, 선명도, 구조, 대조 등의 특성을 적용하는 순서를 적응적으로 결정하여 적용할 수 있다. 또한, 밝기, 명암, 선명도, 구조, 대조 등의 특성을 미리 정해진 순서에 따라서 적용할 수 있다.

예컨대, 도 6에서는 밝기 유사도, 구조 유사도, 에지 유사도의 순서를 적용하였으나, 이와 달리 에지 유사도, 구조 유사도, 밝기 유사도의 순서를 적용하거나, 를 순서대로 적용하거나, 구조 유사도, 에지 유사도, 밝기 유사도의 순서를 적용할 수도 있다.

도 7은 재귀적 구조를 가지는 유사 패치 검색에 있어서 유사 패치 결정 과정의 일 예를 개략적으로 설명하는 도면이다.

다시 도 7을 참조하여, 도 5의 예를 설명하면, 유사도 측정부(610)에 입력 영상의 영상 패치들 및 하위 해상도 저주파 영역의 영상 패치들이 입력되면 상위 해상도 영상 패치를 기준으로 그 유사도를 측정한다.

이때, 유사도 측정부(610)는 하나의 시각적 특성에 대한 유사도를 측정하여 유사 패치 결정부(620)에 전달한다. 예를 들어 유사도 측정부(610)는 첫 단계로 밝기 유사도를 측정하여 유사 패치 결정부(620)에 전달할 수 있다. 유사 패치 결정부(620)는 일정 유사도 한계점(threshold)을 넘긴 입력 영상의 영상 패치 및 하위 해상도 저주파 영역의 영상 패치에 대하여 특정 범위를 가지는 점수를 부여할 수 있다. 예를 들어, 밝기 유사도가 유사도 한계점을 넘긴 영상 패치에 대해서는 유사도 정도에 따라 1 ~ 5 점 그렇지 못한 영상 패치에 대해서는 0점을 부여할 수 있다.

유사 패치 결정부(620)는 각 저주파 영역의 영상 패치에 부여된 점수를 저장한다.

유사도 측정부(610)는 다른 시각적 특성에 대한 유사도를 측정하여 유사 패치 결정부(620)에 전달할 수 있다. 유사 패치 결정부(620)는 일정 유사도 한계점(threshold)을 넘긴 유사 패치들에 대하여 마찬가지로 특정 범위를 가지는 점수를 부여한다. 예를 들어, 구조 유사도가 유사도 한계점을 넘은 영상 패치에 대해서는 유사도 정도에 따라 1 ~ 5점, 그렇지 못한 영상 패치에 대해서는 0점을 부여할 수 있다.

유사도 측정부(610)와 유사 패치 결정부(620)는 다른 시각적 특성(선명도, 에지 등)에 대하여 상기 유사도 측정 및 점수 부여 과정을 반복 시행할 수 있다.

유사 패치 검색부(또는 유사 패치 결정부)는 각 시각적 특성에 대하여 부여된 점수들을 종합하여 그 점수가 높은 입력 해상도 및 하위 해상도 저주파 영역 영상 패치들을 유사 패치 후보로 선정한다.

상기 방법을 이용하여 선택된 유사 패치들 중 가장 높은 점수를 가지는 패치를 최적의 패치로 결정할 수 있다.

도 7에서는 시각적 특성 중 밝기, 명암, 선명도, 에지를 이용하는 경우를 예로서 설명하고 있다. 도 7의 예에서는, 각 시각 특성별 유사도 점수가 가장 높은 영상 패치 3이 최적의 패치로 선택될 수 있다.

한편, 유사도가 높은 여러 유사 패치 후보들에 대해서는 점수 값에 따라 다른 가중치를 주어 조합할 수도 있다. 이 경우 패치 복사 및 매핑부(150)에서는 선택된 후보 유사 패치들에 상응하는 고주파 영상 패치들에 가중치를 주어 조합함으로써, 상위 해상도의 고주파 영역을 복원할 수 있다.

상기 방법을 사용할 때, 유사도 측정부(610) 에서 사용할 시각적 특성은 다양할 수 있다. 예를 들어 밝기, 명암, 선명도, 구조, 대조 등의 특성을 다 사용할 수도 있고, 그 일부를 사용하거나 다른 시각적 특성을 이용할 수도 있다. 도 7의 예에서는 상술한 바와 같이, 밝기, 명암, 선명도, 에지의 4 가지 특성만을 사용하고 있다.

다시 도 1의 초해상도 영상 복원 장치로 돌아와서, 상기 유사 패치 검색 과정 이후 패치 복사 및 매핑부(150)에서는 선택된 입력 영상의 유사 패치 및 하위 해상도 저주파 영역의 유사 패치에 상응하는 고주파 영상 패치를 이용하여 상위 해상도의 고주파 영역을 복원할 수 있다.

이 과정에서 유사 패치 검색부(140)가 하나의 유사 패치를 선정한 경우에는 그에 상응하는 고주파 영상 패치를 이용할 수 있다. 여러 유사 패치에 대하여 가중치가 주어진 경우에는 상응하는 고주파 영상 패치에 같은 가중치를 적용한 후 이를 조합하여 상위 해상도 고주파 영역 복원에 사용할 수 있다.

주파수 영역 융합부(160)는 저주파 영상 패치와 복원된 고주파 영상 패치를 조합하여 공간 영역(spatial domain)의 패치를 생성할 수 있다.

배경 투사부(170)는 복원된 패치를 하위 해상도로 다운샘플링 하여 하위 해상도 패치와의 차분(residual)을 파악하고 그 차이 값을 업스케일링 하여 복원 패치에 적용하는 배경 투사(backward projection)를 수행할 수 있다. 또한, 배경 투사부(170)는 보다 정밀한 복원을 위해서 배경 투사(iterative backward projection)를 반복적으로 수행(반복적 배경 투사)할 수 있다.

패치 합성부(180)는 생성된 고해상도 패치들을 조합하여 고해상도 영상으로 복원한 뒤 복원된 초해상도 영상을 출력한다.

한편, 패치 분할부(130)에서 상위 해상도 영상을 패치 단위로 분할 할 때 패치들 사이의 중첩되는 영역이 존재하도록 패치를 분할 하고, 그에 상응하는 유사 패치를 검색하였다면 복원된 상위 해상도 고주파 영역 패치들 간에도 중첩된 영역이 존재할 수 있다. 이 경우 후처리 단계를 통하여 패치들을 조합하여 고해상도 영상으로 복원할 수 있다. 예를 들어 후처리로는 패치들 간의 중복되는 영역에 대한 평균값 처리가 사용될 수 있다.

상기 초해상도 영상 복원 방법을 계층적으로 반복 적용하거나, 상기 초해상도 영상 복원 장치를 계층적으로 구성하여 입력 영상의 해상도를 높일 수도 있다. 예를 들어 입력 영상을 상기 방법을 이용하여 1.25 배씩 3번 수행하여 해상도를 2배로 높일 경우, 영상 복원 횟수를 거듭함에 따라 유사 패치 검색을 위한 입력 영상의 패치 및 하위 해상도 저주파 영역 영상의 패치가 늘어나게 되므로, 더 정밀한 유사 패치 검색이 가능해진다. 때문에 한번에 해상도를 2배로 높인 것에 비하여 복원된 영상의 주관적 화질이 좋을 수 있다.

도 8은 계층적 초해상도 영상 복원 방법과 이를 이용하는 장치를 개략적으로 설명하는 도면이다. 도 8을 참조하면, 계층적 초해상도 영상 복원 방법의 과정은 다음과 같다.

패치 합성부(180)에서 복원된 영상은 다시 도 1의 입력 영상이 되어 주파수 영역 분할부(110)에서 저주파 영역과 고주파 영역으로 분할이 되며, 해상도 변환부(110) 에서 상위 해상도 및 하위 해상도 영상으로 변환 한다.

생성된 상위 해상도 영상을 기준으로 유사패치 검색부(140)에서는 입력 영상의 패치들 및 하위 해상도 저주파 영역의 영상 패치들에 대한 유사 패치 검색이 이루어진다.

패치 복사 및 매핑부(150)에서는 상응하는 고주파 영역의 영상 패치를 이용하여 상위 해상도의 고주파 영상 패치를 복원한다.

주파수 영역 융합부(160), 배경 투사부(170), 패치 합성부(180)를 통하여 복원된 영상은 다시 도 1의 입력 영상으로 입력이 되며, 목표 해상도에 도달할 때까지 상기 과정이 반복 된다.

도 9는 본 발명에 따른 영상 복원 방법의 일 예를 개략적으로 설명하는 순서도이다. 도 9의 각 단계는 영상 복원 장치 또는 영상 복원 장치 내의 대응하는 부분에서 수행될 수 있다. 여기서는 설명의 편의를 위해 영상 복원 장치가 도 9의 동작을 수행하는 것으로 설명한다.

도 9를 참조하면, 영상 복원 장치는 입력된 영상에 대한 패치를 분할한다(S910). 이때, 패치 분할의 대상이 되는 영상은 입력 영상 또는 입력 영상에 대해 해상도 변환을 수행해서 생성된 영상일 수 있다. 예컨대, 패치 분할의 대상이 되는 영상은 입력 영상, 입력 영상을 업샘플링한 영상, 입력 영상을 다운샘플링한 영상일 수 있다. 또한, 입력 영상 또는 하위 해상도 영상에 대해서는 로우 패스 필터(low-pass filter)를 적용하여 분리된 고주파 영역의 영상과 저주파 영역의 영상이 패치 분할의 대상이 될 수도 있다.

패치는 특정 크기를 가지는 픽셀들의 집합으로서, 패치 분할의 방법은 패치 분할부(130)에서 설명한 바와 같다.

영상 복원 장치는 분할된 패치를 기반으로 유사 패치를 검색한다(S920). 영상 복원 장치는 분할된 패치를 이용하여 상위 해상도 영상과 입력 영상 및 하위 해상도 영상 간의 유사 패치를 검색하고, 가장 유사도가 높은 패치를 선택한다. 유사 패치 검색의 구체적인 방법은 유사 패치 검색부(140)에 관해서 설명한 내용과 동일하다.

영상 복원 장치는 검색을 통해 선택된 유사 패치를 통해 패치의 복사 및 매핑을 수행한다(S930). 구체적으로, 영상 복원 장치는 검색을 통해 선택된 입력 영상의 패치 및 하위 해상도의 저주파 영역에 대한 패치에 상응하는 고주파 영상 패치를 이용하여 상위 해상도의 고주파 영역을 복원할 수 있다. 이어서, 영상 복원 장치는 저주파 영상 패치와 복원된 고주파 영상 패치를 조합하여 공간 영역의 패치를 생성할 수 있으며, 복원 패치에 대하여 배경 투사를 수행할 수도 있다.

구체적인 방법은 패치 복사 및 매핑부(150), 주파수 영역 융합부(160) 및 배경 투사부(160)에 대하여 설명한 바와 같다.

영상 복원 장치는 복원된 패치들을 합성함으로써, 입력 영상을 고해상도의 영상으로 복원할 수 있다(S940). 패치의 합성에 있어서, 패치 간 중첩 부분이 존재하는 경우에, 영상 복원 장치는 중첩 부분에 대한 후처리를 수행할 수도 있다. 구체적인 방법은 패치 합성부(180)의 동작에 관하여 설명한 바와 같다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (1)

1. 입력 영상의 해상도를 변환하여 하위 해상도 영상과 상위 해상도 영상을 생성하는 해상도 변환부;
   입력 영상과 상기 하위 해상도 영상에 대한 주파수 영역을 분할하여 저주파 영역의 영상을 생성하는 주파수 영역 분할부;
   상기 입력 영상, 상위 해상도 영상, 하위 해상도 영상의 저주파 영역을 패치 단위로 분할하는 패치 분할부;
   상기 상위 해상도 영상과 입력 영상 및 하위 해상도 영상의 저주파 영역 간 유사 패치를 검색하는 유사 패치 검색부;
   입력 영상 및 하위 해상도의 저주파 영역에 대한 유사 패치를 기반으로 상기 상위 해상도 영상의 고주파 영역을 복원하는 패치 복사 및 매핑부;
   상기 저주파 영역의 영상 패치 및 상기 고주파 영역의 영상 패치를 조합하는 주파수 영역 융합부; 및
   상기 조합된 영상 패치를 기반으로 초해상도 영상을 복원하는 영상 복원 장치.

Images