KR101556625B1 - 영상 확대 보간 방법 - Google Patents

Abstract

영상 확대 보간 방법이 개시된다. 본 발명의 일 구현예는 저해상도 영상에 대하여 s를 매개변수로 하는 선형 보간법(linear interpolation)을 수행하는 단계, 보간된 픽셀을 갖는 영상을 다운 샘플링(down sampling)하여 제1 보간 데이터를 생성하는 단계, 상기 저해상도 영상 및 상기 제1 보간 데이터에 대하여 s_k를 매개변수로 하는 선형 보간법을 수행하는 단계, 보간된 영상을 다운 샘플링하여 제2 보간 데이터를 생성하는 단계, 상기 제1 보간 데이터 및 상기 제2 보간 데이터의 차이를 최소로 하는 최적화된 거리계수 s'를 계산하는 단계, 상기 s'를 매개변수로 하는 왜곡거리를 감안한 선형 보간법을 정의하는 단계, 상기 저해상도 영상에 대하여 상기 왜곡거리를 감안한 선형 보간법을 수행하는 단계, 및 보간된 결과 영상을 획득하는 단계를 포함하는, 영상 확대 보간 방법을 제공한다.

Description

영상 확대 보간 방법{METHOD FOR INTERPOLATING IMAGE MAGNIFICATION}

본 발명의 일 구현예는 영상 확대 보간 방법에 관한 것이다.

영상 보간법(image interpolation)은 일정 해상도로 표현된 영상을 고해상도의 영상으로 변환하는 기술로서, 다양한 영상처리의 기반기술과 컴퓨터비전 시스템 등의 여러 분야에서 연구되어 왔다.

특히, 항공, 의료, 군사, 보안 분야에서, 영상을 확대하여 영상의 가시성을 높이기 위해 많이 사용해 왔고, 이런 경우 기존의 보간 영상보다 더욱 우수한 화질의 영상을 얻으려는 요구가 점차 증가하고 있다.

멀티미디어 응용 분야에서는 MPEG이나 H.264의 움직임 보상 방법, 리프팅 기반의 웨이블릿(wavelet) 변환, 격행 주사 방식을 사용하는 디지털 TV의 주사선 제거 등의 목적으로 사용되고 있다.

이와 같이 여러 응용 분야에서 영상 보간의 다양한 기법들이 활발히 연구되고 있으며, 앞으로도 더욱 향상된 화질의 영상을 생성하는 영상 보간법들이 요구되므로, 성능이 좋은 영상 보간법의 사용이 중요하다.

영상 보간법에서 이상적인 보간 커널은 공간 영역에서 sinc 함수의 특성을 가지는 저역 통과 필터(low??pass filter)의 형태로 나타난다.

그러나, 이상적인 보간 커널로 알려진 sinc 함수는 입력이 무한대의 영역에서 정의되기 때문에 현실상 구현이 불가능하다. 현실상 구현이 불가능한 sinc 함수를 대체하여 sinc 함수에 일정한 크기의 윈도우를 적용하여 범위를 제한하는 연구가 진행되었다.

제한된 범위를 가지는 sinc 함수와 유사한 보간법인 이웃화소 보간법(nearest neighbor interpolation), 양선형 보간법(bilinear interpolation), 고등차수 보간법(high order interpolation), 스플라인 보간법(spline interpolation) 등은 제한된 범위를 가지며, 현실적으로 구현이 가능한 효율적인 커널을 사용하여 현재 많은 응용 분야에 사용되고 있다.

먼저, 인접 화소 보간법은 가장 구현이 간단하고 복잡도가 낮지만 보간된 영상의 화질이 다른 보간법과 비교해 상대적으로 좋지 못한 단점이 있다. 이와 같은 단점은 정수 단위의 인접한 픽셀 값을 복사하여 사용하는 상대적으로 간단한 보간 커널의 구조를 갖기 때문에 발생하며, 계단 현상 등의 원하지 않는 인공물(artifact)이 생긴다.

양선형 보간법과 고등차수 보간법은 다수의 인접한 픽셀을 참조하여 픽셀을 생성하는 보간 커널을 사용하며, 인접 화소 보간법보다 나은 화질을 제공한다. 그러나, 다수의 인접한 픽셀을 참조하므로 각각의 픽셀이 가지는 주파수 특성이 사라져서, 결과 영상의 윤곽 부분에 심한 흐림 현상이 야기되는 문제점이 있다.

스플라인 보간법은 IIR(infinite impulse response) 필터를 기반으로 현실적으로 구현이 가능하고, 우수한 화질의 결과 영상을 얻을 수 있지만, 계산의 복잡도가 높아 실제적인 사용에 있어서 제약이 존재하며, 흐림 현상이 가장 강하게 나타난다. 이와 같은 여러 문제점들을 개선하기 위하여 보간이 수행될 때마다 각각 픽셀의 주파수 특성을 고려하여 계산하는 적응적 보간법(adaptive interpolation)이 제안되었다.

적응적 보간법에는 영상의 고주파 정보를 이용한 보간법과 보간커널을 가지는 고등차수 보간법에서 사용되는 매개변수를 고정으로 사용하지 않고, 주변 픽셀 값을 참조하여 얻은 정보를 통해 적응적인 새로운 매개변수를 적용하는 보간법이 있다.

먼저, 영상의 고주파 정보를 이용한 보간법은 보간을 수행할 때에 고주파 영역을 고려하여 윤곽선을 더 뚜렷하게 하고, 흐림 현상의 개선을 통해 화질을 향상시키는 장점이 있다.

그리고, 매개변수를 적응적으로 변경하는 보간법은 거리 가중치 매개변수나 보간 커널을 조절하는 매개변수를 최적화된 값으로 이끌어내어 보간에 적용하여 화질을 향상시킨다.

그러나, 영상의 고주파 정보를 이용한 보간법에서는 고주파 부분이 원본보다 심하게 강조되는 단점이 있고, 적응적으로 변경하는 보간법은 이전의 보간법과 비교해 보간의 성능이 개선되었지만 흐림 현상과 윤곽 부분에서의 계단 현상이 여전히 발생하는 단점이 남아있다.

이에, 상기한 같은 단점을 개선하고, 우수한 화질을 제공할 수 있는 새로운 보간법이 요구되고 있다.

본 발명이 해결하고자 하는 과제는 저해상도의 영상을 우수한 화질의 고해상도 영상으로 변환하기 위하여 새로운 부화소 기반의 적응적 영상 확대 보간 방법을 제공하는 것이다.

본 발명의 일 구현예는 저해상도 영상에 대하여 s를 매개변수로 하는 선형 보간법(linear interpolation)을 수행하여 선형 보간법에 의해 생성되는 f(x_k)와 보간된 픽셀을 포함하는 fi를 식(12)의 s_k에 관한 함수로 표현하는 단계와; 식 (12)의 결과인 fi를 다운 샘플링(down sampling)하여 보간된 픽셀만을 가지는 영상이 되도록 제1 보간 데이터를 생성하는 단계와; 상기 저해상도 영상 및 상기 제1 보간 데이터에 대하여 s_k를 매개변수로 하는 선형 보간법을 수행하고, 다운 샘플링을 적용하여 식 (13)의

에 대한 제2 보간 데이터를 생성하는 단계와; 상기 제1 보간 데이터 및 상기 제2 보간 데이터의 차이를 최소로 하는 최적화된 거리계수 s'를 계산하는 단계와; 상기 s'를 매개변수로 하는 왜곡거리를 감안하여 식 (12)를 통해 얻은 영상과 식 (13)을 통해 얻은 원 영상과의 차이를 최소로 하는 최소 평균 자승 에러(minimum mean square error)의 비용함수를 식 (14)와 같이 정의하는 단계와; 식 (16)과 같은 경사법(gradient method)을 사용하여 비용함수의 에너지가 최소값을 만족시키는 s_k를 찾는 단계와; 식 (17)의 미분방정식으로 식 (16)을 만족시키는 s_k를 확인하는 단계와; 식 (17)을 통해 원 영상과 변환 과정을 통한 결과 영상 사이의 차이를 최소로 하는 s_k를 구하고, 이를 s'로 치환하여 식 (18)과 같은 왜곡거리를 감안한 적응적인 선형 보간법을 수행하는 단계; 및 보간된 결과 영상을 획득하는 단계;를 포함하는 것을 특징으로 한다.

--- (12)

--- (13)
(여기에서, k-1은 바로 이전 픽셀의 보간에서 구해진 s'의 값이며,

값은 이전 계산으로 구해진 보간된 픽셀의 값이다)

--- (16)

--- (17)

--- (18)

삭제

삭제

삭제

삭제

삭제

본 발명의 일 구현예에 따르면, 저해상도의 영상을 우수한 화질의 고해상도 영상으로 변환하는 새로운 부화소 기반의 적응적 영상 확대 보간 방법을 제공할 수 있는 효과가 있다.

도 1은 종래 기술에 따른 적응적 보간법을 이용한 s의 위치 이동을 나타낸 도면이다.
도 2는 본 발명의 일 구현예에 따른 영상 확대 보간 방법을 나타낸 구성도이다.
도 3은 본 발명의 일 구현예에 따른 영상 확대 보간 방법을 나타낸 개략도이다.
도 4는 PSNR 비교 영상들을 나타낸 것이다.
도 5는 주관적 화질 비교로서, "Lena"영상에 대한 각각의 알고리즘을 적용한 결과 영상을 확대하여 나타낸 것이다. ((a) 인접화소 보간법. (b) 왜곡거리 보간. (c) 이동 선형 보간. (e) 본 발명)

이하, 본 발명의 구현예를 상세히 설명하기로 한다. 다만, 이는 예시로서 제시되는 것으로, 이에 의해 본 발명이 제한되지는 않으며 본 발명은 후술할 청구항의 범주에 의해 정의될 뿐이다.

먼저, 본 발명에 따른 영상 확대 보간 방법을 설명하기에 앞서, 종래 기술에 따른 영상 보간법과 적응적 보간법에 대하여 설명하도록 한다.

종래 기술에 따른 영상 보간법의 재표본화(resampling) 과정은 이산 신호를 연속 신호로 변환하고, 변환된 신호로부터 새로운 간격의 이산 신호를 구성하는 것이며, 영상의 기하학적 변환이나 왜곡보정 등의 다양한 영상처리 응용분야에 사용되어 왔다.

이러한 보간 과정 중 새로운 간격으로 생성되는 픽셀은 주어진 이산 신호를 통해 얻을 수 있으며, 이와 같은 과정을 포함한 영상 보간법의 일반적인 표현은 아래의 식 (1)의 형태로 정의된다.

----- (1)

식 (1)의 f(x_k)는 원본 영상의 이산 신호이고, f(x)는 보간된 연속 신호이다. x_k는 보간에 참조될 이산 신호의 위치를 나타내며,

는 보간 커널을 나타낸다. 식 (1)을 통해 보간된 픽셀의 값은 보간 커널의 종류에 따라 다양한 범위의 값으로 나타난다.

Nyquist 이론에 의하면, 보간 커널 중에 이상적인 보간 커널로 알려진 sinc(x) 함수는 보간 될 신호의 주파수 대역이 일정영역으로 제한되어 있을 경우 원 신호의 완벽한 복원이 가능하다. 아래의 식 (2) 및 식 (3)은 sinc(x) 함수의 보간 커널을 나타낸다.

----- (2)

----- (3)

식 (3)의 sinc(x) 함수의 경우, 입력이 무한대 영역에서 정의되므로 현실적인 구현이 불가능한 단점이 있다. 이와 같은 단점은 대역폭의 제한을 두는 방법으로 일정한 크기의 윈도우를 보간 커널에 적용하는 기법으로 해결될 수 있으며, 현실적인 구현이 가능한 제한된 크기의 보간 커널을 사용하여 우수한 화질의 영상을 생성하는 영상 보간법이 연구되어 왔다.

가장 간단한 보간법으로 0차 보간법인 인접 화소 보간법의 보간 커널은 아래의 식 (4)와 같이 표현된다.

--- (4)

식 (4)의 보간 커널은 보간에 참조되는 원 픽셀을 복사해서 그대로 보간 픽셀로 사용한다. 따라서, 영상을 보간하는 처리 속도가 빠르고 낮은 복잡도를 가져 보간 과정이 상대적으로 매우 간단하지만, 결과 영상의 화질이 좋지 못하고 특히 영상이 확대될수록 영상의 블록현상이 선명하게 나타나는 단점이 있다.

인접 화소 보간법보다 좋은 성능을 가지는 1차 보간법인 선형 보간법의 보간 커널은 아래의 식 (5)와 같이 표현된다.

--- (5)

선형 보간법은 보간을 위해 참조되는 픽셀을 그대로 사용하지 않고 각각의 픽셀에 가중치를 적용한다. 적용되는 가중치는 참조 픽셀과 보간 될 픽셀 사이의 거리에 반비례하며, 가중치와 참조 픽셀의 곱셈연산을 통해 보간 될 픽셀이 생성된다.

여기에서, 참조 픽셀의 위치가 x_k이고, 생성될 픽셀의 위치가 x인 두 픽셀에 적용되는 가중치 s는 아래의 식 (6)과 같이 표현된다.

--- (6)

식 (6)에서 s는 거리 가중치를 나타내며, 범위는 0≤s≤1로 정의되고, x는 식 (1)에서의 정의와 동일하게, 보간 될 픽셀의 위치를 나타내며, 범위는

로 정의된다. 상기 식 (6)에서 얻은 거리 가중치를 식 (1) 및 식 (5)에 대입하면 선형 보간법을 도출할 수 있으며, 아래의 식 (7)과 같이 표현된다.

--- (7)

식 (7)의 선형 보간법은 거리 가중치를 표현하는 매개변수 s에 대한 식으로 나타나며, 거리 가중치의 사용으로 참조 픽셀의 주파수 특성을 더욱 반영하므로 보간되는 픽셀은 원 신호에 가깝다.

높은 차수의 보간 커널을 가져 선형 보간법보다 성능이 좋은 보간법인 3차 회선 보간법(cubic convolution), 3차 B-spline 보간법 등도 상기 식 (7)과 같이 거리 가중치를 사용한 보간 커널을 가진다. 3차 회선 보간법의 보간 커널은 아래의 식 (8)과 같이 표현된다.

--- (8)

식 (8)의 α값은 다양한 입력이 적용될 수 있는 매개변수이며, x는 거리 가중치로 표현되었다. 식 (8)은 선형 보간법보다 더욱 많은 픽셀을 거리 가중치에 따라 참조하여 보간의 성능이 향상되었으며, 보간 커널에 영향을 미치는 α의 조절에 따라 원 신호에 일치하거나 근접할 수 있는 특징이 있다.

3차 회선 보간법과 동일한 차수의 보간 커널을 사용하는 3차 B-spline 보간법의 보간 커널은 아래의 식 (9)와 같이 표현된다.

--- (9)

식 (9)로 표현된 3차 B-spline 보간법의 보간 커널은 다양한 형태로 존재하는 spline 보간 함수 중에서 가장 널리 알려져 있는 보간법이며, 컨볼루션(convolution) 특성을 이용하여 구형파 함수에 4번의 컨볼루션 적용으로 정의된다. 3차 B-spline은 여러 픽셀을 참조하여 부드러운 영상의 보간이 가능하지만, 고주파 영역의 감쇠현상으로 인하여 영상이 흐려지는 문제점이 있다.

한편, 종래 기술에 따른 영상 보간법은 고정된 커널을 이용한 보간을 수행하여 이에 따른 고주파 영역의 감쇠나 영상의 흐림 현상 등의 단점이 존재한다.

이와 같은 단점을 보완하는 방법으로 각각의 픽셀마다 매개변수를 달리하여 적응적으로 지역특성(locality)을 강조하는 방법이 제안되었다.

예를 들어, 상기 식 (7)의 선형 보간의 경우 s를 매개변수로 사용하고, 식 (8)의 3차 회선 보간법은 보간 될 픽셀의 계산마다 주변픽셀과의 관계를 고려하여 α,s를 변경하는 지역특성을 강조한 보간을 수행한다.

여기에서, 적응적인 매개변수를 사용하는 지역특성이 강조되는 방법을 선형 보간법에 적용한 왜곡거리 보간법이 제안되었다. 왜곡거리 보간법은 거리 계수 s를 매개변수로 정의하기 때문에 s를 사용하는 다양한 보간법에 적용이 가능한 방법이며, s가 s'로 치환되어 적용되는 일련의 과정이 도 1에 도시되었다.

s를 적응적 매개변수로 보간을 수행하면, 거리가중치는 식 (6)에서 정의된 값이 아닌 변형된 거리 s'가 구해진다. 이를 왜곡거리(warped distance)라 하고 식 (10)과 같이 정의된다.

--- (10)

여기에서, 식 (10)의 A는 아래의 식 (11)로 정의되며, k는 양수로 왜곡의 강도를 조절하는 매개변수이다.

--- (11)

L은 해당 영상의 비트로 표현 가능한 밝기 단계이다. 예를 들어, 8bit의 밝기 정보를 가진 흑백 영상의 경우 L=2⁸=256이 된다. 왜곡 강도를 조절하는 상수 k는 값이 너무 커지게 되면 왜곡되는 정도가 심해지게 되며 값의 범위가 0≤k≤1 의 범위를 벗어나게 된다. 이런 경우에는 s'의 값이 0≤s'≤1 범위를 벗어나는 현상이 발생되며, 이때는 0 또는 1로 보정된다.

이에, 본 발명에 따른 영상 확대 보간 방법은 상기와 같은 종래 기술에 따른 문제점을 해결하고, 저해상도의 영상을 우수한 화질의 고해상도 영상으로 변환하기 위한 것으로서, 각각의 픽셀이 보간할 때 매개변수를 다르게 적용하므로 적응적인 보간 커널을 구성한다.

여기에서, 매개변수는 새로운 비용함수(cost function)를 도입하여 보간 될 픽셀과 주어진 원(original) 영상 픽셀 사이의 차이가 최소가 되도록 최소 평균 자승 에러(minimum mean square error)를 통해 적응적인 값을 구한다. 여기까지가 변환 과정으로 주변 픽셀에 대한 가중치가 반영될 수준을 정하고, 각각의 픽셀이 가지는 최적화된 매개변수를 얻는 과정이다. 이러한 변환과정을 통해 얻은 매개변수는 각각의 픽셀이 가지는 주파수 특성을 반영한 값이며, 적응적인 보간에 사용되어 새로운 픽셀을 생성한다.

이하에서는 본 발명의 일 구현예에 따른 영상 확대 보간 방법에 대하여 보다 상세하게 설명하도록 한다.

본 발명의 일 구현예는, 저해상도 영상에 대하여 s를 매개변수로 하는 선형 보간법(linear interpolation)을 수행하는 단계(S100), 보간된 픽셀을 갖는 영상을 다운 샘플링(down sampling)하여 제1 보간 데이터를 생성하는 단계(S200), 상기 저해상도 영상 및 상기 제1 보간 데이터에 대하여 s_k를 매개변수로 하는 선형 보간법을 수행하는 단계(S300), 보간된 영상을 다운 샘플링하여 제2 보간 데이터를 생성하는 단계(S400), 상기 제1 보간 데이터 및 상기 제2 보간 데이터의 차이를 최소로 하는 최적화된 거리계수 s'를 계산하는 단계(S500), 상기 s'를 매개변수로 하는 왜곡거리를 감안한 선형 보간법을 정의하는 단계(S600), 상기 저해상도 영상에 대하여 상기 왜곡거리를 감안한 선형 보간법을 수행하는 단계(S700), 및 보간된 결과 영상을 획득하는 단계(S800)를 포함하는, 영상 확대 보간 방법을 제공한다.

도 2는 본 발명의 일 구현예에 따른 영상 확대 보간 방법을 나타낸 구성도이다. 도 3은 본 발명의 일 구현예에 따른 영상 확대 보간 방법을 나타낸 개략도이다.

도 2 및 도 3을 참조하면, 기존의 선형 보간법은 인접한 픽셀들과 이루는 관계를 고려하지 않고 보간에 참조되는 픽셀만을 사용하므로 적응적으로 보간할 수 없지만, 본 발명의 일 구현예에 따른 영상 확대 보간 방법은 인접한 픽셀들을 고려하여 적응적인 매개변수 s'를 구해 보간을 수행한다.

먼저, 저해상도 영상에 대하여 s를 매개변수로 하는 선형 보간법(linear interpolation)을 수행한다(S100).

이 때, 상기 선형 보간법에 의해 생성되는 f(x_k)와 보간된 픽셀을 포함하는 fi는 아래의 식 (12)와 같은 s_k에 관한 함수로 표현된다.

--- (12)

식 (12)의 결과인 fi를 다운 샘플링(down sampling)하여 보간된 픽셀만을 가지는 영상이 되도록 fi, 즉, 제1 보간 데이터를 생성한다(S200).

여기에서, 생성된 fi는 f(x_k)와 동일한 해상도를 가지며, 앞선 과정과 동일하게 선형 보간법(S300)과 다운 샘플링을 적용하여

, 즉, 제2 보간 데이터를 생성한다(S400). 구한

는 아래의 식 (13)과 같이 표현된다.

--- (13)

식 (13)에서 사용되는 k-1은 바로 이전 픽셀의 보간에서 구해진 s'의 값이며,

값은 이전 계산으로 구해진 보간된 픽셀의 값이 되며, 도 3에서 표현되었다.

지금까지 알려진 적응적 보간법에서는 적응적으로 계산을 수행하지만, 이전 계산에서 적응적으로 구한 결과를 다음 계산에 반영하지 못함으로써 손실되는 부분이 있었다.

따라서, 손실을 피하기 위해 이전 계산에서 구한 결과를 고려하여 매개변수의 계산을 수행하기 때문에 더욱 최적화된 거리계수 s'를 구할 수 있다.

도 3은 원본영상을 확대하고 축소하는 과정을 통해 s'를 픽셀단위에 대해 각각 계산이 수행됨을 보여준다. 도 3에서 표현된 과정은 항상 고정적이지 않으며, 각각의 픽셀에 대해 적응적으로 계산될 수 있다

상기 제1 보간 데이터 및 상기 제2 보간 데이터의 차이를 최소로 하는 최적화된 거리계수 s'를 계산하는 단계(S500) 및 상기 s'를 매개변수로 하는 왜곡거리를 감안한 선형 보간법을 정의하는 단계(S600)에서는, 상기 식 (12)를 통해 얻은 영상과 식 (13)을 통해 얻은 원 영상과의 차이를 최소로 하는 최소 평균 자승 에러(minimum mean square error) 개념을 도입한 새로운 비용함수를 아래의 식 (14)와 같이 정의한다.

--- (14)

그리고, 상기 식 (14)는 s_k에 대한 함수의 형태로 아래의 식 (15)와 같이 나타난다.

--- (15)

식 (15)에서 표현된 비용함수의 에너지가 최소가 되는 s' 값을 찾기 위해서는 아래의 식 (16)과 같은 경사법(gradient method)을 사용하여 최소값을 만족시키는 s_k를 찾는다.

--- (16)

식 (16)을 만족시키는 s_k는 미분방정식을 정의하여 구하고, 이에 대한 미분방정식은 아래의 식 (17)로 나타난다.

--- (17)

식 (17)을 통해 원 영상과 변환 과정을 통한 결과 영상 사이의 차이를 최소로 하는 s_k를 구하고, 이를 s'로 치환하여 아래의 식 (18)과 같은 왜곡거리를 감안한 적응적인 선형 보간법이 정의된다.

--- (18)

상기와 같이 왜곡거리를 감안한 선형 보간법을 저해상도 영상에 대하여 적용하고(S700), 보간된 결과 영상을 획득한다(S800).

이 때, 왜곡거리가 감안된 적응적 선형 보간법이 적용되어 얻은 결과 영상은 원 영상에 근접하는 우수한 화질로 나타난다.

이하 본 발명의 실험예를 기재한다. 그러나 하기의 실험예는 본 발명의 일 실시예 일 뿐 본 발명이 하기한 실험예에 한정되는 것은 아니다.

실험예

본 발명의 일 구현예에 따른 영상 확대 보간 방법의 성능 평가를 위해서 도 2의 시스템을 구성하여 실험환경을 구축하였다. 실험 영상으로는 "Lena", "Pepper", "Barbara", "Bridge", "Church" 등을 사용하였고, 256×256 해상도와 256 단계의 밝기를 가지는 그레이(gray) 영상을 512×512 영상으로 보간하여 실험하였다. 비교 대상으로 고려된 보간 기법은 인접 화소 보간법, 양선형 보간법, 왜곡거리 보간법이다. 각 알고리즘들은 2차원의 영상에 대해 1차원의 알고리즘을 가로방향과 세로방향으로 적용하여 수행되었다. 실험 결과로 각각 보간법에 대해 원 영상과 결과 영상을 비교하여 객관적 성능과 주관적 화질을 평가하였다.

알고리즘을 적용한 결과의 성능을 측정하기 위하여 PSNR(peak signal to noise ratio)을 이용하였다. MㅧN의 해상도와 [0, 255]의 밝기 범위를 가지는 영상의 PSNR은 다음과 같이 정의된다.

----- (19)

여기에서 f(i,j)는 원영상이며, f'(i,j)는 각각의 알고리즘에 의해 보간된 영상이다.

표 1은 기존 보간 기법들과 제안하는 보간 기법의 PSNR을 각 실험 영상들에 대해 비교한 결과이다.

	Lena	Pepper	Barbara	Bridge	Church
Nearnest Neighbor	25.62	28.81	31.26	18.17	21.16
Bilinear	26.43	28.87	33.08	18.66	21.31
Warped Distance	27.75	29.84	33.51	18.66	21.58
본 발명	30.10	29.97	34.91	18.95	21.81

도 4는 PSNR 비교 영상들을 나타낸 것이다.

표 1 및 도 4를 참조하면, 도 4의 실험영상이 가지는 주파수 성분에 따라 PSNR의 차이가 나타난다. 차이는 2차원의 영상에 대해 1차원 알고리즘을 적용하여 대각선 방향의 에지(edge)가 많이 존재하는 영상에 대해 고차원의 알고리즘을 적용했을 때와 차이가 확연하게 발생한다.

본 발명에 따른 영상 확대 보간 방법은 고차원의 알고리즘과 성능이 유사함이 나타났다. 표 1의 실험 결과는 본 발명에 따른 영상 확대 보간 방법을 사용한 보간 기법이 상대적으로 높은 PSNR 값을 가져 기존의 보간 기법들보다 우수한 성능을 제공함을 보여준다.

도 5는 주관적 화질 비교로서, "Lena"영상에 대한 각각의 알고리즘을 적용한 결과 영상을 확대하여 나타낸 것이다.

도 5를 참조하면, 본 발명에 따른 영상 확대 보간 방법을 적용하여 보간한 영상이 인접 화소 보간법에서의 계단 현상이나 선형 보간법에서의 흐림 현상이 개선된다.

또한, 왜곡거리 보간법의 에지 부분이 돌출되는 단점도 본 발명에 따른 영상 확대 보간 방법에서 개선됨이 확인된다. 따라서, 본 발명에 따른 영상 확대 보간 방법이 객관적 성능과 주관적 화질 비교에서 알려진 보간법보다 우수함이 입증된다.

본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (3)

1. 저해상도 영상에 대하여 s를 매개변수로 하는 선형 보간법(linear interpolation)을 수행하여 선형 보간법에 의해 생성되는 f(x_k)와 보간된 픽셀을 포함하는 fi를 식 (12)의 s_k에 관한 함수로 표현하는 단계;
   

   

   --- (12)
   식 (12)의 결과인 fi를 다운 샘플링(down sampling)하여 보간된 픽셀만을 가지는 영상이 되도록 제1 보간 데이터를 생성하는 단계;
   상기 저해상도 영상 및 상기 제1 보간 데이터에 대하여 s_k를 매개변수로 하는 선형 보간법을 수행하고, 다운 샘플링을 적용하여 식 (13)의

   

   에 대한 제2 보간 데이터를 생성하는 단계;
   

   

   --- (13)
   (여기에서, k-1은 바로 이전 픽셀의 보간에서 구해진 s'의 값이며,

   

   값은 이전 계산으로 구해진 보간된 픽셀의 값이다)
   상기 제1 보간 데이터 및 상기 제2 보간 데이터의 차이를 최소로 하는 최적화된 거리계수 s'를 계산하는 단계;
   상기 s'를 매개변수로 하는 왜곡거리를 감안하여 식 (12)를 통해 얻은 영상과 식 (13)을 통해 얻은 원 영상과의 차이를 최소로 하는 최소 평균 자승 에러(minimum mean square error)의 비용함수를 식 (14)와 같이 정의하는 단계;
   식 (16)과 같은 경사법(gradient method)을 사용하여 비용함수의 에너지가 최소값을 만족시키는 s_k를 찾는 단계;
   

   

   --- (16)
   식(17)의 미분방정식으로 식 (16)을 만족시키는 s_k를 확인하는 단계;
   

   

   --- (17)
   식 (17)을 통해 원 영상과 변환 과정을 통한 결과 영상 사이의 차이를 최소로 하는 s_k를 구하고, 이를 s'로 치환하여 식 (18)과 같은 왜곡거리를 감안한 적응적인 선형 보간법을 수행하는 단계;
   

   

   --- (18)
   보간된 결과 영상을 획득하는 단계;를 포함하는 것을 특징으로 하는 영상 확대 보간 방법.
2. 삭제
3. 삭제

Images