KR101129723B1

KR101129723B1 - 이미지의 구분적 가중 보간법 및 이를 적용하는 장치

Info

Publication number: KR101129723B1
Application number: KR1020100033330A
Authority: KR
Inventors: 유훈; 조용주; 임좌상; 황민철
Original assignee: 상명대학교 산학협력단
Priority date: 2010-04-12
Filing date: 2010-04-12
Publication date: 2012-05-11
Also published as: KR20110113963A

Abstract

EOD(Even-Odd Decomposition)를 기반으로 하는 이미지 보간법 및 이를 응용한 장치가 제시된다. 보간하기 위한 복수의 입력신호는 EOD에 의해 짝수와 홀수 벡터들로 분해된다. 짝수와 홀수 벡터들 각각에 대해서 다른 보간법이 적용된다. 본 발명에서는 두 벡터에 대한 분석 연구를 보여주며 두 벡터를 위한 새로운 설계 방법이 제시된다. 또한 새로운 설계방법을 기반으로 하여 제시된 방법의 신호흐름 그래프(signal flow graph)가 제공되어 잘 알려진 CCI(the Cubic Convolution Interpolation) 방법과 복잡성 면에서 비교된다. 제안된 본 발명의 보간 방법을 평가하기 위하여 실험과 복잡성 비교를 수행했다. 그 결과는 본 발명의 보간법이 현재 사용되고 있는 어느 방법보다 주관적이고 객관적인 면에서 이미지(영상) 품질이 더 뛰어날 뿐 아니라 복잡성도 감소한다는 점을 보여주었다.

Description

이미지의 구분적 가중 보간법 및 이를 적용하는 장치{Method of piecewise weighted linear interpolation and device adopting the method}

컴퓨터 그래픽, 이미지 압축, 이미지 디스플레이 등과 같은 어플리케이션에 적용되는 보간 방법 및 이를 적용하는 장치에 관련하며, 이것은 학회 논문으로서 IEEE Transactions on Consumer Electronics, Vol 55, No. 4, NOVEMBER 2009 에 발표된 " Design of Piecewise Weighted Linear Interpolation Based on Even-Odd Decomposition and Its Application to Image Resizing "에 기초한다.

이미지(영상) 보간법은 컴퓨터 그래픽, 이미지 압축, 이미지 디스플레이 등과 같은 어플리케이션에 있어 없어서는 안 된다. 그러므로, 많은 기술들이 이 문헌들(비특허문헌 1~16)에서 논의되어왔다. 또한 영상 보간법은 여전히 활동적으로 연구가 진행되고 있는 분야이기도 하다(아래의 비특허문헌 4,5,15,16 참조). 이미지 보간법 중에 선형(또는 이중선형) 보간법(Linear Interpolation, 이하 LI)과 3차 나선형 보간법(the cubic convolution interpolation, 이하 CCI)은 그것들의 적당한 화질과 복잡성이 낮기 때문에 가장 일반적으로 많이 쓰이는 기술들이다(비특허문헌 2). 그러나 화질향상에 대한 보간 과정(interpolation process)은 항상 요구되어왔다. 그러므로 많은 기술들이 화질 향상에 대해 논의하여 왔다. 연산력(computing power, 컴퓨팅 비용)을 더 이용하여 화질을 LI와 CCI 방식보다 더 향상시키는 많은 기술들이 있다(비특허문헌 4, 5, 9~13 참조). 예를 들어 적응적(adaptive) 매개 변수를 CCI에 적용하는 방법은 화질은 향상되지만 적응적 매개변수를 결정하는데 많은 컴퓨터 비용이 요구된다. (비특허문헌 4,5,10~12 참조). 또 다른 예로는 스플라인스(splines)와 같은 고차 보간 핵(high order interpolation kernel)이 화질을 향상시키기 위해 보간법에 사용된다(비특허문헌 3, 14 참조). 이러한 접근법 또는 보간법은 CCI보다 더 큰 연산력 등의 많은 컴퓨터 비용(연산력)을 필요로 하며 하드웨어로 구현하기에도 수월하지 않다. 결과적으로 LI와 CCI가 영상 디스플레이와 디지털 카메라 같은 하드웨어 시스템에서 주로 이용되어 왔다.

많은 보고서들이 CCI가 고정핵(fixed kernel)과 적당한 복잡성을 가지고 있기 때문에 효과적인 영상 보간법이라고 언급하고 있다. 그러나, CCI보다 복잡성은 덜 하면서 어떻게 화질을 향상은 현 이미지 리사이징 등에 관련한 영상 처리에서의 주요 과제이며, 이에 연구는 계속되어야 한다.

R. G. Keys, "Cubic convolution interpolation for digital image processing," IEEE Trans. Acoust., Speech, Signal Process., vol. 29, pp. 1153?1160, Dec. 1981. T. M. Lehmann, C. Gonner, and K. Spitzer, "Survey: Interpolation methods in medical image processing," IEEE Trans. Med. Imag., vol. 18, pp. 1049?1075, Nov. 1999. M. Unser, "Splines: A perfect fit for signal and image processing," IEEE Signal Process. Mag., vol. 16, pp. 22?38, Nov. 1999. H. Yoo, "Closed-form least-squares technique for adaptive linear image interpolation," IET Electronics Letters, vol. 43, no. 4, Feb. 15, 2007. X. Zhang and X. Wu, "Image Interpolation by adaptive 2-d autoregressive modeling and soft-decision estimation," IEEE Trans. Image Process., vol. 17, no. 6, pp. 887-896, Jun. 2008. H. Yoo and J. Jeong, "Direction-oriented interpolation and its application to de-interlacing," IEEE Trans. Consumer Electronics, vol. 48, no. 4, pp. 954-962, 2002. E. H. W. Meijering, "A chronology of interpolation: From ancient astronomy to modern signal and image processing," Proc. IEEE, vol. 90, no. 3, pp. 319?342, Mar. 2002. P. Thevenaz, T. Blu, and M. Unser, "Interpolation revisited," IEEE Trans. Med. Imag., vol. 19, pp. 739?758, July 2000. H. S. Hou and H. C. Andrews, "Cubic splines for image interpolation and digital filtering," IEEE Trans. Acoust., Speech, Signal Processing, vol. ASSP-26, pp. 508?517, Dec. 1978. S. K. Park and R. A. Schowengerdt, "Image reconstruction by parametric cubic convolution," Comput. Vis., Graph., Image Process., vol. 23, pp. 258?272, Sept. 1983. J. K. Han and S. U. Baek, "Parametric cubic convolution scaler for enlargement and reduction of image," IEEE Trans. Consumer Electron., vol. 46, no. 2, pp. 247?256, May. 2000. G. Ramponi, "Warped distance for space-variant linear image interpolation," IEEE Trans. Image Processing, vol. 8, pp. 629?639, May 1999. [13] J. W. Hwang and H. S. Lee, "Adaptive image interpolation based on local gradient features," IEEE Signal Processing Letters, vol. 11, no. 3, pp. 359-362, Mar. 2004. J. W. Hwang and H. S. Lee, "Adaptive image interpolation based on local gradient features," IEEE Signal Processing Letters, vol. 11, no. 3, pp. 359-362, Mar. 2004. T. Blu, P. Thevenaz, and M. Unser, "Linear interpolation revitalized,"IEEE Trans. Image Processing, vol. 13, no. 5, pp. 710-719, May 2004. H. Yoo and D.-H. Shin, "Image quality enhancement in 3D computational integral imaging by use of interpolation methods," OSA Optics Express, vol. 15, no. 19, pp. 12039-12049, Sep 2007. D.-H. Shin and H. Yoo, "Computational integral imaging reconstruction method of 3D images using pixel-to-pixel mapping and image interpolation," Elsevier Optics Communications, vol. 282, no. 14, pp. 2760-2767, 15 July 2009 C.K.S Pun, Y.C. Wu, S.C. Chan and K.L. Ho, "On the Design and Efficient Implementation of the Farrow Structure," IEEE Signal Processing Letters, vol. 10, no. 7, pp. 189-192, July 2003.

본 발명의 실시 예에 따르면 종래의 보간법에 비해 향상된 품질의 이미지(영상)를 얻을 수 있고 그 복잡성이 감소된 이미지의 구분적 가중치 보간법 및 이를 응용하는 장치가 제공된다.

본 발명에 따르면,

이미지로부터 복수의 입력 벡터(신호)를 취하는 단계;

상기 입력 벡터들을 적어도 제 1 벡터와 제 2 벡터를 포함하는 복수의 벡터로 분리하는 단계;

상기 제 1, 제 2 벡터중 적어도 어느 하나를 소정 보간함수에 의해 보간하는 단계;를 포함하는 이미지 보간법이 제공된다.

본 발명에 따른 이미지 보간 장치는:

다수의 입력 벡터(신호)를 입력 받는 입력부;

상기 벡터를 적어도 제 1 벡터와 제 2 벡터를 포함하는 복수의 벡터로 분리하는 벡터 분리부; 그리고

상기 제 1, 제 2 벡터 중 적어도 어느 하나를 소정 보간함수로 보간하는 보간부;를 포함한다.

상기 이미지 보간 장치는 상기 보간부로부터 보간 신호를 출력하는 출력부를 포함한다.

구체적 실시 예에 따르면, 상기 제 1 벡터는 짝수 벡터와 제 2 벡터는 홀수 벡터이다.

구체적인 다른 실시 예에 따르면, 상게 제 1 벡터와 제 2 벡터는 서로 다른 보간 함수로 의해 보간될 수 있다.

다른 실시 예에 따르면, 상기 방법 및 장치는 상기 제 1 (짝수) 벡터들과 제 2 (홀수) 벡터들을 각각을 서로 다른 보간함수로 보간된 제 1 (짝수) 함수와 제 2 (홀수) 함수를 얻는 단계; 그리고 이들을 합하여 보간된 연속 함수를 얻는 단계;를 더 포함할 수 있다.

또 다른 실시 예에 따르면, 상기 제 1 벡터에 대한 보간은 구분적 가중 선형 보간법(WLI)을 적용하며, 제 2 벡터에 대해서는 선형 보간법을 적용할 수 있다.

구체적인 실시 예에 따르면, 입력 벡터 f = {f(-1), f(0), f(1), f(2)}로 정의하고 상기 입력 벡터로부터 얻어진 짝수 벡터 fe(-1), fe(0), fe(1), fe(2)에 대한 짝수 보간법 함수 fe(s)는 아래와 같이 정의된다.

그리고 홀수 벡터 fo(-1), fo(0), fo(1), fo(2)에 대한 보간법 함수 fo(s)는 아래와 같이 정의된다.

위의 두 함수에서 여기에서 변수 s는 0.5 이하(0 ≤ s ≤ 0.5), w는 1 이하의 가중치이며, 바람직하게 1/2이다.

본 발명은 EOD에 기초하여 제안된 효과적인 이미지 보간법을 제시하였다. EOD에 의해 얻어진 복수의 벡터, 예를 들어 짝수 벡터와 홀수 벡터는 대칭적 특성을 가진다. 이 대칭적 속성은 화질과 복잡성 면에서 효과적인 보간법의 설계를 제공한다. 실험적 결과는 현존하는 CCI 방법에 비해 우수한 시각적 품질을 제공함으로 보여준다. 그리고, 보간을 위한 적절한 분해는 컴퓨팅 비용을 감소시키고 그리고 이미지 의 품질을 높인다. 또한 보다 많은 수의 신호 분리(분해), 즉 짝수 벡터, 홀수 벡터를 나뉘는 2 분법 외에 그 이상의 4 분법, 8 분법 등에 의해 4개 또는 8개 등의 다수의 분리 벡터를 적용함으로써 보다 효과적인 이미지 보간 설계 들에 적용될 수 있다.

도 1은 본 발명의 구분적 가중 보간 방법의 흐름을 설명하는 그래프이다.
도 2는 본 발명의 일 실시 예에 따른 이미지 보간 장치의 블럭도이다.
도 3a, 3b은 본 발명에 따라 분리된 짝수 벡터와 홀수 벡터의 대칭성을 보여주는 것으로 보간된 함수 fe(s), fo(s) 를 보이는 그래프이다.
도 4는 짝수 벡터를 위한 보간 방법을 설명하는 그래프이다.
도 5a는 확대된 Baboon(베분, 비비)의 털 부분에 대한 종래 LI 방법을 적용한 결과를 보이는 이미지이다.
도 5b는 확대된 Baboon의 털 부분에 대한 종래 CCI 방법을 적용한 결과를 보이는 이미지이다.
도 5c는 확대된 Baboon의 털 부분에 대한 본 발명 구분 가중 선형 보간(WLI, w=1) 방법을 적용한 결과를 보이는 이미지이다.
도 5d는 확대된 Baboon의 털 부분에 대한 본 발명 구분 가중 선형 보간(WLI, w=1/2) 방법을 적용한 결과를 보이는 이미지이다.
도 6a는 확대된 Baboon의 눈 부분에 대한 종래 LI 방법을 적용한 결과를 보이는 이미지이다.
도 6b는 확대된 Baboon의 눈 부분에 대한 종래 CCI 방법을 적용한 결과를 보이는 이미지이다.
도 6c는 확대된 Baboon의 눈 부분에 대한 본 발명 구분 가중 선형 보간(WLI, w=1) 방법을 적용한 결과를 보이는 이미지이다.
도 6d는 확대된 Baboon의 눈 부분에 대한 본 발명 구분 가중 선형 보간(WLI, w=1/2) 방법을 적용한 결과를 보이는 이미지이다.
도 7a, 7b는 종래 CCI와 본 발명의 WLI 방법을 적용하는 신호 흐름 그래프(signal flow graph)를 비교해 보인다.

이하, 본 발명에 따른 구간적 가중 보간법의 실시 예 및 이를 적용하는 장치에 관해 설명한다.

먼저 컨벌루션-기반의 보간법(Convolution-based Interpolation)에 대해 개략적으로 살펴본다.

f(x_k)를 연속함수 f(x)의 샘플된 형태(version)라고 하자. 샤논(Shannon) 이론은 sinc 보간법이 f(x)에서 샘플링한 함수 f(x_k)로부터 연속함수 f(x)로 샘플링 주파수가 함수 f(x)의 최대 주파수보다 두 배 더 클 때에 완벽하게 복원된다고 명시한다. f(x)와 이것의 샘플인 f(x_k) 사이의 관계는 다음의 식 (1)으로 나타낼 수 있다.

β는 보간핵이다. x_k는 샘플이 균일한 간격일 경우 정수 k로 바뀐다. sinc 보간법을 위해 β는 sinc 함수 sin(πx)/πx 로 정의된다. 유감스럽게도 sinc 함수의 실현 가능성은 함수의 무한범위(infinite support) 때문에 거의 불가능하다. 따라서 함수의 한정된 범위(finite support)에서 보간핵이 연구되어왔다(비특허문헌 1, 2, 7). 특히 짧은 범위(support)를 이용한 핵은 영상 보간법의 컴퓨팅 비용을 낮추는 점에서 바람직하다. 짧은 범위를 이용한 보간핵 중에서는 선형 보간핵 (linear interpolation kernel)이 적당한 품질과 낮은 복잡성으로 인해 가장 대중적으로 쓰이는데, 이는 다음 식 (2)와 같이 정의 된다.

그리고 개선된(improved)핵은 CCI 핵이며, 다음 식 (3)과 같이 정의된다.

식 (3)에 있는 α는 조정가능하며 -1/2의 값은 비특허문헌 1에서 추천되었다. CCI 핵은 선형 핵(linear kernel)보다 화질 면에서 더 좋은 성과를 제공한다. 따라서 CCI는 선형 핵보다 더 많은 비용이 들었음에도 불구하고 선형 핵을 대체하여 왔다. 그러나 CCI의 복잡성은 하드웨어 시스템에는 여전히 부담스럽다.

구분적 보간(piecewise interpolation)은 입력 샘플들로부터 일반화된 범위(normalized range) 0≤s≤1에서 연속함수 f(s)의 일부분을 복원한다. 입력 샘플들로부터 연속함수를 복원한 뒤, 구분적 보간은 다음 샘플들로부터 다음 구간의 함수를 생성한다.

따라서, 이 과정은 보간된 함수를 s에 대한 함수로 만들어 줄 수 있다. 그리고 보간 과정 (1)은 다음의 형태로 다시 쓸 수 있다.

예를 들어, 식 (3)의 CCI 핵을 식 (4)에 대입하면 다음의 식이 나온다.

여기에서, 벡터 {f(-1), f(0), f(1), f(2)}는 구분적 보간을 위한 입력 벡터(신호)로서 정의된다. α= -1/2 을 식 (5)에 적용하면 다음 식 (6)이 성립된다.

이하, 홀수-짝수 분해(Even-Odd Decomposition, 이하 EOD)로 잘 알려져 있는 신호 분해(signal decomposition) 에 대해 논의한다. 본 발명에서는 EOD를 보간핵 에 적용시킨다. 그 보간핵은 제안된 방법의 이해가 되도록 4개를 지원한다.

구분적 보간 과정을 위해 샘플(입력 신호)의 집합을 입력 벡터 f = {f(-1), f(0), f(1), f(2)}로 정의한다. 입력 벡터에 대한 EOD는 제 1 벡터 예를 들어, 짝수 벡터(even vector) fe와 제 2 벡터, 예를 들어, 홀수 벡터(odd vector) fo 등의 두 개의 벡터로 분리시킨다.

짝수 벡터 fe와 홀수 벡터 fo들의 각 요소(entry, i)는 다음과 같이 정의된다.

여기서 i는 -1부터 2까지에 대해서 fe(i)와 fo(i)는 각각 짝수 벡터와 홀수 벡터의 요소이다. 벡터 형태 일때, EOD는 방정식 f=fe+fo를 제공한다.

또한, 연속함수 f(s)는 짝수함수 fe(s)와 홀수함수 fo(s)로 나누어질 수 있다. 짝수 함수는 짝수 벡터로부터 복원되며 그리고 홀수 함수는 홀수 벡터로부터 복원될 수 있도록 선형성이 만족된다. 이것은 다음의 방정식 (8)로 설명된다.

예를들어, CCI 커널에 EOD를 적용시켜보자. 그러면 짝수 함수 fe(s)는 다음과 같이 계산된다.

마찬가지로, 홀수함수 fo(s)도 다음의 식(10)으로부터 얻어진다.

보간 과정에서의 EOD의 장점은 두 개의 요소가 대칭적인 성격을 갖고 있다는 점이다. 다른 말로, 짝수 벡터는 짝수-대칭형이고 홀수 벡터는 홀수-대칭형이다. 대칭적 성질에 대한 대표적인 예로서, 도 3a, 3b는 fe(0)=fe(1), fe(-1)=fe(2), fo(0)=-fo(1) 그리고 fo(-1)=fo(2)의 관계를 보여준다.

대칭성은 좋은 영상 품질과 기대한 만큼의 복잡성(expected complexity)의 측면에서 보간법을 향상 시키는 설계에 이용될 수 있다.

이하에서 이러한 대칭성을 이용하는 보간법의 설계에 대해 설명한다.

A. 짝수-홀수 벡터의 분석(Analysis of Even and Odd Vectors)

짝수와 홀수 벡터를 위한 보간 방법 설계에 앞서 짝수 벡터와 홀수 벡터는 찾는 데 있어 효과적인 방법에 대해 분석 한다. 기본 성질은 도 3a, 3b와 함께 언급되었던 대칭성이다. 대칭적 성질에 의해 s = 1/2에 대하여 0부터 1사이의 범위에서 짝수 함수fe(s)는 짝수-대칭성이며 홀수함수 fo(s)는 점 (1/2,0)에 대해 점대칭이라는 것을 쉽게 알 수 있다. 그러므로 보간 과정에 있어 관심을 가져야 할(interest) 부분은 0에서 0.5의 범위이다. 왜냐하면 0.5에서 1의 범위에서의 보간된 함수는 0부터 0.5의 범위의 보간된 함수로부터 쉽게 복사가 가능하기 때문이다. 예를 들어, (9)번과 (10)번 식의 CCI는 샘플 fe(0), fe(-1), fo(0), fo(-1)을 사용한다.

추가적으로, fe(s)와 fo(s)의 파워(power, 또는 크기) 특성에 대해 고려해보자. fe(0)과 fe(-1)이 fo(0)과 fo(-1)과 같은 레벨일 때 fe(s)의 파워는 fo(s)보다 더 크다. 이것은 비록 fe(0), fe(-1), fo(0), fe(-1)이 같더라도 보간된 함수 f(s)에는 fe(0)과 fe(-1)이 fo(0)과 fo(-1)보다 더 많이 기여한다는 것을 의미한다. 이러한 특성은 기본적으로 홀수 대칭적 성질에서부터 나온다. 도 3a, 3b는 fe(s)가 fo(s)보다 파워가 크다는 것을 보여준다. 파워가 약한 이유는 함수 fo(s) 가 항상 점(1/2,0)을 지나가기 때문이다. 이러한 파워 성질로부터 홀수 벡터를 위한 근사화된 보간을 적용할 수 있다. 다르게 말하자면, 낮은 복잡성 보간법은 가능한 신중해야 한다는 것이다.

더 나아가, 홀수 벡터는 이것의 정의로부터 고역 필터(high pass filter)의 출력이다. 이것은 홀수 벡터가 짝수 벡터보다 훨씬 더 많은 잡음(noise)을 가지고 있다는 것을 의미한다. 보통 잡음과 고주파의 신호들은 보간법을 실행하는데 있어서 악영향을 미친다. 따라서, 긴 범위를 갖는 차수가 높은 보간법은 홀수 벡터를 이용하는 보간법 설계는 피해야 한다.

B. 짝수 벡터를 위한 보간 방법의 설계(Design of Interpolation Method for Even Vector)

여기에서는 짝수 벡터를 이용하는 보간법 설계에 대해 기술한다. 앞에서 분해된 신호(decomposed signals) 짝수 벡터와 홀수 벡터의 특성에 대해 설명되었다. 이 분석을 기반으로 하여, 짝수 벡터의 성질을 고려한 효과적인 보간 기술을 얻을 수 있으며, 이하에 짝수 벡터를 이용한 새로운 보간법 설계를 설명한다. 일반성을 잃지 않는 범위에서 제안된 방법을 쉽게 이해하기 위해서, 도 3a에서 도시된 바와 같이, 보간된 함수 fe(s) 1/2 만큼 왼쪽으로 평행 이동시켰고 이 상황은 도 4에 보인다. 이동된 함수는 g(t)로부터 나타내지며 보간법 과정은 g(0)의 값에 상응한다는 것을 알 수 있다. 함수 g(t)의 모델을 정의 하는 것을 보간법의 설계 과정으로 고려해 보도록 한다. 어떠한 함수든 두 점 (-3/2, fe(-1))과 (-1/2, fe(0))을 통과한다면 g(t)가 될 수 있는 것으로 보이기 쉽다. 본 발명에서는 함수 g(t) 모델을 다음과 같이 세운다.

위 식에서 N은 함수 g(t)의 각도이며, a와 b는 모델 매개변수(model parameters)이다. 여기에서 각도 N은 g(t)의 모양을 결정한다. 즉, N>1의 경우에는 g(t)가 완만한 곡선을 이루며 N=1일 때 g(t)는 일직선이다. 매개변수 a와 b를 찾기 위해 다음의 두 방정식을 세운다.

식 (12)를 풀면, 다음의 결과를 얻는다.

위의 식은 0 ≤ s ≤ 0.5 구간에서만 유효하다는 것을 주의해야 한다. s>0.5인 경우 변수 s는 s = 1-s 로 치환된다. 제안된 보간법을 간단히 만들기 위해서 N=1을 대입하면 식 (11)은 다음의 식 (14)로 축소된다.

이 보간법 공식은 도 4에서 보여주는 것처럼 선형 외삽법(linear extrapolation)로 나타난다. 더 나아가 도 4 에 나타낸 것과 같이 식(14)에 가중치 w를 적용시킨다. 다음은 그 결과로 나온 식 (15)이다.

짝수 벡터에서 식(15)의 선형 보간법을 가중 선형 보간법(weighted linear interpolation(WLI)이라 정의한다. 도 4에서 보여준 것과 같이 1 보다 더 작은 w를 선택하는 것은 g(t)의 고차원함수의 근사치를 제공한다. 매개변수 w는 적응적 방법(adaptive method) 또는 실험(experiment)에 의해 결정 될 수 있다. 적응적 방법이 매개변수인 가중치 w에 영향을 주어 결정하게 되면 컴퓨터 사용 코스트가 올라간다. 따라서 본 실시 예에서는 실험을 통해 w를 고정된 값으로 둔다. 본 실시 예에서는 실험적 결과에 따라 w를 1/2로 제안 한다. 다음에서는 실험적 결과를 보이며 이에 대해 언급한다.

C. 홀수 벡터를 위한 보간법의 설계(Design of Interpolation Method for Odd Vector)

홀수 벡터를 이용한 보간법의 설계에서 본 발명자는 간단히 선형 보간법을 적용하였다. 따라서 홀수 함수 fo(s)는 다음과 같이 정의된다.

fo(s)의 선형 보간법을 사용하는 이유는 fo(0)이 fo(s)에 적게 기여하며 홀수 부분이 잡음에 민감하기 때문이며 이에 대해 전술한 바 있다. 따라서, 선형 보간법이 고차원 보간법보다 효율적이다. 게다가 선형 보간법을 사용하면 구현을 하는데 있어 낮은 복잡성 구조를 제공한다.

D. 실험 결과(Experimental Results)

본 발명이 제안한 보간법이 효율적이라는 점을 증명하기 위해 본 발명의 가중 선형 보간법(WLI)과 현재 많이 사용되고 있는 CCI, LI를 비교 실험하였다. 실험에서는 512 x 512 크기의 7가지 테스트 이미지가 이용되었다. 종래의 CCI, LI 방법과 본 발명의 WLI 방법을 각각의 차원에서 분리하는 방식으로 테스트 이미지에 적용하였다. 본 발명의 WLI 방법에는 가중치 w로서 1, 1/4, 1/2를 적용하였다. 가중치 1/2 은 가장 바람직한 실험결과를 통해 결정되었다.

데시메이션-인터폴레이션(decimation-interpolation)에 관한 두 실험을 수행했다(비특허문헌 4, 12). 표 Ⅰ과 표 2는 데시메이션-인터폴레이션 구조(structure)의 PSNR(Peak Signal to Noise Ratio)의 관점에서 실험한 결과를 보여준다. 표 1은 실험결과로서 제안된 본 발명의 WLI 방법이 LI나 CCI를 능가한다는 것을 보여준다. 여기에서 다운 샘플링에 사용된 저역 패스 필터의 계수(Coefficients of the low pass filter)는 1/4{1, 2, 1}이었다.

Images	Linear	CCI	WLI (w=1)	WLI (w=1/2)	WLI (w=1/4)
Lena	32.57	33.52	33.82	34.19	33.52
Peppers	31.16	31.60	31.37	31.80	31.60
Baboon	22.95	23.22	23.41	23.41	23.22
Airplane	29.48	30.14	30.28	30.56	30.14
Goldhill	30.63	31.12	31.20	31.41	31.12
Barbara	25.12	25.26	25.09	25.31	25.26
Finger	26.79	28.11	28.57	29.15	28.11
Average	28.39	29.00	29.11	29.40	29.00

삭제

표 2는 주밍 업-다운(Zooming UP and Down) 구조의 시뮬레이션 결과를 보인다. 여기에서 입력 이미지는 0.7의 인수로 다운 스케일(축소)되었고 1/0.7의 인수로 업-스케일링(확대)이 되었다.

Images	Linear	CCI	WLI (w=1)	WLI (w=1/2)	WLI (w=1/4)
Lena	35.58	38.25	34.00	38.47	37.47
Peppers	34.14	35.63	32.56	35.17	35.02
Baboon	25.00	26.28	24.51	26.30	25.83
Airplane	32.79	34.91	31.49	34.72	34.17
Goldhill	33.02	34.64	32.31	34.68	34.12
Barbara	27.20	29.04	27.95	29.30	28.31
Finger	30.44	34.57	28.05	34.93	33.34
Average	31.17	33.33	30.12	33.37	32.61

표 3은 WLI 방법과 CCI 픽셀당 컴퓨팅 비용(하드웨어적인 비용)을 비교해 보이는 것으로서, 픽셀당 컴퓨팅 비용 비교(Comparison on computation cost per pixel)해 보이다. 표 3를 통해 이해할 수 있는 WLI와 CCI의 차이는 도 7a와 7b의 비교를 통해서도 직관적으로 이해할 수 있다. 도 7a의 패로우 구조(Farrow structure)에 의한 CCI와 도 7b는 본 발명의 WLI(w=1/2)의 신호 흐름 구조를 나타낸다.

삭제

Method	Multiplier	Adder	Delay	Shift	Total
CCI	3	13	11	9	36
WLI	2	6	3	6	17

마지막으로 주관적인 화질 실험을 하기 위한 확대 실험이다. (experiment to subjectively evaluate visual quality.) Baboon 이미지의 두(털과 눈) 부분을 2π 만큼 확대하여 제안된 방법과 현재 사용되고 있는 방법들을 주관적인 화질면에서 비교해 보았다. 도 5a~5d 및 도 6a~6d는 Baboon의 부분 이미지를 확대한 실험의 결과를 보여준다. 도 5a~5d는 2π 만큼 확대한 Baboon의 털 부분을 이미지들이다. 도 5a는 기존의 선형보간법(LI)을 적용한 결과 이미지이다. 도 5b는 확대된 이미지를 기존의 CCI를 적용하여 보간한 이미지이다. 도 5c는 1의 가중치(w=1)를 적용한 이미지이며, 도 5d는 바람직하게 1/2를 가중치(w=1/2)로 적용한 이미지이다.

한편, 도 6a내지 도 6d는 Baboon의 눈 부분의 이미지를 확대한 실험결과를 보인다. 도 6a는 기존의 선형보간법을 적용한 결과 이미지이다. 도 6b는 기존의 CCI를 적용한 이미지이다. 도 6c는 1의 가중치(w=1)를 적용한 이미지이며, 도 6d는 바람직하게 1/2를 가중치(w=1/2)로 적용한 이미지이다.

위의 도 5a~5d, 도 6a~6d의 결과를 통해 본원 발명의 방법즉 구분적 가중 선형 보간법(WLI)가 기존의 선형 보간법(LI)과 3차 나선형 보간법(CCI)에 비해 양호한 이미지 출력을 얻을 수 있음을 알 수 있다. 본 발명에 따르면, 도 5c, 5d 및 도 6c, 6d에 도시된 바와 같이 기존의 방법에 따른 이미지(도 5a, 5b, 6a, 6b)에 비해서, 확대한 이미지의 블러링(흐림)과 계단형으로 둘쭉 날쭉한 에지(edge)가 감소되었다.

도 7a, 7b에서 도시된 신호 흐름 그래프(signal flow graph)를 보면 CCI와 본 발명의 WLI의 복잡성을 비교할 수 있다. 효율적인 구조라고 잘 알려진 도 7a의 패로우 구조(Farrow Structure, 비특허인용문헌 17 참조)는 CCI 방법을 구현하는데 활용된다. 패로우 구조는 특히 펌웨어를 기반으로하는 하드웨어 시스템에서 다항 보간법의 구현에 효과적인 것으로 잘 알려져 있다. 본 발명에 따른 구분적 가중 선형 보간법(WLI)에 기초하는 도 7b에 도시된 바와 같은 신호 흐름 그래프는 식(15)와 식(16)에 의해 만들어진다. 이러한 신호 흐름도를 기반으로 하여, 도 7a, 7b에 나타난 바와 같이, 멀티플라이어(multiplier), 가산(adder), 딜레이(delay)와 시프트(shift)등과 같은 다수의 연산(동작)이 각 그래프에 관련하여 계수(count)된다. 표 3은 요구되는 픽셀당 연산 수의 면에서 기존의 CCI와 본 발명의 WLI 두 방법의 복잡성 결과를 보인다. 이것은 본 발명의 WLI 방법이 CCI 방법보다 복잡성 면에서 절반 또는 그보다 조금 덜하다는 것을 보여준다.

더 나아가, 본 연구에서는 3GHz의 PC로 C언어로 작성된 소프트웨어 시뮬레이션을 실행시켜 처리 속도를 측정했다. 크기가 512x512인 7개의 이미지를 2π의 비율로 이미지의 크기를 3215x3215까지 확대하였다. CCI와 WLI의 처리속도는 각각 약 1.603초, 0.187초였다. 이 결과는 본 발명의 WLI 방법이 기존의 CCI 방법보다 처리속도가 8.5배 더 빠르다는 것을 보여준다.

상기와 같은 본 발명의 WLI 방법은 카메라에서와 같이 펌웨어의 형태로 구현될 수 있다. 또는 PC 상에서 실행되는 되는 것으로 PC 기반의 어플리케이션의 형태로 구현될 수 도 있다.

도 2는 본 발명의 WLI 방법을 적용하는 다양한 형태의 장치에서 WLI 방법을 수행을 위한 구조의 블록도를 나타낸다.

도 2를 참조하면, 이미지로 복수의 입력 신호(벡터)를 입력 또는 추출하는 입력부(21)는 벡터 분리부(22, EOD)에 연결된다. 벡터 분리부(22)는, 전술한 바와 같이, 다수 입력 벡터들 각각을 제 1 (짝수) 벡터(fe)와 제 2 (홀수) 벡터(fo) 분리한다. 여기에서 입력 벡터가 f(-1), f(0), f(1), f(2)이며, 상기 벡터 분리부(22)를 통해 상기 각 입력 벡터들로부터 짝수 벡터 fe(-1), fe(0), fe(1), fe(2) 및 홀수 벡터 fo(-1), fo(0), fo(1), fo(2)를 얻는다. 짝수 벡터들과 홀수 벡터들은 제1보간부(23a)와 제2보간부(23b)를 통해 보간됨으로써 제 1 (짝수) 함수 fe(s)와 제 2 (홀수) 함수 fo(s)가 얻어진다.

본 발명의 실시 예에 따르면, 전술한 바와 같은 선형 보간법(LI), 특히 가중 선형 보간법(WLI)이 적용될 수 있다. 그러나, 다른 실시 예에 따르면 기존의 CCI 커널을 적용하여 홀수 벡터와 짝수 벡터들에 적용한 보간법을 수행할 수 있다.

즉, 본 발명은 입력 벡터를 그대로 보간하는 종래 방법과는 달리 짝수 벡터와 홀수 벡터로 분리한 후 이를 각각을 보간하는 점을 기본적인 기술 개념을 둔다. 본 발명의 다른 실시 예에 따라 구분적 가중 선형 보간법을 적용하는 경우, 짝수 벡터는 식 (15)의 가중 선형 보간법을 적용할 수 있다. 이때에 전술한 바와 같이 가중치(w)는 1 이하의 값에서 선택될 수 있으며, 예를 들어 1, 1/4, 1/2 중에서 취해 질 수 있다. 그러나 또 다른 실시 예에 다르면 상기 가중치는 1/2이 바람직하다. 한편, 홀수 벡터의 경우는 가중치가 없는 식 (16)의 선형 보간법을 적용할 수 있다.

상기와 같은 다양한 방법에 의해 보간된 짝수 벡터와 홀수 벡터(함수)는 출력부(24)에서 가산되어 보간된 연속 함수 f(s) 로서 출력된다. 그러나, 다른 실시예에 따르면 홀수 함수는 배제되고 보간된 짝수 벡터로만 보간된 연속함수 f(s)로서 출력될 수 있다. 이는 전술한 바와 같이 파워(power) 특성면에서, fe(0)과 fe(-1)이 fo(0)과 fo(-1)과 같은 레벨일 때 fe(s)의 파워는 fo(s)보다 더 크며, 이것은 비록 fe(0), fe(-1), fo(0), fe(-1)이 같더라도 보간된 함수 f(s)에는 fe(0)과 fe(-1)이 fo(0)과 fo(-1)보다 더 많이 기여함에 기인한다.

위의 실시 예의 설명에서는 입력 벡터(신호)를 제 1 벡터, 예를 들어 짝수 벡터 그리고 제 2 벡터, 예를 들어 짝수 벡터로 2 분화하는 것을 기준으로 설명되었다. 그러나, 2 분법 외에 그 이상의 4 분법 8 분법 등에 의해 4개 또는 8개 등의 다수의 분리 벡터를 적용할 수 있다. 즉, 2 분에 의해 얻어진 홀수 벡터를 짝수 벡터 각각을 다시 2 분함으로써 홀수 벡터로 홀수 벡터와 짝수 벡터를 얻을 수 있고, 역시 짝수 벡터로부터도 짝수 벡터와 홀수 벡터를 얻을 수 있게 된다. 이와 같이 함으로써 하나의 입력 벡터로부터 4개 벡터를 얻을 수 있다. 이러한 방법은 이 보다 많은 수의 분리 벡터를 얻을 수 있으며, 이러한 다수의 분리 벡터를 효과적인 이미지 보간 설계을 들에 적용될 수 있다.

또한, 위의 설명에서는 입력 벡터 f(-1), f(0), f(1), f(2) 로 표현된 4개의 신호가 이용되었으나, 본 발명의 다른 실시예에 따르면, 이 보다 많은 수의 입력 벡터를 받아들여 전술한 바와 같은 본 발명의 보간법을 수행할 수 있다.

21: 신호(벡터, 샘플 함수) 입력부
22: 벡터 분리부
23a: 제 1 보간부
23b: 제 2 보간부
24: 출력부

Claims

이미지로부터 복수의 입력 벡터(신호)를 취하는 단계;
상기 입력 벡터들을 적어도 제 1 벡터와 제 2 벡터를 포함하는 복수의 벡터로 분리하는 단계;
상기 제 1, 제 2 벡터중 적어도 어느 하나를 소정 보간함수에 의해 보간하는 단계;를 포함하며,
상기 제 1 벡터는 짝수 벡터, 제 2 벡터는 홀수 벡터인 것을 특징으로 하는 이미지 보간법.
삭제
삭제
제 1 항에 있어서,
상기 제 1 벡터에 대한 보간은 구분적 가중 선형 보간법(WLI)을 적용하며, 제 2 벡터에 대해서는 선형 보간법을 적용하는 것을 특징으로 하는 이미지 보간법.
제 1 항 또는 제 4 항에 있어서,
상기 제 1 벡터와 제 2 벡터들을 각각을 서로 다른 보간 함수로 보간하는 보간된 제 1 함수와 제 2 함수를 얻는 단계; 그리고,
보간된 상기 제 1, 2 함수를 합하여 보간된 연속 함수를 얻는 단계;를 더 포함하는 것을 특징으로 하는 이미지 보간법.
제 5 항에 있어서,
상기 입력 벡터 f = {f(-1), f(0), f(1), f(2)}로 정의하고 상기 입력 벡터로부터 얻어진 제 1 벡터 fe(-1), fe(0), fe(1), fe(2)에 대한 제 1 보간 함수 fe(s)와 제 2 벡터 fo(-1), fo(0), fo(1), fo(2)에 대한 보간법 함수 fo(s)는 아래와 같이 정의되는 것을 특징으로 하는 이미지 보간법.

여기에서, 상기 식은 0 ≤ 가중치(w) ≤ 1, 0 ≤ s ≤ 0.5 조건을 만족함.
제 6 항에 있어서,
상기 가중치(w)는 1/2인 것을 특징으로 하는 이미지 보간법.
다수의 입력 벡터(신호)를 입력 받는 입력부;
상기 벡터를 적어도 제 1 벡터와 제 2 벡터를 포함하는 복수의 벡터로 분리하는 벡터 분리부;
상기 제 1, 제 2 벡터 중 적어도 어느 하나를 소정 보간함수로 보간하는 보간부; 그리고
상기 보간부로부터 얻어진 연속함수를 출력하는 출력부;를 포함하며,
상기 제 1 벡터는 짝수 벡터, 제 2 벡터는 홀수 벡터인 것을 특징으로 하는 이미지 보간 장치.
삭제
삭제
제 8 항에 있어서,
상기 제 1 벡터에 대한 보간은 구분적 가중 선형 보간법(WLI)을 적용하며, 제 2 벡터에 대해서는 선형 보간법을 적용하는 것을 특징으로 하는 이미지 보간 장치.
제 8 항 또는 제 11 항에 있어서,
상기 보간부는 제 1 벡터와 제 2 벡터들을 각각을 서로 다른 보간 함수로 보간된 제 1 함수와 제 2 함수를 얻는 단계; 그리고,
상기 출력부는 보간된 상기 제 1, 2 함수를 합하여 보간된 연속 함수를 얻는 출력하는 것을 특징으로 하는 이미지 보간 장치.
제 12 항에 있어서,
상기 입력 벡터 f = {f(-1), f(0), f(1), f(2)}로 정의하고 상기 입력 벡터로부터 얻어진 제 1 벡터 fe(-1), fe(0), fe(1), fe(2)에 대한 제 1 보간 함수 fe(s)와 제 2 벡터 fo(-1), fo(0), fo(1), fo(2)에 대한 보간법 함수 fo(s)는 아래와 같이 정의되는 것을 특징으로 하는 이미지 보간 장치.

여기에서, 상기 식은 0 ≤ 가중치(w) ≤ 1, 0 ≤ s ≤ 0.5 조건을 만족함.
제 13 항에 있어서,
상기 가중치(w)는 1/2인 것을 특징으로 하는 이미지 보간 장치.