KR100986607B1

KR100986607B1 - 영상 보간 방법 및 그 방법이 기록된 컴퓨터로 읽을 수 있는 기록매체

Info

Publication number: KR100986607B1
Application number: KR1020080103985A
Authority: KR
Inventors: 정제창; 김주혁; 진순종; 이현우
Original assignee: 중앙대학교 산학협력단; 한양대학교 산학협력단
Priority date: 2008-10-23
Filing date: 2008-10-23
Publication date: 2010-10-11
Also published as: KR20100044977A

Abstract

본 발명은 영상 보간 방법 및 그 방법이 기록된 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다. 본 발명에 따른 영상 보간 방법은 보간 대상인 현재 화소를 포함하는 영역에 에지가 존재하는지 여부를 판단하는 단계; 상기 에지가 존재하는 경우, 상기 현재 화소를 중심으로 하는 현재 블록을 다수의 블록으로 나누는 단계; 상기 다수의 블록들의 상하좌우 경계에 대한 경계 패턴들을 산출하는 단계; 상기 현재 화소를 포함하는 중심 블록의 경계 패턴들과 나머지 주변 블록들의 경계패턴들의 유사도에 따라 상기 주변 블록들의 경계패턴들에 패턴가중치를 부여하는 단계; 상기 패턴가중치에 기초하여 에지방향을 결정하는 단계; 및 상기 결정된 에지방향에 따라 상기 현재 화소를 보강하는 단계를 포함한다.

이에 따라, 충분한 주변 정보와 에지를 고려함으로써 고품질의 영상 보간을 수행할 수 있다.

영상 보간, 선형 보간, 에지

Description

영상 보간 방법 및 그 방법이 기록된 컴퓨터로 읽을 수 있는 기록매체{METHOD FOR VIDEO INTERPOLATION AND COMPUTER RECORDABLE MEDIUM STORING THE METHOD}

본 발명은 영상 보간 방법 및 이를 기록한 컴퓨터로 읽을 수 있는 프로그램 기록매체에 관한 것이다.

영상 보간 기법은 저해상도의 영상으로부터 고해상도의 영상을 복원하는 기법으로서, 저해상도를 갖는 영상을 고해상도의 영상으로 변환하는 과정에서 존재하지 않는 화소를 만들어내는 기술이다.

최근 디지털 포토그래피, 디지털 TV, 멀티미디어, 광고, 인쇄 산업 등 다양한 분야에서 고화질의 영상에 대한 요구가 빠르게 증가하고 있다. 영상 보간 기법은 LCD, PDP 등의 디스플레이에서 원본의 화질을 유지하면서도 장치에 따라 서로 다른 해상도를 나타냄으로써 좋은 화질의 구현이 가능하다는 장점을 가지므로, 이러한 고화질의 영상의 요구에 부응하는 기술이다. 또한, 디지털 영상을 이용하는 영상분야에서 해상도의 변환이 필요한 경우, 예컨대 하나의 컨텐츠를 다양한 컨텐츠로 변환하여 전송하는 경우에도 유용하게 적용된다.

대표적인 영상 보간 기법으로는 양선형(Bilinear) 보간법과 바이큐빅(Bicubic) 보간법이 있다. 양선형 보간과 바이큐빅 보간은 계산이 복잡하지 않고 간단하다는 장점을 갖기 때문에 널리 사용되지만, 영상의 번짐, 링잉, 및 지그재그 등의 문제를 야기한다는 문제점이 있다. 이러한 화질저하는 주로 주파수 특성, 에지 특성, 및 로컬 패턴에 관한 정보의 제거에 의해, 에지 주변 또는 복잡한 이미지 주변에 주로 발생한다.

이러한 문제를 해결하기 위해 최근에는 에지방향에 있는 다수개의 화소의 지역적 패턴을 고려한 방식이 제안되고 있다. 에지를 고려한 대표적인 보간 기법으로 '새로운 적응적 선형 보간법'(New Adaptive Linear Interpolation; 이하, NAL 보간이라 함)이 제안되고 있으며, 이 기법은 단지 기존의 화소만을 이용하는 것이 아니라 주변 화소의 패턴에 따라 임시 화소를 추가적으로 고려함으로써 뭉그러짐 현상 등을 개선한다.

도 1은 종래 NAL 보간법의 원리를 설명하기 위한 그림이다.

도 1에서, f_x1, f_x2, f_x3, 및 f_x4는 화소값을 나타내며, 보간 대상인 현재 화소는 f_x1과 f_x2에 의해 생성되는 tem1과 f_x3 와 f_x4에 의해 생성되는 temp2에 의해 영향을 받게 된다. 양선형 보간은 f_x2 와 f_x3만을 고려하는데 비해, NAL 보간법은 4개의 화소를 고려한다는 점에 차이가 있다.

도 1에서, temp1과 temp2는 아래 수학식에 따라 산출된다.

이와 같이, NAL 보간법은 거리에 따라 가중치를 부여하여 산출되는 방식이며, 아래 수학식과 같이 정의될 수 있다.

여기서, β는 패턴 가중치로서, 0~1 사이의 값으로 설정된다.

다만, 이러한 NAL 보간법은 단순히 수직, 수평 주변 화소를 통해 얻은 임시 화소만을 선형적으로 고려한다는 문제점이 있다.

따라서, 본 발명의 목적은 충분한 주변 정보와 에지를 고려한 영상 보간 방법 및 그 방법이 기록된 컴퓨터로 읽을 수 있는 기록매체를 제공하는 것이다.

상기 목적은 본 발명에 따라, 영상 보간 방법에 있어서, 영상 보간 방법에 있어서, (a)현재 화소를 중심으로 하는 현재 블록을 다수의 블록으로 나누는 단계; (b)상기 다수의 블록들의 상하좌우 경계에 대한 경계 패턴들을 산출하는 단계; (c)상기 현재 화소를 포함하는 중심 블록의 경계 패턴들과 나머지 주변 블록들의 경계패턴들의 유사도에 따라 상기 주변 블록들의 경계패턴들에 패턴가중치를 부여하는 단계; (d)상기 패턴가중치에 기초하여 에지방향을 결정하는 단계; 및 (e)상기 결정된 에지방향에 따라 상기 현재 화소를 보간하는 단계를 포함하는 것을 특징으로 하는 영상 보간 방법에 의해 달성될 수 있다.

상기 방법은 (f)상기 현재 블록을 중심으로 하는 영역에 에지가 존재하는지 여부를 판단하는 단계를 더 포함하고, 상기 에지가 존재하는 경우, 상기 (a) 내지 (e) 단계를 수행하고, 상기 에지가 존재하지 않는 경우, (g)상기 현재 화소의 인접 화소들에 기초하여 상기 현재 화소를 보간하는 단계를 수행함으로써, 에지 존재여부에 따라 보간 방법을 달리한다.

상기 방법은 (h)상기 현재 블록을 중심으로 하는 상기 중심블록에 에지가 존재하는지 여부를 판단하는 단계를 더 포함하고, 상기 에지가 존재하는 경우, 상기 (b) 내지 (e) 단계를 수행하고, 상기 에지가 존재하지 않는 경우, (i)상기 현재 화소의 인접 화소들에 기초하여 상기 현재 화소를 보간하는 단계를 수행할 수 있다.

상기 에지가 존재하는지 판단하는 단계는, 상기 현재 화소의 인접 화소들 간의 편차값에 기초하여 판단함으로써, 일정값을 기준으로 편차값이 크면 에지영역으로, 편차값이 작으면 평활영역으로 판단한다.

상기 경계패턴들을 산출하는 단계는, 상기 다수의 블록들의 상하좌우 경계에 존재하는 화소값들의 증감 여부를 판별하는 단계를 포함함으로써, 각 블록의 상하좌우 경계의 패턴을 판별한다.

상기 경계패턴들에 상기 패턴가중치를 부여하는 단계는, 상기 중심블록과 상기 주변블록 간의 상하좌우 경계에 대한 상기 화소값들의 증감 여부의 유사도에 따라, 상하좌우 경계의 상기 경계패턴들 각각에 대해 상기 패턴가중치를 부여함으로써, 경계패턴 맵을 작성 한다.

상기 패턴가중치에 기초하여 상기 에지방향을 결정하는 단계는, 상기 경계패턴과 상기 중심블록 간의 거리와 방향에 따라 상기 경계패턴에 거리가중치를 부여하는 단계; 상기 경계패턴에 대한 상기 패턴가중치와 상기 거리가중치를 곱한 값들을 상기 주변블록별로 합하여 코스트 값을 산출하는 단계; 및 상기 코스트 값에 기초하여 상기 현재화소에 대한 상기 에지방향을 결정하는 단계를 포함함으로써, 경계 패턴의 가중치와 경계패턴의 거리가중치를 함께 고려하여 에지방향을 결정한다.

상기 에지방향을 결정하는 단계는 상기 코스트 값이 최소인 블록을 상기 현재화소에 대한 상기 에지방향으로 결정하는 단계를 포함한다.

한편, 상기 에지방향을 결정하는 단계는, 상기 코스트 값이 최소인 블록과 인접 블록들 간의 평균 코스트 값의 차이값이 일정값보다 큰지 여부를 판단하는 단계; 및 상기 차이값이 일정값보다 크면 상기 코스트 값이 최소인 블록을 상기 현재화소에 대한 상기 에지방향으로 결정하고, 상기 차이값이 일정값보다 작으면 상기 코스트 값이 최소인 블록과 상기 인접 블록들 중 코스트 값이 최소인 인접 블록 사이를 상기 에지방향으로 결정하는 단계를 포함함으로써, 수직, 수평, 대각선 이외의 에지각도를 고려할 수 있다.

상기 현재 화소를 보간하는 단계는, 상기 결정된 에지방향에 참조 화소가 존재하는지 판단하는 단계; 및 상기 참조화소가 존재하면 상기 참조화소에 기초하여 보간을 수행하고, 상기 참조화소가 존재하지 않으면 NAL 보간법에 따라 임시화소를 생성한 후 상기 임시화소에 기초하여 상기 현재 화소를 보간하는 단계를 포함함으로써, 정밀한 보간을 가능하게 한다.

상기 현재 블록을 ±45도 회전하는 단계를 더 포함할 수 있다.

한편, 상기 목적은 본 발명에 따라, 전술한 영상 보간 방법이 기록된 컴퓨터로 읽을 수 있는 기록매체에 의해 달성될 수 있다.

이상 설명한 바와 같이, 본 발명에 따르면, 충분한 주변 정보와 에지를 고려하는 영상 보간 방법 및 그 방법이 기록된 컴퓨터로 읽을 수 있는 기록매체가 제공된다.

이하, 도면을 참조하여 본 발명의 구체적인 실시예들에 대해 설명하기로 한다.

본 발명에 따른 영상 보간은 크게 두 단계로 수행된다. 첫 단계는 에지방향 벡터 즉, 공간 방향 벡터를 찾는 것이고, 두번째 단계는 산출한 에지방향에 따라 현재 화소를 보간하는 것이다.

우선, 도 2 및 도 3을 참조하여 에지 벡터를 찾는 과정을 설명한다.

도 2는 본 발명의 제1 실시예에 따른 영상 보간 방법에 관한 흐름도이고, 도 3은 본 발명의 제1 실시예에 따른 영상 보간 방법을 설명하기 위한 화소 위치들을 도시한 것이다.

도 2를 참조하면, 우선 보간 할 대상인 현재 화소가 속한 영역에 에지가 존재하는지 여부를 판단한다(S10).

도 3에서 흰색으로 표시된 화소들은 본래의 화소들이고, 회색으로 표시된 화소들은 보간을 해야 하는 화소들을 나타낸다. 현재 보간 대상인 현재 화소는 Q이며, A, B, C, ~, O, P는 Q를 중심으로 한 현재 블록에 포함된 본래 화소들을 의미한다.

도 3에서, Q의 주변 화소들인 F, G, J, K가 유사한 값을 갖는다면, 에지를 찾을 필요가 없을 수 있다. 따라서, 주변 화소들의 값들의 편차값이 소정값보다 큰 경우에는 에지영역으로 판단하여 에지를 찾고(S11~S14), 주변 화소들의 값들의 편차값이 소정값 이하면 에지가 없는 평활영역으로 판단하여 보간을 수행한다(S16).

현재 영역이 평활영역으로 판단된 경우, 4개의 인접 화소들에 기초하여 현재 화소를 보간한다. 예컨대, 인접 화소들의 평균값으로 현재 화소를 보간할 수 있다(S15).

한편, 현재 영역이 에지영역으로 판단된 경우, 현재 블록을 다수의 블록으로 나누고(S11), 각각의 블록에서 상하좌우 경계의 경계 패턴을 산출한다(S12).

도 3에서, 현재 블록이 4*4=16개의 본래 화소들을 포함하므로, 16개의 본래 화소들을 영역별로 중첩하여 4개씩 9개의 블록으로 나눌 수 있다. 예컨대, A, B, F, E를 경계로 하는 블록, B, C, G, F를 경계로 하는 블록, ..., K, L, O, P를 경계로 하는 블록으로 나눌 수 있다. 도 3에서, 9개의 블록을 점선으로 묶어서 표시하였다. 여기서, 보간 대상인 현재 화소를 포함하는 블록을 중심블록이라 하고, 나머지 블록을 인접블록이라 하자.

각 블록의 상하좌우의 경계 패턴은 각 블록에서 상하좌우 경계에 위치한 화소값들에 기초하여 다양한 방법으로 산출할 수 있으며, 본 실시예에서는 경계에 있는 화소값들 간의 차이값에 기초하여 경계 패턴을 증가, 감소, 동일(또는 유사)로 판별할 수 있다.

예컨대, 도 3에서 A, B, F, E를 포함하는 블록에서 경계패턴을 산출하는 경우, A와 B, B와 F, F와 E, E와 A값의 차이가 소정값 이상인지 여부와, 그 차이가 소정값 이상인 경우 증가인지 감소인지 여부에 따라 경계패턴을 3가지(예, 평활, 증가, 감소)로 산출할 수 있다.

위와 같은 과정을 거쳐, 9개의 블록에 대해 상하좌우 4개의 경계 패턴이 산출되면, 현재 화소가 속한 중심블록과의 경계패턴의 유사성에 기초하여 경계 패턴에 패턴가중치를 부여한다(S13). 여기서, 중심블록의 경계패턴과 유사한 경계 패턴을 갖는 블록이 에지방향으로 결정될 수 있도록 패턴가중치가 부여될 것이다.

도 3에서 각 블록은 에지방향을 의미한다. 예컨대, A, B, F, E를 포함하는 블록은 (-2,-2)의 방향 벡터를 의미한다. 이에 따르면, 도 3에서, 16개 화소로 이루어진 현재 블록은 Q를 중심으로 수직, 수평, 두 개의 대각선 등 총 4개의 에지방향을 갖게 된다.

이후, 패턴가중치를 각 블록별로 계산하여 최소 코스트 값을 갖는 블록을 에지방향으로 결정한다(S14).

마지막으로, 결정된 에지방향에 따라 현재 화소를 보간한다(S15). 화소 보간은 선형 보간 등 공지의 보간 방법이 적용될 수 있다. 다만, 에지방향에 화소값이 존재하지 않는 경우가 있을 수 있다.

예컨대, 도 3에서 에지방향이 수직으로 결정되었는데, Q의 위아래에 참조 화소들이 존재하지 않는 경우가 그 예가 될 수 있다. 이 경우, 위 아래에 임시 화소를 생성하여 이에 기초하여 현재 화소를 보간한다. 이때, 임시 화소의 생성 방법은 선형 보간, NAL 등 공지의 보간 방법을 적용할 수 있다.

이와 같이, 본 발명은 주변 인접 블록들의 경계 패턴을 고려하여 에지방향을 결정한 후 보간을 수행함으로써 성능을 더욱 향상시킬 수 있다.

본 발명의 제2 실시예에 따른 영상 보간 방법에 대해서는 도 3 및 도 4를 참조하여 설명하기로 한다. 도 4는 본 발명의 제2 실시예에 따른 영상 보간 방법의 흐름도이다.

도 4를 참조하면, 우선, 현재 화소를 중심으로 하는 현재 블록을 다수의 블록으로 나눈다(S20). 도 3에서, 현재 블록이 4*4=16개의 본래 화소들을 포함하므로, 16개의 본래 화소들을 영역별로 중첩하여 4개씩 9개의 블록으로 나눌 수 있다. 예컨대, 각 블록은 x^k _-2,-2={A,B,F,E}, x^k _-2,0={B,C,G,F}, x^k _-2,2={C,D,H,G}, x^k ₀ _,-2={E,F,J,I}, x^k ₀ _,0={F,G,K,J}, x^k ₀ _,2={G,H,L,K}, x^k ₂ _,-2={I,J,N,M}, x^k ₂ _,0={J,K,O,N}, x^k _2,2={K,L,P,O}와 같이 나타낼 수 있다. 여기서, x^k _j _,i는 (j,i)를 중심으로 시계방향의 4개의 인접 화소들을 의미한다(k=0,1,2,3). 예를 들어, 인덱스 k=0,1,2,3에 따라 x^k ₀ _,0={F,G,K,J}가 된다.

현재 블록을 9개의 블록으로 나눈 후, 현재 화소가 속한 중심블록에 에지가 존재하는지 여부를 판단한다. 도 4를 참조하면, 본 실시예에서는 현재 화소(Q)가 속한 중심블록의 화소들(F, G, K, L)의 편차값이 소정값 이상인지 여부를 판단하여(S21), 현재블록에 에지가 존재하는지 여부를 판별하게 된다.

구체적으로, Q(0,0)의 인접 화소들 4개의 표준 편차값인 σ_0,0가 TH1 이하이면 에지가 없는 평활영역으로 판단하고, σ_0,0이 소정값(TH1) 보다 큰 경우에는 에지영역으로 판단한다.

σ_0, ₀는 아래의 수학식 4에 의해 산출할 수 있다.

다만, 계산을 간단히 하기 위해, 위 수학식 4는 아래의 수학식 5로 대체될 수 있다.

위 수학식들에서, N은 인접 화소들의 개수를 의미하고, μ_j,i는 인접 화소들의 평균값, 즉 도 3을 참조하면, F,G,K,L의 평균값을 의미한다.

현재 영역이 평활영역으로 판단된 경우, 4개의 인접 화소들의 평균값(μ_j,i)으로 현재 화소를 보간한다(S32).

한편, 현재 영역이 에지영역으로 판단된 경우, 9개의 블록에서 각각 상하좌우의 경계 패턴을 산출한다(S22).

본 실시예에서는 상하좌우의 경계 화소들 간의 차이가 소정값(TH2) 이상인지 여부와 소정값 이상인 경우에 증가인지 감소인지를 판단하는 과정을 통해 경계패턴을 산출하는 것을 일 예로 한다.

아래 수학식 6은 본 실시예에 따라 경계 패턴을 산출하는 방법에 관한 식을 나타낸다.

위 식에서, P^k _j _,i는 경계 패턴을 의미한다.

예컨대, x^k _-2,-2={A,B,F,E} 블록에서, 시계방향으로 A,B 간의 차이가 소정값(TH2) 이상이고 B-A가 양수이면 P⁰ _-2,-2=increase(+), A, B 간의 차이가 소정값 이상이고, B-A가 음수이면 P⁰ _-2,-2=decrease(-), A, B 간의 차이가 소정값(TH2) 이하면 P⁰ _-2,-2=Flat(0)으로 경계패턴을 산출한다. 유사한 방법으로 오른쪽 경계 화소들 B, F에 대한 경계패턴값(P¹ _-2,-2)와 아래쪽 경계 화소들 E, F에 대한 경계 패턴값(P² _-2,-2), 왼쪽 경계 화소들 A, E에 대한 경계 패턴값(P³ _-2,-2)을 산출한다.

위와 같은 과정을 각 블록마다 수행하면, 각 블록에 대해 상하좌우 4개의 경계 패턴값이 산출된다.

다음으로, 현재 화소를 포함하는 중심 블록과의 유사성 여부에 따라 각 블록의 경계 패턴에 패턴가중치를 부여한다(S23).

도 3에서, 각 블록은 방향 벡터들{(-2,-2),(-2,0),(-2,2),(0,2),(2,2),(2,0)(2,-2),(0,-2)}을 의미하고, 패턴가중치는 각 블록의 k=0,1,2,3에 대해 아래 수학식 7에 의해 부여된다.

위 식에서, w_k는 패턴가중치를 의미한다.

구체적으로, 각 블록의 상하좌우 경계패턴값과 중심 블록의 상하좌우 경계패턴값을 각각 비교하여, 증가 또는 감소로 동일하면 패턴가중치는 1로 부여하고, 서로 Flat(0)값으로 동일하면 패턴가중치는 2로 부여하며, 경계패턴이 일치하지 않는 경우에는 3으로 부여한다.

도 3에서 각 경계패턴은 현재 화소와의 거리 및 방향이 일정하지 않으므로, 각 경계패턴과 현재 화소와의 거리 및 방향을 고려한다면 성능이 향상될 수 있을 것이다.

따라서, 본 실시예에 따른 영상 보간 방법은 현재 블록의 경계패턴과의 거리 및 방향에 따라 각 블록의 경계패턴에 거리가중치를 부여한다(S24).

도 5는 본 실시예에 따라 경계 패턴에 부여된 거리가중치의 일 예를 도시한 것이다.

도 5를 참조하면, 거리가중치는 현재블록에 가깝거나 현재 블록의 경계패턴과 동일한 방향의 경계패턴에 대해 거리가중치를 2로 부여하고, 나머지 경계패턴들에 대해서는 거리가중치를 1로 부여하였다.

이후, 산출된 패턴가중치와 거리가중치에 기초하여 각 블록에 대한 코스트 값을 산출하여 최소 코스트 값을 갖는 에지방향을 결정한다(S25).

아래 수학식 8은 패턴가중치 및 거리가중치를 고려한 각 블록의 코스트 값 산출에 관한 식이며, 수학식 9는 코스트 함수값에 따라 결정되는 에지 벡터(즉, 공간 방향 벡터)의 산출식이다.

위 식에서, dⁿ _k는 거리가중치를 의미한다.

위 식에 의해 산출된 에지 벡터에 따르면, 에지방향이 수직, 수평, 대각선 등 4가지밖에 존재하지 않는다. 따라서, 본 실시예에서는 위 S25 단계에서 결정한 에지 벡터가 정확인 에지 벡터인지 여부를 체크한다.

도 4를 참조하면, Cost[NBR]이 TH3보다 큰지 여부를 판단하여(S26), 만약 크다면 S25 단계에서 산출한 에지 벡터를 최종 에지벡터로 결정하고(S27), 작으면 SDV와 NBR에 기초하여 다시 최종 에지벡터를 산출하게 된다(S28).

여기서, TH3은 코스트 값이 최소인 블록의 코스트 값(Cost_SDV)과 이 블록(Cost_SDV)의 두 개의 이웃블록들의 코스트 값의 평균값(Cost_NBR)을 비교하기 위한 값으로서, TH3이 │Cost_NBR - Cost_SDV│보다 크면 S25 단계에서 산출한 에지 벡터를 최종 에지벡터로 결정하고, TH3이 │Cost_NBR - Cost_SDV│보다 작으면, SDV의 인접 벡터들 중에서 최소 코스트 값을 가진 벡터를 선택하여, SDV와 선택한 벡터 사이의 각을 최종 에지 벡터로 결정할 수 있다..

구체적으로, TH3은 아래의 수학식 10에 따라 산출될 수 있다.

위 식에서, Cost_4Blk는 8개 인접블록 중에서 최소 코스트 값을 갖는 4개의 블록의 평균 코스트 값을 의미한다.

다만, Cost_SDV는 항상 Cost_NBR보다 작으므로, 불필요한 연산을 피하기 위해, TH3을 아래 수학식 11과 같이, Cost_4Blk로 설정한다.

결과적으로, 도 4의 S26 단계와 같이, TH3과 Cost_NBR만을 비교하여 에지 벡터를 결정한다.

TH3가 Cost_NBR보다 작은 경우, 에지각도는 SDV 벡터와 인접 블록의 벡터 사이로 결정되므로, 대략 ±63.4도(tan-1(2)), ±26.5도(tan-1(1/2)) 중 하나로 결정된 다.

예컨대, SDV로 (-2,-2)가 결정되고, 그의 인접 블록들의 벡터인 (0,-2)와 (-2,0)에 해당하는 코스트 값의 평균이 TH3보다 작으며, 이들 중에서 (0,-2)가 더 작은 코스트 값을 가진다고 가정하자. 이 경우, 최종에지벡터는 (-2,-2)와 (0,-2)의 사이 각도인 -26.5도로 결정된다.

이와 같은 과정을 거쳐 최종 에지벡터가 결정되면, 결정된 최종 에지벡터를 따라 현재 화소를 보간하게 된다. 이하, 보간 과정을 설명한다.

현재 화소를 보간하기 위해, 우선 결정된 에지방향에 참조 화소들이 존재하는지 판단한다(S29). 참조 화소들이 존재하면, 이를 참조하여 선형보간을 하게 되고(S31), 참조 화소들이 존재하지 않으면, NAL 알고리즘을 이용하여 임시 화소를 생성한 후(S30), 이에 기초하여 선형보간을 한다(S31).

예컨대, 도 3에서, Q에 대해 에지방향이 45도로 결정되었다고 가정하자. 이 경우, J 및 G를 참조하여 양선형 보간을 하게 된다.

반면, 에지방향이 90도로 결정된 경우를 가정하면, 참조 화소가 존재하지 않으므로, Q의 바로 위 인접 화소는 E, F, G, H를 참조하여 NAL 알고리즘에 따라 F와 G 사이의 temp1값을 임시 화소값으로 생성하고, Q의 바로 아래 인접 화소는 유사하게 I, J, K, L을 참조하여 NAL 알고리즘에 따라 J와 K 사이의 temp2 값을 임시 화소값으로 생성한 후, 생성된 임시 화소들값을 선형보간한다. 여기서, s 값은 0.5로 설정된다.

유사하게, 에지방향이 63.4도로 결정되었다고 가정하면, 역시 참조 화소가 존재하지 않으므로, 각각 E, F, G, H와 I, J, K, L를 참조하여 NAL 알고리즘에 따라 에지방향으로 temp1값과 temp2 값 즉, 두 개의 임시 화소를 생성한 후, 선형 보간을 수행한다. 다만, 전술한 예에서는 거리가 동일하므로, s값이 0.5로 설정되지만, 본 예에서는 0.75의 값을 갖는다. 여기서, NAL 보간법에 대해서는 수학식 1 내지 3을 통해 전술하였으므로, NAL 보간법에 따른 임시 화소 생성 방법에 관한 보다 구체적인 설명은 생략하기로 한다.

도 6은 본 발명의 제1 실시예 또는 제2 실시예에 따라 1차적인 보간과정을 수행한 후의 화소들을 도시한 것이다. 도 6에서 흰색 화소는 본래의 화소이며, 노란색 화소는 전술한 제1 실시예 또는 제2 실시예에 따라 1차적으로 보간을 완료한 화소를 나타낸다. 그리고, 회색 화소는 2차적인 보간 대상이 되는 화소를 나타낸다.

본 발명에 따른 보간 방법은 보간 대상이 되는 화소를 중심으로 16개의 화소가 정사각형 형태로 분포하는 구조인데 비해, 도 6에서 회색으로 표시된 화소들은 16개의 화소들이 정사각형 형태로 분포하지 않고, 마름모 형태로 분포한다.

따라서, 도 6에서 회색으로 표시된 화소들을 보간하기 위해, 도 6을 도 7과 같이 -45도 회전한 후에 전술한 제1 실시예 또는 제2 실시예에 따른 보간을 동일하게 수행하여 화소를 보간할 수 있다.

도 6을 도 7과 같이 회전하게 되면, 보간대상이 되는 회색 화소들의 대각선 방향으로 화소들이 존재하므로, 이에 기초하여 제1 실시예 또는 제2 실시예에 따른 보간을 수행할 수 있게 된다.

따라서, 대각선 방향으로 4개의 인접 화소가 존재하는 화소들을 우선 보간 한 후, 나머지 화소들은 현재 블록을 +45도 또는 -45도 회전한 후 보간을 수행하게 된다.

구체적으로, 회전 후의 2차적인 보간과정은 첫번째 보간과 유사하게, 도 7과 같이, 현재의 블록을 현재 보간대상이 되는 Q 화소를 중심으로 9개의 블록으로 나눈 후 전술한 과정들을 거친다.

위 과정을 통해 최소 코스트를 갖는 블록이 3이라면, 에지방향을 따라 존재하는 D, G, J, M 4개의 값이 모두 알려진 값이므로, G, J를 가지고 양선형 방식을 이용하여 Q를 보간 하게 된다.

반면, 최소 코스트를 갖는 블록이 2인 경우, 에지 방향을 따라 존재하는 화소 값을 알지 못하므로, 바로 보간을 할 수는 없다. 이 경우, 임시 화소를 만들기 위해, NAL방식으로 E, F, G, H를 가지고 F와 G 사이의 temp1값을, I, J, K, L을 가지고 J와 K 사이의 temp2 값을 만든 후, 이 두 값의 평균을 사용해서 Q를 보간한다.

유사하게, 블록 2와 블록 3 사이에 에지가 존재하는 경우, 동일한 방식으로 2개의 임시 픽셀을 만들어 보간할 수 있다(즉, E, F, G, H를 가지고 F와 G 사이의 temp1값을, I, J, K, L을 가지고 J와 K 사이의 temp2 값을 만든다. 다만, 위 예에서 거리 s 값이 0.5였던 것과는 달리 여기서는 0.75의 값을 갖는다).

아래 표 1은 종래와 본 발명의 제2 실시예에 따른 실험 결과(PSNR)를 비교한 표이다. 본 실험에서 TH1을 10으로, TH2를 20으로 설정하였다.

위 실험은 512×512 해상도의 다양한 원본 이미지를 256×256으로 저해상도로 변환한 후, 512×512 해상도로 보간을 수행하였다. 위 표에서 알 수 있듯이, 본 발명에 따른 영상 보간 방법이 객관적인 성능이 우수함을 확인할 수 있다.

도 8은 'LENA' 영상에서 모자 부분을 확대한 사진으로써, (a)는 원본 이미지, (b)는 양선형 보간을 수행한 이미지, (c)는 바이큐빅 보간을 수행한 이미지, (d)는 A-바이큐빅 보간을 수행한 이미지, (e)는 본 발명에 따른 보간을 수행한 이미지를 도시한 것이다. 도 8을 통해 알 수 있듯이, 본 발명에 따른 영상 보간 방법이 주관적인 화질 또한 우수함을 확인할 수 있다.

이와 같이, 본 발명은 주변 화소들의 정보와 에지 정보를 충분히 반영하여 보간을 수행함으로써 우수한 성능을 가질 수 있다.

전술한 실시예들에서, TH1, TH2, TH3의 설정은 전술한 내용 이외의 다른 방법으로 설정될 수 있음은 물론이다.

한편, 본 발명에 따른 영상 보간 방법은 소프트웨어 프로그램으로 구현 가능하다.

비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.

도 1은 종래 NAL 보간법의 원리를 설명하기 위한 그림이다.

도 4는 본 발명의 제2 실시예에 따른 영상 보간 방법의 흐름도이다.

도 6은 본 발명의 제1 실시예 또는 제2 실시예에 따라 1차적인 보간과정을 수행한 후의 화소들을 도시한 것이다.

도 7은 도 6을 -45도 회전한 그림이다.

도 8은 'LENA' 영상에서 모자 부분을 확대한 사진들로서, 종래 보간과 본 발명의 보간 결과를 비교한 그림이다.

Claims

영상 보간 방법에 있어서,

(a)현재 화소를 중심으로 하는 현재 블록을 다수의 블록으로 나누는 단계;

(b)상기 다수의 블록들의 상하좌우 경계에 대한 경계 패턴들을 산출하는 단계;

(c)상기 현재 화소를 포함하는 중심 블록의 경계 패턴들과 나머지 주변 블록들의 경계패턴들의 유사도에 따라 상기 주변 블록들의 경계패턴들에 패턴가중치를 부여하는 단계;

(d)상기 패턴가중치에 기초하여 에지방향을 결정하는 단계; 및

(e)상기 결정된 에지방향에 따라 상기 현재 화소를 보간하는 단계를 포함하는 것을 특징으로 하는 영상 보간 방법.
제1항에 있어서,

(f)상기 현재 블록을 중심으로 하는 영역에 에지가 존재하는지 여부를 판단하는 단계를 더 포함하고,

상기 에지가 존재하는 경우, 상기 (a) 내지 (e) 단계를 수행하고, 상기 에지가 존재하지 않는 경우, (g)상기 현재 화소의 인접 화소들에 기초하여 상기 현재 화소를 보간하는 단계를 수행하는 것을 특징으로 하는 영상 보간 방법.
제1항에 있어서,

영상 보간 방법에 있어서,

(h)상기 현재 블록을 중심으로 하는 상기 중심블록에 에지가 존재하는지 여부를 판단하는 단계를 더 포함하고,

상기 에지가 존재하는 경우, 상기 (b) 내지 (e) 단계를 수행하고, 상기 에지가 존재하지 않는 경우, (i)상기 현재 화소의 인접 화소들에 기초하여 상기 현재 화소를 보간하는 단계를 수행하는 것을 특징으로 하는 영상 보간 방법.
제2항 또는 제3항에 있어서,

상기 에지가 존재하는지 판단하는 단계는, 상기 현재 화소의 인접 화소들 간의 편차값에 기초하여 판단하는 것을 특징으로 하는 영상 보간 방법.
제1항 내지 제3항 중 어느 하나의 항에 있어서,

상기 경계패턴들을 산출하는 단계는, 상기 다수의 블록들의 상하좌우 경계에 존재하는 화소값들의 증감 여부를 판별하는 단계를 포함하는 것을 특징으로 하는 영상 보간 방법.
제5항에 있어서,

상기 경계패턴들에 상기 패턴가중치를 부여하는 단계는, 상기 중심블록과 상기 주변블록 간의 상하좌우 경계에 대한 상기 화소값들의 증감여부의 유사도에 따라, 상하좌우 경계의 상기 경계패턴들 각각에 대해 상기 패턴가중치를 부여하는 것을 특징으로 하는 영상 보간 방법.
제6항에 있어서,

상기 패턴가중치에 기초하여 상기 에지방향을 결정하는 단계는,

상기 경계패턴과 상기 중심블록 간의 거리와 방향에 따라 상기 경계패턴에 거리가중치를 부여하는 단계;

상기 경계패턴에 대한 상기 패턴가중치와 상기 거리가중치를 곱한 값들을 상기 주변블록별로 합하여 코스트 값을 산출하는 단계; 및

상기 코스트 값에 기초하여 상기 현재화소에 대한 상기 에지방향을 결정하는 단계를 포함하는 것을 특징으로 하는 영상 보간 방법.
제7항에 있어서,

상기 에지방향을 결정하는 단계는 상기 코스트 값이 최소인 블록을 상기 현재화소에 대한 상기 에지방향으로 결정하는 단계를 포함하는 것을 특징으로 하는 영상 보간 방법.
제7항에 있어서,

상기 에지방향을 결정하는 단계는,

상기 코스트 값이 최소인 블록과 인접 블록들 간의 평균 코스트 값의 차이값이 일정값보다 큰지 여부를 판단하는 단계; 및

상기 차이값이 일정값보다 크면 상기 코스트 값이 최소인 블록을 상기 현재화소에 대한 상기 에지방향으로 결정하고, 상기 차이값이 일정값보다 작으면 상기 코스트 값이 최소인 블록과 상기 인접 블록들 중 코스트 값이 최소인 인접 블록 사이를 상기 에지방향으로 결정하는 단계를 포함하는 것을 특징으로 하는 영상 보간 방법.
제9항에 있어서,

상기 현재 화소를 보간하는 단계는, 상기 결정된 에지방향에 참조 화소가 존재하는지 판단하는 단계; 및

상기 참조화소가 존재하면 상기 참조화소에 기초하여 보간을 수행하고, 상기 참조화소가 존재하지 않으면 NAL 보간법에 따라 임시화소를 생성한 후 상기 임시화소에 기초하여 상기 현재 화소를 보간하는 단계를 포함하는 것을 특징으로 하는 영상 보간 방법.
제1항 내지 제3항 중 어느 하나의 항에 있어서,

상기 현재 블록을 45도 회전하는 단계를 더 포함하는 것을 특징으로 하는 영상 보간 방법.
제1항 내지 제3항 중 어느 하나의 항에 따른 영상 보간 방법이 기록된 컴퓨터로 읽을 수 있는 기록매체.