KR101174601B1 - Ｆｄｉｆ와 적응적인 가중치를 이용한 디인터레이싱 장치 및 방법 - Google Patents

Abstract

하나의 프레임 내에서 화소를 보간하는데 있어서, 잡음의 영향으로 화질이 열화되는 현상을 줄여주는 디인터레이싱 장치 및 방법이 개시된다. 서로 다른 대각방향인 P,Q 방향과 수직방향인 V방향으로 나타나는 에지의 방향성을 검출하는 에지방향 검출부과 상기 에지방향 검출부에서 검출된 에지의 방향성에 기반한 방향에 놓인 인접한n개의 화소들에 FDIF(Fixed Directional Interpolation Filter)에서 고정된 필터계수(h(k))를 가중치로 적용하고, 가중치가 적용된 상기 인접한 n개의 화소들의 가중합으로 화소를 보간하는 화소보간부를 포함하는 것을 특징으로 하는 디인터레이싱 장치 및 방법을 제공한다. 따라서, 기존의 디인터레이싱 기술과 비교하여 개선된 화질을 제공하고, 처리시간을 줄여 고화질의 영상을 보간할 수 있다.

Description

ＦＤＩＦ와 적응적인 가중치를 이용한 디인터레이싱 장치 및 방법{Deinterlacing Apparatus Using Fixed Directional Interpolation Filter(FDIF) and adaptive weight and Method of Using the same}

본 발명은 영상 처리기술에 관한 것으로, 더욱 상세하게는 하나의 프레임 내에서 보간 대상 화소의 주변에 위치한 화소을 이용하여 디인터레이싱을 수행하는 장치 및 방법에 관한 것이다.

영상의 화면 포맷에는 격행주사방식과 순행주사방식이 있다. 격행주사방식은 1장의 화면(프레임)을 2장의 필드로 나누어 송신하는 방식으로, 한 장의 화면(프레임)을 구성하기 위해서, 우선 짝수 번째의 줄을 건너뛰어 홀수 번째의 주사선에 제 1필드를 주사하고, 다음으로 홀수 번째의 줄을 건너뛰어 짝수 번째의 주사선에 제 2필드를 주사한다. 격행주사방식을 이용하면 같은 대역폭을 사용하는 동안에 프레임율을 2배로 늘릴 수 있는 장점이 있으나, 이 방식은 주사방식의 특성 때문에 영상의 깜박임 현상과 같은 화질의 열화가 발생할 수 있다. 이러한 화질의 열화를 방지하기 위해 다양한 디인터레이싱 기법들이 제시되어 왔다.

특히, PDP나 LCD 등과 같은 HDTV용 디스플레이 장치의 수요가 증가함에 따라 좋은 화질을 얻기 위해서 격행주사방식의 영상신호를 순행주사방식의 영상신호로 변환하는 디인터레이싱 과정이 필수적이다. 즉, 디인터레이싱은 격행주사방식의 특징으로 인하여 프레임내의 비어있는 영상 데이터(라인)를 주변의 영상 데이터를 이용하여 하나의 온전한 프레임으로 바꾸는 것이다.

디인터레이싱 방법은 시간적 정보를 사용하지 않고 현재 필드의 정보만을 사용하여 보간하는 화면 내(Intra-field) 디인터레이싱 방법과 시간적 정보와 현재 필드의 정보까지 사용하는 화면 간(Inter-field) 디인터레이싱 방법으로 크게 분류할 수 있다. 일반적으로 시간적 정보를 사용하는 디인터레이싱 방법이 성능면에서 우수하나, 연산량이 많아 복잡한 하드웨어 구조가 필요하고 정확한 움직임 검출을 수행하지 못할 경우 심각한 화질 열화를 발생시키는 단점이 있다. 또한, 시각적 정보를 사용하는 디인터레이싱 방법은 기본적으로 현재 필드의 정보까지 활용하여야 한다. 현재 필드의 정보를 사용하는 화면 내 디인터레이싱 방법은 다양한 공간 필터를 사용하여 접근하는 방법과 에지의 방향성을 고려하여 접근하는 방법이 있는데, 이 중에서 에지의 방향성을 고려하는 방법이 널리 활용되고 있는 실정이다.

에지의 방향성을 고려한 디인터레이싱 방법으로 ELA(Edge-based Line Average)방식은 3가지 방향성을 검출하여 화소를 보간하는 방법으로 연산이 빠르다는 장점이 있다. 또한, ELA방식은 구현의 용이성 때문에 널리 사용되어 왔으나, 화소 단위의 방향성 상관도만을 이용하여 화소를 보간하기 때문에 잘못된 에지정보를 사용하게 되면 잡음의 영향으로 화질이 떨어지는 문제점이 있다. E-ELA(Efficient ELA)방식은 ELA방식을 개선한 것으로 좀 더 정확한 에지 방향을 검출하여 화소를 보간하는 방법이다. E-ELA방식은 ELA 방식보다 정확한 방향성을 찾기 위하여 현재 위치에서 영상의 공간적인 형태를 세 가지로 분류한다. 즉, E-ELA방식은 공간적인 방향을 P,Q의 대각방향과 수직방향을 분류하여 에지의 방향성을 결정한다. 그러나,E-ELA방식은 ELA방식에 비해 어느 정도 성능을 개선하였지만, 복잡한 고주파 영역에서 에지 방향의 부적절한 판단으로 화질의 열화를 충분히 줄이지 못하는 문제점이 있다.

ELA방식을 변형한 MELA(Modified Edge-based Line Average)방식은 ELA방식보다 방향성을 확장하여 5가지 방향성을 검출하여 화소를 보간하기 때문에 성능면에서 우수하다. 그러나, MELA방식도 ELA방식과 마찬가지로 방향을 잘못 계산하여 오히려 화질의 열화를 야기시킬 수 있는 단점이 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 하나의 프레임 내에서 화소를 보간하는데 있어서, 잡음의 영향으로 화질이 열화되는 현상을 줄여주는 디인터레이싱 장치를 제공하는데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 하나의 프레임 내에서 화소를 보간하는데 있어서, 잡음의 영향으로 화질이 열화되는 현상을 줄여주는 디인터레이싱 방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명은, 서로 다른 대각방향인 P,Q 방향과 수직방향인 V방향으로 나타나는 에지의 방향성을 검출하는 에지방향 검출부와 상기 에지방향 검출부에서 검출된 에지의 방향성에 기반한 방향에 놓인 인접한 n개의 화소들에 FDIF(Fixed Directional Interpolation Filter)에서 고정된 필터계수(h(k))를 가중치로 적용하고, 상기 가중치가 적용된 상기 인접한 n개의 화소들의 가중합으로 화소를 보간하는 화소보간부를 포함하는 것을 특징으로 하는 디인터레이싱 장치를 제공한다.

여기에서, 상기 FDIF는 Sinc함수의 특성을 나타내는 필터인 것을 특징으로 할 수 있다.

여기에서, 화소보간부는 상기 P방향으로 상관도가 가장 높고 C _-1 < C ₀ 이면, 상기 P방향에 놓인 상기 인접한 n개의 각각 화소들에 상기 필터계수(h)를 각각 곱하여 가중합하며, 상기 Q방향으로 상관도가 가장 높고 C ₁ < C ₀ 이면, 상기 Q방향에 놓인 상기 인접한 n개의 각각 화소들에 상기 필터계수(h(k))를 각각 곱하여 가중합하는 것을 특징으로 할 수 있다.

여기서, 화소보간부는 상기 가중합에 화소간의 상관도를 고려한 부가가중치를 더 부여하는 것을 특징으로 할 수 있다.

상기 다른 목적을 달성하기 위한 본 발명은 서로 다른 대각방향인 P, Q 방향과 수직방향인 V방향으로 나타나는 에지의 방향성을 검출하는 단계와 검출된 상기 에지의 방향성에 기반한 방향에 놓인 인접한 n개의 화소들에 FDIF(Fixed Directional Interpolation Filter)에서 고정된 필터계수(h)를 가중치로 적용하고, 상기 가중치가 적용된 상기 인접한 n개의 화소들의 가중합으로 화소를 보간하는 단계를 포함하는 것을 특징으로 하는 디인터레이싱 방법을 제공한다.

상기와 같은 본 발명에 따른 FDIF와 적응적인 가중치를 이용한 디인터레이싱 장치를 이용할 경우에는 에지의 방향성을 잘못 검출하여 화면이 열화되는 현상을 줄여주여 화질을 향상시킬 수 있다.

또한, 본 발명이 제공하는 디인터레이싱 장치 및 방법은 화질을 개선시킨 화소보간 장치 및 방법을 제공할 뿐아니라 계산량도 상대적으로 적어 빠른 처리시간 내에 고화질의 영상을 보간할 수 있는 장점이 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 에지 방향을 판정하기 위하여 이용되는 윈도우를 나타낸다.
도 2는 M-ELA방식에 따른 에지의 방향성에 대한 개략도이다.
도 3은 본 발명의 일 실시예에 따른 디인터레이싱 방법을 설명하기 위해 보간될 화소를 중심으로 화소열을 나타낸 윈도우이다.
도 4는 본 발명의 일 실시예에 따른 디인터레이싱 방법의 절차도이다.
도 5는 다양한 디인터레이싱 방식의 객관적인 성능을 PSNR(Peak Signal to Noise Ratio)로 나타낸 표이다.
도6은 다양한 디인터레이싱 방식의 주관적인 화질에 대한 평가를 MSSIM으로 나타낸 표이다.
도 7은 본 발명의 일 실시예에 따라 영상을 디인터레이싱한 결과와 기존의 방법으로 디인터레이싱한 결과를 나타내는 사진이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 에지 방향을 판정하기 위하여 이용되는 윈도우를 나타낸다. 도 1을 참조하면, 3×3윈도우에서 보간될 화소인 x(i,j)을 중심으로 인접한 상위라인에 화소값 U _-1 , U ₀ , U ₁ 로 표현되는 화소가 위치하고, 인접한 하위라인에 화소값 L _-1 , L ₀ , L ₁ 로 표현되는 화소가 위치한다. 화면 내(Intra-field) 디인터레이싱 방법으로 널리 사용되고 있는 ELA(Edge-based Line Average)방식은 에지를 기반으로 하여 인접라인 사이의 방향성에 대한 상관도 정보를 이용하여 상관도가 높은 쪽으로 방향을 정하고, 해당 방향을 중심으로 두 화소의 평균값으로 화소를 보간한다. ELA방식에서 이용되는 에지의 방향성에 대한 상관계수는 수학식 1과 같이 표현될 수 있다.

여기서, C _-1 , C ₁ 는 대각선의 방향성을, C ₀ 는 수직방향의 방향성을 나타낸다. 즉, 에지의 방향성은 π/4 방향인 C _-1 , 3π/4 방향인 C ₁ , 수직방향인 C ₀ 로 표현될 수 있으며, 두 화소의 값의 차이가 최소인 방향을 방향성 상관도가 높은 것으로 보고 에지의 방향으로 결정한다. 그리고 에지의 방향으로 결정된 두 화소의 평균값으로 손실된 화소를 보간한다.

도 2는 M-ELA방식에 따른 에지의 방향성에 대한 개략도이다.

도 1 및 도 2를 참조하면, 화질을 보다 개선하기 위해 ELA방식을 개선한 M-ELA(Modified Edge-based Line Average)방식은 좀 더 정확한 에지의 방향을 찾아서 화소를 보간하는 방법이다. M-ELA방식에 의한 에지의 방향성에 대한 상관도 정보는 P, Q, V 의 방향으로 나타낸다. P, Q, V방향에 대한 상관계수는 수학식 2와 같이 표현될 수 있다.

M-ELA는 수학식 2에 표현된 P, Q, V 의 방향과 수학식 1의 상관계수들을 이용하여 에지의 방향성을 결정한다. 그리고 결정된 에지의 방향성을 이용하여 대각선방향의 경우에는 인접한 4개의 화소들의 평균으로 화소를 보간한다. 만약, P, Q, V 방향 중에서 P방향으로 상관도가 가장 높고(P값이 가장 작고), C _-1 < C ₀ 이면, 보간될 화소값은 (U _-1 +U ₀ +L ₀ +L ₁ )/4 로 나타난다. 마찬가지로, P, Q, V 방향 중에서 Q방향으로 상관도가 가장 높고(Q값이 가장 작고), C ₁ < C ₀ 이면, 보간될 화소값은 (U ₀ +U ₁ +L _-1 +L ₀ )/4 로 나타난다. 마지막으로, 나머지 경우에 있어서는 보간될 화소값은 (U ₀ +L ₀ )/2로 나타낼 수 있다.

이러한, M-ELA방식을 이용하여 화소를 보간하는 방법을 수식으로 나타내면, 수학식 3과 같이 나타낼 수 있다.

여기서,

이다. 즉, M-ELA방식은 수직 및 대각선 방향의 두 화소간의 평균값에 1/2라는 가중치를 부여하여 합한 값으로 보간될 화소인 x(i,j)를 나타낼 수 있고, 이는 두개의 화소의 평균값을 이용하는 2-탭 평균필터를 이용한 것이다. 그리고 수학식 3은 수학식 4와 같이 정리할 수 있다.

2-탭 평균필터의 주파수 응답을 보면 반원형태를 보이는 반면에, Sinc함수의 주파수 응답은 직사각형에 가까운 형태를 보인다. 주파수 응답의 형태가 직사각형에 가까우면 고주파의 영역까지 효과적으로 화소를 보간할 수 있다. 따라서, 직사각형에 가까운 주파수 응답 형태를 보이는 필터를 이용하면 보다 정밀하게 화소를 보간할 수 있다. 즉, 디인터레이싱의 수행에 있어서, 평균필터보다 Sinc함수를 이용한 필터를 사용하면 보다 정밀하게 화소를 보간할 수 있다.

이에, 본 발명은 2-탭 평균필터를 이용한 화소의 평균값을 6-탭 Sinc함수를 대략화한 필터를 이용한 값으로 대체하여 화소를 보간한다. 특히, Sinc함수를 대략화한 필터 중에서 필터계수(h(k))를 고정시켜서 사용하는 FDIF(Fixed Directional Interpolation Filter)를 사용한다. 따라서, 본 발명은 서로 다른 대각방향인 P,Q 방향과 수직방향인 V방향으로 나타나는 에지의 방향성을 검출하는 에지방향 검출부와 에지방향 검출부에서 검출된 에지의 방향성을에 기반한 방향에 놓인 인접한 n개의 화소들에 FDIF(Fixed Directional Interpolation Filter)에서 고정된 필터계수(h(k))를 가중치로 적용하고, 가중치가 적용된 인접한 n개의 화소들의 가중합으로 화소를 보간하는 화소보간부를 포함하는 디인터레이싱 장치를 제공한다. 또한, 바람직하게는 n은 6일 수 있다.

도 3은 본 발명의 일 실시예에 따른 디인터레이싱 방법을 설명하기 위해 보간될 화소를 중심으로 화소열을 나타낸 윈도우이다. 도 3을 참조하면, 보간될 화소인 x(i,j)를 중심으로 대각방향 또는 수직방향으로 인접하여 각각 6개의 참조화소가 있다. 또한, 회색으로 표시된 화소열이 보간될 영역이다. 6개의 참조화소에 FDIF에서 고정된 필터계수(h(k))를 가중치로 적용한 후, 이를 가중합하여 화소를 보간한다.

예를 들어서, 에지의 방향성이 P방향으로 결정되면 보간될 화소 x(i,j)는 x(i,j)= P ₀ h (0) + P ₁ h (1) + P ₂ h (2) + P ₃ h (3) + P ₄ h (4) + P ₅ h (5) 와 같이 나타낼 수 있다. 또한 에지의 방향성이 Q 방향으로 결정되면 보간될 화소 x(i,j)는 x(i,j)= Q ₀ h(0) + Q ₁ h (1) + Q ₂ h (2) + Q ₃ h (3) + Q ₄ h (4) + Q ₅ h (5)와 같이 나타낼 수 있다.

FDIF에서 고정된 필터계수를 h(k)라 하면, h(k)는 참조화소에 적용되는 가중치를 의미한다. 즉, 본 발명은 보간될 화소와 인접한 참조화소들의 거리와 상관도를 고려한 적응적 가중치를 부여할 수 있다.

이에 본 발명은 보간될 화소 x(i,j)는 수학식 5와 같이 나타낼 수 있는 것을 특징으로 할 수 있다.

여기서, 도 3을 참조하여P(k)는 P방향에 놓인 참조화소의 값을 나타내는 것으로 P ₀ , P ₁ , P ₂ , P ₃ , P ₄ , P ₅ 등의 화소값을 나타내고, 마찬가지로 Q(k)는 Q방향에 놓인 참조화소의 값이며, VQ (k)는 Q방향에 놓인 참조화소의 값을 나타낸다. 또한, P=(│U _-1 - L ₀ │+│U ₀ - L ₁ │)/2, Q=(│U ₀ -L _-1 │+│U ₁ - L ₀ │)/2 , V=(│U _-1 -L _-1 │+│U ₀ - L ₀ │+│U ₁ -L ₁ │)/3 이다. 즉, 각 방향으로 n개의 인접한 참조화소에 필터계수(h(k))를 가중치로 적용하고, 가중치가 적용된 인접한 n개의 화소를 가중합하여 화소를 보간한다.

즉, P방향으로 상관도가 가장 높고 C _-1 < C ₀ 이면, P방향에 놓인 인접한 n개의 각각 화소들에 상기 필터계수(h(k))를 각각 곱하여 가중합하며, Q방향으로 상관도가 가장 높고 C ₁ < C ₀ 이면, Q방향에 놓인 인접한 n개의 각각 화소들에 필터계수(h(k))를 각각 곱하여 가중합하여 화소를 보간할 수 있다. 따라서, 보간될 화소 x(i,j)는 수학식 5와 같이 나타낼 수 있다.

또한, FDIF에서 사용되는 필터계수는 다양하게 정의할 수 있으나 , h(k) = {3, -17, 78, 78, -17, 3}/ 128 를 적용할 수 있다.

일반적으로 영상에서 화소간의 거리가 가까울수록 화소간의 상관도는 커지고, 화소간의 거리가 멀어질수록 화소간의 상관도는 작아지게 된다. 따라서, 보간되는 화소를 기준으로 하여 대각방향에 위치한 화소들 보다는 위, 아래에 위치한 화소들이 보간되는 화소와 보다 높은 상관도를 가지고 있다. 이에 본 발명은 FDIF에서 고정된 필터계수를 가중치로 적용한 n개의 인접한 화소들의 가중합으로 보간된 화소에 화소간의 상관도를 고려한 부가가중치를 더 부여하는 것을 특징으로 하는 디인터레이싱 장치를 제공한다. 또한, 부가가중치는 수직방향(V)으로 적용되게 할 수 있다.

그리고, 수직방향에 부가가중치를 더 부여하여 보간한 화소( X )는 수학식 6과 같이 나타낼 수 있다.

여기서,

이다.

수학식 6을 참조하여 설명하면, P방향으로 상관도가 가장 높고(P값이 가장 작고) C _-1 < C ₀ 이면, P방향에 놓인 인접한 n개의 각각 화소들에 필터계수(h(k))를 각각 곱하여 더한 값에 C _-1 /( C _-1 + C ₀ )를 곱한 값과 V방향에 놓인 인접한 n개의 각각 화소들에 필터계수(h(k))를 각각 곱하여 더한 값에 C ₀ /( C _-1 + C ₀ )를 곱한 값을 더하여 화소를 보간하고, Q방향으로 상관도가 가장 높고(Q값이 가장 작고) C ₁ < C ₀ 이면, Q방향에 놓인 인접한 n개의 각각 화소들에 상기 필터계수(h(k))를 각각 곱하여 더한 값에 C ₁ /( C ₁ + C ₀ )를 곱한 값과 V방향에 놓인 인접한 n개의 각각 화소들에 상기 필터계수(h(k))를 각각 곱하여 더한 값에 C ₀ /( C ₁ + C ₀ )를 곱한 값을 더하여 화소를 보간하는 것을 특징으로 할 수 있다.

도 4는 본 발명의 일 실시예에 따른 디인터레이싱 방법의 절차도이다. 도 4를 참조하면, 본 발명인 FDIF 와 적응적인 가중치를 이용한 디인터레이싱 방법은 서로 다른 대각방향인 P, Q 방향과 수직방향인 V방향으로 나타나는 에지의 방향성을 검출하는 단계와 검출된 에지의 방향성에 기반한 방향에 놓인 인접한 n개의 화소들에 대하여 FDIF(Fixed Directional Interpolation Filter)에서 고정된 필터계수(h(k))를 가중치로 적용하고, 가중치가 적용된 인접한 n개의 화소들의 가중합으로 화소를 보간하는 단계를 포함한다.

또한, FDIF(Fixed Directional Interpolation Filter)에서 고정된 필터계수(h(k))를 가중치로 적용하고, 가중치가 적용된 상기 인접한 n개의 화소들의 가중합에 화소간의 상관도를 고려한 부가가중치를 부여하는 단계를 더 포함하는 것을 특징으로 할 수 있다. 바람직하게는, 보간될 화소와의 거리가 가까운 수직방향(V)에 부가가중치를 더 부여할 수 있다. 또한, 본 발명은 상술한 FDIF와 적응적인 가중치를 이용한 디인터레이싱 장치를 활용한 디인터레이싱 방법을 제공한다.

도 5는 다양한 디인터레이싱 방식의 객관적인 성능을 PSNR(Peak Signal to Noise Ratio)로 나타낸 표이다. 본 발명인 FDIF 와 적응적인 가중치를 이용한 디인터레이싱 장치 및 방법을 다양한 크기의 여러 가지 표준 정지 영상에 적용하였다. 또한 기존의 에지 기반의 공간적 디인터레이싱 기술들과 성능을 비교한 실험의 결과는 도 5와 같다. 즉, 도 5는 다양한 디인터레이싱 방식의 객관적인 성능을 PSNR(Peak Signal to Noise Ratio)로 나타낸다.

실험의 결과를 보면 본 발명은 기존의 방식에 비해 객관적으로 화질이 우수함을 알 수 있다. 특히, 본 발명을 객관적인 성능이 우수한 FDD방식과 비교하여 보면, FDD방식보다 평균 PSNR이 1.02dB이 높으면서 CPU의 시간을 2.5%까지 줄이는 효과가 있다. 또한, FDD방식보다 객관적인 성능은 낮지만 계산량이 적어 실시간 시스템에 적합한 MELA와 비교하여 보면, CPU의 시간은 약 13% 증가하였으나, PSNR은 1.15dB를 올린 것을 볼 수 있다.

도 6은 다양한 디인터레이싱 방식의 주관적인 화질에 대한 평가를 MSSIM으로 나타낸 표이다. 주관적 화질 평가를 위하여 SSIM(structure similarity)를 사용하였다. SSIM은 영역 별로 두 지역의 구조적 유사성에 근거하고, mean SSIM(MSSIM)은 영상 전체에 대한 객관적인 지표로 쓰인다. MSSIM 값의 범위는 0~1까지이고, 1에 근접할수록 원본과 유사하다고 볼 수 있다. 도 6에는 다양한 디인터레이싱 방식의 주관적인 화질에 대한 평가를 MSSIM으로 나타낸다.

도 6에 나타난 바와 같이, 본 발명인 FDIF와 적응적인 가중치를 이용한 디인터레이싱 장치 및 방법을 적용한 경우에 MSSIM값이 가장 높음을 알 수 있다.

도 7는 본 발명의 일 실시예에 따라 영상을 디인터레이싱한 결과와 기존의 방법으로 디인터레이싱한 결과를 나타내는 사진이다. 사진에서는 에지 부분을 얼마나 정확하게 보간하였는지 확인하기 위하여 정지 영상을 부분적으로 확대하였다. 각 사진에서 보는 바와 같이 본 발명인 FDIF와 적응적인 가중치를 이용한 디인터레이싱 장치 및 방법를 적용한 경우 기존의 방식에 비해 향상된 영상을 보여준다.

본 발명은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (16)

1. 서로 다른 대각방향인 P,Q 방향과 수직방향인 V방향으로 나타나는 에지의 방향성을 검출하는 에지방향 검출부;
   상기 에지방향 검출부에서 검출된 에지의 방향성에 기반한 방향에 놓인 인접한 n(여기서, n은 정수임)개의 화소들에 FDIF(Fixed Directional Interpolation Filter)에서 고정된 필터계수(h(k))를 가중치로 적용하고, 상기 가중치가 적용된 상기 인접한 n개의 화소들의 가중합으로 화소를 보간하는 화소보간부를 포함하는 것을 특징으로 하는 디인터레이싱 장치.
2. 제 1항에 있어서, 상기 FDIF는 Sinc함수의 특성을 나타내는 필터인 것을 특징으로 하는 디인터레이싱 장치.
3. 제 1항에 있어서, 상기 화소보간부는 상기 P방향으로 상관도가 가장 높고 C _-1 < C ₀ 이면, 상기 P방향에 놓인 상기 인접한 n개의 각각 화소들에 상기 필터계수(h(k))를 각각 곱하여 가중합하며, 상기 Q방향으로 상관도가 가장 높고 C ₁ < C ₀ 이면, 상기 Q방향에 놓인 상기 인접한 n개의 각각 화소들에 상기 필터계수(h(k))를 각각 곱하여 가중합하는 것을 특징으로 하는 디인터레이싱 장치.
   여기서, C _-1 =│U _-1 - L ₁ │, C ₀ =│U ₀ - L ₀ │, C ₁ =│U ₁ -L _-1 │ 이고, 3×3 윈도우에서 보간될 화소를 중심으로 인접한 상위라인에 위치한 화소의 값이 U _-1 , U ₀ , U ₁ 이며, 보간될 화소를 중심으로 인접한 하위라인에 위치한 화소의 값이 L _-1 , L ₀ , L ₁ 이다.
4. 제 1항에 있어서, 상기 화소보간부는 상기 인접한 n개의 화소들의 가중합으로 보간된 화소값( x )이 아래의 식과 같은 것을 특징으로 하는 디인터레이싱 장치.
   

   

   
   여기서, P=(│U _-1 - L ₀ │+│U ₀ - L ₁ │)/2, Q=(│U ₀ -L _-1 │+│U ₁ - L ₀ │)/2 , V=(│U _-1 -L _-1 │+│U ₀ - L ₀ │+│U ₁ - L ₁ │)/3 이고, C _-1 =│U _-1 - L ₁ │, C ₀ =│U ₀ - L ₀ │, C ₁ =│U ₁ -L _-1 │ 이며, P(k)는 P방향에 놓인 참조화소의 값, Q(k)는 Q방향에 놓인 참조화소의 값, V(k)는 V방향에 놓인 참조화소의 값이다.
5. 제 1항 또는 제 3항에 있어서, 상기 화소보간부는 상기 가중합에 화소간의 상관도를 고려한 부가가중치를 더 부여하는 것을 특징으로 하는 디인터레이싱 장치.
6. 제 5항에 있어서, 상기 부가가중치는 수직방향에 더 높은 가중값을 부여하는 것을 특징으로 하는 디인터레이싱 장치.
7. 제 6항에 있어서, 상기 화소보간부는 상기 P방향으로 상관도가 가장 높고 C _-1 < C ₀ 이면, 상기 P방향에 놓인 상기 인접한 n개의 각각 화소들에 상기 필터계수(h(k))를 각각 곱하여 더한 값에 C _-1 /( C _-1 + C ₀ )를 곱한 값과 상기 V방향에 놓인 상기 인접한 n개의 각각 화소들에 상기 필터계수(h(k))를 각각 곱하여 더한 값에 C ₀ /( C _-1 + C ₀ )를 곱한 값을 더하여 화소를 보간하고,
   상기 Q방향으로 상관도가 가장 높고 C ₁ < C ₀ 이면, 상기 Q방향에 놓인 상기 인접한 n개의 각각 화소들에 상기 필터계수(h(k))를 각각 곱하여 더한 값에 C ₁ /( C ₁ + C ₀ )를 곱한 값과 상기 V방향에 놓인 상기 인접한 n개의 각각 화소들에 상기 필터계수(h(k))를 각각 곱하여 더한 값에 C ₀ /( C ₁ + C ₀ )를 곱한 값을 더하여 화소를 보간하는 것을 특징으로 하는 디인터레이싱 장치.
8. 제 5항에 있어서, 상기 화소보간부가 상기 수직방향에 부가가중치를 부여하여 보간한 화소값( X )은 아래의 식과 같은 것을 특징으로 하는 디인터레이싱 장치.
   

   

   
   여기서, P=(│U _-1 - L ₀ │+│U ₀ - L ₁ │)/2, Q=(│U ₀ -L _-1 │+│U ₁ - L ₀ │)/2 , V=(│U _-1 -L _-1 │+│U ₀ - L ₀ │+│U ₁ - L ₁ │)/3 이고,
   

   

   이며, P(k)는 P방향에 놓인 참조화소의 값, Q(k)는 Q방향에 놓인 참조화소의 값, V(k)는 V방향에 놓인 참조화소의 값이다.
9. 서로 다른 대각방향인 P, Q 방향과 수직방향인 V방향으로 나타나는 에지의 방향성을 검출하는 단계;
   검출된 상기 에지의 방향성에 기반한 방향에 놓인 인접한 n개의 화소들에 FDIF(Fixed Directional Interpolation Filter)에서 고정된 필터계수(h(k))를 가중치로 적용하고, 상기 가중치가 적용된 상기 인접한 n개의 화소들의 가중합으로 화소를 보간하는 단계를 포함하는 것을 특징으로 하는 디인터레이싱 방법.
10. 제 9항에 있어서, 상기 FDIF는 Sinc함수의 특성을 나타내는 필터인 것을 특징으로 하는 디인터레이싱 방법.
11. 제 9항에 있어서, 상기 화소를 보간하는 단계는 상기 P방향으로 상관도가 가장 높고 C _-1 < C ₀ 이면, 상기 P방향에 놓인 상기 인접한 n개의 각각 화소들에 상기 필터계수(h(k))를 각각 곱하여 가중합하며, 상기 Q방향으로 상관도가 가장 높고 C ₁ < C ₀ 이면, 상기 인접한 n개의 각각 화소들에 상기 필터계수(h(k))를 각각 곱하여 가중합하는 것을 특징으로 하는 디인터레이싱 방법.
    여기서, C _-1 =│U _-1 - L ₁ │, C ₀ =│U ₀ - L ₀ │, C ₁ =│U ₁ -L _-1 │ 이고, 3×3 윈도우에서 보간될 화소를 중심으로 인접한 상위라인에 위치한 화소의 값이 U _-1 , U ₀ , U ₁ 이며, 보간될 화소를 중심으로 인접한 하위라인에 위치한 화소의 값이 L _-1 , L ₀ , L ₁ 이다.
12. 제 9항에 있어서, 상기 화소를 보간하는 단계에서 상기 인접한 n개의 화소들의 가중합으로 보간된 화소값( x )는 아래의 식과 같은 것을 특징으로 하는 디인터레이싱 방법.
    

    

    
    여기서, P=(│U _-1 - L ₀ │+│U ₀ - L ₁ │)/2, Q=(│U ₀ -L _-1 │+│U ₁ - L ₀ │)/2 , V=(│U _-1 -L _-1 │+│U ₀ - L ₀ │+│U ₁ - L ₁ │)/3 이고, C _-1 =│U _-1 - L ₁ │, C ₀ =│U ₀ - L ₀ │, C ₁ =│U ₁ -L _-1 │ 이며, P(k)는 P방향에 놓인 참조화소의 값, Q(k)는 Q방향에 놓인 참조화소의 값, V(k)는 V방향에 놓인 참조화소의 값이다.
13. 제 9항 또는 제 11항에 있어서, 상기 가중합에 화소간의 상관도를 고려한 부가가중치를 부여하는 단계를 더 포함하는 것을 특징으로 하는 디인터레이싱 방법.
14. 제 13항에 있어서, 상기 부가가중치는 수직방향에 더 높은 가중값을 부여하는 것을 특징으로 하는 디인터레이싱 방법.
15. 제 14항에 있어서, 상기 부가가중치를 부여하는 단계는,
    상기 P방향으로 상관도가 가장 높고 C _-1 < C ₀ 이면, 상기 P방향에 놓인 상기 인접한 n개의 각각 화소들에 상기 필터계수(h(k))를 각각 곱하여 더한 값에 C _-1 /( C _-1 + C ₀ )를 곱한 값과 상기 V방향에 놓인 상기 인접한 n개의 각각 화소들에 상기 필터계수(h(k))를 각각 곱하여 더한 값에 C ₀ /( C _-1 + C ₀ )를 곱한 값을 더하여 화소를 보간하고,
    상기 Q방향으로 상관도가 가장 높고 C ₁ < C ₀ 이면, 상기 Q방향에 놓인 상기 인접한 n개의 각각 화소들에 상기 필터계수(h(k))를 각각 곱하여 더한 값에 C ₁ /( C ₁ + C ₀ )를 곱한 값과 상기 V방향에 놓인 상기 인접한 n개의 각각 화소들에 상기 필터계수(h(k))를 각각 곱하여 더한 값에 C ₀ /( C ₁ + C ₀ )를 곱한 값을 더하여 화소를 보간하는 것을 특징으로 하는 디인터레이싱 방법.
16. 제 13항에 있어서, 상기 부가가중치를 부여하는 단계에 의하여 보간된 화소값( X )은 아래의 식과 같은 것을 특징으로 하는 디인터레이싱 방법.
    

    

    
    여기서, P=(│U _-1 - L ₀ │+│U ₀ - L ₁ │)/2, Q=(│U ₀ -L _-1 │+│U ₁ - L ₀ │)/2 , V=(│U _-1 -L _-1 │+│U ₀ - L ₀ │+│U ₁ - L ₁ │)/3 이고,
    

    

    이며, P(k)는 P방향에 놓인 참조화소의 값, Q(k)는 Q방향에 놓인 참조화소의 값, V(k)는 V방향에 놓인 참조화소의 값이다.
    
    

Images