KR100995398B1

KR100995398B1 - 수직 및 수평 방향의 패턴을 고려한 전역 움직임 보상순차주사화 방법

Info

Publication number: KR100995398B1
Application number: KR1020040004110A
Authority: KR
Inventors: 강문기; 박민규; 변민
Original assignee: 삼성전자주식회사
Priority date: 2004-01-20
Filing date: 2004-01-20
Publication date: 2010-11-19
Also published as: US20050201626A1; GB0501185D0; GB2410392B; KR20050076220A; CN1645907A; CN100499738C; GB2410392A; US7613364B2

Abstract

움직임 정보를 이용한 순차주사화에 있어서, 움직임 추정과 보상이 정확하게 안되면 오히려 움직임 정보를 사용하지 않은 경우보다 영상의 질은 떨어진다. 본 발명은 움직임 보상(MC)된 영상과 공간 보간(SI) 된 영상의 수평 및 수직 방향의 패턴을 이용하여, 움직임 추정과 보상에서 발생하는 오류를 정확하게 찾도록 수행한다. 이때, 움직임 추정과 보상과정에서 오류가 발생되었다고 판단되는 경우에는, 움직임 보상대신에 움직임 보상과 공간 보간(SI)의 혼합형태나 공간 보간으로 순차주사화를 수행한다. 영상의 수평 및 수직 방향의 패턴을 이용하여 움직임 추정과 보상에서 발행하는 오류를 정확하게 찾기 때문에 순차주사화의 성능이 향상된다.

Description

수직 및 수평 방향의 패턴을 고려한 전역 움직임 보상 순차주사화 방법{GLOBAL MOTION COMPENSATED DEINTERLAING METHOD CONSIDERING HORIZONTAL AND VERTICAL PATTERNS}

도 1은 본 발명의 바람직한 실시예에 따른 순차주사화 알고리즘을 보여주는 플로우차트;

도 2는 크기가 3인 상위 벡터와 하위 벡터를 보여주는 도면;

도 3은 시간적으로 이전, 현재 및 다음 필드들을 보여주는 도면,

도 4는 정수 단위의 움직임 추정 과정을 간단히 보여주는 도면;

도 5는 추정된 움직임 정보와 여러 장의 필드로부터 한 장의 프레임을 만드는 과정을 보여주는 도면;

도 6은 ME/MC 과정에서 에러가 발생하는 경우, GMC의 수직 방향 고주파(VHF) 에너지가 EDI의 VHF의 에너지에 비해 상대적으로 크게 증가하는 것을 보여주는 예; 그리고

도 7a는 수직 미분 필터를 도 7b는 수평 미분 필터를 각각 보여주고 있다.

본 발명은 영상 신호 처리 방법에 관한 것으로, 좀 더 구체적으로는 순차주사화 방법에 관한 것이다.

최근 고화질 HDTV의 발달과 다중 매체 및 개인용 컴퓨터의 발전으로 인해 다양한 영상 포맷의 변환이 필요하게 되었다. 그 동안 메모리와 통신 대역의 절약을 위해 사용하였던 비월 주사(interlacing scanning) 영상을 순차 주사(progressive scanning) 영상으로 바꾸어 주는 순차주사화에 대한 관심이 증가하고 있다. 특히, 고화질 영상에 대한 수요가 증가하고 멀티미디어의 대형화에 따라, 우수한 화질의 결과를 갖는 순차주사화 기법이 요구되고 있다. 그러므로 안정적이면서 높은 성능을 갖는 순차주사화 알고리즘이 필요하게 되었다.

보편적인 순차주사화 알고리즘은 크게 하나의 필드만을 이용한 필드내 보간법(intra-field method), 두 필드 이상의 데이터를 이용하는 필드간 보간법(inter-field method) 그리고 두 방법을 혼합한 방법(hybrid-typed method)으로 나눌 수 있다. 하나의 필드를 이용한 방법에는 간단한 선형 보간 방법, 가중치를 사용한 미디언 필터(median filter)와 미디언 필터와 저역 필터의 결합 형태로 사용하는 방법(NMF/MAF:nexted median filter/median averaging filter) 그리고 EDI(edge dependent interpolation) 방법 등이 있다. 특히 에지 방향을 보존하는데 효율적인 EDI 알고리즘은 이러한 방법들 중에 특히 시각적으로 좋은 결과를 낸다. 이러한 방법들은 여러 장의 필드를 이용하는 방법보다 계산 량이 적고 하드웨어로 쉽게 집적할 수 있다는 장점이 있다. 그러나 원래 가지고 있는 영상의 정보가 제한적이기 때문에 원래의 프레임이 가지고 있는 고주파 성분을 그대로 복원할 수 없다는 단점이 있다.

여러 장의 필드를 이용한 방법은 움직임을 고려한 필터링(MAF:motion adaptive filtering)과 움직임 보상(MC:motion compensation)으로 나눌 수 있다. MAF는 움직임의 존재 여부를 판단하여 움직임이 있는 경우와 없는 경우로 나누어 각각 공간 영역 필터나 시간 영역 필터 혹은 시공간 필터의 알고리즘을 각기 영역에 따라 적용한다. 반면에 MC는 움직임을 찾아 그 움직임의 방향을 따라 시간축을 따라서 필터링한다. 움직임 정보를 이용한 순차주사화의 경우, 움직임을 찾는 과정이 안정되지 않으면 움직임 정보를 사용하지 않는 경우에 비해 영상의 질은 오히려 낮아지면서 하드웨어적 측면의 부담만을 가중시키게 된다.

일반적으로, 물체가 생성되거나 소멸될 때, 물체가 줌 인(zoom-in) 또는 줌 아웃(zoom-out)에 의해 크기가 변할 때, 그리고 물체의 모양이 현저하게 변형되었을 때에는 정확한 움직임 추정(ME: motion estimation)이 어렵다. 또한, BMA의 경우 블럭 내에 여러 움직임이 동시에 발생하는 경우, 기타 잡음이 발생한 경우, 그리고 서브 픽셀(sub-pixel) 단위로 움직임을 추정할 때 움직임 추정기에 따라 다른 추정치를 낼 경우에는 ME는 좋은 성능을 내기 어렵다. 우수한 성능을 갖는 순차주사화를 위해서는 움직임을 정확하게 추정하는 것이 반드시 필요하지만, 상기의 경우와 같이 정확한 ME가 어려운 경우에는 움직임이 정확하게 추정되지 않은 부분을 정확하게 찾아서 다른 방법으로 보상해 주어야 한다.

따라서 본 발명의 목적은 영상의 움직임의 추정이나 보상에서 발생하는 오류 를 정확하게 찾음으로써 성능이 향상된 순차주사화 방법을 제공하는데 있다.

(구성)

상술한 바와 같은 목적을 달성하기 위한 본 발명의 일 특징에 의하면, 순차주사화 방법은, 공간적 보간(SI)을 수행하는 단계와, 움직임 보상(MC)을 수행하는 단계, 그리고 움직임 보상 결과의 수직 방향 고주파 에너지가 공간적 보간 결과의 수직 방향 고주파 에너지보다 클 때 상기 공간적 보간의 결과를 현재 필드의 보간값으로서 선택하는 단계를 포함한다.

바람직한 실시예에 있어서, 상기 선택 단계는, 상기 움직임 보상의 결과에 대한 수평/수직 방향 미분값들과 상기 공간 보간의 결과에 대한 수평/수직 방향의 미분값들로부터 가중치를 계산하는 단계, 그리고 상기 움직임 보상의 결과와 상기 공간 보간의 차에 상기 가중치를 반영하고, 상기 가중치가 반영된 차(WD)가 제 1 문턱값보다 클 때 상기 공간 보상의 결과를 상기 현재 필드로서 선택하는 단계를 포함한다.

이 실시예에 있어서, 상기 가중치 계산 단계는, 상기 움직임 보상의 결과에 대한 수평/수직 방향 미분값들을 계산하는 단계와, 상기 공간 보간의 결과에 대한 수평/수직 방향의 미분값들을 계산하는 단계와, 임의의 크기의 화소 블록 내에서 상기 움직 보상의 결과에 대한 수평 방향 미분값의 절대값이 고주파 임계값보다 크고 상기 공간 보간의 결과에 대한 수평 방향 미분값이 상기 고주파 임계값보다 작 은 화소의 수(C_HD)를 구하는 단계와, 임의의 크기의 화소 블록 내에서 상기 움직 보상의 결과에 대한 수직 방향 미분값의 절대값이 상기 고주파 임계값보다 크고 상기 공간 보간의 결과에 대한 수직 방향 미분값이 상기 고주파 임계값보다 작은 화소의 수(C_VD)를 구하는 단계 그리고 상기 구해진 수들(C_VD, C_HD)로부터 상기 가중치를 계산하는 단계를 포함한다.

이 실시예에 있어서, 상기 가중치는 덧셈 가중치와 곱셈 가중치를 포함한다.

이 실시예에 있어서, 상기 가중치가 반영된 차(WD)는, 상기 덧셈 가중치 + 상기 곱셈 가중치 * (상기 움직임 보상의 결과와 상기 공간 보간의 차의 절대값)이다.

바람직한 실시예에 있어서, 상기 선택 단계는, 상기 가중치가 반영된 차(WD)가 제 2 문턱값보다 작을 때 상기 움직임 보상의 결과를 상기 현재 필드로서 선택한다.

이 실시예에 있어서, 상기 선택 단계는, 상기 가중치가 반영된 차(WD)가 상기 제 1 문턱값보다 작고, 상기 제 2 문턱값보다 클 때 (제 2 가중치) * (상기 공간적 보간의 결과) + (1 - 제 2 가중치) * (상기 움직임 보상의 결과)를 상기 현재 필드로서 선택하는 단계를 포함한다.

이 실시예에 있어서, 상기 제 2 가중치는, ((상기 가중치가 반영된 차) - (상기 제 2 문턱값))/((상기 제 1 문턱값)-상기 제 2 문턱값))이다.

본 발명의 다른 특징에 따른 순차주사화 방법은, 이전 필드와 다음 필드로부 터 정수 단위의 움직임 추정(MC)을 수행하는 단계와, 움직임 벡터를 이용하여 이전 필드와 다음 필드를 각각 현재 필드의 위상과 동일하게 이동시키는 단계와, 이동된 이전 필드와 이동된 다음 필드의 차가 제 1 문턱값보다 작을 때 이전 필드와 다음 필드의 평균값을 현재 필드로 선택하는 단계와, 이동된 이전 필드와 이동된 현재 필드의 차가 제 1 문턱값보다 크거나 같을 때 이전 필드, 현재 필드 및 다음 필드로부터 부화소 단위의 움직임 추정을 수행하는 단계와, 움직임 보상(MC)을 수행하는 단계와, 현재 필드에 대한 공간적 보간을 수행하는 단계와, 상기 움직임 보상의 결과에 대한 수평/수직 방향 미분값들과 상기 공간 보간의 결과에 대한 수평/수직 방향의 미분값들로부터 가중치를 계산하는 단계, 그리고 상기 움직임 보상의 결과와 상기 공간 보간의 차에 상기 가중치를 반영하고, 상기 가중치가 반영된 차가 제 2 문턱값보다 클 때 상기 공간 보상의 결과를 상기 현재 필드로 선택하는 단계를 포함한다.

(실시예)

이하 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다.

움직임의 부정확한 추정과 한 프레임에 담겨진 영상 정보의 한계로 인한 문제를 동시에 극복하기 위해 EDI와 GMC에 기반하여 새로운 혼합형 순차주사화 알고리즘이 제안된다. 움직임 추정 과정에서 하드웨어의 부담을 줄이기 위해 전역 움직임만을 추정한다. 이 때, 여러 장의 필드로부터 고주파 성분을 정확하게 획득하기 위해 소수 단위(sub-pixel)의 움직임 정보를 사용하고, 이 과정에서 발생한 부 정확한 움직임 정보로 인한 에러는 기존의 방법과는 다르게 수직/수평 방향의 고주파 성분 패턴을 통해 정밀하게 분류해 낸다. 부정확한 움직임 정보는 GMC의 수평 방향 고주파를 증가시키지 않으면서 GMC의 수직 방향 고주파를 EDI의 결과보다 많이 증가시킨다. 이러한 특성을 반영한 문턱값의 설정은 여러 장의 필드로부터 입력되는 정보를 보존하면서도 부정확한 움직임 정보에 의한 에러를 정확하게 분류해 낸다.

도 1은 본 발명의 바람직한 실시예에 따른 순차주사화 알고리즘을 보여주는 플로우차트이다.

주어진 시각 t에서 좌표(h,v) 위의 보간될 화소의 밝기 값을 x(h,v,t)라 가정한다. 이전(t-1) 필드의 영상 데이터와 다음(t+1) 필드의 영상 데이터로부터 x(h,v,t)를 정확하게 추정하기 위해서 본 발명의 실시예에 따른 SI 보간(17)은 보간될 화소의 상위 벡터와 하위 벡터를 이용하는 EDI 방식을 사용한다.

도 2는 크기가 3인 상위 벡터(upper vector)와 하위 벡터(lower vector)를 보여주고 있다. 도 2를 참조하면, 보간될 수평 라인 h에 속하는 화소의 영상 데이터 x(h, v)는 상위 수평 라인(v-1)과 하위 수평 라인(v+1)의 영상 데이터로부터 보간된다. 화소 x(h, v)에 대한 보간을 위하여 상위 벡터와 하위 벡터를 각각 u(l, d) 및 v(m, d)로 정의할 수 있다.

수학식 1 및 수학식 2에서, l과 m은 각각 보간해야 하는 화소 x(i, j)의 위치에서 수평 방향으로 벡터의 위치를 표현하는 파라미터이고,

는 에지의 기울기를 의미한다. T₁, T₂, T₃은 상위 벡터에서 각 화소의 밝기 값을 의미하고, B₁, B₂, B₃은 하위 벡터에서 각 화소의 밝기 값을 나타낸다.

일반적으로 에지 방향은 상위 벡터와 하위 벡터의 차이 값들의 합이 가장 적은 방향으로 추정되었다. 그러나, 잡음이 존재하거나 에지가 얇은 경우 상위 벡터와 하위 벡터의 차이 값에만 의존하는 순차주사화 알고리즘으로는 좋은 성능을 기대할 수 없다. 본 발명의 바람직한 실시예에 따른 SI 보간에서는 에지 패턴을 이용하여 윤곽선 보간을 수행한다.

에지 패턴은 앞서 언급한 바와 같이 크게 에지 방향, 수직 방향, 수평 방향을 따라서 존재한다. 본 명세서에서는 수평 방향의 패턴만을 고려한 순차주사화 알고리즘을 개시한다. 그러나, 당업자라면 본 발명으로부터 수직 방향의 패턴을 고려한 순차주사화 알고리즘을 용이하게 구현할 수 있다.

수평 방향의 패턴을 쉽게 분류하기 위해서 벡터 내에 화소들의 관계에 따라서 영상 패턴을 분류한다. 영상 패턴은 수학식 3과 같이 크게 세 그룹으로 분류된다.

이와 같은 방법으로, T₂와 T₃, B₁과 B₂ 그리고 B₂와 B₃에 대한 영상 패턴이 분류된다. 문턱값(th)에 대해서는 추후 상세히 설명된다.

분류된 상위 영상 패턴과 하위 영상 패턴으로부터 가중치 w₁ 및 w₂가 결정된다. 이 실시예에서는 상위 영상 벡터 및 하위 영상 벡터가 각각 3 개의 화소들을 포함하므로, 2 개의 가중치들이 구해진다. 만일 상위 벡터 및 하위 벡터가 각각 5 개의 화소들을 포함하면, 4 개의 가중치들이 구해진다. 가중치를 구하는 방법은 수학식 4와 같다.

if ((I _T1,T2 and I _B1,B2 ) or D _T1,T2 and D _B1,B2 ))

w ₁ =1

elseif ((F _T1,T2 and I _b1,b2 ) or F _T1,T2 and D _B1,B2 ))

w ₁ =2

elseif ((I _T1,T2 and I _B1,B2 ) or D _T1,T2 and D _B1,B2 ))

w ₁ =2

elseif ((I _T1,T2 and D _B1,B2 ) or D _T1,T2 and I _B1,B2 ))

w ₁ =3

else w ₁ =2

여기서, 상위 벡터의 패턴이 증가(

)이고, 하위 벡터의 패턴이 증가(

)이거나 상위 벡터의 패턴이 감소(

)이고, 하위 벡터의 패턴이 감소(

)이면 가중치를 적게(w₁=1)하고, 반대로 상위 벡터의 패턴이 증가(

)이고, 하위 벡터의 패턴이 감소(

)이거나 상위 벡터의 패턴이 감소(

)이고, 하위 벡터의 패턴이 증가(

)이면 가중치를 크게(w₁=3)한다. 여기서 주목할 점은 상위 벡터 및 하위 벡터의 패턴이 모두 일정(

,

)한 경우 중간 정도의 가중치를 중간값(w₁=2)으로 설정한다는 것이다. 에지가 얇은 경우, 배경 부분을 찾을 때 벡터의 화소들이 유사한 밝기를 갖기 때문에 '일정(F)'으로 분류하여 원래의 에지 방향에 따르는 부분보다 가중치의 값이 크게 결정된다. 그러므로, 에지의 방향을 정확하게 찾을 수 있다.

수학식 4와 유사한 방법으로 T₂, T₃, B₂, 그리고 B₃으로부터 가중치(w₂)를 구할 수 있다.

구해진 가중치들(w1, w2)로부터 에지의 방향을 선택한다.

diff(d,l,m)=|u(d,l)-v(d,m) |*w(d,l,m)

그리고,

,

및

는 수학식 6과 같이 결정된다.

여기서, l과 m의 범위는 -1부터 1까지이고, 에지 방향의 기울기인 d의 범위는 -R부터 R까지이다. R의 크기에 따라 에지 방향의 기울기를 찾는 각의 한계가 결정된다. 결정된

,

및

로부터 j번째 라인의 화소 x(i,j)를 보간한다

여기서, a, b, c 및 e는 다음 수학식 8과 같이 정해진다.

여기서,

는 에지의 방향을 나타내는 값이다. 또한, 에지의 부화소(sub-pixel) 단위로 에지의 방향을 추정하기 위해 다시

과

까지도 연산하였다. 그러므로,

과

에 따라 부화소 단위의 에지 방향의 추정이 가능해진다.

계속해서, 본 발명에 따른 움직임 추정(ME)이 설명된다.

도 3은 시간적으로 이전(t-1), 현재(t) 및 다음(t+1) 프레임들(x₁, x₂, x₃)을 보여주고 있다. 세 장의 프레임들(x₁, x₂, x₃)로부터 GMC의 결과 프레임을 구할 수 있다. 움직임 보상(MC)의 성능은 움직임 추정(ME)의 정확도에 의해 크게 좌우된다. 정확한 움직임 보상(MC)을 위해서 본 발명의 실시예에서는 정수 단위의 움직임 추정(10)과 소수 단위의 움직임 추정(15)을 각각 나누어서 실행한다.

정수 단위의 전역 움직임 추정(10)은 블록 매칭 알고리즘(BMA:block matching algorithm)을 이용하여 같은 패리티를 지닌 x₁과 x₃ 프레임 사이의 움직임을 추정한다. 그러나, 영상 전체에 대해 블록 매칭 알고리즘을 적용하는 것은 하드웨어적으로 매우 비효율적이기 때문에 속도의 향상을 위해서 작은 블록 단위로 움직임 벡터를 추정한 후 미디언 필터를 이용하여 움직임 벡터를 구한다.

도 4는 정수 단위의 움직임 추정 과정을 간단히 보여주는 도면이다. 정수 단위의 움직임 벡터(h_I, V_I)로부터 x₂의 위상으로 보상된 x_{1_I}, x_{3_I}을 다음 수학식 9로부터 획득한다.

쉬프팅(11)은 이전 프레임(x₁)과 다음 프레임(x₃)을 현재 프레임(x₂) 방향으로 이동해서 겹치는 과정이다. 계속해서 겹쳐진 이전 프레임(x₁)과 다음 프레임(x₃)의 차를 계산한다(12). 이전 프레임(x₁)과 다음 프레임(x₃)의 차가 문턱값(th1)보다 작으면(13), 정수 단위의 움직임 추정에 의해 추정된 값으로 보간이 수행된다(14). 만일 이전 프레임(x₁)과 다음 프레임(x₃)의 차가 문턱값(th1)보다 크면(13), 소수 단위의 움직임 추정(15)이 수행된다.

소수 단위의 움직임 추정(15)은 보간이 필요없어 하드웨어의 부담이 적은 OFE(optical flow equation)을 이용한 방법을 사용한다. 움직임이 있는 영상에서 움직임을 따라 움직일 때, 빛의 세기가 일정하면 수학식 10과 같이 쓸 수 있다.

수학식 10을 각각의 변수에 대해 풀어쓰면 수학식 11과 같다.

여기서,

이고,

이며, 각각은 각 방향으로의 움직임 속도를 나타낸다. 화소의 집합에서 OFE의 에러 함수는 수학식 12와 같이 정의된다.

에러를 최소화하기 위해서 에러 함수(E)를 v_h(h,v,t)와 v_v(h,v,t)로 각각 미분하면 수학식 13과 같다.

수학식 13을 행렬로 표현하면 수학식 14와 같다.

수학식 14에서 움직임은 크기가 2인 행렬의 역행렬만을 구하여 곱하기만 하면 되므로 소수 단위의 움직임을 쉽게 구할 수 있다.

x₂와 x_{I_1}(또는 x_{3_I}) 사이의 OFE를 이용한 방법을 통해 i번째 필드의 소수 단위의 움직임 벡터를 구한다. 이 때, i번째 필드의 추정된 소수 단위의 움직임을 (Δh_i, Δh_i)로 정의하면, GMC의 결과 x_{2_GMC}는 수학식 15와 같다.

이 때, 각 가중치는 수학식 16과 같이 정의된다.

여기서, k는 수학식 17과 같다.

도 5는 추정된 움직임 정보와 여러 장의 필드로부터 한 장의 프레임을 만드는 과정을 나타낸 것이다.

혼합 타입의 보간 방법에서 움직임 보상(MC)과 공간적 보간(SI)에 대한 가중치 결정에 대한 설명이 이하 계속된다. 도 6은 ME/MC 과정에서 에러가 발생하는 경우, GMC의 수직 방향 고주파(VHF:vertical high frequency) 에너지가 EDI의 VHF의 에너지에 비해 상대적으로 크게 증가하는 것을 보여주는 예이다.

도 6에서, (a)~(c)는 각각 움직임이 있는 물체를 갖는 필드로서, t-1, t 및 t+1 시점에서의 필드를 보여주고 있고, (d)는 EDI의 결과, (e)는 GMC의 결과 그리고 (f)는 GMC를 이용하여 순차주사화한 결과를 보여주고 있다. 도 6에 나타난 바와 같이, ME/MC 과정에서 에러가 발생하는 경우, GMC의 수직 방향 고주파 에너지가 EDI의 VHF의 에너지에 비해 상대적으로 크게 증가한다. 본 발명의 실시예는 이와 같은 특징을 이용하여 EDI와 GMC의 비율을 혼합해서 보간하는 방법을 제시한다.

우선, 공간 보간(SI)(17)과 움직임 보상(MC)(16)이 각각 수행된다. 그리고, 공간 보간(17)의 결과에 대한 수평 미분값(H_SI) 계산(18)과 수직 미분값(V_SI) 계산(20)이 수행되고, 움직임 보상(16)의 결과에 대한 수평 미분값(H_MC) 계산(19)과 수직 미분값(V_MC) 계산(21)이 수행된다. 도 7a는 수직 미분 필터를 도 7b는 수평 미분 필터를 각각 보여주고 있다. 도 7a 및 도 7b에 도시된 미분 필터들에 의해서 얻어진 수평/수직 미분값들로부터 공간 보간 및 움직임 보상에 대한 수평 미분값들의 차(D_H) 그리고 공간 보간 및 움직임 보상에 대한 수직 미분값들의 차(D_V)를 각각 구한다(22, 23). D_H 및 D_V는 수학식 18과 같이 구한다.

여기서, th_HF는 고주파 에너지를 골라 낼 수 있는 문턱값이다.

가중치를 구하는 과정에서 D_H 및 D_V의 잡음을 없애기 위해서 블록 B_h × B_v를 사용한다. 또한, 가중치를 구하는 과정에서 고려해야할 점은 다음과 같다.

(1) 값이 큰 D_V들이 밀집된 블록은 MC의 에러가 발생한 영역이므로 공간 보간(SI)이 적합하다.

(2) 값이 큰 D_V와 D_H의 밀집도가 낮은 영역은 공간 보간(SI)가 적합하다.

(3) 값이 큰 D_V와 D_H의 밀집도가 비슷하게 많은 영역은 원래 고주파 성분이 많은 영역으로 MC가 적합하다.

공간 보간 및 움직임 보상에 대한 수평 미분값들의 차(D_H) 그리고 공간 보간 및 움직임 보상에 대한 수직 미분값들의 차(D_V)의 블록 내 밀집도를 구한다. 이 때, C_VD와 C_HD를 각각 블록 내의 D_H=1이고 D_V=1인 것의 개수라 할 때 덧셈 가중치(Wa)와 곱셈 가중치(Wm)는 수학식 19로부터 얻을 수 있다(24).

여기서, block50과 block20은 블록 내 화소의 개수 중 50% 및 20%를 각각 나타내고, w_ah > w_am > w_al 그리고 w_mh > w_mm > w_ml이다. 덧셈 가중치 및 곱셈 가중치의 값들이 클수록 SI의 비중이 커지고, 가중치들의 값들이 작을수록 MC의 비중이 커진다. 수학식 20은 보간 화소 x(h,v,t)의 가중치가 반영된 공간 보간과 움직임 보상 의 차이값 WD(h,v,t)을 보여주고 있다(25).

WD(h,v,t)=Wa(h,v,t)+Wm(h,v,t)×｜x _SI (h,v,t)-x _MC (h,v,t)｜

만일, 차이값 WD(h,v,t)이 제 2 문턱값(th2)보다 작으면(26), 보간 화소의 화소값 x(h,v,t)은 움직임 보상을 수행한 결과 즉, GMC 값으로 설정된다(27). 차이값 WD(h,v,t)이 제 2 문턱값(th2)보다 작지 않고(26), 제 3 문턱값(th3)보다 크면(28) 공간 보간을 수행한 결과 즉, EDI 값으로 설정된다(29).

만일 가중치가 반영된 차이값 WD(h,v,t)이 제 3 문턱값(th3)보다 크지 않으면(28) 보간 화소의 화소값 x(h,v,t)은 새롭게 계산된다(30). 수학식 21은 가중치가 반영된 차이값 WD(h,v,t)과 제 2 및 제 3 문턱값들(th2, th3) 사이의 관계에 따라서 보간 화소의 화소값 x(h,v,t)을 결정하는 것을 보여주고 있다.

if(WD(h,v,t) < th2)

{x(h,v,t) = X _MC (h,v,t)

else if (WD(h,v,t) > th3)

{x(h,v,t) = X _SI (h,v,t)}

else

{x(h,v,t)= α×X _SI (h,v,t) + (1-α)×X _MC (h,v,t)}

여기서, α는 수학식 22와 같다.

앞서 설명한 보간 방법을 도 1을 참조하여 간략히 정리하면 다음과 같다.

이전 필드(t-1)와 다음 필드(t+1)로부터 정수 단위의 움직임 추정(MC)을 수행한다(10). 움직임 벡터를 이용하여 이전 필드(t-1)와 다음 필드(t+1)를 각각 현재 필드(t)의 위상과 동일하도록 이동시킨다(12). 이동된 이전 필드(t-1)와 다음 필드(t+1)의 차가 0에 가까우면(제 1 문턱값(th1)보다 작으면)(12, 13) 움직임이 없는 것으로 간주하고, 이전 필드(t-1)와 다음 필드(t+1)의 평균을 현재 필드(t) 사이에 끼워서 필드 삽입(field insertion)을 수행한다(14).

이동된 이전 필드(t-1)와 다음 필드(t+1)의 차가 큰 영역에 대해서는 이전. 현재, 다음 세 장의 필드를 이용하여 부화소 단위의 움직임 추정(ME)을 수행한다(15). 그리고 움직임 보상(MC)을 수행한다(16). 한편, 현재 필드(t)는 에지 보간(EDI)을 통해 순차주사화된다.

움직임 보상(MC)과 공간 보간(즉, EDI)의 결과들로부터 수평 및 수직 방향의 미분 결과들 H_SI, V_SI, H_MC 및 V_MC를 구한다(18, 19, 20 및 21).

움직임 보상(MC)과 공간 보간(즉, EDI)의 결과들로부터 수평 및 수직 방향 패턴들을 비교하기 위해 H_SI와 H_MC의 차(D_H)를 계산하고(22), V_SI와 V_MC의 차(D_V)를 계산한다(23).

H_SI와 H_MC의 차(D_H) 그리고 V_SI와 V_MC의 차(D_V)를 이용하여 가중치들(Wa, Wm)을 계산한다(24). 가중치들이 반영된 차이값(WD)을 구한다(25). 가중치들이 반영된 차이값(WD)과 제 2 및 제 3 문턱값(th2, th3)들 사이의 관계에 따라서 현재 필드(t)를 보간한다.

ME/MC 과정에서 에러가 발생하는 경우, GMC의 수직 방향 고주파 에너지가 EDI의 수직 방향 고주파 에너지에 비해 상대적으로 크게 증가한다. 본 발명의 실시예는 이와 같은 특징을 이용하여, GMC의 수직 방향 고주파 에너지가 SI의 수직 방향 고주파 에너지에 비해 상대적으로 크면, 공간 보간(SI) 결과를 현재 필드(t)의 보간값으로 선택하고, GMC의 수직 방향 고주파 에너지가 SI의 수직 방향 고주파 에너지에 비해 상대적으로 작으면 움직임 보상(MC)의 결과를 현재 필드(t)의 보간값으로 선택한다. 또한, GMC의 수직 방향 고주파 에너지와 SI의 수직 방향 고주파 에너지가 비슷하면 가중치에 의해 GMC와 SI의 혼합된 값을 현재 필드(t)의 보간값으로 선택한다.

예시적인 바람직한 실시예를 이용하여 본 발명을 설명하였지만, 본 발명의 범위는 개시된 실시예들에 한정되지 않는다는 것이 잘 이해될 것이다. 오히려, 본 발명의 범위에는 다양한 변형 예들 및 그 유사한 구성들이 모두 포함될 수 있도록 하려는 것이다. 따라서, 청구범위는 그러한 변형 예들 및 그 유사한 구성들 모두를 포함하는 것으로 가능한 폭넓게 해석되어야 한다.

이와 같은 본 발명에 의하면, 움직임 추정 과정에서 오류가 발생하는 경우 수평/수직 방향의 고주파 성분의 비교를 통해 움직임 오류를 정확히 판단하여 움직 임 오류를 줄일 수 있다. 그 결과, 더욱 향상된 순차주사화가 수행된다.

Claims

공간적 보간(SI)을 수행하는 단계와;

움직임 보상(MC)을 수행하는 단계; 그리고

움직임 보상 결과의 수직 방향 고주파 에너지가 공간적 보간 결과의 수직 방향 고주파 에너지보다 클 때 상기 공간적 보간의 결과를 현재 필드의 보간값으로서 선택하는 단계를 포함하는 순차주사화 방법.
제 1 항에 있어서,

상기 선택 단계는,

상기 움직임 보상의 결과에 대한 수평/수직 방향 미분값들과 상기 공간 보간의 결과에 대한 수평/수직 방향의 미분값들로부터 가중치를 계산하는 단계; 그리고

상기 움직임 보상의 결과와 상기 공간 보간의 차에 상기 가중치를 반영하고, 상기 가중치가 반영된 차(WD)가 제 1 문턱값보다 클 때 상기 공간 보상의 결과를 상기 현재 필드로서 선택하는 단계를 포함하는 순차주사화 방법.
제 2 항에 있어서,

상기 가중치 계산 단계는,

상기 움직임 보상의 결과에 대한 수평/수직 방향 미분값들을 계산하는 단계와;

상기 공간 보간의 결과에 대한 수평/수직 방향의 미분값들을 계산하는 단계와;

임의의 크기의 화소 블록 내에서 상기 움직 보상의 결과에 대한 수평 방향 미분값의 절대값이 고주파 임계값보다 크고 상기 공간 보간의 결과에 대한 수평 방향 미분값이 상기 고주파 임계값보다 작은 화소의 수(C_VD)를 구하는 단계와;

임의의 크기의 화소 블록 내에서 상기 움직 보상의 결과에 대한 수직 방향 미분값의 절대값이 상기 고주파 임계값보다 크고 상기 공간 보간의 결과에 대한 수직 방향 미분값이 상기 고주파 임계값보다 작은 화소의 수(C_HD)를 구하는 단계; 그리고

상기 구해진 수들(C_VD, C_HD)로부터 상기 가중치를 계산하는 단계를 포함하는 순차주사화 방법.
제 3 항에 있어서,

상기 가중치는 덧셈 가중치와 곱셈 가중치를 포함하는 순차주사화 방법.
제 4 항에 있어서,

상기 가중치가 반영된 차(WD)는,

상기 덧셈 가중치 + 상기 곱셈 가중치 * (상기 움직임 보상의 결과와 상기 공간 보간의 차의 절대값)인 순차주사화 방법.
제 2 항에 있어서,

상기 선택 단계는,

상기 가중치가 반영된 차(WD)가 제 2 문턱값보다 작을 때 상기 움직임 보상의 결과를 상기 현재 필드로서 선택하는 단계를 더 포함하는 순차주사화 방법.
제 6 항에 있어서,

상기 선택 단계는,

상기 가중치가 반영된 차(WD)가 상기 제 1 문턱값보다 작고, 상기 제 2 문턱값보다 클 때 (제 2 가중치) * (상기 공간적 보간의 결과) + (1 - 제 2 가중치) * (상기 움직임 보상의 결과)를 상기 현재 필드로서 선택하는 단계를 더 포함하는 순차주사화 방법.
제 7 항에 있어서,

상기 제 2 가중치는,

((상기 가중치가 반영된 차) - (상기 제 2 문턱값))/((상기 제 1 문턱값)-상기 제 2 문턱값))인 순차주사화 방법.
이전 필드와 다음 필드로부터 정수 단위의 움직임 추정(MC)을 수행하는 단계와;

움직임 벡터를 이용하여 이전 필드와 다음 필드를 각각 현재 필드의 위상과 동일하게 이동시키는 단계와;

이동된 이전 필드와 이동된 다음 필드의 차가 제 1 문턱값보다 작을 때 이전 필드와 다음 필드의 평균값을 현재 필드로 선택하는 단계와;

이동된 이전 필드와 이동된 현재 필드의 차가 제 1 문턱값보다 크거나 같을 때 이전 필드, 현재 필드 및 다음 필드로부터 부화소 단위의 움직임 추정을 수행하는 단계와;

움직임 보상(MC)을 수행하는 단계와;

현재 필드에 대한 공간적 보간을 수행하는 단계와;

상기 움직임 보상의 결과에 대한 수평/수직 방향 미분값들과 상기 공간 보간의 결과에 대한 수평/수직 방향의 미분값들로부터 가중치를 계산하는 단계; 그리고

상기 움직임 보상의 결과와 상기 공간 보간의 차에 상기 가중치를 반영하고, 상기 가중치가 반영된 차가 제 2 문턱값보다 클 때 상기 공간 보상의 결과를 상기 현재 필드로 선택하는 단계를 포함하는 순차주사화 방법.