KR100913890B1 - 움직임 적응 시공간 디인터레이싱 방법 - Google Patents

Abstract

본 발명은 움직임 적응 시공간 디인터레이싱 방법(Motion Adaptive Spatial-Temporal Deinterlacing Method)을 개시한다. 이에 의하면, 격행 주사(Interlaced Scan) 방식의 입력 영상의 시간적으로 연속적인 여러개의 필드 데이터에서 현재 보간할 화소를 포함한 일정 크기의 창 내의 화소 값들을 검출하고 상기 필드간의 화소 값 차이를 계산, 비교하여 움직임 값을 검출하고, 상기 움직임 값이 일정 문턱값을 초과하는 지 여부를 판별한다. 상기 움직임 값이 상기 문턱값 이하이면, 움직임이 없는 것으로 간주하고 시간축 정보에 가중치를 두어 시간축 필터링을 실시한다. 상기 움직임 값이 상기 문턱값을 초과하면, 움직임이 있는 것으로 간주하고 공간축 정보에 가중치를 두어 공간축 필터링을 실시한다.

따라서, 본 발명은 현재 보간할 화소를 움직임에 적응적으로 보간할 수 있으므로 대화면 PDP와 같은 디스플레이장치에서 수평 경계선을 선명하게 나타낼 수 있다. 그 결과, 화질 열화가 개선될 수 있다.

Description

움직임 적응 시공간 디인터레이싱 방법{Motion Adaptive Spatial-Temporal Deinterlacing Method}

본 발명은 격행 주사(Interlaced Scan) 방식의 영상을 순차 주사(Progressive Scan) 방식의 영상으로 변환시키는 디인더레이싱(Deinterlacing) 방법에 관한 것으로, 더욱 상세하게는 대화면 디스플레이장치의 화질 열화를 개선시키도록 한 움직임 적응 시공간 디인터레이싱(Motion Adaptive Spatial-Temporal Deinterlacing) 방법에 관한 것이다.

일반적으로, NTSC 방식의 티브이(TV) 시스템은 하나의 프레임을 짝수(even) 필드와 홀수(odd) 필드로 나누어 시간차를 두고 주사하는 방식인 격행 주사(interlaced scan) 방식을 사용하고 있다. 격행 주사 방식은 간단한 방법으로 영상 정보를 반으로 감축시킬 수 있기 때문에 오랫동안 사용되어 왔다. 하지만, 격행 주사 방식은 시간 방향의 주파수 성분을 보존하기 위해 수직 방향의 주파수 성분을 희생시키므로 수직 방향으로 상세 정보가 많은 영상에서는 프리커(Flicker) 현상 등 심각한 왜곡이 다발한다. 최근에 들어, 엘시디(LCD: Liquid Crystal Display), 피디피(PDP: Plasma Display Panel) 등 순차 주사(progressive scan)가 용이한 디스플레이 장치가 널리 보급되고 있고, 피씨(PC: Personal Computer) 등 다른 디스플레이 장치와의 호환성이 중요한 문제로 부각되고 있다. 이에 따라, 기존의 격행 주사 방식의 영상을 순차 주사 방식의 영상으로 변환시키는 디인터레이싱 방법에 대한 연구가 활발히 진행되고 있다.

상기 디인터레이싱 방법은 크게 공간축(spatial) 처리와 시간축(temporal) 처리로 구분된다. 상기 공간축 처리란 하나의 필드 내에서 보간(interpolation)될 화소의 주위 화소들만을 이용하여 보간하는 것을 말한다. 상기 공간축 처리는 일반적으로 로우 패스 필터를 근사화한 함수를 사용함으로써 영상에서의 간섭 현상을 제거한다. 여기에 사용되는 함수에는 ZOH(zero order hold) 함수, 선형 보간 함수, 비선형 보간 함수 등이 있다.

상기 ZOH 함수를 이용한 변환은 같은 화소 값을 중복하여 사용하는 방법으로, 영상의 윤곽선(boundary)이 나타나는 부분에서 심각한 계단 현상이 발생한다. 상기 선형 보간 함수를 이용한 변환은 1차식의 함수를 이용하여 선형적으로 보간하는 방법이다. 즉, 2개 화소 값 사이의 누락된 화소 값은 상기 2개 화소 값의 가중 평균값으로 구해진다. 이 경우, 영상의 보간 비율이 커지면, 보간된 영상의 화질이 저하될 수 있다는 단점이 있다. 상기 ZOH 함수를 이용한 변환이나 상기 선형 보간 함수를 이용한 변환은 노이즈나 물체 윤곽선을 고려하지 않고 이들을 모두 흐리게 처리하기 때문에 잡음을 효과적으로 제거할 수 있다. 그러나, 보간된 영상은 전체적으로 흐려져 버린다.

따라서, 영상의 윤곽선을 유지하면서도 잡음을 제거할 수 있도록 고안된 것이 비선형 필터이고, 그 대표적인 예가 메디안 필터(median filter)이다. 메디안 필터는 로우 패스 필터처럼 영상을 스무싱(smoothing)하게 만드는 효과가 있으므로 잡음 제거에 유용하다. 그러나, 상기 메디안 필터는 비선형 필터이기 때문에 신호 처리에 계산량이 많아서 실시간 처리에 부담이 된다.

상기 메디안 필터를 이용한 공간축 디인터레이싱은 상기 메디안 필터의 윤곽선 보존 특성을 활용하여 수직 방향 보간에 이용하려는 디인터레이싱 방법이다. 이 방법은 선형 보간 함수보다 영상의 윤곽선을 잘 유지해주기 때문에 양질의 영상을 얻을 수가 있다. 그러나, 이 방법은 연산을 비교적 많이 수행하므로 계산량이 많고, 인접하는 화소 값들 중 가운데 값이 되는 화소 값을 그대로 사용하기 때문에 보간된 영상이 불규칙성을 가질 수가 있다.

한편, 시간축 디인터레이싱은 필드간의 움직임 정보를 이용하여 시간축 상에서 필터링하는 방법이다. 상기 시간축 디인터레이싱에는 움직임 벡터를 이용하여 빠진 주사선의 화소 값을 구하는 움직임 보상(motion compensated: MC) 디인터레이싱 방법과, 움직임 벡터를 이용하지 않고 단순히 시간축 상으로 여러 종류의 필터를 이용하여 보간하는 움직임 비보상(non-MC) 디인터레이싱 방법이 있다.

상기 MC 디인터레이싱 방법은 움직임 예측을 통하여 현재 필드의 전, 후 필드에서 움직임 벡터를 구하고 이를 이용하여 현재 필드의 빠진 화소의 값을 보간하는 방법이다. 상기 움직임 예측은 연속하는 홀수 필드와 짝수 필드 사이에서 수행되거나 같은 패리티(parity)를 갖는 필드 사이에서 수행될 수 있으나, 같은 패리티를 갖는 필드 사이에서 수행되었을 때 더 나은 성능을 나타낸다. 상기 MC 디인터레이싱 방법은 좋은 화질의 영상을 제공하지만, 이 경우 상기 움직임 예측의 동작이 정확하여야 하고, 상기 움직임 예측이 매우 복잡하여 실시간 처리에 어려운 단점이 있다.

이에 비하여, 상기 non-MC 디인터레이싱 방법은 여러 필드에 대한 움직임 정보를 사용하지만 움직임 벡터를 이용하지 않고 시간축에서의 단순한 필터링을 이용하여 디인터레이싱을 수행하는 방법이다. 즉, 디인터레이싱을 할 때 여러 필드에 대한 움직임 정보를 사용하지만, 움직임 벡터를 사용하지 않고 주변 화소 값만을 이용하여 보간하는 방법이다. 상기 non-MC 디인터레이싱 방법은 공간축 상에서 ZOH 보간 함수나 선형 보간 함수를 이용하는 방법과 유사하다.

앞서 설명한 바와 같이, 디인터레이싱에는 움직임 정보를 이용한 방법과, 움직임 정보를 이용하지 않는 방법이 있다. 상기 움직임 정보를 이용하지 않는 방법이 바로 공간축 디인터레이싱 방법이다. 상기 공간축 디인터레이싱 방법에는 라인 평균(averaging), 가중 메디안 필터링(weighted median filtering), ELA(edge-based line averaging) 등의 방법이 있다. 상기 움직임 정보를 이용하는 방법이 시간축 디인터레이싱 방법이고, 이중에서 non-MC 디인터레이싱 방법은 일본 NEC사의 스캔 컨버터용 칩(SDA 9400)에 사용되고 있다.

상기 SDA 9400에서 사용된 종래의 non-MC 디인터레이싱 방법은 공간축 필터링과 시간축 필터링을 결합한 움직임 적응(motion adaptive) 디인터레이싱 방법이다. 종래의 non-MC 디인터레이싱 방법은 격행 주사 방식의 입력 영상의 전, 후 필드를 이용하여 움직임을 예측하고 그 움직임의 존재 유무를 결정한다. 상기 움직임에 대한 정보를 추출하기 위해 3개의 필드를 이용한 3-D 움직임 감지를 한다. 이때, 라인간의 화소 값 차이, 필드간의 화소 값 차이, 프레임간의 화소 값 차이가 사용된다. 이후, 상기 움직임 정보에 대한 움직임 값이 결정되면, 보간할 화소 값을 상기 움직임 값에 따라 적응적으로 공간축 필터와 시간축 필터를 적용하여 보간한다. 즉, 움직임이 있을 경우에는 공간 영역에 더욱 많은 정보가 있으므로 공간축 필터로서 선형 보간 함수를 사용하여 보간하고, 움직임이 없을 경우에는 시간 영역에 더욱 많은 정보가 있으므로 시간축 필터로서 3-포인트 메디안 필터(3-point median filter)를 사용하여 보간한다.

이를 좀 더 상세히 언급하면, 예를 들어 도 1에 도시된 바와 같이, k 번째 필드에 있어서, i, i+1 번째 라인의 이웃한 화소들의 화소 값이 각각 a, b이고, 상기 i, i+1 번째 라인 사이의 보간될 라인의 화소 값이 A인 경우, 상기 움직임이 있으면, 공간축 필터로서 선형 보간 함수를 사용하여 상기 화소 값 A을 수학식 1에 의해 보간하여준다.

A = (a + b)/2

상기 움직임이 없으면, 시간축 필터인 3-포인트 메디안 필터를 사용하여 상기 화소 값 A을 수학식 2에 의해 보간하여준다.

A = med(a, b, Aprev)

여기서, Aprev는 K-1 번째 필드 내의 보간된 라인의 동일 화소에서의 화소 값이다.

그런데, 상기 움직임 정보가 추출되고 나면, 여러 필드를 통해 따로 떨어진 움직임이나 정지 영역 내에 있는 움직임 등을 제거함으로써 잡음에 의한 잘못된 움직임 정보를 수정할 수 있다. 이를 위해 후처리 필터로서 메디안 필터가 통상적으로 사용된다.

그러나, 종래의 non-MC 디인터레이싱 방법에서는 후처리 필터가 사용되지 않으므로 움직임 정보에 대한 신뢰성이 떨어진다. 또한, 상기 공간축 필터로서 사용된 선형 보간 함수는 보간 완료된 영상 정보의 경계 부분을 흐리게 만드는 문제점이 있다. 이로써, 대화면 디스플레이장치의 화질이 열화된다.

한편, 상기 ELA 방법은 상기 움직임 정보를 이용하지 않고 공간 영역에서 수행되는 방법 중에서 대표적인 방법이다. 상기 ELA 방법은 손실된 라인의 이웃 라인에 있는 화소 값 중 수직, 대각선 방향 중에서 상관도(Correlation)가 가장 높은 방향에 있는 화소 값들의 평균값을 사용하는 방법인데, 계산이 간단하고 하드웨어 구현이 쉬워 널리 사용되고 있다.

종래의 ELA 방법은 보간될 화소의 값의 상관도에 따라 경계선(edge)의 방향을 결정하고 그 에지 방향에 해당하는 화소 값을 평균하여 보간하는 방법이다. 즉, 보간될 화소를 중심으로 3 X 3 크기의 창(window)을 설정하고, 상기 창 안에서 공간적으로 대칭 상태에 놓인 화소 값들의 상관도를 계산하여 상관도가 가장 높은 방향의 화소 값들을 평균함으로써 상기 보간될 화소 값을 추정한다.

이를 좀 더 상세히 언급하면, 종래의 ELA 방법에서 고려되는 경계선의 방향은 수직 방향과 대각선 방향이다. 가령, 보간될 화소가 i 번째 라인 상의 j 번째 화소이고 그 화소 값이 x(i,j)라고 가정하면, 도 2에 도시된 바와 같이, 상기 보간될 화소를 중심으로 한 3 X 3 크기의 창을 설정한다. 상기 창에서 i-1 번째 라인 상의 j-1, j, j+1 번째 화소 값이 각각 x(i-1, j-1), x(i-1,j), x(i-1,j+1)이고, i+1 번째 라인 상의 j-1, j, j+1 번째 화소 값이 각각 x(i+1,j-1), x(i+1,j), x(i+1,j+1)이다.

상기 보간될 화소의 경계선 방향은 3개의 주변 화소 값 사이의 차이(C1),(C2),(C3)에 의해 결정된다. 상기 차이(C1),(C2),(C3)는 다음의 수학식 3에 의해 계산될 수 있다.

이때, 가장 작은 값 차이를 나타내는 방향이 상관도가 가장 높은 방향이 되므로 그 방향에 해당하는 화소 값들에 의해 x(i,j)가 보간된다. 상기 C1, C2, C3이 각각 최소인 경우에 있어서 x(i,j)는 다음의 수학식 4에 의해 계산될 수 있다.

즉, C1,C3가 최소가 되는 경우에는 경계선 방향이 대각선 방향이므로 해당 대각선 방향에 위치한 화소 값들의 평균값이 상기 보간될 화소 값으로 된다. C2가 최소가 되는 경우에는 경계선 방향이 수직 방향이므로 수직 방향에 위치한 화소 값들의 평균값이 상기 보간될 화소 값으로 된다.

그런데, 종래의 ELA 방법은 수직 경계선이나 대각선 경계선에 대해서는 양호하게 동작하나, 수평 경계선에 대하여 고려를 하지 않으므로 수평 경계선에 해당하는 값을 제대로 보간할 수 없다. 즉, 상기 보간될 화소를 통과하는 수평 경계선이 있다면, 상기 수평 경계선이 억지로 수직 경계선 또는 대각선 방향의 경계선으로 고려됨으로써 상기 보간될 화소 값 x(i,j)가 잘못 보간된다. 그 결과, 수평 경계선 부분에서 수평 경계선이 선명하게 나타나지 않으므로 대화면의 PDP에서 화질 열화가 심해진다.

이와 같이, 종래의 ELA 방법은 여러 다양한 영상에 대해 비교적 안정적인 성능을 나타내나 수평 경계선이 많은 영상에 대해서는 그 성능이 저하되므로 화질이 열화된다. 이는 종래의 ELA 방법에서 수평 경계선에 대한 고려가 없기 때문에 수평 경계선이 포함된 화소라고 할지라도 수직 경계선이나 대각선 경계선과 동일하게 처리하기 때문이다. 이를 개선하기 위해서는 먼저, 수평 경계선을 검출해내어야 하고 또 그에 해당하는 화소를 적절히 보간해주어야 한다. 그래서, 수평 경계선이 검출되지 않으면 해당 화소를 종래의 ELA 방법으로 보간하고, 수평 경계선이 검출되면 해당 화소를 다른 방식으로 보간해주어야 할 필요가 있다.

따라서, 본 발명의 목적은 영상의 경계 부분을 선명하게 나타내도록 한 움직임 적응 시공간 디인터레이싱 방법을 제공하는데 있다.

본 발명의 다른 목적은 영상의 수평 경계선 부분을 선명하게 나타내도록 한 움직임 적응 시공간 디인터레이싱 방법을 제공하는데 있다.

본 발명의 또 다른 목적은 화질 열화를 개선시키도록 한 움직임 적응 시공간 디인터레이싱 방법을 제공하는데 있다.

이와 같은 목적을 달성하기 위한 본 발명에 의한 움직임 적응 시공간 디인터레이싱 방법은

삭제

삭제

격행 주사 방식의 입력 영상의 시간적으로 연속적인 복수개의 필드 데이터에서 현재 보간할 화소를 포함한 일정 크기의 창 내의 화소 값들을 검출하고 상기 필드간의 화소 값 차이를 계산, 비교하여 움직임 값을 검출하는 단계; 상기 움직임 값을 소정의 문턱값과 비교하여 상기 움직임 값이 상기 문턱값을 초과하면 움직임이 있는 것으로 판별하고, 상기 움직임 값이 상기 문턱값 이하이면 움직임이 없는 것으로 판별하는 단계; 상기 검출된 움직임 값에 대한 정보를 후처리 필터링하는 단계; 및 상기 검출된 움직임 값이 상기 문턱값을 초과하여 움직임이 있는 것으로 간주되는 경우이면, 상기 보간할 화소의 화소 값을 공간축 정보에 가중치를 두고 보간하는 공간축 필터링을 실시하고, 상기 검출된 움직임 값이 상기 문턱값 이하여서 움직임이 없는 것으로 간주되는 경우이면, 상기 보간할 화소의 화소 값을 시간축 정보에 가중치를 두고 보간하는 시간축 필터링을 실시하는 단계를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 공간축 필터링 단계는,

상기 격행 주사 방식의 입력 영상에 대한 소정의 필드 데이터에서 현재 보간할 화소를 중심으로 한 일정 크기의 창 내의 화소 값을 검출하고, 수평, 수직, 대각선 방향의 화소 값 차이를 구하여 상기 보간할 화소가 수평 경계선인지 아닌 지를 판별하는 단계; 및 상기 보간할 화소가 상기 수평 경계선인 것으로 판별되면, 상기 보간할 화소를 수평 보간하고, 상기 보간할 화소가 상기 수평 경계선이 아닌 것으로 판별되면, 상기 보간할 화소를 이엘에이(ELA) 법에 의해 보간하는 단계를 포함하는 것을 특징으로 한다.

바람직하게는, 상기 보간할 화소가 상기 수평 경계선인지 아닌지를 판별하는 단계는, 상기 보간할 화소를 중심으로 한 3X3 창에서 상기 보간할 화소에 대한 수직, 대각선, 수평 경계선 방향의 화소 값 차이를 각각 계산하는 단계; 및 상기 보간할 화소에 대한 수직, 대각선, 수평 경계선 방향의 화소 값 차이 중에서 상기 수평 경계선 방향의 화소 값 차이가 최소인 경우이면, 상기 보간할 화소가 상기 수평 경계선으로 판별하고, 상기 화소 값 차이 중에서 상기 수평 경계선 방향의 화소 값 차이가 최소가 아닌 것으로 판별되면, 상기 보간할 화소가 상기 수평 경계선이 아닌 것으로 판별하는 단계를 포함할 수 있다.

바람직하게는, 상기 보간할 화소가 상기 수평 경계선인지 아닌지를 판별하는 단계는, 상기 보간할 화소가 상기 수평 경계선으로 판별되면, 상기 수평 경계선이 배경 영역인지 아닌지를 판별하는 단계; 및 상기 수평 경계선이 배경 영역인 것으로 판별되면, 상기 보간할 화소를 이엘에이(ELA) 법에 의해 보간하고, 상기 수평 경계선이 배경 영역이 아닌 것으로 판별되면, 상기 보간할 화소를 수평 보간하는 단계를 포함할 수 있다.

삭제

바람직하게는, 상기 보간할 화소가 상기 수평 경계선인지 아닌지를 판별하는 단계는, 상기 보간할 화소가 상기 수평 경계선으로 판별되고, 상기 수평 경계선이 배경 영역인 아닌 것으로 판별되면, 상기 수평 경계선이 텍스처 영역인지 아닌지를 판별하는 단계; 및 상기 수평 경계선이 텍스처 영역인 것으로 판별되면, 상기 보간할 화소를 상기 이엘에이법에 의해 보간하고, 상기 수평 경계선이 텍스처 영역이 아닌 것으로 판별되면, 상기 보간할 화소를 수평 보간하는 단계를 포함할 수 있다.

삭제

삭제

바람직하게는, 상기 수평 보간하는 단계는, 상기 보간할 화소가 상기 수평 경계선의 시작점인지 아닌지를 판별하는 단계; 상기 수평 경계선의 시작점으로 판별되면, 상기 보간할 화소의 화소 값을 라인 평균으로 결정하는 단계; 및 상기 수평 경계선의 시작점으로 판별되지 않고 연속되는 수평 경계선에 해당하는 것으로 판별되면, 상기 보간할 화소의 화소 값을 수평 방향의 화소를 고려하여 보간하는 단계를 포함할 수 있다.

이하, 본 발명의 실시 예에 의한 움직임 적응 시공간 디인터레이싱 방법을 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 3은 본 발명의 실시 예에 의한 움직임 적응 시공간 디인터레이싱 방법을 나타낸 플로우차트이다. 도 3을 참조하면, 먼저, 단계(S10)에서 격행 주사 방식의 입력 영상이 디인터레이싱부(도시 안됨)에 입력되면, 단계(S20)에서 상기 디인터레이싱부가 상기 입력 영상에 대한 시간적으로 연속적인 여러 필드 데이터간의 특정 라인들의 화소 값을 이용하여 동영상의 움직임이 있는 지 없는 지를 판별한다.

이를 좀 더 상세히 언급하면, 상기 움직임을 감지하기 위해서는 이전 필드 데이터를 저장하는 버퍼가 필요하다. 움직임 감지를 위해 2개 필드의 영상 데이터를 저장하는 필드 메모리를 사용하는 경우와, 3개 필드의 영상 데이터를 저장하는 필드 메모리를 사용하는 경우가 있다. 필드 메모리의 수가 적을 경우에는 움직임 감지를 간단하게 구현할 수 있으나 빠르게 지나가는 움직임을 감지할 수 없기 때문에 움직임 감지 에러가 큰 단점이 있다. 본 발명에서는 가장 좋은 성능을 보이는 것으로 알려진, 3개 필드 메모리를 이용한 움직임 감지 방법을 사용하여 움직임을 감지하는 것을 기준으로 설명하기로 한다.

도 4에 도시된 바와 같이, 움직임 감지를 위한 연속된 4개 필드들, 예를 들어 i, j, k, l 번째 필드들이 Fi, Fj, Fk, Fl이고, 현재 필드가 Fk이고 이전 필드가 Fi, Fj이며 다음 필드가 Fl이다. 상기 필드 Fi, Fk에서 i 번째 라인 내의 j 번째 화소의 화소 값이 각각 ai, ak이고, i+1 번째 라인 내의 j 번째 화소의 화소 값이 bi, bk이다. 상기 필드 Fj, Fl에서 i, i+1 번째 라인 사이의 보간될 라인 내의 j 번째 화소의 화소 값이 cj, cl이다. 상기 필드 Fk에서 i, i+1 번째 라인의 j 번째 화소 사이의 화소, 즉 현재 보간할 화소의 화소 값이 zk이다.

단계(S21)에서 현재 보간할 화소 주변의 화소에 대한 필드간의 화소 값 차이를 구한다. 즉, 상기 화소 값 ai, ak 사이의 화소 값 차이 D1과, 상기 화소 값 bi, bk 사이의 화소 값 차이 D2와, 상기 화소 값 cj,cl 사이의 화소 값 차이 D3을 수학식 5에 의해 계산한다.

상기 화소 값 차이 D1, D2, D3의 계산이 완료되고 나면, 단계(S23)에서 상기 화소 값 차이 D1, D2, D3을 서로 비교하여 이들 중 최대의 화소 값 차이를 움직임 값으로 결정한다.

상기 움직임 값이 결정되고 나면, 단계(S25)에서 상기 움직임 값이 문턱값(threshold), 예를 들어 실험치에 의해 결정된 8(또는 16)을 초과하는 지를 판단한다. 이때, 상기 움직임 값이 상기 문턱값을 초과하면, 상기 움직임이 있는 것으로 검출된다. 상기 움직임이 상기 문턱값을 초과하지 못하면, 상기 움직임이 없는 것으로 검출된다.

상기 움직임 값과 상기 문턱값이 비교되고 나면, 단계(S30)에서 상기 검출된 움직임에 대한 정보를 예를 들어 메디안 필터에 의해 후처리 필터링한다. 이는 순간적인 잡음 등으로 인하여 생긴 정지 영역 안에서는 움직임, 움직임 영역 안에서의 소실된 움직임을 보정해주기 위함이다. 영상처리 응용분야, 특히 디인터레이싱에 있어서, 경계선(edge)을 향상시키고 잡음을 제거하는데 메디안 필터가 가장 적합한 것으로 알려져 있다. 바이너리(binary) 움직임 정보에 있어서, 상기 메디안 필터는 따로 떨어진 움직임 정보를 없애거나 손실된 움직임 정보를 채워 넣어주는데 우수한 성능을 보여준다. 본 발명에서 사용된 메디안 필터는 도 5에 도시된 바와 같이, 5-포인트의 십자가 형태이며, 이로전(erosion), 다이레이션(dilation)보다 모두 좋은 성능을 보여준다.

상기 후처리 필터링이 완료되고 나면, 단계(S40)에서 현재 보간할 화소의 화소 값을 상기 검출된 움직임 정보에 따라 적응적으로 보간한다. 이를 좀 더 상세히 언급하면, 도 2에 도시된 바와 같은 특정 필드 t의 창에서 현재 보간할 화소의 화소 값이 x(i,j)인 경우, x(i,j)의 움직임 값이 임의의 문턱값 이하이면, 단계(S41)에서 상기 화소 값 x(i,j)을 메디안 필터, 예를 들어 7-포인트 가중 메디안 필터(weighted median filter)에 의해 시간축 필터링한다. 가중 메디안 필터에서 시간영역 입력 샘플이 여러번 반복 사용된다. 이로써, 시간영역 샘플이 결과로 출력될 확률을 높이게 된다. 상기 가중 메디안 필터는 표준 메디안 필터의 확장형이다. 상기 가중 메디안 필터는 다음의 수학식 6에 의해 표현될 수 있다.

y = med[x(i-1,j-1,t),x(i-1,j,t),x(i-1,j+1,t), x(i+1,j-1,t), x(i+1,j,t), x(i+1,j+1,t), 3 X x(i,j,t-1)]

상기 움직임 값이 상기 문턱값보다 크면, 즉 상기 움직임이 있으면, 단계(S43)에서 공간축 정보에 가중치를 두는 공간축 필터링을 실시한다. 즉, 도 6에 도시된 바와 같이, 먼저, 단계(S430)에서 상기 격행 주사 방식의 입력 영상의 보간할 화소가 수평 경계선인지 아닌 지를 판별한다. 이를 좀 더 상세히 언급하면, 단계(S431)에서 도 2에 도시한 바와 같은 3X3 창 내의 보간될 화소 값 x(i,j)에 대한 수평 방향의 상관도를 구하기 위해 화소 값 차이(C4),(C5)를 다음의 수학식 7에 의해 계산한다. 또한, 이미 설명한 바와 같이 C1, C2, C3도 함께 계산한다.

여기서, C4는 상기 보간될 화소가 있는 i 번째 라인의 위 라인, 즉 i-1 번째 라인에서 상기 보간될 화소에 대한 수평 방향 좌, 우 화소의 화소 값 차이이다. C5는 상기 보간될 화소가 있는 i 번째 라인의 아래 라인, 즉 i+1 번째 라인에서 상기 보간될 화소에 대한 수평 방향 좌, 우 화소의 화소 값 차이이다.

상기 C1, C2, C3, C4, C5가 계산되고 나면, 단계(S433)에서 상기 C1, C2, C3, C4, C5를 비교하여 상기 C1, C2, C3, C4, C5 중 최소값을 선정한다. 이때, 상기 최소값을 갖는 경계선 방향이 상관도가 가장 높은 경계선 방향이 된다. 예를 들어, 상기 C1,C2,C3, C4,C5 중에서 C4 또는 C5가 최소값이면, 상기 상관도가 가장 높은 경계선 방향은 수평 경계선 방향이 되므로 상기 보간될 화소가 수평 경계선 상에 있는 것으로 간주된다. 상기 C1,C2,C3, C4,C5 중에서 C4 또는 C5가 최소값이 아니면, 상기 상관도가 가장 높은 방향이 수평 경계선 방향이 아니므로 상기 보간될 화소가 수평 경계선 상에 있지 않은 것으로 간주된다.

그러나, 이와 같은 방법으로 수평 경계선의 여부를 판별하는 경우, 배경 영역 또한 수평 경계선으로 판별될 에러의 발생 가능성이 높다. 그러므로, 상기 배경 영역이 수평 경계선으로 판별되는 에러를 방지하기 위해 상기 수평 경계선이 상기 배경 영역인 지를 판단해 줄 필요가 있다.

상기 보간될 화소가 상기 수평 경계선 상에 있는 것으로 간주되면, 단계(S435)에서 상기 수평 경계선이 상기 배경 영역인 지 아닌 지를 판별한다. 즉, 상기 보간될 화소의 이웃한 상, 하 라인 사이의 값 차이가 수직 방향으로 미리 설정된 문턱값(threshold), 예를 들어 5∼8의 값 이상인 지를 판단한다.

이때, 상기 상, 하 라인 사이의 화소 값 차이가 상기 문턱값 이상이면, 상기 경계선은 배경 영역이 아니므로 상기 경계선을 수평 경계선으로 간주한다. 상기 상, 하 라인 사이의 화소 값 차이가 상기 문턱값보다 작으면, 상기 경계선을 배경 영역으로 간주한다.

상기 경계선이 배경 영역으로 판별되고 나면, 단계(S437)에서 상기 경계선이 있는 영역이 텍스처(texture) 영역인 지 아닌 지를 판별한다. 즉, 화소 값의 차이(d1),(d2),(d3)를 다음의 수학식 8에 의해 구한다. 이는 상기 경계선이 수평 경계선으로 간주되더라도 상기 화소 값이 빠르게 변하는 텍스처 형태의 영상에서는 상기 검출된 경계선이 수평 경계선이 아님에도 불구하고 수평 경계선으로 잘못 검출되기 쉬우므로 상기 경계선이 포함된 텍스처 영역을 제거하기 위함이다.

그런 다음, 상기 차이(d1),(d2),(d3)의 부호가 모두 동일한 양(또는 음) 인지 아닌 지를 판단하다. 이때, 상기 차이(d1),(d2),(d3)의 부호가 모두 동일한 양(또는 음)이면, 상기 경계선을 도 2의 3X3 창에서 연속되는 경계선으로 볼 수 있고, 이때에만 상기 경계선을 진정한 수평 경계선으로 간주될 수 있다.

반면에, 상기 차이(d1),(d2),(d3)의 부호가 모두 동일한 양(또는 음)이 아니면, 상기 경계선이 도 2의 3X3 창에서 연속되는 경계선으로 볼 수 없다. 이때의 상기 경계선을 텍스처 영역으로 간주한다.

지금까지의 처리 과정에 의해 수평 경계선에 대한 정보를 찾아내긴 하였지만, 이 정보만으로 상기 수평 경계선의 보간할 화소 값에 가까운 값을 보간하기가 어렵다. 이는 상기 보간될 화소 값 x(i,j)를 중심으로 x(i,j-1)을 알고 있지만, x(i,j+1)을 알지 못하기 때문이다.

상기 x(i,j+1)의 값을 모르는 상태에서 수평 경계선인 화소 값 x(i,j)를 보간할 때, x(i,j-1)은 중요한 정보가 된다. 이는 도 2의 3X3 창에서 현재 알고 있는 화소 값 중에서 x(i,j-1)이 수평 경계선의 화소 값 x(i,j)에 가장 가까운 값이기 때문이다. 그러나, x(i,j-1)의 값을 반영시킬 경우에 고려하여야 할 점이 있다. 만일, x(i,j)가 수평 경계선의 시작점이라면, x(i,j-1)은 종래의 ELA법의 알고리즘에 의해 보간되었을 것이고, 그 화소는 수평 경계선이 아닐 가능성이 높다. 상기 수평 경계선이 아닌 화소 값 x(i,j-1)이 x(i,j)의 보간에 영향을 미치면, 수평 경계선 영역에 지속적으로 좋지 않은 영향이 미치게 된다.

이러한 점을 고려하여 상기 보간될 화소가 상기 수평 경계선 상에 있으면, 단계(S530)에서 상기 보간될 화소 값을 본 발명의 수평 보간에 의해 처리하고, 상기 보간될 화소가 상기 수평 경계선 상에 있지 않으면, 단계(S630)에서 상기 보간될 화소 값을 종래의 ELA법의 보간에 의해 처리한다.

상기 단계(S530)의 과정을 좀 더 상세히 언급하면, 단계(S531)에서 상기 보간될 화소가 수평 경계선의 시작점인 지 아닌 지를 판별한다. 이때, 상기 보간될 화소가 수평 경계선의 시작점이면, 수평 경계선이나 대각선 경계선과는 무관하게 보간하고자 하는 화소와 가장 가까운 위치에 있는 값을 주는 것이 가장 좋다. 따라서, 단계(S533)에서 상기 경계선의 시작점에 해당하는 화소 값 x(i,j)을 공간적으로 가장 가까운 화소 값들 x(i-1,j), x(i+1,j)의 평균값으로 일률적으로 결정한다. 즉, 상기 화소가 상기 수평 경계선의 시작점이면, 상기 화소 값 x(i,j)을 다음의 수학식 9에 의해 결정한다.

x(i,j) = {x(i-1,j) + x(i+1,j)}/2

한편, 상기 화소가 상기 경계선의 시작점이 아니고 연속되는 수평 경계선에 해당하는 위치에 있으면, 단계(S535)에서 화소의 값 x(i,j)을 종래의 ELA 법의 알고리즘에 x(i,j-1)을 반영하여 보간한다. 이는 화소간의 상관도를 고려함과 아울러 수평 경계선의 연속성을 함께 고려한 것이다. 즉, 연속되는 수평 경계선에 해당하는 화소일 경우, 수평 방향으로 인접한 화소 값 x(i,j-1)을 사용할 수 있으므로 상기 값 x(i,j)을 다음의 수학식 10에 의해 결정한다.

이어서, 상기 단계(S530)이나 단계(S630)에서의 보간이 완료되고 나면, 도 3의 단계(50)에서 상기 보간된 영상을 순차 주사 방식으로 출력시킬 수 있다.

따라서, 본 발명은 본 발명은 움직임에 따라 적응적으로 보간할 수 있다. 또한, 본 발명은 수평 경계선의 시작점을 고려함으로써 종래의 ELA 방법보다 우수한 PSTN(pixel signal to noise) 값을 얻을 수가 있고, 수평 경계선 부분을 더욱 선명하게 나타낼 수 있다. 그 결과, 대화면의 LCD나 PDP와 같은 디스플레이장치에서 영상의 화질 열화가 개선될 수 있다.

한편, 본 발명에서는 하나의 화소에 대한 보간을 중점적으로 설명하였으나, 실제로는 상기 화소의 보간이 완료되고 나면, 연속적으로 그 다음의 이웃한 화소에 대하여서도 동일한 방법으로 보간을 실시한다. 이에 대한 설명은 설명의 편의상 설명의 중복을 피하기 위해 생략하기로 한다.

이상에서 상세히 설명한 바와 같이, 본 발명에 의한 움직임 적응 시공간 디인터레이싱 방법은 격행 주사 방식의 입력 영상의 시간적으로 연속적인 여러 개의 필드 데이터에서 현재 보간할 화소를 포함한 일정 크기의 창 내의 화소 값들을 검출하고 상기 필드간의 화소 값 차이를 계산, 비교하여 움직임 값을 검출하고, 상기 움직임 값이 일정 문턱값을 초과하는 지 여부를 판별한다. 상기 움직임 값이 상기 문턱값 이하이면, 움직임이 없는 것으로 간주하고 시간축 필터링을 실시한다. 상기 움직임 값이 상기 문턱값을 초과하면, 움직임이 있는 것으로 간주하고 공간축 필터링을 실시한다. 즉, 상기 격행 주사 방식의 입력 영상의 특정 필드에 있어서, 현재 보간할 화소를 포함한 일정 크기의 창 내의 화소 값들을 검출하고 이들 화소 값들의 수직, 수평, 대각선 방향의 차이를 계산, 비교함으로써 현재 보간할 화소가 수평 경계선인 지 아닌 지를 판별한다. 이때, 수평 경계선이 아닌 것으로 판별되면, 상기 보간할 화소를 기존의 ELA법에 의해 보간한다. 수평 경계선인 것으로 판별되면, 수평 경계선을 고려하여 상기 보간할 화소를 수평 보간한다. 즉, 상기 보간할 화소가 수평 경계선의 시작점인 것으로 판별되면, 상기 보간할 화소 값을 상기 보간할 화소와 가장 가까운 상, 하 라인의 화소의 화소 값의 평균값으로 결정한다. 상기 보간할 화소가 수평 경계선의 시작점이 아니고 연속되는 수평 경계선에 해당하는 것으로 판별되면, 상기 보간할 화소 이전의 화소의 화소 값을 반영하여 ELA 법에 의해 보간한다.

따라서, 본 발명의 공간축 필터링은 이엘에이 방법으로 보간하였을 때 나타나는 수평경계선의 흐려짐 현상을 개선하므로 대화면 PDP와 같은 디스플레이장치에서 수평 경계선을 선명하게 나타낼 수 있다. 그 결과, 화질 열화가 개선될 수 있다.

한편, 본 발명은 도시된 도면과 상세한 설명에 기술된 내용에 한정하지 않으며 본 발명의 사상을 벗어나지 않는 범위 내에서 다양한 형태의 변형도 가능함은 이 분야에 통상의 지식을 가진 자에게는 자명한 사실이다.

도 1은 종래 기술에 의한 움직임 비보상(non-motion compensated: non MC) 시간축 상의 디인터레이싱 방법에 적용된 화소 값의 보간을 설명하기 위한 예시도.

도 2는 본 발명이 적용된 3X3 창을 나타낸 예시도.

도 3은 본 발명에 의한 움직임 적응 시공간 디인터레이싱 방법을 나타낸 플로우차트.

도 4는 본 발명이 적용된 움직임 감지를 위한 4개의 연속 필드들을 나타낸 예시도.

도 5는 본 발명이 적용된 5-포인트 메디안 필터를 나타낸 예시도.

도 6은 본 발명에 의한 움직임 적응 시공간 디인터레이싱 방법의 공간축 필터링을 나타낸 상세 플로우차트.

Claims (11)

1. 삭제
2. 삭제
3. 격행 주사 방식의 입력 영상의 시간적으로 연속적인 복수개의 필드 데이터에서 현재 보간할 화소를 포함한 일정 크기의 창 내의 화소 값들을 검출하고 상기 필드간의 화소 값 차이를 계산, 비교하여 움직임 값을 검출하는 단계;

   상기 움직임 값을 소정의 문턱값과 비교하여 상기 움직임 값이 상기 문턱값을 초과하면 움직임이 있는 것으로 판별하고, 상기 움직임 값이 상기 문턱값 이하이면 움직임이 없는 것으로 판별하는 단계;

   상기 검출된 움직임 값에 대한 정보를 후처리 필터링하는 단계; 및

   상기 검출된 움직임 값이 상기 문턱값을 초과하여 움직임이 있는 것으로 간주되는 경우이면, 상기 보간할 화소의 화소 값을 공간축 정보에 가중치를 두고 보간하는 공간축 필터링을 실시하고, 상기 검출된 움직임 값이 상기 문턱값 이하여서 움직임이 없는 것으로 간주되는 경우이면, 상기 보간할 화소의 화소 값을 시간축 정보에 가중치를 두고 보간하는 시간축 필터링을 실시하는 단계를 포함하는 것을 특징으로 하는 움직임 적응 시공간 디인터레이싱 방법.
4. 제3항에 있어서, 상기 공간축 필터링 단계는

   상기 격행 주사 방식의 입력 영상에 대한 소정의 필드 데이터에서 현재 보간할 화소를 중심으로 한 일정 크기의 창 내의 화소 값을 검출하고, 수평, 수직, 대각선 방향의 화소 값 차이를 구하여 상기 보간할 화소가 수평 경계선인지 아닌 지를 판별하는 단계; 및

   상기 보간할 화소가 상기 수평 경계선인 것으로 판별되면, 상기 보간할 화소를 수평 보간하고, 상기 보간할 화소가 상기 수평 경계선이 아닌 것으로 판별되면, 상기 보간할 화소를 이엘에이(ELA) 법에 의해 보간하는 단계를 포함하는 것을 특징으로 하는 움직임 적응 시공간 디인터레이싱 방법.
5. 제 4 항에 있어서, 상기 보간할 화소가 상기 수평 경계선인지 아닌지를 판별하는 단계는,

   상기 보간할 화소를 중심으로 한 3X3 창에서 상기 보간할 화소에 대한 수직, 대각선, 수평 경계선 방향의 화소 값 차이를 각각 계산하는 단계; 및

   상기 보간할 화소에 대한 수직, 대각선, 수평 경계선 방향의 화소 값 차이 중에서 상기 수평 경계선 방향의 화소 값 차이가 최소인 경우이면, 상기 보간할 화소가 상기 수평 경계선으로 판별하고, 상기 화소 값 차이 중에서 상기 수평 경계선 방향의 화소 값 차이가 최소가 아닌 것으로 판별되면, 상기 보간할 화소가 상기 수평 경계선이 아닌 것으로 판별하는 단계를 포함하는 것을 특징으로 하는 움직임 적응 시공간 디인터레이싱 방법.
6. 제 5 항에 있어서, 상기 보간할 화소가 상기 수평 경계선인지 아닌지를 판별하는 단계는,

   상기 보간할 화소가 상기 수평 경계선으로 판별되면, 상기 수평 경계선이 배경 영역인지 아닌지를 판별하는 단계; 및

   상기 수평 경계선이 배경 영역인 것으로 판별되면, 상기 보간할 화소를 이엘에이(ELA) 법에 의해 보간하고, 상기 수평 경계선이 배경 영역이 아닌 것으로 판별되면, 상기 보간할 화소를 수평 보간하는 단계를 포함하는 것을 특징으로 하는 움직임 적응 시공간 디인터레이싱 방법.
7. 삭제
8. 제 6 항에 있어서, 상기 보간할 화소가 상기 수평 경계선인지 아닌지를 판별하는 단계는,

   상기 보간할 화소가 상기 수평 경계선으로 판별되고, 상기 수평 경계선이 배경 영역인 아닌 것으로 판별되면, 상기 수평 경계선이 텍스처 영역인지 아닌지를 판별하는 단계; 및

   상기 수평 경계선이 텍스처 영역인 것으로 판별되면, 상기 보간할 화소를 상기 이엘에이법에 의해 보간하고, 상기 수평 경계선이 텍스처 영역이 아닌 것으로 판별되면, 상기 보간할 화소를 수평 보간하는 단계를 포함하는 것을 특징으로 하는 움직임 적응 시공간 디인터레이싱 방법.
9. 삭제
10. 삭제
11. 제 4 항 또는 제 6 항에 있어서, 상기 수평 보간하는 단계는,

    상기 보간할 화소가 상기 수평 경계선의 시작점인지 아닌지를 판별하는 단계;

    상기 수평 경계선의 시작점으로 판별되면, 상기 보간할 화소의 화소 값을 라인 평균으로 결정하는 단계; 및

    상기 수평 경계선의 시작점으로 판별되지 않고 연속되는 수평 경계선에 해당하는 것으로 판별되면, 상기 보간할 화소의 화소 값을 수평 방향의 화소를 고려하여 보간하는 단계를 포함하는 것을 특징으로 하는 움직임 적응 시공간 디인터레이싱 방법.