KR20010026089A

KR20010026089A - 움직임 보상을 기반으로 하는 격행주사 영상의 디인터레이싱 방법

Info

Publication number: KR20010026089A
Application number: KR1019990037264A
Authority: KR
Inventors: 임일택; 임경원; 민철홍
Original assignee: 구자홍; 엘지전자 주식회사
Priority date: 1999-09-03
Filing date: 1999-09-03
Publication date: 2001-04-06
Also published as: KR100327395B1; US6606126B1

Abstract

본 발명은 격행주사(interlaced scanning) 방식의 영상신호를 순행주사(progressive scanning) 방식의 영상신호로 변환하도록 한 격행주사 영상의 디인터레이싱(deinterlacing) 방법에 관한 것이다.

본 발명에서는 이전 프레임과 현재 필드와 다음 필드를 이용하여 한번 이상의 단계를 거쳐 움직임벡터를 추정하고, 추정된 움직임 벡터를 이용하여 이전 프레임의 화소들로 부터 현재 필드를 보간하도록 하며, 기본 블록 단위로 검사하여 이와 같은 과정을 통해 디인터레이싱이 올바르게 되었는지에 대한 검증과정을 실행하도록 하므로써, 신뢰성있는 디인터레이싱 결과를 갖는, VLSI 칩으로 구현가능한 고성능 움직임 보상 보간(MCI) 알고리듬을 제공할 수 있도록 하는 것이다.

Description

움직임 보상을 기반으로 하는 격행주사 영상의 디인터레이싱 방법{ Deinterlacing method based on motion-compensated inter-field interpolation}

현재의 티브이(TV)는 이른 바 격행주사 방식을 채택하고 있다. 이와 같은 격행주사 방식은 NTSC의 경우 525개, PAL 방식의 경우 625개로 이루어진 주사선을 1/60초 간격으로 한번은 짝수번째 주사선들만 화면에 출력시키고, 그 다음에는 홀수번째 주사선들만 화면에 출력하는 방식이다.

이때, 1/60초 간격의 각각의 화면을 필드(field)라고 하고 두개의 필드를 모은 화면을 프레임(frame)이라 한다.

그리고, 홀수번째 라인들로 이루어진 필드를 기수필드(odd field) 또는 탑필드(top field)라고 하고, 짝수번째 라인들로 이루어진 필드를 우수필드(even field) 또는 바텀필드(bottom field)라고 한다.

이와 같은 격행주사 방식은 1/60초 간격으로 모든 주사선들을 보내는 방식에 비해서 티브이 신호의 대역폭을 절반으로 줄일 수 있는 장점이 있다.

다시말하면, 예를 들어 대역폭이 6㎒인 현재의 NTSC 방식의 티브이에서 격행주사 방식을 채택하지 않았더라면 약 12㎒의 대역폭이 필요한 것이다.

이와 같은 격행주사 방식은 티브이 브라운관의 기술이 지금처럼 발달하지 않았던 시절에 개발된 기술로서, 당시에는 격행주사로 하나 혹은 모든 주사선을 화면에 표시하는 순행주사 방식으로 하나 티브이 화면을 보는 사람들의 눈에는 큰 차이가 없었다.

그러나, 이제는 브라운관 제작 기술이 많이 발전하였고, 특히 밝기가 예전보다 크게 향상되었다. 이렇게 밝고 선명해진 브라운관은 역으로 격행주사의 결점을 점차로 부각시키기 시작했다.

특히, 수평으로 미세한 줄무늬가 있는 경우, 그 부분은 30㎐로 떨리는 대화면 깜박임(large-area flicker)현상이 사람들의 눈에 느껴지기 시작했다.

그리고, 이와는 반대로 30㎐로 깜박이는 물체가 있을 경우 그 물체 위에 미세한 줄무늬들이 겹쳐져서 보이게 되는 데, 이러한 현상들은 격행주사 방식에서는 피할 수 없는 현상들이다.

더구나 이제는 디지털 티브이가 등장하면서 화면의 품질은 매우 중요한 요소가 되고 있다.

ATSC 규격의 디지털 티브이 영상신호 규격에는 순행주사도 있고, 격행주사 방식도 있는 데, 예를 들어 704*480 크기의 규격은 60㎐ 프로그레시브, 60㎐ 인터레이스도 있다.

그러나, 가정의 소비자가 구입할 디지털 티브이의 표시장치가 만약 순행주사 방식으로 되어 있다면 격행주사의 영상신호는 순행주사로 바뀌어져야 할 것이다.

또한, PC를 통해 표시되는 영상은 반드시 순행방식이어야 하므로, 카드를 내장하여 PC에서 디지털 티브이의 시청이 가능하도록 하는 데 있어 격행주사 방식을 순행주사 방식으로 변환하는 것은 필수적이라 할 수 있다.

따라서, 본 발명에서는 격행주사 방식의 영상신호를 순행주사 방식으로 변환하는 방법을 제공하고자 하는 것이다.

종래의 격행주사 방식의 영상신호를 순행주사 방식으로 변환하는 방법은 크게 두가지로 나누어지는 바, 첫째는 필드간 보간(inter-field interpolation)이고, 두번째는 필드내 보간(intra-field interpolation)이다.

필드간 보간의 간단한 예는 흔히 weave라고 알려진 것으로서, 탑필드와 바텀필드를 결합하여 하나의 프레임을 만드는 것이다.

이러한 필드간 보간은 화면의 정지해 있는 부분은 좋은 결과를 보여주지만 움직이는 부분에서는 눈에 거슬리는 수평선들이 생긴다.

이는 결합되는 두 필드 사이에 시간차가 있기 때문이다.

필드간 보간의 보다 복잡한 예는 이른 바, 움직임 보상 보간(MCI ; motion-compensated interpolation)이 있다.

이러한 움직임 보상 보간은 현재 필드의 비어있는 라인을 보간하기 위해 화면의 움직임 정보를 추출한 다음 그 정보를 이용하여 이전 혹은 그 이전의 필드의 화소(pixel)들을 가져다가 현재 필드의 비어있는 라인들을 보간하는 것이다.

이때, 중요한 것은 움직임 보상이 정확하고 정밀하게 이루어져야 한다는 것이다.

다음으로 필드내 보간의 간단한 예는 흔히 bob이라고 알려져 있는 것으로서 한 필드의 각 라인들을 두번씩 사용하므로써, 프레임을 만들어내는 것이다.

이러한 보간 방법은 화면의 움직이는 부분에서 눈에 거슬리는 수평선들이 생기는 것은 방지해주지만 화면의 복잡하고 미세한 부분들이 30㎐로 떨리게 된다.

그리고 수직 해상도도 떨어진다. 특히 모서리들이 계단모양으로 왜곡된다.

필드내 보간의 보다 복잡한 예는 이른바 모서리 방향보간(EDI ; edge-directional interpolation)이다.

이러한 방법은 현재 필드의 비어있는 라인을 보간하기 위해 현재 필드의 화소들만을 이용하되, 특히 모서리의 방향을 검출한 다음 그 정보를 이용하여 보간을 하는 것이다.

이때 중요한 것은 모서리 방향의 검출이 정확하고 정밀하게 이루어져야 한다는 것이다.

디인터레이싱을 위한 종래의 기술은 일반적으로 이 두가지 방법 가운데 하나를 선택하여 사용하는 데, 일반적인 티브이 수신카드는 제어 프로그램에 bob 모드와 weave 모드를 선택할 수 있게 하는 경우가 대부분이다.

또한 복잡한 알고리듬을 VLSI칩으로 구현하는 경우에도 EDI의 기초적인 형태를 구현하는 경우가 대부분이며, MCI의 경우는 현재 디인터레이싱칩으로 등장한 경우가 없다.

그러나, 현재의 VLSI 기술의 수준은 상당히 복잡한 MCI 알고리듬도 구현가능한 위치까지 도달하였다.

그러므로, 본 발명에서는 VLSI 칩으로 구현가능한 고성능 MCI 알고리듬을 제안하고자 하는 것이다.

본 발명에서는 이전 프레임과 현재 필드와 다음 필드를 이용하여 한번 이상의 단계를 거쳐 움직임벡터를 추정하고, 추정된 움직임 벡터를 이용하여 이전 프레임의 화소들로 부터 현재 필드를 보간하도록 하며, 기본 블록 단위로 디인터레이싱이 올바르게 되었는지에 대한 검증과정을 실행하도록 하므로써, 신뢰성있는 디인터레이싱결과를 갖는 VLSI 칩으로 구현가능한 고성능 움직임 보상 보간(MCI) 알고리듬을 제공할 수 있도록 한 것이다.

도 1은 수직 시간축상에서의 격행주사 방식의 영상의 디인터레이싱을 설명하기 위한 도면.

도 2는 본 발명 격행주사 영상의 디인터레이싱 방법을 기능적인 블록으로 나타낸 도면.

도 3은 일반적인 움직임 추정과정을 설명하기 위한 도면

도 4는 도 3의 일반적인 움직임 추정과정에 있어, 이전 프레임과 현재 프레임에 있어서, 수직라인의 화소들만을 잘라내어 표시한 것으로, 정수 화소 정밀도로 구해진 움직임 벡터에 의한 현재 프레임의 블록과 이전 프레임의 블록 간의 상호관계 나타낸 도면.

도 5a는 본 발명에 있어서, 제 1 움직임 추정부(110)에서 이루어지는 움직임 벡터 추정의 첫번째 단계를 나타낸 도면.

도 5b는 본 발명에 있어서, 제 2움직임 추정부(120)에서 이루어지는 움직임 벡터 추정의 두번째 단계를 나타낸 도면.

도 6은 본 발명에 있어서, 다른 실시예를 나타낸 블록도.

본 발명은 VLSI 칩으로 구현가능한 MCI 알고리듬을 제공하고자 하는 것으로,

현재필드를 기본블록으로 나누어 움직임 벡터를 산출하는 움직임 추정 과정과,

상기한 과정을 통해 얻어진 움직임 벡터가 지시하는 이전 프레임의 화소로 부터 현재 필드의 비어있는 화소들을 보간하는 디인터레이싱 과정과,

상기한 과정에서의 디인터레이싱이 올바르게 되었는지 기본블록 단위로 검사하고, 그 검사결과값을 출력하는 부작용 검사(side-effect check) 과정과,

부작용 검사로 부터 얻어지는 검사결과값에 따라서 상기한 디인터레이싱 과정을 통한 디인터레이싱결과의 적용여부를 결정하도록 하는 과정을 포함하여 이루어짐을 특징으로 한다.

그리고, 상기 움직임 벡터 추정과정은 이전 프레임과 현재 필드, 그리고 다음 필드를 이용하여 0.5 화소까지 움직임 벡터를 추정하는 제 1단계의 움직임 추정과정과, 제 1단계의 움직임 추정과정을 통해 얻어진 움직임 벡터를 기준으로 하여 이전 프레임과 다음 필드를 이용하여 0.25화소까지 최종의 움직임 벡터를 추정하는 제 2단계의 움직임 추정과정을 포함한다.

그리고, 상기 부작용 검사과정은 움직임 벡터의 시간적 일관성에 대한 검토과정과, 움직임 벡터가 임계속도에 대응하는 지에 대한 검토과정과, 구해진 움직임 벡터를 현재 필드에 적용하여 이전 프레임과 매칭시켜 신뢰성여부를 판단하는 백워드 매칭(backward matching) 과정을 포함한다.

그리고, 상기한 과정들에 있어서, 제 1단계의 움직임 벡터 추정과정에서 기본 블록 단위의 검색범위에서 찾은 제 1의 움직임 벡터와, 상기한 검색범위보다 좁은 범위를 검색범위로 하는 제 2의 움직임 벡터와, 정지상태(still)를 나타내는 각각의 벡터에 대해 제 2단계 움직임 추정을 하여 세개의 벡터를 구하고, 제 3의 움직임 벡터를 추정하도록 하는 단계를 더 포함하고,

상기 디인터레이싱과정에서는 추정된 각각의 움직임 벡터에 대하여 디인터레이싱 과정을 통해 보간을 실행하는 단계를 더 포함하고,

상기 부작용 검사과정에서는 각 움직임 벡터에 의해 보간된 프레임에 대하여 상기한 부작용 검사을 실행하여 각각의 부작용 검사값을 구하는 단계와, 각각의 부작용 검사값에 따라서 최종의 부작용 검사값의 출력 및 적용할 보간 프레임을 결정하는 단계를 더 포함하는 것을 특징으로 한다.

이와 같은 실행과정을 갖는 본 발명 격행주사 영상의 디인터레이스 방법의 실행과정을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.

도 2에 도시된 바와 같이, 움직임 벡터를 추정하기 위하여 입력 데이터는 이전 프레임[past frame ; F(t-1)], 현재 보간하고자 하는 필드[current field ; f(t)], 다음 필드[future field ; f(t+1)]의 세가지이다.

이때, 이전 프레임은 디인터레이싱된 결과를 저장한 것이다.

여기서, 다음 필드를 이용한다는 것은 이와 같은 알고리듬이 한 필드시간 만큼의 잠복된 지연(latency delay)을 야기시킨다는 의미이다.

이와 같은 입력 데이터를 이용하여 MCI부(100)에서는 움직임 벡터를 추정하고, 추정된 움직임 벡터가 지시하는 위치의 화소들을 이전 프레임 F(t-1)으로 부터 가져와 보간하여 디인터레이싱된 프레임 F(t)을 출력하게 된다.

또한, 이와 같이 보간된 프레임 F(t)을 부작용 검사부(200)에서는 올바르게 디인터레이싱이 되었는 가를 검사하여 이의 결과값으로 매 블록 단위로 flag_MCI를 출력하게 된다.

이와 같이 출력되는 flag_MCI는 외부에서 MCI에 의해 디인터레이싱이 올바르게 이루어졌는 가를 판단하는 플레그로서, 1로 셋팅되면 프레임 F(t)의 보간된 블록을 적용하고, 0으로 셋팅되면 프레임 F(t)의 보간된 블록를 이용하지 않고, 다른 방법에 의해 디인터레이싱된 결과를 사용하도록 하는 것이다.

먼저, MCI를 실행하기 위해서는 움직임 벡터를 추정해야 하는 바,

도 3을 참조하여 일반적인 움직임 벡터를 추정하는 방법부터 설명하면 다음과 같다.

현재 프레임(current frame)과 이전의 프레임(previous frame)이 주어져 있을 때에 현재 프레임을 일정한 크기의 기본 블록으로 나누고, 각각의 블록이 이전 프레임의 어느 부분에 해당하는 가를 결정하는 것이다.

블록의 크기(Nh*Nv)는 제한이 없으나, MPEG(Motion Picture Expert Group)의 경우 16*16을 사용하고 있다.

검색범위(search range)는 -Mv∼+Mv인데, 이전 프레임에 표현된 큰 정사각형으로 표시되어 있다.

그리고, 검색영역(search area)는 그림에 표시된 전체 화소 집합이다. 최적의 움직임 벡터를 결정하기 위한 비용함수(cost function)는 대개 두 블록간의 화소값들의 차이의 절대값의 평균을 사용한다.

이와 같은 값을 MAD(Mean Absolute Difference)라고 한다.

이런 블록 단위의 움직임 벡터들은 대개 정수 화소 정밀도로 구해지지만, 때로는 0.5화소 단위의 정밀도로 구해지기도 한다.

도 4는 이전 프레임과 현재 프레임에 있어서, 수직라인의 화소들만을 잘라내어 표시한 것으로, 정수 화소 정밀도로 구해진 움직임 벡터에 의한 현재 프레임의 블록과 이전 프레임의 블록 간의 상호관계를 보여주는 것이다.

그러나, 디인터레이싱을 위한 움직임 벡터의 계산은 이와 같은 방식으로 하면 문제가 발생하는 게 되는 데, 이는 디인터레이싱된 이전의 프레임은 완전하지 못하다는데 있다.

디인터레이싱된 화소들은 참값에 비해 오류를 크게 포함할 수 있기 때문이다.

또한, 현재에 가지고 있는 영상 데이터는 프레임이 아니고 필드라는 사실이다.

그러므로, 디인터레이싱을 위한 움직임 벡터의 추정은 도 3에서와 같은 일반적인 움직임 추정 방법을 적용할 수 없는 것이다.

이러한 문제를 해결하기 위하여 종래 기술에서는 다양한 방법들이 제안되었는 바, 그중의 한 예는 이전의 필드 f(t-1)와 현재의 필드 f(t)만을 가지고 움직임 벡터를 구하는 것이다.

그러나, 이와 같은 방법의 문제점은 두 필드가 서로 어긋나 있기 때문에 정지 영상이 입력 데이터로 들어올지라도 MAD값이 작게 나오지 않는다는데 있다.

이와 같이 되면 움직임 벡터 추정기가 정지 영상을 정확하게 인식하기가 어려워진다.

즉, 이전 필드 f(t-1)의 화소들에서 f(t)의 화소들을 빼려고 할 때, 서로 대응하는 위치에 상대방의 화소가 일단 존재하지 않는다.

그러므로, 존재하지 않는 화소들은 인접한 위와 아래의 화소들로 부터 쌍선형차 보간(bilinear interpolation ; 대체로 위 화소와 아래 화소의 평균이 된다.)을 하여 구하게 된다.

이렇게 보간으로 구한 화소와 상대 필드의 대응하는 위치의 화소는 결코 같은 값일 수가 없게 되므로, 실제로는 정지영상이 들어온다 하더라도 정지영상에 해당하는 움직임 벡터인 (0,0)을 내보내 주지 않는 것이다.

두번째 예는 정지영상의 문제를 해결하기 위하여 이전 필드 f(t-1)와 다음 필드 f(t+1)을 비교하는 것이다.

이렇게 하면 정지영상의 경우에는 f(t-1)과 f(t+1)이 서로 정확히 일치하므로 MAD값이 어느 블록에서나 거의 0에 가까운 값이 나온다.

그러므로 정지영상을 분명히 인식할 수 있게 된다.

그러나, 이러한 방법도 문제점을 내포하고 있는 바, 만약 어떤 물체가 30㎐로 깜박이고 있고(회전하는 바퀴에 붙어있는 무늬와 같은 경우), 그 물체가 이전 필드와 다음필드에서는 사라져 있고 현재 필드에서는 나타나는 경우가 그 예이다.

즉, f(t-1)과 f(t+1)에는 사라져 있고, f(t)에는 나타날 경우를 의미하는 것으로, 이때에는 f(t-1)과 f(t+1)로 부터 구한 MAD 값은 거의 0에 가까울 것이다.

하지만 실제로 현재의 필드 f(t)의 화면모습은 f(t-1)이나 f(t+1)과는 전혀 다르다.

그러므로, f(t-1)과 f(t)를 결합하여 만든 프레임 F(t)는 이질적인 라인들이 섞인 모습(수평라인들이 그어져 있는 모습)으로 나타날 것이다.

이와 같은 두가지 문제를 동시에 해결하기 위하여 본 발명에서는 움직임 벡터의 추정 과정을 두단계로 구성하였다.

첫째는 이전 프레임 F(t-1), 현재 필드 f(t) 그리고 다음 필드 f(t+1)를 이용하여 0.5 화소까지 움직임 벡터를 추정(Half-pel motion estimation)하는 단계와, 두번째는 이전 프레임 F(t-1)과 다음 필드 f(t+1)를 이용하여 0.25화소까지 벡터를 추정(Quarter-pel motion estimation)하는 단계이다.

이때, 기본 블록의 크기는 프레임상에서 4*4이다.

그러나, 0.5화소까지 움직임 벡터를 추정하는 첫번째 단계에서는 기본 블록의 가장자리에 보호대(guard region)의 개념에 기초한 화소들을 포함시켜서 8*8 블록을 사용하여 MAD 값을 구한다.

즉, 기본 블록의 외곽의 두화소씩을 포함시키게 되므로 결국 8*8 블록이 되는 것이다.

그러나, 검색범위의 기본 블록은 여전히 4*4이므로, 결국 수직 및 수평 방향으로 두화소씩은 겹치면서 블록들이 이동하면서 움직임 벡터를 추정하게 된다.

이와 같이 보호대를 두는 이유는 특정 블록의 가장자리 화소가 그 블록의 움직임과는 방향이 다른 움직임을 갖고 있을 때, 이런 블록들은 디인터레이싱된 결과가 시각적으로 문제가 있을 수 있기 때문이다.

즉, 해당 블록을 포함하는 약간 더 넓은 영역이 일관된 움직움을 보여주고 있을 때에만 움직임 벡터를 기반으로 하는 디인터레이싱이 안전한 결과를 낼 수 있게 되는 것이다.

그러나, 상기한 바와 같이 보호대를 두었음에도 불구하고 MAD 값이 작게 나온다면 이 영역은 자기 자신을 포함한 더 넓은 영역이 일관된 움직임을 보여주는, 안심해도 되는 영역임을 알 수 있다.

만약 보호대로 인해 MAD 값이 크게 나왔다면 이후 단계에서의 부작용 검사단계(MCI side-effect check)에서 해당화소에 대하여 flag_MCI를 0으로 셋팅하여 그 사실을 외부에 알려주게 될 것이다.

그러면, 외부에서 MCI에 기초한 디인터레이싱을 포기하고 다른 방법을 사용하여 디인터레이싱을 하게 된다.

도 5a는 제 1 움직임 추정부(110)에서 이루어지는 움직임 벡터 추정의 첫번째 단계를 보여주고 있는 것으로, 보호대는 편의상 표시하지 않았다.

실선으로 표시된 정지영상에 해당하는 움직임 벡터와 점선으로 표시된 위로 올라가는 영상에 해당하는 움직임 벡터를 함께 표시하였다.

현재 필드 f(t)와 다음 필드 f(t+1) 각각의 입장에서는 기본 블록 4*2 인 것처럼 느껴지나, 프레임의 입장에서 보면 기본 블록은 4*4 이다.

이때, 이전 프레임 F(t-1)과 다음 필드 f(t+1) 사이의 움직임 벡터를 구하기 위해서는 벡터가 f(t)상의 해당블록을 통과하도록 다음 필드 f(t+1)상의 블록의 위치를 잘 조정해야 한다.

즉, 움직임 벡터를 화살표로 그렸을 때 그 화살표가 항상 현재 필드 f(t)상의 블록의 영역 내부를 통과해야 한다.

그래야만 움직임 벡터의 정확도가 높아질 수 있다.

이와 같이 하므로써, 도 5a에 도시된 바와 같이, 화소간의 중간에 위치한 0.5화소까지 움직임 벡터를 추정하게 되는 것이다.

이후, 제 2움직임 추정부(120)에서는 상기한 제 1움직임 추정부(110)를 통해 추정된 움직임 벡터를 기준으로 하여 최종의 움직임 벡터를 추정하게 되는 바,

도 5b는 이를 나타낸 것이다.

이때에는 보호대의 개념의 화소는 더 이상 사용하지 않게 되는 데, 이는 첫번째 단계에서 이미 위험한 단위의 움직임 벡터를 다 제거하였기 때문이다.

이와 같은 두번째 움직임 추정 단계에서는 첫번재 단계에서 구한 0.5화소단위의 움직임 벡터를 중심으로 하여 중심벡터와 0.25 화소 단위의 주위의 8개의 벡터들에 대해서 MAD를 모두 구하여 그것들 중의 최소값에 대응하는 벡터를 최종적인 움직임 벡터로 결정하게 된다.

이와 같은 움직임 벡터는 이전 프레임 F(t-1)과 다음 필드 f(t+1)만을 이용하여 구하기 때문에 해당 블록에 대응하는 화면이 정지해 있거나 또는 매우 천천히 움직이는 경우에 구해진 움직임 벡터는 그 사실을 정확히 반영하게 된다.

도면 도 5b에서는 첫번째 단계에서 구한 움직임 벡터를 점선으로 표시하였으며, 실선은 그 벡터를 중심으로 주변을 다시 찻아본 결과이다.

실제 도면을 살펴보면, 화소 중간의 0.5 화소까지의 움직임 벡터를 구한 것으로 보이나, 이것은 이전 프레임 F(t-1)과 다음 필드 f(t+1) 간의 움직임이다.

이것을 이전프레임 F(t-1)과 현재 필드 f(t) 사이의 관계로 환원시켜 말한다면 0.25 화소 단위로 움직임 벡터를 찾은 것이 된다.

상기한 과정을 통해 움직임 벡터를 찾고 나면, 이후 보간부(Pixel interpolation)(130)에서 해당 블록을 디인터레이싱하게 되는 바,

이때, 현재 필드 f(t)의 비어있는 화소들은 움직임 벡터가 지시하는 곳의 이전 프레임 F(t-1)의 화소들을 가져와서 f(t)의 빈화소들을 채운다.

0.25 화소단위로 찾은 움직임 벡터는 대개 정수값이 아니므로 쌍선형 보간(bilinear interpolation)에 의해 주위의 4개의 화소들로 부터 해당화소를 가중치 평균(weighted average) 방식으로 만들어 낸다.

이와 같이 디인터레이싱이 끝나면 현재 필드 f(t)상에서 4*2 이던 블록이 현재 프레임 F(t)상에서 4*4로 바뀐다.

이후, 이와 같이 디인터레이싱된 결과는 부작용 검사부(200)로 입력되어 부작용 검사과정을 실행하게 된다.

부작용 검사과정은 앞서도 설명한 바와 같이, 전단의 디인터레이싱이 제대로 되었는지를 기본 블록 단위로 검사하고, 그 결과를 flag_MCI에 실어주게 되고, 다음 단계에서 flag_MCI를 읽어, flag_MCI가 1이면 디인터레이싱된 결과를 적용하고, 반대로 flag_MCI가 0이면 다른방법으로 디인터레이싱된 결과를 사용하게 된다.

이와 같은 부작용 검사과정은 다양한 방법에 의해 이루어질 수 있는 바,

본 발명에서는 첫째로 움직임 벡터의 시간적 일관성(temporal consistency)에 관한 검토, 둘째로 움직임 벡터가 임계속도(critical velocity)인지에 대한 검토, 그리고, 세번째로 백워드 매칭(backward matching)의 정확성에 대한 검토를 적용한다.

첫번째와 두번째는 서로간에 독립적인 기준들이며, 세번째는 앞의 두가지에 의존적인 측면이 있으나 디인터레이싱이 잘 되었는지의 여부를 판단한느 효용의 측면에서는 독립적으로 취급하는 것이 좋을 정도로 독자적인 효과가 크다.

먼저, 움직임 벡터의 일관성에 대하여 검토는,

움직임 벡터의 시간적 일관성은 우선 구해진 벡터가 이전 시점에 구해진 벡터와 크게 다르지 않아야 하는 것을 요구한다.

우선, 벡터의 수평 성분에 대해 이전 시점에 구해진 벡터와 크게 다르지 않아야 하는 것을 요구하게 된다.

벡터의 수평 성분에 대해 이전 시점의 값에서 현재 값을 빼고 절대값을 취한 것이 어떤 기준값(threshold) 보다 작으면 일단 합격이라 생각하고, flag_h=1를 셋팅한다.(기준값보다 크면 flag_h=0 으로 셋팅한다.)

마찬가지로 수직 성분에 대해서도 이와 같은 과정을 거쳐 기준값보다 작으면 flag_v=1로 셋팅한다.

또한, 움직임 벡터가 바르게 구해졌다면 움직임 추정오차, 즉 MAD 값도 충분히 작기를 요구한다.

그런데, MAD 값은 제 1단계의 움직임 추정과정에서 구해진 값과 제 2단계의 움직임 추정과정에서 구해진 값이 있다.

즉, F(t-1),f(t),f(t+1)을 이용하여 0.5 화소단위의 움직임 벡터를 구하는 첫번째 단계와, F(t-1),f(t+1)을 이용하여 0.25 화소단위의 움직임 벡터를 구하는 두번째 단계가 있다.

이 각각에 대해 MAD1과 MAD2가 구해졌다면, 요구되는 조건은, MAD1과 MAD2가 둘다 충분히 작고, 또한 그 둘이 서로 크게 다르지 않아야 한다는 것이다.

여기서, 둘다 충분히 작아야 한다는 것은 움직임 신뢰성을 위해 당연한 조건이다.

그런데, 이 둘이 서로 크게 다르지 않아야 한다는 것은 다음과 같은 근거에서 성립한다.

앞에서 설명한 바와 같이, 도 5a에서와 같은 첫번째 움직임 추정단계를 두는 것은 30㎐로 움직이는 물체를 정지한 것으로 착각하는 것을 방지하기 위한 것이다.

그런데, 이와 같은 물체가 현재 필드의 해당 블록에 놓여지면 MAD1은 매우 큰 값이 나오고, MAD2는 상대적으로 작은 값이 나온다.

그러므로, MAD1 값 자체만 어떤 값 이하가 되도록 해도 30㎐ 물체가 있는 경우를 피할 수 있다. 그러나, 영상의 특성에 따라서는 MAD 값들이 기본적으로 크게 나오는 경우들이 있다.

특히, 복잡하고 미세한 화면은 기본적으로 MAD 값들이 크게 나오므로, MAD1과 MAD2의 차이값을 보고 30㎐ 물체가 존재하는 지를 결정하는 것이 더 합리적이다.

그러므로 본 발명에서는 MAD1과 MAD2의 차이의 절대값, 그리고 MAD2 값, 이 두가지를 각각의 특정 기준값(threshold)과 비교하여 움직임 벡터의 시간적 일관성을 판단하게 된다.

이를 다음의 수학식1 및 수학식 2와 같이 나타낼 수 있다.

｜MAD1-MAD2｜＜mad＿diff＿th＿curve(activity)

MAD2＜mad＿th＿curve(activity)

여기서, mad_th_diff_curve( )는 MAD1과 MAD2의 차이의 절대값의 기준값(threshold)을 출력시키는 함수이고, 이 함수가 변수로 갖는 activity는 해당 블록의 복잡도를 정량화시킨 값이다.

이와 같은 acitivity의 값은 다양한 방법으로 구해질 수 있으나 디인터레이싱 결과가 제일 좋아지도록, 실험에 의해 그 방법이 결정되어야 한다.

또한, mad_th_curve( )는 MAD2 값의 기준값(threshold)를 출력시키는 함수이며, 상기한 함수와 마찬가지로 activity를 변수로 갖는다.

이와 같은 함수 mad_th_diff_curve( )와 mad_th_curve( ) 들은 실험에 의해 그 모양이 결정되며, 구현되는 디인터레이스용 VLSI 칩내에 롬(ROM)으로 저장될 수 있다.

이후, 해당 블록이 상기한 수학식 1과 수학식 2를 만족하면 flag_d를 1로 두고, 그렇지 않으면 flag_d를 0으로 둔다.

그리고, 앞서 구한 flag_h=1와 flag_v=1이고, flag_d=1인 경우에만 consistency[t]를 1로 둔다.

이때, 이전 시점의 이 값 즉, consistency[t-1]은 메모리에 저장되어 있어야 한다.

consistency[t]=1이고, consistency[t-1]=1 인 경우에만, flag_m=1이라 두고, 그 이외에는 flag_m이 0이 된다.

어떤 블록에 대해 flag_m이 1이라는 것은 해당 블록의 움직임 벡터의 시간적 일관성이 거의 완전히 보장된다는 의미이다.

둘째로 움직임 벡터의 임계속도 여부에 대해 검토는,

임계속도는 앞서 설명드린 바와 같이, 도 1의 velocity 3에 해당하는 경우인 바, 이러한 경우는 구해진 벡터를 그대로 사용할 경우 이전 프레임의 디인터레이싱된 화소를 사용하게 되며, 혹시 이런 속도가 일정 기간 계속 유지될 경우라면 그 화소는 계속적으로 사용된다.

즉, 특정시점의 화소가 이후 여러 시점에 걸쳐서 커다란 영향을 미치게 되는 것이다.

따라서, 만약 처음 디인터레이싱된 화소가 부정확하다면 그 문제는 이후 여러 필드에 걸쳐서 영향을 미치게 되는 것이다.

그러므로 임계속도의 경우에는 이전 프레임에서 화소를 가져오는 것을 막음으로써 오류의 전파(error propagation)를 막아야 한다.

이를 위해서 움직임 벡터의 수직 성분을 조사하여서 그것이 ±1, ±3, ±5 등의 값, 혹은 그 근처의 값인지의 여부를 검사해 보아야 한다.

그래서 움직임 벡터가 임계속도의 범위에 들어가지 않으면 flag_c=1, 임계속도의 범위에 들어가면 flag_c=0으로 셋팅한다.

셋째로 백워드 매칭(backward matching)의 관점에서의 검토는,

백워드 매칭의 개념은 현재의 블록을 구해진 움직임 벡터를 이용하여 이전 프레임 F(t-1)으로 투영시켰을 때에 그곳에 투영되는 블록과 비슷한 영상이 있어야 한다는 것이다.

앞의 두가지 검토에 따른 기준을 통과했음에도 불구하고, 즉 flag_m=1 이고 flag_c=1 인 경우), 백워드 매칭을 해보니까 영상이 서로 일치 않는 것으로 판명된다면, 이 블록의 움직임 벡터는 더 이상 신뢰할 수 없다고 생각해야 한다.

또한, 두 블록을 매칭 시킬 때에 어떠한 수식적 기준을 가지고 판단할 것인지가 문제가 된다.

이때, 중요한 것은 해당 블록내에서 전반적으로는 일치가 된다 하더라도 어떤 특정한 한개의 화소라도 서로 일치하지 않으면 실제로 디인터레이싱된 영상에서 그 화소가 두드러지게 눈을 거슬리게 되는 수가 있다.

그러므로 두 블록의 일치도를 평가할 때 각 각의 대응하는 화소들을 서로 뺀다음 그 차이값들의 절대값들 가운데서 가장 큰 값을 기준으로 삼는 것이 안전하다.

그러므로 현재 블록의 화소들을 p1[x,y,t], 그리고 이전 프레임에서 움직임 벡터를 고려하여 가져온 블록의 화소들을 p2[x,y,t-1]라고 둔다면, 백워드 매칭 에러 E는 다음의 수학식 3과 같이 나타낼 수 있다.

E= MAX｜p1[x,y,t]-p2[x,y,t-1]｜

여기서 x,y ∈B, B는 기본 블록을 나타낸다.

이때, 요구해야 할 조건은 다음의 수학식 4와 같이 나타낼 수 있다.

E ＜ backward＿match＿err＿th＿curve(activity)

여기서, activity는 상기한 수학식 1 및 수학식 2에서 사용된 것과 같은, 해당 블록의 복잡도를 정량화시킨 값이고, backward_match_err_th_curve( )는 백워드 매칭 에러를 위한 기준값(threshold)을 출력해주는 함수이다.

상기 수학식 4의 조건이 만족되면 flag_b=1이고 되고, 그렇지 않으면 flag_b=0 이 된다.

이와 같이 세가지 검토과정을 거쳐 구한 값들, 즉, flag_m, flag_c, flag_b를 이용하여 flag_MCI값을 최종적으로 구하게 되는 데, 이때의 관계식은 다음의 수학식 5와 같다.

flag_MCI=flag_m ＆ flag_c ＆ flag_b

즉, 세가지 값 모두 1이 되어야만 최종적인 flag_MCI 값을 1로 셋팅하여 현재 구한 움직임 벡터에 의한 디인터레이싱 결과를 적용하도록 하는 것이다.

한편, 도 6은 본 발명의 다른 실시예를 나타낸 것으로, 검색범위(search range)을 달리하여 각각의 움직임 벡터를 구하고, 각 구한 움직임 벡터에 따른 상기한 부작용 검사과정을 각각 거쳐 부작용 검사과정을 거친 움직임 벡터중 검색범위가 작았던 것을 선택하여 이에 의한 디인터레이싱 결과를 적용할 수 있도록 하는 것이다.

도 6에 도시된 이와 같은 실시예에 의하면, 상기한 도 2의 실시예에서 움직임 벡터를 구할 때의 검색범위보다 작은 검색범위를 하나이상 더 구하고, 각각의 검색범위에 대하여 움직임 추정과정에서의 움직임 벡터를 구하도록 하는 것으로,

제 1단계의 움직임 벡터를 구하게 됨에 있어서, 이전 프레임 F(t-1)과 f(t+1)의 관계에서 수평으로 -Mh~+Mh, 수직으로 -Mv~+Mv의 화소 영역에서 움직임 벡터를 구하게 될때, 세 쌍의 Mh, Mv에 대해서 움직임 벡터를 각각 구하기 위한 것으로,

본 실시예에 있어서는 상기한 일실시예에 있어서의 검색범위를, Mh=4, Mv=2로 하는 large, Mh=2, Mv=0로 하는 small, Mh=0, Mv=0으로 하는 still에 대한 검색범위를 더 갖는 것이다.

이와 같은 검색범위로서, 움직임 추정과정을 통해 각각의 움직임 벡터를 추정하게 되므로, 각 검색범위에 대하여 세쌍의 움직임 벡터가 추정된다.

이와 같이 구한 움직임 벡터를 각각 mv_large, mv_small, mv_still 이라고 할때, 각 움직임 벡터에 따라서 각각의 보간을 실행하여 디인터레이싱된 결과를 부작용 검사부(200)으로 출력하게 되고, 부작용 검사부(200)에서는 상기한 부작용 검사과정을 거쳐 각 검색범위(large, small, still)에 따른 디인터레이싱결과를 판정하게 된다.

따라서, 상기한 도 2에 의한 실시예에서 구한 최종 MCI값 flag_MCI는 즉, 수학식 5는 다음의 수학식 6과 같이 나타낼 수 있다.

이는 한 종류이상의 움직이 벡터를 구하게 됨에 따라서 최종 flag_MCI를 구하기 위해서이다.

따라서, 상기 움직임 벡터 mv_small, mv_still에 대한 MCI값은 다음의 수학식 7 및 수학식 8과 같이 나타낼 수 있다.

이때, flag_c, flag_b 들은 각각의 경우에 맞게 서로 다르게 구한 것이다.

상기한 모든 과정을 거치게 되면, flag_inter[large], flag_inter[small], flag_inter[still]의 세개의 flag가 구해진다.

이와 같은 세개의 flag를 부작용 검사부(200)에서는 최종의 MCI결과를 얻어내게 되고, 또한 MCI부(100)로 각 flag의 값을 알려주게 된다.

이후, MCI부(100)에서는 세개의 flag를 이용하여 최종 움직임 벡터를 얻게 되고, 선택된 움직임 벡터에 의한 최종 디인터레이싱 결과를 출력하게 되는 것이다.

이와 같이 움직임 벡터를 선택하고, 최종 MCI결과를 얻는 과정을 수학식으로 나타내면 다음과 같다.

상기 수학식 9에서 보면, 각 MCI값이 1인 경우에 해당 움직임 벡터를 결정하게 되는 데, 위에서 아래로 시퀀스(sequence)를 갖고 있다.

따라서, 만약 두개이상의 움직임 벡터가 부작용 검사를 통과하면, 즉 flag_large, flag_small, flag_still 중 두개이상이 1일 경우, 그 것들중 아래에 속한 움직임 벡터를 선택하게 되는 것이다.

예를 들어 large와 small이 부작용 검사를 모두 통과했다면 small에 대한 움직임 벡터를 선택하고, 이의 결과를 최종 디인터레이싱결과로 출력하게 되는 것이다.

즉, 이는 두개이상의 움직임 벡터가 부작용 검사를 통과하게 되면, 그중에서 움직임 벡터의 검색범위(search range)가 작았던 것을 선택하는 것을 의미하는 것이다.

검색범위가 커지면 실제 움직임과 무관하면서도 현재 블록과 그 모양이 비슷한 블록이 발견될 확률이 커지기 때문에 그에 대한 방지책을 만들어 주는 것이다.

이와 같은 본 발명의 다른 실시예에서는 large, small, still에 대하여 수평과 수직에 대하여 4*2, 4*0(수평상태만), 0*0(정지상태만)인 경우의 예를 들어 설명하였지만, 실제 large의 검색범위는 시스템에 따라서 적절하게 적용가능하며, 이에 따라 large보다 작은 검색범위로 하나이상의 검색범위를 두어 small과 still에 대하여 검색범위를 설정할 수 있다.

이상에서 설명한 바와 같이, 두단계로 움직임 벡터를 추정하여 0.25화소 단위까지 움직임을 추정하고, 이의 결과를 다각적인 면에서 부작용 검사(side-effect check)를 실행하여 그 결과의 적용여부를 결정하도록 하므로써, 격행 주사 방식의 영상을 순행주사 방식의 영상으로 디인터레이싱하게 됨에 있어서, 화질저하를 최소화하면서 순행주사 방식의 영상을 얻을 수 있는 VLSI 칩으로 구현가능한 MCI알고리듬을 제공할 수 있게 된다.

또한, 하나이상의 검사범위를 설정하여 이에 대응하는 하나 이상의 움직임 벡터를 추정하도록 하므로써, 더욱 신뢰성 있는 MCI 알고리듬을 제공할 수 있게 되는 것이다.

Claims

이전 프레임과, 현재필드, 다음 필드의 화소를 기본블록으로 나누어 한번 이상의 단계를 통해 움직임 벡터를 산출하는 움직임 추정 과정과,

상기한 과정을 통해 얻어진 움직임 벡터가 지시하는 이전 프레임의 화소로 부터 현재 필드의 비어있는 화소들을 보간하는 디인터레이싱 과정과,

상기한 과정에서의 디인터레이싱이 올바르게 되었는지 대한 검사를 실행하는 부작용 검사(side-effect check) 과정과,

부작용 검사로 부터 얻어지는 검사결과값에 따라서 상기한 디인터레이싱 과정을 통한 디인터레이싱결과의 적용여부를 결정하도록 하는 과정을 포함하여 이루어짐을 특징으로 하는 움직임 보상을 기반으로 하는 격행주사 영상의 디인터레이싱 방법.
제 1항에 있어서, 상기 부작용 검사과정은 상기한 과정에서의 디인터레이싱이 올바르게 되었는지 확인하기 위하여 기본블록 단위로 움직임 벡터의 시간적 일관성에 대하여 검토하는 단계와, 움직임 벡터가 임계속도인지에 대하여 검토하는 단계와, 구해진 움직임 벡터를 현재 필드에 적용하여 이전 프레임과 매칭시켜 신뢰성여부를 판단하는 백워드 매칭(backward matching)을 검토하는 단계를 통해 그 검사결과값을 출력하는 단계들을 포함하는 것을 특징으로 하는 움직임 보상을 기반으로 하는 격행주사 영상의 디인터레이싱 방법.
제 2항에 있어서, 상기 움직임 벡터의 시간적 일관성의 검토 단계에 있어, 시간적 일관성의 검토는, 이전 시점에서 구해진 움직임 벡터와 현재의 움직임 벡터의 차연산에 대한 절대값과 일정한 함수에 의해 정해진 기준값과의 비교와, 움직임 추정단계에서 구해지는 움직임 추정오차(MAD)들의 차연산에 대한 절대값과 일정한 함수에 의해 정해진 기준값과의 비교의 앤드연산에 의해 시간적 일관성을 판단하도록 함을 특징으로 하는 움직임 보상을 기반으로 하는 격행주사 영상의 디인터레이싱 방법.
제 3항에 있어서, 이전 시점(이전 필드)에서의 시간적인 일관성의 검토결과와 현재 시점(현재 필드)에서의 시간적인 일관성의 검토결과의 앤드연산에 의해 현재 시점에서의 시간적 일관성을 판단하도록 함을 특징으로 하는 움직임 보상을 기반으로 하는 격행주사 영상의 디인터레이싱 방법.
제 2항에 있어서, 백워드 매칭은 구해진 움직임 벡터를 적용한 현재 필드의 블록과 이전 프레임간의 두블록의 절대오차(absolute difference)값중 최대값을 기준으로 하여 일정 기준값과의 비교를 통해 신뢰성여부를 판단하도록 함을 특징으로 하는 움직임 보상을 기반으로 하는 격행주사 영상의 디인터레이싱 방법.
제 1항에 있어서, 상기한 과정들에 있어서, 움직임 벡터 추정과정에서 일정한 검색범위를 이용하여 얻어진 제 1의 움직임 벡터와, 상기한 검색범위보다 좁은 영역을 검색범위로 가진 하나이상의 검색범위를 설정하여 하나이상의 움직임 벡터를 더 추정하도록 하는 과정과,

추정된 각각의 움직임 벡터에 따라 디인터레이싱을 수행하는 과정과,

각 움직임 벡터에 따라 디인터레이싱된 결과에 대해 상기 부작용 검사과정을 통해 각각의 부작용 검사결과값을 산출하는 과정과,

각각의 부작용 검사값에 따라서 최종의 부작용 검사값의 출력 및 적용할 보간 블록을 결정하는 과정을 더 포함하는 것을 특징으로 하는 움직임 보상을 기반으로 하는 격행주사 영상의 디인터레이싱 방법.
제 1항 또는 제 6항에 있어서, 상기 움직임 벡터 추정과정은 이전 프레임과 현재 필드, 그리고 다음 필드를 이용하여 0.5 화소까지 움직임 벡터를 추정하는 제 1단계의 움직임 추정과정과, 제 1단계의 움직임 추정과정을 통해 얻어진 움직임 벡터를 기준으로 하여 이전 프레임과 다음 필드를 이용하여 0.25화소까지 최종의 움직임 벡터를 추정하는 제 2단계의 움직임 추정과정을 포함하는 움직임 보상을 기반으로 하는 격행주사 영상의 디인터레이싱 방법.
제 6항에 있어서, 부작용 검사과정에 의한 결과값에 따른 최종의 부작용 검사결과값 및 움직임 벡터를 결정하도록 함에 있어서, 하나이상의 부작용 검사를 통과한 움직임 벡터중 검색범위가 제일 작았던 것을 택하도록 함을 특징으로 하는 움직임 보상을 기반으로 하는 격행주사 영상의 디인터레이싱 방법.
제 7항에 있어서, 상기 제 1단계의 움직임 추정과정은 기본 블록의 가장자리의 일정한 수의 화소들을 첨가한 보호대(guard region)를 포함시켜 움직임 추정오차(MAD)값을 구하도록 함을 특징으로 하는 움직임 보상을 기반으로 하는 격행주사 영상의 디인터레이싱 방법.