KR0141705B1 - 움직임 벡터의 계산 방법 및 장치 - Google Patents

Abstract

내용없음

Description

움직임벡터의 계산방법 및 장치

제 1 도는 텔레비젼 표준 방식변환기의 개략 블럭도,

제 2 도는 제 1 도의 텔레비젼 표준 방식변환기의 블럭도.

제 3 도는 제 2 도의 텔레비젼 표준 방식변환기의 블럭도.

제 4 도는 제 3 도의 텔레비젼 표준 방식변환기의 일부 상세 블럭도.

제 5 도는 제 4 도의 움직임을 설명하기 위한 타임차트도.

제 6 도는 제 2 도의 표준 방식 변환기의 일부 상세 블럭도.

제 7 도는 제 6 도의 움직임을 설명하기 위한 타임차트도.

제 8 도는 제 2 도의 표준 방식변환기의 일부 상세 블럭도.

제 9 도는 제 8 도의 움직임을 설명하기위한 타임차트도.

제 10 도는 제 2 도의 표준 방식 변환기의 일부분을 도시한 개략도,

제 11 도는 비서브-픽셀(no sub-pixel) 움직임 평가 효과를 도시한 개략도,

제 12 도는 서브-픽셀 움직임 계산 효과를 도시한 개략도,

제 13 도는 성능 지수(fiigure of merit)를 비교한 개략도.

제 14 도는 다른 성능지수를 비교한 개략도,

제 15 도는 제 2 도의 표준 방식 변환기의 부분을 도시한 상세 블록도.

*도면의 주요 부분에 대한 부호의 설명

38 : 벡터처리기39 : 서브 픽셀움직임 계산기

40 : 벡터저감기

본 발명은 텔레비젼 영상의 움직임 벡터(motion vector)계산 방법에 관한 것이다. 이러한 움직임 벡터 계산 방법은 특히 텔레비젼 표준 방식 변환기 및 저속 움직임 처리기에서 사용되지만 이것에 한정되지는 않는다.

국제 텔레비젼 프로그램 교환에는 나라마다 텔레비젼 표준방식이 다르며 예를 들면 영국은 초당625라인 50필드(625/50)의 PAL방식과 미국은 초당 525라인 60필드(525/60)의 NTSC 시스템을 사용하기 때문에 표준 방식 변환기가 필요하다.

따라서 옛날부터, 많은 표준 방식 변환기가 제안되어져 왔다. 가장 잘 알려진 것으로서 영국 방송회사에서 개발한 ACE(Advanced Conversion Equipmemt)가 있다. 이 ACE는 기본적으로 입력 디지탈 텔레비젼 신호를 라인마다 처리하여 필요한 보간 샘플을 추출함으로써, 출력 디지탈 텔레비젼 신호를 형성하는 것이다.

보간(interpolastion)은 입력 텔레비젼 신호의 4개의 연속된 수평 주사 라인을 사용해서 공간적으로 행해질뿐만 아니라. 입력 텔레비젼 신호의 4개의 연속필드를 사용하여 시각적으로 행해진다. 따라서, 16개의 입력 텔레비젼 신호 라인으로부터 얻어진 각각의 샘플에, 각각의 가중 계수(weighting cofficient)를 곱하여 출력 텔레비젼 신호의 각각의 라인을 도출한다.

ACE에 대해서는 영국 특허 명세서 GB-A-2 059 712 및 로얄 텔레비젼협회의 학술지 텔레비젼 1982년 1/2월호의 11페이지 내지 13페이지를 기고된 알,엔.로빈슨씨와 지.에이.쿠퍼씨의 논문 80년대의 4필드 디지탈 표준 방식 변환기에 상세히 발표되어 있다.

ACE는 성능은 좋으나 기기자체의 매우 크다는 문제점이 있다. 이 문제점을 해결하기 위해, 본원의 발명자등은 이미 한 방식의 입력 디지탈 텔레비젼 신호를 수신하고 16개의 라인의 어레이들을 도출하기 위해서 3개의 필드 저장 장치 및 4개의 4라인 저장 장치로 구성된 텔레비젼 표준 방식 변환기를 제안했다.

각 어레이는 입력 텔레비젼 신호의 연속된 4필드로부터 얻어진 4개의 연속 라인들로 구성되어 있다. 가중 계수 저장 장치에는 16개의 가중 계수 세트가 저장되어 있다. 각각의 세트는, 16개의 입력 텔레비젼 신호의 16개 라인들과 관련된, 상이한 표준방식의 출력 디지탈 텔레비젼 신호의 각 라인의 공간 및 시간적 위치에 대응한다.

두개의 보간 필터는 16개의 입력 텔레비젼 신호 라인 각각으로부터 나오는 대응 샘플치에 가중 계수 셋트 각각의 대응 가중 계수를 곱하여, 이 결과를 합산하여 보간된 샘플치를 형성함으로써 라인마다 출력 텔레비젼 신호를 도출한다.4개의 출력 필드 저장 장치에는 상기 출력 텔레비젼 신호의 라인을 수신하여 저장된다. 출력 텔레비젼 신호가 입력 텔레비젼 신호보다 더 많은 라인들을 가질때 생기는 부가적인 라인을 저장하기 위해서, 보간 필터중 하나와 출력 필드 저장 장치 사이에는 45-라인 저장 장치(45-line store)를 설치한다. 더 상세한 것은 영국 특허 명세서 GB-A-2 140 644에 기재되어 있다.

수직 시간 보간 기술을 활용한 이러한 표준 방식 변환기 성능은 움직임 묘사에서는 양호하지만 영상이 희미하고, 수직 해상도는 유지되지만, 떨림(judder) 의 발생을 초래한다. 전자는 방해 에일리어스(disturbing alias effect)를 방지하기 위해 포스트 필터링(post filltering)과정 때문에 생긴 것이며, 후자의 것은 인접한 2차원의 반복 샘플 구조(two-dismensional repeact sample stuctures)를 시행한 결과로 생겼다.

그래서 우리는 움직임 벡터 계산 방법이 텔레비젼 표준 방식 변환기 및 저속 움직임 처리기와 수행되어져야 한다는 것을 제안했었다. 기존의 대부분의 움직임 벡터 평가 방법의 문제점은 주제가 한 사람의 미리 및 어깨 또는 테이블 주위에 앉아 있는 사람들이되는 영상 회의에 편중되어 있다는 것이다. 이런 형태의 텔레비젼 영상에서는 예를 들어, 경마대회에서 카메라가 선두주자를 따라갈 수 있는 경우의 방송 텔레비젼 영상과 비교하면 비교적 간단한다. 이경우, 예를 들면 카메라가 상화좌우로 움직여야 하기 때문에 움직임이 복잡해진다. 따라서, 배경(backgraound)은 필드당 8픽셀 보다 더 빨리 움직여야 하며, 반면에 전경(foreground)에는 최소한 하나의 말이 전속력으로 달리고 있어야 한다. 이것은 움직임 벡터 계산방법에서는 이미 움직이고 있는 배경의 방향과는 다른 방향으로 움직이고 있는 말들의 다리를 추적해야만 한다는 것을 의미한다.

본 발명의 목적은 개선된 텔레비젼 영상의 움직임 벡터 계산방법을 제공하는 것이다.

본 발명의 다른 목적은 개선된 텔레비젼 영상의 움직임 벡터 계산장치를 제공하는 것이다.

본 발명의 목적은 또 개선된 텔레비젼 표준 방식 변환기를 제공하는 것이다.

본 발명의 또다른 목적은 개선된 저속 움직임 처리기를 제공하는 것이다.

본 발명에 따라 상기 영상을 표시하는 디지트화된 신호를 사용하며, 텔레비젼 영상내에서 움직임 벡터 계산을 수행하는 장치가 제공되어 있다.

블록 정합법(block maching technique)을 사용하며, 소정의 픽셀들이 수직으로 이격되고, 소정의 픽셀들이 수평으로 이격되어 있는 위치에서, 상기 영상의 움직임을 결정하여, 움직임 벡터를 도출하는 수단과,

상기 영상의 필드간의 움직임을 나타내는 픽셀들 간의 간격의 정수배와 동일하지 않는 서브 픽셀 오프셋(sub-pixel offset)을 결정함으로써, 상기 움직임 벡터를 선택하는 수단으로 구성된, 텔레비젼 영상의 움직임 벡터 계산방법이 제공된다.

본 발명의 상기 목적, 특징 및 장점등은 첨부된 도면에 예시된 실시예를 참조하여 더욱 상세히 설명될 것이다.

본 발명의 주제인 움직임 벡터 계산방법을 더 상세히 이해하기 위해서, 상기 움직임 벡터 계산을 사용하는 저속 움직임 처리기와 두개의 표준방식 변환기의 작동과 구성을 먼저 설명하겠다. 위에서 언급된 표준 방식 변환기는 필드간의 움직임을 보상하여 수직 해상도를 유지하고, 떨림을 제거한다. 효과면에서는, 연속 필드간의 움직임이 분석된다. 이들 필드는 변환이 일어날 수 있는 정지화면을 나타내도록 픽셀 형태로 배열될 수 있다. 그 결과 수직 해상도(vertical resolution)는 유지될 수 있다.

위에서 언급된 표준방식변환기는 두부분으로 나누어 질수 있다. 한 부분은 625/50 방식과 625/50 텔레비젼 표준 방식간의 변환을 하기 위해 수직 및 시간 보간을 행하는 기간의 아날로그식 표준방식 변환기이다. 이것은 수직 해상도가 유지되지만, 반면에 떨림 효과가 나타나는 출력을 발생시킨다. 이러한 떨림 효과를 제거하기 위해서, 변환처리에 사용되는 입력 디지탈 텔레비젼 신호중 4개의 필드들은, 표준 방식변환기의 두번째 부분을 형성하는 움직임 분석기로부터 발생된 움직임 벡터의 제어하에서 배열된다.

이것은 제 1 도에 있는 매우 간단한 블럭도로 도시되어 있다. 예를들면, 13.5MHz로 아나로그 텔레비젼 신호를 샘플링하여 얻어진 한 표준 방식의 입력 디지탈 텔레비젼 신호의 비디오 부분이 보간기(1)에 공급되고, 이 보간기로부터 다른 방식의 필요한 출력 텔레비젼 신호의 비디오 부분이 얻어진다.

움직임 분석기(2)는 영상 휘도(luminance video)를 수신하여 움직임 벡터를 추출하게 된다. 상기 움직임 벡터들은 보간기(1)의 움직임을 제어하기 위해서 , 입력 텔레비젼 신호의 연속된 필드들 사이간의 움직임을 나타내는 데이타를 제공한다. 보간기(1)는 예를 들면 상기한 바와 같이 주지된 표준 방식 변환기의 대응부분과 유사한 방법으로 동작한다. 그러나, 움직임 벡터의 제어하에서, 보간에 사용되는 4개의 필드를 배열하는 수단을 포함하고 있다.

4개의 필드의 재배치(repositioning)는 두 단계로 실행된다. 제 1 단계에서는 각 필드의 관련된 가변 지연 소자(variable delay elemen)의 어드레스를 변화시켜 가장 인접한 라인 이나 샘플에 화면을 배치시킨다. 제 2 단계에서는 한 라인의 ±1/16 또는 한 샘플의 ±1/16이내에서 수직 및 수직 양방향으로 재배치시키는 보간 기술을 사용하며, 이것은 서브-픽셀 움직임 평가방법을 포함하고 있다. 비록 이동이 없다 해도 상기 두가지 기법이 사용되어 라인 표준방식의 변환이 가능하게 된다.

수직 보간기는 8-탭(tap) 수직 필터를 정지 영상에 효과적으로 인가할 수 있도록 필드상 4개의 탭(tAp)을 갖는다. 이 8탭 보간기는 최소의 왜곡으로 양호한 수직 해상도가 유지되도록 한다. 수평 보간기에서는 왜곡이 별로 문제가 되지 않으므로 4텝의 수평 필터를 사용해도 좋으나 2탭의 수평 필터를 사용하고 있다.

시간 보간기는 원근변화(perspective changes)에 대한 보간을 가능하게 하는 정상적임 움직임에 사용되지만, 민감함 움직임벡터를 검출할 수 없을 때는, 보간기(1)는 영상을 재배치 할수 없는 통상의 표준 방식 변환움직임으로 복귀되어야 한다.

고 필드 속도(high field rate)에서 저 필드 속도(low field rate)로 변환될때, 수신되는 필드는 어떠한 이동의 손실없이 보간된 필드가 때때로 제거될 수 있도록 보간된다. 모든 보간은 입력필드 속도로 행해지며, 시간축 보정기(time base corrector)를 통과하며, 이 시간축 보정기는 출력 표준방식에 필요한 소정의 기간에 발생된 필드를 확산시킨다.(spreads)

상기 작동은 525/60에서 625/50으로 변환할때 필요한 것이다. 그러나 입력신호에 525라인이 있을경우에만 625라인이 발새오되어야 하는 것은 명백하다.

라인 수 변환 문제를 극복하기 위해 입력측에 제 2의 시간축 보정기가 입력측에서 사용되어 585라인을 가지는 신호를 60Hz로 도출한다. 585라인 포멧은 625라인 포멧의 모든 활성적인 화면 정보를 포함할 수 있다. 제 1의 시간축 교정기 다음에는 영상 정보를 가지지 않은 라인이 생긴다.

보간기 저장 장치는 이 기간동안 동결(freeze)되어 이 결과전의 출력라인을 도출하는데 사용된 것과 동일한 라인으로부터의 부가적인 보간 라인이 발생시킬 수 있다. 이 처리는 원래의 525라인으로부터 625라인으로 보간되게 한다.

586/60포멧을 선정한 이유를 상세히 설명 하기로 한다. 625라인의 화면은 각 필드에 288개의 활성화 라인과 13.5MHz의 샐플링 비율시에 각 수평 라인에 720개의 샘플을 가지고 있다. 제 2 도 및 제 3 도의 텔레비젼 표준 방식 변환기의 회로는 후술되는 바와같이 화면을 수평으로 ±24샘플 시프트(shift)되게 하는 기법을 사용하고 있다. 이것은 최소한 48샘플의 수평 블랭킹(Horizontal blanking)을 요구하게 된다.. 따라서, 필드에 필요한 샘플위치의 전체 수는 다음과 같다.

(720+48)x288=221184

시스템을 통해서 13.5MHz클럭을 사용하면 상당한 장점이 있는데 이경우에 60Hz기간(정확하게 59.94Hz기간)내의 클럭 싸이클의 수가 225225가 된다.

한 프레임에 576라인의 데이터가 필요한 경우, 수평 샘플수는 782.03125이다이 수는 필요한 (720+48)샘플을 충분히 포함하지만, 약간의 샘플은 그 구조가 라인 강의 축에 대해 비직교(non-or thogonol) 한다는 것을 의미한다. 이것은 표준 방식 변환기의 설계상 상당히 어렵게 하며 따라서 필요한 라인수는, 각 라인에 존재하는 샘플의 전체수가 실제로는 576라인으로부터 770이 될 때까지 점차로 증가된다.

직각 구조를 이루는 포멧은 586/60포맷뿐이며, 이 포맷은 또한 제 1 필드에서는 4라인, 제 2 필드에서는 5라인의 수직의 블랭킹과 수평블랭킹의 50개 샘플들을 제공한다.

후술되는 625/50으로부터 625/50까지의 저속 움직임 모드에서는, 60Hz주기내의 625포맷을 활성영상(active video)을 저장해야되는 조건이 없다. 그래서 보간 및 다른 처리는 통상의 625/50포맷으로 실행된다.

저 필드에서 고 필드로 변환될때 출력 속도로 영상신호를 도출하기 위해서는 입력시 시간축 보정기가 요구된다. 이것은 입력 필드를 때때로 반복함으로써 행해진다. 반복 필드가 생길때, 선행 출력 필드를 도출하는데 사용된 동일한 입력 필드를 보간이 적용되도록 모든 보간기 저장장치는 동결되어야만 한다.

이 기법이 사용되지 않으면, 부족한 필드를 보충 하기 위해 두 세트의 보간기 및 이동 검출기가 필요하게 된다.

상기 작동은 625/50으로부터 525/60으로 변환 할때 실시된다.초당 60필드 주기동안 625라인이 존재할 수 있도록 585/60의 중간 포맷이 적용될 필요가 있다. 이처리중에는 625라인으로부터 단지 525라인만 도출되어야 하므로 어떠한 보간 라인도 필요하지 않게 된다. 따라서, 최후의 525/60포맷이 도출 되도록 시간축 교정기가 필요하게 된다.

입력 및 출력 동기 펄스 위상을 비교하면 필요한 보간량이 결정된다. 상기 한 바와 같이, 움직임 분석은 입력 비디오의 휘도에서 실행된다. 사용된 방법은 각 픽셀에 대해 단일한 움직임 벡터에 이르도록 여러 단계를 포함한다. 수평 ±24픽셀 및 수직 ±8(필드율)의 범위내에서 이동이 검출될수 있다.

제 1 단계에서, 수평방향의 16샘플 및 수직방향의 8라인 들의 위치에 있는 화면 움직임은 블록 정합법을 사용하여 결정된다. 필드의 원래의 움직임 벡터는 매 16번째 샘플 및 매 8라인마다 산정된다. 이들 점의 각각은 검색 블록의 중심에 있다. 개념적으로 각 블럭은 검색 블럭의 영역에서 두 필드간의 차이를 합산할 때마다, 각각의 블록은 다음 필드에 걸쳐서 수평 ±24 샘플 및 수직으로 +8및 -8샘플씩 주사된다. 최소의 전체 차이는 그점 에서의 피사체가 이동하는 방향을 나타낸다.

실제적으로 상기 기술은 필요한 하드웨어의 양 및 복잡성을 현저히 감소시키는 개별 단계에 적용된다.

단계 1 :

중심 위치, 좌측으로 16샘플, 우측으로 16샘플만큼의 우측위치의 정확한 3위치에 있어서 최소 차를 시험한다.

단계 2 ; 상기 표시된 점으로부터 출발

8개의 샘플들 또는 8개의 라인들을 최소 한 단계로 정한 후에, 상기 출발점에 대하여 대칭 분표된 9개의 위치내에 있는 최소 차이를 실험한다.

단계 3 ; 상기 표시된 점으로부터 출발

4개의 샘플들 또한 4개의 라인들을 한 단계로 정한 후에, 상기 출발점에 대하여 대칭 분포된 9개의 위치에서 최소차를 시험한다.

단계 4 ; 상기 표시된 점으로부터 출발

2개의 샘플들 또는 2개의 라인들을 한 단계로 정한 후에, 상기 출발점에 대하여 대칭분포된 9개의 위치에서 최소 차를 시험한다.

단계 5 ; 상기 표시된 점으로부터 출발

1개의 샘플 또는 1개의 라인을 한 단계로 정한 후에, 상기 출발점에 대하여 대칭 분포된 아홉 위치내에 있는 최소 차를 시험한다.

단계 6

단계 5후 대상물의 움직임은 가장 가까운 픽셀에 대해서 검출된다. 단계5에 의해 표시되는 최종위치에서 도출된 차이를 수직벡터치가 조정되도록 좌우의 두 차이와 비교하고 또한, 수평벡터치가 조정되도록 좌우의 두 차이와 비교하는 여섯번째 단계를 수행함으로써, 더욱 정확한 벡터치를 얻을수 있다.

상술한 기법은 다음 필드(검색위치)상의 비디오 데이타의 유사 블럭과 기준 검색 블럭단의 상관도(correlation)에 따라 좌우된다. 단계 5에서 진짜 이동(true movement)은 검출된 것보다 다소 차이는 있어도 반픽셀(half pixel)은 가능하며, 비록 정확한 상관도가 얻어질 수 없더라도, 이 점에서 최상의 상관도가 생길 필요가 있다, 이를위해, 영상은 1/2나이퀴스트(Nyquiest) 주파수에서 +6dB 감쇄(attenuation)를 갖는 가우스 필터(gaussian filter)에 의해 수평 및 수직 양방향으로 필터가 될수 있다.

이와 같이, 단계 4 에 있어서, 1/4 나이퀴스트 주파수에서 6dB 감쇄를 갖는 가우스 필터에 의해 영상이 필터될 수 있으며, 이것은 검출시에 하나의 픽셀 에러를 허용한다.

단계 3은 1/8 나이퀴스트 주파수에서 6dB 감쇄를 갖는 가우스 필터된,2픽셀 오차를 허용하는 영상을 사용한다.

단계 2는 1/16 나이퀴스트 자파수에서 6dB 감돼를 갖는 가우스 필터된, 4픽셀 오차를 허용하는 영상을 사용한다.

마지막으로, 단계 1은 1/32나이퀴스트 주파수에서 6dB감쇄를 갖는 가우스 필터된 8픽셀 오차를 허용하는 영상을 사용한다.또한 영상은 단계 1,2,3,4동안 심하게 필터되었기 때문에(heavily filterred), 샘플수를 , 예를 들면, 반으로 감소될수 있으며, 더우기, 소정의 하드웨어의 수와 계산 하는 수가 계산 단계가 현저히 저감된다.

유효한 검색블록 크기(effective search block size)는높이가 16라인이고, 길이는 48샘플이다. 넓은 영역의 이동을 정확히 검출하는데는 큰 검색 블럭이 필요하다. 선명한 영역(plain area)의 중앙부는 중요하지 않다. 그 이유는, 이들 점에서의 픽셀들의 값은 한 필드에서 다음 필드로 변동되지 않기 때문이다. 그러나 이러한 대상물의 가장자리는 진짜 중요하다. 움직임 벡터무직임의 검출이 수평 ± 샘플과 수직 ±8 라인으로 제한된다면, 상기 크기의 블록은 정확한 움직임 검출을 보장하기 위해서, 최소의 크기가 된다.

표준 방식 변환기에서는 변환 모드에 따라 움직임 분석기(2)에 들어가는 회도 영상은 초당 585라인/60필드가 된 여러가지 형태들이다. 이것은 625입력에 대한 반복 필드 또는 525입력에 대한 반복 라인을 포함할수 있다. 또한, 입력은 양 필드 극성을 포함하고 있다.

제 1의 처리(first process)는 움직임계산처리에 대한 단일 필드 극성 및 데이타의 연속성(continuity)을 보장해준다. 이것은 연속성을 유지하기 위해 벡터 인터페이스에 의해서 수행되는 입력 데이타의 보간과, 그다음의 움직임 검출/상관을 지원하기 위한 수평 필터 과정을 통해 이루어진다.

이 회로에서 나온 개별 출력은 움직임 계산 벡터 및 움직임 검출 필드 저장 장치/벡터 선택기로 통과된다.

상술된 바와 같이 벡터 인터페이스의 출력은 공간적으로 연속성인 단일 필드 극성 데이타이다. 필드 저장 장치/벡터 선택기에 대한 출력은 입출력 모드에 따라 달라진다. 어떤 모드에서는 연속성이고 다른 모드에서는 반복 라인/필드를 포함한다. 벡터 필터 및 벡터 계산기는 상기된 단계를 실행한다.

벡터 계산기 및 벡터 처리기에 의해서 다양한 단계의 처리가 실행된다. 벡터 계산기는 단계 1 내지 단계 5 를 실행하고, 벡터 처리기는 단계 6을 실행한다. 또한, 벡터 처리기는 움직임 평가시에 두번째 단계를 다음과 같이 실행한다.

각 8x16 블럭에 대해 7움직임 벡터로부터 4개를 선택하며, 7개의 움직임벡터는 특정 블럭에 대해서는 1 개이고 6개의 가장 인접한 블럭에 대해서는 각각 6개가 된다.

또한, 벡터 처리기는 전체 입력 필드를 통해서 4개의 가장 공통적인 움직임 벡터를 결정하며, 이들을 모들(modal)움직임 벡터라 부른다. 모들 움직임 벡터는 어떤 국부(local) 움직임 벡터를 산정하는 것이 사실상 불가능한 경우에 필드의 가장자리에 근접한(border area) 경계지역에서 우선적으로 사용된다. 또한, 한개 이상의 국부 움직임 벡터가 동일할 경우 이들은 모든 움직임 벡터로 대체된다.

움직임 검출의 다음 단계에서, 각 픽셀에 대해, 필드 0에서 필드 1상에 있는 외삽된(Extrapolated) 위치간의 차이를 도출함으로써, 4개의 움직임으로 벡터들이 시험된다. 표준 방식 변환동안 두 필드 사이에서, 즉 필드 0과 0사이에서, 보간될 하나의 필드가 필요하다. 따라서 이들 두 필드 사이에서 발생된 움직임 벡터는 움직임의 가장 대표적인 것으로 간주된다. 이들 두 필드 사이로부터 나온 4개의 움직임 벡터가 사용된다. 어느 것이 정확한 움직임 벡터인가를 결정하기 위해서, 필드 0에서 나온 픽셀이 움직임 벡터를 이용함으로써, 필드 1에서 나온 픽셀과 비교된다. 그리하여 발생된 픽셀이 필드 0의 어느곳에서 왔으며, 필드 1에 의해서 어느곳으로 진행되었는지를 결정한다. 수학적으로 만약 위치 X,Y,Z 가 구해져야 한다면, (X는 수평위치, Y는 수직 위치 Z는 필드 0 및 필드 1 간의 잠정 위치) 비교에 사용된 픽셀은 다음과 같다. 필드 0 은 Z=0 일때이고 필드 1은 Z=1에 위치해 있는 것으로 가정하자.

필드 0 에서 나온 픽셀

x⁰=x-(V_h*Z)

y⁰=y-(Vv*z)

필드 1로부터의 픽셀

x¹=x+(1-z)V_h

y¹=y+(1-z)Vv

V_h=벡터의 수평성분

V_v=벡터의 수직성분

각 움직임벡터에 대해서는; 필드 0 및 필드 1에서 표시된 픽셀들간의 모듈의차이의 계수(modulus)가 얻어진다. 정확한 움직인 벡터를 표시하는 최소의 차이는 제 1 의 평가로 가정된다. 만약 많은 움직임 벡터가 매우 유사한 차이를 발생 한다면, 이들 움직임 벡터는 필드 -1 및 0 사이의 비교를 이용하여 다시 시험된다.

필드 -1로부터의 픽셀

x^-1=x-(1+z)V_H

y^-1=y-(1+z)V_v

이 제2의 시험에 의해 도출된 나머지 움직임 벡터의 차이에 최소 계수는 가장 정확한 음직임 벡터를 표시하는 것으로 여겨지고 있다.

만약 많은 움직임 벡터가 유사한 차이를 가진다면, 이동이 없다는 가정이 존재한다. 수평 성분만이 변하고 수직 성분은 변하지 않는다면, 수평 성분만이 0으로 설정되고 수직 성분은 검출치에서 유지된다. 수직 성분만이 변할 경우 수평성분은 유지되고, 수직 성분만이 0으로 설정된다. 선택된 픽셀의 차이가 너무 크다면, 전체 움직임 벡터를 양방향으로 0에 설정하도록 선택된다.

각 픽셀에 움직임 벡터가 할당되었을때 마지막 단계가 적용된다. 여기에서는, 각 픽셀의 움직임이 한 필드에서 다음 필드까지 추적되며, 또한 벡터치에는 순환필터(recursive filter)가 이용된다. 이것은 이것은 잡음영향과 작은 이동의 평가 오차를 제거하고 움직임 벡터의 궤적(trajectory)을 평활하게 한다.(smooths)

픽셀의 움직임을 추적하는 방법에는 두가지가 있다.

첫번째로, 필드 t의 픽셀에 대한 움직임 벡터는 필드(t+1)의 픽셀을 표시하기 위해서 사용된다. 그 후 이 필드(t+1)의 픽셀에 대해 결정된 움직임 벡터는 순환필터(recursive filted)되어 필드(t+1)의 픽셀에대한 최종 움직임 벡터를 형성한다.

두번째로, 필드 t의 주어진 픽셀에 대한 움직임벡터는 필드(t-1)의 픽셀을 지시하기위해서 사용된다. 그 후 이 픽셀에서 얻어진 움직임 벡터는 소정의 픽셀에대한 움직임 벡터와 함께 순환 필터되어 필드t의 소정의 픽셀에 대한 최종 움직임 벡터를 형성한다.

어느 경우에도 최종출력은 각 픽셀에 대한 하나의 움직임 벡터이며, 이것은 움직임 분석기(2)로부터 표준방식 변환 처리에 사용된 4필드를 배열하는데 이용되는 보간기(1)로 전달된다.

제 2 도를 참조하여, 초당 625라인 50필드의 입력 디지탈 텔레비젼 신호를 초당 525라인 60필드의 출력 디지탈 텔레비젼 신호로 변환 하기위한 표준방식 변환기를 설명하기로 한다.

초당 50필드에서 샘플속도가 13.5MHz인 입력영상, 즉, CCIR601 데이타는 디멀티플렉서(31)에 공급되며, 이 멀태플렉서는 상기 입력 영상을 휘도 성분Y, 동기화 신호 SYNC 및 색성분(chrominance components) UV로 분리한다. 휘도 성분 Y는 4-필드 휘도 시간축 보정기(TBC)(11Y)에 공급되며, 색 성분 UV는 4-필드 TBC(11C)에 공급 된다. 동기화 신호 SYNC는 외부 입력단자로부터 나오는 입력 필드 극성 신호 및 다른 외부 입력단자로부터 나오는 출력 필드 동기화 기준 신호와 함께 제어부(32)에 공급된다. TBC(11Y,11C)는 필드를 반복처리하고 그결과 출력이 초당 60필드로된다. 필드를 반복처리하는 TBC(11Y 및 11C)에 입력되는 제어 신호는 입력 필드 동기 펄스 및 필요한 출력 필드 동기 펄스로부터 얻어진다. 동기화 펄스를 비교하는 단계는 초당60필드에서 평활움직임(smooth motion)이 관찰되도록, TBC(11y 및 11c)의 출력에서 필요한 시간 보간량을 나타내는 시간적 오프셋 값을 제공하게 된다.

이 방법에 의해서, 초당 50필드로부터 초당 60필드로 변환할때 625라인 에서 525라인으로의 라인 변환이 필요하다. 따라서 이들을 모두 이용해서 보간된 라인을 형성하기 위해서,초당 60필드에서, 원래의 625라인의 정보를 보존하는 것이 필요하다.

이 표준 방식 변환기는 초당 60필드의 속도에서 초당 50필드의 모든 활성적 수직 정보(active vertical information)를 포함할 수 있는 중간 방식(ntermediate standard)을 사용한다. 이 중간 방식은 또한 원래의 13.5MHz 샘플속도를 사용함으로써, 라인 형태로 직교 배열된 모든 활성 라인 정보를 포함하고 있다.

모든 조건을 충족시키고, 상술된 중간 방식은 초당 60필드에서 585라인 포멧을 가지고 있는 형태이다. 13.5MHz로 샘플될때 이 포맷의 각 라인은 정확히 770 샘플 이다. 따라서, 585라인은 60필드에서의 625라인 포맷의 576활성 라인을 포함하기에 충분하다. 활성 라인의 폭은 단지 720샘플이므로, 50샘플의 수평 블랭킹이 생긴다.

휘도 TBC(11Y)로부터 나온 휘도 데이타(D)는 처리 보상 지연기(17Y)를 거쳐 4개의 필드 저장 장치(FS)(12Y, 13Y, 14Y, 15Y)를 포함하는 휘도 시간 시프트 레지스터(16Y)에 공급된다.

휘도 TBC(11Y)는 또한 처리보상지연기(17Y)에 의해 시간동결 신호(temporal freeze simgnal(F)를 시프트 레지스터(16Y)에 공급한다.

색 TBC(11C)은, 4개의 필드 저장 장치(12C, 13C, 14, 15C)를 포함하는 색 시간 시프트 레지스터(16C)에 색 데이타(D)를 처리보상지연기(17C)를 통해 공급한다. 색 TBC(11C)는 또한 지연기(17C)를 통해 시프트 레지스터(16C)에 시간 동결 신호를 제공한다.

시프트 레지스터(16Y)는 휘도 보간기(1Y)와 관련되어 있으며, 이 휘도 보간기는 필드 저장 장치(12Y, 13Y, 14Y, 15Y)의 각각으로부터 나온 입력을 수신하여, 585라인 포멧을 추출한다. 휘도 보간기(1Y)의 출력은, 2필드 휘도 TBC(18Y)에 공급된다. 시프트 레지스터(16C)는 색 보간기(1C)와 관련되어있으며, 이 색보간기는 필드 저장 장치(12C, 13C, 14C, 15C)TBC(11Y,11C)의 각각으로부터 나온입력을 수신하여, 585라인 포멧을 도출한다. 색 보간기(1C)의 출력은 2 필드 색 TBC(18C)에 공급된다.

TBC(11Y,11C)의 출력이 동결되면, 반복 필드동안 시프트 레지스터(16Y)(16C) 동결되며, 그래서 입력에 있는 개별적인 연속 필드는 시프트 레지스터(16Y,16C)에 항상 존재하게 된다. 따라서, 시프트 레지스터(16Y) 와 (16C)는 보간기 (1Y)(1C)에 대한 시간 텝을 제공하기 위해서, 사용된다.

각각의 시간 탭은 움직임 벡터에 좌우되는 위치에서 4개의 라인 텝을 도출하며, 필요한 보간을 실행하기위해 2차원 필터가 사용될수 있다. 보간된 영상은 576활성 라인을 포함하기 때문에 한 필드상에 있는 모든 여섯번째 라인이 제거될때 정확한 영상이 얻어지게된다.

좌측 484라인은 525 라인 포멧의 활성 영상부분을 도출한다. 이와같이 라인이 제거되도록 보간기(1Y,1C)들에서 나온 출력들은 2필드 TBC(18)에 공급된다. TBC(18)는 모든 576/2라인을 입력하고 소정의 출력 텔레비젼 신호를 공급하기 위해서 소정의 484/2라인만을 판독한다. 휘도 TBC(18Y)의 출력과 색도 TBC(18C)의 출력은 멀티플렉서(34)에 공급되고, 이 멀티플렉서는 휘도 성분Y와 색 성분 UV를 멀티플렉스하여, 초당 525라인 60필드 디지탈 텔레비젼 신호 형태로 출력 CCIR601을 데이타에 공급한다.

제어기(32)는 제어신호(C)를 휘도TBC(11Y)및 색도TBC(11C)에 공급한다. 제어기(32)는 또한 제어신호를 휘도TBC(18Y), 및 색 TBC(18C)에 공급한다. 이것은 또한 보간 제어신호(IC)를 휘도 보간기(IL)및 색도 보간기(IC)에 공급한다.

휘도 TBC(11Y)에 의해 공급된 휘도 데이타만이 제 2도의 상단부에 도시된 움직임 분석기(2)에 공급되어, 움직임 벡터가 발생될 수 있다. 사실상 움직임 벡터를 처리하기 위해서는 TBC(11Y) (11C)와 시프트 레지스터(16Y),(16C)사이의 프레임 지연(frame delay)가 필요하다. 그러므로 시프트 레지스터(16Y),(16C)는 한 프레임만큼 지연되어야하며 이들 지연은 지연기(17Y), (17C)에 의해 제공된다.

움직임 분석기(2)는, 휘도TBC(11Y)에서 나온 휘도 데이타와 제어기(32)에서 나온 보간 제어 신호와 함께 공급되는 벡터 인터페이스(35)로 구성되어 있다. 벡터인터페이스(35)는 상술된 움직임평가를 실행하는 벡터 필터(36)와 벡터 계산기(37)에, 625라인으로 보간된 데이타를 제공한다. 벡터 계산기(37)의 출력은 모들 움직임 벡터처리기(38)는 및 서브픽셀 움직임 평가기(39)에 공급된다.

움직임 벡터 처리기(38)는 4개의 출력을 그리고 서브픽셀움직임 계산기(39)는 1개의 출력을 움직임 벡터저감기(40)에 공급한다. 상기 움직임 벡터저감기는 4개의 출력은 벡터 선택기(41)에 공급한다.

벡터 인터페이스(35)는 또한 처리 보상 지연기(42)에 짝수 필드로 보간된 데이타를 공급하며, 상기 처리 보상 지연기(42)는 수신된 보간 제어 신호와 벡터 인터페이스(35)에서 발생된 시간 동결 신호(F)가 공급한다. 지연기(42)에서 나온 데이타는 3개의 필드 저장 장치(44, 45 및 46)들로 구성된 시간 시프트 레지스터(43)에 공급되고, 상기 저장 장치는 벡터 선택기(41)에 각 데이타 출력을 공급한다. 지연기(42)는 벡터 선택기(41)에 보간제어신호를 공급하고,

벡터 선택기는 순환 움직임 벡터 필터(47)에 선택된 움직임 벡터를 공급하고, 움직임 벡터 필터의 출력인 움직임 벡터 데이타는 휘도 보간기 (IY) 및 색도 보간기(1C)에 공급된다.

움직임 분석기(2)가 움직임 벡터 데이타를 추출하는 방법을 상세히 설명하였으므로, 소자(35)내지 (43) 및(47)의 작동에 대해 간단히 기술하기로 한다.

벡터 인터페이스(35)는 휘도 TBC(11Y)로부터의 휘도 데이타와 제어기(32)로부터의 보간제어 신호를 수신한다. 585/60포맷내에 통상적으로 포함된 625라인 데이타를 벡터 필터(36)에 공급한다. 이것은 또한 지연기(42)에 데이타를 공급한다. 이들 데이타는 585/60 포멧 내에 통상적으로 포함된 필요한 출력과 같은 라인 표준 방식인 영상을 포함해야만 한다. 보간 데이타는 각 필드는 짝수로 되어야 한다.

벡터 필터(36)는 상술한 움직임 검출의 단계 1 내지 단계 5 에 요구된 필터 영상 데이타를 도출한다. 필터된 화면 데이타는 샘플 감소된 형태로 벡터 계산기(37)에 공급된다.

벡터 계산기(37)는 상술한 움직임 검출의 단계 1 내지 단계 5 에 기술된 연산법을 사용하여 벡터 필터(36)에서 얻어졌으며, 필터 및 샘플 저감된 데이타에 대해 동작한다.

처리는 실질적으로 픽셀/라인 해상도까지 제거된 움직임에 대한 2차원적인 2진 검색이다. 각 필드에 대해, 1200 움직임 벡터가 발생되어 형식적 벡터처리기(38) 및 서브 픽셀 움직임 계산기(39)에 공급된다. 이것은 또한 상기 단계 5에서 계산된 바와 같은 가중 절대 차이 (weighted absolute difference : WAD)값을 서브픽셀 움직임 계산기(39)에 공급한다. WAD계산의 상세한 것은 IEEE 프로시딩오브더 IEEE 1985년 4월호에 무스맨씨 이하동문의 논문 화상 코딩의 진전에 기재되어 있다. 움직임 검출의 상기 단계 5에서는 최소가 되는 특정 WAD치가 성능지수(figure of merit)(FOM)를 제공한다.

벡터 처리기(38)는 각 필드에서 검출되는 4개의 가장 공통적인 움직임 벡터를 계산하여 이를 벡터 저감기(vector reducer)(40)에 공급한다.

서브 픽셀 움직임 계산기(39)는 벡터 계산기(37)로부터의 움직임 벡터와 함께 WAD치를 수신한다. 이것으로부터 움직임 벡터치에 첨부될 서브 픽셀 이동을 평가한다 각 움직임 벡터로서 이것의 대응하는 최종 WAD치가 벡터 저감기(40)에 공급된다.

벡터 저감기(40)는 서브픽셀 움직임 계산기(39)와 벡터 처리기(38)로부터 움직임 벡터를 수신한다. 서브픽셀 움직임 평가기(39)로부터 나온 각 움직임 벡터에 대해서는, 그것과 가장 접근한 6개의 움직임 벡터가 함께 그룹이된다. 각 움직임 벡터에 대해 11개가 선택 된다. 저감 처리는 벡터 선택기(41)에 공급되기 위해 11 개에서 4개의 움직임 벡터를 선택한다.

벡터 저감기(40)는 화면의 16픽셀×8라인 블럭에 대한 4개의 대표적인 움직임 벡터를 벡터 선택기(41)에 공급한다. 3개의 필드상의 픽셀을 비교함으로써, 벡터 선택기(41)는 화면의 각 픽셀에 대한 최상의 단일 움직임을 선택한다. 선택된 움직임 벡터는 움직임 벡터 필터(47)에 공급된다.

지연기(42)는 시스템에 다른 지연을 보상하기 위해 21라인이 부족한 데이타를 한 프레임 지연시킨다.

시간 시프트 레지스터(43)는 벡터 선택기(41)에 의해 사용된 데이터의 3필드들을 유지 및 공급한다.

움직임 벡터 필터(47)는 한 필드로부터 다른 필드까지 움직임 벡터를 추적하고, 다른 필드의 움직임 벡터를 조합시킴으로써, 움직임 벡터에 필터과정을 적용하고, 움직임검출에러를 저감시킨다. 움직임 벡터 필터(47)의 출력은 휘도 및 색 보간기(1Y)및 (1C)에 공급되어 필드 데이타의 배열을 제어한다.

정확하게 동일한 하드웨어는 625/50 또는 525/60텔레비젼 신호중 어느 하나에대해서는 양호한 움직임 묘사를 행하는 저속 움직임 처리기로 사용될 수 있다. 그러나, 라인수 변환을 제공하기 위해 수직 보간기를 사용할 필요는 없다. 모든 경우에서는 , 제어기(32)가 입출력 필드 동기 신호로부터 입출력 방식을 인식함으로써 어떠한 작용이 필요한지를 결정한다. 저속 움직임시에는 입력 필드 극성이 사용된다.

초당 50필드 에서 초당 60필드로 변환시에는 필드가 시간으로 반복되는 반면에, 저속 움직임시에 필드는 입력 필드가 반복되는 만큼 반복된다. 반복 필드는 시프트 레지스터(16Y 및 16C)내로 기입되지 않으므로, 시프트 레지스터(16Y 및 16C)는 별도의 연속 필드를 다시 포함하게 된다.

사실상, 비디오 테이프 레코더가 자체의 보간없이 재생 한다면, 원래의 인터레이스 구조(interlace structure)가 유지되어 전체 해상도의 영상을 재생한다. 필요한 시간 오프셋은 실제 필드 속도(초당 50필드 또는 초당 60필드들)와 새로운 필드가 수신되는 속도를 비교함으로써, 계산된다. 이와같은 시간적인 오프셋을 결정하기 위해서, 시스템은 반복적으로 재현되는 필드의 실제 필드 극성을 나타내는 신호를 얻을 필요가 있다. 수직 보간기는 출력에 필요한 필드 극성을 항상 발생하고 있다.

개념적으로는, TBC(11Y 및 11C)는 저속 움직임 작동에 실질적으로 필요한 것은 아니지만, 프레임 동기화의 편리성과 또한 시스템 구조를 간단하게 한다.

초당 입력 디지탈 525라인 60필드의 텔레비젼 신호를 초당 출력 디지탈 625라인 50필드의 텔레비젼 신호로 변환하기 위한 제 2의 표준 방식 변환기가 제 3도에 상세한 블록도로 도시되어있다.

이경우,보간 단계는, 모든 입력 데이타가 연속 형으로 이용될 수 있는 조건을 요구하고 있다. 이 실시예에서, 보간기(1Y 및 1C)전에 50필드로 변환이 불가능하다. 그러나 입력 데이타는 단지 484활성 라인만 포함하고 있고, 보간기(1)는 576라인만 도출한다. 따라서 2 필드 TBC(18Y 및 18C)가 표준 방식 변환기의 전면에 배치되어 484 라인을 576라인으로 변환하는데 필요한 타임 슬롯(time slot)을 제공한다.

원래의 연속 라인 구조는 TBC(18Y 및 18C)내로 기입되지만, 585라인 표준방식으로 판독되고 대략 여섯번째 라인마다 블랭크된다. 보간기(1)는 블랭크 입력라인의 동안 라인 저장장치를 동결시킴으로서, 출력라인에서, 연속 화면을 도출하는데 사용되며, 출력에서 필요한 부가 라인을 도출하여 공간적으로 정확한 영상이 도출되는 것을 보장한다. 필요한 시간 오프셋은, 비록 보간이 실시되어 필드가 때때로 제거되어, 움직임을 평활하게 하더라도, 제 1 표준 변환기에서와 같이 검출되고 적용된다.필드는 초당 60필드가 50필드로 변환되도록 제거된다. 필드의 제거는 출력에서 4필드 TBC(22)를 사용함으로써 달성된다.

제 2의 표준 방식 변환기는 제 2도에 도시된 제 1 표준 방식 변환기와 약간만 다르다. 특히 휘도TBC(11Y) 및 (18Y)가 서로 바뀌었고, 색 TBC(11C) 및 (18C)가 또 한 서로 바뀌었다. 시간 동결신호도 요구되지 않는다.

두 실시예 모두, 제어기(32)는 다음과 같은 다양한 기능을 가지고 있다. 즉, TBC(11Y),(11C),(18Y) 및 (18C)의 기록 및 판독을 제어하고, 시간 오프셋 수를 발생하고, 제 1 실시예의 경우와 같이 시간 동결 신호를 발생하며, 수직 보간 제어신호와 함께 수직 오프셋 수를 발생한다. 이 기능들은 다음에 서술될 것이다.

2필드 휘도 및 색도 TBC(18Y) 및 (18C)는 항상 매 60Hz필드의 종료시에 펄드 저장 장치 사이에서 스위치 된다. 그러나, 4필드 휘도 및 색도 TBC(11Y) 및 (11C)의 작동을 작동 모드에 좌우되며, 그 제어도 또한 시간 오프셋 신호의 발생과 관련되어 있다. 실질적으로, 휘도 및 색도 TBC(11Y) 및 (11C)의 제어는 입출력 필드 동기 신호로부터 결정된다.

제 4 도는 5 도를 참조하여 525/60에서 625/5으로의 변환 할때의 시간 오프셋 신호 발생에 대하여 설명하기로 한다.

제 4 도에서, 제어기(32)는 라인카운터(61), 제 1 및 제 2 래치(62) 및 (63)를 포함하고 있는 것으로 도시되어 있다. 라인카운터(61)의 클럭 단자에는 라인 클럭 신호가 공급되고, 라인카운터(61)의 리세트 단자와 제 2 래치(63)의 클럭 단자에는 입력 필드 동기 신호가 공급된다.

출력 필드 동기 신호는 제 1 래치(62)의 클럭단자에 공급된다. 출력필드 동기신호는 제 1 래치(62)의 클럭 단자에 공급된다.라인 카운터(61)의 출력은 제 1 래치(62)에 입력에 공급되고, 제 1 래치의 출력은 제 2래치(63)의 입력에 공급되며, 제 2 래치의 출력인 시간 오프셋 신호는 휘도 및 색 시프트 레지스터(11Y),(11C),(18Y) 및 (18C)에 공급된다.

제 5A도 및 5B도에 각각 입출력 필드 동기 신호가 도시되어 있다. 제 5C도는 0에서 524까지 계수 하는 라인카운터(61)의 출력을 도시한다. 제 5D도 및 5E도는 제 1 및 제 2 래치(62) 및 (63)의 출력을 각각 도시한다. 카운터(61)를 래치함으로써 입력 필드기간의 필요한 기간의 비율이 결정된다. 시간 시프트 tn은 제 5A도에 도시된 빗금친 필드가 제거될때, 연속 움직임이 발생되도록 출력 필드가 보간 되어야만 하는 두 입력 필드 사이의 위치를 나타내고 있다 .

따라서, 제 5E도에 빗금으로 도시된 시간 오프셋을 사용하는 필드는 제거된 것이다. 이것은 제 5A도 및 5B도를 참조하면 알수 있듯이 제거된 필드는 이와 관련된 새로운 시간 시프트가 일어나지 않은 필드이다.

제거될 필드(화살표)는 시간 동결 신호에 의해 다음의 회로에 지시된다.

제 6 도 및 제 7 도를 참조하여, 625/50에서 525/60으로 변환의 경우 시간 오프셋 신호의 발생에 대하여 설명한다.

제 6도에서, 제어기(32)는 라인카운터(71) 및 래치 (72)를 포함하고 있는 것으로 도시되어 있다. 라인카운터(71)의 클럭 단자에는 라인 클럭 신호가 공급되며, 라인카운터(71)의 리세트 단자에는 입력 필드 동기 신호가 공급된다. 출력 필드 동기 신호가 래치(72)의 클럭 단자에 공급된다. 라인카운터(71)의 출력은 래치(72)의 입력에 공급되고, 래치의 출력인 시간 오프셋 신호는 휘도 및 색 시프트 레지스터 (11Y), (11C), (18Y) 및 (18C)에 공급된다.

제 7A도 및 제 7B도에는 각각 입출력 필드 동기 신호가 도시되어 있다. 제 7C도는 0에서 624까지 반복적으로 계수하는 라인카운터(71)의 출력을 도시한다.

제 7D도는 래치(72)의 출력을 도시한다.카운터(71)를 래치함으로써 의해 입력 필드 기간의 필요한 비율이 결정 된다. 따라서, 시간 시프트치 tn은 빗금친 필드가 반복되는 경우 연속 움직임이 발생되도록 출력 필드가 보간되어야만 하는 두 입력 필드 사이가 위치하고 있다는 것을 나타내고 있다. 반복되는 필드는 이와 관련된 두개의 시간 시프트 치를 가지는 필드이다. 반복될 필드(화살표)는 시간 동결 신호에 의해 다음 회로에 지시된다.

525/60에서 525/60으로 또는 625/50에서 625/50으로의 변환중 어느 한 변환이 저속 움직임의 경우에서, 시간 오프셋 신호의 발생은 동일하며 이것을 제 8 도 및 제 9도를 참조하여 설명한다.

제 8도에서, 제어기(32)는 라인카운터(81),필드 카운터(82),제 1 내지 제 4 래치(83) 내지 (86), 베타(exclusive) OR 게이트(87) 및 스케일러(scaler)(88)를 포함하고 있는 것으로 도시되어 있다. 제 1 래치(83)의 클럭 단자와 필드 카운터(82)의 클럭 인에이블(enable) 단자 및 라인카운터(81)의 제 2 리세트 단자에 입력 필드 동기 신호가 공급된다. 입력 필드 극성 신호는 제 1 래치(83)에 공급되고 따라서, 제 2 래치(84) 및 게이트(87)의 한입력에 공급된다.

제 2 래치(84)의 출력은 게이트(87)의 제 2 입력에 공급되고, 게이트의 출력은 라인카운터(81)의 제 1 리세트 단자와 필드 카운터(82)의 리세트 단자 및 속도 검출기 래치를 형성하는 제 3 래치(85)의 클럭 단자에 공급된다. 제 2 래치(84)의 클럭 단자 와 라인카운터(81) 및 필드 카운터(84)의 각 클럭 단자에는 라인 클럭 신호가 공급된다.

라인카운터(81)의 출력은 스케일러(88)의 입력 단자에 공급되고, 필드 카운터(82)의 출력은 제 3 래치(85)의 입력과 스케일러(88)의 오프셋 단자에 공급된다. 출력 필드 동기 신호는 제 4 래치(86)의 클럭 단자에 공급된다.

제 3 래치(85)의 출력은 스케일러(88)의 스케일 인수단자에 공급되고, 스케일러의 출력은 제 4 래치(86)에 공급되고, 제 4 래치의 출력이 시간이 오프셋 신호가 된다.

제 9A 도 및 제 9B 도에 각각 입력 필드 동기 신호 및 입력 필드 극성 신호가 도시되어 있다. 제 9C도 또한, 입력 필드 동기 신호를 나타내고 제 9D 도는 출력 필드 동기 신호를 나타낸다. 제 9E도 및 9F도는 0에서 N까지의 필드 및 라인을 반복적으로 계수하는 필드 카운터(82) 및 라인카운터(81)의 작동을 나타낸다. 제 9G도는 시간 오프셋 신호인 제 4 래치(86)의 출력을 나타낸다. 제 9H도는 시간 동결 신호(로우일때 활성화되는)를 나타내며, 화살표로 표시된 바와 같이 시간 오프샛을 사용하는 빗금친 필드는 시간 오프셋 t1을 반복한다.

시간 동결 신호를 발생하기 위해, 제 12도에 도시된 제어기(32)는 동기 RS플립플롭(91), 래치(92), 인버터(93) 및 AND 게이트(94)를 포함하고 있다. 플립플롭(1)의 한 입력과 인버터(93)의 입력 및 래치(92)의 클럭 인에이블 단자에 출력 필드 동기신호가 공급된다.

플립플롭(91)의 다른 입력에는 입력 필드 동기 신호가 공급되고 플립플롭(91)와 래치(92)의 클럭 단자에는 라인 클럭 신호가 공급된다. 플립플롭(91)의 출력은 게이트(94)의 한 입력에 공급되고, 이 게이트의 다른 입력에서는 인버터(93)의 출력을 수신한다. 게이트(94)의 출력은 래치(92)의 입력에 공급되고, 이 래치의 출력이 시간 동결 신호를 형성한다. 이회로의 움직임 한 개 이상의 출력 필드 동기화 펄스가 입력 필드 동기화 펄스에 연속하도록 동결이 발생한다.

제 2 도를 다시 참조하여, 제어기(32)에 의한 수직 오프셋의 발생에 대해 설명하기로 한다. 휘도 TBC(11Y)로부터 휘도 보간기(1Y) 및 움직임 분석기(2)로 공급되는 데이타를 판독하는 어드레스 발생기는 수직 동결 신호와 함께 수직 오프셋 수를 제공하며, 삭제가능하고, 프로그램가능한 판독 전용 저장 장치(EPROM)를 어드레스한다.

(제 3도의 525/60에서 625/50으로 변환하는데 사용되는 장치에서, 휘도 TBC(18Y)의 판독 어드레스가 사용되지만, 모든 다른 모드에서는 휘도TBC(11Y)의 판독 어드레스가 사용된다.)

입력 및 출력 필드 모두가 짝수라고 가정하면 수직 오프셋 수가 발생된다. 이것은 만약 625/50에서 525/60변환시에 라인이 때때로 제거되거나 또는 525/60에서 625/50 변환시에 라인이 때때로 반복된다면, 비왜곡 영상이 도출되도록 출력 라인이 보간되는 경우에, 2개의 입력 라인들간의 위치를 나타낸다.

휘도 TBC 11Y(18Y)에 의해 라인이 반복될때, 수직 동결 신호가 발생된다.

입력 필드가 짝수가 아닌 경우 보간기(1Y) 및 (1C)는 정확한 보간을 위해 입력 필드 극성 및 출력 필드 극성을 사용해야 한다.

EPROM의 내용은 제 10 도를 참조하여 기술된 시간 오프셋 신호의 설명과 비슷한 방식과 525 및 625 화면내에 있는 기존의 라인 위치를 이용하여, 발생된다.

본 발명이 관련된 서브-픽셀 움직임 계산(39)의 구성과 작동은 제 11 내지 15도를 참조하여 상세히 설명한다.

상술한 바와 같이, 필드당 1200개의 움직임 벡터가 발생되고, 각 움직임 벡터는 16수평 샘플에 의해 8라인으로 배열된 픽셀 블록과 관련된다.

몰론 한 움직임 벡터가 그 블록의 크기와 관계없이 특정한 블록내의 움직임을 표시하지는 않는다. 계속하여 그 블록내의 모든 픽셀이 그 작동이 정확히 평가되는 기회를 가지도록, 각블록에 대한 움직임 벡터를 선택할 필요가 있다.

이경우 4 개의 움직임 벡터가 7개의 국부움직임벡터로부터 선택된다. 이들 4벡터는 4개에서 하나를 선택하는 제 2 처리기에 연결된다.

움직임벡터는 직각 좌표계에 표시되며, 이것은 수직성분 및 수평성분으로 표현되는데 유용하다. 각 움직임 벡터는 성능지수(figure of merit)와 관련이 있으며, 이것은 블록내에 WAD(weighted absolute differnce)에 근거한 것이다. 이것은 블록내에 있는 상관 정도에 관한 양적 평가를 표시한다.

1200개의 움직임 벡터들은 각 필드에 대해 발생되는 수평 40 수직 30인 움직임 벡터 배열를 형성한다. 수직 움직임 벡터는 8라인으로 변위되고 , 수평은 16픽셀로 변위되며, 각 움직임 벡터는 8×16블럭의 픽셀과 관련된다.

서브픽셀 움직임 벡터 평가라는 것은 서브 픽셀해상도에 대해서, 원래의 움직임 벡터 평가를 서브픽셀 계산함으로써, 상술한 바와 같이 이미 결정된 움직임 벡터 평가를 넘어서 한 단계를 취하는 것이 가능하다는 것을 의미한다. 보기에서는, 1/8 수직라인과 1/4수평 픽셀의 해상도를 계산하는 것이 가능하다.

서브픽셀 해상도를 계산하는 주 이유는 실제 텔레비젼 영상이 집합픽셀(integral pixel) 또는 라인 스텝(line steps)으로 이동될 필요가 없기 때문이다. 새로운 필드를 보간하기 전에 필드를 정렬하는 보간기(1Y),(1C),(제 2, 3 도)는 약간의 오프셋(fractional off set)을 보간할 수 있다. 그러므로, 서브픽셀 움직임 벡터 평가의 순수 결과는 보간된 출력 필드의 해상도를 증가시키는 것이다. 이것은 4개의 연속 필드에 걸쳐서 대상물의 움직임을 도시한 제 11,12도를 참조하여 상세히 설명된다.

대상물이 필드당 2.5라인으로 상향 이동하고, 새로운 필드는 필드 n 과 n-1사이에서 정확히 반만큼 보간된다고 가정한다. 서브-픽셀 검출(제 11도)없이, 움직임 벡터 평가는 필드당 3라인이다. 이것은 화살표로 제 11 도에 표시된 바와 같은 위치에서 보간하기 전에 4필드를 시프트되도록 한다. 보간된 필드는 선형 보간기가 발생하는 것보다 더 나은 결과를 발생할 수도 있지만, 3라인에 걸쳐있는 대상물의 빗금친 위치로 구성되어지게 되므로, 흐려지게 된다(blured).서브픽셀 검출에 있어서, 움직임 벡터 계산은 필드당 2.5라인이 되며, 제 12도에 도시된 바와 같이 새로운 출력 필드를 보간하기 전에, 보간기(1Y,1C)들이 정확하게 4필드를 정렬시키게 된다. 따라서 서브픽셀 검출을 갖는 새로운 필드는 덜 떨리는 영상을 발생시킨다.

서브픽셀 이동을 결정하는 방법은 움직임 벡터 계산 움직임에 관계된 단계 5에서 계산된 바와 같은 FOM을 사용한다.

소정의 FOM은 다음과 같다.

i)최소치가 발생된 FOM, 이것을 B라고 칭함.

ii)수평 서브픽셀 오프셋을 게산하기 위하여 B의 좌우에 대한 FOM, 각각 A와 C로 칭함

iii)수직 서브픽셀 오프셋을 계산하도록 B의 상하에 대한 FOM, 수평 및 수직 계산이 동일 하드웨어로 수행되고 같다면 다시 A C로 칭함

이 처리는 A 및 B 또는 C 및 B사이의 최대 경사 구배(descending gradien)를 찾은 한 방법이며, 동일 구배는 다른 외부 FOM에 인가된다. 2개의 구배 교차점이 수평축에 투사된 지점은 약간의 오프셋을 부여한다. 서브픽셀 오프셋은 D가 A 및 C보다 클때 다음 방정식을 사용하여 결정한다.

이 방정식은 다음과 같이 얻어진다.

제 13 도에 도시된 바와 같이, 3개의연속 FOM, A,B,C를 고려하고 B가 최소이고 A는 C보다 크며 그런다음 D를 구한다.

D와 B는 연결하는 직선의 구배는 -(D-B)로 주어지며, 이 라인을 기준으로 보면 이 방정식은,

y=-(D-B)x

동일 구배에 반대 극성인 라인은 제 13도에 도시된 바와 같이 C를 통하여 연장된다. 이라인 방정식은,

y=(D-B)x-z

값 x 는 약간의 오프셋을 나타냄.

그러므로,

-(D-B)x=y=(D-B)x-z

2*(D-B)x=z

........(1)

다음 제 14도에 도시된 상황을 고려한다. 여기에서 C가 A보다 크고 그

다음 D를 구하며, B 가 아직도 최소값이다. 전과 마찬가지로 방법을 적용하면,

y=-(D-B)x-z

y=(D-B)x

그러므로,

(D-B)x = y =-(D-B)x-z

2*(D-B) = -z

.........(2)

제 1 경우 z=(D-B)-(C-B)

(D-C)

(A-C)

제 2 경우 z=(D-B)-(A-B)

(D-A)

(C-A)

방정식 1,2를 z에 대해 치환하면,

서브픽셀 오프셋에 대한 일반 방정식이 다음과 같다.

이때 D는 A 및 C의 최대치이다.

서브픽셀 움직임 계산기(39)는 제 15도에 상세히 도시되면, 도시된 바와 같이 접속되어 입력을 수신하는 5개의 래지스터(101)내지 (105)를 포함하는 프로그램 가능한 2단의 판독 전용 저장 장치, 비교기(106), 2개의 감산기(107),(108) 분주기(109)를 포함한다. 2단을 사용하는 것이 필수는 아니지만, 본 예에서는 FOM이 12 비트 수인 것을 사용한다. 그래서 서브픽셀 오프셋에 대한 상기 식의 평가가 2개의 12비트 숫자의 분할을 필요로 할지라도, 분할기(divider)는 이용할 수 있는 시간내에 분할을 행할 수 없으므로 단일 칩(single chip)의 분산기를 사용하는 것은 불가능하다. 이 작동은 상기 설명으로 명백하다.

본 발명의 실시예를 첨부도면을 참조하여 상세히 설명하였지만 본 발명이 실시예에 국한되지 않고 청구범위에 한정된 바와 같은 본 발명의 정신 및 범주로부터 벗어남이 없이 본 기술상 숙련자에 의해 다양한 변경 및 수정이 가해질 수 도 있다.

Claims (6)

1. 디지탈 신호에 의해서 표현되는 텔레비젼 영상의 움직임 벡터를 계산하는 방법에 있어서, 블록 정합법을 사용하여, 소정의 픽셀들이 수직으로 이격되고 소정의 픽셀들이 수평으로 이격되어 있는 점들에서 상기 영상의 움직임을 결정하여, 움직임 벡터를 도출하는 단계와 , 상기 영상의 필드들 간의 움직임을 나타내며, 픽셀들간의 간격의 정수배와 동일하지 않는 서브픽셀 오프셋을 결정함으로써, 상기 움직임 벡터의 선택을 정확하게 하는 단계를 구비하는 것을 특징으로 하는 움직임 벡터 계산 방법.
2. 디지탈 신호에 의해서 표현되는 텔레비젼 영상의 움직임 벡터를 계산하는 장치에 있어서, 블록 정합법을 사용하여, 소정의 픽셀들이 수직으로 이격되고 소정의 픽셀들이 수평으로 이격되어 있는 점들에서 상기 영상의 움직임을 결정하여, 움직임 벡터를 도출하는 수단과 , 상기 영상의 필드들 간의 움직임을 나타내며, 픽셀들간의 간격의 정수배와 동일하지 않는 서브픽셀 오프셋을 결정함으로써, 상기 움직임 벡터의 선택을 정확하게 하는 수단으로 구성되어 있는 움직임 벡터 계산 장치.
3. 한 텔레비젼 표준 방식의 텔레비젼 입력 신호에 있는 연속 필드간이 움직임을 분석하기 위해서, 블록 정합법을 사용하여, 소정의 픽셀들이 수직으로 이격되고, 소정의 픽셀들이 수평으로 이격된 점들에서 상기 영상의 움직임을 결정함으로써, 움직임 벡터를 도출하는 수단과, 상기 영상 필드내에 있는 움직임을 나타내면, 픽셀들간의 간격의 정수배와 동일하지 않는 서브픽셀 오프셋을 결정함으로써, 상기 움직임 벡터의 선택을 정확하게 하는 수단을 포함하고 있는 수단과, 정지 영상을 효과적으로 나타내기 위해 상기 움직임 분석에 의거하여 상기 필드를 배열하는 수단과, 상기 정지 영상을 사용하는 변환을 행하여, 다른 텔레비젼 표준 방식의 출력 텔레비젼 신호를 도출하는 수단을 구비하는 것을 특징으로 하는 텔레비젼 표준 방식 변환기,
4. 초당 625 라인, 50필드를 초당 525라인 60필드로 변환하는 텔레비젼 표준 방식 변환기에 있어서, 초당 625라인, 50필드의 입력 디지탈 텔레비젼 신호를 수신하는 4필드 시간축 보정기와, 상기 텔레비젼 입력신호의 움직임을 분석하기 위해서, 상기 시간축 보정기의 출력에 접속되어 있으며, 불록 정합법을 사용하여, 소정의 픽셀들이 수직으로 이격되고, 소정의 픽셀들이 수평으로 이격되어 있는 점들에서 상기 영상의 움직임을 결정함으로써, 움직임 벡터를 도출하는 수단과, 상기 영상내에 있는 필드들 간의 움직임을 나타내며, 픽셀들 간의 간격의 정수배와 동일하지 않는 서브픽셀 오프셋을 결정함으로써, 상기 움직임 벡터의 선택을 정확하게 하는 수단으로 구성된 움직임분석기와, 상기 시간축 보정기의 출력에 또한 접속되어 있는 시프트 레지스터와 상기 시프트 레지스터로부터 얻어진 샘플과 상기 움직임 분석기로부터 얻어진 영상 움직임 데이타에 의거하여 초당 525 라인, 60 필드의 출력 디지탈 텔레비젼 신호의 샘플을 도출하는 보간기 및, 상기 도출된 샘플을 조합하여 상기 출력 텔레비젼 신호를 형성하는 2 필드 시간축 보정기를 구비하는 것을 특징으로 하는 텔레비젼 표준 방식 변환기.
5. 초당 525 라인, 60필드를 초당 625라인 50필드로 변환하는 텔레비젼 표준 방식 변환기에 있어서, 초당 525라인, 50필드의 입력 디지탈 텔레비젼 신호를 수신하는 4필드 시간축 보정기와, 상기 텔레비젼 입력신호의 움직임을 분석하기 위해서, 상기 시간축 보정기의 출력에 접속되어 있으며, 불록 정합법을 사용하여, 소정의 픽셀들이 수직으로 이격되고, 소정의 픽셀들이 수평으로 이격되어 있는 점들에서 상기 영상의 움직임을 결정함으로써, 움직임 벡터를 도출하는 수단과, 상기 영상내에 있는 필드들 간의 움직임을 나타내며, 픽셀들 간의 간격의 정수배와 동일하지 않는 서브픽셀 오프셋을 결정함으로써, 상기 움직임 벡터의 선택을 정확하게 하는 수단을 포함하는 움직임분석기와, 상기 시간축 보정기의 출력에 또한 접속되어 있는 시프트 레지스터와 상기 시프트 레지스터로부터 얻어진 샘플과 상기 움직임 분석기로부터 얻어진 영상 움직임 데이타에 의거하여 초당 625 라인, 50 필드의 출력 디지탈 텔레비젼 신호의 샘플을 도출하는 보간기 및, 상기 도출된 샘플을 조합하여 상기 출력 텔레비젼 신호를 형성하는 4 필드 시간축 보정기를 구비하는 것을 특징으로 하는 텔레비젼 표준 방식 변환기.
6. 저속 움직임 처리기에 있어서, 입력 디지탈 텔레비젼 신호를 수신하는 입력 회로와, 상기 입력 디지탈 텔레비젼 신호의 움직임을 분석하기 위해서, 블록 정합법을 사용하여, 소정의 픽셀들이 수직으로 이격되고, 소정의 픽셀들이 수평으로 이격된 점들에서, 상기 영상의 움직임을 결정함으로써, 움직임 벡터를 도출하는 수단과, 상기 영상의 필드들 간의 움직임을 나타내며, 픽셀들 간의 간격의 정수배와 동일하지 않는 서브픽셀 오프셋을 결정함으로써, 상기 움직임 벡터의 선택을 정확하게 하는 수단을 포함하는 움직임분석기와, 상기 입력 텔레비젼 신호의 연속적인 다른 필드를 가지고 있는 시프트 레지스터와, 상기 시프트레지스터로부터 얻어진 샘플과 상기 움직임분석기에 의해 도출된 영상 움직임 데이타 및 저속 움직임의 정도에 따라 필요한 저속 움직임 출력 디지탈 텔레비젼 신호의 샘플을 도출하는 보간기 및, 상기 도출된 샘플을 조합하여, 상기 저속움직임 출력 텔레비젼 신호를 형성하는 2 필드 시간축 보정기를 구비하는 것을 특징으로 하는 저속 움직임 처리기.

Images