KR100591023B1 - 움직임 추정 및 움직임 보상된 보간법 - Google Patents

Abstract

비디오 데이터(n, n-1)로부터 움직임 데이터(P(n))를 추정하는 방법에 있어서, 상기 비디오 데이터(n, n-1)의 다른 이전의 영상 쌍들에 기초하여 추정된 적어도 두 움직임 데이터 세트들(TP1-TPn)은 움직임 데이터 발생기(MPE)에 공급된다.

비디오 데이터, 움직임 데이터, 디스플레이 신호

Description

움직임 추정 및 움직임 보상된 보간법{Motion estimation and motion-compensated interpolation}

본 발명은 움직임 추정 방법 및 장치, 및 움직임 보상된 보간 장치를 구비하는 비디오 디스플레이 장치에 관한 것이다.

움직임 추정(motion estimation)은 비디오 데이터의 스캔 레이트 변환(scan rate convention) 및 코딩(coding)에 적용된다. 일반적으로, 움직임 추정기 입력에서의 이러한 비디오 데이터의 화상 레이트는 고정되기는 하지만, 이러한 데이터가 시작했던 비디오 소스의 화상 레이트는 처리된 데이터의 것과는 다를 수 있다. 특히, 이러한 것은 필름 자료가 비디오로 변환되거나, 또는 한 비디오 표준으로부터의 비디오 자료가 움직임 추정기 이전의 비디오 체인의 어떤 다른 표준으로 변환될 때 발생한다.

요구된 화상 레이트 변환들을 처리하는 통상의 방법은 새로운 화상이 이용가능하게 될 때까지 가장 최근의 화상을 이용하는 것이다. 낮은 화상 레이트를 보다 높은 화상 레이트로 변환할 때에는, 새로운 포맷에 소스 화상들의 반복을 수반하며, 높은 레이트에서 보다 낮은 레이트로의 변환은 이따금 소스 자료의 영상들의 스킵을 야기시킨다.

어느 쪽의 경우든 간에, 결과적인 비디오는 불규칙한 움직임 패턴(저더(judder))을 나타내며, 이러한 것은 움직임이 강력한 시간적 일관성을 갖는다는 움직임 추정기에서의 통상의 가정을 위반한다. 시간적 예측 벡터들을 이용하여 이러한 가정으로부터 이득을 얻고자 하는 움직임 추정기에 있어서, 불규칙적인 움직임 특성은 상기한 시간적 예측 벡터들의 유용성을 제거한다는 문제점을 야기한다. 따라서, 추정된 움직임 벡터들의 심각한 열화가 야기될 수 있다.

참고자료 [8]에는 50Hz 텔레비젼 표준으로 송신된 영화 자료에 대하여, 이러한 문제에 대한 해결책이 기술되어 있다. 상기 참고자료에 개시된 아이디어는 반복된 화상이 발생될 때 벡터 예측 메모리를 재순환시키는 것이다. 참고자료 [7]에서는, '이전의' 화상을 기억하는 화상 메모리가 반복되지 않는 화상이 발생될 때까지 재순환되는, 방법이 기술된다. 이들 종래 기술의 방법들이 공유하는 특징은 메모리 제어를 변경하기 위해 그 패턴이 알려져 있어야 한다는 것이다.

본 발명의 목적은, 신뢰가능하게 움직임을 추정하기 위해 반복 패턴의 사전 지식을 필요로 하지 않는 매우 확고한 움직임 추정 방법을 제공하는 것이다. 이러한 목적을 위하여, 본 발명의 한 특징은 청구항 5항, 11항 및 12항에 규정된 바와 같은 방법 및 장치를 제공한다. 본 발명의 다른 특징은 청구항 4항에 규정된 바와 같은 디스플레이 장치를 제공하는 것이다. 종속항에는 양호한 실시예가 규정된다.

본 발명의 한 특징에 따른 움직임 추정 방법에서, 입력 비디오 데이터의 상이한 이전의 영상 쌍들에 기초하여 추정된 적어도 두 개의 움직임 데이터 세트들이 움직임 데이터 발생기에 공급된다.

양호한 실시예에 있어서, 움직임 추정기는 (반복 패턴의 최대 길이 만큼의) 하나 보다는 많은 이전의 영상 쌍들로부터 시간적 예측 벡터들을 취하며, 추정 처리에 대한 기준으로서 이들 중 최상의 것을 선택하거나, 매칭 처리(matching process)의 후보들로서 이들 모두를 이용한다.

이러한 해결은, 특히, 기억될 움직임 벡터들의 수가 매우 적은, 객체 본위 움직임 추정기들(참고자료 [12])에 경제적으로 바람직하다. 알고리즘의 소프트웨어 버전은 완전히 프로그램가능한 장치, 특히 필립스 TM1000(TriMedia) 프로세서 상에서 실시간 실행되도록 나타내었다.

본 발명의 상기 및 다른 특징들은 이후 기술될 실시예를 참조하여 더욱 명료하게 이해될 것이다.

도 1은 본 발명에 따른 양호한 움직임 추정기를 도시한 도면.

도 2는 본 발명에 따른 디스플레이 장치를 도시한 도면.

도 1은 본 발명에 따른 양호한 움직임 추정기를 도시한다. 움직임 파라미터들 P(n)을 얻기 위해, 현재 필드 n으로부터의 현재 영상 데이터와 이전의 필드 n-1로부터의 이전의 영상 데이터가 움직임 파라미터 추정기 유닛(MPE)에 공급된다. 화상 지연 소자들(D1, D2,...Dn)은 움직임 파라미터들 P(n)의 지연된 버전들(TP1, TP2,.. TPn)을 움직임 파라미터 추정기 유닛(MPE)으로 공급한다.

본 실시예에서는 파라미터 추정기가 도시되고 있지만, 본 발명은 파라미터에 기초한 움직임 추정기들에 제한되지 않는다. 본 발명은 또한, 예측 메모리가 움직임 벡터들의 형태로 모든 필요한 이전의 움직임 정보를 포함하도록 적응된 경우, 정규의 순환적인 움직임 추정기로 이용될 수 있다. 그 경우, 유닛(MPE)은 움직임 파라미터 P(n) 보다는 오히려 움직임 벡터들 P(n)을 공급하게 될 것이다. 이러한 방법에 있어서, 60 대 50 Hz 필드 레이트 변환, 24 Hz에서 동작하는 텔러시니 머신(telecine machine)에서의 변환에 의해 야기되며, 팝-뮤직 비디오 클립들에 존재하는 바의 어떠한 불규칙한 움직임 패터(patter)들도 해결될 수 있다.

도 2는 본 발명에 따른 디스플레이 장치를 도시한다. 이러한 디스플레이 장치는 안테나(A)로부터 안테나 신호들을 수신한다. 안테나 신호들은 튜너(TUN)에 의해 기저대 비디오 신호들로 변환된다. 필드 지연소자(DL)는 도 1의 움직임 추정기에서 이용되는 필드들(n 및 n-1)을 발생한다. 비디오 신호 프로세서(VSP)는, 디스플레이 장치(CRT)로 공급되는 디스플레이 신호(D)를 발생하기 위해 도 1의 움직임 추정기로부터의 움직임 데이터 P(n)과 필드들(n 및 n-1)을 수신한다.

본 발명의 주요 특징은 다음과 같이 요약될 수 있다. 비디오 데이터로부터 움직임 파라미터들을 추정하기 위한 방법이 개시된다. 본 발명은, 간단한 화상 레이트 변환 기술들(가장 최근 화상의 반복)로 인해 불규칙한 움직임을 나타내는 비디오 데이터 상의 시간적 예측 움직임 추정을 가능하게 한다. 이러한 해법은, 다양한 이전의 영상 쌍들로부터 얻어진 복수의 시간적 예측 벡터들을 사용하는데 있다. 이러한 해법은, 특히, 기억될 움직임 벡터들의 수가 매우 작은 객체 본위 움직임 추정기에 경제적으로 바람직하다. 알고리즘의 소프트웨어 버전은 필립스 TM1000(TriMedia) 프로세서 상에서 실시간 실행되도록 나타내었다.

다음의 양호한 실시예의 현저한 특징은 중요하다. 비디오 데이터로부터 움직임 파라미터 벡터들을 추정하기 위한 이러한 방법을 실현하는 방법 및 장치는, 적어도 일부 영상 부분들에 대해, 상이한 이전의 영상 쌍들의 데이터로부터 추정된 적어도 두 개의 (시간적) 예측 벡터들을 공급한다. 바람직하게, 상술한 적어도 두 예측 벡터들은 영상 (부분)에 대한 출력 벡터를 결정하는 벡터 선택 처리에서의 후보들이 된다. 바람직하게, 기준 함수에 따른 상술한 적어도 두 예측 벡터들 중 최상 벡터가 영상 (부분)에 대한 출력 벡터를 결정하는 벡터 선택 처리의 입력이 되는 (예컨대, 갱신 처리가 되는) 후보 벡터들을 결정하는데 대한 기초로서 이용된다. 바람직하게, 다수의 연속하는 영상들(영상 부분들)에 대한 (기준 함수에 따라, 상기 적어도 두 예측 벡터들 중 어느 것이 최상의 것인지의) 결정 정보는 화상 반복 패턴들(예컨대, 영화 자료의 3-2 풀-다운(pull-down) 및 2-2 풀-다운과, 소스-목적 화상 주파수 미스매치에 기인한 다른 패턴들)들을 검출하는데 이용된다.

기본적으로는 필립스 TriMedia 프로세서상의 어플리케이션을 구동하도록 설계되었으나, 다른 어플리케이션들도 가능하다. 특히, 그 개념은 차세대 VGA-콘트롤러들로 설계될 수 있다. 이러한 것은 전용 실리콘이므로, 총 비용은 아주 저렴하다. 그러한 VGA-콘트롤러는, 전용 실리콘에서 더욱 많은 처리 전력이 유용가능하므로, TriMedia 해법에 비해 개선된 성능을 가질 수 있다. 또한, 두 개 보다 많은 병렬 파라미터 추정기들이 적용된다면, 가능한 낮은 비용에서 현재의 하이-엔드 해법 보다 잠재적으로 더 양호한 수준의 성능이 달성될 수 있다.

상술한 실시예들은 본 발명을 제한하려는 것이 아니라 설명하기 위한 것이며, 당 기술 분야에 숙련된 사람들은 첨부된 청구범위의 범위를 벗어나지 않고서 많은 대안적인 실시예들을 설계할 수 있을 것이다. 청구범위에 있어서, 괄호 안에 삽입된 어떠한 참조 부호도 본 청구범위를 제한하는 것으로 해석되어서는 안 된다. 본 발명은 적절히 프로그래밍된 컴퓨터와, 몇몇의 개별적인 소자들을 구비하는 하드웨어에 의해 실행될 수 있다. 몇몇의 수단을 열거하는 장치 청구항에서, 이들 몇몇의 수단들은 하나의 수단으로 구현될 수 있으며 하드웨어의 동일 항목으로 구현될 수 있다.

관련 발명들은 하기에 언급된 참조문헌들에 기술되어 있다.

참조문헌

[1] US-A-5,534,946(Attorneys' docket PHN 14,066)

[2] G. de Haan, P.W.A.C. Biezen, H. Huijgen and O.A. Ojo, "True Motion Estimation with 3-D Recursive Search Block-Matching", IEEE Transactions on Circuits and Systems for Video Technology, Vol.3, October 1993. pp.368-388.

[3] G. de Haan, P.W.A.C Biezen, H. Huijgen, and O.A. Ojo, "Graceful Degradation in Motion Compensated Field-Rate Conversion", in: Signal Processing of HDTV, V, L. Stenger, L. Chiariglione and M. Akgun(Eds.), Elsevier 1994, pp. 249-256.

[4] PCT/IB97/00548(Attorneys' docket PHN 16,112)

[5] G. de Haan, J. Kettenis, and B. Deloore, 'IC for Motion Compensated 100 Hz TV, with a Smooth Motion Movie-Mode', International Conference on Consumer Electronics, ICCE 95, June 1995, Chicago.

[6] G. de Haan, P.W.A.C Biezen, "Sub-pixel motion estimation with 3-D recursive search block-matching", Signal Processing: Image Communication 6 (1994), pp. 229-239.

[7] PCT/IB97/00884(Attorneys' docket PHN 15,943)

[8] US-A-5,495,300(Attorneys' docket PHN 14,079)

[9] G. de Haan and H. Huijgen, "New algorithm for motion estimation," in Chiariglione [38], pp, 109-116.

[10] G, de Haan and H. Huijgen, "Motion estimation for TV picture enhancement," in Signal Processing of HDTV III(H. Yasuda and L. Chiariglione, eds.), pp. 241-248, Elseviers Science Publishers B.V., 1992.

[11] G. de Haan, J. Kettenis, and B. Deloore, "IC for motion compensated 100 Hz TV, with a smooth motion movie-mode," IEEE Transactions on Consumer Electronics, vol. 42, pp. 165-174, May 1996.

[12] EP Application no. 97202912.8, filed on 23.09.1997, and corresponding applications(Attorneys' docket PHN 16,529).

Claims (12)

1. 삭제
2. 삭제
3. 삭제
4. 디스플레이 장치에 있어서:

   상이한 이전의 영상 쌍들의 영상 필드들로부터 움직임 데이터의 적어도 두 세트들을 획득하기 위한 수단;

   선택 처리를 위한 후보들로서 움직임 데이터의 상기 적어도 두 세트들을 제공하기 위한 수단;

   영상 n에 대한 출력 움직임 벡터의 계산을 위해 복수의 연속하는 영상들을 통한 에러 기준(error criterion)을 사용하여 움직임 데이터의 상기 적어도 두 세트들 중 하나를 선택하기 위한 수단; 및

   움직임 데이터의 상기 적어도 두 세트들 중 상기 선택된 하나로부터 화상 반복 레이트를 검출하기 위한 수단을 포함하는, 디스플레이 장치.
5. 스캔 레이트 변환된 비디오 데이터의 스캔 레이트 반복 패턴(scan rate repetition pattern)을 검출하는 방법에 있어서:

   상이한 이전의 영상 쌍들의 영상 필드들로부터 움직임 데이터의 적어도 두 세트들을 획득하는 단계;

   선택 처리를 위한 후보들로서 움직임 데이터의 상기 적어도 두 세트들을 제공하는 단계;

   영상 n에 대한 출력 움직임 벡터의 계산을 위해 복수의 연속하는 영상들을 통한 에러 기준을 사용하여 움직임 데이터의 상기 적어도 두 세트들 중 하나를 선택하는 단계; 및

   움직임 데이터의 상기 적어도 두 세트들 중 상기 선택된 하나로부터 화상 반복 레이트를 검출하는 단계를 포함하는, 스캔 레이트 반복 패턴 검출 방법.
6. 제5항에 있어서, 상기 움직임 데이터 세트는 움직임 파라미터를 나타내는, 스캔 레이트 반복 패턴 검출 방법.
7. 제5항에 있어서, 상기 움직임 데이터 세트는 움직임 벡터를 나타내는, 스캔 레이트 반복 패턴 검출 방법.
8. 제5항에 있어서, 시간적으로 연속하는 영상들(n-1, n)을 발생하도록 입력 비디오 신호를 지연하는 단계를 더 포함하는, 스캔 레이트 반복 패턴 검출 방법.
9. 제7항에 있어서, 상기 선택 처리를 위한 후보들로서 복수의 움직임 벡터들을 제공하는 단계를 더 포함하는, 스캔 레이트 반복 패턴 검출 방법.
10. 제5항에 있어서, 상기 스캔 반복 패턴은, A) 3-2 풀 다운 및 B) 2-2 풀 다운 중 적어도 하나인, 스캔 레이트 반복 패턴 검출 방법.
11. 스캔 레이트 변환된 비디오 데이터의 스캔 레이트 반복 패턴을 검출하는 장치에 있어서:

    상이한 이전의 영상 쌍들의 영상 필드들로부터 움직임 데이터의 적어도 두 세트들을 획득하기 위한 수단;

    선택 처리를 위한 후보들로서 움직임 데이터의 상기 적어도 두 세트들을 제공하기 위한 수단;

    영상 n에 대한 출력 움직임 벡터의 계산을 위해 복수의 연속하는 영상들을 통한 에러 기준을 사용하여 움직임 데이터의 상기 적어도 두 세트들 중 하나를 선택하기 위한 수단; 및

    움직임 데이터의 상기 적어도 두 세트들 중 상기 선택된 하나로부터 화상 반복 레이트를 검출하기 위한 수단을 포함하는, 스캔 레이트 반복 패턴 검출 장치.
12. 스캔 레이트 변환된 비디오 데이터의 스캔 레이트 반복 패턴을 검출하는 VGA 제어기에 있어서:

    상이한 이전의 영상 쌍들의 영상 필드들로부터 움직임 데이터의 적어도 두 세트들을 획득하기 위한 수단;

    선택 처리를 위한 후보들로서 움직임 데이터의 상기 적어도 두 세트들을 제공하기 위한 수단;

    영상 n에 대한 출력 움직임 벡터의 계산을 위해 복수의 연속하는 영상들을 통한 에러 기준을 사용하여 움직임 데이터의 상기 적어도 두 세트들 중 하나를 선택하기 위한 수단; 및

    움직임 데이터의 상기 적어도 두 세트들 중 상기 선택된 하나로부터 화상 반복 레이트를 검출하기 위한 수단을 포함하는, 스캔 레이트 반복 패턴 검출용 VGA 제어기.

Images