KR20060083978A - 움직임 벡터 필드 리－타이밍 - Google Patents

움직임 벡터 필드 리－타이밍 Download PDF

Info

Publication number
KR20060083978A
KR20060083978A KR1020067005475A KR20067005475A KR20060083978A KR 20060083978 A KR20060083978 A KR 20060083978A KR 1020067005475 A KR1020067005475 A KR 1020067005475A KR 20067005475 A KR20067005475 A KR 20067005475A KR 20060083978 A KR20060083978 A KR 20060083978A
Authority
KR
South Korea
Prior art keywords
motion vector
motion
image
vector field
motion vectors
Prior art date
Application number
KR1020067005475A
Other languages
English (en)
Inventor
림머트 비. 위테브로오드
제라드 드 하안
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20060083978A publication Critical patent/KR20060083978A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

특정 공간 위치를 가지며 일련의 비디오 이미지들 중 제 1 이미지 및 제 2 이미지 사이의 시간 위치(n+α)에 놓인 특정 화소에 대해, 상기 제 1 이미지에 대해 제 1 움직임 벡터 필드(
Figure 112006019009436-PCT00115
)가 추정되고 상기 제 2 이미지에 대해 제 2 움직임 벡터 필드(
Figure 112006019009436-PCT00116
)가 추정되는 것에 기초하여, 특정 움직임 벡터(
Figure 112006019009436-PCT00117
)를 추정하는 방법이 개시된다. 이 방법은 상기 특정 화소의 상기 특정 공간 위치에 기초하여, 상기 제 1 움직임 벡터 필드(
Figure 112006019009436-PCT00118
) 및 제 2 움직임 벡터 필드(
Figure 112006019009436-PCT00119
)로부터 다수의 움직임 벡터들을 선택함으로써 한 세트의 움직임 벡터들(
Figure 112006019009436-PCT00120
,
Figure 112006019009436-PCT00121
,
Figure 112006019009436-PCT00122
)을 생성하는 단계; 및 상기 한 세트의 움직임 벡터들(
Figure 112006019009436-PCT00123
,
Figure 112006019009436-PCT00124
,
Figure 112006019009436-PCT00125
)에 오더 통계 연산을 수행함으로써 상기 특정 움직임 벡터(
Figure 112006019009436-PCT00126
)를 확정하는 단계를 포함한다.
움직임 벡터, 벡터 필드, 오더 통계 연산, 특정 화소, 컴퓨터 프로그램 제품

Description

움직임 벡터 필드 리－타이밍{Motion vector field re-timing}
본 발명은 특정 공간 위치를 가지며 일련의 비디오 이미지들 중 제 1 이미지 및 제 2 이미지 사이의 시간 위치에 놓인 특정 화소에 대해, 제 1 이미지에 대해 제 1 움직임 벡터 필드가 추정되고 제 2 이미지에 대해 제 2 움직임 벡터 필드가 추정되는 것에 기초하여, 특정 움직임 벡터를 추정하는 방법에 관한 것이다.
본 발명은 또한 특정 공간 위치를 가지며 일련의 비디오 이미지들 중 제 1 이미지 및 제 2 이미지 사이의 시간 위치에 놓인 특정 화소에 대해, 제 1 이미지에 대해 제 1 움직임 벡터 필드가 추정되고 제 2 이미지에 대해 제 2 움직임 벡터 필드가 추정되는 것에 기초하여, 특정 움직임 벡터를 추정하는 움직임 추정 유닛에 관한 것이다.
본 발명은 또한,
- 일련의 비디오 이미지들에 대응하는 신호를 수신하는 수신 수단;
- 상기 비디오 이미지들 중 제 1 이미지에 대해 제 1 움직임 벡터 필드를 추정하고 상기 비디오 이미지들 중 제 2 이미지에 대해 제 2 움직임 벡터 필드를 추정하는 움직임 추정 수단;
- 특정 움직임 벡터를 추정하는 것으로, 위에 기술한 바와 같은 움직임 추정 유닛; 및
- 상기 일련의 비디오 이미지들 및 상기 특정 움직임 벡터에 기초하여 일련의 출력 이미지들을 계산하는 이미지 처리 유닛을 포함하는, 이미지 처리 장치에 관한 것이다.
본 발명은 또한 처리 수단 및 메모리를 포함하는 컴퓨터 장치에 의해 로딩되는 것으로서, 특정 공간 위치를 가지며 일련의 비디오 이미지들 중 제 1 이미지 및 제 2 이미지 사이의 시간 위치에 놓인 특정 화소에 대해, 제 1 이미지에 대해 제 1 움직임 벡터 필드가 추정되고 제 2 이미지에 대해 제 2 움직임 벡터 필드가 추정되는 것에 기초하여, 특정 움직임 벡터를 추정하는 명령들을 포함하는 것인 컴퓨터 프로그램 제품에 관한 것이다.
오클루전 영역(occlusion area)은 캡처되는 장면의 일부에 대응하는 영역, 즉 일련의 연속한 이미지들 중 어떤 이미지에서는 보이지만 다음 혹은 이전 이미지에서는 보이지 않는 영역을 의미한다. 이것은 배경 객체들보다 카메라에 더 가까이 위치한 장면 내 전경 객체들은 배경 객체들의 부분들을 가릴 수 있다는 사실에 의해 야기된다. 예를 들면 전경 객체들이 이동하는 경우 배경 객체들의 어떤 부분들은 오클루전되고, 반면 배경 객체들의 다른 부분들은 나타나게 된다.
오클루전 영역들은 시간적 보간들에서 아티팩트들을 야기할 수 있다. 예를 들면, 업-변환(up-conversion)의 경우, 오클루전 영역들은 소위 할로들(halos)로 나타날 수 있다. 업-변환의 경우, 업-변환된 출력 이미지들을 시간적 보간에 의해 계산하기 위해서 움직임 벡터들이 추정된다. 시간적 보간에 있어서, 즉 두 개의 원 입력 이미지들 사이의 새로운 이미지의 계산에 있어서, 바람직하게는 하나의 동일 객체에 관계되는 다수의 화소들이, 연속한 이미지들로부터 취해진다. 이것은 오클루전 영역들의 경우에는 두 연속한 이미지들에서는 어떠한 관계된 화소들도 발견될 수 없기 때문에 수월하게 행해질 수 없다. 통상적으로 이전 혹은 다음 원 이미지만의 화소값들의 보간에 근거한 그외 다른 보간 전략들이 요구된다. 오클루전 영역들에 대한 적합한 움직임 벡터들의 추정이 중요함은 명백할 것이다.
서두에 기술된 종류의 유닛의 실시예가 WO 01/88852 호로부터 공지되어 있다. 이전 이미지와 다음 이미지간의 시간적 중간의 위치에서의 움직임을 검출하는 공지의 장치는 후보 움직임 벡터들에 대한 기준 함수를 최적화하고, 이에 의해 기준함수가 이전 및 다음 이미지 둘 다로부터의 데이터에 의존하게 하는 최적화 수단을 구비한다. 움직임은 가려지는 영역과 드러나는 영역내 시간적 중간 위치에서 검출된다. 공지의 장치는 가려지는 영역 및 드러나는 영역을 검출하는 수단을 구비하며, 이의 최적화 수단은 가려지는 영역들 내 다음 이미지의 시간적 위치에서 그리고 드러나는 영역들 내 이전 이미지의 시간적 위치에서 최적화를 수행하게 구성된다.
본 발명의 목적은 비교적 확고한, 서두에 기술된 종류의 방법을 제공하는 것이다.
본 발명의 목적은 상기 방법이,
- 특정 화소의 특정 공간 위치에 기초하여, 제 1 움직임 벡터 필드 및 제 2 움직임 벡터 필드로부터 다수의 움직임 벡터들을 선택함으로써 한 세트의 움직임 벡터들을 생성하는 단계; 및
- 상기 한 세트의 움직임 벡터들에 오더 통계 연산(order statistical operation)을 수행함으로써 상기 특정 움직임 벡터를 확정하는 단계를 포함하는 것에 의해 달성된다.
바람직하게, 오더 통계 연산은 중앙값 연산이다. 본 발명에 따른 방법은 한 세트의 움직임 벡터들로부터 중간 움직임 벡터 필드에 대한 적합한 움직임 벡터의 선택에 근거하는 것으로, 움직임 벡터들이 일련의 원 입력 이미지들의 이미지들에 대해 계산되는 것을 포함한다. 이들 원 입력 이미지들에 대해, 올바른 움직임 벡터들이 추정될 확률은 비교적 높다. 특히 이들 움직임 벡터들이 3 이상의 입력 이미지들에 기초하여 추정되었을 때이다. 2개의 입력 이미지들에 기초하여 중간 시간 위치에 대해 움직임 벡터의 직접적인 추정은 일반적으로 오클루전 영역들에 대해 오류의 움직임 벡터들로 된다. 이전 및 다음 원 이미지에 대해 추정되는 움직임 벡터들을 적용함으로써 중간 시간 위치에 대해 확실한 움직임 벡터 필드가 된다. 선택적으로, 중간 시간 위치에서 초기에 추정되는 초기 움직임 벡터는 한 세트의 움직임 벡터들의 원소로서 사용되고 및/또는 일련의 원 입력 이미지들 중 어떤 이미지들의 움직임 벡터들이 선택되어야 하는지를 결정하는데 사용된다.
본 발명에 따른 방법의 실시예에서, 한 세트의 움직임 벡터들을 생성하는 단계는 상기 특정 화소의 상기 특정 공간 위치에 대응하는 제 1 공간 위치를 갖는 상기 제 1 이미지에 대해 추정되는 제 1 움직임 벡터를 선택하는 단계를 포함한다. 즉, 눌 벡터에 기초하여, 제 1 이미지에 대해 추정되는 제 1 움직임 벡터가 선택된다. 본 발명에 따른 이 실시예의 잇점은 중간 움직임 벡터 필드의 어떠한 초기 계산도 요구되지 않는다는 것이다. 바람직하게, 선택된 제 1 움직임 벡터는 이어서, 세트의 생성을 위한 다른 움직임 벡터들을 선택하는데 사용된다. 따라서, 바람직하게 한 세트의 움직임 벡터들을 생성하는 단계는 상기 특정 화소의 상기 특정 공간 위치 및 선택된 상기 제 1 움직임 벡터에 의해 결정되는 제 2 공간 위치를 갖는 상기 제 1 이미지에 대해 추정되는 제 2 움직임 벡터를 선택하는 단계를 포함하며, 상기 한 세트의 움직임 벡터들을 생성하는 단계는 상기 특정 화소의 상기 특정 공간 위치 및 선택된 상기 제 1 움직임 벡터에 의해 결정되는 제 3 공간 위치를 갖는 상기 제 2 이미지에 대해 추정되는 제 3 움직임 벡터를 선택하는 단계를 포함한다.
본 발명에 따른 방법의 실시예에서, 한 세트의 움직임 벡터들을 생성하는 단계는 상기 특정 화소의 상기 특정 공간 위치 및 특정 화소에 대해 추정되는 제 1 움직임 벡터에 의해 결정되는 제 2 공간 위치를 갖는 상기 제 1 이미지에 대해 추정되는 제 2 움직임 벡터를 선택하는 단계를 포함한다. 바람직하게, 한 세트의 움직임 벡터들을 생성하는 단계는 상기 특정 화소의 상기 특정 공간 위치 및 특정 화소에 대해 추정되는 제 1 움직임 벡터에 의해 결정되는 제 3 공간 위치를 갖는 상기 제 2 이미지에 대해 추정되는 제 3 움직임 벡터를 선택하는 단계를 포함한다.
본 발명에 따른 방법의 실시예에서, 한 세트의 움직임 벡터들을 생성하는 단계는 상기 특정 화소의 상기 특정 공간 위치에 대응하는 제 2 공간 위치를 갖는 제 2 이미지에 대해 추정되는 제 2 움직임 벡터를 선택하는 단계를 포함한다. 본 발명에 따른 이 실시예의 잇점은 제 1 및 제 2 움직임 벡터의 선택이 수월하다는 것, 즉 특정 공간 위치에 근거한다는 것이다. 바람직하게, 한 세트의 움직임 벡터들을 생성하는 단계는 제 3 공간 위치를 갖는 제 1 이미지에 대해 추정되는 제 3 움직임 벡터 및 제 4 공간 위치를 갖는 제 1 이미지에 대해 추정되는 제 4 움직임 벡터를 선택하는 단계를 더 포함하고, 제 1 공간 위치, 제 3 공간 위치 및 제 4 공간 위치는 한 라인 상에 위치한다. 바람직하게, 제 2 움직임 벡터 필드로부터 선택되는 움직임 벡터들은 제 2 라인 상에 위치한다. 제 1 라인의 방위는 제 1 움직임 벡터에 상응하며 제 2 라인의 방위는 제 2 움직임 벡터에 상응한다. 제 1 공간 위치 및 제 2 공간 위치의 공간적 이웃에 비교적 많은 수의 움직임 벡터들을 선택함으로써 한 세트의 움직임 벡터들을 생성하는 잇점은 확고성이다. 움직임 벡터 필드 당 선택된 움직임 벡터들의 수, 즉 오더 통계적 연산을 수행하기 위한 필터의 애퍼처는 예상 최대 움직임 즉 최대 움직임 벡터들의 크기에 관계된다.
본 발명에 따른 방법의 실시예는 제 1 중간 움직임 벡터 필드를 상기 제 1 중간 움직임 벡터 필드보다 더 높은 분해능(resolution)을 갖는 상기 제 1 움직임 벡터 필드로의 업-변환을 포함하고, 제 2 중간 움직임 벡터 필드를 상기 제 2 중간 움직임 벡터 필드보다 더 높은 분해능을 갖는 제 2 움직임 벡터 필드로의 업-변환을 포함한다. 이 업-변환은 바람직하게는 소위 블록 이로전에 의해 수행된다. 블록 이로전은 화소들의 특정 블록의 움직임 벡터 및 이웃하는 화소 블록들의 움직임 벡터들에 기초하여 특정 블록의 화소들에 대해 서로 다른 움직임 벡터들을 계산하는 공지의 방법이다. 블록 이로전(block erosion)은 예를 들면 미국특허 제 5,148,269 호에 개시되어 있다. 분해능을 증가시킴으로써, 제 1 공간 위치 및 제 2 공간 위치의 공간적 위치에서 보다 많은 움직임 벡터들이 생성되므로 특정 움직임 벡터는 더욱 신뢰성있게 된다.
본 발명의 다른 목적은 비교적 확고한, 서두에 기술한 종류의 움직임 추정 유닛을 제공하는 것이다.
본 발명의 이 목적은 움직임 추정 유닛이,
- 특정 화소의 특정 공간 위치에 기초하여, 제 1 움직임 벡터 필드 및 제 2 움직임 벡터 필드로부터 다수의 움직임 벡터들을 선택함으로써 한 세트의 움직임 벡터들을 생성하는 세트 생성 수단; 및
- 상기 한 세트의 움직임 벡터들에 오더 통계 연산을 수행함으로써 상기 특정 움직임 벡터를 확정하는 확정 수단을 포함하는 것에 의해 달성된다.
본 발명의 다른 목적은 비교적 확고한 움직임 추정 유닛을 포함하는 서두에 기술한 종류의 이미지 처리 장치를 제공하는 것이다.
본 발명의 이 목적은 이동 추정 유닛이, 특정 화소의 특정 공간 위치에 기초하여, 제 1 움직임 벡터 필드 및 제 2 움직임 벡터 필드로부터 다수의 움직임 벡터들을 선택함으로써 한 세트의 움직임 벡터들을 생성하는 세트 생성 수단; 및
한 세트의 움직임 벡터들에 오더 통계 연산을 수행함으로써 상기 특정 움직임 벡터를 확정하는 확정 수단을 포함하는 것에 의해 달성된다.
선택적으로, 이미지 처리 장치는 출력 이미지들을 디스플레이하기 위한 디스플레이 디바이스를 더 포함한다. 이미지 처리 장치는 예를 들면 TV, 셋탑박스, VCR(비디오 카세트 레코더) 플레이어, 위성튜너, DVD(디지털 다기능 디스크) 플레이어 혹은 레코더일 수도 있을 것이다.
본 발명의 다른 목적은 비교적 확고한 서두에 기술된 종류의 컴퓨터 프로그램 제품을 제공하는 것이다.
발명의 이 목적은 로딩된 후에, 컴퓨터 프로그램 제품이, 특정 화소의 특정 공간 위치에 기초하여, 제 1 움직임 벡터 필드 및 제 2 움직임 벡터 필드로부터 다수의 움직임 벡터들을 선택함으로써 한 세트의 움직임 벡터들을 생성하는 단계; 및
상기 한 세트의 움직임 벡터들에 오더 통계 연산을 수행함으로써 상기 특정 움직임 벡터를 확정하는 단계를 수행하는 능력을 상기 처리 수단에 제공하는 것에 의해 달성된다.
움직임 추정 유닛의 수정 및 이의 변형들은 기술된 이미지 처리 장치, 방법 및 컴퓨터 프로그램 제품의 수정 및 이의 변형에 대응할 수 있다.
본 발명에 따른 움직임 추정 유닛, 이미지 처리 장치, 방법 및 컴퓨터 프로그램 제품의 이들 및 다른 특징들은 여기 기술된 구현 및 실시예에 관하여 그리고 첨부한 도면을 참조로 명백하게 될 것이며 이들을 기술한다.
도 1은 전경 객체의 움직임과 장면 내 배경의 움직임을 개략적으로 도시한 도면.
도 2는 도 1에 도시한 이미지들에 대해 추정되는 움직임 벡터 필드들을 개략적으로 도시한 도면.
도 3은 두 예의 화소들에 대해 본 발명에 따른 방법을 개략적으로 도시한 도면.
도 4는 중간 시간 위치에서 어떠한 초기 움직임 벡터 필드도 계산되지 않은 경우에 두 예의 화소들에 대해 본 발명에 따른 방법을 개략적으로 도시한 도면.
도 5a는 3개의 움직임 벡터 필드들이 제공되는 본 발명에 따른 움직임 추정 유닛의 실시예를 개략적으로 도시한 도면.
도 5b는 두 움직임 벡터 필드들이 제공되는 본 발명에 따른 움직임 추정 유닛의 실시예를 개략적으로 도시한 도면.
도 6a는 본 발명에 따른 실시예에 적용되는 한 세트의 움직임 벡터들의 생성을 개략적으로 도시한 도면.
도 6b는 본 발명에 따른 다른 실시예에 적용되는 한 세트의 움직임 벡터들의 생성을 개략적으로 도시한 도면.
도 7은 본 발명에 따른 이미지 처리 장치의 실시예를 개략적으로 도시한 도면.
도면에서 동일 구성요소에 동일 참조부호를 사용한다.
도 1은 장면 내 전경 객체(118)의 움직임과 배경의 움직임을 개략적으로 도시한 것이다. 도 1에서, 시간적 위치 n-1 및 n에서의 두 개의 원 이미지들(100, 104)이 도시되었다. 이들 이미지들 내의 객체(118)는 상향 방향
Figure 112006019009436-PCT00001
로 이동하고 있고, 실선(106, 108)으로 연결한 그레이 사각형들(gray rectangles)로 나타내었다. 좁은 긴 점선(110, 112)은 배경
Figure 112006019009436-PCT00002
의 하향 이동을 나타낸다. 해칭된 영역들(hatched regions)(114, 116)은 오클루전 영역들을 나타낸다. -1≤α≤0, n+α인 시간적 위치에서 생성되어야 하는 새로운 이미지(102)는 점선(120)으로 표시하였다.
도 2는 도 1에 도시한 이미지들에 대해 추정되는 움직임 벡터 필드들을 개략적으로 도시한 것으로, 즉 추정된 움직임 벡터 필드들을 화살표들로 나타내었다. 제 1 움직임 벡터 필드는 2개의 원 이미지들 중 제 1 이미지(100)에 대해 추정된 것이고 제 2 움직임 벡터 필드는 두 개의 원 이미지들 중 제 2 이미지(104)에 대해 추정된 것이다. 이들 두 움직임 벡터 필드들은 3-프레임 움직임 추정기에의해 계산된다. 제 1 움직임 벡터 필드는
Figure 112006019009436-PCT00003
로 표기하였다. 이 제 1 움직임 벡터 필드는 휘도 프레임들
Figure 112006019009436-PCT00004
,
Figure 112006019009436-PCT00005
와
Figure 112006019009436-PCT00006
사이에서 추정된다. 제 2 움직임 벡터 필드는
Figure 112006019009436-PCT00007
으로 표기하였다. 이 제 2 움직임 벡터 필드는 휘도 프레임들
Figure 112006019009436-PCT00008
,
Figure 112006019009436-PCT00009
와
Figure 112006019009436-PCT00010
사이에서 추정된다. 또한 제 1 및 제 2 움직임 필드 사이의 시간적 위치 n+α에 대해 초기 움직임 벡터 필드가 계산되었다. 이 초기 움직임 벡터 필드
Figure 112006019009436-PCT00011
는 휘도 프레임들
Figure 112006019009436-PCT00012
와
Figure 112006019009436-PCT00013
사이에서 추정된다. 3-프레임 움직임 추정기의 움직임 벡터 필드들
Figure 112006019009436-PCT00014
및
Figure 112006019009436-PCT00015
은 실질적으로 전경 객체(118)와 매칭되고, 2-프레임 움직임 추정기의 움직임 벡터 필드
Figure 112006019009436-PCT00016
는 배경으로 확장하는 전경 벡터들을 나타내는 것임에 유의한다.
본 발명의 방법에 따라서, 최종 움직임 벡터 필드
Figure 112006019009436-PCT00017
는 모든 위치들에서, 즉 가려진 영역 및 드러난 영역에서도 적합한 움직임 벡터들을 갖는 3개의 움직임 벡터 필드들
Figure 112006019009436-PCT00018
,
Figure 112006019009436-PCT00019
및
Figure 112006019009436-PCT00020
을 사용하여 계산될 수 있다. 이것은 배경 벡터가 오클루전 영역들에서 결정됨을 의미한다. 이 최종의 움직임 벡터 필드
Figure 112006019009436-PCT00021
는 2-프레임 움직임 추정기로부터의 움직임 벡터
Figure 112006019009436-PCT00022
와, 움직임 벡터 필드들
Figure 112006019009436-PCT00023
및
Figure 112006019009436-PCT00024
로부터 벡터
Figure 112006019009436-PCT00025
로 페치된(fetched) 움직임 벡터들과의 중앙값을 취함으로써 생성되는 것이 바람직하다. 이들 후자의 벡터들은
Figure 112006019009436-PCT00026
및
Figure 112006019009436-PCT00027
로 표기된다. 중앙값은 아래의 식(1)에서 명시된다.
Figure 112006019009436-PCT00028
(1)
여기서, "med" 연산자는 벡터 중앙값 혹은 개별적으로 벡터 성분들에 대한 중앙값일 수 있다. 움직임 벡터들이 서브픽셀로 정확한 경우에, 바람직하게 적합한 보간이 수행된다. 벡터 중앙값 연산은 제이. 아스톨라(J. Astola) 외의 "Vector median filters" in Proceedings of the IEEE, 78:678-689, 1990년 4월, 논문에 명시된 바와 같다. 벡터 중앙값은 식(2) 및 식(3)에 의해 명시될 수 있다.
Figure 112006019009436-PCT00029
(2)
와 같이 놓으면,
Figure 112006019009436-PCT00030
이 된다.
도 3은 각각 공간 위치들
Figure 112006019009436-PCT00031
및
Figure 112006019009436-PCT00032
에서의 2개의 예로서의 화소들에 대해 본 발명에 따른 방법을 개략적으로 도시한 것이다. 먼저, 위치
Figure 112006019009436-PCT00033
에서의 화소 주변의 상황을 고찰한다. 초기 움직임 벡터 필드
Figure 112006019009436-PCT00034
로부터의 움직임 벡터
Figure 112006019009436-PCT00035
는 제 1 벡터 필드
Figure 112006019009436-PCT00036
및 제 2 움직임 벡터 필드
Figure 112006019009436-PCT00037
로부 터 움직임 벡터들
Figure 112006019009436-PCT00038
및
Figure 112006019009436-PCT00039
을 페치(fetch)하기 위해서 사용한다. 이 선택 프로세스를 두꺼운 화살표 300, 302으로 각각 나타내었다. 초기 움직임 벡터 필드
Figure 112006019009436-PCT00040
로부터
Figure 112006019009436-PCT00041
로부터 움직임 벡터는 전경 벡터이지만, 페치한 벡터들
Figure 112006019009436-PCT00042
및
Figure 112006019009436-PCT00043
은 둘 모두 배경 벡터들이므로, 중앙값 연산자는 배경 벡터를 선택할 것이다.
위치
Figure 112006019009436-PCT00044
에서 다른 화소에 대해 적합한 움직임 벡터를 확정하기 위해서 유사한 프로세스가 사용될 수 있다. 초기 움직임 벡터 필드
Figure 112006019009436-PCT00045
로부터의 움직임 벡터
Figure 112006019009436-PCT00046
는 제 1 벡터 필드
Figure 112006019009436-PCT00047
및 제 2 움직임 벡터 필드
Figure 112006019009436-PCT00048
로부터 각각 움직임 벡터들
Figure 112006019009436-PCT00049
및
Figure 112006019009436-PCT00050
를 페치하기 위해서 사용한다. 이 선택 프로세스를 두꺼운 화살표 304, 306으로 각각 나타내었다. 여기서,
Figure 112006019009436-PCT00051
및
Figure 112006019009436-PCT00052
로 페치된 움직임 벡터들은 각각 배경 및 전경 벡터들이다. 초기 움직임 벡터 필드
Figure 112006019009436-PCT00053
로부터 움직임 벡터
Figure 112006019009436-PCT00054
는 또한 배경 벡터이기 때문에, 중앙값 연산자는 다시 배경 벡터를 선택할 것이다.
도 2 및 도 3과 관련하여, 시간적 위치 n+α에서의 움직임 벡터가 초기 움직임 벡터 필드
Figure 112006019009436-PCT00055
에 근거하여 결정되었음을 기술하였다. 도 4는 중간 시간 위치에 있어서 어떠한 초기 움직임 벡터 필드
Figure 112006019009436-PCT00056
도 계산되지 않은 경우에 2가지 예로서의 화소들에 대해 본 발명에 따른 방법을 개략적으로 도시한 것이다. 예로서의 화소들은 각각 공간상의 위치들
Figure 112006019009436-PCT00057
및
Figure 112006019009436-PCT00058
에 각각 위치한다.
먼저, 위치
Figure 112006019009436-PCT00059
에서의 화소 주변 상황을 고찰한다. 제 1 움직임 벡터 필드
Figure 112006019009436-PCT00060
로부터 움직임 벡터
Figure 112006019009436-PCT00061
는 제 1 벡터 필드
Figure 112006019009436-PCT00062
및 제 2 움직임 벡터 필드
Figure 112006019009436-PCT00063
로부터 움직임 벡터들
Figure 112006019009436-PCT00064
및
Figure 112006019009436-PCT00065
을 페치하는데 사용된다. 움직임 벡터
Figure 112006019009436-PCT00066
은 제 1 화소의 눌 움직임 벡터 및 공간 위치
Figure 112006019009436-PCT00067
들을 토대로 발견된다. 이것을 점선 화살표 400으로 표시하였다. 선택 프로세스는 두꺼운 화살표 300, 302로 각각 나타내었다. 움직임 벡터
Figure 112006019009436-PCT00068
은 배경 벡터이지만, 페치된 벡터들
Figure 112006019009436-PCT00069
및
Figure 112006019009436-PCT00070
둘 다 배경 벡터들이기 때문에, 중앙값 연산자는 배경 벡터를 선택할 것이다.
유사한 프로세스가 위치
Figure 112006019009436-PCT00071
에서의 다른 화소에 대한 적합한 움직임 벡터를 확정하는데 사용될 수 있다. 제 2 움직임 벡터 필드
Figure 112006019009436-PCT00072
으로부터의 움직임 벡터
Figure 112006019009436-PCT00073
는 각각 제 1 벡터 필드
Figure 112006019009436-PCT00074
및 제 2 움직임 벡터 필드
Figure 112006019009436-PCT00075
으로부터 움직임 벡터들
Figure 112006019009436-PCT00076
및
Figure 112006019009436-PCT00077
를 페치하는데 사용된다. 움 직임 벡터
Figure 112006019009436-PCT00078
는 제 2 화소의 눌 움직임 벡터 및 공간 위치
Figure 112006019009436-PCT00079
를 토대로 발견된다. 이것을 점선 화살표(402)로 나타내었다. 선택 프로세스는 두꺼운 화살표 304 및 306으로 각각 나타내었다. 여기서, 페치된 움직임 벡터들
Figure 112006019009436-PCT00080
및
Figure 112006019009436-PCT00081
은 각각 배경 및 전경벡터들이다. 움직임 벡터
Figure 112006019009436-PCT00082
는 역시 배경 벡터이기 때문에, 중앙값 연산자는 배경 벡터를 다시 선택할 것이다.
도 5a는 본 발명에 따른 움직임 추정 유닛(500)의 실시예를 개략적으로 도시한 것으로, 시간 위치 n+α에 있어서 최종 벡터 필드를 계산하도록 구성된다. 움직임 추정 유닛(500)에는 3개의 움직임 벡터 필드들이 제공된다. 이들 제공된 움직임 벡터 필드들 중 제 1
Figure 112006019009436-PCT00083
및 제 2
Figure 112006019009436-PCT00084
는 3-프레임 움직임 추정기(506)에 의해 계산된다. 3-프레임 움직임 추정기(506)의 예는 미국특허 제 6,011,596 호에 개시되어 있다. 제 3 제공된 움직임 벡터 필드
Figure 112006019009436-PCT00085
는 2-프레임 움직임 추정기(508)에 의해 계산된다. 이 2-프레임 움직임 추정기(508)는 예를 들면 "True-Motion Estimation with 3-D Recursive Search Block Matching", 지. 드 하안(G. de Haan) 외 in IEEE Transactions on circuits and systems for video technology, 볼륨 3, 넘버 5, 1993년 10월, 페이지 368-379의 논문에 명시된 바와 같다.
본 발명에 따른 움직임 추정 유닛(500)은 특정 화소에 대한 특정 움직임 벡터를 추정하게 구성되며,
각각, 제 1 움직임 벡터 필드
Figure 112006019009436-PCT00086
, 제 2 움직임 벡터 필드
Figure 112006019009436-PCT00087
및 제 3 움직임 벡터 필드
Figure 112006019009436-PCT00088
으로부터 다수의 움직임 벡터들을 특정 화소의 특정 공간 위치에 기초하여 선택함으로써 한 세트의 움직임 벡터들
Figure 112006019009436-PCT00089
,
Figure 112006019009436-PCT00090
및
Figure 112006019009436-PCT00091
를 생성하는 세트 생성 유닛(502); 및
한 세트의 움직임 벡터들에 대해 오더 통계적 연산을 수행함으로써 특정 움직임 벡터
Figure 112006019009436-PCT00092
를 확정하는 확정 유닛(504)을 포함한다.
본 발명에 따른 움직임 추정 유닛(500)의 작용은 도 3에 관련하여 기술된 바와 같다.
3-프레임 움직임 추정기(506), 2-프레임 움직임 추정기(58), 세트 생성 유닛(502), 및 확정 유닛(504)은 하나의 프로세서를 사용하여 구현될 수 있다. 통상, 이들 기능들은 소프트웨어 프로그램 제품의 제어 하에 수행된다. 실행 중에, 통상적으로 소프트웨어 프로그램 제품은 RAM과 같은 메모리에 로딩되고, 그로부터 실행된다. 프로그램은 ROM, 하드디스크, 혹은 자기 및/또는 광학저장장치와 같은 배경 메모리로부터 로딩될 수 있고, 혹은 인터넷과 같은 네트워크를 통해 로딩될 수도 있다. 옵션으로 ASIC은 개시된 기능을 제공한다.
도 5b는 본 발명에 따른 움직임 추정 유닛(501)의 대안적 실시예를 개략적으로 도시한 것이다. 이 움직임 추정 유닛(501)은 움직임 벡터 리-타이밍 유닛(501)이라고 하는데, 움직임 벡터 리-타이밍 유닛(501)은 시간 위치들 n-1 및 n에 위치 한 2개의 제공된 움직임 벡터 필드들
Figure 112006019009436-PCT00093
및
Figure 112006019009436-PCT00094
에 중간인 시간 위치 n+α에서 최종 움직임 벡터 필드를 계산하게 구성되기 때문이다. 이들 제공된 움직임 벡터 필드들 중 제 1
Figure 112006019009436-PCT00095
및 제 2
Figure 112006019009436-PCT00096
은 3-프레임 움직임 추정기(506)에 의해 계산된다. 3-프레임 움직임 추정기(506)의 예는 미국특허 US 6,011,596 호에 개시되어 있다.
본 발명에 따른 움직임 추정 유닛(501)은 특정 화소에 대한 특정 움직임 벡터를 추정하게 구성되며,
특정 화소의 특정 공간 위치에 기초하여, 제 1 움직임 벡터 필드
Figure 112006019009436-PCT00097
및 제 2 움직임 벡터 필드
Figure 112006019009436-PCT00098
로부터 다수의 움직임 벡터들을 선택함으로써 한 세트의 움직임 벡터들
Figure 112006019009436-PCT00099
,
Figure 112006019009436-PCT00100
및
Figure 112006019009436-PCT00101
을 생성하는 세트 생성 유닛(502); 및
상기 한 세트의 움직임 벡터들에 오더 통계 연산을 수행함으로써 상기 특정 움직임 벡터
Figure 112006019009436-PCT00102
를 확정하는 확정 유닛(504)를 포함한다.
본 발명에 따른 움직임 추정 유닛(501)의 작용은 도 4에 관련하여 기술한 바와 같다.
본 발명에 따른 움직임 추정 유닛에서 생성된 한 세트의 움직임 벡터들은 도 3 및 도 4에 관련하여 기술된 예들에서 3개의 움직임 벡터들보다 높을 수도 있을 것임에 유의한다.
서로 다른 시간 위치들 n-1, n+α 및 n에 있어서의 움직임 벡터들의 계산은 동기하여 수행되는 것이 바람직하다. 이것은 예를 들면 시간 위치 n-1에 있어서 특정 움직임 벡터 필드는 대응하는 원 입력 비디오 이미지의 모든 화소들의 움직임을 함께 나타내는 일 군의 움직임 벡터들에 반드시 대응할 필요가 없음을 의미한다. 즉, 움직임 벡터 필드는 예를 들면 대응하는 원 입력 비디오 이미지의 화소들의 단지 10%만인, 화소들의 일부의 움직임을 나타내는 일군의 움직임 벡터들에 대응할 수도 있을 것이다.
도 6a는 본 발명에 따른 실시예에 적용되는 한 세트의 움직임 벡터들의 생성을 개략적으로 도시한 것이다. 도 6a는 제 1 이미지에 대해 추정되는 제 1 움직임 벡터 필드(620) 및 제 2 이미지에 대해 추정되는 제 2 움직임 벡터 필드(622)를 개략적으로 도시한 것이다. 한 세트의 움직임 벡터들은, 특정 움직임 벡터가 확정되어야 하는 특정 화소의 특정 공간 위치에 기초해서, 제 1 움직임 벡터 필드(620) 및 제 2 움직임 벡터로부터 다수의 움직임 벡터들을 선택함으로써 생성된다. 특정 화소는 일련의 비디오 이미지들의 제 1 이미지와 제 2 이미지의 중간의 시간 위치 (n+α)에서 위치한다. 한 세트의 움직임 벡터들은 제 1 움직임 벡터 필드(620)로부터 선택된 제 1 서브-세트의 움직임 벡터들(601-607)을 포함한다. 제 1 서브-세트는 특정 공간 위치에 대응하는 제 1 이미지 내 제 1 공간 위치(600)에 기초하며 제 1 공간 위치에 속하는 제 1 움직임 벡터(604)에 기초한다. 제 1 움직임 벡터(604)에 기초하여 라인(608)이 정의된다. 이 라인 상에 제 1 다수의 움직임 벡터들은 제 1 서브-세트의 움직임 벡터들(601-607)을 형성하기 위해서 선택된다. 통상적으로, 제 1 서브-세트는 9 움직임 벡터들을 포함한다. 선택된 제 1 수의 움직임 벡터들은 제 1 이미지 내 제 1 공간 위치(600)를 중심으로 한 것이 바람직하다. 대안적으로, 선택은 제 1 공간 위치(600)를 중심으로 하지 않고 제 1 움직임 벡터(604)의 방향으로 라인(608) 상에 시프트된다.
한 세트의 움직임 벡터들은 제 2 움직임 벡터 필드(620)로부터 선택된 제 2 서브-세트의 움직임 벡터들(611-617)을 포함한다. 이 제 2 서브-세트는 특정 공간 위치에 대응하는, 제 2 이미지 내 제 2 공간 위치(610)에 근거하고, 제 2 공간 위치에 속하는 제 2 움직임 벡터(614)에 근거한다. 제 2 움직임 벡터(614)에 기초해서 라인(618)이 정의된다. 이 라인에 대해 제 2 다수의 움직인 벡터들은 제 2 서브-세트의 움직임 벡터들(611-617)을 형성하기 위해 선택된다. 통상, 제 2 서브-세트는 9 움직임 벡터들을 또한 포함한다. 선택된 제 2 다수의 움직임 벡터들은 제 2 이미지 내 제 2 공간 위치(610)을 중심으로 하는 것이 바람직하다. 대안적으로, 선택은 제 2 공간 위치(610)를 중심으로 하지 않고 제 2 움직임 벡터(614)의 방향으로 라인(618)에서 시프트된다.
대안적으로, 한 세트의 움직임 벡터들은 제 2 움직임 벡터 필드에서 선택된 또 다른 제 2 서브-세트의 움직임 벡터들을 포함한다. (이들 움직임 벡터들은 도시하지 않았다). 이 다른 제 2 서브-세트는 특정 공간 위치에 대응하는 제 2 이미지 내 제 2 공간 위치(610)에 근거하며 제 1 공간 위치에 속하는 제 1 움직임 벡터(604)에 기초한다. 제 1 움직임 벡터(604)에 기초하여 라인이 정의된다. 이 라인에 대해서 제 2 다수의 움직임 벡터들은 제 2 서브-세트의 움직임 벡터들을 형성하기 위해 선택된다. 통상, 제 2 서브-세트는 9 움직임 벡터들을 포함한다.
결국, 특정 움직임 벡터는 한 세트의 움직임 벡터들, 예를 들면, 601-607,611-617에 대해 오더 통계적 연산을 수행함으로써 확정된다. 바람직하게, 오더 통계 연산은 중앙값 연산이다. 옵션으로, 중앙값은 소위 가중화한 혹은 중앙 가중화한 중앙값 연산이다. 이것은 한 세트의 움직임 벡터들이, 동일 공간 위치에 대응하는 복수의 움직임 벡터들을 포함함을 의미한다. 예를 들면, 한 세트의 움직임 벡터들은 복수개의 제 1 움직임 벡터 및 제 2 움직임 벡터를 포함한다. 총 9개 움직임 벡터들(601-607)이 제 1 움직임 벡터 필드(620)에서 선택된다고 하면 세트는 제 1 움직임 벡터(604) 9개를 포함할 수도 있을 것이다.
도 6b는 본 발명에 따른 대안적 실시예에 적용되는 한 세트의 움직임 벡터들의 생성을 개략적으로 도시한 것이다. 도 6b는 제 1 이미지에 대해 추정되는 제 1 움직임 벡터 필드(620)와 제 2 이미지에 대해 추정되는 제 2 움직임 벡터 필드(622)를 개략적으로 도시한 것이다. 한 세트의 움직임 벡터들은 특정 움직임 벡터가 확정되어야 하는 특정 화소의 특정 공간 위치에 기초하여, 제 1 움직임 벡터 필드 및 제 2 움직임 벡터 필드로부터 다수의 움직임 벡터들을 선택함으로써 생성된다.
한 세트의 움직임 벡터들은 제 1 움직임 벡터 필드(620)로부터 선택된 제 1 서브-세트의 움직임 벡터들(621-627)을 포함한다. 이 제 1 서브-세트는 특정 공간 위치에 대응하는 제 1 이미지 내 제 1 공간 위치(600)에 근거한다. 이 제 1 공간 위치에 대해서 제 1 다수의 움직임 벡터들이, 제 1 서브-세트의 움직임 벡터들 (621-627)을 형성하도록 선택된다.
한 세트의 움직임 벡터들은 제 2 움직임 벡터 필드(622)에서 선택한 제 2 서브-세트의 움직임 벡터들(631-637)을 포함한다. 이 제 2 서브-세트는 특정 공간 위치에 대응하는 제 2 이미지 내 제 2 공간 위치(610)에 근거한다. 이 제 2 공간 위치에 대해 제 2 다수의 움직임 벡터들이, 제 2 서브-세트의 움직임 벡터들(631-637)을 형성하기 위해 선택된다.
결국, 특정 움직임 벡터는 한 세트의 움직임 벡터들(621-627,631-637)에 오더 통계 연산을 수행함으로써 확정된다. 바람직하게, 오더 통계 연산은 중앙값 연산이다. 옵션으로, 중앙값은 소위 가중화한 혹은 중앙 가중화한 중앙값 연산이다.
대안적으로, 2개의 오더 통계 연산들이 두 개의 서로 다른 성분 세트들에 기초하여 수행된다. 이 작업은 다음과 같다. 움직임 벡터들의 제 1 서브-세트의 수평성분들은 제 1 움직임 벡터 필드(620)의 제 1 다수의 움직임 벡터들(625-627)의 수평성분들을 취함으로써 생성되고 움직임 벡터들의 제 2 서브-세트의 수평성분들은 제 2 움직임 벡터 필드(622)의 제 1 다수의 움직임 벡터들(635-637)의 수평성분들을 취함으로써 생성된다. 총 한 세트의 수평성분들로부터 특정 움직임 벡터의 수평성분은 오더 통계적 연산에 의해 결정된다. 움직임 벡터들의 제 1 서브-세트의 수직성분들은 제 1 움직임 벡터 필드(620)의 제 1 다수의 움직임 벡터들(621-624)의 수직성분들을 취함으로써 생성되고 움직임 벡터들의 제 2 서브-세트의 수직성분들은 제 2 움직임 벡터 필드(622)의 제 1 다수의 움직임 벡터들(631-634)의 수직성분들을 취함으로써 생성된다. 총 한 세트의 수직성분들로부터 특정 움직임 벡터의 수 직성분은 오더 통계적 연산에 의해 결정된다.
도 7은 본 발명에 따른 이미지 처리 장치(700)의 실시예를 개략적으로 도시한 것으로,
일련의 비디오 이미지들에 대응하는 신호를 수신하는 수신 수단(702);
비디오 이미지들 중 제 1 이미지에 대해 제 1 움직임 벡터 필드와 비디오 이미지들 중 제 2 이미지에 대해 제 2 움직임 벡터 필드를 추정하는 움직임 추정 유닛(506);
도 5b에 관련하여 기술된, 움직임 벡터 리-타이밍 유닛(501);
가려진 영역과 드러난 영역을 검출하기 위한 것으로 예를 들면, WO 03/041416 호 또는 WO 00/11863 호에 기술된 바와 같은 오클루전 검출기(708);
일련의 비디오 이미지들에 기초하여 일련의 출력 이미지들을 계산하는 이미지 처리 유닛(704), 움직임 벡터 필드는 움직임 벡터 리-타이밍 유닛(501)에 의해 제공되고 오클루전 맵은 오클루전 검출기(708)에 의해 제공되며;
이미지 처리 유닛(704)의 출력 이미지를 디스플레이하기 위한 디스플레이 디바이스(706)를 포함한다.
신호는 안테나 혹은 케이블을 통해 수신되는 방송신호일 수 있으나 VCR(비디오 카세트 레코더) 혹은 디지털 다기능 디스크(DVD)와 같은 저장 디바이스로부터의 신호일 수도 있다. 신호는 입력 접속기(708)에 제공된다. 이미지 처리 장치(700)는 예를 들면 TV일 수도 있을 것이다. 대안적으로, 이미지 처리 장치(700)는 선택적 디스플레이 디바이스를 포함하지 않고 디스플레이 디바이스(706)를 포함하는 장치 에 출력 이미지를 제공한다. 이때, 이미지 처리 장치(700)는 예를 들면 셋탑박스, 위성튜너, VCR 플레이어, DVD 플레이어 혹은 레코더일 수도 있을 것이다. 옵션으로, 이미지 처리 장치(700)는 하드디스크와 같은 저장 수단, 혹은 예를 들면 광학 디스크들인 착탈가능 매체에 저장을 위한 수단을 포함한다. 이미지 처리 장치(700)는 필름 스튜디오 혹은 방송국에 의해 적용되는 시스템일 수도 있을 것이다.
전술한 실시예들은 본 발명을 한정하기보다는 예시하는 것이고 당업자들은 첨부한 청구항들의 범위 내에서 다른 실시예들을 설계할 수 있을 것임에 유의해야 할 것이다. 청구항들에서, 괄호 내 참조부호들은 청구항을 한정하는 것으로서 작성되지 않을 것이다. '포함하다'라는 것은 청구항에 열거되지 않은 요소들 혹은 단계들의 존재를 배제하지 않는다. 단수 표현의 요소는 복수의 이러한 요소들의 존재를 배제하지 않는다. 본 발명은 몇 개의 구별되는 요소들을 포함하는 하드웨어에 의해서 그리고 적합히 프로그램된 컴퓨터에 의해서 구현될 수 있다. 몇몇의 수단을 열거한 유닛 청구항들에서, 이들 수단 중 몇 개는 동일한 하나의 하드웨어에 의해 실현될 수 있다. 제 1, 제 2 및 제 3 등의 용어 사용은 어떤 순서를 나타내는 것이 아니다. 이들 용어들은 명칭들로서 해석되어야 한다.

Claims (16)

  1. 특정 공간 위치를 가지며 일련의 비디오 이미지들 중 제 1 이미지 및 제 2 이미지 사이의 시간 위치(n+α)에 놓인 특정 화소에 대해, 상기 제 1 이미지에 대해 제 1 움직임 벡터 필드(
    Figure 112006019009436-PCT00103
    )가 추정되고 상기 제 2 이미지에 대해 제 2 움직임 벡터 필드(
    Figure 112006019009436-PCT00104
    )가 추정되는 것에 기초하여, 특정 움직임 벡터(
    Figure 112006019009436-PCT00105
    )를 추정하는 방법에 있어서,
    - 상기 특정 화소의 상기 특정 공간 위치에 기초하여, 상기 제 1 움직임 벡터 필드(
    Figure 112006019009436-PCT00106
    ) 및 제 2 움직임 벡터 필드(
    Figure 112006019009436-PCT00107
    )로부터 다수의 움직임 벡터들을 선택함으로써 한 세트의 움직임 벡터들(
    Figure 112006019009436-PCT00108
    ,
    Figure 112006019009436-PCT00109
    ,
    Figure 112006019009436-PCT00110
    )을 생성하는 단계; 및
    - 상기 한 세트의 움직임 벡터들(
    Figure 112006019009436-PCT00111
    ,
    Figure 112006019009436-PCT00112
    ,
    Figure 112006019009436-PCT00113
    )에 오더 통계 연산(order statistical operation)을 수행함으로써 상기 특정 움직임 벡터(
    Figure 112006019009436-PCT00114
    )를 확정하는 단계를 포함하는, 특정 움직임 벡터 추정 방법.
  2. 제 1 항에 있어서,
    상기 오더 통계 연산은 중앙값 연산인, 특정 움직임 벡터 추정 방법.
  3. 제 1 항에 있어서,
    상기 한 세트의 움직임 벡터들을 생성하는 단계는 상기 특정 화소의 상기 특정 공간 위치에 대응하는 제 1 공간 위치를 갖는, 상기 제 1 이미지에 대해 추정되는 제 1 움직임 벡터를 선택하는 단계를 포함하는, 특정 움직임 벡터 추정 방법.
  4. 제 3 항에 있어서,
    상기 한 세트의 움직임 벡터들을 생성하는 단계는 상기 특정 화소의 상기 특정 공간 위치 및 선택된 상기 제 1 움직임 벡터에 의해 결정되는 제 2 공간 위치를 갖는, 상기 제 1 이미지에 대해 추정되는 제 2 움직임 벡터를 선택하는 단계를 포함하는, 특정 움직임 벡터 추정 방법.
  5. 제 4 항에 있어서,
    상기 한 세트의 움직임 벡터들을 생성하는 단계는 상기 특정 화소의 상기 특정 공간 위치 및 선택된 상기 제 1 움직임 벡터에 의해 결정되는 제 3 공간 위치를 갖는, 상기 제 2 이미지에 대해 추정되는 제 3 움직임 벡터를 선택하는 단계를 포함하는, 특정 움직임 벡터 추정 방법.
  6. 제 1 항에 있어서,
    상기 한 세트의 움직임 벡터들을 생성하는 단계는 상기 특정 화소의 상기 특 정 공간 위치 및 상기 특정 화소에 대해 추정되는 제 1 움직임 벡터에 의해 결정되는 제 2 공간 위치를 갖는, 상기 제 1 이미지에 대해 추정되는 제 2 움직임 벡터를 선택하는 단계를 포함하는, 특정 움직임 벡터 추정 방법.
  7. 제 6 항에 있어서,
    상기 한 세트의 움직임 벡터들을 생성하는 단계는 상기 특정 화소의 상기 특정 공간 위치 및 상기 특정 화소에 대해 추정되는 상기 제 1 움직임 벡터에 의해 결정되는 제 3 공간 위치를 갖는, 상기 제 2 이미지에 대해 추정되는 제 3 움직임 벡터를 선택하는 단계를 포함하는, 특정 움직임 벡터 추정 방법.
  8. 제 3 항에 있어서,
    상기 한 세트의 움직임 벡터들을 생성하는 단계는 상기 특정 화소의 상기 특정 공간 위치에 상응하는 제 2 공간 위치를 갖는, 상기 제 2 이미지에 대해 추정되는 제 2 움직임 벡터를 선택하는 단계를 포함하는, 특정 움직임 벡터 추정 방법.
  9. 제 8 항에 있어서,
    상기 한 세트의 움직임 벡터들을 생성하는 단계는 제 3 공간 위치를 갖는, 상기 제 1 이미지에 대해 추정되는 제 3 움직임 벡터 및 제 4 공간 위치를 갖는, 상기 제 1 이미지에 대해 추정되는 제 4 움직임 벡터를 선택하는 단계를 포함하며, 상기 제 1 공간 위치, 상기 제 3 공간 위치 및 상기 제 4 공간 위치는 한 라인 상 에 놓인, 특정 움직임 벡터 추정 방법.
  10. 제 9 항에 있어서,
    상기 라인의 방위는 상기 제 1 움직임 벡터에 상응하는, 특정 움직임 벡터 추정 방법.
  11. 제 1 항에 있어서,
    상기 방법은 제 1 중간 움직임 벡터 필드를 상기 제 1 중간 움직임 벡터 필드보다 더 높은 분해능(resolution)을 갖는 상기 제 1 움직임 벡터 필드로의 업-변환(up-conversion)을 포함하고, 제 2 중간 움직임 벡터 필드를 상기 제 2 중간 움직임 벡터 필드보다 더 높은 분해능을 갖는 제 2 움직임 벡터 필드로의 업-변환을 포함하는, 특정 움직임 벡터 추정 방법.
  12. 특정 공간 위치를 가지며 일련의 비디오 이미지들 중 제 1 이미지 및 제 2 이미지 사이의 시간 위치에 놓인 특정 화소에 대해, 상기 제 1 이미지에 대해 제 1 움직임 벡터 필드가 추정되고 상기 제 2 이미지에 대해 제 2 움직임 벡터 필드가 추정되는 것에 기초하여, 특정 움직임 벡터를 추정하는 움직임 추정 유닛(501)에 있어서,
    - 상기 특정 화소의 상기 특정 공간 위치에 기초하여, 상기 제 1 움직임 벡터 필드 및 제 2 움직임 벡터 필드로부터 다수의 움직임 벡터들을 선택함으로써 한 세트의 움직임 벡터들을 생성하는 세트 생성 수단(502); 및
    - 상기 한 세트의 움직임 벡터들에 오더 통계 연산을 수행함으로써 상기 특정 움직임 벡터를 확정하는 확정 수단(504)을 포함하는, 움직임 추정 유닛.
  13. 이미지 처리 장치(700)에 있어서,
    - 일련의 비디오 이미지들에 대응하는 신호를 수신하는 수신 수단(702);
    - 상기 비디오 이미지들 중 제 1 이미지에 대해 제 1 움직임 벡터 필드를 추정하고 상기 비디오 이미지들 중 제 2 이미지에 대해 제 2 움직임 벡터 필드를 추정하는 움직임 추정 수단(506);
    - 상기 비디오 이미지들 중 상기 제 1 이미지와 상기 비디오 이미지들 중 상기 제 2 이미지간 시간 위치에 놓이며 특정 공간 위치를 갖는 특정 화소에 대해 특정 움직임 벡터를 추정하는 움직임 추정 유닛(501)으로서,
    - 상기 특정 화소의 상기 특정 공간 위치에 기초하여, 상기 제 1 움직임 벡터 필드 및 제 2 움직임 벡터 필드로부터 다수의 움직임 벡터들을 선택함으로써 한 세트의 움직임 벡터들을 생성하는 세트 생성 수단(502), 및
    - 상기 한 세트의 움직임 벡터들에 오더 통계 연산을 수행함으로써 상기 특정 움직임 벡터를 확정하는 확정 수단(504)를 포함하는, 상기 움직임 추정 유닛; 및
    - 상기 일련의 비디오 이미지들 및 상기 특정 움직임 벡터에 기초하여 일련의 출력 이미지들을 계산하는 이미지 처리 유닛(704)을 포함하는, 이미지 처리 장 치.
  14. 제 13 항에 있어서,
    상기 출력 이미지들을 디스플레이하는 디스플레이 디바이스(406)를 더 포함하는, 이미지 처리 장치.
  15. 제 14 항에 있어서,
    상기 이미지 처리 장치는 TV인, 이미지 처리 장치.
  16. 컴퓨터 장치에 의해 로딩될 컴퓨터 프로그램 제품으로서, 특정 공간 위치를 가지며 일련의 비디오 이미지들 중 제 1 이미지 및 제 2 이미지 사이의 시간 위치에 놓인 특정 화소에 대해, 상기 제 1 이미지에 대해 제 1 움직임 벡터 필드가 추정되고 상기 제 2 이미지에 대해 제 2 움직임 벡터 필드가 추정되는 것에 기초하여, 특정 움직임 벡터를 추정하는 명령들을 포함하고, 상기 컴퓨터 장치는 처리 수단 및 메모리를 포함하는, 상기 컴퓨터 프로그램 제품에 있어서,
    로딩된 후, 상기 처리 수단에,
    - 특정 화소의 특정 공간 위치에 기초하여, 제 1 움직임 벡터 필드 및 제 2 움직임 벡터 필드로부터 다수의 움직임 벡터들을 선택함으로써 한 세트의 움직임 벡터들을 생성하는 단계; 및
    - 상기 한 세트의 움직임 벡터들에 오더 통계 연산을 수행함으로써 상기 특 정 움직임 벡터를 확정하는 단계를 수행하는 능력을 제공하는, 컴퓨터 프로그램 제품.
KR1020067005475A 2003-09-17 2004-08-31 움직임 벡터 필드 리－타이밍 KR20060083978A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03103425.9 2003-09-17
EP03103425 2003-09-17

Publications (1)

Publication Number Publication Date
KR20060083978A true KR20060083978A (ko) 2006-07-21

Family

ID=34306954

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067005475A KR20060083978A (ko) 2003-09-17 2004-08-31 움직임 벡터 필드 리－타이밍

Country Status (6)

Country Link
US (1) US20070092111A1 (ko)
EP (1) EP1665806A1 (ko)
JP (1) JP2007506333A (ko)
KR (1) KR20060083978A (ko)
CN (1) CN1853416B (ko)
WO (1) WO2005027525A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7457438B2 (en) 2003-12-23 2008-11-25 Genesis Microchip Inc. Robust camera pan vector estimation using iterative center of mass
US7346109B2 (en) * 2003-12-23 2008-03-18 Genesis Microchip Inc. Motion vector computation for video sequences
US7480334B2 (en) * 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
US7499494B2 (en) * 2003-12-23 2009-03-03 Genesis Microchip Inc. Vector selection decision for pixel interpolation
CN101502106A (zh) 2005-10-24 2009-08-05 Nxp股份有限公司 运动矢量场重定时器
ES2460541T3 (es) * 2005-11-30 2014-05-13 Entropic Communications, Inc. Corrección de campo de vectores de movimiento
JP5081898B2 (ja) * 2006-04-19 2012-11-28 トライデント マイクロシステムズ インコーポレイテッド 補間画像生成方法及びシステム
EP2063636B1 (en) * 2006-09-15 2012-12-12 Panasonic Corporation Video processing device and video processing method
US8149911B1 (en) * 2007-02-16 2012-04-03 Maxim Integrated Products, Inc. Method and/or apparatus for multiple pass digital image stabilization
US8923400B1 (en) 2007-02-16 2014-12-30 Geo Semiconductor Inc Method and/or apparatus for multiple pass digital image stabilization
DE102007015002A1 (de) 2007-03-28 2008-10-02 Micronas Gmbh Iteratives Verfahren zur Interpolation von Bildinformationswerten
US20090094173A1 (en) * 2007-10-05 2009-04-09 Adaptive Logic Control, Llc Intelligent Power Unit, and Applications Thereof
DE102007062996A1 (de) * 2007-12-21 2009-06-25 Robert Bosch Gmbh Werkzeugmaschinenvorrichtung
JP4670918B2 (ja) * 2008-08-26 2011-04-13 ソニー株式会社 フレーム補間装置及びフレーム補間方法
US9699475B2 (en) 2009-02-12 2017-07-04 Qualcomm Incorporated Video sequence analysis for robust motion estimation
US9042680B2 (en) 2009-02-12 2015-05-26 Zoran (France) S.A. Temporal video interpolation method with 2-frame occlusion handling
EP2224740A1 (en) 2009-02-27 2010-09-01 Nxp B.V. Detecting occlusion
EP2224738A1 (en) 2009-02-27 2010-09-01 Nxp B.V. Identifying occlusions
US8254439B2 (en) * 2009-05-08 2012-08-28 Mediatek Inc. Apparatus and methods for motion vector correction
DE102009026981A1 (de) 2009-06-16 2010-12-30 Trident Microsystems (Far East) Ltd. Ermittlung eines Vektorfeldes für ein Zwischenbild
JP4692913B2 (ja) 2009-10-08 2011-06-01 日本ビクター株式会社 フレームレート変換装置及び方法
TR200909120A2 (tr) 2009-12-04 2011-06-21 Vestel Elektroni̇k San. Ve Ti̇c. A.Ş. Hareket vektör alani yeni̇den zamanlandirma yöntemi̇@
JP4735779B2 (ja) * 2011-01-12 2011-07-27 日本ビクター株式会社 補間画素データ生成装置及び方法
GB201113527D0 (en) * 2011-08-04 2011-09-21 Imagination Tech Ltd External vectors in a motion estimation system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0466981B1 (en) * 1990-07-20 1997-02-26 Koninklijke Philips Electronics N.V. Motion vector processing device
AU660020B2 (en) * 1991-05-24 1995-06-08 British Broadcasting Corporation, The Video image processing
DE69602818T2 (de) * 1995-03-14 1999-12-16 Koninkl Philips Electronics Nv Bewegungskompensierte interpolation
TR199700058A3 (tr) * 1997-01-29 1998-08-21 Onural Levent Kurallara dayali hareketli nesne bölütlemesi.
US6008865A (en) * 1997-02-14 1999-12-28 Eastman Kodak Company Segmentation-based method for motion-compensated frame interpolation
JP2002523985A (ja) * 1998-08-21 2002-07-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像信号における問題領域位置決め
CN100504925C (zh) * 2000-05-18 2009-06-24 Nxp股份有限公司 用于检测图像间的运动的方法和装置以及图像显示装置
WO2002056589A1 (en) * 2001-01-16 2002-07-18 Koninklijke Philips Electronics N.V. Reducing halo-like effects in motion-compensated interpolation
CN1628326A (zh) * 2002-02-05 2005-06-15 皇家飞利浦电子股份有限公司 通过考虑闭塞估算像素组的运动矢量

Also Published As

Publication number Publication date
CN1853416B (zh) 2010-06-16
US20070092111A1 (en) 2007-04-26
CN1853416A (zh) 2006-10-25
EP1665806A1 (en) 2006-06-07
WO2005027525A1 (en) 2005-03-24
JP2007506333A (ja) 2007-03-15

Similar Documents

Publication Publication Date Title
KR20060083978A (ko) 움직임 벡터 필드 리－타이밍
KR101135454B1 (ko) 특정 이미지의 특정 픽셀 값 결정 방법, 픽셀 값 결정 유닛, 이미지 처리 장치 및 컴퓨터 판독 가능한 저장 매체
US7519230B2 (en) Background motion vector detection
US7949205B2 (en) Image processing unit with fall-back
JP2002523985A (ja) 画像信号における問題領域位置決め
KR20050012766A (ko) 현재 모션 벡터 추정을 위한 유닛 및 모션 벡터 추정 방법
KR100976718B1 (ko) 필드 레이트 업변환을 위한 방법 및 장치
US20050163355A1 (en) Method and unit for estimating a motion vector of a group of pixels
US8102915B2 (en) Motion vector fields refinement to track small fast moving objects
KR20060029283A (ko) 모션-보상된 영상 신호 보간
JP4250807B2 (ja) フィールド周波数変換装置および変換方法

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application