KR100840133B1

KR100840133B1 - Ｍｃ 업 컨버젼에서 헤일로를 감소시키는 움직임 추정기

Info

Publication number: KR100840133B1
Application number: KR1020027000718A
Authority: KR
Inventors: 데하안제랄드; 메르텐스마크제이.더블유
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2000-05-18
Filing date: 2001-04-24
Publication date: 2008-06-23
Also published as: JP2003533800A; EP1287492A2; US20030206246A1; KR20020020939A; CN100504925C; US7010039B2; WO2001088852A3; CN1381024A; WO2001088852A2

Abstract

이전 영상과 다음 영상 사이의 시간적 중간 위치에서 움직임을 검출하는 장치는 이전 영상 및 다음 영상 둘 다로부터의 데이터에 의존하는, 후보 벡터의 기준 함수를 최적화하는 최적화 수단(1)을 갖는다. 움직임은 논커버링 (non-covering) 영역 및 논언커버링(non-uncovering) 영역내의 시간적 중간 위치에서 검출된다. 본 발명에 따른 장치는 커버링 및 언커버링 영역을 검출하는 수단(2)을 갖고, 커버링 영역들내의 다음 영상의 시간적 위치 및 언커버링 영역들내의 이전 영상의 시간적 위치에서 최적화를 실행하는 최적화 수단을 갖는다.

후보 벡터, 기준 함수, 영상, 검출기, 매칭 에러, 최적화 수단

Description

ＭＣ 업 컨버젼에서 헤일로를 감소시키는 움직임 추정기{Motion estimator for reduced halos in MC up-conversion}

본 발명은 이전 영상과 다음 영상 사이의 시간적인 중간 위치에서 움직임을 검출하는 방법에 관한 것이며, 이 방법에서 이전 영상 및 다음 영상 둘 다로부터의 데이터에 의존하는, 후보 벡터(candidate vector)의 기준 함수(criterion function)는 최적화되며, 최적화는 논커버링(non-covering) 영역과 논언커버링(non-uncovering) 영역내의 시간적인 중간 위치에서 실행된다.

현행 발명에 의해 야기된 기본적인 고찰은, 비디오 시퀀스로부터 2개의 연속하는 화상들 사이의 움직임을 추정하는 추정기가 커버링(covering) 또는 언커버링(uncovering)이 발생하는 영역들에서 잘 수행될 수 없다는 것이며, 이 영역들은 정보가 두 영상들 중 어느 한쪽에서만 발생함을 나타내기 때문이다. 그 결과, 블록 매칭기(block matcher)는 정확한 벡터에 대해서도 항상 큰 매치 에러들을 제공할 것이다.

본 발명의 목적은 상술된 문제점들, 일반적으로 이전 영상 및/또는 다음 영상으로부터의 벡터 필드들을 계산할 때의 문제점들을 제거하는 것이다.

본 발명에 의하면, 이 목적은 최적화가 커버링 영역내의 다음 영상의 시간 위치와 언커버링 영역내의 이전 영상의 시간 위치에서 실행되는 것으로 이루어진다.

게다가, 본 발명은 이전 영상과 다음 영상 사이의 움직임을 검출하는 장치에 관한 것이며, 상기 장치는 이전 영상 및 다음 영상 둘 다로부터의 데이터에 의존하는, 후보 벡터의 기준 함수를 최적화하는 수단을 구비하며, 최적화는 논커버링 영역 및 언커버링 영역내의 시간적인 중간 위치에서 실행되며, 또한 커버링 영역 또는 언커버링 영역을 검출하는 수단이 제공되며, 최적화는 커버링 영역내의 다음 영상의 시간 위치와 언커버링 영역내의 이전 영상의 시간 위치에서 실행된다. 본 발명에 따른 방법 및 장치의 실시예는 종속 청구항에 기술된다.
본 발명은 첨부된 도면들을 참조하여 보다 상세히 기술될 것이다.

도 1은 움직임을 추정하는 방법의 예를 도시한 도면.

도 2는 커버링(covering)으로 인해 모호한 영역을 도시한 도면.

도 3은 언커버링(uncovering)으로 인해 모호한 영역을 도시한 도면.

도 4는 리타이머(retimer) 케이스들을 도시한 도면.

도 5는 전경/배경을 검출하는 방법의 실시예를 도시한 도면.

도 6은 전경/배경을 검출하는 방법의 다른 실시예를 도시한 도면.

도 7은 전경/배경을 검출하는 방법의 또 다른 실시예를 도시한 도면.

도 8은 움직임을 검출하는 장치의 바람직한 실시예를 도시한 도면.

도 9는 전경/배경 검출기의 실시예를 도시한 도면.

도 10은 전경/배경 검출기의 다른 실시예를 도시한 도면.

도 11은 전경/배경 검출기의 또 다른 실시예를 도시한 도면.

도 12는 본 발명이 포함된 영상 디스플레이 장치를 도시한 도면.

본 발명은 여러 기술 분야에 적용될 수 있다.

화상 레이트 컨버젼(picture rate conversion)이 그 예이며, 본 발명에 따라 개선된 벡터 필드에 의해 보다 만족스러운, 인공산물(artefact)이 없는 비디오 스트림이 얻어진다. 이 응용에 대한 전형적인 디바이스는 TV 및 PC이다.

3D 불균형 분석(3D disparity analysis)이 그 예이며, 영상은 회전하는 카메라에 의해 또는 회전하는 장면으로부터 생성된다.

움직임에 기초한 비디오 압축(motion based video compression)이 그 예이며, 본 발명에 따라 개선된 벡터 필드에 의해 고품질의 예측이 이루어지며, 따라서 높은 압축 레이트나 개선된 화질이 얻어진다. 예는 MPEG에서의 압축이다.

움직임에 기초한 영상 분석(motion based image analysis)이 그 예이며, 본 발명에 따라 개선된 벡터 필드에 의해 대상의 보다 충실한 추출이 이루어지며, 따라서 후처리가 보다 용이해진다. 예는 보안 카메라 비디오 분석, 비디오 특수 효과, 및 트래픽 분석이다.

예를 들어 배경의 흐림 방지와 같은, 텔레비전 기술에서의 화상 증진(picture enhancement)이 그 예이다.

과학적 응용이 그 예이며, 본 발명에 따라 개선된 벡터 필드에 의해 양호한 데이터 분석이 이루어진다. 예는 구름과 해양의 위성 사진이다.

커버링의 경우에 현재 화상내의 모든 정보는 이전 화상에 존재하는 반면, 언커버링의 경우에는 다음 화상(들)에 존재하며, 언커버링 영역에서 현재 화상이 이전 화상(국부적으로 언커버링 영역 주변)의 모든 정보를 포함하는 것으로 인식된다. 그러므로, 예를 들어 WO 00/11863에 기재된 바와 같이, 커버링/언커버링 검출기에 의해 제어되는 매치 에러 계산을, 현재 화상과 움직임 보상된 이전 화상(커버링)과의 매칭에서 이전 화상과 움직임 보상된 현재 화상(언커버링)과의 매칭으로 수정함으로써, 추정기내의 모호성이 방지될 수 있다. 이는 보다 정확하고 일관된 벡터 필드를 산출할 것으로 기대되므로, 헤일로(halo)를 감소시킨다. 이러한 수정은 본 명세서의 나중 부분에서 설명된다.

매칭 계산을 이와 같이 동적으로 변화시킨 것에 대한 부작용으로, 업 컨버젼이 일어나는 순간은 말할것도 없이, 모호하지 않은 벡터 필드는 어느 순간에 유효하지 않게 되지만, 이 '유효한 순간'은 고려되는 영역이 커버링, 언커버링, 또는 단순히 부동 영역인지에 따라 변한다. 이 효과는 본 명세서의 나중 부분에서 설명되는 본 설명의 제 2 요소에 의해 제거될 수 있다.

이제 도 1을 참조하여 움직임 벡터를 계산하기 위해 전체-검색 블록-매칭 움직임 추정기(full-search block-matching motion estimator) 알고리즘을 이용하는 개선된 움직임 벡터 계산이 설명될 것이다. 이 알고리즘은 움직임 추정 문제점에 대해 비용면에서 매우 효과적인 접근법은 아니지만, 보다 효율적인 것이다. 똑같은 원리는 논문 "True Motion Estimation with 3-D Recursive Search Block-Matching", G. de Haan, P.W.A.C. Biezen, H. Huygen, 및 O.A. Ojo, IEEE Tr. on Circuits and Systems for Video Technology, vol. 3, 1993년 10월, p. 368-388 및 논문 "Sub-Pixel motion estimation with 3-D recursive search block-matching", G. de Haan 및 P.W.A.C. Biezen, Signal Processing: Image Communication 6(1994), p. 220-239에서 설명된다.

블록-매칭 움직임 추정 알고리즘에서, 변위 벡터는 이전 화상(n-1)에서

를 중심으로 하는 검색 영역

내에서 유사한 블록을 검색함으로써 현재 화상(n)내의 픽셀

의 블록의 중심

에 할당된다. 유사한 블록은

에 대해 변위 벡터

만큼 쉬프트된 중심을 갖는다.

을 찾아내기 위해, 복수의 후보 벡터

는 블록 유사성을 정량화하는 에러 측정

을 적용하여 계산된다. 보다 형식적으로, CS^max는 이전 영상의 검색 영역

내에서

에 대해 모든 가능한(일반적으로 정수) 변위를 설명하는 후보

의 세트로서 규정된다.

여기서, N과 M은

를 제한하는 상수이다.

에 중심을 두고 크기가 X 대 Y이고, 현재 화상(n)내의 픽셀 위치

로 구성된 블록

는 다음과 같이 규정된다:

블록-매칭 처리로부터 얻어진 변위 벡터

는 에러 함수

의 최소값을 산출하는 후보 벡터

이다:

일반적으로, 최소 매칭 에러를 갖는 벡터

가 중심 픽셀에만 할당되기 보다 블록

의 모든 픽셀 위치 x에 할당되면, 즉

이면,

계산 횟수가 많이 감소된다.

암시적으로, 연속하는 블록

은 오버랩되지 않는다. 주어진 후보 벡터

에 대한 에러값은 현재 블록내의 픽셀들의 휘도값과 이전 화상으로부터 쉬프트된 블록의 휘도값에 대한 함수를 블록

에 합산한 것이다. 많이 사용되는 일반적인 선택은 절대 차의 합이다(SAD, sum of the absolute difference):

여기서, α는 상수로, 0 ≤ α ≤ 1이고, 두 화상 사이에서 벡터 필드가 유효해야 하는 시간적인 위치를 결정한다.

도 2는 가능한 모든 기준 위치 0 ≤ α ≤ 1에 대해 일어나는 상황을 보다 명확하게 도시한다. 상단선(a)은 시간에 따라 이동하는 전경 대상의 에지 위치에 대응하는 것으로 가정한다. 미래의 화상에서 우리는 속도 벡터 에지 위치 X_E(움직임 벡터가 현저한 공간 변화량만큼 변위된 위치)의 어느 한 측면에서 정확한 전경 또는 배경 속도를 찾아내지만, 통과된 화상 쪽으로 기준 위치 α를 더 이동시킬수록, 모호성 영역이 더 커져, 영상화에 의해 정확한 벡터를 찾아내는 것은 불가능하다. 모든 후보 벡터가 큰 SAD 값을 가지므로, 최소화는 얻어진 벡터 필드가 거의 정정하기 불가능함을 나타내는 특정 후보를 무작위로 선택한다.

유사하게, 도 3에서 기준 위치 α를 0으로 놓으면, 다시 말하자면, 미래에서 과거로 블록을 투영하면, 언커버링 영역에 대해 모호하지 않은 움직임 추정 결과를 얻을 수 있다. 기준 위치를 중간에 놓으면(예를 들어, α가 0.5이면), 확실한 움직임에 대해 에러가 발생하지 않는다. 영역이 커버링 또는 언커버링인지를 결정하는 것은 앞서 계산된 벡터 필드에서 벡터 에지 X_E의 어느 한 측으로부터 취해진 움직임 벡터의 x-성분의 차의 부호를 기초하여 행해질 수 있다.

본 발명은 예를 들어, 커버링의 경우, 미래 화상에서의 오클루전(occlusion) 영역내 및 오클루전 영역 부근에 있는 모든 픽셀 블록이 과거 화상에서도 발견될 수 있지만, 과거 화상에는 이들이 커버링되기 때문에, 미래 화상에서 존재하지 않는 추가 블록이 있다는 내용을 기초로 한다. 블록 매칭을 위해 기준 위치 α를 정하기 위한 자연스런 위치는 미래 화상의 시간적인 위치에 있는데, 그 이유는 오클루전 영역내 및 그 부근에서의 모든 블록에 대해서 정확한 움직임 벡터를 원칙적으로 찾아낼 수 있기 때문이다.

제안된 개선은 커버링이 일어나는 영역에서 정확한 움직임 벡터가 α= 1을 사용하는 추정기에 의해서만 추정될 수 있다는 고찰로부터 기인된다. 유사하게, 언커버링에 대해서도 α= 0을 사용하는 추정기에 의해서만 정확한 벡터가 추정된다.

중간적인 시간적 순간에 대한 벡터를 계산하는 벡터 추정기는 최악의 경우 모호한 영역이 양극단의 추정기에 의한 것보다 더 작으므로(최악의 경우 모호성은 α= 0.5를 적용하는 추정기의 경우 최소이다) 커버링 및 언커버링 모두에서 어려움을 갖는다. 도 2 및 도 3은 모호한 영역의 크기에 대한 α의 효과를 설명한다.

제 1 단계는 커버링 및 언커버링 상황에서 삽입 화상에 대한 요구된 α값에 관계없이, 블록 매칭기를 개선시키는 것으로, 식 (5)를 다음과 같이 변화시켜 얻어진다:

이는 예를 들어 WO 00/11863에서 설명된 바와 같이 커버링/언커버링 검출기에 의해 나타난 바에 따라 커버링 영역의 경우이고,

이는 언커버링의 경우이다.

논오클루전(non-occlusion) 영역에서는 예를 들어, α= 0.5를 취하며, 과거 및 미래 화상에서 기준 블록 위치까지 양방향으로 블록을 투영한다. 즉, 시간적인 위치에 삽입된 화상에서 이들을 비교한다. 커버링 블록에서는 α= 1을 취하며, 미래 화상내의 원래의 위치에 있는 블록을 과거 화상에서 후보 움직임 벡터로 인출된 블록과 매칭시킨다. 화상의 언커버링 영역에서는 α= 0을 취한다. 다시 말하면, 과거 화상내의 블록을 미래 화상으로부터의 블록과 매칭시킨다.

삭제

오클루전 또는 보다 특정한 커버링 및 언커버링 영역을 검출할 수 있는 방법에는 여러 가지가 있다.

커버링/언커버링 검출기는 이전 벡터 필드 또는 현재 벡터 필드의 이전 계산(반복)을 사용하거나, 이웃 화상들 사이에서 계산된 매칭 에러의 평가에 기초한 방법을 사용할 수 있다.

바람직한 커버링/언커버링 검출기는 속도의 부호를 조사한다. 예를 들어, 근방의 속도가 서로의 방향으로 향하면, 커버링이 일어나야 하는 것으로 이해한다. 다른 경우는 상황에 따라 분석될 수 있고, 다음과 같이 요약된다.

v_U - v_D > δ (커버링)

v_U - v_D < -δ (언커버링)

여기서, v_U는 속도 에지 X_E이고, v_D는 에지 이하의 속도이고, δ는 잡음 검출을 방지하기 위한 작은 상수이다. 이 방법은 벡터의 특정한 수치값에 의존하지 않으므로 매우 확실하다. 에지의 어느 한 측면에서는 언제나 다소 정확한 벡터값을 갖게 되므로, 값이 부정확하더라도, 그 차이는 정확할 수 있다. 두 번째로, 커버링 및 언커버링에 대한 추정이 전경 FG 영역에서, 즉 모호한 삼각형 외부에서 종래의 추정(식 7)과 같이 동작하므로, 예측 에지 주변에 큰 대역이 "보호"된다. 이는 에지 X_E의 위치 편차에 대해 확실성을 제공하게 된다.

α를 0 또는 1로 전환하여 얻어지는 이점은 최소화에 의해 부정확한 벡터가 주어지지 않는 것이지만, 얻어진 벡터가 항상 정확한 블록 위치에 있는 것은 아니라는 희생을 수반한다. 예를 들면, 전경 FG 에지(벡터가 배경 BG에서 전경 FG 속도로 변하는 블록 위치)가 실제 위치 U(도 2 및 도 3을 참고) 대신에, 위치 X_E에서 발견된다. 이는 매칭 시점이 부정확하기 때문이다(예를 들면, α= 0.5 대신에 α= 0).

실제로, 얻어진 벡터 필드가 임의의 단일 시점에서 유효하지 않지만 영상내의 위치에 의존하여 3개의 다른 시점에서 유효하므로, 이 방법은 "3시점 움직임 추정기(tritemporal motion estimator)"라 칭하여진다. 일반적으로, 벡터 필드는 원하는 중간 위치(예를 들면, α= 0.5)로 리타이머되어야 한다. 전경 FG 대상이 정지해 있고 배경 BG가 전경의 뒤에서 움직이는 특수한 시퀀스의 경우 전경 FG 에지가 이동하지 않으므로(X_E = U), 3시점 벡터 필드의 리타이머는 필요하지 않다. 이는 카메라맨이 주인공을 추적하는 영화물(film material)에서 가끔 나타난다.

제안된 수정의 결과로, 벡터 필드가 유효한 정확한 시점을 희생시키더라도, 움직임 추정기에 대한 모호성이 없어진다. 이는 다음 서브섹션에서 상세히 설명된다.

리타이머(retimer)인 알고리즘의 제 2 단계에서는 시간 에러가 정정된다. 이를 위해, 벡터 필드는 원하는 시점에 '투영'된다. 즉, 커버링에 대해 시간적으로 뒤에 투영되고:

언커버링에 대해 앞에 투영된다:

이 투영은 모호한 영역, 즉 벡터가 할당되지 않은 영역을 재도입한다. 이 모호성의 원인은 한번의 추정으로는 도 2의 선 'a'을 따라, 또는 선 'b'을 따라 불연속성이 이동되었는지를 알지 못하기 때문이며, 불연속성 위에서 예를 들어 위치

로부터 취해진 벡터는 업 컨버젼 벡터 필드에서 이 위치에 놓여야 하는 배경 벡터인 것은 흔한 일이 아니다. 그러나, 이전 벡터 필드의 도움으로, 가능한 2개의 벡터 중 어느 것의 에지가 이동되었는지를 판단하여 어느 것이 배경이고 어느 것이 전경 속도인가를 판단하는 것이 가능하다.

리타이머는 다음과 같은 작용을 실행하며, 어디서 재시간 조정이 일어나야 하는가를 결정한다. 이는 속도 에지 X_E를 찾고, 이 에지 주변에서 충분히 넓은 오클루전 영역을 표시한다. 두 번째로, 정확성을 차단하도록 전경 FG 속도를 반올림함으로서 얼마나 많은 블록이 정확하게 정정되어야 하는가를 계산한다. 세 번째로, 어떠한 리타이머 정정 작용이 적용되어야 하는가를 결정한다.

더욱이, 리타이머는 비모호성 벡터 필드에서 벡터 에지

로부터 전경 속도를 투영함으로써 시간 n-1+α에 벡터 필드에서 모호성 영역의 시작 위치

를 결정한다. 중간 벡터 필드에서 에지의 위치

가 한 벡터 필드로부터 추정치를 쉬프트한 결과가 아니고, 현재 및 이전 벡터 필드에서 위치의 가중치(α로) 평균으로 계산되면, 조금 정제된다. 리타이머는 이어서 전경 영역의 측면(

의 좌측이나 우측) 및 전경 속도의 부호에 의존하여 전경이나 배경 속도로

와

사이의 공간을 채운다. 이 전략이 동작되기 위해서는 확실한 전경/배경 결정 전략이 필요하다.

다음에 의존하여 8가지의 다른 리타이머 경우가 있는 것으로 밝혀진다:

1. 커버링 대 언커버링

2. 전경 FG 속도의 부호

3. 속도 에지 X_E 중 어느 측면에 전경 FG가 있는가. 이는 α= 0.5인 예에서 중간 영상에 대해 도 4에 도시된다.

도 4의 제 1 상단 부분은 에지의 바닥에서 전경 FG와 전경 FG 속도 V_FG < 0을 커버링하는 상황과 관련된다. 이 상황에서는 2개의 블록 전경 FG가 배경 BG 블록으로 대체되어야 한다(BG를 채운다). 도 4의 제 2 상단 부분은 전경 FG 속도 V_FG > 0과 에지의 바닥측에서 전경 FG를 커버링하는 것과 관련된다. 단지 하나의 배경 BG 블록만이 전경 FG 블록으로 대체되어야 한다(전경 FG를 채운다). 도 4의 제 3 상단 부분은 전경 속도 V_FG < 0과 에지의 바닥측에서 전경 FG를 언커버링하는 것과 관련된다. 이 경우에서는 단지 하나의 배경 BG 블록만이 하나의 전경 FG 블록으로 대체되어야 한다(전경 FG를 채운다). 도 4의 제 4 상단 부분은 전경 속도 V_FG > 0과 에지의 바닥측에서 전경 FG를 언커버링하는 것과 관련된다. 이 경우에는 단지 하나의 전경 FG 블록만이 배경 BG 블록으로 대체되어야 한다(배경 BG를 채운다). 도 4의 제 1 하단 부분은 에지의 바닥측에서 배경 BG와 전경 FG 속도 V_FG < 0을 커버링하는 것과 관련된다. 단지 하나의 배경 BG 블록만이 전경 FG 블록으로 대체되어야 한다(전경 FG를 채운다). 도 4의 제 2 하단 부분은 전경 속도 V_FG > 0과 에지의 바닥측에서 배경 BG를 커버링하는 것과 관련된다. 단지 하나의 전경 FG 블록만이 배경 BG 블록으로 대체되어야 한다(배경 BG를 채운다). 도 4의 제 3 하단 부분은 전경 속도 V_FG < 0과 에지의 상단측에서 전경 FG를 언커버링하는 것과 관련된다. 이 경우에서는 하나의 전경 FG 블록이 배경 BG 블록으로 대체되어야 한다(배경 BG를 채운다). 도 4의 제 4 상단 부분은 전경 속도 V_FG > 0과 에지의 상단측에서 전경 FG를 언커버링하는 것과 관련된다. 이 경우에는 하나의 배경 BG 블록이 전경 FG 블록으로 대체되어야 한다(전경 FG를 채운다). 도 4의 예에서는 중간 영상이 n+1/2에 있지만, α가 변할 수 있는 이전 영상으로부터 거리 α에 중간 영상이 있을 수 있음이 명백함을 유념하라.

리타이머는 대상 에지 주변의 속도에서 어느 것이 전경이고 어느 것이 배경인지를 알 필요가 있다. 이전 움직임 벡터의 도움으로, 어느 객체 영역 또는 속도가 전경에 속하고 어느 것이 배경에 속하는가를 결정할 수 있다. 배경 블록은 그레이(grey)값 픽셀 및 연관된 속도 벡터가 모두 커버링하에서 사라지는 블록이다. 픽셀 기반 측정치 보다 더 간단하고 더 확실한 측정치를 산출하도록 판단되므로, 전경/배경 검출기에서 벡터의 대응관계가 사용된다.

도 5에 도시된 제 1 전략, 평균 벡터 전경/배경 결정(average vector foreground/background determination)에서는, 임의의 벡터

란 사실을 사용하고, 여기서 k는 1 보다 작고,

및

는 위치

에서 전경 및 배경 객체의 속도로, 커버링의 경우 이전 벡터 필드로부터 배경 속도를 인출하고 언커버링의 경우 전경 속도를 인출한다. 사용하기에 가장 안전한 벡터는 평균 벡터

이다. 보다 형식적으로, 커버링에서는 이전 영상쌍의 에지에서, 예를 들면 커버링에서는 벡터 필드 n내 위치

의 수직 에지에서 가능한 2개의

및

를 계산한다:

또한, 모호성 영역에서 이전 벡터 필드(커버링)의 중간 위치에 주어진 벡터를 인출한다:

보간 벡터 필드의 모호성 영역에서 전경 벡터를 채울 필요가 있으면,

와

사이에서

과 가장 다른 것을 선택한다.

이러한 제 1 전략의 변형은 언커버링에 대해 미래로부터 배경 벡터를 인출한다:

제 2 전략(도 6을 참고), 양면 자체 속도 전경/배경 결정(twosided self speed foreground/background determination)은 언커버링에 대해 배경 속도를 갖는 이전으로 투영된 위치가

로 투영될 때 보다 전경 영역 쪽으로 더 높은 교차 확률을 갖는다는 사실을 사용한다. 이는 작은 상대 속도

또는 정확하지 않게 추정된 벡터 필드가 발생할 때 흥미롭다. 어느 속도가 배경 속도인가를 미리 알지 못하므로, 자체 속도

로 에지의 어느 한 측면에서 두 위치를 투영한다(도 3을 참고). 이상적인 경우에 볼 수 있는 바와 같이, 더 낮은 속도는 n의 배경 속도에서 n-1의 전경 속도로 변한다. n의 전경 블록이 n-1의 전경에 투영될 확률은 매우 높아 실질적으로는 1인 것으로 생각된다. 다른 가능한 결정은 모두 표 1에 도시된다.

상단 블록이 실제일 때:	전경	배경
상단 블록에 대한 결정	FG	FG 또는 BG
하단 블록에 대한 결정	FG 또는 BG	FG

2회의 투영이 동일 (전경) 벡터를 산출하는 경우, 우리는 확실한 결정을 얻는다. 이 벡터가 상단 블록의 벡터와 같으면, 이 벡터는 전경 속도 벡터이며 반대로 이 벡터가 하단 블록의 벡터와 같으면, 이 벡터는 배경 속도 벡터이다. 벡터가 다른 경우, 이 방법은 성공하지 못하여, 불확실한 결정을 산출한다. 미래에 대해서도 유사한 투영이 커버링의 경우에 적용될 수 있다.

제 3 전략(도 7을 참고), 에지 투영 전경/배경 결정(edge projection foreground/background determination)은 예를 들어, 커버링에 대해 이전 영상(n)에서

와

사이의 에지가 위치 a 또는 b에 주어지는지를 검사한다(도 2를 참고). 에지가 위치 a에서 검출되면,

이다. 투영 주변에서는 다른 속도 에지가 발생할 수 있으므로, n-1에서 속도가 n에서와 똑같은 속도임에 관심을 두어야 한다. 명확하게, 그 원리는 다시 언커버링을 커버링으로 대체하고 미래를 과거로 대체함으로써 적용될 수 있다.

상기 전략은 매칭 에러를 포함함으로써 증진될 수 있음을 주목하여야 한다. 전경 영역으로의 교차가 일어난 경우, 그 블록에서 벡터의 매칭 에러는 낮아야 한다. 이전 영상내의 전경 벡터를 잘못 할당한 배경 영역에 투영한 경우, 에러는 더 높아져야 한다.

도 8에는 본 발명의 한 실시예에 따라 이전 영상과 다음 영상 사이의 시간적인 중간 위치에서 움직임을 검출하는 장치가 도시된다. 이 장치는 이전 영상 및 다음 영상 둘 다로부터의 데이터에 의존하는 함수로 후보 벡터의 기준 함수를 최적화하는 수단(1)을 구비한다. 이러한 최적화 수단은 논문 "True Motion Estimation with 3-D Recursive Search Block-Matching", G. de Haan, P.W.A.C. Biezen, H. Huygen, 및 O.A. Ojo, IEEE Tr. on Circuits and Systems for Video Technology, vol. 3, 1993년 10월, p. 368-388에서 설명된 바와 같이 실시될 수 있다. 후보 벡터의 기준 함수를 최적화하는 수단(1)의 입력에는 영상 신호(J)가 인가되고, 수단(1)의 출력에서 움직임 벡터(MV)가 얻어질 수 있다.

상기 영상 신호(E)는 또한 커버링/언커버링 영역을 검출하는 수단(2)에 공급되고, 그 출력은 후보 벡터의 기준 함수를 최적화하는 수단(1)에 연결된다. 커버링/언커버링 영역을 검출하는 상기 수단(2)은 예를 들어, WO 00/1863에서 설명된다.

후보 벡터의 기준 함수를 최적화하는 수단(1)에는 커버링/언커버링 영역을 검출하는 수단(2)에 의해 제어되는 스위칭 수단이 제공되며, 수단(1)에 의한 최적화는 논커버링 및 논언커버링 영역내의 시간적인 중간 위치에서 실행되나, 최적화는 커버링 영역내의 다음 영상의 시간적인 위치에서 그리고 언커버링 영역내의 이전 영상의 시간적인 위치에서 실행된다.

이전 영상은 후보 벡터와 분율(fraction) α의 곱만큼 쉬프트되고, 다음 영상은 후보 벡터와 1-α곱만큼 쉬프트되며, 분율 α는 영상 주기내에서 변할 수 있다. 상술된 기준 함수는 최소화된 매치 에러이다. 상기 매치 에러는 또한 분율 α의 함수이다.

매치 에러를 최적화하는 수단이 배치되어 분율 α가 매칭 처리에서 커버링/언커버링 검출기에 의해 제어된다. 커버링의 경우에 분율 α는 1로 설정되고, 언커버링의 경우에는 0으로 설정되는 것이 바람직하다.

커버링/언커버링 영역을 검출하는 수단(2)은 바람직하게 이전 영상내의 데이터를 현재 추정에서 분율 α로 결정한다.

영상 신호(J)는 또한 전경/배경 검출기(4)에 인가되며 전경/배경 검출기(4)의 출력은 리타이머(3)를 제어한다. 리타이머(3)의 출력은 기준 함수를 최적화하는 수단(1)에 연결된다.

리타이머(3)는 영상 신호에서 속도 에지 X_E를 결정하고, 상기 에지 주변에 오클루전 영역(occlusion area)을 마크한다. 리타이머(3)는, 상기 오클루전 영역에서 오클루전이 커버링 또는 언커버링 영역인지, 전경 속도의 부호, 및 전경이 속도 에지 X_E의 어느 쪽인가에 의존하여 전경 속도가 배경 속도로 대체되거나, 또는 그 역이 되도록 최적화하는 수단(1)을 제어한다.

도 9에는 본 발명에 따른 전경/배경 검출기의 실시예가 도시된다. 이 검출기는 영상 신호(J)가 공급되어 속도 에지의 위치

에서 계산을 실행하는 계산 수단(5, 6)을 구비한다. 계산 수단(5)은 에지의 한 측면에서 제 1 벡터에 걸쳐

을 쉬프트함으로써 이전(커버링) 또는 다음(언커버링) 영상에서의 제 1 위치

를 계산하고, 계산 수단(6)은 에지의 다른 측면에서 제 2 벡터에 걸쳐

을 쉬프트함으로써 이전(커버링) 또는 다음(언커버링) 영상에서의 제 2 위치

를 계산한다. 이전 영상과 다음 영상 사이의 선택은 커버링/언커버링 검출기(7)에 의해 실행되고, 이 검출기에서는 도 1의 커버링 및 언커버링 영역을 검출하는 수단(2)이 사용될 수 있음이 명백하다.

계산 수단(5, 6)의 출력은

와

사이의 제 3 중간 위치를 계산하는 계산 수단(8)의 입력에 연결된다.

도 9의 전경/배경 검출기에는 인출 수단(9)이 더 제공되며, 그 인출 수단(9)의 한 입력은 제 3 위치를 계산하는 수단(8)의 출력에 연결되는 반면, 그 인출 수단(9)의 다른 입력에는 영상 신호(J)가 공급된다. 인출 수단(9)의 출력으로부터, 배경 속도 V_BG가 얻어질 수 있다. 인출 수단(9)은 이전(커버링) 또는 다음(언커버링) 영상으로부터의 배경 벡터를 제 3 위치의 속도로 인출한다. 이 벡터는 배경 벡터

가 채워져야 되는 경우 벡터가 투영되지 않은 에지의 환경에서 영상의 영역에 채워지고, 전경 벡터

가 채워져야 되는 경우에는

와

사이에서 선택된,

와 가장 다른 벡터가 채워진다. 더 상술하면, 제 3 중간 위치는

이다.

전경/배경 검출기의 다른 실시예가 도 10에 도시된다. 이 검출기는 투영 수단(10, 11)을 포함하며, 그 투영 수단(10, 11)의 입력에 영상 신호(J)가 공급된다. 이 투영 수단(10, 11)은 커버링/언커버링 검출기(12)에 의해 제어되며 커버링/언커버링 검출기(12)에도 영상 신호(J)가 공급된다. 상기 검출기(12)는 도 1에 도시된 커버링/언커버링 영역들을 검출하는 수단(2)으로 대체될 수 있다. 커버링/언커버링 검출의 제어 동작은 투영 수단(10)이 속도 에지의 한 측면의 한 위치를 이전(커버링) 또는 다음(언커버링) 영상에 투영하고, 투영 수단(11)이 속도 에지의 다른 측면의 위치를 이전(커버링) 또는 다음(언커버링) 영상에 투영하도록 행해진다. 식별 수단(14)은 투영 수단(10, 11)에 연결되며, 그 식별 수단(14)의 출력에서 배경 속도

및 전경 속도

가 얻어질 수 있다. 이 식별 수단(14)은 배경 속도를 속도 불연속성을 교차하는 속도로서 식별하고, 이전 화상의 전경 속도에 투영하나, 전경 속도는 그 자체에 투영된다.

바람직하게, 검사 수단(13)은 투영 수단(10, 11)에 연결되고, 이 검사 수단(13)은 2회의 투영이 동일 벡터를 산출하는지를 검사한다. 그런 경우, 식별은 정확하다.

도 11에서는 전경/배경 검출기의 또 다른 실시예가 도시된다. 이 검출기는 또한 커버링/언커버링 검출기(17)에 의해 제어되고, 이 검출기(17)는 또한 도 1의 커버링 및 언커버링 영역을 검출하는 수단(2)으로 대체될 수 있다. 도 11의 검출기에서, 영상 신호(J)는 투영 수단(16)의 입력에 공급되고, 이 투영 수단(16)은 커버링/언커버링 검출기의 제어하에서 불연속성을, 커버링 상황에서 이전 벡터 필드에 그리고 언커버링 상황에서 후속 벡터 필드에 투영한다. 게다가, 불연속성의 한 측면에서 속도를 결정하는 수단(18) 및 불연속성의 다른 측면에서 속도를 결정하는 수단(19)이 제공된다. 결정된 속도는 수단(18, 19)의 출력으로부터 테스트 수단(20)에 공급된다. 상기 테스트 수단(20)은 투영 수단(16)에 접속되어, 에지가 불연속성의 한 측면에서 제 1 벡터에 따라 또는 불연속성의 다른 측면에서 제 2 벡터에 따라 이동되는지를 테스트한다. 테스트 수단(20)은 배경 벡터

를 전달하고, 배경 벡터는 불연속성이 제 1(제 2) 벡터에 대해서 이동한 경우 제 2(제 1) 벡터이다.

게다가, 충전(filling) 수단은 테스트 수단(20)에 연결될 수 있고, 충전 수단은 제 1(제 2) 벡터를, 전경 벡터가 채워져야 되는 경우에 벡터가 투영되지 않은 불연속성 환경에서 투영된 벡터 필드의 영역에 채우고, 배경 벡터가 채워져야 되는 경우에는 다른 벡터가 채워진다.

도 12에는 영상 디스플레이 장치가 도시된다. 이 장치는 이전 영상과 다음 영상 사이의 시간적인 중간 위치에서 움직임 벡터를 검출하는 장치(21)를 구비한다. 영상 신호(J)는 장치(21)에 공급되며, 또한 이전 영상과 다음 영상 사이에 영상 일부를 보간하는 수단(22)에도 공급된다. 장치(21)의 출력에서 검출된 움직임 벡터는 보간 수단(22)의 입력에 공급된다. 보간 수단(22)의 출력은 음극선관(cathode ray tube)(23)에 인가된다. 움직임 벡터를 검출하는 장치는 상술된 장치에 따라 구현될 수 있다.

Claims

이전 영상과 다음 영상 사이의 시간적 중간 위치에서 움직임을 검출하는 방법으로서, 이전 영상 및 다음 영상 둘 다로부터의 데이터에 의존하는, 후보 벡터들의 기준 함수가 최적화되고, 상기 최적화는 논커버링(non-covering) 영역 및 논언커버링(non-uncovering) 영역내의 시간적 중간 위치에서 실행되는, 상기 움직임을 검출하는 방법에 있어서,

상기 최적화는 커버링 영역들내의 상기 다음 영상의 상기 시간적 위치 및 언커버링 영역들내의 상기 이전 영상의 상기 시간적 위치에서 실행되며,

속도 에지 X_E가 결정되고, 오클루전 영역(occlusion area)이 상기 에지 주변에 마크되고, 상기 영역에서 전경 속도(foreground velocity)는 오클루전이 커버링 또는 언커버링 영역인지에 의존하여, 상기 전경 속도의 부호에 의존하여, 및 전경이 상기 속도 에지 X_E의 어느 쪽에 있는지에 의존하여 배경 속도(background velocity)로 대체되거나 상기 배경 속도가 상기 전경 속도로 대체되는 것을 특징으로 하는, 움직임을 검출하는 방법.
제 1 항에 있어서, 상기 이전 영상은 상기 후보 벡터와 분율 α의 곱만큼 쉬프트되고, 상기 다음 영상은 상기 후보 벡터와 1-α곱만큼 쉬프트되며, 상기 분율 α는 영상 주기내에서 변할 수 있는, 움직임을 검출하는 방법.
제 1 항에 있어서, 상기 기준 함수는 최소화된 매치 에러(match error)인, 움직임을 검출하는 방법.
제 2 항에 있어서, 상기 분율 α는 매칭 처리에서 커버링/언커버링 검출기에 의해 제어되는, 움직임을 검출하는 방법.
제 4 항에 있어서, 상기 분율 α는 커버링의 경우 1로 설정되고, 언커버링의 경우 0으로 설정되는, 움직임을 검출하는 방법.
제 4 항에 있어서, 상기 커버링/언커버링 검출기는 이전 영상내의 데이터를 현재 추정에서의 상기 분율 α로 결정하는, 움직임을 검출하는 방법.
삭제
제 1 항에 있어서, 속도 에지의 위치
에서,

* 상기 이전(커버링) 또는 다음(언커버링) 영상내의 제 1 위치
가 상기 에지의 한 측면에서 제 1 벡터에 걸쳐
을 쉬프트시킴으로써 계산되고,

* 상기 이전(커버링) 또는 다음(언커버링) 영상내의 제 2 위치
가 상기 에지의 다른 측면에서 제 2 벡터에 걸쳐
을 쉬프트시킴으로써 계산되고,

*
와
사이의 제 3 중간 위치가 계산되고,

* 마지막으로, 상기 이전(커버링) 또는 다음(언커버링) 영상내의 제 3 위치에서
를 사용하여 인출된(fetched) 벡터는 상기 배경 벡터
가 채워져야 되는 경우 벡터가 투영되지 않은 에지의 환경에서 영상의 영역들에 채워지고, 상기 전경 벡터
가 채워져야 되는 경우에는
와
사이에서 선택되어
와 가장 다른 벡터가 채워지는, 움직임을 검출하는 방법.
제 8 항에 있어서, 상기 중간 위치는
인, 움직임을 검출하는 방법.
제 1 항에 있어서, 배경 속도는 속도 불연속성을 교차하는 속도로서 식별되며, 상기 이전 화상의 전경 속도에 투영되는 반면, 전경 속도는 그 자신에 투영되는, 움직임을 검출하는 방법.
제 1 항에 있어서, 부근 에지들이 에지의 한 측면에서 제 1 벡터에 따라, 또는 에지의 다른 측면에서 제 2 벡터에 따라 이동했는지를 테스트하고, 상기 에지가 제 1(제 2) 벡터에 따라 이동한 경우에, 제 2(제 1) 벡터는 배경 벡터
가 채워져야 되는 경우 벡터가 투영되지 않은 에지의 환경에서 투영된 벡터 필드의 영역들에 채워지고, 다른 벡터는 전경 벡터
가 채워져야 되는 경우 채워지는, 움직임을 검출하는 방법.
제 10 항에 있어서, 상기 이전 영상내에서 배경 부분에서 전경 부분으로의 교차는 블록내의 벡터의 매칭 에러에 의해 검증되는, 움직임을 검출하는 방법.
이전 영상과 다음 영상 사이의 시간적 중간 위치에서 움직임을 검출하는 장치로서, 이전 영상 및 다음 영상 둘 다로부터의 데이터에 의존하는 후보 벡터들의 기준 함수를 최적화하는 수단(1)을 포함하고, 상기 최적화는 논커버링 영역 및 논언커버링 영역내의 시간적 중간 위치에서 실행되는, 상기 움직임을 검출하는 장치에 있어서,

커버링 또는 언커버링 영역을 검출하는 수단(2)이 제공되며, 상기 최적화는 커버링 영역들내의 상기 다음 영상의 상기 시간적 위치 및 언커버링 영역들내의 상기 이전 영상의 상기 시간적 위치에서 실행되며,

속도 에지 X_E가 결정되고, 오클루전 영역이 상기 에지 주변에 마크되고, 상기 영역에서 전경 속도는 오클루전이 커버링 또는 언커버링 영역인지에 의존하여, 상기 전경 속도의 부호에 의존하여, 및 전경이 상기 속도 에지 X_E의 어느 쪽에 있는지에 의존하여 배경 속도로 대체되거나 상기 배경 속도가 상기 전경 속도로 대체되는 것을 특징으로 하는, 움직임을 검출하는 장치.
제 13 항에 있어서, 상기 이전 영상은 상기 후보 벡터와 분율 α의 곱만큼 쉬프트되고, 상기 다음 영상은 상기 후보 벡터와 1-α곱만큼 쉬프트되며, 상기 분율 α는 영상 주기내에서 변할 수 있는, 움직임을 검출하는 장치.
제 13 항에 있어서, 상기 기준 함수는 최소화된 매치 에러인, 움직임을 검출하는 장치.
제 14 항에 있어서, 상기 분율 α는 매칭 처리에서 커버링/언커버링 검출기(2)에 의해 제어되는, 움직임을 검출하는 장치.
제 16 항에 있어서, 상기 분율 α는 커버링의 경우 1로 설정되고, 언커버링의 경우 0으로 설정되는, 움직임을 검출하는 장치.
제 16 항에 있어서, 상기 커버링/언커버링 검출기(2)는 이전 영상내의 데이터를 현재 추정에서의 상기 분율 α로 결정하는, 움직임을 검출하는 장치.
삭제
제 13 항 내지 제 18 항 중 어느 한 항에 있어서, 속도 에지의 위치
에서,

* 상기 에지의 한 측면에서 제 1 벡터에 걸쳐
을 쉬프트시킴으로써 상기 이전(커버링) 또는 다음(언커버링) 영상내의 제 1 위치
를 계산하고,

* 상기 에지의 다른 측면에서 제 2 벡터에 걸쳐
을 쉬프트시킴으로써 상기 이전(커버링) 또는 다음(언커버링) 영상내의 제 2 위치
를 계산하고,

*
와
사이의 제 3 중간 위치를 계산하는 계산 수단(5, 6, 8)이 제공되며,

* 마지막으로, 상기 이전(커버링) 또는 다음(언커버링) 영상내의 제 3 위치에서
를 사용하여 인출된 벡터(9)는 상기 배경 벡터
가 채워져야 되는 경우 벡터가 투영되지 않은 에지의 환경에서 영상의 영역들에 채워지고, 상기 전경 벡터
가 채워져야 되는 경우에는
와
사이에서 선택되어
와 가장 다른 벡터가 채워지는, 움직임을 검출하는 장치.
제 20 항에 있어서, 상기 중간 위치는
인, 움직임을 검출하는 장치.
제 13 항 내지 제 18 항 중 어느 한 항에 있어서, 에지의 어느 한 측면의 2개의 위치들을 이전(커버링) 또는 다음(언커버링) 영상에 투영하는 수단 (10, 11)이 제공되며, 배경 속도는 속도 불연속성을 교차하는 속도로서 식별되며(14), 상기 이전 화상의 전경 속도에 투영되는 반면, 전경 속도는 그 자신에 투영되는, 움직임을 검출하는 장치.
제 13 항 내지 제 18 항 중 어느 한 항에 있어서, 부근 에지들이 에지의 한 측면에서 제 1 벡터에 따라, 또는 에지의 다른 측면에서 제 2 벡터에 따라 이동했는지를 테스트하는 수단(20)이 제공되며, 상기 에지가 제 1(제 2) 벡터에 따라 이동한 경우에, 제 2(제 1) 벡터는 배경 벡터
가 채워져야 되는 경우 벡터가 투영되지 않은 에지의 환경에서 투영된 벡터 필드의 영역들에 채워지고, 다른 벡터는 전경 벡터
가 채워져야 되는 경우 채워지는, 움직임을 검출하는 장치.
제 22 항에 있어서, 상기 이전 영상내에서 배경 부분에서 전경 부분으로의 교차를 블록내의 벡터의 매칭 에러에 의해 검증하는 검증 수단이 제공되는, 움직임을 검출하는 장치.
제 13 항에 따른 움직임 벡터를 검출하는 검출 장치(21), 상기 검출 장치(21)에 연결되며 영상 부분들을 보간하는 수단(22), 및 상기 보간 수단에 연결된 디스플레이 디바이스(23)를 포함하는 영상 디스플레이 장치.