KR100906298B1

KR100906298B1 - 모션 벡터 추정을 위한 방법 및 장치

Info

Publication number: KR100906298B1
Application number: KR1020027017381A
Authority: KR
Inventors: 벨러스에르윈비.
Original assignee: 엔엑스피 비 브이
Priority date: 2001-04-20
Filing date: 2002-04-18
Publication date: 2009-07-07
Also published as: JP2004530367A; US20040071215A1; WO2002087210A2; KR20030012888A; CN1582579A; CN100456831C; EP1393572B1; JP4242656B2; US6782054B2; WO2002087210A3; EP1393572A2

Abstract

본 발명에는 모션 추정을 향상시키기 위한 방법이 제공된다. 상기 방법은 모션 추정기를 제공하는 단계, 상기 모션 추정기로부터 적어도 2개의 후보 모션 벡터들을 획득하는 단계, 및 상기 후보 모션 벡터들의 위치 및 크기에 따른 페널티를 갖는 오차 함수를 적용하는 단계를 포함한다. 본 발명에는 또한, 향상된 수렴성을 갖는 재귀 모션 벡터 추정을 위한 장치가 제공된다. 상기 장치는 벡터 생성기 및 최선 벡터 선택기를 포함한다. 최선 벡터 선택기는 후보 모션 벡터들의 위치 및 크기에 따라 적어도 하나의 페널티를 갖는 오차 함수를 적용함으로서 후보 모션 벡터들을 추정하기 위한 수단을 포함한다.

모션 벡터 추정, 3D 재귀 검색 블록 매칭, 모션 추정기, 최선 백터 선택기, 후보 모션 벡터

Description

모션 벡터 추정을 위한 방법 및 장치{Method and apparatus for motion vector estimation}

본 발명은 움직이는 비디오 픽쳐들의 시퀀스에서의 모션 추정의 방법에 관한 것이다. 보다 구체적으로는, 본 발명은 모션 벡터 추정의 방법들 및 그를 위한 장치에 관한 것이지만, 그것에만 한정되는 것은 아니다.

"3D 재귀 검색(3-D Recursive Search)"이라 불리는 종래 기술의 모션 추정 테크닉은, Gerard de Haan 및 P.W.A.C. Biezen에 의한 "3D 재귀 검색 블록 매칭을 갖는 서브 픽셀 모션 추정", Signal Processing:Image Communication 6, 페이지 229-239(1994)에 기재되어 있고, 상기 문헌은 참조 문헌으로서 그 전체가 본 명세서에 포함된다.

3D 재귀 검색은 블록 재귀 모션 추정기들로 분류된다. 알고리즘은 모션이 시간적으로, 즉 필드로부터 필드까지 많이 변하지 않는다는 가정에 기초한다. 알고리즘은 필드 단위로 업데이트되는 벡터 필드를 유지한다. 벡터 필드는 일반적으로, 상대적으로 큰 영역, 즉 오브젝트와 유사하다. 그러므로, 어떤 위치에 인접한 모션 벡터들은 그 위치에서의 모션에 대한 양호한 후보들이다.

모션 비디오는 필드들의 시퀀스로 구성된다. 각 필드는 블록들, 예를 들어 16x16 픽셀들로 분할된다. 모션 벡터는 각 블록과 연관된다. 모션 벡터는 이전 필드 또는 다음 필드와 비교되는 현재 프레임에서 블록 사이의 변위(displacement)를 유지해야 한다. 예를 들어, 현재 필드에서 블록(x, y)의 모션 벡터를 업데이트하기 위해서, 3D 재귀 검색은 단지, 추정을 위한 제한된 수의 후보 벡터들, 말하자면 5개, 즉 이전 필드로부터의 일부 벡터들, 즉 시간 벡터들, 현재 필드로부터의 일부 벡터들, 즉 공간 벡터들, 및 공간 벡터의 업데이트를 사용한다. 최하위 모션 추정 오차를 갖는 후보는 상기 블록에 대한 최선 모션 벡터로서 선택된다. 알고리즘은 블록들을 통과시키기 위해 정상적 래스터 스캔 순서(normal raster scan order)를 사용한다.

3D 재귀 검색 추정기들은 또한, G.de Haan 등에 의한 "3D 재귀 검색 블록 매칭을 갖는 실제 모션 추정", IEEE Trans. Circuits and Systems for Video Technology, Vol. 3, 1993년 10월, 페이지 368-379; 및 "3D 재귀 검색 블록 매칭을 갖는 서브 픽셀 모션 추정", Signal Processing:Image Communications 6, 페이지 229-239(1994)에 기재되어 있고, 상기 문헌은 그 전체가 본 명세서에 기재된 것과 같이 참조 문헌으로서 본 명세서에 포함된다. 검색 영역내의 모든 가능한 변위들을 추정하는 보다 고가의 전체 검색 블록 매쳐(full-search block matcher)들과는 다르게, 상기 알고리즘은 매우 제한된 수의 가능한 모션 벡터들만을 조사한다. 후보 벡터들을 신중하게 선택함으로써, 낮은 복잡도 디자인으로 실제 모션에 거의 근접하는 양호한 성능이 달성될 수 있다.

모션 추정은 여러 애플리케이션들에 유용하다. 모션 추정은 MPEG-2, H.263과 같은 예측 코딩 애플리케이션들의 일부이다. 그와 같이, 모션 벡터들은 시간 상관을 최대화하고, 따라서 코딩 에러를 최소화시키기 위해 사용된다. 모션 추정은 또한, 예를 들어 영화 픽쳐들, 디인터레이싱(deinterlacing), 또는 시간 노이즈 감소의 모션 묘사(motion portrayal)를 향상시키기 위해 비디오 향상의 분야에 적용된다.

모션은 여러 방법들로 추정될 수 있다. 예를 들어, 모션 추정기들은 전체 검색 추정기, 블록 매칭, 오브젝트 기반 방법들 등을 포함한다. 그럼에도 불구하고, 모션 추정기들 모두는 임의의 공간 불변 모션 모델을 가정함으로서 시간 상관을 최대화하려 한다. 예로서, 필립스 내쳐럴 모션 TV 수상기(Philips Natural Motion TV sets)에서 사용되는 3D 재귀 검색 모션 추정기는 블록 단위로 트랜슬레이션 모션(translational motion)을 추정한다.

3D 재귀 검색 추정기에서는 후보 모션 벡터들이 매 블록 단위로 선택된다. 오차 함수, 예를 들어 평균 제곱 오차 또는 평균 절대차가 1 후보당 계산된다. 후보 타입, 예를 들어 공간 또는 시간에 의존하는 페널티가 부가된다. 후보 타입당 페널티는 공간적으로 불변하고, 즉 블록의 공간 위치에 따라 변하지 않는다. 결과적으로, 이러한 타입의 페널티만을 사용하면 픽쳐에서 약간의 아티팩트들 및 부최적 코딩 이득(suboptimal coding gain)을 초래할 수 있다.

그러므로, 본 발명의 목적은 향상된 모션 추정 방법을 제공하는 것이다. 본 발명의 또다른 목적은 수렴 프로세스(convergence process)를 향상시키기 위해 모 션 벡터들의 수렴 속도를 증가시키는 것이다.

종래 기술의 요구들을 나타내는 본 발명은, 향상된 모션 벡터 추정 방법 및 그를 위한 장치를 제공한다. 본 발명의 방법은, 모션 추정기를 제공하는 단계, 상기 모션 추정기로부터 적어도 2개의 후보 모션 벡터들을 획득하는 단계, 및 상기 후보 모션 벡터들의 위치 및 크기에 의존하는 페널티를 갖는 오차 함수를 적용하는 단계를 포함한다. 각 후보 모션 벡터는 비디오 이미지의 영역 표현과 연관된다.

본 발명은 또한, 적어도 제 1 및 제 2 비디오 이미지에서의 선택된 영역들과 연관된 복수의 후보 모션 벡터들을 생성하기 위한 랜덤 벡터 생성기, 및 제 1 및 제 2 비디오 이미지에서 선택된 영역들의 후보 모션 벡터들을 비교하기 위한 최선 벡터 선택기를 포함하고, 상기 최선 벡터 선택기는 후보 모션 벡터들의 위치 및 크기에 의존하는 적어도 하나의 페널티를 갖는 오차 함수를 적용함으로써 후보 모션 벡터들을 추정하기 위한 수단을 포함하는, 향상된 수렴성을 갖는 재귀 모션 벡터를 추정하기 위한 장치를 제공한다.

종래 기술에 비해 본 발명이 제공하는 기타 다른 개선 사항들은 본 발명의 양호한 실시예들을 기술하는 하기의 기재 사항의 결과로서 확인될 것이다. 하기의 기재 사항은 어떠한 방법으로도 본 발명의 범위를 제한하도록 의도되어 있지 않고, 단지 본 발명의 양호한 실시예들을 제공하도록 의도되어 있다. 본 발명의 범위는 첨부된 특허 청구범위에서 제시될 것이다.

이하 기술되는 본 발명에 따른 방법은, 적어도 2개의 후보 모션 벡터들을 선 택할 수 있는 모션 추정기를 제공하는 단계, 및 선택된 후보의 위치 및 크기 모두에 의존하는 공간 페널티를 포함하는 오차 함수를 선택된 후보 모션 벡터들에 적용하는 단계를 포함한다.

모션 추정 장치는 1개의 픽쳐의 픽쳐 블록들을 또다른 픽쳐에서의 다중 픽쳐 블록들과 비교하기 위한 수단을 포함한다. 평가는 일반적으로 8x8 픽셀들 또는 16x16 픽셀들에 제한되어 있지 않고 영역들 또는 블록들에 기초하는 블록 매칭 알고리즘을 위한 것이다. 또다른 픽쳐의 여러 블록들은 모션 벡터가 이들 블록들에 포함된 픽셀값을 비교함으로서 검색되고 있는 현재 픽쳐에서의 블록과 비교된다. 평가는 오차 함수, 예를 들어 절대차들의 합(SAD: sum-of-absolute differences), 또는 평균 제곱 오차(MSE: mean-squared-error)를 사용함으로서 달성된다. SAD 방법에서는 대응하는 블록들내의 모든 또는 일부 픽셀값들이 서로 감산되고, 오차 함수로 평가된다. 일반적으로, 가장 적은 오차를 산출하는 벡터는 최선 벡터를 제공하는 최선 매치로서 선택된다. 대응하는 후보 모션 벡터는 현재 블록에 대한 모션 벡터로서 선택된다. 프로세스는 현재 픽쳐를 갖는 모든 블록들이 결정될 때까지 다시 다음 블록에 대해 개시된다.

본 명세서에서 사용되는 "최선 벡터 선택기"는 가장 근접한 매칭 후보 벡터를 선택하는 장치 또는 방법과 관련한다.

본 발명을 위한 유용한 모션 추정기들은, G. de Haan에 의한 " 소비자 비디오 포맷 담화에 대한 모션 추정에서의 절차", IEEE Transactions on Consumer Electronics, vol. 46, no.3, 페이지 449-459,(2000년 8월)에 보다 더 자세히 개시 된 바와 같은 블록 매칭 및 재귀 펠 타입들(recursive-pel types)을 제약 없이 포함하며, 상기 문헌은 그 전부가 기재되어 있는 것과 같이 본 명세서에 참조 문헌으로 포함된다. 본 발명에 유용한 양호한 블록 매칭 추정기는, 본 명세서에 전부 기재되어 있는 것과 같이 참조 문헌으로서 포함된, de Haan등에 의한 미국 특허 번호 5,212,548; 5,072,293; 5,148,269에 기술되어 있는 3차원 재귀 검색 블록 추정기이다. 또한, 본 발명에 유용한 모션 추정기들은 블록들 뿐만 아니라 블록들 및 픽셀들을 포함하는 어떠한 종류의 형태의 영역들에 대해서도 동작할 수 있는 상술된 바와 같은 모션 추정 장치를 포함한다.

후보 모션 벡터들을 선택하는데 있어서, 비디오 픽쳐는

를 고려할 때

이고, 여기서

은 공간적 위치를 규정했고, n은 필드 수, 즉 시간적 위치를 규정하였고, F()는

및 n에 의해 규정된 시공간 위치에서의 픽셀값이었다. 픽쳐에서의 모든 픽셀에 대한 모션

이 추정되었다. 그러나, 모션 추정 프로세스는 계산 집약적이고 기존의 모션 추정기들과 일치하는 개선이 추구되었기 때문에, 추정 프로세스는 픽셀들, 일반적으로 8x8 픽셀들의 블록들로 제한되었다. 그와 같이, 모션

은 픽쳐에서 매 8x8 블록마다 추정되었고, 여기서

는 블록의 중심을 나타낸다.

다시, 계산의 복잡도를 감소시키고 시공간의 일치성을 향상시키기 위해, 단지 소수의, 일반적으로 4 내지 5개의 블록당 후보 모션 벡터들

이, G. de Haan 및 P.W.A.C Bizen의 "3D 재귀 검색 블록 매칭을 갖는 서브 픽셀 모션 추정", Signal Processing: Image Communication, vol. 6, 페이지 229-239(1994)에 개시된 바와 같이 평가되었다. 본 명세서에서 사용되는 바와 같이, "시공간 일치성"은 시간 및 공간 모두에서의 일치를 나타낸다. 평가는 오차 함수, 일반적으로 절대차들의 합의 계산에 기초하였지만, 이에 국한되지 않는다:

여기서 B(X,n)은 중심

을 갖는 픽셀들의 블록이다.

후보들은 G. de Haan 및 P.W.A.C. Bizen에 의한 "3D 재귀 검색 블록 매칭을 갖는 서브 픽셀 모션 추정", Signal Processing: Image Communication, vol. 6, 페이지 229-239(1994)에 보다 자세히 기재된 바와 같이 시공간 인접부로부터 선택되었다. 최선 매치, 즉 최소의 비용 또는 오차를 산출하는 후보는 평가된 블록에 대한 모션 벡터(X,n)로서 선택된다.

일치성을 한층 더 향상시키기 위해, 후보 모션 벡터의 '타입'에 의존하는 패널티 P가 부가되었다. 그와 같이, 공간 후보들, 즉 현재 픽쳐들에서 이미 계산된 후보 모션 벡터들에는 서로 다른 페널티가 주어질 수 있고, 그 다음으로 시간 후보들, 즉 이전 픽쳐(들)에서의 계산으로부터 알려지는 후보 모션 벡터들에 서로 다른 페널티가 주어질 수 있다:

비디오 영역과 연관된 모션 벡터들의 통계들은 픽쳐에서의 속도들의 확률이 스크린의 위치에 따른다는 것을 나타낸다는 사실이 발견되었다. 그러므로, 모션 추정에 대한 상술된 모델을 확장시키는 것이 유용하다. 공간 위치 및 크기에 따르는 부가적 페널티를 추가함으로서, 모션 추정기는 상기 구한 통계들로 바이어스될 수 있다:

여기서

은 후보 모션 벡터의 표준(즉, '크기')이다.

예로서, 페널티는 픽쳐의 외부를 향하는 픽쳐 블록들 X에서의 큰 후보 모션 벡터들에 대해, 또한 픽쳐의 중심부에 대해 평가된 픽쳐 블록들에서의 작은 후보 모션 벡터들에 대해 상대적으로 확대될 수 있다.

항

는 3D 재귀 검색 모션 추정기에 의해서만 사용되도록 제한되지 않는다. 임의의 모션 추정기는 임의의 비용 함수에 따라, 매우 큰 세트일 수도 있는 후보들을 평가할 필요가 있다. 비용 함수에서의 후보 크기 및 위치 종속항의 추가는 모션 추정기를 바이어스하도록 허용하여, 본 발명의 양호한 실시예를 나타낸다.

비용 함수에의 이러한 상대적 단순 부가는 '실수' 1을 향하는 모션 벡터의 더 빠른 수렴을 가능하게 한다. 이러한 방법으로 수렴성을 향상시키도록 돕는 종속성이 발견되었다. 몇몇 후보들만을 평가하는 것에 기초하면, 그것은 실제 모션 벡터가 구해지기 이전에 시간의 방향에서 가장 빈번히 여러 반복들이나 통과를 거칠 수도 있고, 수렴성이 확립된다는 사실에 주목된다. 또한, 직접적인 보다 빠른 수렴 은 모션 벡터들의 향상된 전체 평균 정확성을 의미한다.

그러므로, 본 발명의 양호한 실시예들에 대해서만 기술하였지만, 부가의 변화들 및 변경들은 본 발명의 정신에서 벗어나지 않고 본 기술 분야의 숙련자들에 의해 구현될 수 있으며, 이하 기술될 특허 청구범위내에 모든 그러한 변화들 및 변경들이 포함되도록 의도된다.

Claims

모션 추정을 향상시키기 위한 방법에 있어서,

모션 추정기를 제공하는 단계;

상기 모션 추정기로부터 적어도 2개의 후보 모션 벡터들을 획득하는 단계; 및

상기 후보 모션 벡터들의 위치 및 크기에 의존하는 페널티를 갖는 오차 함수를 상기 후보 모션 벡터들에 적용함으로써 상기 후보 모션 벡터들을 평가하는 단계를 포함하는, 모션 추정 향상 방법.
제 1 항에 있어서,

상기 후보 모션 벡터들은 비디오 이미지의 영역들에 대해 획득되는, 모션 추정 향상 방법.
향상된 수렴성을 갖는 재귀 모션 벡터 추정(recursive motion vector estimation)을 위한 장치에 있어서,

적어도 제 1 및 제 2 비디오 이미지에서 선택된 영역들과 연관된 복수의 후보 모션 벡터들을 생성하기 위한 벡터 생성기; 및

제 1 및 제 2 비디오 이미지에서 선택된 영역들의 상기 후보 모션 벡터들을 비교하기 위한 최선 벡터 선택기로서, 상기 후보 모션 벡터들의 위치 및 크기에 의존하는 적어도 페널티를 갖는 오차 함수를 상기 후보 모션 벡터들에 적용함으로써 상기 후보 모션 벡터들을 평가하기 위한 수단을 포함하는 상기 최선 벡터 선택기를 포함하는, 재귀 모션 벡터 추정 장치.
제 3 항에 있어서,

상기 오차 함수는 절대차들의 합(sum-of-the-absolute differences) 또는 평균 제곱 오차(mean-squared error)의 함수에 의해 계산되는, 재귀 모션 벡터 추정 장치.