KR20050056956A

KR20050056956A - 블록 매치 품질을 결정하기 위한 방법 및 장치

Info

Publication number: KR20050056956A
Application number: KR1020057002130A
Authority: KR
Inventors: 래그하밴 서브라매니얀; 브하밴 갠드히
Original assignee: 모토로라 인코포레이티드
Priority date: 2002-08-06
Filing date: 2003-07-25
Publication date: 2005-06-16
Also published as: EP1574038B1; AU2003256763A8; KR101018564B1; EP1574038A2; RU2381630C2; WO2004014060B1; US7023921B2; EP1574038A4; US20040028134A1; AU2003256763A1; MXPA05001448A; RU2005106280A; WO2004014060A2; WO2004014060A3

Abstract

비디오 데이터의 현재 프레임의 데이터의 메크로블록의 좌표와, 비디오 데이터의 기준 프레임의 데이터의 관련 메크로블록의 좌표의 차이를 나타내는 모션 벡터를 이용하여, 비디오 인코더 시스템의 후보 모션 벡터에 대한 블록 매치의 품질을 결정하는 방법 및 장치가 개시된다. 이 방법은, 검색 패턴을 정의하고, 평가를 위해 후보 모션 벡터의 검색 패턴에 기초하여 영역을 검색하고, 차이 메트릭을 산출하고, 프리딕터 모션 벡터와 후보 모션 벡터 간의 차이에 기초하여 바이어스를 계산하고, 차이 메트릭을 바이어스에 가산하여 수정된 차이 메트릭을 결정하고, 수정된 차이 메트릭에 기초하여 최종 모션 벡터를 정의하는 것을 포함한다.

Description

블록 매치 품질을 결정하기 위한 방법 및 장치{METHOD AND APPARATUS FOR DETERMINING BLOCK MATCH QUALITY}

본 발명은, 모션 추정(motion estimation) 분야에 관한 것으로, 특히 비디오 이미지 압축에 적용되는 블록 기반(block-based) 모션 추정에 관한 것이다.

현재, 모션 추정은 수많은 비디오 압축 기술의 핵심적인 요소이다. 모션 추정의 목적은 비디오 시퀀스의 프레임들 간의 시간적인 리던던시(temporal redundancy)를 줄이는 것이다. 모션 추정 알고리즘은 하나 이상의 이전에 코딩된 이미지 프레임들 또는 다음(future) 프레임들을 이용하여 이미지 프레임에 대한 이미지 데이터를 예측한다. 원래의 픽셀 데이터와 대응하는 예측된 픽셀 데이터 간의 산술적인 차를 취하여 차이 이미지를 산출한다. 큰 변동이 있는 차이 이미지는 이미지 프레임들 간의 시간적인 리던던시가 거의 없거나 전혀 없는 것을 나타내는 반면에, 변동이 작은 차이 이미지는 이미지 프레임들 간의 시간적인 리던던시가 높은 것을 나타낸다. 차이 이미지는 이미지 프레임의 시간적인 리던던시가 줄어든 것을 표시하며, 이는 더 나은 코딩 효율을 가져온다.

모션 추정 알고리즘의 일종으로서 블록 기반 모션 추정 알고리즘이 있다. 블록 기반 모션 추정 알고리즘은 이미지 데이터의 블록 상에서 동작한다. 현재 프레임의 이미지 데이터 블록을, 이전 이미지 프레임으로부터의 데이터 블록에 의해 예측한다. 모션 추정 알고리즘은, 이전 이미지 프레임으로부터 최상의 블록 매치 위치를 특정하는 이미지 데이터 블록에 대한 모션 벡터를 출력한다. 비디오 압축 방법에서, 이 모션 벡터 정보는 압축되어 전송되거나 압축된 차이 데이터와 함께 저장된다.

H.263, MPEG-2 및 MPEG-4 등의 국제 비디오 압축 규격에 의하면, 모션 벡터를 특정하는 신텍스를 제공함으로써 블록 기반 모션 추정을 허용한다. 이들 규격들은 특정한 모션 추정 알고리즘을 필요로 하지는 않는다. 이들 압축 규격에서는, 메크로블록으로서 표시되는 16×16 픽셀의 기본 블록 사이즈에 대하여 모션 추정이 산출된다. 더 작은 이미지 영역에 대한 모션 추정을 위해 8×8 픽셀의 블록 사이즈에 대한 동작이 허용된다.

모션 추정은 비디오 인코딩 시스템에서 가장 인텐시브한 프로세서 유닛의 하나이다. 계산의 복잡성과 모션 벡터의 효율성 간의 타협을 이루기 위한 기존의 수많은 블록 기반 모션 추정 기술이 있다.

FSME(full search motion estimation)이 현재 이미지 프레임 내의 블록을 이전에 처리된 프레임의 검색 윈도우 내에 위치한 각 픽셀 위치에 비교한다. 각 픽셀 위치의 블록 매치의 양호함은, 그 대응하는 왜곡을 측정함으로써 결정된다. 블록 매칭 메트릭에 의해 이용되는 전형적인 왜곡 측정값은, SAD(sum of absolute difference) 메트릭 : 이다.

여기서, B^C는 현재 이미지 프레임 내의 블록이고, B^P는 이전 이미지 프레임 내의 블록이다. 인덱스 m 및 n은 N행 M열의 블록 내의 픽셀을 인덱스한다. 작은 SAD 값은 양호한(good) 블록 매치에 대응하고, 큰 SAD 값은 열악한(poor) 블록 매치에 대응한다. 불운하게도, 검색 윈도우가 증가함에 따라 FSME는 제한적으로 된다. SAD 메트릭을 이용하게 되면, 모션 벡터를 인코드하는데 있어서 과도하게 많은 비트수가 필요하게 되어, 압축의 비효율성을 초래하게 된다는 면에서, FSME에 대하여 또 다른 문제점이 존재한다.

현재, 수 개의 덜 복잡한 모션 알고리즘이 있다. 이들 알고리즘들은 모두, 더 열악한 품질을 제공하거나 계산상의 복잡성을 충분히 저감시키지 못하게 된다. 또한, 비교적 복잡함이 줄어든, 다소 향상된 품질을 제공하는 몇 개의 모션 추정 알고리즘이 있다.

하나의 가능한 접근법으로서, 구역 기반(zonal based) 방법이 있다. 먼저, 최상의 매칭 모션 벡터로서 모션 벡터 프리딕터(PMV)를 산출한다. 그런 다음, PMV 주위의 구역 패턴에 후속하는 모션 벡터 검색을 수행한다. 그 다음에, 제로 모션 벡터 주위에 대하여 유사한 지역 검색을 후속한다. 모든 단계에서, 충분히 양호한 기준(criterion)이 얻어지면, 검색을 종료하는 기준이 있다. 불운하게도, 이러한 접근법은, 광범위한 비디오 시퀀스에 대하여 일정한 양호성을 제공하지 않는다.

PMVFAST라고 불리는 모션 추정 알고리즘이 전술한 구역 접근법과 매우 유사하다. 그러나, 구역 검색 패턴 대신에, 반복적인(iterative) 다이아몬드 검색 패턴을 이용한다. 특정한 기준에 따라 대형 또는 소형 다이아몬드 패턴을 이용할 수 있다. 불운하게도, 이 접근법은 구역 접근법과 매우 유사한 결과를 가져온다.

<발명의 개시>

비디오 데이터의 현재 프레임 내의 데이터의 메크로블록의 좌표와, 비디오 데이터의 기준 프레임 내의 데이터의 관련 메크로블록의 좌표 간의 차이를 나타내는 모션 벡터를 이용하여, 비디오 인코더 시스템의 후보 모션 벡터에 대한 블록 매치의 품질을 결정하는 방법 및 장치가 제공된다. 이 방법은, 검색 패턴을 정의하고, 평가를 위해 후보 모션에 대하여 검색 패턴에 기초하여 영역을 검색하고, 차이 메트릭을 산출하고, 프리딕터 모션 벡터와 후보 모션 벡터 간의 차이에 기초하여 바이어스를 산출하고, 이 차이 메트릭을 바이어스에 합산하여 수정된 차이 메트릭을 결정하고, 이 수정된 차이 메트릭에 기초하여 최종 모션 벡터를 정의하는 것을 포함할 수 있다.

도 1은 일 실시예에 따른 비디오 압축 시스템의 예시적인 블록도.

도 2는 일 실시예에 따른 현재 메크로블록의 인접부의 예시적인 도면.

도 3은 양호한 실시예의 제1 스테이지 동안에 이용되는 예시적인 검색 패턴.

도 4는 양호한 실시예의 제1 스테이지 동안의 캡처 모드에서 이용되는 예시적인 검색 패턴.

도 5는 양호한 실시예의 제2 스테이지 동안에 이용되는 검색 패턴의 예시적인 도면.

도 6은 양호한 실시예에 따른 본 발명의 동작을 아웃트라인하는 예시적인 흐름도.

도 7은 일 실시예에 따른 모션 추정 회로의 예시적인 블록도.

본 발명은 광범위한 비디오 시퀀스에 걸쳐 개선된 성능을 제공한다. 더 나은 품질을 가져오는 몇 가지의 개선 사항 및 새로운 알고리즘 기술 혁신이 있다. 사실상, 수 개의 비디오 시퀀스에 걸쳐 평균을 내볼 때, 본 발명은, 비디오 압축 효율의 성취면에서 볼 때, 전형적인 완전한(full) 검색 알고리즘의 성능을 향상시키는데 도움이 될 수 있다.

종래 기술에 이용되는 모든 방법들은 블록 매치를 최적화하는데 포커스를 맞추고 있지만, 다른 이점들 중에, 본 발명은 비디오 시퀀스를 인코드하는데 필요한 비트 수를 전적으로 고려할 수 있다. 본 발명은 또한 실생활 비디오 캡처에서 직면하게 되는 모션의 특성(nature)을 이용할 수도 있다.

현재, 무선 시장의 출발과 함께, 핸드헬드형 디바이스에 대한 비디오 인코딩 기술을 가능하게 하기 위해 더 많은 제반 조건이 있을 것이다. 대부분의 이러한 디바이스들은, 모션 추정의 집중적인 계산을 수행할 수 있는 처리 능력이 없다. 따라서, 본 발명이 제공하는 고품질, 복잡하지 않은 모션 추정 알고리즘이 이러한 디바이스에서는 매우 유용할 수 있다.

일 실시예에 따르면, 본 발명은 2개의 스테이지에서 수행될 수 있다. 제1 스테이지에서, 몇 개의 프리딕터 모션 벡터를 고려할 수 있고, 고정된 검색 패턴을 이용하여 후보 각각의 주위를 검색할 수 있다. 제1 스테이지 동안에, 양호한 매치가 얻어지지 않을 것으로 발견되면, 새로운 셋트의 후보 모션 벡터를 선택하여, 새로운 검색을 수행할 수 있다. 이는 신(scene) 내에 나타나는 임의의 새로운 오브젝트의 모션을 캡처하기 위해 행해질 수 있다. 제2 스테이지에서는, 제1 스테이지의 최상의 결과를 고려할 수 있고, 이동하고 있는, 가중된, 나선 검색 패턴을 이용한 새로운 검색을 수행하여 최상의 블록 매치에 도달할 수 있다.

도 1은 일 실시예에 따른 비디오 인코더를 위한 비디오 압축 시스템(100)의 예시적인 블록도이다. 비디오 압축 시스템(100)은 MSAD(modified sum of absolute differences) 모션 추정 회로(110), 모션 보상 회로(115), 가산기(120), DCT(discrete cosine transform) 회로(125), 양자화기(130), VLC(Variable length code)인코더(135), 역 양자화기(140), IDCT(inverse discrete cosine transform) 회로(145), 또 다른 가산기(150) 및 이전 프레임 회로(155)를 포함할 수 있다.

동작시에, 하나 이상의 이전에 처리된 이미지 프레임을 이용하여 현재 이미지 프레임으로부터 이미지 데이터 블록에 대한 모션 추정이 산출된다. 모션 추정 회로(110)는, 처리된 블록에 대응하는 모션 벡터를 출력한다. 모션 보상 회로(115)는, 산출된 모션 벡터를 이용하여 이전 프레임으로부터 예측 블록을 형성한다. 현재 이미지 프레임에서 예측된 이미지 데이터를 감산함으로써, 가산기(120)에 의해 차이 이미지를 산출한다. 이 차이 이미지는 DCT 회로(125)를 이용하여 변환된다. 모션 추정 회로(110) 및 모션 보상 회로(115)는, 이미지 프레임들 간의 시간적인 리던던시를 저감시키는 역할을 하는 반면에, DCT 회로(125)는 프레임 내의 공간적인 리던던시를 저감시키는 역할을 한다. DCT 계수는, 양자화기(140)에 의해 정확도가 감소되게 된다. 양자화기(140)는 수치적인 손실을 도입하는 동안 압축을 증가시킨다. 양자화된 DCT 계수는, VLC 인코더(135)에 의해 인코드되어, 모션 벡터와 함께 압축된 비디오 비트스트림으로 송신된다. 로컬 재구성 루프는, 역양자화기(140, IDCT(145) 및 가산기(150)로 구성된다. 역양자화기(140)는, DCT 계수를 재구성한다. IDCT(145)는, DCT 계수를 다시 공간적인 도메인으로 변환하여 양자화된 차이 이미지를 형성한다. 재구성된 프레임은, 가산기(150)에 의해, 모션 보상된 데이터를 양자화된 차이 이미지에 가산함으로써 산출된다. 그런 다음, 이 재구성된 데이터가, 후속 이미지 프레임의 처리시에 사용되기 위해 이전 프레임 회로(155)에 저장된다.

고속 예측 모션 검색 모션 추정 회로(110)의 동작은 2개의 스테이지로 구성될 수 있다. 제1 스테이지에서, 수 개의 모션 벡터 프리딕터 주위에 대하여 소규모의 검색이 행해질 수 있다. 이들 모션 벡터 프리딕터(MVP)는, 다른 모션 벡터(MV)로부터 얻어질 수 있다. 초기의 규정의 경우, MV는, 비디오 데이터의 현재 프레임의 데이터 블록과, 이것이 매칭하는 기준 프레임의 데이터 블록의 좌표의 차이이다. MV는 2개의 컴포넌트, X와 Y를 갖는다. MV의 값은 배열된 쌍(X, Y)으로서 기술된다. MVP는, 매칭을 수행할 때, 최상의 MV의 양호한 "예상(guess)"으로서 이용되는 MV이다. 메크로블록(MB)은, 비디오 프레임 내의 데이터의 16×16 블록이다. MB는 또한 일반적인 손실 없이 서로 다른 사이즈의 데이터 블록(예컨대, 8×8, 4×8, 4×4, 16×8 등)을 말할 수 있다.

하나의 모션 벡터 프리딕터는, 제로 모션 벡터에 기초할 수 있다. 특정한 모션 벡터에 기초하고 있는 모션 벡터 프리딕터는, 특정한 모션 벡터와 동일한 모션 벡터 프리딕터를 정의할 수 있다. 제로 모션 벡터는 (0,0)의 좌표를 갖는 모션 벡터이다. 제2 모션 벡터 프리딕터는, 이전 프레임 내에 공동 배치된 메크로블록의 모션 벡터에 기초할 수 있다.

도 2는 추가의 모션 벡터를 결정하는데 이용되는 현재 메크로블록 및 이웃한 메크로블록의 위치를 예시적으로 도시한다. 따라서, 제3 모션 벡터 프리딕터는, 현재 메크로블록의 좌측의 메크로블록의 모션 벡터에 기초할 수 있다. 제4 모션 벡터 프리딕터는 현재 메크로블록의 상부 또는 그 위의 메크로블록의 모션 벡터에 기초할 수 있다. 제5 모션 벡터 프리딕터는 현재 메크로블록의 상부의 메크로블록 및 우측의 메크로블록의 모션 벡터에 기초할 수 있다. 제6 모션 벡터 프리딕터는, 제3, 제4 및 제5 모션 벡터 프리딕터의 중간 모션 벡터에 기초할 수 있다. 이 중간 모션 벡터 프리딕터는, 모션 벡터의 X 및 Y에 대하여 독립적으로 산출될 수 있다.

제7 모션 벡터 프리딕터는 추정된 글로벌 모션 벡터에 기초할 수 있다. 이 글로벌 모션 벡터는, 차이 메트릭이 특정한 임계값 THRESH1 이하인 이전 프레임의 모든 최종 모션 벡터의 평균으로서 모션 추정 회로(10)에 의해 추정된다. 차이 메트릭은, 절대 차이 메트릭의 합, 차이 메트릭의 제곱의 합, 절대 차이 메트릭의 수정된 합, 또는 임의의 다른 유용한 메트릭일 수 있다. 양호한 실시예에서는, 선택한 THRESH1의 값이 THRESH1 = SAD1+OFFSET이고, 여기서, OFFSET은 공칭 500으로 설정되고, SAD1은 다음의 식에 의해 제공된다.

여기서, m 및 n은 픽셀의 인덱스이고, M 및 N은 블록의 크기이다. 예를 들어, 메크로블록은 M = N = 16이다. 글로벌 모션 벡터는 또한 비디오 카메라 상의 모션 센서, 다른 알고리즘, 글로벌 모션 벡터를 결정하기 위한 다른 수단에 의해 결정될 수도 있다.

다른 모션 벡터 프리딕터는, 동일한 메크로블록에 대해서 행해지나, 서로 다른 이전에 코딩된 프레임에 대해서 행해지는 모션 추정의 결과에 기초하여 결정될 수 있다.

모션 추정 회로(110)는, 차이 메트릭이 특정한 임계값 이하인 이전 프레임 내의 모든 최종 모션 벡터의 평균을 이용하여, 글로벌 모션 벡터를 결정할 수 있다. 특히, 모션 추정 회로(110)는, 이전 프레임의 최종 모션 벡터 각각에 대한 차이 메트릭을 산출하고, 이전 프레임 내의 최종 모션 벡터 각각에 대한 차이 메트릭과 소정의 임계값을 비교하고, 차이 메트릭이 임계값 이하인 이전 프레임 내의 최종 모션 벡터 각각에 기초하여 글로벌 모션 벡터를 결정할 수 있다.

각 MVP 주변의 작은 영역 내의 모든 MV를 검색할 수 있다. 그 다음, 가장 낮은, MSAD 메트릭의 MV를 제2 스테이지에 대한 후보 MV로서 선택할 수 있다. MSAD 메트릭은 이하에 정의된다.

따라서, 모션 추정 회로(110)는, 현재의 메트로블록에 대한 가능한 모션 벡터를 나타내는 복수의 모션 벡터 프리딕터를 구하고, 검색 패턴을 정의하고, 검색 패턴을 이용하여 복수의 모션 벡터 프리딕터의 각 모션 벡터 프리딕터 주변을 검색하고, 최종 모션 벡터를 결정함으로써 예측 모션 검색을 수행할 수 있다. 모션 추정 회로는 또한, 메크로블록 매치의 품질을 나타내는 차이 메트릭을 산출할 수 있는데, 여기서 차이 메트릭은 차이 메트릭의 절대값의 합, 차이 메트릭의 제곱의 합 또는 모션 추정에 유용한 임의의 다른 메트릭일 수 있다.

각 MVP 주변의 예시적인 검색 패턴이 도 3에 도시되어 있다. 도시된 바와 같이, 검색 패턴은 수직 방향에서보다 수평 방향에서 보다 연장될 수 있다. 이는, 대부분의 실생활 비디오 데이터에서, 수평 방향의 모션의 변동이 있다는 사실을 이용할 수 있다.

만약, 제1의 6개의 모션 벡터를 평가한 후에, 최상의 MV가 임계값 THRESH2보다 높은 MSAD 메트릭을 가지면, 제1 스테이지는 캡처 모드로 들어갈 수 있다. 양호한 실시예에서, THRESH2는, THRESH2=4^*MMSADAVG이고, MMSADAVG= 이전 프레임의 전체 MMSADS(즉, 최상의 MV들의 MSADS)의 평균이다.

캡처 모드에서, 추가의 MVP는, 도 4에 도시된 것 등와 같이 간주될 수 있다. 예를 들면, 8개의 포인트는 (-12,0)(12,0)(0,-8)(0,8)(-6,4)(6,4)(6,-4)(-6,-4)일 수 있다.

도 3에 도시된 동일한 검색 패턴을 이용하여, 각각의 MVP 주변에 대한 검색을 수행한다. 양호한 실시예에서는, 8개의 MVP 중에서 4개만이 메크로블록에 대하여 고려될 수 있다. 제1 메크로 블록의 경우, 첫 번째의 4개를 고려한다. 다음 메크로블록에 대하여, 다른 4개의 MVP를 고려한다. 이는 계산 수를 저감시키기 위해 행해질 수 있다.

캡처 모드의 목적은, 스트린으로 급속하게 이동하는 임의의 새로운 오브젝트를 검출하고자 하는 것이다. 이러한 시나리오에서는, 인접한 모션 벡터에 기초한 MVP는 실패한다. 8개의 새로운 포인트를 이용함으로써 양호한 모션 벡터 매치를 얻는 기회를 향상시킨다. 이 수평 방향으로는 종종 보다 많은 움직임이 있기 때문에, 8개의 포인트를 선택하여 수평 방향을 선호(favor)할 수 있다.

따라서, 모션 추정 회로(110)는, 검색 패턴을 이용하여 복수의 모션 벡터 프리딕터의 각 모션 벡터 프리딕터 주변을 검색하고, 소정의 임계값보다 높은 차이 메트릭을 갖는 최상의 모드 벡터를 결정하고, 새로운 모션 벡터 프리딕터 셋트 주위에 대하여 모션 검색 패턴을 수행한다.

제1 스테이지에서, MVP 주위의 검색 패턴이 평가되고 있는 경우, 초기의 출구(exit) 기준을 채용하여 그 MVP에 대한 검색을 종료할 수 있다. MV에 대해 얻어진 MSAD가 현재 최소의 MSAD(MMSAD)보다 임계값 THRESH3만큼 더 높으면, 즉 (MSAD_i>(MMSAD+THRESH3))이면, 검색은 종료될 수 있다. 여기서, MSAD_i가 MVP_i에 대해 얻어진 MSAD이면, MMSAD는 현재의 MB에 대한 이 포인트까지 얻어진 MSAD 값 전체의 최소이다. 특히, 이는 최상의 MV의 MSAD이다. 양호한 실시예에서는, THRESH3의 값은 768 주변으로 선택될 수 있다.

따라서, 모션 추정 회로(110)는 모션 벡터 프리딕터 상의 검색 패턴을 수행하고, 현재 모션 벡터에 대한 현재 차이 메트릭을 결정하고, 현재 차이 메트릭을 이전 최소 차이 메트릭에 비교하고, 현재 차이 메트릭이 이전 최소 차이 메트릭보다 낮으면 새로운 최소의 차이 메트릭을 설정하고, 차이 메트릭이 이전 최소 메트릭보다 소정량 초과하면, 검색 패턴을 종료할 수 있다.

그런 다음, 제1 스테이지에서 검색된 모든 MV 중에, 최저 MSAD를 제공하는 MV가 선택되고, 이는 제2 스테이지에 대한 시작 포인트가 된다.

제2 스테이지에서, 제1 스테이지로부터 최상의 MV(즉, 최저 MSAD를 제공하는 것)가 선택되고, 이 MV 주위에서 검색이 수행된다. 예를 들면, 도 5에 도시된 패턴으로 검색이 수행될 수 있다. 검색 패턴은 중앙에서 시작하여, 도 5에 도시된 바와 같은 시퀀스로 다수의 시퀀스로서 나선상으로 움직일 수 있다. 더 양호한 MV(즉, 더 낮은 MSAD를 제공하는 MV)가 발견되면, 새로운 MV 주위에서 검색 패턴이 리센터링(recentering)되고, 나선 검색 패턴이 시작된다. 이 프로세스는 3개의 조건 중 하나가 충족될 때까지 계속된다.

조건 1: MSAD가 THRESH4 = A^* Q + B에 의해 제공되는 임계값 THRESH4 이하이다. 여기서, Q는 현재 MB에 대한 인코더에 의해 이용되는 양자화 단계 크기이고, A 및 B는 상수이다. 양호한 실시예에서는, A=8이고, B-=0이다.

조건 2: 후보, N의 최대 수는 이미 스테이지 2에서 고려하였고, 양호한 실시예에서, N=30이다.

조건 3 : 마지막 M개의 후보 MV 동안에 최소 MSAD(MMSAD) 내에 개선 사항은 없다. 여기서, M은 나선 검색 패턴의 마지막 MV 후보의 위치의 인덱스트의 함수이다. 예를 들면, 검색은 인덱스 0에서부터 시작한다. 포인트 1, 2, 3,... 주위에서 나선상으로 움직인다. 더 나은 MV가 발견될 때마다, 나선 검색 패턴이 이 새로운 MV 주위에서 리센터링하고, 인덱스는 다시 한번 0에서부터 시작한다. 이 인덱스를 이용하여 M의 값을 결정한다. 양호한 실시예에서는, M은 인덱스에 기초하여, 값{4, 4, 4, 4, 4, 4, 4, 4, 4, 5, 5, 5, 5, 6, 6, 6, 6, 7, 7, 7, 7, 7, 7, 8, 8, 8, 8, 8, 9, 9}의 셋트로부터 선택된다.

제2 스테이지의 종료 부분에서 최상의 MV를 메크로블록의 최상의 MV로서 선택한다. 이 MV는 또한 하프-픽셀, 쿼터-픽셀 또는 공지된 기술을 이용하여 후속 스테이지에서 더 높은 정확도로 정제될 수 있다.

전술한 바와 같이, 검색 패턴을 선택하여 수직 방향보다 수평 방향으로 더 광범위한 커버리지를 제공할 수 있다.

MSAD 메트릭은 본 발명에서 유용한 부분이 될 수 있다. 차이(difference) 메트릭의 수정된 합은 양호한 결과를 주지만, 임의의 차이 메트릭은, 절대 차이 메트릭, 차이 메트릭의 수정 합, 또는 임의의 다른 차이 메트릭을 요구하는 본 발명의 모든 실시예에서 교환가능하게 이용될 수 있다. 게다가, MSAD 메트릭은 모든 비디오 인코더 시스템의 성능을 개선시키는데 특히 유용하다. 특히, MASD 메트릭은 개선된 성능을 위해 SAD 메트릭, 스퀘어 메트릭의 합, 또는 비디오 인코더 시스템내의 임의의 다른 메트릭을 대체할 수 있다. 예컨대, MSAD 메트릭은 FSME 시스템, PMVFAST 시스템, 또는 임의의 다른 비디오 인코더 시스템에서 이용될 수 있다.

MSAD 메트릭은 전술한 절대 차이의 합(SAD), 평가되는 후보 MV, 및 예측 모션 벡터(PMV)의 함수이다. PMV는 일반적으로 최종 모션 벡터의 인코딩동안 비디오 인코더에 의해 이용된다. 최종 모션 벡터는 PMV에 관한 차이로서 인코딩되는데, 이는 MVP와는 다르다. 예컨대, 이것은 모션 벡터를 인코딩하기 위한 목적으로 H.261, H.263, MPEG-1, MPEG-2 및 MPEG-4 표준에서 정의되는 고유 MV가 될 수 있다. SAD는 전술한 바와 같이, 전형적인 모션 추정 알고리즘에서 이용되는 메트릭이다.

주어진 PMV를 갖는 매크로블록 및 후보 모션 벡터(MV)에 있어서,

MSAD는,

MSAD = SAD + Bias 로 주어지고,

여기서, 바이어스(bias)는 MV와 PMV간의 모션 벡터 차이 메트릭에 기초하는 임의의 값이다. 예컨대,

다른 예에 의하면, 바이어스는,

에 기초할 수 있고,

여기서, SAD는 이전에 정의된 매칭 블록에 이용되는 전형적인 메트릭이고, MV_x 및 MV_y는 후보 모션 벡터의 X 및 Y 성분이고, PMV_x 및 PMV_y는 PMV의 X 및 Y 성분이며, C는 상수이다. 양호한 실시예에서, C는 대략 5이다. MV는 변하는 반면, PMV는 일반적으로 MB 내의 모든 후보에 대해 고정된 채 유지된다.

MSAD 메트릭은 모션 추정 알고리즘과는 독립적이고, 모든 알고리즘에 실제로 이용될 수 있는 장점이 있다. 새로운 메트릭의 이점은, PMV로 알고리즘을 바이어싱하여 모션 벡터를 인코딩하는데 필요한 비트수를 줄여, 전체 압축 효율을 개선시키는데 있다.

제로 모션 벡터, MV = (0, 0)에 대한 MSAD는 특별한 경우로 취급된다. 제로 MV는 잠재적으로 개선된 압축 효율을 이끌어 낼 수 있다. 그러나, 이것은 H.261, H.263, MPEG-1, MPEG-2 및 MPEG-4 표준에서 결과적인 매크로블록이 "비 코드화(not coded)" 모드내에서 코딩되지 않은 경우에만 발생할 수 있다. 이것은 어떤 임계값이하인 경우에 SAD를 바이어싱함으로써 고려될 수 있다:

C, PMV_x 및 PMV_y는 이전에 정의된 바와 같다.

THRESH5 = D*Q + E

THRESH6 = F

여기서, Q는 양자화 단계 크기이다. D, E 및 F는 상수이다. 양호한 실시예에서, D는 대략 128, E = 0이고, F는 대략 100이다.

따라서, 모션 추정 회로(110)은 차이 메트릭을 계산하고, 예측 모션 벡터 및 후보 모션 벡터에 기초하여 바이어스를 계산하고, 이러한 차이 메트릭 및 바이어스에 기초하여 수정된 차이 메트릭을 결정할 수 있다.

또한, 모션 추정 회로(110)는 차이 메트릭을 계산하고, 예측 모션 벡터 및 후보 모션 벡터에 기초하여 바이어스를 계산하고, 이러한 차이 메트릭 및 바이어스에 기초하여 수정된 차이 메트릭을 결정할 수 있다. 모션 추정 회로(110)는 차이 메트릭 및 바이어스에 기초하여 이러한 차이 메트릭을 바이어스에 부가함으로써 수정된 차이 메트릭을 결정할 수 있다. 모션 추정 회로(110)는 또한, 예측 모션 벡터와 후보 모션 벡터간의 모션 벡터 차이 메트릭을 결정하고, 예측 모션 벡터와 후보 모션 벡터간의 모션 벡터 차이 메트릭에 기초하여 바이어스를 계산함으로써, 예측 모션 벡터와 후보 모션 벡터에 기초하여 바이어스를 계산할 수 있다. 모션 추정 회로(110)는 부가적으로 예측 모션 벡터와 후보 모션 벡터간의 차이의 절대값에 상수를 곱하여 예측 모션 벡터와 후보 모션 벡터에 기초하여 바이어스를 계산할 수 있다. 예컨대, 상수는 약 5와 동일할 수 있다. 모션 추정 회로(110)는 또한, 예측 모션 벡터와 후보 모션 벡터의 수평 좌표간의 차이의 절대값을 예측 모션 벡터와 후보 모션 벡터의 수직 좌표간의 차이의 절대값에 합산하여 예측 모션 벡터와 후보 모션 벡터에 기초하여 바이어스를 계산할 수 있다. 후보 모션 벡터는 매크로블록에 대해 평가되는 복수의 후보 모션 벡터중 하나일 수 있고, 예측 모션 벡터는 매크로블록내에서 각각의 후보 모션 벡터에 대해 고정된 채 유지될 수 있다. 차이 메트릭은 절대 차이 메트릭의 합일 수 있다. 차이 메트릭은 차이 메트릭의 제곱의 합일 수 있다. 모션 추정 회로(110)는 후보 모션 벡터에 기초하여 최종 모션 벡터를 정의할 수 있고, 이러한 최종 모션 벡터를 출력한다.

본 발명의 다른 관련 실시예에 따르면, 비디오 데이터의 현재 프레임내의 데이터의 매크로블록의 좌표와 비디오 데이터의 참조 프레임내의 데이터의 관련 매크로블록의 좌표의 차이를 나타내는 모션 벡터를 이용하여 비디오 인코더 시스템내의 후보 모션 벡터에 대한 블록 매칭의 품질을 결정하기 위한 방법이 제공된다. 이러한 실시예에서, 모션 추정 회로(110)는 검색 패턴을 정의하고, 평가를 위한 후보 모션 벡터에 대한 검색 패턴에 기초하여 영역을 검색하고, 차이 메트릭을 계산하고, 예측 모션 벡터와 후보 모션 벡터간의 모션 벡터 차이 메트릭에 기초하여 바이어스를 바이어스를 계산하고, 바이어스에 차이 메트릭을 합산하여 수정된 차이 메트릭을 결정하고, 수정된 차이 메트릭에 기초하여 최종 모션 벡터를 정의할 수 있다. 최종 모션 벡터는 비디오 인코더 시스템의 제2 스테이지내에서 이용되도록 정의될 수 있다. 차이 메트릭은 절대 차이 메트릭의 합과 차이 메트릭의 제곱의 합의 적어도 하나가 될 수 있다. 모션 벡터 차이 메트릭은 절대 차이 메트릭의 합과 차이 메트릭의 제곱의 합의 적어도 하나가 될 수 있다. 모션 추정 회로(110)는 검색 패턴을 이용하여 복수의 모션 벡터 예측기 주위를 검색하여 영역을 검색할 수 있다. 모션 추정 회로(110)는 소정의 임계값보다 높은 수정된 차이 메트릭을 갖는 최종 모션 벡터를 정의하고, 최종 모션 벡터에 기초하여 새로운 복수의 모션 벡터 예측기 주위의 제2 검색 패턴을 수행하고, 제2 검색 패턴 수행 단계의 결과에 기초하여 새로운 최종 모션 벡터를 결정함으로써, 최종 모션 벡터를 정의할 수 있다. 모션 추정 회로(110)는 수직 방향 보다는 수평 방향으로 더 연장하는 검색 패턴을 정의하여 검색 패턴을 정의할 수 있다. 모션 추정 회로(110)는 다음에 최종 모션 벡터에 기초하여 모션 벡터를 출력할 수 있다.

검색 프로세스 동안, 상이한 MVP들의 검색 영역은 반복된 후보 모션 벡터에 이르도록 오버랩될 가능성이 있다. 로그는 이미 평가된 모든 후보들에 대해 유지될 수 있고, 후보들이 이미 고려되었다면 무시된다.

기술된 검색 시퀀스는 양호한 실시예에서 이용되는 것이다. 이들은 광범위한 비디오 시퀀스에 걸쳐 가능한 신속한 시간에 양호한 매칭을 얻을 수 있도록 최적화된다. 대안적인 검색 패턴을 이용하는 것도 또한 가능하다.

개시된 본 발명은 모션 벡터의 범위에 대해서는 어떤 가정도 하지 않는다. 모션 벡터값에 대한 임의의 제한은 후보에 대해 적용될 수 있고, 이들이 허용된 범위를 넘으면, 버려질 수 있다.

양호한 실시예의 제2 스테이지에서는, 나선(spiral) 검색 패턴이 새로운 최상의 매칭된 후보 MV를 얻는데 다시 집중될 수 있다. 따라서, 평가될 필요가 있는 다음 포인트는 공지의 아프리오리(apriori)가 되지 않을 수 있다. 잠재적으로 평가되는 다음 후보는 현재 후보의 평가 결과에 의존한다. 따라서, 병렬(어떤 하드웨어 구조는 필요로함)로 몇몇 후보 MSAD 계산을 구현하는 것은 곤란해질 수 있다. 이를 완화하기 위해, 검색 패턴의 재 집중은, 후보의 세트를 평가하고 이러한 세트가 병렬로 처리되도록 한 후에, 수행될 수 있다.

도 6은 일 실시예에 따른 모션 추정 회로(110) 동작의 개요를 나타내는 예시적 순서도(600)이다. 단계(610)에서, 순서도는 시작된다. 단계(620)에서, 모션 추정 회로(110)는 예측 모션 벡터 PMV를 결정한다. 단계(630)에서, 모션 추정 회로(110)는 후보 모션 벡터 MV를 결정한다. 단계(640)에서, 모션 추정 회로는 PMV의 수평 성분과 후보 MV간의 차이의 절대값을 계산한다. 단계(650)에서, 모션 추정 회로(110)는 PMV의 수직 성분과 후보 MV간의 차이의 절대값을 계산한다. 단계(660)에서, 모션 추정 회로(110)는 PMV의 성분과 후보 MV간의 차이에 상수를 곱하여 바이어스를 계산한다. 단계(670)에서, 모션 추정 회로(110)는 바이어스를 차이 메트릭에 합산하여 MSAD를 계산한다. 단계(680)에서, 순서도는 종료한다.

도 7은 일 실시예에 따른 고속(fast) 예측 모션 검색 모션 추정 회로(110)의 예시적인 블록도이다. 모션 추정 회로(110)는 차이 메트릭 계산기(710), 바이어스 계산기(720), MSAD 계산기(730), 및 모션 벡터 결정 회로(740)를 포함할 수 있다. 이 회로는 순서도(600)에 따라 기술된 것과 같은 기능에 따라 동작한다.

다른 관련 실시예에 따르면, 고속 예측 모션 검색 방법은 2개의 스테이지에 으해 수행될 수 있다. 제1 스테이지에서는, 7개의 MVP 후보들이 전술한 바와 같이 연산될 수 있다. 다음에, 각각의 MVP에 대해서, 모든 MV 후보들이 도 3의 검색 패턴에 따라 평가될 수 있고, 출구 기준(exit criteria)은 MVP로부터 벗어나거나 캡쳐 모드로 들어가는데 이용될 수 있다. 다음에, 캡처 모드에 있게 되면, 도 3에서와 동일한 검색 패턴 및 동일한 출구 기준을 이용하여 도 4에 기술된 MVP에서 및 그 주위에서 검색이 수행될 수 있다. 다음에, 제2 스테이지에서는, 제1 스테이지르로부터의 최상의 MV가 선택될 수 있고, 도 5에 도시된 나선형 방식으로 검색이 수행될 수 있다. 나선은 재 집중되고 리셋될 수 있고, 인덱스는 더 양호한 정합이 발견될 때마다 제로로 리셋될 수 있다. 마지막으로, 프로세스는 3개의 출구 기준 중 하나가 발견될 때까지 지속된다.

개시된 본 발명은 복잡도를 낮추면서 높은 수준의 압축 효율을 얻을 수 있도록한다. 복잡도는 APDZS 및 PMVFAST의 복잡도와 유사할 수 있다. 그러나, 얻어진 품질은 더 높다. 본 기술 분야에서 인정되는 기준인, 표준 풀 검색 알고리즘과 비교하면, 본 발명은 고정된 비디오 품질에 대해 약 0.6% 정도 더 양호한 압축 효율을 얻을 수 있다. 이러한 수치는 24개의 상이한 QCIF 비디오 시퀀스를 평균한 후에 얻어진다.

본 발명에 관한 하나의 애플리케이션은 핸드 헬드 디바이스상의 실시간 비디오 인코더내에서 구현된다. 이러한 인코딩된 비디오의 전형적인 대역폭은 32kbps 내지 512kbps 범위에 있게 되고, 전형적인 비디오 프레임 크기는 QCIF 및 CIF이다.

본 발명의 방법은 바람직하게는 프로그램된 프로세서에서 구현된다. 그러나, 비디오 압축 시스템(100), 모션 추정 회로(110), 및 다른 엘리먼트는, 범용 또는 특정 목적 컴퓨터, 프로그램된 마이크로프로세서 또는 마이크로컨트롤러 및 주변 집적 회로 엘리먼트, ASIC 또는 다른 집적 회로, 하드웨어 전자장치 또는 이산 엘리먼트 회로와 같은 논리 회로, PLD, PLA, FPGA 또는 PAL등과 같은 프로그래머블 로직 디바이스에서도 구현될 수 있다. 일반적으로, 도면에 도시된 순서도 및 기술된 방법이 구현될 수 있는 유한 상태(finite state) 머신이 상주하는 임의의 디바이스가 본 발명의 프로세서 기능을 구현하는데 이용될 수 있다.

본 발명이 특정 실시예에 따라 기술되었지만, 많은 대체, 수정 및 변경이 당업자게에는 자명하다는 것은 분명하다. 예컨대, 이러한 실시예들의 다양한 콤포넌트가 다른 실시예와 교환되고, 부가되거나 대체될 수 있다. 따라서, 여기 개시된 본 발명의 양호한 실시예는 제한적이 아닌 예시적인 것이다. 다양한 변형례가 본 발명의 사상 및 범주를 벗어나지 않고 만들어질 수 있다.

Claims

비디오 인코더 시스템에서 후보 모션 벡터(candidate motion vector)에 대한 블록 매칭(match)의 품질을 결정하기 위한 방법에 있어서,

차이 메트릭(difference metric)을 계산하는 단계;

예측 모션 벡터(predictor motion vector) 및 후보 모션 벡터에 기초하여 바이어스(bias)를 계산하는 단계; 및

상기 차이 메트릭 및 상기 바이어스에 기초하여 수정된 차이 메트릭을 결정하는 단계를 포함하는 방법.
제1항에 있어서,

상기 차이 메트릭 및 상기 바이어스에 기초하여 수정된 차이 메트릭을 결정하는 상기 단계는 상기 차이 메트릭을 상기 바이어스에 합산하는 단계를 포함하는 방법.
제1항에 있어서,

상기 예측 모션 벡터 및 후보 모션 벡터에 기초하여 바이어스를 계산하는 단계는,

상기 예측 모션 벡터와 상기 후보 모션 벡터간의 모션 벡터 차이 메트릭을 결정하는 단계; 및

상기 예측 모션 벡터와 상기 후보 모션 벡터간의 상기 모션 벡터 차이 메트릭에 기초하여 상기 바이어스를 계산하는 단계를 더 포함하는 방법.
제3항에 있어서,

상기 예측 모션 벡터와 후보 모션 벡터에 기초하여 바이어스를 계산하는 단계는,

상기 예측 모션 벡터와 상기 후보 모션 벡터간의 상기 모션 벡터 차이 메트릭에 상수를 곱하는 단계를 더 포함하는 방법.
제4항에 있어서,

상기 상수는 약 5와 동일한 방법.
제1항에 있어서,

상기 예측 모션 벡터와 후보 모션 벡터에 기초하여 바이어스를 계산하는 단계는,

상기 예측 모션 벡터와 상기 후보 모션 벡터의 수평 좌표간의 차이의 절대값을, 상기 예측 모션 벡터와 상기 후보 모션 벡터의 수직 좌표간의 차이의 절대값에 합산하는 단계를 더 포함하는 방법.
제1항에 있어서,

상기 예측 모션 벡터와 후보 모션 벡터에 기초하여 바이어스를 계산하는 단계는,

상기 예측 모션 벡터와 상기 후보 모션 벡터의 수평 좌표간의 차이의 제곱(square)을, 상기 예측 모션 벡터와 상기 후보 모션 벡터의 수직 좌표간의 차이의 제곱에 합산하는 단계를 더 포함하는 방법.
제1항에 있어서,

상기 후보 모션 벡터는 매크로블록(macroblock)에 대해 평가되는 복수의 후보 모션 벡터중 하나이고,

상기 예측 모션 벡터는 상기 매크로블록내의 각각의 후보 모션 벡터에 대해 고정된 채 유지되는 방법.
제1항에 있어서,

상기 차이 메트릭은 절대 차이 메트릭의 합인 방법.
제1항에 있어서,

상기 차이 메트릭은 차이 메트릭의 제곱의 합인 방법.
제1항에 있어서,

상기 후보 모션 벡터에 기초하여 최종 모션 벡터를 정의하는 단계; 및

상기 최종 모션 벡터를 출력하는 단계를 더 포함하는 방법.
비디오 데이터의 현재 프레임내의 데이터의 매크로블록의 좌표와 비디오 테이터의 기준(reference) 프레임내의 데이터의 관련 매크로블록의 좌표의 차이를 나타내는 모션 벡터를 이용하여 비디오 인코더 시스템내의 후보 모션 벡터에 대한 블록 매칭의 품질을 결정하기 위한 방법에 있어서,

검색 패턴을 정의하는 단계;

평가를 위한 후보 모션 벡터에 대한 상기 검색 패턴에 기초하여 영역을 검색하는 단계;

차이 메트릭을 계산하는 단계;

예측 모션 벡터와 후보 모션 벡터간의 차이 메트릭에 기초하여 바이어스를 계산하는 단계;

상기 차이 메트릭을 상기 바이어스에 합산하여 수정된 차이 메트릭을 결정하는 단계; 및

상기 수정된 차이 메트릭에 기초하여 최종 모션 벡터를 정의하는 단계를 포함하는 방법.
제12항에 있어서,

상기 최종 모션 벡터는 상기 비디오 인코더 시스템의 제2 스테이지내에서 이용되도록 정의되는 방법.
제12항에 있어서,

상기 차이 메트릭은 절대 차이 메트릭의 합과 차이 메트릭의 제곱의 합중 적어도 하나인 방법.
제12항에 있어서,

상기 영역을 검색하는 단계는,

상기 검색 패턴을 이용하여 복수의 모션 벡터 예측기 주위를 검색하는 단계를 더 포함하고,

상기 최종 모션 벡터를 정의하는 단계는,

소정의 임계값보다 높은 수정된 차이 메트릭을 갖는 최종 모션 벡터를 정의하는 단계;

상기 최종 모션 벡터에 기초하여 새로운 복수의 모션 벡터 예측기 주위에 대한 제2 검색 패턴을 수행하는 단계; 및

상기 제2 검색 패턴을 수행하는 단계의 결과에 기초하여 새로운 최종 모션 벡터를 결정하는 단계를 더 포함하는 방법.
제12항에 있어서,

상기 검색 패턴을 정의하는 단계는,

수직 방향보다는 수평 방향으로 더 연장하는 검색 패턴을 정의하는 단계를 더 포함하는 방법.
제12항에 있어서,

상기 최종 모션 벡터에 기초하여 모션 벡터를 출력하는 단계를 더 포함하는 방법.
비디오 데이터의 현재 프레임내의 데이터의 매크로블록의 좌표와 비디오 테이터의 기준 프레임내의 데이터의 관련 매크로블록의 좌표의 차이를 나타내는 모션 벡터를 이용하여 비디오 인코더 시스템내의 후보 모션 벡터에 대한 블록 매칭의 품질을 결정하기 위한 장치에 있어서,

현재 이미지 매크로블록 입력;

차이 메트릭 계산기;

바이어스 계산기;

절대 차이의 수정된 합 계산기; 및

모션 벡터 결정 회로를 포함하는 절대 차이의 수정된 합 모션 추정 회로; 및

모션 벡터 출력을 포함하는 장치.
제18항에 있어서,

상기 차이 메트릭 계산기는, 절대 차이의 합 계산기 및 차이의 제곱의 합 계산기 중 적어도 하나인 장치.
제18항에 있어서,

상기 바이어스 계산기는,

예측 모션 벡터와 후보 모션 벡터간의 모션 벡터 차이 메트릭을 결정하여 바이어스를 계산하는 장치.
제20항에 있어서,

상기 바이어스 계산기는,

상기 예측 모션 벡터와 상기 후보 모션 벡터간의 모션 벡터 차이 메트릭에 상수를 곱하여 바이어스를 더 계산하는 장치.
제20항에 있어서,

상기 바이어스 계산기는,

상기 예측 모션 벡터와 상기 후보 모션 벡터의 수평 좌표간의 차이의 절대값을, 상기 예측 모션 벡터와 상기 후보 모션 벡터의 수직 좌표간의 차이의 절대값에 합산하여 예측 모션 벡터와 후보 모션 벡터간의 모션 벡터 차이 메트릭을 더 결정하는 장치.
제22항에 있어서,

상기 후보 모션 벡터는 매크로블록에 대해 평가되는 복수의 후보 모션 벡터중 하나이고,

상기 예측 모션 벡터는 상기 매크로블록내의 각각의 후보 모션 벡터에 대해 고정된 채 유지되는 장치.
제20항에 있어서,

상기 바이어스 계산기는,

상기 예측 모션 벡터와 상기 후보 모션 벡터의 수평 좌표간의 차이의 제곱을, 상기 예측 모션 벡터와 상기 후보 모션 벡터의 수직 좌표간의 차이의 제곱에 합산하여 예측 모션 벡터와 후보 모션 벡터간의 모션 벡터 차이 메트릭을 더 결정하는 장치.
제18항에 있어서,

상기 절대 차이의 수정된 합 모션 추정 회로에 결합되는 모션 보상 회로를 더 포함하는 장치.
제25항에 있어서,

상기 현재 이미지 매크로블록 입력 및 상기 모션 보상 회로에 결합되는 가산기를 더 포함하는 장치.
제26항에 있어서,

상기 가산기에 결합되는 이산(discrete) 코사인 변환 회로; 및

상기 이산 코사인 변환 회로에 결합되는 양자화기를 더 포함하는 장치.
제27항에 있어서,

상기 양자화기에 결합되는 역 양자화기; 및

상기 역 양자화기에 결합되는 역 이산 코사인 변환 회로를 더 포함하는 장치.