KR20020028625A

KR20020028625A - 하이브리드형 고속 움직임 추정 방법 및 그 장치

Info

Publication number: KR20020028625A
Application number: KR1020000059732A
Authority: KR
Inventors: 김성주
Original assignee: 윤종용; 삼성전자 주식회사
Priority date: 2000-10-11
Filing date: 2000-10-11
Publication date: 2002-04-17
Also published as: KR100727910B1; EP1198140B1; US6947603B2; JP3801886B2; CN1348312A; CN1198467C; DE60143008D1; EP1198140A1; JP2002152760A; US20020041699A1

Abstract

OPGS(one-pixel greedy search)알고리듬과 HSBMA(Hierarchical search block matching algorithm)를 결합한 움직임 추정 방법 및 그 장치가 개시되어 있다. 본 발명은 매크로 블록과 탐색 영역을 입력하여 추정하고자하는 매크로블럭을 위한 후보 움직임 벡터 예측치를 계산하는 과정, 상기 과정에서 계산된 예측치가 임계치 범위내에 포함될 경우 그 예측된 위치를 중심으로 탐색 영역보다 소정수만큼 적은 탐색 영역에서 움직임을 추정하고, 그렇지 않을 경우 전체 탐색 영역을 대상으로 움직임을 추정하는 과정을 포함한다.

Description

하이브리드형 고속 움직임 추정 방법 및 그 장치{Method and apparatus for motion estimation of hybrid type}

본 발명은 동영상 부호화기에 적용되는 고속 움직임 추정 방법 및 그 장치에 관한 것이며, 특히 OPGS(one-pixel greedy search)알고리듬과 HSBMA(Hierarchicalsearch block matching algorithm)를 결합한 움직임 추정 방법 및 그 장치에 관한 것이다.

일반적으로 영상 서비스, 오락, 디지털 방송, 휴대용 영상 단말 장치등은 H.261, H.263, MPEG-1, 2, MPEG-4 비디오 국제 표준안을 채택하고 있다. 이러한 비디오 국제 표준안에 따라 비트스트림을 생성하기 위한 영상 부호화기는 움직임 추정 알고리듬을 이용하여 영상 신호를 압축한다.

움직임 추정 알고리듬은 기존의 기술로서 FSBMA(Full-Search Block Matching Algorithm)와 FSA(fast search algorithm)등이 있다. FSBMA는 이전 프레임에 대한 탐색 영역에 대해서 모든 가능한 위치를 일대일로 차분을 취하여 최소의 오차를 갖는 위치를 찾는다. 그러나 FSBMA는 가장 단순하고 정확도가 이상적이나 매우 높은 계산량을 요구하므로 실시간 인코딩에는 부적절하다.

이에 반해 FSA는 다소간의 정확도를 희생하는 대신 FSBMA에 비해 높은 수준의 계산량 감소 효과를 갖는 것으로 일반적으로 영상 화질이 크게 중요시되지 않는 실시간 영상 부호화기(예: 영상 전화기, IMT-2000단말기, 영상 회의 시스템 등)에 적절하다. FSA의 실시예로는 HSBMA(Hierarchical Search Block Matching Algorithm: 계층적 움직임 추정 알고리듬), TSS(Three-Step Search) 알고리듬, 2D LSBA(Logarithmic Search Algorithm), OPGS(one-pixel greedy search)등이 있다.

여기서 HSBMA는 정확도가 높고 움직임이 크건 적건 영향이 비교적 덜하나 계산량이 높고 저해상도 프레임을 저장할 메모리가 요구되며, 근거리나 원거리의 움직임 벡터를 구별하지 않고 똑같이 많은 계산량을 요하며, 계산의 정확도 역시 차이가 적어서 근거리에 있는 찾기 쉬운 움직임 벡터에도 똑같이 많은 계산량과 오차를 요구한다.

또한 OPGS알고리듬은 중심점(시작점)의 근방에서만 유효한 움직임 벡터를 찾을 수 있고 지역 최소점(local minima)에 잘못 수렴하기 쉬우며, 움직임이 많고 복잡한 영상에서는 정확한 결과를 유도하기 어려우며, 또한 시작점에서 먼 거리에 있는 움직임 벡터를 찾기 위해서는 계산량이 많이 소요되기도 한다.

따라서 기존 움직임 추정 알고리듬들은 현재의 움직임 추정 블록을 계산함에 있어서 기존의 이미 계산된 결과를 활용하지 못하며 또한 움직임이 많으나 적으나 관계없이 또는 해당 블록의 특성에 관계없이 일률적인 알고리듬을 모든 블록에 똑같이 적용함으로 인해 불필요한 계산을 줄일 수 있는 기회를 활용하지 못한다. 이는 VLSI(very large scale integration)등의 하드웨어로 구현하기에는 단순하므로 적절한 구조일 것이나 소프트웨어 전용의 인코더를 구현함에 있어서는 효율적이지 못하다. 그리고 소프트웨어만으로 구현하고자 하는 경우에는 불필요한 계산을 최대한 억제하고 메모리를 적게 사용하면서 필요한 수준의 정확도를 유지함으로써 화질을 향상시키는 것이 실시간 인코더의 구현에 있어서는 필수적이나 기존의 기술만으로는 많은 계산량으로 인해 저가격, 저전력의 CPU(central processor unit)를 사용하여 구현하기가 어려운 단점이 있다.

본 발명이 이루고자하는 기술적과제는 OPGS(one-pixel greedy search)알고리듬과 HSBMA(Hierarchical search block matching algorithm)를 결합한 하이브리드형 움직임 예측을 수행함으로써 불필요한 계산을 최소화하면서도 정확도를 높인 움직임 추정 방법을 제공하는 데 있다.

본 발명이 이루고자하는 다른 기술적과제는 OPGS(one-pixel greedy search)알고리듬과 HSBMA(Hierarchical search block matching algorithm)를 결합한 움직임 추정 방법이 적용된 움직임 추정 장치를 제공하는 데 있다.

도 1은 본 발명에 따른 하이브리드형 고속 움직임 추정 장치의 전체 블럭도이다.

도 2는 본 발명에 따른 하이브리드형 고속 움직임 추정 방법의 전체 흐름도이다.

도 3은 FSBMA를 수행하여 구한 움직임 벡터 크기별 매크로블럭의 분포를 도시한 그래프이다.

도 4는 도 2에 따라 이전 프레임 및 이후 프레임에서 후보 벡터를 추정하는 개념도이다.

도 5는 도 2에 따른 OPGS 알고리듬의 개념도이다.

도 6은 도 2에 따른 HSBMA 알고리듬의 개념도이다.

상기의 기술적 과제를 해결하기 위하여, 본 발명은 적응적인 움직임 추정 방법에 있어서,

(a) 매크로 블록과 탐색 영역을 입력하여 추정하고자하는 매크로블럭을 위한 후보 움직임 벡터 예측치를 계산하는 과정;

(b) 상기 (a)과정에서 계산된 예측치가 임계치 범위내에 포함될 경우 그 예측된 위치를 중심으로 탐색 영역보다 소정수만큼 적은 탐색 영역에서 움직임을 추정하고, 그렇지 않을 경우 전체 탐색 영역을 대상으로 움직임을 추정하는 과정이며, 상기 후보 움직임 벡터는 제로 움직임 벡터값, 이웃한 매크로블럭의 움직임 벡터에 메디안을 취한 값, 이전 혹은 이후의 프레임으로부터 예측된값을 생성하여 그중에서 최적으로 정합되는 값을 선택하는 것임을 특징으로 하는 움직임 추정 방법이다.

상기의 다른 기술적 과제를 해결하기 위하여, 본 발명은 적응적인 움직임 추정 장치에 있어서,

영상 데이터를 입력하여 제로 움직임 벡터, 이전 움직임 벡터, 이웃한 블록들의 움직임 벡터들중에서 정합된 움직임 벡터를 후보 움직임 벡터로 예측하는 후보 벡터 예측부;

상기 후보 벡터 예측부에서 예측된 후보 벡터의 정합도와 설정된 임계치를 비교하여 움직임 추정 알고리듬을 선택하는 알고리듬선택부;

상기 알고리듬 선택부에 의해 후보 벡터의 정합도가 설정된 임계치이내이면 그 예측된 위치를 중심으로 탐색 영역보다 소정수만큼 적은 탐색 영역에서 움직임을 추정하고, 그렇지 않을 경우 전체 탐색 영역을 대상으로 움직임을 추정하는 움직임 추정부;

상기 움직임 추정부에 의해 추정된 추정치의 위치를 참조하여 반화소 움직임을 추정하는 반화소 움직임 추정부를 포함하는 움직임 추정 장치이다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명하기로 한다.

도 1의 장치는 후보 벡터 예측부(110), 알고리듬 선택부(120), 움직임 추정부(130), 반화소 움직임 추정부(150)로 구성된다.

도 1을 참조하면, 후보 벡터 예측부(110)는 영상 데이터를 입력하여 현재 추정하고자하는 매크로블럭(macroblock)을 위한 후보 벡터를 예측한다. 이때 후보 벡터 예측부(110)는 제로 움직임 벡터, 이전 움직임 벡터, 이웃한 블록들의 움직임 벡터들중에서 가장 최적으로 정합되는 움직임 벡터를 후보 움직임 벡터로 최종 선택한다.

알고리듬 선택부(120)는 후보 벡터 예측부(110)에서 예측된 후보 벡터의 SAD(Sum of absolute difference)과 미리 설정된 임계치를 비교하여 움직임 추정 알고리듬(OPGS 또는 HSBMA)을 선택한다.

움직임 추정부(130)는 알고리듬 선택부(120)에 의해 선택된 움직임 추정 알고리듬(OPGS 또는 HSBMA)에 의해 입력되는 영상 데이터의 정화소 움직임 추정을 수행한다.

메모리(140)는 움직임 추정부(130)에 의해 추정된 정화소 움직임 추정치를 저장하여 후보벡터예측부(110)에 인가한다.

반화소 움직임 추정부(150)는 움직임 추정부(130)에 의해 추정된 정화소 움직임 추정치의 위치를 참조하여 입력되는 영상 데이터로부터 16×16 매크로 블록, 8 ×8 서브 블록의 반화소 움직임을 추정한다.

도 3 내지 도 6을 참조하여 도 2에 도시된 고속 움직임 추정 방법의 흐름도를 설명한다.

먼저, 영상 데이터가 입력되면 움직임 추정을 수행할 매크로블록 및 탐색 영역을 입력한다(210과정).

이어서, 현재 추정하고자하는 매크로블럭을 위한 후보 벡터 예측을 수행한다(220과정). 도 3에 도시된 바와 같이 영상에서 FSBMA를 수행하여 얻은 움직임 크기 별 매크로블럭의 분포를 보면, 움직임 벡터의 상당수가 0에서 1 크기의 범위를 갖는다. 따라서 이러한 움직임 벡터를 구하기 위해 모든 매크로블럭들에 일률적인 움직임 예측 알고리듬을 전체 탐색 영역에 적용하기 보다는 도 3과 같은 분포도를 참조한 후보 움직임 벡터 예측을 통해 계산량을 절감할 수 있는 움직임 예측 알고리듬을 적용한다.

따라서 후보 움직임 벡터는 (1)제로 움직임 벡터, (2)이전 움직임 벡터, (3) 이웃한 블록들의 움직임 벡터들중에서 가장 최적으로 정합되는 값 예를 들면, SAD가 가장 최소인 벡터값을 후보 움직임 벡터로 설정한다.

여기서 3개의 후보 움직임 벡터들은 다음과 같이 계산된다. 즉,

(1) 크기가 0 인 움직임 벡터(Zero Motion Vector).

(2) 도 4 의 (b)에서와 같이 현재의 매크로블록을 중심으로 이미 움직임 벡터가 계산된 이웃한 세 개의 매크로블록(420, 430, 440)의 움직임 벡터의 미디안(median)값. 단 현재 프레임이 B-타입인 경우 이웃한 매크로블록들은 순방향(forward), 역방향(backward), 양방향(bidirectional)움직임 벡터 중 한 종류를 가지는 데 그 한 종류를 알면 나머지 방향의 움직임 벡터값도 알고 있는 움직임 벡터의 스케일 변환에 의해 추정될 수있다. 예를 들어 순방향 움직임 벡터를 알면 이를 참조 프레임 간격 수에 따라 적절히 스케일 변환하고 부호를 역으로 하면 역방향 움직임 벡터로 사용할 수 있다. 역방향 움직임 벡터 마찬 가지 방법으로 순방향으로 적절히 변환할 수 있다. 따라서 움직임 벡터는 이웃한 매크로블록들(420, 430, 440) 각각에 대해 세 가지 움직임 벡터 종류(순방향, 역방향, 양방향)에 대한예측치를 모두 계산하고 미디안을 취한 후 가장 잘 정합되는 움직임 벡터 하나를 최종 예측치로 설정한다.

(3) 도 4 의 (a)에서와 같이 현재 프레임이 P-타입 프레임인 경우 이전 P-타입 프레임과 동일한 위치의 매크로블록의 움직임 벡터(410)를 예측치로 설정하거나, 혹은 그 주변 4개를 포함하여 총 5개의 매크로블록들의 움직임 벡터에 대한 메디안값을 예측치로 설정한다. 이때 현재 프레임이 B-타입 프레임인 경우 현재 프레임을 움직임 추정하기 위해 사용하는 이전 혹은 이후의 P-타입 프레임으로부터 동일 위치의 매크로블록에 대해 움직임 벡터의 스케일 변환에 의한 움직임 벡터를 예측치로 설정하거나, 혹은 그 주변 4개의 매크로블록들도 움직임 벡터의 스케일 변환을 행한 후 이들에 대한 메디안값을 예측치로 설정한다.

단 움직임 벡터의 스케일 변환 방법은 (2)항의 방법으로 행한 매크로블록에 대해 한 가지 방향 성분을 알면 이를 적절히 스케일 및 부호를 변환하여 다른 모든 필요한 방향의 성분을 계산한다.

이어서, 후보 움직임 벡터중에서 가장 최적으로 정합되는 값(예를 들면 최소 SAD)과 미리 정의된 임계치(T)와 비교하여 움직임 추정 알고리듬을 선택한다(230과정). 여기서 멀티 태스킹 환경하에서 실시간 동영상 부호화시 CPU(Central Processor Unit)의 프로세싱 파워가 일시적으로 부족한 경우가 발생할 수있다. 이 경우 고정 프레임율(contant frame rate)를 얻고자할 경우 각 프레임별로 목표 부호화 시간을 미리 계산할 수가 있다. 따라서 미리 계산된 목표 부호화 시간을 바탕으로 현재 계산중인 프레임에 대해 일정 슬라이스(일련의 매크로블럭들의 군) 단위로 매크로블럭들을 묶어서 일정 슬라이스 단위마다 현재 프레임에 대한 예상 부호화 시간을 추정하여 임계치를 조절할 수있다.

이어서, 후보 움직임 벡터중에서 가장 최적으로 정합되는 값에 해당하는 최소 SAD값이 임계치(T) 범위내에 존재할 경우 OPGS 알고리듬을 선택한다. 이때 OPGS 알고리듬은 예측된 후보 움직임 벡터값을 이용하여 예측된 위치를 중심으로 f 코드로 정의되는 움직임 벡터가 가질 수 있는 최대 절대치의 1/2 혹은 1/4 범위로 보다 제한된 영역에서 움직임 벡터를 찾는다(240과정). 이때 f 코드는 움직임 벡터가 가질 수있는 최대, 최소 탐색 범위를 나타낸다. 도 5를 참조하여 그 실시예를 설명하면, ①은 도 4에서 추정된 시작점 위치이다. 블록들은 시작점(①)을 중심으로 ②로 표시된 주변 4 위치에 대해 각각 정합을 시도하고, 다시 ③ 또는 ④로 표시된 주변 4 위치에 대해 정합을 시도하여 최종적으로 더 이상 최적으로 정합될 수 있는 주변값이 존재하지 않을 때 까지 반복한다. 따라서 움직임 벡터는 최종 수렴된 결과(ⓟ)에 해당되는 가장 최적으로 정합된 위치이다.

여기서, OPGS 는 H.263 국제표준안 및 MPEG-4 비디오의 경우 통상 매크로블록의 움직임 벡터를 중심으로 ±2 범위이내의 영역 안에서 8x8 서브 블럭(sub-block)의 움직임 추정(advanced prediction mode 또는 4 MV mode)을 행하는 데 , 본 발명에서는 이를 16x16 매크로블록의 OPGS를 수행한 후 각 8x8 서브블럭의 OPGS를 ±2 범위내에서 수행한다. 또한 표준안에 정의된 반복 패딩(repetitive padding)을 통해 확장된 영역에서의 무제한 움직임 벡터(unrestricted motion vector) 추정을 행한다.

이어서, 후보 움직임 벡터중에서 가장 최적으로 정합되는 값 즉, SAD값이 임계치 범위 밖에 존재하여 예측에 실패한 경우 HSBMA 알고리듬을 수행한다. HSBMA 알고리듬은 f 코드로 나타내는 전체 탐색 영역을 대상으로 움직임 추정을 행한다(250과정).

여기서 8x8 서브 블럭의 움직임 추정 시 HSBMA의 단계2(Stage 2)에서 각 네 개의 서브 블록의 움직임 추정을 행하고 이 네 블록의 정합치를 더하여 매크로블록의 움직임 추정을 함께 수행한다. 아울러 필요시 반복 패팅(repetitive padding)을 거친 후 확장된 탐색 영역에 대해 무제한 움직임 벡터(unrestricted motion vector)를 추정한다. HSBMA를 수행 시 계산 방법은 도 6과 같이 순환 탐색(spiral search)을 사용한다. 순환 탐색(spiral search)시 한 단계(stage1, stage2)마다 가장 정합이 잘 된 움직임 벡터의 정합도를 미리 설정된 또다른 임계치와 비교하여 정합 정도가 충분할 경우 더 이상의 계산없이 그 벡터를 최종 움직임 벡터로 선택한다. 여기서 임계치는 HSBMA의 오차 허용범위를 나타내며, HSBMA의 정확도 및 계산량을 결정하며, 미리 설정된 몇 단계의 값중에서 예상되는 부호화 시간에 따라 선택한다. 도 6을 참조하여 그 실시예를 설명하면, 제1단계(stage 1)은 저해상도 또는 서브 샘플링된 영상으로 이루어진 탐색 영역(예:[-2, +2])으로부터 움직임 벡터를 탐색한다. 제2단계(stage 2)는 제1단계(stage 1)와 그 탐색된 결과를 이용해 고해상도 또는 원 영상에서 보다 좁은 탐색 영역의 정밀한 움직임 벡터를 탐색한다. 따라서 상기 단계를 계속 반복하여 가장 높은 해상도(혹은 원 영상)에 도달할 때 까지 수행하여 가장 최적으로 정합되는 블록 위치를 움직임 벡터로 설정한다.

이어서, OPGS알고리듬이나 HSBMA알고리듬에 의해 추정된 한 화소 단위의 움직임 벡터를 16x16 매크로블록 단위로 저장한 후 그 화소 움직임 추정 위치에서 입력되는 영상 데이터의 반화소 움직임 추정을 수행한다(260, 270과정).

이어서, 최종적으로 16x16 매크로블록, 8x8 서브 블럭(sub block), 반화소 움직임 벡터를 추출한다(280과정).

상술한 바와 같이 본 발명에 의하면, 움직임 벡터를 예측하여 예측된 위치를 중심으로 OPGS를 수행하고, 예측이 실패할 경우 잘못된 예측치에 따른 오차를 방지하기 위해 HSBMA로 보정함으로써 높은 정확도를 유지하면서 계산량을 감소시킬 수 있으며, 특히 실시간 부호화기에 효과적이다.

Claims

적응적인 움직임 추정 방법에 있어서,

(a) 매크로 블록과 탐색 영역을 입력하여 추정하고자하는 매크로블럭을 위한 후보 움직임 벡터 예측치를 계산하는 과정;

(b) 상기 (a)과정에서 계산된 예측치가 임계치 범위내에 포함될 경우 그 예측된 위치를 중심으로 탐색 영역보다 소정수만큼 적은 탐색 영역에서 움직임을 추정하고, 그렇지 않을 경우 전체 탐색 영역을 대상으로 움직임을 추정하는 과정을 포함하는 움직임 추정 방법.
제1항에 있어서, 상기 후보 움직임 벡터는 제로 움직임 벡터값, 이웃한 매크로블럭의 움직임 벡터에 메디안을 취한 값, 이전 혹은 이후의 프레임으로부터 예측된값을 생성하여 그중에서 최적으로 정합되는 값을 선택하는 것임을 특징으로 하는 움직임 추정 방법.
제1항에 있어서, 상기 (b)과정은

(b-1) 예측된 예측치가 임계치 범위내에 포함될 경우 OPGS(one-pixel greedy search) 알고리듬을 수행하고,

(b-2) 예측된 예측치가 임계치 범위내에 포함되지 않을 경우 HSBMA(Hierarchical search block matching algorithm) 알고리듬을 수행하는 과정임을 특징으로 하는 움직임 추정 방법.
제1항에 있어서, 상기 (b)과정의 임계치는 미리 계산된 목표 부호화 시간을 바탕으로 현재 프레임에 대해 일정 슬라이스 단위로 매크로블럭들을 묶어서 일정 슬라이스 단위마다 현재 프레임에 대한 예상 부호화 시간을 추정하여 조절됨을 특징으로 하는 움직임 추정 방법.
제3항에 있어서, 상기 (b-2) 과정에서 HSBMA는 순환 탐색을 적용하여, 한 단계 탐색마다 움직임 벡터 정합도를 미리 설정된 복수 단계의 값중에서 예상되는 부호화 시간에 따라 선택되는 오차 허용 범위와 비교하여 비교된 값을 움직임 벡터로선택하는 것임을 특징으로 하는 움직임 추정 방법.
적응적인 움직임 추정 장치에 있어서,

영상 데이터를 입력하여 제로 움직임 벡터, 이전 움직임 벡터, 이웃한 블록들의 움직임 벡터들중에서 정합된 움직임 벡터를 후보 움직임 벡터로 예측하는 후보 벡터 예측부;

상기 후보 벡터 예측부에서 예측된 후보 벡터의 정합도와 설정된 임계치를 비교하여 움직임 추정 알고리듬을 선택하는 알고리듬선택부;

상기 알고리듬 선택부에 의해 후보 벡터의 정합도가 설정된 임계치이내이면 그 예측된 위치를 중심으로 탐색 영역보다 소정수만큼 적은 탐색 영역에서 움직임을 추정하고, 그렇지 않을 경우 전체 탐색 영역을 대상으로 움직임을 추정하는 움직임 추정부를 포함하는 움직임 추정 장치.
제6에 있어서, 상기 움직임 추정부에 의해 추정된 추정치의 위치를 참조하여 반화소 움직임을 추정하는 반화소 움직임 추정부를 더 포함하는 것을 특징으로 하는 움직임 추정 장치.