KR19990060287A

KR19990060287A - 모션벡터 검출장치

Info

Publication number: KR19990060287A
Application number: KR1019970080509A
Authority: KR
Inventors: 최건영
Original assignee: 윤종용; 삼성전자 주식회사
Priority date: 1997-12-31
Filing date: 1997-12-31
Publication date: 1999-07-26
Also published as: JPH11262020A; CN1227458A; KR100246918B1; JP3447235B2; CN1112049C; US6317136B1

Abstract

가. 청구범위에 기재된 발명이 속한 기술분야

본 발명은 모션벡터 검출장치에 관한 것이다.

나. 발명이 해결하려고 하는 기술적 과제

모션벡터 검출을 간단한 하드웨어와 적은 오퍼레이션으로 구현한다.

다. 발명의 해결방법의 요지

현재픽쳐와 참조픽쳐의 픽셀들을 저장하는 글로벌 메모리와, 로컬메모리와, 현재픽쳐에서의 8×8 블럭과 그 블럭에 대해 수직 -8∼+7과 수평 -8∼+7의 영역으로 구성되는 참조픽쳐에서의 서치영역에 대한 픽셀들을 제공받아 모션벡터를 검출하는 모션벡터 검출부와, 상기 현재픽쳐에서의 8×8 블럭과 그 블럭에 대해 수직 -8∼+7과 수평 -8∼+7의 영역으로 구성되는 참조픽쳐에서의 서치영역에 대한 픽셀들을 버퍼링하는 제1버퍼와, 상기 모션벡터 검출부가 출력하는 모션벡터를 래치하는 제2버퍼와, 상기 글로벌 메모리에서 현재픽쳐에서의 16×16 블럭에 해당되는 픽셀들을 리드하여 로컬 메모리에 저장하였다가 서브샘플링하여 상기 버퍼에 8×8 블럭의 픽셀로서 제공하고, 현재픽쳐에서의 16×16 블럭에 해당되는 픽셀들을 리드하여 로컬 메모리에 저장하였다가 서브샘플링하여 상기 버퍼에 상기 8×8 블럭에 대해 수직 -8∼+7과 수평 -8∼+7의 영역으로 구성되는 참조픽쳐에서의 서치영역으로서 제공하고, 상기 제2버퍼로부터 모션벡터를 리드하여 그 모션벡터가 가르키는 참조픽쳐에서의 픽셀의 주변 8픽셀과 상기 현재 픽쳐에서의 16×16 블럭에 해당되는 픽셀들의 민 어브솔루트 에러를 산출하여 그 민 어브솔루트 에러가 가장 작은 픽셀을 검색하여 최종 모션벡터를 검출하는 메인 프로세서를 구비하는 것을 특징으로 한다.

라. 발명의 중요한 용도

영상압축장치에 사용된다.

Description

모션벡터 검출장치

본 발명은 동영상 압축장치에 관한 것으로, 특히 모션벡터 검출장치에 관한 것이다.

동영상 압축시에 모션벡터 검출은 인접픽쳐사이에서의 시간적 중복성을 줄이는데 필수적인 요소로서 H.261이나 앰펙 1, 앰펙 2 등의 동영상 압축방식에 많이 사용된다.

그런데 상기 모션벡터 검출은 그 계산량이 많아서 실시간으로 구현하는 데 어려움이 많다. 일반적으로 모션벡터 검출은 블럭 베이스드 모션 서치 알고리즘이 많이 사용되었다.

일반적인 블럭 베이스드 모션 서치 알고리즘에 의한 모션 벡터 검출과정을 그 모션 벡터 검출과정의 개념을 개략적으로 도시한 도 1을 참조하여 설명한다. 우선 현재픽쳐인 제N픽쳐에서 M×N으로 구성된 매크로 블럭(MB)과 참조픽쳐인 제N-1픽쳐의 서치영역에서 각 포인트에서 상기 매크로 블럭(MB)과의 MAE(Mean Absolute Error)를 연산하여 그 MAE가 가장 작은 블럭을 찾는다. 여기서, 상기 MAE가 가장 작은 제N-1픽쳐에서의 블럭을 최적매치된 블럭(BM)이라 한다. 그리고, 상기 서치영역은 해당 매크로 블럭에 대해 수직 +P∼-P와 수평 +P∼-P의 영역으로 (M+2P)×(N+2P)로 구성된다. 그리고 상기 MAE는 수학식 1에 따라 산출된다.

상기 수학식 1에서 C(x+k,y+l)는 현재픽쳐내의 매크로 블럭의 픽셀들을 나타내며, R(x+i+k,y+j+l)은 참조픽쳐에서의 블럭의 픽셀들을 나타내며, i,j는 +P보다는 작고 -P보다는 크다.

그리고, 상기 매크로 블럭(MB)의 모션벡터(MV)는 현재픽쳐의 매크로 블럭(MB)의 기준지점(x,y)에서 최적매치블럭(BM)의 기준지점(x+u,y+v)간의 벡터 즉, (u,v)로 결정된다.

상기와 같이 참조픽쳐에서 최적매치블럭(BM)을 찾기 위해서는 각 점마다 MAE를 산출하여야 하는 데, 상기 MAE의 산출은 상기 수학식 1에 나타낸 바와 같이 감산 및 절대치 산출, 서메이션 등의 오퍼레이션을 요구한다.

이와 같이 종래의 모션벡터 검출은 그 계산량이 많아 소프트웨어만으로는 처리할 수 없었다. 예를 들어, 서치범위가 ±P이고, 참조영상의 크기가 I×J이고, 초당 F프레임의 속도로 입력영상을 처리하여야 할 경우에 그 계산량은 수학식 2에 따른다.

특히 앰펙 2의 경우에는 상기 M=N=16이고, I=720이고, J=480이고, F=30이고, P=15일 때에 상기 수학식 2에 따른 그 계산량은 29.89GOPS(Giga Operatings Per Second)가 된다.

이에따라 종래에는 SGS-THOMSON사의 STI3220 칩과 같은 모션벡터 검출 VLSI 칩을 코프로세서로 사용하여 모션벡터 검출 알고리즘을 구현하였다. 여기서, 상기 STI3220 칩은 픽셀 레이트 18MHz까지 동작시킬 수 있으며, 8×8 혹은 16×16의 블럭에 대해 수직 및 수평 -8∼+7 픽셀의 서치영역에서 모션벡터를 MAE를 기준으로 하여 검출한다.

그런데, 앰펙 2 규격이나 ITU-T 영상통신규격 H.32에서는 16×16블럭에 대해 수직 및 수평 -16∼+15의 서치영역에서 모션벡터를 검출하도록 규정하고 있다. 이에따라 종래에는 4개의 STI3220 칩을 병렬로 사용하거나, 수직 및 수평 -16∼+15의 서치영역을 4등분한 후에 하나의 STI3220 칩이 각 부분에 대해 모션벡터 검출하여, 결과적으로 -16∼+15의 영역에 대한 서치를 완료할 수 있도록 하였다.

상술한 바와 같이 매크로 블럭에 대해 수직 및 수평 -16∼+15의 서치영역에 대해 모션벡터를 검출하는 경우에 종래와 같이 STI3220 칩을 4개 사용하면, 그 하드웨어의 크기가 커짐은 물론이며 원가상승의 요인되었다.

이와달리 STI3200 칩 한 개로서 하나의 서치영역에 대해 4번에 거쳐 모션벡터를 검출하는 경우에는 그 하드웨어의 크기는 감소되지만 그 처리시간이 길어져 실시간 처리를 곤란하게 하는 원인이 되었다.

따라서 본 발명의 목적은 간단한 하드웨어로서 실시간으로 모션벡터 검출을 수행하는 모션벡터 검출장치를 제공함에 있다.

도 1은 종래의 모션벡터 검출의 과정을 개략적으로 도시한 도면,

도 2는 본 발명의 바람직한 실시예에 따른 모션벡터 검출장치의 블럭구성도,

도 3은 도 2의 메인 프로세서의 처리흐름도,

도 4a는 매크로 블럭에 대한 서브샘플링과정을 도시한 도면,

도 4b는 서치영역에 대한 서브샘플링과정을 도시한 도면,

도 5는 메인 프로세서의 모션벡터 검출과정을 도시한 도면.

상술한 목적을 달성하기 위한 본 발명은 현재픽쳐와 참조픽쳐의 픽셀들을 저장하는 글로벌 메모리와, 로컬메모리와, 현재픽쳐에서의 8×8 블럭과 그 블럭에 대해 수직 -8∼+7과 수평 -8∼+7의 영역으로 구성되는 참조픽쳐에서의 서치영역에 대한 픽셀들을 제공받아 모션벡터를 검출하는 모션벡터 검출부와, 상기 현재픽쳐에서의 8×8 블럭과 그 블럭에 대해 수직 -8∼+7과 수평 -8∼+7의 영역으로 구성되는 참조픽쳐에서의 서치영역에 대한 픽셀들을 버퍼링하는 제1버퍼와, 상기 모션벡터 검출부가 출력하는 모션벡터를 래치하는 제2버퍼와, 상기 글로벌 메모리에서 현재픽쳐에서의 16×16 블럭에 해당되는 픽셀들을 리드하여 로컬 메모리에 저장하였다가 서브샘플링하여 상기 버퍼에 8×8 블럭의 픽셀로서 제공하고, 현재픽쳐에서의 16×16 블럭에 해당되는 픽셀들을 리드하여 로컬 메모리에 저장하였다가 서브샘플링하여 상기 버퍼에 상기 8×8 블럭에 대해 수직 -8∼+7과 수평 -8∼+7의 영역으로 구성되는 참조픽쳐에서의 서치영역으로서 제공하고, 상기 제2버퍼로부터 모션벡터를 리드하여 그 모션벡터가 가르키는 참조픽쳐에서의 픽셀의 주변 8픽셀과 상기 현재 픽쳐에서의 16×16 블럭에 해당되는 픽셀들의 민 어브솔루트 에러를 산출하여 그 민 어브솔루트 에러가 가장 작은 픽셀을 검색하여 최종 모션벡터를 검출하는 메인 프로세서를 구비하는 것을 특징으로 한다.

이하 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명 및 첨부도면에서 많은 특정 상세들이 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있다. 이들 특정 상세들 없이 본 발명이 실시될 수 있다는 것은 이 기술분야에서 통상의 지식을 가진자에게 자명할 것이다. 그리고 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

도 2는 본 발명의 바람직한 실시예에 따른 모션벡터 검출장치의 블럭구성도를 도시한 것으로, 메인 프로세서(100)는 본 발명의 바람직한 실시예에 따른 모션벡터 검출장치를 포함하는 영상처리장치를 전반적으로 제어한다. 특히, 상기 메인 프로세서(100)는 다수의 픽쳐에 대한 픽셀들을 저장하고 있는 글로벌 메모리(102)에서 현재 픽쳐에서 모션벡터를 검출하기 위한 16×16의 매크로 블럭에 해당되는 픽셀들을 리드하고, 참조픽쳐에서 상기 매크로 블럭에 대한 모션벡터를 검출하기 위한 제1서치영역에 해당되는 픽셀들을 리드한다. 상기 제1서치영역은 47×47 픽셀로 구성되며, 그 서치영역의 중심이 상기 매크로 블럭에 대응된다. 상기 매크로 블럭에 대응하는 위치를 도 4b에 점선으로 표시하였으며, 이에따라 상기 서치영역(SR1)은 상기 매크로 블럭에 대응하는 위치를 기준으로 하여 수평 -16∼+15와 수직 -16∼+15의 영역이 된다.

상기 매크로 블럭과 제1서치영역에 해당되는 픽셀들을 리드한 후에 메인 프로세서(100)는 그 매크로 블럭에 대한 픽셀들을 수직과 수평방향으로 2:1 다운샘플링하여 8×8 픽셀로 구성한다. 그리고, 메인 프로세서(100)는 상기 제1서치영역에 대한 픽셀들을 수직과 수평방향으로 2:1 다운샘플링하여 23×23 픽셀로 구성한다.

상기 메인 프로세서(100)는 상기 다운샘플링된 매크로 블럭에 대한 8×8 픽셀들과 다운 샘플링된 제1서치영역에 대한 23×23 픽셀들을 제1버퍼(106)에 제공한다. 상기 제1버퍼(106)는 선입선출 방식의 버퍼로서 입력된 순서에 따라 데이타를 출력하며, 그 출력은 모션벡터 검출부(108)에 제공된다. 상기 모션벡터 검출부(108)는 SGS-THOMSON사의 STI3220 칩이 사용될 수 있다. 상기 모션벡터 검출부(108)는 상기 제1버퍼(106)를 통하여 다운샘플링된 매크로 블럭에 대한 8×8 픽셀들과 다운 샘플링된 제1서치영역에 대한 23×23 픽셀들을 제공받아 그 제1서치영역에 따른 23×23 픽셀들중에서 상기 매크로 블럭에 따른 8×8 픽셀과 MAE가 가장 작은 8×8 픽셀들을 검색하여 제1모션벡터를 검출해낸다. 상기 모션벡터 검출부(108)는 그 제1모션벡터를 제2버퍼(110)에 제공함과 동시에 메인 프로세서(100)에 제1모션벡터 검출사실을 알린다. 상기 제2버퍼(110)는 래치등으로 구성된다. 상기 메인 프로세서(100)는 모션벡터검출부(108)가 제1모션벡터 검출에 대한 정보를 제공하면 그에 따라 제2버퍼(110)에 래치되어 있는 제1모션벡터를 리드한다. 그 후에 상기 메인 프로세서(100)는 상기 제1모션벡터가 가르키는 픽셀과 그 픽셀의 주변 8 픽셀을 글로벌 메모리(102)에서 리드하고, 그리고 상기 매크로 블럭에 대응하는 16×16 픽셀들을 리드한다. 상기 리드후에 메인 프로세서(100)는 그 매크로 블럭에 대응하는 16×16 픽셀과 상기 제1모션벡터가 가르키는 픽셀의 주변 8픽셀 각각에 대해 MAE를 산출하여, 그 MAE가 가장 적은 픽셀을 검색하여 제2모션벡터를 검출한다.

상기와 같은 본 발명의 바람직한 실시예에 따른 모션벡터 검출장치의 동작을 상기 메인 프로세서(100)의 처리흐름도를 도시한 도 3과 픽셀들에 대한 서버샘플링을 개략적으로 도시한 도 4a와 도 4b와 상기 메인 프로세서(100)에서 제2모션벡터검출과정을 개략적으로 도시한 도 5를 참조하여 상세히 설명한다.

(200)단계에서 메인 프로세서(100)는 글로벌 메모리(102)에서 현재 픽쳐에서 모션벡터를 검출하기 위한 16×16의 매크로 블럭에 해당되는 픽셀들을 리드하고, 참조픽쳐에서 상기 매크로 블럭에 대한 모션벡터를 검출하기 위한 47×47의 제1서치영역에 해당되는 픽셀들을 리드한다.

상기 매크로 블럭과 제1서치영역에 해당되는 픽셀들을 리드한 후에 메인 프로세서(100)는 (202)단계로 진행하여 그 매크로 블럭에 대한 픽셀들을 수직과 수평방향으로 2:1 다운샘플링하여 8×8 픽셀로 구성한다. 그리고, 메인 프로세서(100)는 상기 제1서치영역에 대한 픽셀들을 수직과 수평방향으로 2:1 다운샘플링하여 23×23 픽셀로 구성한다. 이를 도시한 도 4a와 도 4b를 참조하면 16×16의 매크로 블럭(MB)은 2:1 서브샘플링되어 8×8의 서브샘플링된 매크로 블럭(SMB)으로 재구성되고, 47×47의 제1서치영역(SR1)은 2:1 서브샘플링되어 23×23의 서브샘플링된 서치영역(SSR1)으로 재구성된다. (204)단계에서 메인 프로세서(100)는 그 서브샘플링된 매크로 블럭의 픽셀들과 제1서치영역의 픽셀들을 제1버퍼(106)에 입력한 후에 모션벡터 검출부(108)를 기동한다. 상기 모션벡터 검출부(108)는 상기 메인 프로세서(100)의 기동명령에 따라 상기 제1버퍼(106)에 로드되어 있는 데이타를 제공받아 모션벡터를 검출하여 제2버퍼(110)에 래치시킨 후에 메인 프로세서(100)에 제1모션벡터 검출정보를 제공한다. (206)단계에서 상기 메인 프로세서(100)는 벡터 모션 검출부(108)가 제1모션벡터 검출 정보를 제공하는지를 검색한다. 이때 메인 프로세서(100)는 벡터 모션 검출부(108)가 제1모션벡터 검출 정보를 제공하면 (208)단계로 진행하고, 그렇지 않으면 벡터 모션 검출부(108)가 제1모션벡터 검출정보를 제공할 때까지 대기한다.

상기 (208)단계에서 메인 프로세서(100)는 상기 제1모션벡터를 제2버퍼(110)에서 리드하고, 그 후에 글로벌 메모리(102)로부터 현재픽쳐에서 다시 해당 매크로 블럭의 픽셀들과 참조픽쳐에서 제2서치영역의 픽셀들을 리드한다. 상기 제2서치영역의 픽셀들은 상기 제1모션벡터에 따른 픽셀과 그 픽셀의 주위의 8픽셀로 구성된다. 즉, 도 5를 참조하면 제2서치영역은 상기 제1모션벡터에 따른 픽셀(MV1P)과 그 픽셀의 주위의 제1 내지 제8픽셀들(P1 내지 P8)로 구성된다. (210)단계에서 메인 프로세서(100)는 상기 매크로 블럭에 대응하는 16×16 픽셀과 상기 제1모션벡터가 가르키는 픽셀의 주변 8픽셀 각각에 대해 MAE를 산출하여, 그 MAE가 가장 적은 픽셀을 검색하여 제2모션벡터를 검출한다.

상기 제2모션벡터의 검출이 종료되면 메인 프로세서(210)는 그 매크로 블럭이 현재픽쳐에 대한 마지막 매크로 블럭이었는지를 검색하여 그 매크로 블럭이 마지막 매크로 블럭이었으면 종료하고, 그렇지 않으면 다음 매크로 블럭에 대한 처리를 위하여 상기 (200)단계로 진행한다.

상술한 바와 같이 본 발명은 메인프로세서를 사용하여 해당 픽셀들을 서브샘플링한 후에 서브샘플링된 픽셀들을 하드웨어로 구성된 모션벡터 검출장치를 사용하여 서브샘플링된 모션벡터, 즉 듀얼 픽셀에 대한 모션벡터를 검출하고, 그 듀얼 픽셀에 대한 모션벡터가 가르키는 픽셀의 주변 8픽셀에 대해 메인 프로세서가 다시 모션벡터, 즉 인티져 모션벡터를 검출한다.

이와같이 하나의 모션벡터 검출장치 1개와 버퍼 등의 간단한 하드웨어와 2 스탭의 계층적인 모션 서치방법을 조합함으로서, 효과적으로 블럭 베이스드 모션 서치 알고리즘(Block Based Motion Search Algorithm)을 실시간으로 구현할 수 있다.

또한 종래에 소프트웨어만으로 16×16 블럭을 계산할 때의 그 오퍼레이션 량은 162×162×3=196603인 데 반하여 상기와 같은 방식의 오퍼레이션량은 8×162×3=6144으로 그 오퍼레이션 량이 매우 감소된다.

Claims

모션벡터 검출장치에 있어서,

현재픽쳐와 참조픽쳐의 픽셀들을 저장하는 글로벌 메모리와,

로컬메모리와,

매크로 블럭과 그 매크로 블럭에 대한 서치영역에 대한 픽셀들을 제공받아 모션벡터를 검출하는 모션벡터 검출부와,

상기 매크로 블럭과 그 블럭에 대한 서치영역에 대한 픽셀들을 버퍼링하는 제1버퍼와,

상기 모션벡터 검출부가 출력하는 모션벡터를 래치하는 제2버퍼와,

상기 글로벌 메모리에서 현재픽쳐에서 매크로 블럭에 해당되는 픽셀들을 리드하여 로컬 메모리에 저장하였다가 서브샘플링하여 매크로 블럭의 픽셀들로서 상기 제1버퍼에 제공하고, 상기 참조픽쳐에서 상기 매크로 블럭에 대한 서치영역에 대한 픽셀들을 리드하여 로컬 메모리에 저장하였다가 서브샘플링하여 상기 서치영역에 대한 픽셀들로서 상기 제1버퍼에 제공하고, 상기 제2버퍼로부터 모션벡터를 리드하여 그 모션벡터가 가르키는 참조픽쳐에서의 픽셀의 주변 픽셀들과 상기 현재픽쳐에서의 매크로 블럭간의 민 어브솔루트 에러를 산출하여 그 민 어브솔루트 에러가 가장 작은 픽셀을 검색하여 최종 모션벡터를 검출하는 메인 프로세서를 구비하는 것을 특징으로 하는 모션벡터 검출장치.
모션벡터 검출장치에 있어서,

현재픽쳐와 참조픽쳐의 픽셀들을 저장하는 글로벌 메모리와,

로컬메모리와,

8×8 픽셀의 매크로 블럭과 그 매크로 블럭에 대한 23×23 픽셀의 서치영역에 대한 픽셀들을 제공받아 모션벡터를 검출하는 모션벡터 검출부와,

상기 8×8 픽셀의 매크로 블럭과 그 블럭에 대한 23×23 픽셀의 서치영역에 대한 픽셀들을 버퍼링하는 제1버퍼와,

상기 모션벡터 검출부가 출력하는 모션벡터를 래치하는 제2버퍼와,

상기 글로벌 메모리에서 현재픽쳐에서 16×16 픽셀의 매크로 블럭에 해당되는 픽셀들을 리드하여 로컬 메모리에 저장하였다가 서브샘플링하여 8×8 픽셀의 매크로 블럭의 픽셀들로서 상기 제1버퍼에 제공하고, 상기 참조픽쳐에서 상기 매크로 블럭에 대한 47×47 픽셀의 서치영역에 대한 픽셀들을 리드하여 로컬 메모리에 저장하였다가 서브샘플링하여 상기 23×23 픽셀의 서치영역에 대한 픽셀들로서 상기 제1버퍼에 제공하고, 상기 제2버퍼로부터 모션벡터를 리드하여 그 모션벡터가 가르키는 참조픽쳐에서의 픽셀의 주변 8픽셀들과 상기 현재픽쳐에서의 16×16픽셀의 매크로 블럭간의 민 어브솔루트 에러를 산출하여 그 민 어브솔루트 에러가 가장 작은 픽셀을 검색하여 최종 모션벡터를 검출하는 메인 프로세서를 구비하는 것을 특징으로 하는 모션벡터 검출장치.
제2항에 있어서,

상기 제1버퍼가 선입선출방식의 버퍼임을 특징으로 하는 모션벡터 검출장치.
제2항에 있어서,

상기 제2버퍼가 래치로 구성됨을 특징으로 하는 모션벡터 검출장치.
제2항에 있어서,

상기 모션벡터 검출부가 SGS-THOMSON사의 STI3220 칩임을 특징으로 하는 모션벡터 검출장치.