KR100407691B1

KR100407691B1 - 계층탐색을 이용한 움직임 추정장치 및 방법

Info

Publication number: KR100407691B1
Application number: KR10-2000-0079534A
Authority: KR
Inventors: 박성모; 박주현; 차진종; 조한진
Original assignee: 한국전자통신연구원
Priority date: 2000-12-21
Filing date: 2000-12-21
Publication date: 2003-12-01
Also published as: US6850569B2; US20020080880A1; KR20020050395A

Abstract

본 발명에서는 움직임 벡터를 구하고자 하는 현재영상 내의 기준블록 데이터와 재생된 이전영상 내의 대응되는 탐색영역 데이터가 기준블록 및 탐색영역 데이터 메모리에 각각 저장된다. 메모리에 저장되어 있는 기준블록 및 탐색영역 데이터를 이용하여 2화소 단위의 움직임 탐색이 수행되며, 2화소 단위의 움직임벡터가 얻어진다. 이때, 수평방향 및 수직방향으로 각각 2:1로 샘플링하여 기준블록 및 탐색영역 데이터가 사용되며, 탐색범위는 -7 ~ +7이 된다. 움직임 탐색의 구조는 현재영상의 기준블록(8x8)을 저장하는 메모리와 재생된 이전영상을 저장하는 탐색영역을 저장하는 메모리(24x8)의 2개로 구성되며, 탐색영역내의 후보블록들 중 SAD(Sum of Absolute Difference)값을 구하는 프로세싱 엘리멘트(Processing Elements) 어레이 블록과 후보 SAD들 중에서 가장 작은 움직임벡터를 구하는 블록으로 구성된다. 본 발명의 움직임추정 중 2단계 탐색 알고리즘을 이용한 하드웨어 구현의 경우 기준 메모리의 데이터 대역폭 및 메모리의 크기가 많이 요구된다. 외부 메모리로부터 다운로드를 받을 때는 다운샘플링 방식과 기준 메모리의 대역폭은 파이프라인 이전에 슬라이스를 미리 다운로드를 받는 구조를 채택함으로써 실제 파이프라인 동작에서는 1/3의 대역폭으로 구현하였다. 또한, 각각의 독립적인 메모리를 가지고 있으므로 해서 낮은 주파수에서도 성능의 저하없이 구현할 수 있다.

Description

계층탐색을 이용한 움직임 추정장치 및 방법 {Effective Motion Estimation for hierarchical Search}

본 발명은 압축된 영상데이터의 계층 탐색을 이용한 움직임 추정장치에 관한 것으로서, 보다 상세하게 설명하면 다운샘플링 논리회로와 파이프라인 상에서 메모리 대역폭(Memory Band width)을 최소화하는 구조로 구현함으로써 하드웨어 면적과 소비전력 및 동작속도를 개선하는 계층 탐색을 이용한 움직임 추정장치에 관한 것이다.

영상신호의 경우 인접한 화면들간에는 높은 상관성(correlation)을 가진다. 이러한 시간축 상에서 존재하는 중복적인 정보(redundant information)를 줄여야 영상신호의 압축효율을 높일 수 있다. 특히, 영상데이터의 인접한 화면들간의 움직임 추정은 많은 계산량이 필요한 부분으로 지금까지 많은 알고리즘 및 하드웨어 구조가 연구되어져 왔다.

이러한 종래 기술로는 도 1에 도시된 바와 같이 메모리를 사용하는 방법이 있다. 이는 움직임 추정 알고리즘을 이용하여 VLSI로 구현하는데, 이는 부가 메모리를 사용하여야 하기 때문에 면적과 전력소비가 많아지는 문제점이 있다.

즉, 종래의 움직임 추정장치는, 외부 메모리로부터 탐색영역인 이전영상을 입력받는 블록(101)과, 외부 메모리로부터 현재 기준블록의 영상을 입력받는 블록(102), 이 두 개의 입력값의 차이의 절대값을 구하는 복수 개의 프로세싱 엘리멘트(PE : Processing Element), 복수 개의 프로세싱 엘리멘트의 출력값 중 최소 움직임벡터를 구하는 비교기(103), 및 다음 스테이지를 위한 어드레스를 생성하는 어드레스 생성기(104)를 포함한다. 복수 개의 프로세싱 엘리멘트는 병렬로 동작하는데, 각 프로세싱 엘리멘트는 각각 다른 포인트 즉, 각각 다른 탐색영역에서 움직임 벡터를 구한다.

즉, 종래에는 움직임 탐색을 위하여 현재 영상 데이터와 이전 영상 데이터를 각 버퍼(메모리)에 저장하고, 이를 프로세싱 엘리멘트(PE)의 입력으로 사용하는데, 이때 3개의 메모리를 사용하기 때문에 많은 계산량과 하드웨어가 필요한 문제점이 있다.

2단계 계층적 탐색 알고리즘을 채택함으로써, 움직임추정 모듈은 2단계 계층탐색 알고리즘 중 1단계의 픽셀데이터를 1/4 샘플링하여 움직임탐색 기능을 수행하며 외부메모리에서 기준블록의 데이터와 탐색영역의 데이터를 입력받아 움직임추정을 수행한다.

본 발명에서는 움직임벡터를 구하고자 하는 현재영상 내의 기준블록 데이터와 재생된 이전영상 내의 대응되는 탐색영역 데이터가 기준블록 및 탐색영역 데이터 메모리에 각각 저장된다. 메모리에 저장되어 있는 기준블록 및 탐색영역 데이터를 이용하여 2화소 단위의 움직임탐색이 수행되며, 2화소 단위의 움직임벡터가 얻어진다. 이때, 수평 방향 및 수직 방향으로 각각 2:1로 샘플링하여 기준블록 및 탐색영역 데이터가 사용되며, 탐색범위는 -7 ~ +7이 된다. 움직임탐색의 구조는 현재영상의 기준블록(8x8)을 저장하는 메모리와 재생된 이전영상을 저장하는 탐색영역을 저장하는 메모리(24x8)의 2개로 구성되며, 탐색영역내의 후보블록들 중 SAD(Sum of Absolute Difference)값을 구하는 PE(Processing Elements) Array 블록과 후보 SAD들 중에서 가장 작은 움직임벡터를 구하는 블록으로 구성되어 있다. 본 발명의 움직임추정 중 2단계 탐색 알고리즘을 이용한 하드웨어를 구현할 경우 기준 메모리의 데이터 대역폭 및 메모리의 크기 많이 요구된다. 외부 메모리로부터 다운로드를 받을 때는 다운샘플링 방식과 기준 메모리의 대역폭은 파이프라인 이전에 슬라이스를 미리 다운로드를 받는 구조로 실제 파이프라인 동작에서는 1/3의 대역폭으로 구현하였다. 또한 각각의 독립적인 메모리를 가지고 있으므로 해서 낮은 주파수에서도 성능의 저하 없이 구현하였다.

상기와 같은 종래기술의 문제점을 해결하기 위한 본 발명의 목적은, 탐색영역의 데이터를 다운샘플링하여 사용하고 메모리를 여러 개의 부분영역으로 분할하며, 상기 메모리의 한 부분영역에 데이터를 다운로드한 상태로 움직임 탐색을 시작하고, 움직임 탐색을 순차적으로 수행하면서 메모리의 여러 개의 부분영역에 순차적으로 데이터를 다운로드함으로써, 메모리의 크기와 회로 면적을 줄일 수 있고 소비전력을 절감할 수 있는 계층 탐색을 이용한 움직임 추정장치를 제공하기 위한 것이다.

도 1은 종래 기술의 계층 탐색을 이용한 움직임 추정장치의 구성 블록도,

도 2는 본 발명의 한 실시예에 따른 계층 탐색을 이용한 움직임 추정장치의 구성 블록도,

도 3은 본 발명에 따른 다운샘플링블록의 상세도,

도 4는 본 발명에 따른 탐색영역의 메모리 맵,

도 5는 본 발명에 따른 탐색영역의 프레임 단위의 메모리 맵,

도 6은 본 발명에 따른 프로세싱 엘리멘트 어레이의 상세 구성도,

도 7은 본 발명을 적용하였을 때의 데이터의 흐름도

※ 도면의 주요부분에 대한 부호의 설명 ※

200 : 기준 데이터 다운샘플링블록

210 : 현재 데이터 다운샘플링블록

220 : 디멀티플렉서

230 : 홀수열 기준데이터 메모리블록

240 : 짝수열 기준데이터 메모리블록

250 : 현재 데이터 메모리블록

260 : 프로세싱 엘리멘트 어레이

270 : 비교기

상기한 목적을 달성하기 위한 본 발명에 따른 움직임 추정장치는, 기준 데이터와 현재 데이터를 입력받아 상기 두 입력값의 차이의 절대값이 최소가 되는 움직임 벡터를 구하는 프로세싱 엘리멘트 블록과 비교기를 구비한 비디오 영상의 움직임 추정장치에 있어서, 상기 기준 데이터와 현재 데이터를 다운샘플링하는 다운샘플링수단과, 상기 다운샘플링된 기준 데이터와 현재 데이터를 각각 저장한 후 상기 프로세싱 엘리멘트 블록으로 제공하는 메모리를 포함한 것을 특징으로 한다.

또한, 본 발명에 따른 움직임 추정장치는, 기준 데이터와 현재 데이터를 입력받아 상기 두 입력값의 차이의 절대값이 최소가 되는 움직임 벡터를 구하는 프로세싱 엘리멘트 블록과 비교기를 구비한 비디오 영상의 움직임 추정장치에 있어서, 상기 기준 데이터의 짝수열과 홀수열을 분리하는 디멀티플렉서와, 상기 기준 데이터의 짝수열을 저장한 후 상기 프로세싱 엘리멘트 블록으로 제공하는 짝수열 메모리, 상기 기준 데이터의 홀수열을 저장한 후 상기 프로세싱 엘리멘트 블록으로 제공하는 홀수열 메모리, 및 상기 현재 데이터를 저장한 후 상기 프로세싱 엘리멘트 블록으로 제공하는 현재 메모리를 포함한 것을 특징으로 한다.

또한, 본 발명에 따른 움직임 추정방법은, 기준 데이터와 현재 데이터를 입력받아 상기 두 입력값의 차이의 절대값이 최소가 되는 움직임 벡터를 구하는 프로세싱 엘리멘트 블록과 비교기를 구비한 비디오 영상의 움직임 추정장치의 움직임 추정방법에 있어서, 상기 기준 데이터와 현재 데이터를 다운샘플링하는 다운샘플링단계와, 상기 다운샘플링된 기준 데이터와 현재 데이터를 각각 저장한 후 상기 프로세싱 엘리멘트 블록으로 제공하는 메모리 단계를 포함한 것을 특징으로 한다.

또한, 본 발명에 따른 움직임 추정방법은, 기준 데이터와 현재 데이터를 입력받아 상기 두 입력값의 차이의 절대값이 최소가 되는 움직임 벡터를 구하는 프로세싱 엘리멘트 블록과 비교기를 구비한 비디오 영상의 움직임 추정장치의 움직임 추정방법에 있어서, 상기 기준 데이터의 짝수열과 홀수열을 분리하는 디멀티플렉싱단계와, 상기 기준 데이터의 짝수열과 홀수열, 및 현재 데이터를 각각 분리하여 저장한 후 상기 프로세싱 엘리멘트 블록으로 제공하는 메모리단계를 포함한 것을 특징으로 한다.

본 발명에서는 움직임 벡터를 구하고자 하는 현재 영상 내의 기준블록 데이터와 재생된 이전 영상 내의 대응되는 탐색영역 데이터가 기준블록 및 탐색영역 데이터 메모리에 각각 저장된다. 메모리에 저장되어 있는 기준블록 및 탐색영역 데이터를 이용하여 2 화소 단위의 움직임 탐색이 수행되며 2 화소 단위의 움직임 벡터가 얻어진다. 이때, 수평 방향 및 수직 방향으로 각각 2:1로 다운샘플링한 기준블록 및 탐색영역 데이터가 사용된다.

이하, 첨부된 도면을 참조하면서 본 발명의 한 실시예에 따른 계층 탐색을 위한 움직임 추정장치를 보다 상세하게 설명하기로 한다.

도 2는 본 발명에 따른 계층 탐색을 위한 움직임 추정장치를 도시한 구성도이다. 이는 외부 메모리로부터 기준데이터를 입력받아 다운샘플링(Reference Data Down Sampling)하는 블록(200)과, 외부 메모리로부터 현재 데이터를 입력받아 다운샘플링(Current Data Down Sampling)하는 블록(210), 다운샘플링된 기준데이터를 짝수열과 홀수열로 분리하는 디멀티플렉서(Demultiplex)블록(220), 다운샘플링된 현재 데이터를 저장하는 1개의 메모리블록(250), 디멀티플렉서블록(220)에 의해 분리된 기준데이터의 짝수열과 홀수열을 각각 저장하는 2개의 기준메모리블록(230, 240), 8개의 프로세싱 엘리멘트로 이루어진 프로세싱 엘리멘트 어레이(260), 및 상기 프로세싱 엘리멘트 어레이(260)의 출력값 중에서 최소 움직임벡터를 구하는 비교기(270)를 포함한다.

도 3은 다운샘플링블록(200, 210)의 상세 도면이다. 이는 계층적 탐색을 위하여 n(n은 2의 배수)비트의 데이터 중 하위 n/2비트만을 선택하여 입력데이터를 2:1로 다운샘플링한다. 도 3과 같이 n이 16인 경우에는, 다운샘플링블록(200, 210)은 하위 8비트만을 선택하여 16비트 입력데이터를 2:1로 다운샘플링한다. 또한, 다운샘플링블록(200, 210)은 n이 32인 경우에는 하위 16비트를 선택하고, n이 64인 경우에는 하위 32비트를 선택하여 입력데이터를 2:1로 다운샘플링한다.

도 4는 기준 데이터 메모리에 대한 맵 이다. 2개의 메모리를 이용하여 기준 데이터를 저장하는데, 하나의 메모리에는 홀수열 데이터를 저장하고, 다른 메모리에는 짝수열 데이터를 분리하여 저장한다. 이렇게 함으로써, 후술하는 프로세싱엘리멘트에 기준 클럭과 동일한 속도의 2개의 데이터를 입력되도록 함으로써, 이 프로세싱 엘리멘트가 100% 사용되도록 하기 위한 것이다. 여기서, 메모리의 크기는 24x12이며, 현재영상에 대한 메모리는 8x8 크기로 분리없이 그대로 사용한다.

도 5는 프로세싱 엘리멘트의 구성도이다. 움직임 추정의 필요한 프로세싱 엘리멘트의 수는 8개이며 이는 시스톨릭 어레이 구조를 가진다. 이 구조는 규칙적이고 높은 동작속도를 가지며 데이터 공급이 쉽고 요구되는 데이터의 입력속도가 낮다는 특징을 가진다. 따라서, 파이프라인과 병렬구조로 설계가 가능하다.

이러한 프로세싱 엘리멘트는 입력이 3개인데, 1개의 현재 데이터와 2개의 기준 데이터(짝수열 데이터와 홀수열 데이터)가 입력된다. 내부 프로세싱 엘리멘트는 시스톨릭 어레이 구조로서 초기시를 제외하고는 100% 사용하는 특징을 가지고 있다. (a)는 단일 프로세싱 엘리멘트이의 구성도이며, (b)는 8개의 프로세싱 엘리멘트가 직렬로 연결된 구성도이다.

도 6은 QCIF인 경우에 기준 데이터 메모리의 쓰기 맵을 보여주는 도면이다. 도 6의 실시예에서는 메모리를 3개의 슬라이스로 나누는데, 이때 메모리의 1/3 크기에 해당하는 24x8 픽셀 데이터가 현재의 파이프라인 상에서 필요한 대역폭이다. 이로써, 메모리 대역폭을 최소화할 수 있다. 도 6의 실시예에서는 움직임 추정을 위한 탐색범위가 ±7이기 때문에 메모리를 3개의 슬라이스로 나누었으나, 탐색범위가 ±7 보다 클 경우에는 메모리를 더 많은 슬라이스로 나눌 수도 있다. 즉, 탐색범위의 크기에 따라 메모리를 3의 배수인 6개, 9개,...의 슬라이스로 나눌 수 있고, 이럴 경우에는 메모리 대역폭은 1/(슬라이스 개수)만큼 줄어든다.

매크로블럭 (0,0) 위치에서 필요한 데이터는 2개의 슬라이스 즉 A, B의 데이터가 기준 데이터로 필요하다. 따라서, 파이프라인 시작 전에 1개의 슬라이스를 다운로드하고, 파이프라인이 시작되면 즉, 매크로블록 (0,0) 위치에서는 B 슬라이스에 해당하는 기준 데이터만 다운로드한다. 그리고 (0,0) 위치를 제외한 나머지 매크로블록에서는 C 슬라이스에 해당 기준 데이터만을 다운로드한다. 이 메모리에서 기준 데이터를 읽을 때에는 슬라이스 A→B→C 순서로 읽는다. 이 구조는 외부 메모리와 필요한 데이터 대역폭을 1/3로 줄이는 구조이다.

도 7은 본 발명을 적용하였을 때의 데이터의 흐름도를 나타내었다. QCIF 영상에 대하여 필요한 싸이클 수로 기준영상 다운로드에 필요한 싸이클은 24x8=192클럭이다.

위에서 양호한 실시예에 근거하여 이 발명을 설명하였지만, 이러한 실시예는 이 발명을 제한하려는 것이 아니라 예시하려는 것이다. 이 발명이 속하는 분야의 숙련자에게는 이 발명의 기술사상을 벗어남이 없이 위 실시예에 대한 다양한 변화나 변경 또는 조절이 가능함이 자명할 것이다. 그러므로, 이 발명의 보호범위는 첨부된 청구범위에 의해서만 한정될 것이며, 위와 같은 변화예나 변경예 또는 조절예를 모두 포함하는 것으로 해석되어야 할 것이다.

이상과 같이 본 발명에 의하면, 외부 메모리로부터 다운로드를 받을 때는 다운샘플링 방식과 기준 데이터를 저장하는 메모리는 파이프라인 이전에 슬라이스를 미리 다운로드를 받는 구조를 채용함으로써 실제 파이프라인 동작에서는 1/3의 대역폭으로 구현할 수 있다. 또한, 각각의 독립적인 메모리를 가지고 있으므로 낮은 주파수에서도 성능의 저하없이 구현 가능하며, 구현된 회로는 적은 대역폭과 낮은 주파수에서 동작하므로 전력소모를 줄일 수 있는 장점이 있다.

Claims

기준데이터와 현재 데이터를 입력받아 상기 두 입력값의 차이의 절대값이 최소가 되는 움직임 벡터를 구하는 프로세싱 엘리멘트 블록과 비교기를 구비한 비디오 영상의 움직임 추정장치에 있어서,

상기 기준데이터와 현재 데이터를 다운샘플링하는 다운샘플링수단과,

상기 다운샘플링된 기준데이터을 짝수열 데이터와 홀수열 데이터로 분리하는 디멀티플렉서와,

상기 다운샘플링된 기준데이터의 짝수열 데이터를 저장한 후 상기 프로세싱 엘리멘트 블록에게 제공하는 짝수열 메모리와,

상기 다운샘플링된 기준데이터의 홀수열 데이터를 저장한 후 상기 프로세싱 엘리멘트 블록에게 제공하는 홀수열 메모리와,

상기 다운샘플링된 현재 데이터를 저장한 후 상기 프로세싱 엘리멘트 블록에게 제공하는 현재 메모리를 포함하며,

상기 프로세싱 엘리멘트 블록은 상기 짝수열 데이터와 홀수열 데이터와 현재 데이터를 동시에 입력받는 다수의 프로세싱 엘리멘트가 시스톨린 어레이 구조로 이루어진 것을 특징으로 하는 움직임 추정장치.
제 1 항에 있어서,

상기 다운샘플링수단은 n(2의 배수) 비트 입력 데이터 중 하위 n/2 비트만을 선택하여 2:1로 다운샘플링하는 것을 특징으로 하는 움직임 추정장치.
제 1 항 또는 제 2 항에 있어서, 다운샘플링수단은,

상기 기준데이터를 다운샘플링하는 수단과 상기 현재 데이터를 다운샘플링하는 수단을 구비한 것을 특징으로 하는 움직임 추정장치.
삭제
삭제
제 1 항에 있어서,

상기 짝수열 메모리와 홀수열 메모리는 각각 m 개(m은 3의 배수)의 열 블록으로 분리되고, 상기 각 열 블록에는 움직임 추정 주기마다 1/m 분량의 기준데이터가 순차적으로 기록되며, 가장 먼저 기록되었던 열 블록의 기준데이터가 새로운 기준데이터로 갱신되고,

상기 짝수열 메모리와 홀수열 메모리의 각 열 블록에 저장된 기준데이터를 기록된 순서대로 읽어서 상기 프로세싱 엘리멘트 블록에게 제공하는 것을 특징으로 하는 움직임 추정장치.
기준데이터와 현재 데이터를 입력받아 상기 두 입력값의 차이의 절대값이 최소가 되는 움직임 벡터를 구하는 프로세싱 엘리멘트 블록과 비교기를 구비한 움직임 추정장치에서의 움직임 추정방법에 있어서,

상기 기준데이터와 현재 데이터를 다운샘플링하는 다운샘플링단계와,

상기 기준데이터의 짝수열과 홀수열을 분리하는 디멀티플렉싱단계와,

상기 기준데이터의 짝수열 데이터와 상기 기준데이터의 홀수열 데이터와 현재 데이터를 각각 분리하여 별도의 메모리에 저장하는 메모리단계와,

상기 각각의 메모리에 저장된 짝수열 데이터와 홀수열 데이터와 현재 데이터를 상기 프로세싱 엘리멘트 블록과 비교기에게 제공하여 움직임벡터를 구하는 단계를 포함한 것을 특징으로 하는 움직임 추정방법.
제 7 항에 있어서, 상기 다운샘플링단계는,

n(2의 배수) 비트 입력 데이터 중 하위 n/2 비트만을 선택하여 2:1로 다운샘플링하는 것을 특징으로 하는 움직임 추정방법.
삭제
삭제
삭제
제 7 항에 있어서, 상기 메모리단계는,

짝수열 데이터와 홀수열 데이터를 저장하는 각각의 메모리를 m 개(m은 3의 배수)의 열 블록으로 분리하고, 상기 각 열 블록에는 움직임 추정 주기마다 1/m 분량의 기준데이터를 순차적으로 기록하며, 가장 먼저 기록되었던 열 블록의 기준데이터를 새로운 기준데이터로 갱신하고,

상기 메모리의 각 열 블록에 저장된 기준데이터를 기록된 순서대로 읽어서 상기 프로세싱 엘리멘트 블록에게 제공하는 것을 특징으로 하는 움직임 추정방법.