KR20010045766A - 상태천이도를 이용하여 제어부를 구현한 움직임 추정 장치 - Google Patents

Abstract

1. 청구범위에 기재된 발명이 속하는 기술분야

본 발명은 영상데이터의 압축을 하드웨어로 구현하기 위한 집적회로의 설계에 관한 것으로서, 특히, 상태천이도를 이용하여 제어부를 구현한 움직임 추정 장치에 관한 것임.

2. 발명이 해결하고자 하는 기술적 과제

본 발명은 프로세싱 엘리멘트에 부가되는 지연회로 없이, 상태천이도로 제어회로를 구현함으써 규칙적인 데이터 흐름의 유지 및 하드웨어를 간단히 구현하여 궁극적으로는 전력소모 및 속도를 개선하기 위한, 상태천이도를 이용하여 제어부를 구현한 움직임 추정 장치를 제공하는데 그 목적이 있음.

3. 발명의 해결 방법의 요지

본 발명은 상태천이도를 이용하여 제어부를 구현한 움직임 추정 장치에 있어서, 이전의 영상값 및 현재의 영상값을 저장하기 위한 저장수단; 상기 저장수단에 저장된 상기 이전의 영상값과 상기 현재의 영상값의 절대치 차이를 구하기 위한 측정 수단; 상기 측정 수단에서의 출력값중 최소 값을 판단하는 스텝 결정 수단; 및 상기 스텝 결정 수단의 판단에 따라서 상태도를 이용하여 제어 흐름을 일정하게 유지하기 위한 제어 수단을 포함함.

4. 발명의 중요한 용도

본 발명은 영상데이터 처리 분야 등에 이용됨.

Description

상태천이도를 이용하여 제어부를 구현한 움직임 추정 장치{Apparatus For Motion Estimation With Control Section Implemented By State Translation Diagram}

본 발명은 영상데이터의 압축을 하드웨어로 구현하기 위한 집적회로의 설계에 관한 것으로서, 특히, 상태천이도를 이용하여 제어부를 구현한 움직임 추정 장치에 관한 것이다.

일반적으로, 영상 데이터의 압축 방법 중에서 시간적인 중복성을 제거하는 방법으로 완전 탐색 방법이 널리 사용되어 왔다. 그러나, 이 방법은 복호화시 좋은 질의 영상을 얻을 수 있는 장점이 있으나 부호화시 많은 계산량을 필요로 하므로 실시간 구현에 제약을 받는 단점이 있다. 이런 단점을 개선하는 알고리즘으로 최근에 4단계 탐색 알고리즘이 소개되고 있다.

4단계 탐색 알고리즘은 완전 탐색 방법 보다 계산량은 1/10 정도로 감소되는 장점이 있으나 이를 하드웨어로 구현시 각 단계 별로 움직임 벡터를 구할 때 탐색 범위가 불규칙하게 움직임으로써 하드웨어 구현에는 적합하지 않은 것으로 알려져 있다.

최근 이 4단계 탐색 알고리즘을 이용한 하드웨어 구현 방법이 소개 되었으나, 이는 프로세서 엘리멘트에 지연 회로를 부가하여 구현함으로써 많은 게이트와 속도 측면에 문제점이 있다.

먼저, 4단계 탐색 알고리즘을 도 1 및 도 2 를 참조하여 설명한다.

도 1 및 도 2a 내지 도 2d 는 각각 일반적인 4단계 탐색의 일실시예 알고리즘으로서, 도 1 은 4단계 탐색 방법의 두가지 다른 경로를 보여주고 있다.

또한 도 2a 는 4단계 탐색 패턴중 첫 번째 스텝을, 도 2b 는 두 번째 또는 세번째 스텝을, 도 2c 는 두 번째 또는 세번째 스텝을, 도 2d 는 네 번째 스텝을 보여주고 있다.

4단계 탐색(4SS:4 Step Search) 알고리즘(이하, 간단히 "4SS 알고리즘"이라함)은 5x5 크기의 블록에서 9개의 지점을 검사하는데 이는 모션 벡터(MV : Motion Vector)(이하, 간단히 "MV"라함)의 중앙 집중적 성질을 이용한 것이다.

다음 단계에서 탐색 블록의 중심은 최소(minimum) 블록 거리 측정(BDM) 포인터로 이동한다. 다음 두 단계에서 탐색 블록의 크기는 최소(minimum) 블록 거리 측정(BDM) 포인터에 따라 달라진다.

만약, 최소 블록 거리 측정(BDM) 포인터가 탐색 블록의 중심에서 발견 되다면 3x3 크기를 갖는 마지막 4번째 단계에서 탐색이 이루어진다. 그 외의 경우에는 탐색 블록의 크기는 2,3번째 단계에서 5x5 의 크기를 유지한다. 4번째 단계에서 탐색 블록의 크기는 3x3 으로 줄어든다.

이하, 4SS 알고리즘을 요약하여 설명한다.

첫 번째 단계는 다음과 같다.

15x15 크기를 갖는 탐색 영역의 중심에 위치하는 5x5 탐색 블록에서 9개 지점을 조사함으로써 최소 블록 거리 측정(BDM : Block Distance Measure)(이하, 간단히 "BDM"이라함) 포인트를 찾는다. 만약 최소 BDM 포인터가 탐색 블록의 중심에서 발견된다면 바로 4번째 단계로 넘어간다. 그 외의 경우에는 두 번째 계로 넘어간다.

두 번째 단계는 다음과 같다.

탐색 블록의 크기는 5x5를 유지한다. 하지만 탐색 방법은 전 단계에서 조사한 최소 BDM 포인터의 위치에 따라 달라진다.

우선, 최소 BDM 포인터가 구석에 위치한다면 5개지점을 추가로 탐색한다.

그리고, 최소 BDM 포인터가 수평, 수직 축의 중간에 위치한다면 3개의 지점을 추가로 탐색한다.

다음으로, 최소 BDM 포인터가 탐색 블록의 중심에 위치한다면 네 번째 단계로 이동한다. 그렇치 않은 경우는 세 번째 단계로 이동한다.

세 번째 단계는 다음과 같다.

방법은 두 번째 단계와 동일하다. 최소 BDM 포인터가 탐색 블록의 중심에 위치한다면 네 번째 단계로 이동한다.

네 번째 단계는 다음과 같다.

탐색 블록의 크기는 3x3을 줄어든다. 9개의 지점 중 최소 BDM 포인터가 최종 MV로서 간주 된다.

최소 BDM 포인터가 탐색 블록의 중심에 위치한다면 4SS의 중간 단계는 생략되거나 3x3 크기의 탐색 블록을 갖는 마지막 단계로 바로 이동이 가능하다는 것을 알 수 있다. 3x3, 5x5의 적은 탐색 블록을 사용함으로써 15x15 크기의 블록이 탐색 가능하다. 두 번째, 세 번째 단계에서 5x5 크기의 블록이 탐색이 가능하다. 두 번째, 세 번째 단계에서 5x5 블록에서 중복되는 탐색 지점이 있다. 그래서 전체 탐색 지점의 수는 최소 17(9+8)에서 최대 27(9+5+5+8)이다.

즉, 4SS에서 최대 움직임이 심한 영상에 대해서 27번의 블록 정합을 계산 하는 경우이다. 4SS 에서 다른 탐색 경로를 갖는 두 예가 도 1 에 도시되어 있다.

위쪽의 경로에서 총 탐색 지점의 수는 27개로, 움직임 벡터가 (-7,7)을 예측하기 위해 사용된다. 최대 4SS 알고리즘은 27번의 블록 정합을 필요로 하며 3SS 알고리즘은 25번, N3SS 알고리즘은 33번의 블록 정합을 위한 계산이 필요하다.

3SS 알고리즘이 움직임 벡터의 통계학적 분포를 고려하지 않고 모든 움직임 벡터의 확률이 동일하다고 보고 탐색 지점을 선정하기 ??문에 성능이 떨어지는 문제점이 있는 반면, 4SS 는 움직임 벡터의 통계학적 발생 확률을 고려하여 탐색 지점을 선정함으로써 위의 결과에서 알 수 있듯이 움직임이 적은 영상에서는 오히려 3SS 보다 적은 계산량으로 정확한 움직임 벡터를 구할 수 있다.

도 3 은 종래의 움직임 추정 장치의 일실시예 구성도로서, 종래의 변형된 4단계 탐색 알고리즘을 이용한 움직임 추정부의 전체적인 구조를 나타내었다.

전체 구조는 탐색영역과 기준 블록의 데이터를 저장하기 위한 메모리 모듈(SW와 DB메모리 모듈)(301)이 있고, 이에 대한 데이터 입출력(탐색 영역 데이터 입력(SW : Search Window)(이하, 간단히 "SW"라함) 및 기준 블록데이터 입력(DB : Data Block)(이하, 간단히 "DB"라함)을 말함)을 제어하는 SW/DB 메모리 제어부(302), 9개 탐색점으로 구성되는 기본 모듈에 대한 절대치 차이 합(SAD:Sum of Absolute Difference)(이하, 간단히 "SAD"라함)을 계산하기 위해 9개의 프로세스 엘리멘트(PE:Process Element)(이하, 간단히 "PE"라함)로 구성되는 프로세서 어레이(Processor Array)(303), 또 프로세서 어레이(Processor Array)(303)에서 구한 SAD 값 중 최소값의 위치를 구하는 이전 영상 벡터 생성(PMVG : Pre Motion Vector Generation)부(304), 마지막으로 움직임 추정부의 전체적인 동작 제어와 움직임 벡터를 결정하는 영상 계산 추정(MEP : Motion Estimation Prediction)(이하, 간단히 "MEP"라함) 제어부(Controller)(305)로 구성된다.

또, 이들 전체 구조에 대한 입출력으로는 탐색 영역 데이터 입력(SW), 기준 블록데이터 입력(DB), 움직임 추정의 시작 신호(START), SW와 DB 데이터의 입력 동기신호(NEXT), 그리고 탐색영역이 화면 가장자리에 걸쳐 있음을 나타내는 신호(BND_SIG)로 구성된다.

SW와 DB 데이터는 NEXT 신호에 따라 각각의 메모리에 저장 되는데, 이때 DB 와 SW의 메모리 모듈(301)의 상세한 구성은 도 4 와 같다.

도 4a 및 도 4b 는 종래의 메모리 모듈의 일실시예 상세 구성도로서, 도 4a 는 DB 데이터의 메모리 모듈 구성을, 도 4b 는 SW 데이터 메모리 모듈의 구성을 나타내고 있다.

이때, 외부에서 8 비트(bit)와 16 비트(bit) 단위로 입력되는 DB 와 SW 데이터는 32 비트 단위로 읽게 된다. MEP 제어부(305)로부터 탐색 시작점(r0,c0)와 rstart 신호를 받아 메모리에서 읽어내기 위한 어드레스를 생성하는데, 어드레스를 만드는 방법은 32x32 크기의 SW 데이터에서 그 탐색점의 시작점인 r0, c0를 기준으로 기본 모듈에 대한 탐색영역인 18x18의 데이터를 수평 스캔으로 순차적으로 읽도록 생성한다.

SW메모리는 32x16 크기의 메모리 3 개로 구성된다. 메모리 동작은 2개 메모리가 움직임 추정을 위한 탐색영역으로 사용되는 동안 나머지 1개 메모리는 다음 블록의 탐색영역을 저장한다. 이러한 메모리의 구성은 일반적인 이중 버퍼 구조에 비해 32x16 크기의 메모리 절약효과를 갖는다.

도 5 는 종래의 프로세서 에레이의 일실시예 상세 구성도로서, 9개의 PE로 구성되는 프로세서 어레이(Processor Array)(303)의 구조를 나타내었다.

움직임 추정을 위한 연산이 32비트, 즉 4화소를 동시에 연산하기 때문에 각 PE에서의 처리를 위한 각 화소의 지연형태도 다르다.

이러한 지연형태를 포함하여 SAD(Sum of Absolute Difference)연산을 위한 PE의 구조는 도 6 과 같고, 4화소에 대해 병렬로 된 절대값을 구하는 부분과 더하기, 누적기로 구성된다.

도 6 은 종래의 프로세서 엘리멘트의 일실시예 상세 구성도이다.

프로세서 어레이(Processor Array)(303)를 구성하는 PE1, PE2, PE4, PE5, PE7, PE8은 같은 지연형태를 갖고, 또한 PE3와 PE6도 같은 지연형태를 포함한다. 단 PE0에는 지연구조가 포함되지 않는다.

이렇게 9개의 PE에서 구해진 SAD값을 비교되는 순서에 맞게 출력하기 위해 소요되는 시간은, 4화소를 동시에 연산하기 ??문에, 기본적으로 블록당 (16x16)/4 사이클이 필요하고, 마지막 PE인 PE8까지의 DB 데이터의 지연을 합하면 총81 사이클이 소요된다.

PMVG(304)에서는 MFSS 알고리즘의 기본 모듈에 해당하는 9개 탐색점에 대한 SAD 출력을 MEP 제어부(305)로부터 동기 신호를 받아 순서대로 비교한다. 따라서, 기본 모듈의 9개 탐색점 중에 최소 에러점을 구하기 위해서 동기 신호가 9번 발생(enable) 된다. 정해진 순서에 따라 비교되고 이 중에서 최소 에러점에 대한 위치와 값을 MEP 제어부(Controller)(305)로 출력한다.

MEP 제어부(305)는 움직임 추정기의 전체적인 동작을 제어하는데 하는 일을 몇 가지로 요약하면 다음과 같다.

첫째, SW와 DB 데이터를 읽는 시작신호와 SW의 탐색 시작점 어드레스를 생성하는 일이다.

둘째, 9개 PE의 결과에 대해 최종 출력할 시간을 알려 주는 신호를 생성한다.

셋째, PMVG가 9개의 SAD 출력 값에서 최소값을 구하는 비교를 하기 위한 동기신호를 생성한다.

이렇게 하여 움직임 추정의 최종단계를 거쳐 움직임 벡터가 계산되면 수평과 수직 움직임 벡터와 동기신호를 출력한다. MEP 제어부(305)의 동작제어는 내부 카운터로 이루어지는데 추정 시작신호에 동기를 맞춰 시작되고 최종움직임 벡터가 출력되면 초기화 된다.

전체적인 동작 순서는 수정된 4단계 탐색(MFSS : Modified Four Step Search)(이하, 간단히 "MFSS"이라함) 알고리즘의 스텝을 세는 스텝카운터가 0부터 3까지 증가하고 각 스텝카운터 값에 대해 다시 기본모듈을 세는 모듈카운터가 변 할 때마다 기본 모듈에서의 최소 에러값들을 비교하고 SW와 DB메모리 제어부에 읽어낼 데이터의 시작어드레스를 출력한다.

즉, 상기와 같은 종래의 기술은, 프로세싱 엘리멘트 내부에 지연 회로를 부가하여 구현 함으로써 하드웨어 크기가 커지고 이를 제어하기 위한 제어회로가 복잡해지며 또한 속도가 떨어진다는 문제점이 있다.

본 발명은 상기 문제점을 해결하기 위하여 안출된 것으로, 프로세싱 엘리멘트에 부가되는 지연회로 없이, 상태천이도로 제어회로를 구현함으써 규칙적인 데이터 흐름의 유지 및 하드웨어를 간단히 구현하여 궁극적으로는 전력소모 및 속도를 개선하기 위한, 상태천이도를 이용하여 제어부를 구현한 움직임 추정 장치를 제공하는데 그 목적이 있다.

도 1 은 일반적인 4단계 탐색의 일실시예 알고리즘.

도 2a 내지 도 2d 는 일반적인 4단계 탐색의 또다른 일실시예 알고리즘.

도 3 은 종래의 움직임 추정 장치의 일실시예 구성도.

도 4a 및 도 4b 는 종래의 메모리 모듈의 일실시예 구성도.

도 5 는 종래의 프로세서 에레이의 일실시예 구성도.

도 6 은 종래의 프로세서 엘리멘트의 일실시예 구성도.

도 7 은 본 발명에 따른 움직임 추정 장치의 일실시예 구성도.

도 8 은 본 발명에 따른 프로세싱 엘리멘트의 일실시예 구성도.

도 9 은 본 발명에 따른 스텝결정 비교부의 일실시예 구성도.

도 10 은 본 발명에 따른 제어부의 일실시예 상태도.

* 도면의 주요 부분에 대한 부호의 설명 *

301 : 메모리 모듈 302 : 메모리 제어부

303 : 프로세서 어레이

304 : 이전영상벡터 생성부(PMVG)

305 : 영상 계산 추정(MEP) 제어부

상기 목적을 달성하기 위한 본 발명은, 상태천이도를 이용하여 제어부를 구현한 움직임 추정 장치에 있어서, 이전의 영상값 및 현재의 영상값을 저장하기 위한 저장수단; 상기 저장수단에 저장된 상기 이전의 영상값과 상기 현재의 영상값의 절대치 차이를 구하기 위한 측정 수단; 상기 측정 수단에서의 출력값중 최소 값을 판단하는 스텝 결정 수단; 및 상기 스텝 결정 수단의 판단에 따라서 상태도를 이용하여 제어 흐름을 일정하게 유지하기 위한 제어 수단을 포함한다.

즉, 본 발명은 4단계 탐색에 적합한 움직임 추정의 하드웨어를 구현함에 있어서, 부가되는 지연회로없이 프로세싱 엘리멘트를 구현함으로써 하드웨어의 면적, 소비전력 및 속도를 개선하고자 한다.

이하, 도 7 내지 도 10 을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

도 7 은 본 발명에 따른 움직임 추정 장치의 일실시예 구성도이다.

즉, 본 발명에 따른 움직임 추정 장치는 도면에 도시된 바와 같이, 이전의 영상값을 저장하는 이전 영상값 저장부(701), 현재의 영상값을 저장하는 현재 영상값 저장부(702), 이전의 영상값과 현재의 영상값의 절대치 차이를 구하는 프로세싱 엘리멘트 블록으로서의 측정부(703), 각 프로레싱 엘리멘트에 대한 최소 값을 판단하는 스텝 결정 비교부(704) 및 상기 기능들을 제어하는 제어부(705)로 구성되어있다.

도 8 은 본 발명에 따른 프로세싱 엘리멘트의 일실시예 구성도로서, 도 7 의 측정부(703)의 상세 구성도이다.

프로세싱 엘리멘트 구조는 도면에 도시된 바와 같이 9개의 프로세싱 엘리멘트로 구성되어 있고 2개의 입력을 받아서 과거의 영상 데이터와 현재의 영상 데이터를 입력으로 하여 절대치의 차이를 구하고 각각의 합과 각각의 값을 병렬 형태로 다음 블록으로 출력한다.

도 9 는 본 발명에 따른 스텝결정 비교부의 일실시예 구성도이다.

스텝 결정 비교부(704)의 비교기는 도면에 도시된 바와 같이 입력되는 9개의 차이 값을 판단하여 그 차이 값의 최소값의 위치가 중간인가 아니면 변의 가운데 값인가를 판단하여(즉, 최소값의 위치가 도 6c 와 같은지 또는 도 6d 와 같은지를 판단하여) 스텝이 2 또는 3 스텝인지, 아니면 4번째 스텝인지를 판단 하게된다. 이에 대한 동작 알고리즘은 위에서 설명하였다. 이에 대한 입력은 P1 에서 P9 이며 출력은 D1,D2,D3 이다.

D1 은 최소값이 중심점에 위치하는 경우이고, D2 는 최소값이 변의 가운데 값인 4가지 경우이고, 마지막으로 D3 은 최소값이 네 변의 꼭지값인 경우이다. 각각의 최소값은 다음 스텝의 위치를 선정하는데 기준 값이 된다.

도 10 은 본 발명에 따른 제어부의 일실시예 상태도이다.

4단계 탐색 알고리즘은 계산 값은 완전 탐색 알고리즘 보다 줄어드는 장점이 있으나 도 9 에대한 설명에서와 같이 4단계의 위치가 다르므로 해서 규칙성이 떨어지는 단점이 있다. 이러한 단점을 극복하기 위하여 도면에 도시된 바와 같이 본 발명에 따른 제어블록을 상태 천이도로 간단히 구현하였다.

각 상태의 값은 6 개의 상태로 표현 하였으며 각각의 모든 경우를 포함한다. 입력되는 모든 경우는 3가지 경우 수를 가지면 각각의 경우에 불규칙한 싸이클을 추가로 상태도(S5, S6)를 삽입하여 지연을 시킴으로써 모든 경우에 규칙 적인 데이터의 흐름을 얻을 수 있다.

종래의 방법은 지연 회로를 프로세싱 엘리멘트에 삽입하여 구현하므로써 회로가 복잡해지고 속도가 늦어지는 문제점이 있었지만, 본 발명에서는 이를 상태천이 회로로 구현함으로써 회로의 면적이 줄어 들고 실시간에 영상을 처리하는 시스템에 적합하게 되었다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니다.

상기와 같은 본 발명은, 프로세싱 엘리멘트에 부가적인 회로를 두지 않고 상태천이도를 이용하여 제어회로를 구현하므로써, 회로의 게이트 규모가 적어지고 속도 측면에서도 개선되는 우수한 효과가 있다.

Claims (5)

1. 상태천이도를 이용하여 제어부를 구현한 움직임 추정 장치에 있어서,

   이전의 영상값 및 현재의 영상값을 저장하기 위한 저장수단;

   상기 저장수단에 저장된 상기 이전의 영상값과 상기 현재의 영상값의 절대치 차이를 구하기 위한 측정 수단;

   상기 측정 수단에서의 출력값중 최소 값을 판단하는 스텝 결정 수단; 및

   상기 스텝 결정 수단의 판단에 따라서 상태도를 이용하여 제어 흐름을 일정하게 유지하기 위한 제어 수단

   을 포함하는 상태천이도를 이용하여 제어부를 구현한 움직임 추정 장치.
2. 제 1 항에 있어서,

   상기 측정 수단은, 9 개의 프로세싱 엘리멘트로 구성되는 것을 특징으로 하는 상태천이도를 이용하여 제어부를 구현한 움직임 추정 장치.
3. 제 2 항에 있어서,

   상기 측정 수단은, 상기 저장 수단으로부터 이전의 영상 데이터와 현재의 영상 데이터를 입력받아 절대치의 차이를 구하고, 각각의 합과 각각의 값을 병렬 형태로 상기 스텝 결정 수단으로 출력하는 것을 특징으로 하는 상태천이도를 이용하여 제어부를 구현한 움직임 추정 장치.
4. 제 2 항에 있어서,

   상기 스텝 결정 수단은,

   상기 측정 수단으로부터 입력되는 9개의 차이 값을 판단하여, 그 차이 값의 최소값의 위치가 중간 값, 변의 가운데 값, 꼭지점의 값 중 어느 값을 갖는지를 판단하는 상태천이도를 이용하여 제어부를 구현한 움직임 추정 장치.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,

   상기 제어부의 상기 상태도는,

   각 상태의 값이 6 개의 상태로 표현되는 것을 특징으로 하는 상태천이도를 이용하여 제어부를 구현한 움직임 추정 장치.