KR0174464B1 - 움직임 추정 장치 - Google Patents

Abstract

본 발명은 움직임 추정을 위한 닻프레임을 저장하는 프레임 메모리를 병렬로 구성한 움직임 추정 장치에 관한 것으로, 닻 프레임 영상을 이용하여 현재 프레임 영상의 움직임을 추정하는 움직임 추정장치에 있어서; 입력되는 상기 닻 프레임 영상을 교변적으로 저장하되, 일측 프레임 메모리의 라이트 동작과 타측 프레임 메모리의 리드 동작이 서로 독립적으로 수행되도록 병렬로 구성된 제1 및 제2프레임 메모리(200,300)를 구비한 닻프레임 저장부(700), 상기 제1 및 제2프레임 메모리(200,300)로부터 리드된 닻 프레임과 상기 현재 프레임을 이용하여 움직임 추정을 수행하는 움직임 추정부(500)를 구비한다.

Description

움직임 추정 장치

제1도는 종래 기술의 움직임 추정을 수행하기 위한 메모리 구조를 나타낸 하드웨어 구성도.

제2도는 프레임 영상신호의 입력 순서를 나타낸 도면.

제3도는 상기 제1도의 타이밍도.

제4도는 본 발명의 실시예를 나타내는 상세 구성도.

제5도는 상기 제4도의 타이밍도.

* 도면의 주요부분에 대한 부호의 설명

100 : 역 다중화부 200,300 : 프레임 메모리

400 : 다중화부 500 : 움직임 추정부

600 : 제어부 700 : 닻프레임 저장부

본 발명은 움직임 추정 장치에 있어서, 특히 움직임 추정을 위한 닻프레임을 저장하는 프레임 메모리를 병렬로 구성한 움직임 추정장치에 관한 것이다.

일반적으로 영상 신호의 전송시, 아날로그(analog)로 전송하는 것보다 디지털(digital)로 전송하는 것이 훨씬 더 좋은 화질을 유지할 수 있다는 것이 잘 알려진 사실이지만, 고화질 TV의 경우 프레임(frame) 단위로 구성된 영상이 디지털 형태로 표현될 때 많은 양의 디지털 데이터가 전송되어야 한다.

그러나, 종래의 전송 채널에 있어서, 사용 가능한 주파수 영역은 제한되어 있으므로, 많은 양의 디지털 데이터를 전송하기 위해서는 전송되는 데이터를 압축하여 그 양을 줄일 필요가 있으며, 다양한 압축기법 중에서, 확률적 부호화 기법과 시간적, 공간적 압축 기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.

대부분의 하이브리드 부호화 기법은 움직임 보상 DCPM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT계수의 양자화, VLC(가변장 부호화)등을 이용하는데, 움직임보상 DPCM은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법으로서, 이러한 움직임 보상 DPCM은 Staffan Ericsson 의 Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding, IEEE Transactions on Communication, COM-33, NO.12(1985년, 12월), 또는 Ninomiy와 Ohtsuka의 A motion Compensated Interframe Coding Scheme for Television Pictures, IEEE Transactions on Communication, COM-30, NO.1(1982년, 1월)에 잘 기재되어 있다.

또한 2차원 DCT는 디지털 영상 데이터의 한 블록, 예를 들면 8×8 화소의 블록을 일군의 변환계수 데이터로 변환함으로서 영상 데이터들간의 공간적 중복성(spatial redundancy)을 줄이거나 제거한다.

이러한 2차원 DCT 기법은 Chen 과 Pratt의 Scene Adaptive Coder, IEEE Transaction on Communications, COM-32, No.3(1984년 3월)에 기재되어 있으며, 상기한 변환 계수 데이터를 양자화기, 지그재그 스캐닝(zigzag scanning), VLC등으로 처리함으로서 전송할 데이터를 효율적으로 압축할 수 있다.

또한, 움직임 보상 DPCM에서는 현재 프레임과 이전 프레임간의 움직임을 추정하여 이전 프레임으로부터 현재 프레임을 예측함으로서 수행되는데, 움직임 추정은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 벡터로서 나타낸다.

한편 화면의 종류는 이러한 움직임 추정의 방법에 따라 프레임내 부호화(intraframe coding)만이 적용되는 I-프레임, 이전의 I-프레임이나 P-프레임으로부터 전향 움직임 예측/보상(forward motion estimation/compensation)으로 예측 부호화되는 P-프레임 및, 이전과 이후의 I-프레임이나 P-프레임의 두 프레임으로부터 양향(bidirectional) 움직임 보상되어 예측 부호화 되는 B-프레임으로 나누어 지고, 다른 프레임을 예측 부호화하는데 기준으로 사용되는 프레임, 즉 I-프레임과 P-프레임을 닻프레임이라 한다.

따라서 종래에는 현재 프레임과 닻프레임을 이용하여 물체의 변위를 추정하는 다양한 방법이 제안되었는데, 종래의 일반적인 움직임 벡터 추정 방법은 2개의 타입, 즉 화소 반복 알고리듬과 블록 정합 알고리듬(J.R.Jain등의 Displacement Measurement and Its Application in Interframe Image Coding, IEEE Transactions on Communications COM-29, NO.12(1981년, 12월) 참조)으로 분류될 수 있다.

더 널리 쓰이는 블록 정합 알고리듬에 대해 설명하면, 현재 프레임은 다수개의 탐색 블록으로 나뉘어지고, 각 탐색 블록의 크기는 일반적으로 8×8에서 32×32개의 화소범위에 있는데, 현재 프레임의 탐색 블록의 움직임 벡터를 결정하기 위하여 이전 프레임의 탐색 영역에 포함되어 동일한 크기를 갖는 다수의 후보 블록 각각과 현재 프레임의 탐색 블록간의 유사도를 계산하며, 현재 프레임의 탐색 블록과 탐색 영역의 후보 블록간의 유사도 계산에는 평균절대오차나 평균자승오차와 같은 오차함수가 이용된다. 또한 움직임 벡터는 탐색블럭과 가장 작은 오차 함수값을 발생시키는 후보블럭간의 변위로 정의된다.

제1도는 상기와 같은 움직임 추정을 수행하는데 있어서, 닻프레임을 저장한후 이를 이용하여 움직임 추정을 수행하기 위한 메모리 구조를 나타낸 하드웨어 구성도이고, 제2도는 영상 신호의 입력 순서를 나타낸 도면이며, 제3도는 상기 제1도를 수행하기 위한 타이밍(timing)도로써, 이에 대해 설명하면 다음과 같다.

먼저, 입력 영상은 프레임 단위로 입력되고, 각 프레임의 입력 순서는 제2도에 나타난 바와 같이 I1,P1,B1,B2,P2,B3,B4,P3,B5,B6---와 같이 입력된다.

상기와 같은 순서로 영상 신호가 입력되면(제3a도)) 제어부(10)는 3상태 버퍼(20)를 인에이블(enable) 시킨후 I1-프레임이 프레임 메모리(30)에 저장되도록 하고(제3b도), 그 다음 영상 신호인 P1-프레임이 입력되면 프레임 메모리(40)에 저장되도록 한다(제3d도). 상기와 같이 프레임 메모리(30,40)에 프레임 영상 신호가 저장되면, 제어부(10)는 3상태 버퍼(20)를 디스에이블(disable)시키고, 프레임 메모리(30)에 저장된 I1-프레임을 리드(read)하여(제3c도) 리드된 I1-프레임이 플립 플롭(50)에 일시 저장된 후 움직임 추정부(60)에 입력되도록 한다(제3f도)).

한편 I1-프레임은 프레임내 부호화만이 적용되므로, 움직임 추정을 수행하지 않고, P1-프레임은 지연부(70)에서 일시 지연된후(제3g도) 움직임 추정부(60)에 입력된다. 따라서 움직임 추정부(60)는 P1-프레임을 현재 프레임으로 하고 I1-프레임을 닻프레임으로 한 움직임 추정을 수행한다.

또한 입력되는 B1-프레임, B2-프레임에 대하여 움직임 추정부(60)는 B1-프레임, B2-프레임을 각각 현재 프레임으로 하고 프레임 메모리(30)에 저장된 I1-프레임을 닻프레임으로 한 움직임 추정을 수행한후, P2-프레임이 입력되면 제어부(10)는 3상태 버퍼(20)를 인에이블시켜 P2-프레임을 프레임 메모리(30)에 저장한다(제3b도). P2-프레임이 프레임 메모리(30)에 저장되면 제어부(10)는 다시 3상태 버퍼(20)를 디스에이블시킨후 프레임 메모리(40)에 저장된 P1-프레임을 리드하여, 플립 플롭(50)에 출력함으로써, 움직임 추정부(60)는 지연부(70)에 의해 지연되어 입력되는 P2-프레임(제3g도)을 현재 프레임으로 하고 플립 플롭(50)에서 출력된 P1-프레임(제3f도))을 닻프레임으로한 움직임 추정을 수행한다.

원래 B-프레임은 양방향의 움직임 추정을 하나 여기서는 설명을 편하게 하기 위하여 전향 움직임 예측만을 고려하기로 하자. 먼저, 입력되는 B3-프레임, B4-프레임에 대하여 움직임 추정부(60)는 B3-프레임, B4-프레임을 각각 현재 프레임으로 하고 프레임 메모리(40)에 저장된 P1-프레임을 닻프레임으로 한 움직임 추정을 수행한후, P3-프레임이 입력되면 제어부(10)는 3상태 버퍼(20)를 인에이블시켜 P3-프레임을 프레임 메모리(40)에 저장한다(제3d도). P2-프레임이 프레임 메모리(40)에 저장되면 제어부(10)는 다시 3상태 버퍼(20)를 디스에이블시킨후 프레임 메모리(30)에 저장된 P1-프레임을 리드하여, 플립 플롭(50)에 출력함으로써, 움직임 추정부(60)는 지연부(70)에 의해 지연되어 입력되는 P3-프레임(제3g도)을 현재 프레임으로 하고 플립 플롭(50)에서 출력된 P2-프레임(제3f도)을 닻프레임으로 한 움직임 추정을 수행한다.

그러나, 종래에는 움직임 추정을 수행하는데 있어서, 닻프레임을 저장하기 위한 프레임 메모리의 데이터 버스를 공통으로 사용하고 있어, 제3도에 나타나 바와 같이 프레임 메모리의 리드(read) 동작과 라이트(write) 동작을 시간적으로 나누어 수행해야 하므로, 프레임 메모리의 속도가 2배로 빠르게 동작해야만 하는 문제점이 있다.

본 발명은 상기 문제점을 해결하기 위하여 안출된 것으로, 움직임 추정을 위한 프레임 메모리를 병렬로 구성하여 저속의 프레임 메모리로써 움직임 추정을 수행할 수 있는 움직임 추정 장치를 제공함에 그 목적이 있다.

본 발명은 상기 목적을 달성하기 위하여 닻 프레임 영상을 이용하여 현재 프레임 영상의 움직임을 추정하는 움직임 추정 장치에 있어서; 입력되는 상기 닻프레임 영상을 저장하는 제1 및 제2프레임 메모리가 병렬로 구성되어 상기 닻 프레임 영상을 교변적으로 저장하되, 일측 프레임 메모리의 라이트 동작과 타측 프레임 메모리의 리드 동작이 서로 독립적으로 수행되는 닻프레임 저장부, 상기 제1 및 제2프레임 메모리로부터 리드된 닻 프레임과 상기 현재 프레임을 이용하여 움직임 추정을 수행하는 움직임 추정부를 구비하고, 상기 닻 프레임 저장부는 상기 닻 프레임에 해당하는 프레임 영상을 상기 제1 및 제2프레임 메모리에 교변적으로 출력하는 역 다중화부, 상기 제1 및 제2프레임 메모리에서 출력되는 닻프레임 영상을 다중화하여 상기 움직임 추정부에 출력하는 다중화부, 상기 역 다중화부에 입력되는 닻프레임 영상이 제1 및 제2프레임 메모리에 교변적으로 저장되도록 상기 역다중화부를 제어하고, 일측 프레임 메모리의 라이트 동작에 독립적으로 타측 프레임 메모리의 리드 동작이 수행되도록 상기 다중화부를 제어하는 제어부를 더 구비하여 구성함을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

제4도는 본 발명의 실시예를 나타내는 상세 구성도로써, 입력되는 닻 프레임 영상을 교변적으로 저장하되, 일측 프레임 메모리의 라이트 동작과 타측 프레임 메모리의 리드 동작이 서로 독립적으로 수행되도록 병렬로 구성된 제1 및 제2프레임 메모리(200,300)를 구비한 닻프레임 저장부(700), 프레임 메모리(200,300)로부터 리드된 닻 프레임과 상기 현재 프레임을 이용하여 움직임 추정을 수행하는 움직임 추정부(500)를 구비한다. 또한 닻 프레임 저장부(700)는 프레임 단위로 영상 신호가 입력되면, 이중 닻프레임에 해당하는 프레임 영상을 역 다중화하여 출력하는 역 다중화부(100), 프레임 메모리(200)와 프레임 메모리(300)에서 출력되는 닻프레임 영상을 다중화하여 출력하는 다중화부(400), 역 다중화부(100)에 입력되는 닻프레임이 교변적으로 프레임 메모리(200,300)에 저장되도록 역다중화부(100)를 제어하고, 일측 프레임 메모리에 닻프레임의 저장 동작 동작에 독립적으로, 타측 프레임 메모리에 저장된 닻프레임이 리드되도록 다중화부(400)를 제어하는 제어부(600)를 더 구비하여 구성한다.

상기와 같이 구성된 본 발명의 실시예에 대한 동작 설명을 제5도를 참조하여 설명하면 다음과 같다.

입력 영상은 프레임 단위로 입력되고, 각 프레임의 입력 순서는 제2도에 나타난 바와 같이 I1,P1,B1,B2,P2,B3,B4,P3,B5,B6--- 와 같이 입력된다.

상기와 같은 순서로 영상 신호가 입력되면(제5a도) 제어부(600)는 역다중화부(100)를 제어하여 I1-프레임 영상이 프레임 메모리(200)에 저장되도록 한후(제5b도), P1-프레임 영상이 입력되면 이를 프레임 메모리(300)에 저장되도록 한다(제5d도). 이때 종래와는 다르게, 본 발명의 실시예에 따르면 제어부(600)는 프레임 메모리(300)에 P1-프레임 영상이 저장되는 동안에(제5d도) 다중화부(400)를 제어하여 프레임 메모리(200)에 저장된 I1-프레임 영상이 리드되어(제5c도) 다중화부(400)를 통해 움직임 추정부(500)에 입력되도록 한다(제5f도).

따라서 움직임 추정부(500)는 P1-프레임 영상이 프레임 메모리(300)에 저장되는 동안에 P1-프레임 영상을 현재 프레임으로 하고 프레임 메모리(200)에서 리드된 I1-프레임을 닻프레임을 한 움직임 추정을 수행한다.

연속적으로 B1-프레임과 B2-프레임이 입력되면 움직임 추정부(500)는 B1-프레임과 B2-프레임을 각각 현재 프레임으로 하고(제5g도) I1-프레임을 닻프레임으로 한(제5f도) 움직임 추정을 수행한다. 그런후 P2-프레임이 입력되면 제어부(600)는 역다중화부(100)를 제어하여 P2-프레임이 프레임 메모리(200)에 저장되도록(제5b도)하는 한편, 다중화부(400)를 제어하여 프레임 메모리(300)에 저장된 P1-프레임이 움직임 추정부(500)에 입력되도록 한다(제5e도). 따라서 움직임 추정부(500)는 P2-프레임을 현재 프레임으로 하고 P1-프레임을 닻프레임을 한 움직임 추정을 수행한다.

연속적으로 B3-프레임과 B4-프레임이 입력되면 움직임 추정부(500)는 B3-프레임과 B4-프레임을 각각 현재 프레임으로 하고(제5g도) P1-프레임을 닻프레임으로한(제5f도) 움직임 추정을 수행한다. 그런후 P3-프레임이 입력되면 제어부(600)는 역다중화부(100)를 제어하여 P3-프레임이 프레임 메모리(300)에 저장되도록(제5d도)하는 한편, 다중화부(400)를 제어하여 프레임 메모리(200)에 저장된 P2-프레임이 움직임 추정부(500)에 입력되도록 한다(제5c도)). 따라서 움직임 추정부(500)는 P3-프레임을 현재 프레임으로 하고 P2-프레임을 닻프레임을 한 움직임 추정을 수행한다.

상기한 바와 같이 본 발명은 프레임 메모리의 데이터 버스를 분리하여 각 프레임 메모리의 리드 동작과 라이트 동작을 각각으로 수행할 수 있으므로, 메모리를 저속에서 동작시킬 수 있는 효과가 있다.

Claims (2)

1. 닻 프레임 영상을 이용하여 현재 프레임 영상의 움직임을 추정하는 움직임 추정 장치에 있어서, 입력되는 상기 닻 프레임 영상을 교변적으로 저장하되, 일측 프레임 메모리의 라이트 동작과 타측 프레임 메모리의 리드 동작이 서로 독립적으로 수행되도록 병렬로 구성된 제1 및 제2프레임 메모리(200,300)를 구비한 닻프레임 저장부(700), 상기 제1 및 제2프레임메모리(200,300)로부터 리드된 닻 프레임과 상기 현재 프레임을 이용하여 움직임 추정을 수행하는 움직임 추정부(500)를 구비한 움직임 추정 장치.
2. 제1항에 있어서, 상기 닻 프레임 저장부(700)는 상기 닻프레임에 해당하는 프레임 영상을 상기 제1 및 제2프레임 메모리(200,300)에 교변적으로 출력하는 역 다중화부(100), 상기 제1 및 제2프레임 메모리(200,300)에서 출력되는 닻프레임 영상을 다중화하여 상기 움직임 추정부(500)에 출력하는 다중화부(400), 상기 역 다중화부(100)에 입력되는 닻프레임 영상이 제1 및 제2프레임 메모리(200,300)에 교변적으로 저장되도록 상기 역다중화부(100)를 제어하고, 일측 프레임 메모리의 라이트 동작에 독립적으로 타측 프레임 메모리의 리드 동작이 수행되도록 상기 다중화부(400)를 제어하는 제어부(600)를 더 구비하여 구성하는 움직임 추정 장치.