KR100207400B1

KR100207400B1 - 움직임 추정장치

Info

Publication number: KR100207400B1
Application number: KR1019950040331A
Authority: KR
Inventors: 황덕동
Original assignee: 전주범; 대우전자주식회사
Priority date: 1995-11-08
Filing date: 1995-11-08
Publication date: 1999-07-15
Also published as: KR970032159A

Abstract

본 발명은 영상 신호의 현재 프레임과 이전 프레임 사이의 변위를 나타내는 움직임 벡터를 결정하되, 카메라의 패닝에 의한 움직임 벡터를 결정하기 위한 움직임 추정장치에 관한 것으로, 현재 프레임은 동일한 크기를 갖는 다수의 패닝 탐색 블럭으로 분할되는 움직임 추정 장치에 있어서; 상기 패닝 탐색 블록에 인접한 탐색 블록들 각각의 움직임 벡터들을 검출하고, 상기 패닝 탐색 블록을 상기 이전 프레임상에서 상기 검출된 움직임 벡터들만큼 각각 이동시켰을때, 상기 이동된 패닝 탐색블록과 매칭되는 상기 이전 프레임의 블록들을 후보 블록으로 생성한 뒤, 상기 패닝 탐색 블록과 상기 후보 블록들간의 에러 함수를 각각 계산하여, 상기 에러 함수가 가장 작은 상기 패닝 탐색 블록과 상기 후보 블록간의 변위를 상기 패닝 탐색 블록의 움직임 벡터로 결정하는 패닝 예측 벡터 검출부(160); 상기 패닝 예측 벡터 검출부(160)에 의해 결정된 상기 움직임 벡터를 기 설정된 임계치와 비교하는 비교부(170); 상기 비교부(170)에 의한 비교 결과 상기 패닝 예측 벡터 검출부(160)에서 결정된 움직임 벡터가 기 설정된 임계치보다 작으면 패닝 예측 벡터 검출부(160)로 부터 제공되는 움직임 벡터를 패닝에 의한 움직임 벡터로 결정하는 제어부(180)를 구비하여 구성함을 특징으로 한다.

Description

움직임 추정 장치

제1도는 본 발명의 바람직한 실시예를 나타내는 상세 구성도.

제2도는 본 발명의 실시예에 따른 움직임 벡터 검출 과정을 설명하기 위한 도면.

* 도면의 주요부분에 대한 부호의 설명

110, 130 : 프레임 메모리 130 : 움직임 보상부

140 : 연산부 150 : 움직임 추정부

160 : 패닝 예측 벡터 검출부 170 : 비교부

180 : 제어부

본 발명은 영상 데이타 압축 시스템에 있어서, 특히 카메라의 패닝(panning)에 따라 발생되는 영상의 움직임을 추정하여, 프레임간 부호화를 수행하기 위한 움직임 추정 장치에 관한 것이다.

일반적으로, 영상 신호의 전송시 아날로그(analog)로 전송하는 것보다 디지털(digital)로 전송하는 것이 훨씬 더 좋은 화질을 유지할 수 있다는 것이 잘 알려진 사실이지만 고화질 TV의 경우 프레임(frame) 단위로 구성된 영상이 디지털 형태로 표현될 때 많은 양의 디지털 데이타가 전송되어야 한다.

디지털 데이타를 전송하는 전송 채널에 있어서, 사용 가능한 주파수 영역은 제한되어 있으므로 많은 양의 디지털 데이타를 전송하기 위해서는 데이타를 압축하여 전송량을 줄일 필요가 있으며 다양한 압축 기법 중에서 확률적 부호화 기법과 시간적, 공간적 압축 기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.

대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT 계수의 양자화, VLC(가변장 부호화)등을 이용한다. 특히 움직임 보상 DPCM은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분 신호를 만들어 내는 방법으로서, 이러한 움직임 보상 DPCM은 Staffan Ericsson의 Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding, IEEE Transactions on Communication, COM-33, NO.12(1985년, 12월), 또는 Ninomiy와 Ohtsuka의 A motion Compensated Interframe Coding Scheme for Television Pictures, IEEE Transactions on Communication, COM-3, NO.1(1982년, 1월)에 잘 기재되어 있다.

한편, 화면의 종류는 움직임 추정의 방법에 따라 프레임내 부호화(interframe coding)만이 적용되는 I-프레임, 이전의 I-프레임이나 P-프레임으로 부터 전향 움직임 예측/보상(forward motion estimation/compensation)으로 예측 부호화되는 P-프레임, 및 이전과 이후의 I-프레임이나 P-프레임의 두 프레임으로 부터 양향(bidirectional) 움직임 보상된 예측 부호화되는 B-프레임으로 나누어지고, 다른 프레임을 예측 부호화하는데 기준으로 사용되는 프레임, 즉 I-프레임과 P-프레임을 닻프레임이라 한다.

따라서 종래에는 현재 프레임과 닻프레임을 이용하여 물체의 변위, 즉 움직임 벡터를 추정하는 다양한 방법이 제안되었는데, 종래의 일반적인 움직임 벡터 추정 방법은 2개의 타입, 즉 화소 반복 알고리듬과 블럭 정합 알고리듬(J.R.Jain 등의 Displacement Measurement and Its Application in Interframe Image Coding, IEEE Transactions on Communication, COM-29, NO.12(1981년, 12월 참조)으로 분류될 수 있다.

더 널리 쓰이는 블럭 정합 알고리듬에 대해 설명하면, 현재 프레임은 다수개의 탐색 블럭으로 나뉘어지고, 각 탐색 블럭의 크기는 일반적으로 8×8에서 32×32개의 화소범위에 있는데, 현재 프레임의 탐색 블럭의 움직임 벡터를 결정하기 위하여 이전 프레임의 탐색 영역에 포함되어 동일한 크기를 갖는 다수의 후보 블럭 각각과 현재 프레임의 탐색 블럭간의 유사도를 계산하며, 현재 프레임의 탐색 블럭과 탐색 영역의 후보 블럭간의 유사도 계산에는 평균절대오차나 평균자승오차와 같은 오차함수가 이용된다.

또한 움직임 벡터는 탐색블럭과 가장 작은 오차 함수값을 발생시키는 후보블럭간의 변위로 정의된다.

그러나 이러한 블럭 정합 알고리즘은 이전 프레임의 탐색 영역에 포함되어 3동일한 크기를 갖는 다수의 후보 블럭 각각과 현재 프레임의 탐색 블럭간의 유사도를 계산하기 때문에 움직임 예측에 대한 정확성은 높은 반면, 움직임 예측을 위한 계산량이 매우 많아 시스템 구성이 번거로우며 시간적으로 비 효율적인 문제점이 있었다.

본 발명은 상기 문제점을 해결하기 위하여 안출한 것으로, 카메라의 패닝에 의해 발생되는 화면의 움직임에 따른 움직임 벡터를 결정하여 움직임 예측을 수행함으로서, 블럭 정합 알고리즘에 따른 움직임 예측 계산량을 줄일 수 있도록 한 움직임 추정 장치를 제공함에 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명은, 영상 신호의 현재 프레임과 이전 프레임 사이의 변위를 나타내는 움직임 벡터를 결정하되, 카메라의 패닝에 의한 움직임 벡터를 결정하기 위한 것으로, 상기 현재 프레임은 동일한 크기를 갖는 다수의 패닝 탐색 블럭으로 분할되는 움직임 추정 장치에 있어서: 상기 패닝 탐색 블록에 인접한 탐색 블록들 각각의 움직임 벡터들을 검출하고, 상기 패닝 탐색 블록을 상기 이전 프레임상에서 상기 검출된 움직임 벡터들만큼 각각 이동시켰을때, 상기 이동된 패닝 탐색 블록과 매칭되는 상기 이전 프레임의 블록들을 후보 블록으로 생성한 뒤, 상기 패닝 탐색 블록과 상기 후보 블록들간의 에러 함수를 각각 계산하여, 상기 에러 함수가 가장 작은 상기 패닝 탐색 블록과 상기 후보 블록간의 변위를 상기 패닝 탐색 블록의 움직임 벡터로 결정하는 패닝 예측 벡터 검출부; 상기 패닝 예측 벡터 검출부에 의해 결정된 상기 움직임 벡터를 기 설정된 임계치와 비교하는 비교부; 상기 비교부에 의한 비교 결과 상기 패닝 예측 벡터 검출부에서 결정된 움직임 벡터가 기 설정된 임계치보다 작으면 패닝 예측 벡터 검출부로 부터 제공되는 움직임 벡터를 패닝에 의한 움직임 벡터로 결정하는 제어부를 구비하여 구성함을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

일반적으로, 영상 데이타의 시간 영역 상관성을 이용하여 프레임간 부호화를 수행하는데 있어서, 인접하는 프레임들 사이에서 부호화하려는 프레임과 움직임 예측을 위한 프레임의 영상 데이타는 영상내의 물체들에 의한 움직임과, 카메라의 패닝에 의한 움직임으로 나눌 수 있다.

만약 카메라가 고정되어 있고 물체들이 움직인다면 움직임이 없는 배경은 다음 프레임에서도 움직임이 없게 된다. 또한 카메라가 패닝을 한다면 배경들은 일정한 움직임 벡터를 갖고 움직임이 있는 물체들만 다른 벡터를 갖게 된다.

따라서 본 발명은, 패닝에 따른 움직임 벡터를 결정하게 되면, 배경 부분과 같은 움직임이 없는 영상의 대부분에서 움직임 예측이 필요없게 되고, 물체가 속한 영역에서만 움직임을 탐색하면 된다는 점에 착안한 것으로, 첨부된 도면을 참조하여 설명한다.

제1도는 본 발명의 바람직한 실시예를 나타내는 상세구성도로서, 현재 프레임의 영상 데이타가 저장된 프레임 메모리(110), 이전 프레임의 영상 데이타가 저장된 프레임 메모리(120), 현재 프레임과 이전 프레임간의 물체의 변위에 상응하는 움직임 벡터를 이용하여 현제 프레임의 움직임을 예측한 후 예측된 프레임을 제공하는 움직임 보상부(130), 프레임 메모리(110)의 현재 프레임과 움직임 보상부(130)의 예측된 프레임간의 차를 검출하여 이산 여현 변환을 위한 데이타로 제공하는 연산부(140), 패닝에 의한 움직임 벡터를 결정하고자 하는 현재 프레임의 패닝 탐색 블럭에 인접한 탐색 블럭의 기 결정된 움직임 벡터를 제공하고, 패닝에 의한 움직임 벡터가 외부로 부터 제공되면 이를 움직임 보상부(130)에 제공하되, 패닝 탐색 블록의 패닝에 의한 움직임 벡터가 결정되지 않으면 블럭 정합 알고리즘에 의해 움직임 벡터를 결정하여 이를 움직임 보상부(130)에 제공하는 움직임 추정부(150), 현재 프레임의 패닝 탐색 블럭과, 패닝 탐색 블럭에서 부터 움직임 추정부(150)에서 제공하는 움직임 벡터들 만큼 떨어진 위치에 대응되는 이전 프레임의 각 후보 블럭들간의 에러 함수를 각각 계산하여 이중 에러가 가장 작은 움직임 벡터를 결정하는 패닝예측 벡터 검출부(160), 패닝 예측 벡터 검출부(160)로 부터 제공되는 움직임 벡터를 기 설정된 임계치와 비교하는 비교부(170), 비교부(170)에 의한 비교 결과 패닝 예측벡터 검출부(160)로부터 제공되는 움직임 벡터가 기 설정된 임계치보다 크면 움직임 추정부(150)가 블럭 정합 알고리즘에 의한 움직임 벡터를 결정하도록 제어하고, 패닝 예측 벡터 검출부(160)로 부터 제공되는 움직임 벡터가 기 설정된 임계치보다 작으면 패닝 예측 벡터 검출부(160)로 부터 제공되는 움직임 벡터가 움직임 추정부(150)에 제공되도록 제어하는 제어부(180)로 구성한다.

상기와 같은 구성된 본 발명의 바람직한 실시예에 대한 동작 설명은 다음과 같다.

일반적으로 움직임 추정을 수행하는데 있어서, 현제 프레임은 M*N(M,N:양의 정수)픽셀로된 동일한 크기의 탐색 블록들로 분할된다. 따라서, 제2도를 참조하면, 현재 프레임의 소정 패닝 탐색 블럭(10)에는 8개의 탐색 블록(11, 12, 13, 14, 15, 16, 17, 18)들이 인접하게 된다.

또한, 다수의 탐색 블록들로 분할된 프레임의 각 탐색 블록에 대한 움직임 추정하는 경우에, 프레임에 상측에 있는 탐색 블록의 움직임 추정을 먼저 진행하고, 프레임의 하측에 있는 탐색 블록의 움직임 추정으로 나중에 하되, 프레임상의 동일수평 위치에서의 좌측에 있는 탐색 블록의 움직임 추정을 먼저하고, 우측에 있는 탐색 블록의 움직임 추정을 나중에 하게 된다.

따라서, 제2도를 참조하면, 패닝 탐색 블록(10)에 대한 움직임 추정을 하고자 할 경우에, 패닝 탐색 블록(10)에 인접한 탐색 블록(11 내지 18)중 참조 번호 11, 12, 13, 14로 도시된 탐색 블록들은 이미 움직임 추정이 완료된 탐색 블록들이고, 나머지 다른 탐색 블록들(15,16,17,18)은 아직 움직임 추정이 이루어지지 않는 블록들이다.

본 발명의 바람직한 실시예에서는 패닝 탐색 블록(10)에 대한 움직임을 추정하고자 할 경우에, 이미 움직임 추정이 완료된 인접 탐색 블록(11,12,13,14)의 움직임 벡터들과, 크기가 0인 움직임 벡터를 이용한다.

제2도에 도시된 바와 같이 움직임 추정부(150)는 현재 프레임의 패닝 탐색 블럭(11)에 인접한 탐색 블럭(11 내지 18)중 움직임 벡터가 기 결정된 탐색 블럭(11,12,13,14) 각각의 움직임 벡터(A1, A2, A3, A4)를 패닝 벡터 검출부(160)에 제공한다.

패닝 예측 벡터 검출부(160)는 프레임 메모리(110)로 부터 현재 프레임의 패닝 탐색 블럭(10)을 제공받고, 움직임 추정부(150)로 부터 움직임 벡터(A1, A2, A3, A4)를 제공 받으며, 외부로부터 크기가 0인 움직임 벡터를 제공 받는다. 그런후, 패닝 탐색 블록(10)을 이전 프레임상에서 움직임 벡터(A1, A2, A3, A4 및 크기가 0인 움직임 벡터)들만큼 각각 이동시켰을 때, 이동된 패닝 탐색 블록(10)과 매칭되는 이전 프레임의 후보 블록들을 검출한다. 패닝 예측 벡터 검출부(160)는 패닝 탐색 블록(10)과 후보 블록들간의 블록 정합을 통해, 에러 함수를 각각 계산하고, 에러 함수가 가장 작은 패닝 탐색 블록(10)과 상기 후보 블록간의 변위를 패닝 탐색 블록(10)의 움직임 벡터로 결정하여 비교부(170)에 제공한다.

즉, 패닝 예측 벡터 검출부(160)는 현재 프레임의 패닝 탐색블럭(10)과, 패닝 탐색블럭(10)으로 부터 0벡터(A5)만큼 떨어진 위치에 대응되는 이전 프레임의 후보 블럭간의 블럭 정합을 통하여 에러 함수를 계산하고, 현재 프레임의 패닝 탐색 블럭(10)과, 패닝 탐색 블럭(10)으로 부터 움직임 벡터(A1)만큼 떨어진 위치에 대응되는 이전 프레임의 후보 블럭간의 블럭 정합을 통하여 에러 함수를 계산하며, 현재 프레임의 패닝 탐색 블럭(10)과, 패닝 탐색 블럭(10)으로 부터 움직임 벡터(A2)만큼 떨어진 위치에 대응되는 이전 프레임의 후보 블럭간의 블럭 정합을 통하여 에러 함수를 계산하고, 현재 프레임의 패닝 탐색 블럭(10)과, 패닝 탐색 블럭(10)으로 부터 움직임 벡터(A3)만큼 떨어진 위치에 대응되는 이전 프레임의 후보 블럭간의 블럭 정합을 통하여 에러 함수를 계산하며, 현재 프레임의 패닝 탐색 블럭(10)과, 패닝 탐색 블럭(10)으로 부터 움직임 벡터(A4)만큼 떨어진 위치에 대응되는 이전 프레임의 후보 블럭간의 블럭 정합을 통하여 에러 함수를 계산하여, 계산된 각 에러값중 최소에러값은 벡터를 선택하여 비교부(170)에 제공하는 것이다.

이때, 패닝 탐색 블럭(10)과 움직임 벡터(A1 내지 A4) 및 0벡터(A5)에 대응되는 각 후보 블럭내에 있는 대응되는 화소들 사이에서, 예를들어 휘도값이 비교되어 각 후보 블럭들에 대한 에러 함수가 생성되며, 에러 함수는 패닝 탐색 블럭과 각 후보 블럭들 사이의 유사성의 정도를 나타낼 것이다.

비교부(170)는 패닝 예측 벡터 검출부(160)로 부터 제공되는 벡터값을 기 설정된 임계치와 비교하여, 그 비교 결과를 제어부(180)에 제공한다.

제어부(170)는 패닝 예측 벡터 검출부(160)로 부터 제공되는 벡터값이 기 설정된 임계치보다 크면 패닝 탐색 블럭과 패닝 예측 벡터 검출부(160)로부터 제공되는 움직임 벡터에 대응되는 후보 블럭간의 유사도가 낮다고 판단한 후 움직임 추정부(150)를 제어하여 패닝 탐색 블럭에 대한 움직임 벡터 결정을 블럭 정합 알고리즘에 의해 수행되도록 한다.

그러나 패닝 예측 벡터 검출부(160)로 부터 제공되는 벡터값이 기 설정된 임계치보다 작으면 제어부(180)는 패닝 탐색 블럭과 패닝 예측 벡터 검출부(160)로 부터 제공되는 움직임 벡터에 대응되는 후보 블럭간의 유사도가 높다고 판단한 후 움직임 추정부(150)를 제어하여 패닝 예측 벡터 검출부(160)으로부터 제공되는 움직임 벡터가 움직임 보상부(130)로 제공되도록 제어한다.

한편, 움직임 추정부(150)는 제어부(180)의 제어에 의해 패닝 예측 벡터 검출부(160)로 부터 패닝에 의한 움직임 벡터가 제공되면 이를 저장한 후 움직임 보상부(130)에 제공하고, 패닝 예측 벡터 검출부(160)으로 부터 패닝에 의한 움직임 벡터가 제공되지 않으면 현재 프레임의 탐색 블럭과 이전 프레임의 후보 블럭들간의 움직임을 추정하여 움직임 벡터를 결정하여 이를 저장하는 한편 움직임 보상부(130)에 제공한다.

따라서, 움직임 보상부(130)는 현재 프레임과 이전 프레임간의 물체의 변위에 상응하는 움직임 벡터를 이용하여 현재 프레임의 움직임을 예측한 후 예츠된 프레임을 연산부(140)에 제공하고, 연산부(140)는 프레임 메모리(110)의 현제 프레임과 움직임 보상부(130)의 예측된 프레임간의 차를 검출하여 이산 여현 변환을 위한 데이타로 제공한다.

상술한 바와 같이 본 발명은 블럭 정합 알고리즘과 같은 기존에 제시된 알고리즘으로 움직임 추정을 수행하기 전에 기 결정된 움직임 벡터를 이용하여 카메라의 패닝에 따른 움직임 벡터를 결정함으로서, 움직임 예측 시간이 훨씬 단축되는 효과가 있다.

Claims

영상 신호의 현재 프레임과 이전 프레임 사이의 변위를 나타내는 움직임 벡터를 결정하되, 카메라의 패닝에 의한 움직임 벡터를 결정하기 위한 것으로, 현재 프레임은 동일한 크기를 갖는 다수의 패닝 탐색 블럭으로 분할되는 움직임 추정 장치에 있어서: 상기 패닝 탐색 블록에 인접한 탐색 블록들 각각의 움직임 벡터들을 검출하고, 상기 패닝 탐색 블록을 상기 이전 프레임상에서 상기 검출된 움직임 벡터들만큼 각각 이동시켰을때, 상기 이동된 패닝 탐색블록과 매칭되는 상기 이전 프레임의 블록들을 후보 블록으로 생성한 뒤, 상기 패닝 탐색 블록과 상기 후보 블록들간의 에러 함수를 각각 계산하여, 상기 에러 함수가 가장 작은 상기 패닝 탐색 블록과 상기 후보 블록간의 변위를 상기 패닝 탐색 블록의 움직임 벡터로 결정하는 패닝 예측 벡터 검출부(160); 상기 패닝 예측 벡터 검출부(160)에 의해 결정된 상기 움직임 벡터를 기 설정된 임계치와 비교하는 비교부(170); 상기 비교부(170)에 의한 비교 결과 상기 패닝 예측 벡터 검출부(160)에서 결정된 움직임 벡터가 기 설정된 임계치보다 작으면 패닝 예측 벡터 검출부(160)로 부터 제공되는 움직임 벡터를 패닝에 의한 움직임 벡터로 결정하는 제어부(180)를 구비하여 구성함을 특징으로 하는 움직임 추정 장치.
제1항에 있어서, 상기 패닝 예측 벡터 검출부(160)는: 상기 패닝 탐색 블록에 인접한 탐색 블록들 각각의 움직임 벡터들을 검출할 때, 크기가 0인 움직임 벡터를 더 포함하여 검출하는 것을 특징으로 하는 움직임 추정 장치.