KR0181069B1

KR0181069B1 - 움직임 추정장치

Info

Publication number: KR0181069B1
Application number: KR1019950040332A
Authority: KR
Inventors: 황덕동
Original assignee: 배순훈; 대우전자주식회사
Priority date: 1995-11-08
Filing date: 1995-11-08
Publication date: 1999-05-01
Anticipated expiration: 2015-11-08
Also published as: JPH09179987A; CN1154051A; US5781249A; GB2307135A; KR970032160A; JP4001400B2; GB2307135B; GB9623125D0; CN1106768C

Abstract

본 발명은 움직임 추정 장치에 관한 것으로, 영상 신호의 현재 프레임과 이전 프레임 사이의 변위를 나타내는 움직임 벡터를 결정하되, 카메라의 패닝에 의한 움직임 벡터를 결정하기 위한 움직임 추정 장치로서, 상기 현재 프레임은 동일한 크기를 갖는 다수의 패닝 탐색 블록으로 분할되고, 상기 이전 프레임은 상기 패닝 탐색 블록과 동일한 크기를 갖는 다수의 후보 블록을 포함하는 움직임 추정 장치에 있어서 ; 상기 현재 프레임의 패닝 탐색 블록에 인접한 탐색 블록의 기 결정된 상기 움직임 벡터들의 기울기를 각각 연산하는 연산부(160), 상기 연산부(160)의 연산 결과, 최대 및 최소 기울기를 갖는 움직임 벡터를 각각 검출하는 벡터 검출부(170), 상기 패닝 탐색 블록과, 상기 패닝 탐색 블록으로부터 벡터 검출부(170)에서 제공하는 움직임 벡터 및 0벡터들 만큼 떨어진 위치에 대응되는 이전 프레임의 각 후보 블록들간의 에러 함수를 각각 계산하여 이중 에러가 가장 작은 움직임 벡터를 결정하는 패닝 예측 벡터 검출부(180), 상기 패닝 예측 벡터 검출부(180)에 의해 결정된 상기 움직임 벡터를 기 설정된 임계치와 비교하는 비교부(190), 상기 비교부(190)에 의한 비교 결과 상기 패닝 예측 벡터 검출부(180)에서 결정된 움직임 벡터가 기 설정된 임계치보다 작으면 패닝 예측 벡터 검출부(180)로 부터 제공되는 움직임 벡터를 패닝에 의한 움직임 벡터로 결정하는 제어부(120)를 구비하여 구성함을 특징으로 한다.

Description

움직임 추정 장치

제1도는 본 발명의 바람직한 실시예를 나타내는 상세 구성도.

제2도는 본 발명의 실시예에 따른 움직임 벡터 검출 과정을 설명하기 위한 도면.

* 도면의 주요부분에 대한 부호의 설명

110, 120 : 프레임 메모리 130 : 움직임 보상부

140, 160 : 연산부 150 : 움직임 추정부

170 : 벡터 검출부 180 : 패닝 예측 벡터 검출부

190 : 비교부 200 : 제어부

본 발명은 영상 데이터 압축 시스템에 있어서, 특히 카메라의 패닝(panning)에 따라 발생되는 영상을 움직임을 추정함으로서 프레임간 부호화를 수행하기 위한 움직임 추정 장치에 관한 것이다.

일반적으로, 영상 신호의 전송시 아날로그(analog)로 전송하는 것보다 디지탈(digital)로 전송하는 것이 훨씬 더좋은 화질을 유지할 수 있다는 것이 잘 알려진 사실이지만 고화질 TV의 경우 프레임(frame)단위로 구성된 영상이 디지탈 형태로 표현될 때 많은 양의 디지탈 데이터가 전송되어야 한다.

그러나 디지탈 데이터를 전송하는 전송 채널에 있어서, 사용 가능한 주파수 영역은 제한되어 있으므로 많은 양의 디지탈 데이터를 전송하기 위해서는 전송되는 데이터를 압축하여 전송량을 줄일 필요가 있으며 다양한 압축 기법중에서 확률적 부호화 기법과 시간적, 공간적 압축 기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.

대부분의 하이브리드 부호화 기법은 움직임 보상 DPCM(차분 펄스 부호 변조), 2차원 DCT(이산 코사인 변환), DCT 계수의 양자화, VLC(가변장 부호화) 등을 이용한다. 특히 움직임 보상 DPCM은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분 신호를 만들어 내는 방법으로서, 이러한 움직임 보상 DPCM은 Staffan Ericsson 의 Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding, IEEE Transactions on Communication, COM-33, NO.12(1985년 12월), 또는 Ninomiy와 Ohtsuka의 A motion Compensated Interframe Coding Scheme for Television Pictures, IEEE Transactions on Communication, COM-30, N0.1(1982년 1월)에 잘 기재되어 있다.

한편 화면의 종류는 움직임 추정의 방법에 따라 프레임내 부호화(interframe coding)만이 적용되는 I-프레임, 이전의 I-프레임이나 P-프레임으로 부터 전향 움직임 예측/보상(forward motion estimation/compensation)으로 예측 부호화되는 P-프레임 및, 이전과 이후의 I-프레임이나 P-프레임의 두 프레임으로 부터 양향(bidirectional) 움직임 보상되어 예측 부호화 되는 B-프레임으로 나누어지고, 다른 프레임을 예측 부호화하는데 기준으로 사용되는 프레임, 즉 I-프레임과 P-프레임을 닻프레임이라한다.

따라서 종래에는 현재 프레임과 닻프레임을 이용하여 물체의 변위, 즉 움직임 벡터를 추정하는 다양한 방법이 제안되었는데, 종래의 일반적인 움직임 벡터 추정 방법은 2개의 타입, 즉 화소 반복 알고리즘과 블록 정합 알고리즘(J.R.Jain 등의 Displacement Measurement and Its Application in Interframe Image Coding, IEEE Transactions on Communications COM-29, NO.12(1881년 12월)참조)으로 분류될 수 있다.

더 널리 쓰이는 블록 정합 알고리즘에 대해 설명하면, 현재 프레임은 다수개의 탐색 블록으로 나뉘어지고, 각 탐색 블록의 크기는 일반적으로 8x8에서 32x32개의 화소범위에 있는데, 현재 프레임의 탐색 블록의 움직임 벡터를 결정하기 위하여 이전 프레임의 탐색 영역에 포함되어 동일한 크기를 갖는 다수의 후보 블록 각각과 현재 프레임의 탐색 블록간의 유사도를 계산하며, 현재 프레임의 탐색 블록과 탐색 영역의 후보 블록간의 유사도 계산에는 평균절대오차나 평균자승오차와 같은 오차함수가 이용된다.

또한 움직임 벡터는 탐색블럭과 가장 작은 오차 함수값을 발생시키는 후보블럭간의 변위로 정의된다.

그러나 이러한 블록 정합 알고리즘은 이전 프레임의 탐색 영역에 포함되어 동일한 크기를 갖는 다수의 후보 블록 각각과 현재 프레임의 탐색 블록간의 유사도를 계산하기 때문에 움직임 예측에 대한 정확성은 높은 반면, 움직임 예측을 위한 계산량이 매우 많아 시스템 구성이 번거로우며 시간적으로 비 효율적인 문제점이 있었다.

본 발명은 상기 문제점을 해결하기 위하여 안출한 것으로, 카메라의 패닝에 의해 발생되는 화면의 움직임에 따른 움직임 벡터를 결정하여 움직임 예측을 수행함으로서, 블록 정합 알고리즘에 따른 움직임 예측 계산량을 줄일 수 있도록 한 움직임 추정 장치를 제공함에 그 목적이 있다.

본 발명은 상기 목적을 달성하기 위하여 영상 신호의 현재 프레임과 이전 프레임 사이의 변위를 나타내는 움직임 벡터를 결정하되, 카메라의 패닝에 의한 움직임 벡터를 결정하기 위한 움직임 추정 장치로서, 상기 현재 프레임은 동일한 크기를 갖는 다수의 패닝 탐색 블록으로 분할되고, 상기 이전 프레임은 상기 패닝 탐색 블록과 동일한 크기를 갖는 다수의 후보 블록을 포함하는 움직임 추정 장치에 있어서 ; 상기 현재 프레임에 패닝 탐색 블록에 인접한 탐색 블록의 기 결정된 상기 움직임 벡터들의 기울기를 각각 연산하는 연산부, 상기 연산부의 연산 결과, 최대 및 최소 기울기를 갖는 움직임 벡터를 각각 검출하는 벡터 검출부, 상기 패닝 탐색 블록과, 상기 패닝 탐색 블록으로 부터 벡터 검출부에서 제공하는 움직임 벡터 및 0 벡터들 만큼 떨어진 위치에 대응되는 이전 프레임의 각 후보 블록들간의 에러 함수를 각각 계산하여 이중 에러가 가장 작은 움직임 벡터를 결정하는 패닝 예측 벡터 검출부, 상기 패닝 예측 벡터 검출부에 의해 결정된 상기 움직임 벡터를 기 설정된 임계치와 비교하는 비교부, 상기 비교부에 의한 비교 결과 상기 패닝 예측 벡터 검출부에서 결정된 움직임 벡터가 기 설정된 임계치보다 작으면 패닝 예측 벡터 검출부로 부터 제공되는 움직임 벡터를 패닝에 의한 움직임 벡터로 결정하는 제어부를 구비하여 구성함을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.

일반적으로, 영상 데이터의 시간 영역 상관성을 이용하여 프레임간 부호화를 수행하는데 있어서, 인접하는 프레임들 사이에서 부호화하려는 프레임과 움직임 예측을 위한 프레임의 영상 데이터는 영상내의 물체들에 의한 움직임과, 카메라의 패닝에 의한 움직임으로 나눌 수 있다.

만약 카메라가 고정되어 있고 물체들이 움직인다면 움직임이 없는 배경은 다음 프레임에서도 움직임이 없게된다. 또한 카메라가 패닝을 한다면 배경들은 일정한 움직임 벡터를 갖고 움직임이 있는 물체들만 다른 벡터를 갖게된다.

따라서 패닝에 따른 움직임 벡터를 결정하게 되면 배경과 같은 움직임이 없는 영상의 대부분에서 움직임 예측이 필요없게 되고, 물체가 속한 영역에서만 움직임을 탐색하면 된다.

제1도는 본 발명의 바람직한 실시예를 나타내는 상세 구성도로서, 현재 프레임의 영상 데이터가 저장된 프레임 메모리(110), 이전 프레임의 영상 데이터가 저장된 프레임 메모리(120), 현재 프레임과 이전 프레임간의 물체의 변위에 상응하는 움직임 벡터를 이용하여 현재 프레임의 움직임을 예측한후 예측된 프레임을 제공하는 움직임 보상부(130), 프레임 메모리(110)의 현재 프레임과 움직임 보상부(130)의 예측된 프레임간이 차를 검출하여 이산 여현 변환을 위한 데이터로 제공하는 연산부(140), 패닝에 의한 움직임 벡터를 결정하고자 하는 현재 프레임의 패닝 탐색 블록에 인접한 탐색 블록의 기 결정된 움직임 벡터를 제공하고, 패닝에 의한 움직임 벡터가 외부로 부터 제공되면 이를 움직임 보상부(130)에 제공하되, 패닝 탐색 블록의 패닝에 의한 움직임 벡터가 결정되지 않으면 블록 정합 알고리즘에 의해 움직임 벡터를 결정하여 이를 움직임 보상부(130)에 제공하는 움직임 추정부(150), 현재 프레임의 패닝 탐색 블록에 인접한 탐색 브럭의 기 결정된 움직임 벡터들의 기울기를 각각 연산하는 연산부(160), 연산부(160)의 연산 결과, 최대 및 최소 기울기를 갖는 움직임 벡터를 각각 검출하는 벡터 검출부(170), 현재 프레임의 패닝 탐색 블럭과, 패닝 탐색 블록으로 부터 벡터 검출부(170)에서 제공하는 움직임 벡터 및 0 벡터들 만큼 떨어진 위치에 대응되는 이전 프레임의 각 후보 블록들간의 에러 함수를 각각 계산하여 이중 에러가 가장 작은 움직임 벡터를 결정하는 패닝 예측 벡터 검출부(180), 패닝 예측 벡터 검출부(180)로 부터 제공되는 움직임 벡터를 기 설정된 임계치와 비교하는 비교부(190), 비교부(190)에 의한 비교 결과 패닝 예측 벡터 검출부(180)로 부터 제공되는 움직임 벡터가 기 설정된 임계치보다 크면 움직임 추정부(150)가 블록 정합 알고리즘에 의한 움직임 벡터를 결정하도록 제어하고, 패닝 예측 벡터 검출부(180)로 부터 제공되는 움직임 벡터가 기 설정된 임계치보다 작으면 패닝 예측 벡터 검출부(180)로 부터 제공되는 움직임 벡터가 움직임 추정부(150)에 제공되도록 제어하는 제어부(200)로 구성한다.

상기와 같이 구성된 본 발명의 바람직한 실시예에 대한 동작 설명은 다음과 같다.

제2도에 도시된 바와 같이 패닝에 의한 움직임 벡터를 결정하고자 하는 현재 프레임의 패닝 탐색 블록(10)에 인접한 탐색 블록(11, 12, 13, 14, 15, 16, 17, 18)은 8개가 있을수 있다. 이때 각 탐색 블록들에 대한 움직임 벡터 검출은 프레임의 상측과 우측을 우선으로 한다고 할 때, 패닝 탐색 블록(10)에 인접한 탐색 블록(11 내지 18)중 움직임 벡터가 기 결정된 탐색 블록은 참조 번호 11, 12, 13, 14로 도시된 탐색 블록이라고 할 수 있다.

따라서 본 발명의 바람직한 실시예에서는 탐색 블록(11, 12, 13, 14)의 기 결정된 움직임 벡터와, 0벡터를 이용하여 패닝에 의한 움직임 벡터를 결정하고자 한다.

제2도에 도시된 바와 같이 움직임 추정부(150)는 현재 프레임의 패닝 탐색 블록(11)에 인접한 탐색 블록(11 내지 18)중 움직임 벡터가 기 결정된 탐색 블록(11, 12, 13, 14) 각각의 움직임 벡터(A1, A2, A3, A4)를 연산부(160)에 제공한다.

연산부(160)는 움직임 추정부(150)로 부터 제공되는 현재 프레임의 패닝 탐색 블록에 인접한 탐색 블록의 기 결정된 움직임 벡터(A1, A2, A3, A4)들의 기울기를 각각 연산하여 벡터 검출부(170)에 제공하고, 벡터 검출부(170)는 움직임 벡터(A1, A2, A3, A4)중 최대 및 최소 기울기를 갖는 움직임 벡터를 각각 검출하여 패닝 예측 벡터 검출부(180)에 제공한다.

패닝 예측 벡터 검출부(180)는 프레임 메모리(110)로 부터 현재 프레임의 패닝 탐색 블록(10)을 제공받고, 벡터 검출부(170)으로 부터 최대 및 최소 기울기를 갖는 움직임 벡터를 제공받으며, 외부로 부터 0 벡터를 제공받은후, 프레임 메모리(120)에 저장된 이전 프레임의 각 후보 블록중 최대 및 최소 기울기를 갖는 움직임 벡터와 0 벡터(A5)에 대응되는 후보 블록을 각각 검출한다.

그런후 패닝 예측 벡터 검출부(180)는 패닝 탐색 블록(10)과, 패닝 탐색 블록(10)으로 부터 최대 및 최소 움직임 벡터 와 0 벡터(A5)만큼 떨어진 위치에 대응되는 이전 프레임의 후보 블록들간의 에러 함수를 각각 계산하여 이중 최소 에러를 갖는 벡터를 선택하여 비교부(190)에 제공한다.

즉, 패닝 예측 벡터 검출부(180)는 현재 프레임의 패닝 탐색 블록(10)과, 패닝 탐색 블록(10)으로 부터 0 벡터(A5)만큼 떨어진 위치에 대응되는 이전 프레임의 후보 블록간의 블록 정합을 통해 에러 함수를 계산하고, 현재 프레임의 패닝 탐색 블록(10)과, 패닝 탐색 블록(10)으로 부터 최대 기울기를 갖는 움직임 벡터만큼 떨어진 위치에 대응되는 이전 프레임의 후보 블록간의 블록 정합을 통해 에러 함수를 계산하며, 현재 프레임의 패닝 탐색 블록(10)과, 패닝 탐색 블록(10)으로 부터 최소 기울기를 갖는 움직임 벡터(A2)만큼 떨어진 위치에 대응되는 이전 프레임의 후보 블록간의 블록 정합을 통하여 에러 함수를 계산한 후, 계산된 각 에러값중 최소 에러값을 갖는 벡터를 선택하여 비교부(190)에 제공하는 것이다.

이때, 패닝 탐색 블록(10)과 최대 및 최소 기울기를 갖는 움직임 벡터 및 0 벡터(A5)에 대응되는 각 후보 블록내에 있는 대응되는 화소들 사이에서, 예를 들어 휘도값이 비교되어 각 후보 블록들에 대한 에러 함수가 생성되며, 에러 함수는 패닝 탐색 블록과 각 후보 블록들 사이의 유사성의 정도를 나타낼 것이다.

비교부(190)는 패닝 예측 벡터 검출부(180)로 부터 제공되는 벡터값을 기 설정된 임계치와 비교하여, 그 비교 결과를 제어부(200)에 제공한다.

제어부(200)는 패닝 예측 벡터 검출부(180)로 부터 제공되는 벡터값이 기 설정된 임계치보다 크면 패닝 탐색 블록과 패닝 예측 벡터 검출부(180)로 부터 제공되는 움직임 벡터에 대응되는 후보 블록간이 유사도가 낮다고 판단한후 움직임 추정부(15)를 제어하여 패닝 탐색 블록에 대한 움직임 벡터 결정을 블록 정합 알고리즘에 의해 수행되도록 한다.

그러나 패닝 예측 벡터 검출부(180)로 부터 제공되는 벡터값이 기 설정된 임계치보다 작으면 제어부(200)는 패닝 탐색 블록과 패닝 예측 벡터 검출부(180)로 부터 제공되는 움직임 벡터에 대응되는 후보 블록간의 유사도가 높다고 판단한후 움직임 추정부(150)를 제어하여 패닝 예측 벡터 검출부(180)으로 부터 제공되는 움직임 벡터가 움직임 보상부(130)로 제공되도록 제어한다.

한편, 움직임 추정부(150)는 제어부(200)의 제어에 의해 패닝 예측 벡터 검출부(180)로 부터 패닝에 의한 움직임 벡터가 제공되면 이를 저장한후 움직임 보상부(130)에 제공하고, 패닝 예측 벡터 검출부(180)으로 부터 패닝에 의한 움직임 벡터가 제공되지 않으면 현재 프레임의 탐색 블록과 이전 프레임의 후보 블록들간의 움직임을 추정하여 움직임 벡터를 결정하여 이를 저장하는 한편 움직임 보상부(130)에 제공한다.

따라서 움직임 보상부(130)는 현재 프레임과 이전 프레임간의 물체의 변위에 상응하는 움직임 벡터를 이용하여 현재 프레임의 움직임을 예측한후 예측된 프레임을 연산부(140)에 제공하고, 연산부(140)는 프레임 메모리(110)의 현재 프레임과 움직임 보상부(130)의 예측된 프레임간의 차를 검출하여 이산 여현 변환을 위한 데이터로 제공한다.

상술한 바와 같이 본 발명은 블록 정합 알고리즘과 같은 기존에 제시된 알고리즘으로 움직임 추정을 수행하기 전에 기 결정된 움직임 벡터를 이용하여 카메라의 패닝에 따른 움직임 벡터를 결정함으로서, 움직임 예측 시간이 훨씬 단축되는 효과가 있다.

Claims

영상 신호의 현재 프레임과 이전 프레임 사이의 변위를 나타내는 움직임 벡터를 결정하되, 카메라의 패닝에 의한 움직임 벡터를 결정하기 위한 움직임 추정 장치로서, 상기 현재 프레임은 동일한 크기를 갖는 다수의 패닝 탐색 블록으로 분할되고, 상기 이전 프레임은 상기 패닝 탐색 블록과 동일한 크기를 갖는 다수의 후보 블록을 포함하는 움직임 추정 장치에 있어서 ; 상기 현재 프레임의 패닝 탐색 블록에 인접한 탐색 블록의 기 결정된 상기 움직임 벡터들의 기울기를 각각 연산하는 연산부(160), 상기 연산부(160)의 연산 결과, 최대 및 최소 기울기를 갖는 움직임 벡터를 각각 검출하는 벡터 검출부(170), 상기 패닝 탐색 블록과, 상기 패닝 탐색 블록으로 부터 벡터 검출부(170)에서 제공하는 움직임 벡터 및 0 벡터들 만큼 떨어진 위치에 대응되는 이전 프레임의 각 후보 블록들간의 에러 함수를 각각 계산하여 이중 에러가 가장 작은 움직임 벡터를 결정하는 패닝 예측 벡터 검출부(180), 상기 패닝 예측 벡터 검출부(180)에 의해 결정된 상기 움직임 벡터를 기 설정된 임계치와 비교하는 비교부(190), 상기 비교부(190)에 의한 비교 결과 상기 패닝 예측 벡터 검출부에서 결정된 움직임 벡터가 기 설정된 임계치보다 작으면 패닝 예측 벡터 검출부(180)로 부터 제공되는 움직임 벡터를 패닝에 의한 움직임 벡터로 결정하는 제어부(120)를 구비하여 구성함을 특징으로 하는 움직임 추정 장치.