KR100196839B1 - 영상부호기의 고속 탐색방법 - Google Patents

Abstract

본 발명은 영상 프레임간의 움직임 변위정보를 고속으로 탐색하여 부호화할 수 있는 영상부호기의 고속 탐색방법에 관한 것으로, 이를 해결하기 위하여 탐색영역을 소탐색영역으로 구분 가능하며, 이 구분된 탐색영역을 이용하여 현재블럭의 움직임 변위정보를 고속 예측방법에 있어서, 움직임 예측을 원하는 현재블럭의 위치를 파악하는 제1단계, 현재블럭의 위치가 파악되면, 이 위치로부터 인접블럭의 움직임 변위정보를 검출하고, 이로부터 검출된 인접블럭들의 움직임 변위정보가 탐색영역내의 어떤 소탐색영역에 포함되는 지를 검출하는 제2단계, 상기 인접블럭들의 움직임 변위정보 모두가 어떤 소탐색영역에 포함된 것으로 판정되면, 현재블럭의 움직임 변위정보 또한, 이 소탐색영역에 존재하는 것으로 판정함과 더불어 이 소탐색영역을 상기 현재 블록의 탐색영역 위치하여 움직임 예측을 행하는 제3단계, 인접블럭들의 움직임 변위정보가 서로 다른 소탐색영역에 포함된 것으로 파악되면, 현재블럭의 탐색영역 위치로 하여 움직임 예측을 행하는 제4단계를 구비함으로써 계산량을 1/4로 줄이면서 움직임 벡터를 효율적으로 예측할 수 있는 효과가 있다.

Description

영상부호기의 고속 탐색방법

제1도는 일반적인 영상부호기를 개략적으로 도시한 구성도.

제2도는 제1도의 프레임간의 움직임 변위정보 추정방법을 설명하기 위하여 도시된 도면.

제3도 내지 제4도는 본 발명의 영상부호기의 고속 탐색방법을 설명하기 위한 도면.

* 도면의 주요부분에 대한 부호의 설명

110 : 감산기 112 : DCT

114 : 양자화기 116 : VLC

118 : 역양자화기 120 : 역DCT

122 : 가산기 124 : 프레임 메모리

126 : 움직임 예측부 128 : 움직임 보상부

130 : 버퍼

본 발명은 영상부호기에 관한 것으로, 특히 영상 프레임간의 움직임 변위정보(벡터)를 고속으로 탐색하여 부호화할 수 있도록 된 영상 부호기의 고속 탐색방법에 관한 것이다.

일반적으로, 이산화된 영상 신호의 전송은 아나로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 영상 프레임(frame)으로 구성된 영상신호가 디지털 형태로 표현될 경우, 특히 고화질 텔레비젼(High Definition Television)의 경우 상당한 양의 데이터가 전송되어야 한다.

그러나 종래의 전송 채널의 사용가능한 주파수 영역은 제한되어 있으므로, 많은 양의 디지털 데이터를 전송하기 위해서는 전송되는 데이터를 압축하여 그 양을 줄일 필요가 있다.

그래서 도입된 다양한 압축 기법 중에서, 확률적 부호화 기법과 시간적, 공간적 압축기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.

대부분의 하이브리드 부호화 기법은 움직임 보상 DCPM (차분펄스 부호변조), 2차원 DCT (이산 코사인 변환), DCT 계수의 양자화, 엔트로피 부호화기 등을 이용한다.

움직임 보상 DPCM은 현재 프레임과 이전 프레임 간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치 간의 차이를 나타내는 차분신호를 만들어내는 방법이다.

상술하면, 움직임 보상 DPCM에서는 현재 프레임과 이전 프레임 간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로부터 예측한다.

여기서, 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼 수 있다.

물체의 화소의 변위를 추정하는 데에는 여러 가지 접근방법이 있다. 이들은 일반적으로 두 개의 타입으로 분류되는데 하나는 블록단위 방법이고 또 하나는 화소 단위 움직임 추정이다.

상기 블록단위 움직임 추정에서는, 현재 프레임의 블록을 이전프레임의 블록들과 비교하여 최적의 정합블럭을 결정한다. 이로부터, 전송되는 현재 프레임에 대해 블록 전체에 대한 프레임간 변위정보(프레임간 블록의 이동 정도)가 추정된다.

그러나, 블록단위 움직임 추정에서는 움직임 보상과정에서 블록경계에 블록킹 효과(blocking effect)가 발생할 수 있고, 또한, 블록내의 모든 화소가 한방향으로 이동하지 않는 경우에는 추정값이 올바르지 않아서 그 결과 부호화효율이 감소한다.

한편, 화소단위 방법을 이용하면 변위는 각각의 화소 전부에 대해 구하여진다. 이 방법은 화소값을 더 정확히 추정할 수 있고, 스케일변화(예를 들어 영상면에 수직한 움직임인 주밍(zoomong))도 용이하게 다룰 수 있다.

그러나 화소 단위 방법에서는, 움직임벡터가 모든 화소 각각에 대해 결정되기 때문에 사실상 모든 움직임벡터를 수신기에 전송하는 것은 불가능하다.

따라서, 선택된 소정의 한 세트(set)의 화소(즉, 특징점)에 대한 움직임 벡터를 수신측에 전송하는데, 이 때 특징점은 인접 화소들을 대표할 수 있는 화소들로서 수신기에서 비특징점에 대한 움직임 벡터는 특징점에 대한 움직임 벡터로부터 복원될 수 있다.

이후, 각 선택된 특징점에 대한 움직임벡터가 결정되는데, 이때 각 움직임벡터는 이전 프레임의 하나의 특징점과 현재 프레임의 해당 정합점간의 변위이다.

상술하면, 각각의 특징점에 대한 정합점을 현재 프레임의 탐색영역에서 찾는데 이때 탐색영역은 해당 탐색점의 위치를 포함하는 기설정된 넓이의 영역으로 정의된다.

쉽게 구현할 수 있는 또 하나의 압축기법으로 프레임 데시메이션(decimation )방법이 있는데, 이 방법은 영상신호의 선택된 프레임만 부호화하여 전송하고 그 사이에 남는 프레임들은 스킵함으로써 데이터의 양을 줄인다.

영상 부호화기의 입력은 주로 30프레임/초(frame/sec)의 영상신호이다. 두 개의 부호화된 프레임 사이에 하나, 둘, 세 개의 프레임을 스킵하면 각각 프레임 레이트는 15,10,7.5프레임/초가 된다.

상기의 부호화기에서 부호화된 신호를 복호화하는데 있어서, 30프레임/초의 영상신호를 복원하기 위해서는 스킵된 프레임을 추정하여야 하므로, 프레임 데시메이션 기법을 이용하여 전송된 원래의 영상신호를 복원하는 개선된 시스템이 필요하다.

제1도는 일반적인 영상부호기를 개략적으로 도시한 블록 구성도로서, 제1도에 도시된 바와 같이, 감산기(110)와, DCT(112), 양자화기(114), VLC(116), 역양자화기(118), 역DCT(120), 가산기(122), 프레임 메모리(124), 움직임 예측부(126), 움직임 보상부(128) 및 버퍼(130)로 구성되어 있다.

이와 같이 구성된 영상 부호화기에서는, 감산기(110)로 입력되는 현재 프레임과 예측된 프레임간의 차분신호를 구한 후 DCT(112)에 의해서 DCT 계수로 변환 후 양자화기(114)로 제공된다.

양자화기(114)에서는 DCT(112)로부터 제공되는 DCT 계수를 양자화하고, 이 양자화된 계수를 VLC(116)에 의해서 가변길이 부호화한 후 버퍼(130)를 거쳐 영상복호기로 전송한다.

이어서, 영자화기(114)에 의해서 양자화된 계수를 역양자화기(118)에 의해서 역양자화한 후 역DCT(120)로 제공되면, 역DCT(120)에서는 상기 역양자화한 데이터와 상기 예측된 프레임간의 차분신호를 가산기(122)에 의해서 가산 후 프레임 메모리(124)로 제공된다.

여기서, 프레임 메모리(124)는 가산기(122)로부터 제공되는 프레임을 이전 프레임으로 저장하며, 이로부터 저장되어 있던 이전 프레임은 복원되어 움직임 예측부(126)와 움직임 보상부(128)로 제공된다.

움직임 예측부(126)에서는 현재 입력되는 프레임과 프레임 메모리(124)의 이전 프레임간의 움직임 변위정보를 움직임 보상부(128)로 제공하게 된다.

움직임 보상부(128)에서는 움직임 예측부(126)의 움직임 변위정보와 프레임 메모리(124)의 이전 프레임을 근거로 하여 현재 프레임을 보상하여 이루어진 예측 프레임을 가산기(122) 및 감산기(110)로 제공됨으로써 다음번째 영상 프레임에 대한 부호화를 행할 수 있게 된다.

따라서, 영상복호기에서는 이미 프레임 메모리(미도시 됨)에 저장되어 있던 프레임과 이후에 입력되는 움직임 변위정보(벡터)를 기초로 하여 영상신호을 복원하게 된다.

제2도는 제1도의 프레임간의 움직임 변위정보 추정(예측)방법을 설명하기 위하여 도시된 도면으로, 제2도에 도시된 바와 같다.

즉, 현재 프레임(t)내의 현재블럭(30)에 대한 움직임 변위정보(벡터)를 예측하기 위하여 프레임 메모리(124)의 이전 프레임(t-1)내에 탐색영역(32)를 설정한다.

그리고, 이전 프레임(t-1)의 탐색영역(32)내에서 현재블럭(30)을 최상측의 좌측에서 우측으로, 상단에서 하단으로 한 화소단위씩 이동하면서 현재블럭(30)과 최적으로 일치하는 최적의 정합블럭을 이전 프레임(t-1)의 탐색영역(32)로부터 탐색하게 된다.

상기 이전 프레임(t-1)로부터 탐색블럭의 위치가 결정되면, 이는 현재블럭(30)이 이동정보를 예측할 수 있게 되는 것이다.

상술된 바와 같이 디지털 영상 부호화에서 인접 프레임(현재, 이전)간의 상관관계를 이용하기 위하여 움직임 보상부호화를 많이 사용하게 되는데, 그 중에서도 블록매칭 알고리즘(Bock Matching Algorithm)이 가장 보편적으로 사용되고 있다.

상기 블록매칭 알고리즘를 사용할 경우에는 일정한 크기의 탐색영역을 정해 놓고, 이 탐색영역의 전체영역내에서 예측 오차를 최소화시키는 현재 블록과 가장 유사한 형태의 블록을 찾아냄으로써 움직임벡터를 예측하게 된다.

그런데, 제2도에 도시된 바와 같이 전역탐색(full search)기법을 이용하여 움직임벡터를 추정할 경우에는 막대한 계산량이 소요될 뿐 아니라 이를 VLSI로 구현할 경우에도 탐색영역이 커짐에 따라 복잡도(complexity)가 크게 증가하는 단점이 된다,

따라서, 본 발명은 상기의 단점들을 해결하기 위하여 안출한 것으로, 본 발명의 목적은 인접블럭의 움직임 변위정보를 이용하여 현재블럭의 움직임 변위정보를 고속으로 탐색할 수도 있고, 이 계산량도 대폭적으로 줄일 수 있는 영상부호기의 고속 탐색방법을 제공하는 데 있다.

상기의 목적을 달성하기 위한 본 발명에 따르면, 탐색영역을 소탐색영역으로 구분 가능하며, 이 구분된 탐색영역을 이용하여 현재블럭의 움직임 변위정보를 고속으로 에측하는 방법에 있어서, 움직임 예측을 원하는 현재블럭의 위치를 파악하는 제1단계와; 상기 제1단계에 의해서 현재블럭의 위치가 파악되면, 이 위치로부터 인접블럭의 움직임 변위정보를 검출하고, 이로부터 검출된 인접블럭들의 움직임 변위 정보가 탐색영역내의 어떤 소탐색영역에 포함되는 지를 검출하는 제2단계와; 상기 제2단계의 검출 결과, 인접블럭들의 움직임 변위정보 모두가 상기 탐색영역내의 어떤 소탐색영역에 포함된 것으로 판정되면, 상기 현재 블록의 움직임 변위정보 또한, 이 소탐색영역에 존재하는 것으로 판정함과 더불어 이 소탐색영역을 상기 현재블럭의 탐색영역 위치하여 움직임 예측을 행하는 제3단계와; 상기 제2단계의 검출 결과, 인접블럭들의 움직임 변위정보가 서로 다른 소탐색영역에 포함된 것으로 파악되면, 상기 현재블럭의 움직임 변위 정보의 존재 가능성이 가장 큰 중앙에 위치한 소탐색영역을 상기 현재블럭의 탐색영역 위치하여 움직임 예측을 행하는 제4단계로 이루어짐을 특징으로 한다.

이하, 예시된 도면을 참조하여 본 발명을 상세히 설명한다.

제3도는 본 발명에 따른 영상 부호기의 고속 탐색방법을 설명하기 위한 프레임네의 블록들을 도시한 도면이다.

제3도에서, 움직임 예측을 원하는 현재블럭의 위치를 파악하는 제1단계와, 상기 제1단계에 의해서 현재블럭의 위치가 파악되면, 이 위치로부터 인접블럭의 움직임 변위정보를 검출하고, 이로부터 검출된 인접블럭들의 움직임 변위정보가 탐색영역내의 어떤 소탐색영역에 포함되는 지를 검출하는 제2단계와, 상기 제2단계의 검출결과, 인접블럭들의 움직임 변위정보 모두가 상기 탐색영역내의 어떤 소탐색영역에 포함된 것으로 판정되면, 상기 현재블럭의 움직임 변위정보 또한, 이 소탐색영역에 존재하는 것으로 판정함과 더불어 이 소탐색영역을 상기 현재블럭의 탐색영역 위치하여 움직임 예측을 행하는 제3단계와, 상기 제2단계의 검출 결과, 인접블럭들의 움집임 변위정보의 존재 가능성이 가장 큰 중앙에 위치한 소탐색영역을 상기 현재 블록의 탐색영역 위치하여 움직임 예측을 행하는 제4단계를 이루어진다.

또한, 상기 제2단계에서의 인접블록은 상기 현재블럭(Bc) 위치에 인접된 좌측블럭(제3도의 B4)과, 상기 현재블럭(Bc) 위치에 인접된 상측블럭(제3도의 B2) 및 이 상측블럭(제3도의 B2)의 좌, 우측블럭(제3도의 B1,B3)으로 한정한다.

상기 제3단계에서의 현재블럭의 움직임 변위정보를 고속 예측하기 위하여 상기 탐색영역을 5개의 소탐색영역(제4도 참조)으로 할당한다.

제4도는 본 발명에 따른 영상부호기의 고속 탐색방법을 설명하기 위하여 이전 프레임내의 탐색영역을 5개의 소탐색영역으로 구분한 것을 도시한 도면이다.

상기와 같이 이루어진 본 발명의 동작을 실시예를 들어 상세히 설명한다.

우선, 제4도에 도시된 탐색영역(410을 MXX이라 가정하고, 제3도에 도시된 Bc로 표시된 현재블럭의 움직임 벡터를 예측하고자 하는 것으로 한정하여 본 발명을 설명하면 다음과 같다.

제1도의 움직임 예측부(126)에서는 현재 입력되는 프레임(t)과 프레임 메모리(124)의 이전 프레임(t-1)간의 움직임 변위정보를 예측하여 움직임 보상부(128)로 제공하게 된다.

즉, 현재 프레임(t)에 포함된 현재블럭(Bc)에 대한 인접블럭(제3도의 B1,B2,B3,B4)의 움직임 변위정보(벡터)는 부호화과정에 이미 알고 있는 정보가 된다.

[예를 들면 : B1→(10,15)(소탐색영역(4), B2→(11,16)(소탐색영역(4), B3→(11,13)(소탐색영역(4), B4→(9,10)(소탐색영역(4)]

따라서, 현재블럭(Bc)의 인접블럭(B1,B2,B3,B4)의 움직임 변위정보(벡터)를 제4도에 도시되어 있는 5개의 소탐색영역(1,2,3,4,5) 중 어느 소탐색영역에 포함되는 지를 판독한다.

판독 결과, 현재블럭(Bc)의 인접블럭(B1,B2,B3,B4)의 움직임 변위정보 모두가 제4도에 도시되어 있는 5개의 소탐색영역(1,2,3,4,5) 중 소탐색영역(4)에 포함되는 것으로 판정되면, 상기 현재블럭(Bc)의 움직임 변위정보 또한, 이 소탐색영역(4)에 존재하는 것으로 판정함과 더불어 상기 현재블럭(Bc)을 탐색영역(41)의 소탐색영역(4)에서만 움직임 예측 동작을 행하여 얻어지는 정보를 상기 움직임 보상부(128)로 제공하게 된다.

이와 반대로 판독 결과, 현재블록(Bc)에 대한 인접블럭(B1,B2,B3,B4)의 움직임 변위정보가 서로 다른 소탐색영역에 포함된 것으로 파악되면, 예를 들면, [예를 들면 : B1→소탐색영역(1), B2→소탐색영역(3), B3→소탐색영역(2), B4→(소탐색영역(4)]

상기 현재블록의 움직임 변위정보의 존재 가능성이 가장 큰 중앙에 위치한 소탐색영역(5)을 상기 현재블럭(Bc)의 탐색영역 위치로하여 움직임 예측을 행한 후 상기 움직임 보상부(128)로 제공하게 된다.

이는 제2도에 도시된 바와 같이 현재블록(30)의 움직임 변위 정보를 예측하기 위하여 프레임 메모리(124)로부터 복원된 이전 프레임(t-1)내에 탐색영역(32) 전체를 탐색하는 기존의 방법보다 빠르고 계산량을 줄일 수 있게 된다.

이 경우에, 예측 오차가 약간 증가하는 것은 피할 수 없으나, 그 영향은 예측 오차 증가율이 5% 미만임으로 무시할 수 있는 정도가 된다.

이상에 설명한 바와 같이 본 발명은 블록매칭 알고리즘을 이용한 보상 부호화에서 전역 탐색(full search)기법을 이용할 경우보다 계산량을 1/4로 줄이면서 움직임 벡터를 효율적으로 예측(추정)할 수 있는 효과가 있다.

Claims (3)

1. 탐색영역을 소탐색영역으로 구분 가능하며, 이 구분된 탐색영역을 이용하여 현재블록의 움직임 변위정보를 고속으로 예측하는 방법에 있어서, 움직임 예측을 원하는 현재블럭의 움직임 변위정보를 고속으로 예측하는 방법에 있어서, 움직임 예측을 원하느 현재블럭의 위치를 파악하는 제1단계와; 상기 제1단계에 의해서 현재블럭의 위치가 파악되면, 이 위치로부터 인접블럭의 움직임 변위정보를 검출하고, 이로부터 검출된 인접블럭들의 움직임 변위정보가 탐색영역내의 어떤 소탐색영역에 포함되는 지를 검출하는 제2단계와; 상기 제2단계의 검출 결과, 인접블럭들의 움직임 변위정보 모두가 상기 탐색영역내의 어떤 소탐색영역에 포함된 것으로 판정되면, 상기 현재 블록의 움직임 변위정보 또한, 이 소탐색영역에 존재하는 것으로 판정함과 더불어 이 소탐색영역을 상기 현재블럭의 탐색영역 위치하여 움직임 예측을 행하는 제3단계와; 상기 제2단계의 검출 결과, 인접블록들의 움직임 변위정보가 서로 다른 소탐색영역에 포함된 것으로 파악되면, 상기 현재블럭의 움직임 변위 정보의 존재 가능성이 가장 큰 중앙에 위치한 소탐색영역을 상기 현재블럭의 탐색영역 위치로 하여 움직임 예측을 행하는 제4단계로 이루어짐을 특징으로 하는 영상부호기의 고속 탐색방법.
2. 제1항에 있어서, 상기 제2단계에서의 인접블록은 상기 현재블록 위치에 인접된 좌측블럭(제3도의 B4)과, 상기 현재블럭(Bc) 위치에 인접된 상측블럭(제3도의 B2) 및 이 상측블럭(제3도의 B2)의 좌, 우측블럭(제3도의 B1,B3)으로 한정함을 특징으로 하는 영상부호기의 고속 탐색방법.
3. 제1항에 있어서, 상기 제3단계에서의 현재블럭의 움직임 변위정보를 고속 예측하기 위하여 상기 탐색영역을 5개의 소탐색영역(제4도 참조)으로 할당함을 특징으로 하는 영상부호기의 고속 탐색방법.