KR20000014769A - 동영상 부호화기의 움직임 추정방법 - Google Patents

Abstract

본 발명은, 움직임 추정을 실시간으로 구현할 수 있는 동영상 부호화기의 움직임 추정방법에 관한 것으로, 현재 프레임 픽춰 및 이전 프레임 픽춰를 1/K로 데시메이션하하고, 상기 데시메이션된 이전 프레임 픽춰와 상기 현재 프레임 픽춰를 블록매칭 시켜 움직임 벡터를 구한 다음에, 상기 움직임 벡터에 근거하여 상기 데시메이션 이전의 프레임 픽춰에서 움직임 추정을 실시하여 화소단위 움직임 벡터를 구하고, 상기 화소단위 움직임 벡터를 이용하여 반화소 단위의 움직임 추정을 실행해서 반화소단위 움직임 벡터를 구함으로써, 움직임 벡터 추정의 계산량을 현저히 감소시켜서 실시간 구현을 용이하게 할 수 있다.

Description

동영상 부호화기의 움직임 추정방법

본 발명은 동영상 부호화 방법에 관한 것으로서, 더욱 상세하게는 동영상 부호화기의 움직임 추정을 실시간으로 처리할 수 있는 동영상 부호화기의 움직임 추정방법에 관한 것이다.

일반적인 동영상 부호화기는 도 1에 도시되어 있다. 동 도면에서, 입력버퍼(10)는 프레임(또는 필드) 단위로 입력되는 영상신호를 일시 저장하고, 감산기(11)는 입력버퍼(10)에서 출력되는 현재 프레임의 영상신호와 현재 프레임의 예측 영상신호를 감산하여 예측 오차신호를 출력한다. 그리고, 이산여현변환(DCT; Discrete Cosine Transform)부(12)는 상기 예측 오차신호를 N×N 화소의 장방형 화소 블럭으로 분할하고 각 블럭에 대해 이산여현변환처리함으로써 각 블럭내의 평균값(DC값)으로부터 매우 정교한 고주파수의 영상성분까지 여러 가지 주파수의 영상성분으로 분해한다. 이때, DCT변환 전에는 화면에 불규칙하게 퍼져 있던 화소값(예를 들면, 휘도)이 저주파수 쪽으로 집중된다.

양자화기(13)는 상기 DCT변환된 영상성분을 화소 블럭단위로 양자화 스텝으로 나누고 나머지를 반올림한다. 이때, 산출된 결과인 영상성분을 DCT계수(DCT_CO)라고 하며, 이 DCT계수는 저주파수 쪽에 편중되게 나타난다. 따라서, 이렇게 양자화 후의 영상이 저주파수 영역에 집중되는 특성을 이용하여 큰 폭의 영상압축을 얻을 수 있다.

역양자화기(14)는 DCT계수를 화소 블럭단위로 양자화 스텝으로 곱하여 역양자화를 수행한다. 이때, 역양자화 후의 영상은 원래로 복원되지는 않는다. 따라서, 상기 양자화기(13)에서 양자화 스텝을 크게 하면 압축율을 높일 수 있지만 고주파수 성분들이 손실되고 저주파수 성분들도 양자화 에러가 커지게 되어 재생시 화질이 열화되는 반면, 양자화 스텝을 작게 하면 재생시 화질의 열화를 줄일 수 있지만 압축율이 떨어지게 된다.

역 이산여현변환부(15)는 상기 역양자화기(14)에서 역양자화된 영상을 역 이산여현변환(IDCT; Inverse Discrete Cosine Transform) 처리하여 원래의 예측 오차신호에 거의 근사한 신호를 출력한다.

가산기(16)는 역 이산여현변환부(15)의 예측 오차신호와 움직임 보상기(18)에서 출력된 예측 영상신호를 가산하여 프레임 메모리(17) 및 움직임 추정기(19)에 전달한다. 여기서, 움직임 보상기(18)의 출력은 현재 프레임에 대한 예측 영상신호이므로, 상기 가산기(16)의 출력신호는 이전 프레임의 영상신호와 거의 같은 신호로 된다.

움직임 추정기(19)는 입력버퍼(10)에서 입력되는 현재 프레임의 영상신호를 N×N 화소의 화소 블록(매크로블럭) 단위로 분할하고, 분할된 각 블록과 가장 유사한 가산기(16)에서 입력되는 이전 프레임의 영상신호의 위치를 탐색한다. 이렇게 탐색된 위치의 변이를 움직임 벡터(MV)로 출력한다.

움직임 보상기(18)는 상기 프레임 메모리(17)에서 출력되는 이전 프레임 영상신호에 대하여 상기 움직입 벡터(MV)만큼 이동시키는 움직임 보상을 수행하여 예측 영상신호를 생성한다.

가변길이 부화기(20)는 발생빈도가 높은 것은 짧은 길이의 코드로 부호화하고 발생빈도가 낮은 것은 긴 길이의 코드로 부호화하는 통계적 부호화를 이용하여 상기 양자화기(13)의 DCT계수(DCT_CO) 및 움직임 벡터(MV)를 부호화하여 부호화 비트 스트림을 출력한다.

출력버퍼(21)는 상기 부호화 비트 스트림을 일시 저장하고 있다가 전송 채널의 전송능력에 맞게 출력한다. 따라서, 출력버퍼(21)는 데이터의 충만상태를 양자화 제어신호(QC)로서 상기 양자화기(13)에 출력하여, 양자화기(13)가 출력버퍼(21)의 충만상태에 따라 양자화 스텝을 조절하도록 한다. 즉, 양자화기(13)는 출력버퍼(21)의 충만도가 낮으면 양자화 스텝을 작게 하여 양자화 데이터량을 증가시킴으로써 출력버퍼(21)의 언더플로우를 방지하고, 충만도가 높으면 양자화 스텝을 크게 하여 양자화 데이터량을 감소시킴으로써 출력버퍼(21)의 오버플로우를 방지한다.

상기와 같이 구성된 종래의 동영상 부화기에 있어서, 움직임 추정에서 가장 근사한 블록을 찾기 위한 블록 매칭방법으로는 주로 평균 절대 오차(Mean Absolute Error; MAE)나 평균 절대 차(Mean Absolute Difference; MAD) 등을 이용한다. 여기서, 평균 절대 오차(MAE)는 현재 영상 프레임이 C(x+k,y+1)이고 이전 영상 프레임이 P(x+i+k,y+j+!)이라면 다음의 수학식 1에 의해 구해진다.

그리고, 움직임 벡터의 탐색방법으로서는 여러 가지가 있는데, 그중 가장 간단하게 움직임 벡터를 찾는 방법은 완전 탐색(Full Search)이다. 이 완전 탐색은 탐색 윈도우내에서 탐색블럭을 화소단위로 이동하면서 평균 절대 오차(MAE)를 계산하여 가장 작은 값을 갖는 블록을 움직임 블록으로 선택하는 것이다. 이 방법은 간단하고 구현이 쉽지만 탐색블럭을 탐색 윈도우내에서 화소단위로 이동하면서 평균 절대 오차(MAE)를 계산해야 하므로 계산시간이 많이 걸린다.

다른 탐색방법으로는 2-D 로가리드믹 탐색(Logarithmic Search)이 있으며, 이 방법은 탐색 영역을 더 이상 감소시킬 수 없을 때까지 계속적으로 지수함수적으로 탐색영역을 감소시켜서 움직임 블록을 찾는 것으로, 계산시간을 줄일 수 있다.

또한, 빠른 움직임 추정을 위하여 작은 영역에서의 탐색과 적은 탐색 회수을 결합하는 방법으로 계층 탐색(Hierarchical Search)이 있으며, 이 방법은 영상프레임을 데시메이션(Decimation)하여 적은 Resolution에서 탐색을 하고, 그 위에서 원래의 영상프레임을 이전보다 큰 Resolution으로 만들어 탐색을 실행한다. 이러한 단계를 원하는 단계까지 계속하여 움직임 블록의 정확한 위치를 찾아낸다.

엠펙(MPEG)-2에서는 영상신호의 시간적 상관관계와 공간적 상관관계를 이용하여 영상정보를 압축하는 방식을 사용하고 있으며, 이중 시간적 상관관계를 이용한 압축방법인 움직임 보상 부호화에서 움직임 추정방식은 화질과 데이터 압축량에 큰 영향을 주고 있다. 그리고, 움직임 추정은 방대한 계산량을 요구하여 실시간 영상압축의 구현에 걸림돌이 되고 있다.

이와 같이 화질과 데이터 압축량에 큰 영향을 주는 움직임 추정을 구현하는 방법은, 첫 번째로는 주문형 집적회로(ASIC; Application Specific Integated Circuit)를 이용하여 구현하는 것이고, 두 번째로는 디지털 신호처리(DSP) 집적회로를 이용하여 구현하는 것이다.

주문형 집적회로를 이용하여 움직임 추정기를 구현할 경우에는 사용 목적[예를 들면, 고화질 텔레비젼(HDTV), 디지털 비데오 디스크(DVD) 플레이어 등]에 적합하게 설계할 수 있기 때문에 콤팩트하게 설계할 수 있는 이점이 있지만, 사용목적이 바뀌면 그 것에 맞게 재설계를 해야 하고, 주문형 집적회로의 설계에 시간 및 비용이 많이 들어간다는 문제점이 있다.

그리고, 디지털 신호처리 집적회로를 이용하여 움직임 추정기를 구현할 경우에는 명령어만 바꾸어 주면 쉽게 기능을 바꿀 수 있으므로 어떠한 응용에도 적용하기 용이하다는 이점이 있는 반면, 범용적이기 때문에 회로의 크기가 콤팩트하지 않으며, 또한 계산량이 너무 많아 디지털 신호처리 자원이 많은 고성능 디지털 신호처리 집적회로를 필요로 한다는 문제점이 있다.

또한, 현재 8×8화소의 블록단위로 움직임 추정을 실행하는 움직임 추정용 범용 집적회로가 개발되어 시판되고 있지만, 엠팩-2에서 요구하는 16×16화소 블록단위의 움직임 추정용 범용 집적회로는 공급되고 있지 않다.

따라서, 제조가격이 저렴하고 사용목적에 따라 설계가 용이하면서 16×16화소 블록단위의 움직임 추정을 실시간으로 수행할 수 있는 움직임 추정기의 개발이 요구되고 있다.

따라서, 본 발명은 상기와 같은 요구에 부흥하기 위해 창작된 것으로서, 움직임 추정을 실시간으로 구현할 수 있는 동영상 부호화기의 움직임 추정방법을 제공하고자 함에 그 목적이 있다.

도 1은 일반적인 동영상 부호화기의 블럭도이고,

도 2는 본 발명에 따른 움직임 추정방법이 적용되는 장치의 블럭도이고,

도 3a 및 도 3b는 본 발명에 따른 움직임 추정방법에서 데시메이션하는 과정을 설명하기 위한 도면이고,

도 4a 및 도 4b는 본 발명에 따른 움직임 추정과정을 설명하기 위한 도면이다.

※ 도면의 주요부분에 대한 부호의 설명

10 : 입력버퍼 11 : 감산기

12 : 이산여현변환(DCT)부 13 : 양자화기

14 : 역 양자화기 15 : 역 이산여현변환(IDCT)부

16 : 가산기 17 : 프레임 메모리

18 : 움직임 보상기 19 : 움직임 추정기

20 : 가변길이부호화기 21 : 출력버퍼

30 : 제 1움직임 추정부 42 : 데시메이션 필터부

44 : 제 2움직임 추정부 46 : 반화소 움직임 추정부

상기와 같은 목적을 달성하기 위한 본 발명에 따른 동영상 부호화기의 움직임 추정방법은, 동영상 부호화방법에 있어서; 현재 프레임 픽춰 및 이전 프레임 픽춰를 1/K로 데시메이션하는 제 1단계; 상기 데시메이션된 이전 프레임 픽춰와 상기 현재 프레임 픽춰를 블록매칭시켜 움직임 벡터를 구하는 제 2단계; 상기 움직임 벡터에 근거하여 상기 데시메이션 이전의 프레임 픽춰의 화소단위 움직임 벡터를 구하는 제 3단계; 및 상기 화소단위 움직임 벡터를 이용하여 반화소 단위의 움직임 벡터를 구하는 제 4단계를 포함하여 이루어진 것을 특징으로 한다.

상기와 같이 이루어진 본 발명에 따른 동영상 부호화기의 움직임 추정방법 에서는, 현재 프레임 픽춰 및 이전 프레임 픽춰를 1/K로 데시메이션하여 계산량을 감소시켜 움직임 벡터를 추정하고, 이 추정된 움직임 벡터를 기초로 데시메이션되지 않은 현재 프레임 픽춰 및 이전 프레임 픽춰에서 화소단위 움직임 벡터를 추정한 다음에, 반화소단위 움직임 벡터를 구함으로써, 움직임 벡터 추정시간을 실시간으로 구현하게 된다.

이하, 본 발명에 따른 동영상 부호화기의 움직임 추정방법의 바람직한 실시예에 대하여, 첨부된 도면에 의거하여 상세히 설명하겠다.

도 2는 본 발명에 따른 움직임 추정방법이 적용되는 장치를 도시한 블록도로, 본 발명의 장치는 데시메이션 필터부(42), 제 1움직임 추정부(30), 제 2움직임 추정부(44) 및 반화소 움직임 추정부(46)로 구성된다.

상기 데시메이션 필터부(42)는 도 1의 입력버퍼(10)로터 현재 프레임의 픽춰를 1/2로 데시메이션(다운 샘플링)하고, 도 1의 가산기(16)으로부터 재구성된 이전 프레임 픽춰를 1/2로 데시메이션한다.

그리고, 상기 제 1움직임 추정부(30)는 8×8화소의 블록단위로 움직임 추정을 실행하는 움직임 추정용 범용 집적회로으로 구현하는 것으로, 데시메이션된 탐색 윈도우블록내에서 8×8화소의 탐색블록을 완전 탐색(Full Search)방식으로 움직임 벡터를 산출한다.

또한, 상기 제 2움직임 추정부(44)는 상기 제 1움직임 추정부(30)의 움직임 벡터가 1/2로 데시메이션된 화소 데이터에 의해 구해진 것이므로 좀더 정확한 화소단위의 움직임 벡터를 구하고, 상기 반화소(Half Pixel) 움직임 추정기(46)는 일반적인 반화소 단위의 움직임 추정을 실행하여 반화소의 정밀한 움직임 벡터를 구한다.

여기서, 상기한 데시메이션부(42), 제2움직임 추정부(44) 및 반화소 움직임 추정부는 하나의 DSP 집적회로(40)로 구현한 것이다.

다음으로, 상기와 같이 구성된 움직임 추정장치에서 구현될 수 있는 움직임 추정방법에 대하여, 도 3a, 도 3b, 도 4a 및 도 4b를 참조하여 상세히 설명한다.

도 1의 입력버퍼(10)로부터의 현재 프레임의 픽춰는 상기 데시메이션 필터부(42)에 입력되어 도 3a에 도시한 바와 같이 16×16화소 블록(매크로블록)단위로 분할되고, 이 분할된 매크로블록은 1/2로 데시메이션(다운 샘플링)되어 8×8화소의 탐색블록으로 변환된다.

그리고, 도 1의 가산기(16)으로부터의 재구성된 이전 프레임 픽춰도 상기 데시메이션 필터부(42)에 입력되며, 도 3b에 도시한 바와 같이 현재 움직임 벡터를 탐색할 매크로블록에 대한 탐색 윈도우가 47×47화소 단위로 설정되고, 이 설정된 탐색블록이 1/2로 데시메이션되어 23×23화소의 탐색 윈도우블록으로 변환된다.

상기 데시메이션된 윈도우블럭 및 탐색블럭은 상기 제 1움직임 추정부(30)에 입력된다. 상기 제 1움직임 추정부(30)에서는 23×23화소의 탐색 윈도우블록에 대하여 상기 8×8화소의 탐색블록을 화소단위로 이동시키는 완전 탐색(Full Search)방식으로 평균 절대 오차(MAE)를 계산하여 가장 작은 값을 갖는 블록을 움직임 블록으로 선택하고, 탐색블록과 선택된 움직임 블럭의 변위를 움직임 벡터로서 출력한다.

그후, 상기 움직임 벡터는 제 2움직임 추정부(30)에 입력되며, 상기 제 2움직임 추정부(30)에서는 상기 제 1움직임 추정부(30)에서 산출된 움직임 벡터(블럭의 이동 변위)에 근거하여, 도 4a에 도시한 바와 같이 상기 1/2로 데시메이션되기 이전의 탐색 윈도우내에 있어서 상기 제 1단계에서 구한 상기 움직임 벡터에 대응하는 움직임 벡터 블록인 16×16화소 블록 주위의 1화소 이격된 N×N화소 블록들에 대해, 상기 1/2로 데시메이션되기 이전의 16×16화소의 탐색블록과 블록 매칭으로 평균 절대 오차(MAE)를 계산하여 가장 작은 값을 갖는 16×16화소 블록을 움직임 블록으로 선택하고, 상기 탐색블록과 상기 선택된 움직임 블록 사이의 변위를 화소단위 움직임 벡터로서 출력한다.

이어서, 상기 화소단위 움직임 벡터는 반화소 움직임 추정기(46)에 입력되며, 상기 반화소 움직임 추정기(46)에서는 움직임 탐색 블록의 선형 근사(Linear Approximation)방식을 이용하여 보간(Interpolation)을 수행하여 반화소를 구하고, 일반적인 반화소 단위의 움직임 추정을 실행하여 반화소의 정밀한 반화소단위 움직임 벡터를 구한다.

이렇게 구해진 반화소단위 움직임 벡터는 도 1의 움직임 보상기(18) 및 가변길이 부호화기(20)에 입력되어, 움직임 보상기(18)에서는 예측 영상신호를 생성하는데 이용되며, 가변길이 부화기(20)에서는 양자화된 DCT계수와 함께 부호화되어 전송채널로 출력된다.

상기와 같이 이루어지는 본 발명에 따른 동영상 부호화기의 움직임 추정방법에 의하면, 데시메이션된 프레임 픽춰에서 1차적으로 움직임 벡터를 추정하고, 이 1차 추정된 움직임 벡터를 이용하여 데시메이션되지 않은 프레임 픽춰에서 2차적으로 정확한 화소단위의 움직임 벡터 및 반화소단위의 움직임 벡터를 추정함으로써, 움직임 벡터 추정의 계산량을 현저히 감소시켜서 실시간 구현을 용이하게 할 수 있다.

Claims (1)

1. 동영상 부호화방법에 있어서;

   현재 프레임 픽춰 및 이전 프레임 픽춰를 1/K로 데시메이션(decimation)하는 제 1단계;

   상기 데시메이션된 이전 프레임 픽춰와 상기 현재 프레임 픽춰를 블록매칭시켜 움직임 벡터를 구하는 제 2단계;

   상기 움직임 벡터에 근거하여 상기 데시메이션 이전의 프레임 픽춰의 화소단위 움직임 벡터를 구하는 제 3단계; 및

   상기 화소단위 움직임 벡터를 이용하여 반화소 단위의 움직임 벡터를 구하는 제 4단계를 포함하여 이루어진 것을 특징으로 하는 움직임 추정방법.