KR100295328B1 - 구획간 잔류신호의 예측을 통한 영상의 부호화 및 복호화 방법 - Google Patents

Abstract

본 발명은 영상의 부호화 및 복호화 방법에 관한 것으로서, 현재 국제 영상 부호화 표준들은 구획간의 잔류신호들의 상관성을 이용하지 않거나, 구획간 잔류신호의 변환계수들을 예측할때 인접 구획들 중 현재 구획의 왼쪽이나 위에 위치한 구획만을 이용하기 때문에 구획들간의 상관성을 충분히 이용하기에는 힘들다고 여겨진다.

이에 본 발명은, H.26x나 MPEG-1, MPEG-2, MPEG-4 등의 표준을 포함한 구획간 움직임 예측 및 보상을 통하여 영상을 압축하는 기법에서 영상의 시간적 상관성을 충분히 이용하여 현재 부호화되고 있는 구획과 같거나 충분히 비슷한 움직임 벡터를 가지는 구획의 변환계수들을 통해 현재 부호화되고 있는 구획의 잔류신호를 예측한 후 현재 부호화되고 있는 구획 이전에 이미 부호화된 구획들만을 사용하므로서, 예측에 사용되는 구획을 지정하기 위한 부가정보를 전송할 필요가 없을뿐만 아니라 영상의 부호화 및 복호화의 효율을 향상시킬수 있도록 하는 구획간 잔류신호의 예측을 통한 영상의 부호화 및 복호화 방법을 제공함에 있다.

Description

구획간 잔류신호의 예측을 통한 영상의 부호화 및 복호화 방법

본 발명은 H.26x나 MPEG-1, MPEG-2, MPEG-4 등의 표준을 포함한 구획간 움직임 예측 및 보상을 통하여 영상을 압축하는 기법에서 구획간 잔류신호를 예측하므로서 영상의 부호화와 복호화의 효율을 향상시키는 구획간 잔류신호의 예측을 통한 영상의 부호화 및 복호화 방법에 관한 것이다.

특히, 영상의 시간적 상관성(correlation)으로서 현재 부호화되고 있는 구획과 같거나 충분히 비슷한 움직임 벡터를 가지는 구획의 변환계수들을 이용하여 현재 부호화되고 있는 구획의 잔류신호를 예측하여 영상의 부호화 및 복호화의 효율을 향상시키고자 하는 구획간 잔류신호의 예측을 통한 영상의 부호화 및 복호화 방법에 관한 것이다.

현재 국제 영상 부호화 표준으로 자리잡고 있는 H.261, H.263 혹은 MPEG-2,MPEG-4 등에서는 영상구획을 움직임 예측 보상을 실시한 후에 잔류신호(DFD; Displaced Frame Difference)를 DCT를 행해서 적절한 양자화 구간으로 나누어 양자화하고, 허프만 테이블을 이용하여 부호화하는 구조로 되어 있다.

그리고, 상기 양자화된 DCT계수들은 구획간에 서로 상관성을 가지고 있을 확률이 높고, 이러한 상관성은 특히 움직임 보상된 구획들이 서로 같은 물체에 속해 있을 경우에 특히 크게 나타날 확률이 높다.

즉, 움직임 예측/보상후에 구획의 잔류신호들은 동일한 움직임 벡터를 가지는 인접구획들간에 상관성이 많이 존재할 확률이 크므로, 이것은 국제 표준들에서 구획들의 움직임 벡터를 추정하는 과정에서 구획내의 모든 화소들이 동일한 움직임 벡터를 가진다고 하는 가정에 기인하는 것이다.

따라서, 현재 표준에서 사용하고 있는 움직임 예측/보상은 영상내의 물체가 translational한 움직임을 한다고 가정하면, 같은 움직임 벡터를 가지는 것으로 예측된 구획은 하나의 물체에 속해 있다고 가정할수 있는 바,

같은 물체에 속한 것으로 판명된 구획들은 잔류신호에서도 서로 같은 특성을 가질 확률이 그렇지 않은 경우에 비해 매우 크다고 볼수 있는 것이다.

그러나, 현재 국제 영상 부호화 표준들은 구획간의 잔류신호들의 상관성을 이용하지 않거나, 구획간 잔류신호의 변환계수들을 예측할때 인접 구획들 중 현재 구획의 왼쪽이나 위에 위치한 구획만을 이용하기 때문에 구획들간의 상관성을 충분히 이용하기에는 힘들다고 여겨진다.

따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위해 H.26x나 MPEG-1, MPEG-2, MPEG-4 등의 표준을 포함한 구획간 움직임 예측 및 보상을 통하여 영상을 압축하는 기법에서 영상의 시간적 상관성을 충분히 이용하여 현재 부호화되고 있는 구획과 같거나 충분히 비슷한 움직임 벡터를 가지는 구획의 변환계수들을 통해 현재 부호화되고 있는 구획의 잔류신호를 예측한 후 현재 부호화되고 있는 구획 이전에 이미 부호화된 구획들만을 사용하므로서, 예측에 사용되는 구획을 지정하기 위한 부가정보를 전송할 필요가 없을뿐만 아니라 영상의 부호화 및 복호화의 효율을 향상시킬수 있도록 하는 구획간 잔류신호의 예측을 통한 영상의 부호화 및 복호화 방법을 제공함에 있다.

도 1은 본 발명에 있어 움직임 벡터의 추정예를 보인 도면.

도 2의 a,b는 본 발명에 있어 잔류신호의 특성을 보인 도면.

도 3은 본 발명에 있어 구획간의 추정예를 보인 도면.

상기 목적달성을 위한 본 발명 구획간 잔류신호의 예측을 통한 영상의 부호화 방법은,

하나의 화면(frame)을 복수개의 구획으로 분해한 후 구획간 움직임 예측 및 보상을 통하여 부호화하는 영상 부호화 방법에 있어서,

영상의 시간적 상관성을 이용하여 현재 부호화 할 구획의 움직임 벡터와 같거나 충분히 비슷한 움직임 벡터를 가지는 이미 부호화된 구획을 찾는 단계와;

상기 단계에 의해 찾은 구획의 잔류신호를 부호화한 결과를 이용하여 현재 부호화 할 구획의 잔류신호 변환계수를 추정하되, 이미 부호화된 구획과 현재 부호화 할 구획의 잔류신호 차이를 검출하는 단계와;

상기 단계에 의해 잔류신호 차이를 양자화하여 현재 부호화할 구획에 대한 부호화 정보를 전송하여 영상을 부호화시키는 단계; 로 진행됨을 특징으로 하는 것이다.

상기와 같이 구성된 본 발명 구획간 잔류신호의 예측을 통한 영상 부호화 방법의 작용에 대하여 첨부된 도 1 내지 도 3을 참조하여 일예로서 설명하면 다음과 같다.

먼저, 도 1 및 도 2에 도시된 바와같이 H.26x나 MPEG-1, MPEG-2, MPEG-4 등의 표준을 포함한 구획간 움직임 예측 및 보상을 통한 영상의 부호화에 있어,

움직임 예측/보상후에 구획의 잔류신호들은 동일한 움직임 벡터를 가지는 인접구획들간에 상관성이 많이 존재할 확률이 크므로, 국제 표준들에서 구획들의 움직임 벡터를 추정하는 과정에서 구획내의 모든 화소들이 동일한 움직임 벡터를 가진다고 가정한다.

이후, 도 3에 도시된 바와같이 현재 부호화 할 구획의 잔류신호를 변환한 계수들로 이루어진 N×N크기의 구획들을 Bc라 하고, 상기 구획 Bc가 가지는 움직임 벡터를 MV(Bc)라고 표기한다.

이때, 상기 Bc를 Bc=(cij)(i,j=1,2,…,N)라고 표기한 후, 상기 Bc의 주변에 존재하며 구획 Bc 이전에 이미 부호화된 구획들로 구성된 임의의 크기 영역을 W라고 설정한다.

이후, 상기 영역 W내에 속하는 구획들 중에서,

[1]. Bl⊂W

[2]. MV(Bc)=MV(Bl)

[3]. d(Bl,Bc)≤d(Bm,Bc)

(단, Bm은 [1][2]의 조건을 만족하되, Bl 다음으로 Bc의 움직임 벡터와 동일한 임의의 블럭으로서, 이는 각 구획 사이의 geometric distance를 의미한다)

와 같이, 상기 [1][2][3]의 조건을 만족하는 구획을 Bl이라 하면, 상기 Bl은 현재 부호화 되어야 할 잔류신호의 변환계수들인 Bc=(cij)의 추정값이 된다.

즉, 상기 Bl=(lij)(i,j=1,2,…,N)은 영상의 시간적 상관성을 충분히 이용하여 상기 [1][2][3]의 조건을 만족하도록 lij=Q(lij)(i,j=1,2,…,N)(Q는 부호화에 사용된 양자기)를 통하여 추정되는 바,

현재 부호화 되어야 할 잔류신호의 변환계수들 Bc=(cij)는 직접적으로 부호화되지 않으며 대신에 추정값인 Bl=(lij)과의 차이에 의해서 구해진 Dc=(dij)들이 부호화되고, 이는 상기 dij=cij-lij=cij-Q(lij)(i,j=1,2,…,N)에 의해 구해진다.

이때, 상기 Dc=(dij)는 전체적으로 Bc=(cij)들을 이전에 부호화된 구획들 중에서 비슷한 특성을 가지는 구획을 이용해서 추정한 값인 바,

상기 Bc=(cij)에 비해서 대다수의 계수들이 zero값들 주변에 위치하므로서 상기 Bc=(cij)를 직접 부호화하는 경우에 비해서 부호화 효율을 높일수 있게 되는 것이다.

한편, 상기 본 발명 구획간 잔류신호의 예측을 통해 부호화된 영상의 복호화 방법은,

복수의 구획으로 분해한 후 구획간 움직임 예측 및 보상을 통하여 부호화된 하나의 화면(frame)을 구획단위로 복호화하는 영상 복호화 방법에 있어서,

영상의 시간적 상관성을 이용하여 현재 복호화 할 구획의 움직임 벡터와 같거나 충분히 비슷한 움직임 벡터를 가지는 이미 복호화된 구획을 찾는 단계와;

상기 단계에 의해 찾은 구획의 잔류신호를 현재 복호화할 구획에 대한 복호화 정보로 더하여 영상을 복호화시키는 단계; 로 진행됨을 특징으로 하는 것이다.

상기와 같이 구성된 본 발명 구획간 잔류신호의 예측을 통한 영상 복호화 방법의 작용에 대하여 일예로서 설명하면 다음과 같다.

먼저, 현재 복호화 할 구획을 Bc라 하고, 상기 구획 Bc가 가지는 움직임 벡터를 MV(Bc)라고 표기한다.

이후, 영상의 시간적 상관성을 이용하여 현재 복호화 할 구획 Bc의 움직임 벡터와 같거나 충분히 비슷한 움직임 벡터를 가지는 이미 복호화된 구획을 찾는다.

이때, 상기 구획을 통해 현재 복호화 할 구획 Bc의 복원한 값 Bk=(kij)는,

상기의 부호화 방법에서와 같이 Dc=(dij)에 의해 kij=Q(dij)+lij =Q(dij)+ Q(lij)(i,j=1,2,…,N)로 구해진다.

따라서, 상기 구획 Bc=(cij)를 추정하기 위한 구획으로 이미 부호화된 구획들중에서 하나의 구획을 정해진 규칙에 따라서 사용하게 되는 바,

상기 단계에 의해 찾은 구획(Bk)의 잔류신호를 현재 복호화할 구획(Bc)에 대한 복호화 정보로 더하면 부호기에서 복호기로 추정에 사용되는 구획을 지정하기 위한 부가적인 정보를 전송해줄 필요도 없이 영상을 복호화시킬수 있게 되는 것이다.

이상에서 설명한 바와같이 본 발명은 현재 H.26x나 MPEG 계열의 부호화 알고리듬들이 구획간의 잔류신호들의 상관성을 전혀 이용하지 않거나, 극히 제한된 영역내에서의 제한된 부분들의 상관성을 이용하는데 그치고 있는 바, 이를 해결하기 위해 움직임 예측/보상을 행하는 모든 종류의 부호화 표준 및 알고리듬에 사용이 가능하도록 하나의 물체에 속한 구획들은 서로 비슷한 잔류신호 특성을 가진다는 점을 착안하여 이들 잔류신호를 보다 효율적으로 추정할수 있는 알고리듬을 제공하는 것이다.

즉, 추정에 필요한 부가신호의 전송이 전혀 필요없이 부호기의 복호기에서 정해진 규칙에 따라 간단한 비교 및 더하기 연산만을 행하도록 하므로서, 채널대역폭(channel bandwidth)의 증가가 전혀 없고 복잡도의 증가도 거의 무시할수 있는 수준에서 부호기의 효율을 높이는 효과가 있을뿐만 아니라, 현재 제정과정에 있는 H.263++, H.26L 및 차세대 영상 부호화 규격으로 계속해서 자리 잡아가고 있는 MPEG-4 등의 국제표준들의 baseline 혹은 option mode 등에 적용할수 있도록 하는데 있는 것이다.

Claims (2)

1. 하나의 화면(frame)을 복수개의 구획으로 분해한 후 구획간 움직임 예측 및 보상을 통하여 부호화하는 영상 부호화 방법에 있어서,

   영상의 시간적 상관성을 이용하여 현재 부호화 할 구획의 움직임 벡터와 같거나 충분히 비슷한 움직임 벡터를 가지는 이미 부호화된 구획을 찾는 단계와;

   상기 단계에 의해 찾은 구획의 잔류신호를 부호화한 결과를 이용하여 현재 부호화 할 구획의 잔류신호 변환계수를 추정하되, 이미 부호화된 구획과 현재 부호화 할 구획의 잔류신호 차이를 검출하는 단계와;

   상기 단계에 의해 잔류신호 차이를 양자화하여 현재 부호화할 구획에 대한 부호화 정보를 전송하여 영상을 부호화시키는 단계; 로 진행됨을 특징으로 하는 구획간 잔류신호의 예측을 통한 영상의 부호화 방법.
2. 복수개의 구획으로 분해한 후 구획간 움직임 예측 및 보상을 통하여 부호화된 하나의 화면(frame)을 구획단위로 복호화하는 영상 복호화 방법에 있어서,

   영상의 시간적 상관성을 이용하여 현재 복호화 할 구획의 움직임 벡터와 같거나 충분히 비슷한 움직임 벡터를 가지는 이미 복호화된 구획을 찾는 단계와;

   상기 단계에 의해 찾은 구획의 잔류신호를 현재 복호화할 구획에 대한 복호화 정보로 더하여 영상을 복호화시키는 단계; 로 진행됨을 특징으로 하는 구획간 잔류신호의 예측을 통한 영상의 복호화 방법.