KR100307617B1 - 동영상부호화기에있어서움직임평가방법 - Google Patents

Abstract

동영상 부호화기에 있어서 본 발명에 의한 움직임 평가방법에 의해 움직임 평가 및 보상된 복원영상은 원영상과의 에러가 작기 때문에 에러신호를 부호화해야 하는 경우 비트발생량에 많은 부담을 주지 않고, 또한, 블럭을 하나의 움직임성분을 갖는 영역들로 분리하므로 정교한 움직임 평가를 하여 객체의 이동뿐만 아니라 확대, 축소, 회전을 평가하게 되면, 복원되는 영상의 에러가 매우 작아서 에러신호를 전송하지 않아도 좋은 화질을 갖는 영상을 복원할 수 있고, 따라서 비트발생량이 매우 작아지므로 특히 저전송률 동영상 부호화에 적용할 수 있다.

제 3a도

제 3b도

Description

동영상 부호화기에 있어서 움직임 평가방법

제1도는 서로 다른 방향으로 움직이는 두 물체에 대하여 고정된 크기의 블럭 움직임평가 및 보상한 예를 나타낸 도면이다.

제2A,2B도는 서로 다른 방향으로 움직이는 두 물체에 대하여 에지 움직임평가 및 보상한 예를 나타낸 도면이다.

제3A,3B도는 동영상 부호화기에 있어서 본 발명에 의한 움직임 평가방법을 설명하기 위한 흐름도이다.

제4도는 동영상 부호화기에 있어서 본 발명에 의한 움직임 평가방법에 의해 움직임평가 및 보상한 예를 나타낸 도면이다.

제5도는 영상을 32×32 블럭으로 나누고, 움직임 블럭에 대하여 에지를 추출한 영상의 예를 나타낸 도면이다.

제6도는 영상을 16×16 블럭으로 나누고, 움직임 블럭에 대하여 에지를 추출한 영상의 예를 나타낸 도면이다.

본 발명은 동영상 부호화기에 있어서 움직임 평가방법에 관한 것으로서, 특히 블럭 단위의 움직임보상이 부정확한 블럭에 대하여 에지정보를 이용하여 영역분할을 하고, 분할된 영역에 대해 각각 움직임평가를 하여 정확한 움직임 파라미터를 생성하기 위한 방법에 관한 것이다.

일반적으로 동영상 부호화기에서는 동영상신호가 가지고 있는 공간적 중복성과 시간적 중복성을 제거함으로써 데이타를 압축한다. 이때 공간적 중복성은 한 화소에 대한 주위 화소들의 값이 비슷한 경향을 말하며, 시간적 중복성은 연속된 두개의 영상에서 바로 이전의 영상과 그 다음 영상이 거의 비슷한 것을 말한다. 대부분의 동영상 부호화기에서는 이러한 공간적 중복성을 줄이기 위해 변환 부호화를 수행하고 있으며, 시간적 중복성을 줄이기 위해 움직임 평가를 수행한다.

움직임 평가는 현재 영상의 일정한 영역이 이전 또는 이후의 영상에서 어디에 위치하고 있는가를 알아내는 것으로서, 움직임 평가를 통하여 생성한 움직임 파라미터에 의하여 현재 영상의 일정 영역을 일일이 부호화하지 않더라도 이전 또는 이후의 영상데이타만으로 원화상과 유사하게 복원하는 것이 가능하게 된다. 즉, 동영상 부호화는 움직임 평가와 움직임 보상을 통하여 움직임 파라미터들만을 가지고 부호화하고자 하는 현재의 영상을 비슷하게 구성하고, 원화상의 현재 영상과 구성한 영상간의 에러들을 변환부호화한다. 결국, 움직임 평가에서 정확한 움직임 파라미터를 생성해야만 구성한 영상과 원영상간의 에러가 줄어들 수 있고, 따라서 고효율의 데이타 압축을 기대할 수 있다.

움직임 평가에 사용되던 종래의 블럭매칭기법은 고정된 크기의 블럭을 하나의 단위로 하여 하나의 움직임 파라미터를 구하는 방법으로서, 그 과정이 매우 단순하기 때문에 하드웨어적인 구현이 매우 용이하고, 블럭 단위로 독립적으로 수행되므로 하나의 블럭에서 움직임평가가 잘못 수행되었다 하더라도 이웃한 다른 블럭들의 움직임 평가에 아무런 영향을 끼치지 않는 장점을 가진다.

그러나, 일반적인 영상에서의 움직임이 일정한 블럭 단위로 이루어지지 않기 때문에 블럭내에 포함된 움직임이 없는 영역도 함께 움직여야 하고, 이러한 영역은 또한 움직임 평가를 부정확하게 만들기 때문에 잘못된 움직임 파라미터들을 생성할 가능성이 있다. 특히 각각 다른 방향으로 움직이는 객체들이 하나의 블럭내에 있을 때에는 더욱 부정확한 움직임 평가의 가능성을 갖는다.

제1도는 한 블럭(12)내에 각각 다른 방향으로 움직이는 객체들(10,11)이 있을 때, 블럭(12)에 대해 움직임 평가가 된 후에 보상된 결과를 나타낸 예이다. 블럭(12)에 대해 움직임 평가를 수행하였을 때 블럭(12)과 동이한 블럭을 다음 영상에서는 찾을 수 없다. 따라서 가장 비슷한 영역에 매칭될 수 있는 움직임 파라미터들을 생성한다. 이렇게 생성된 움직임 파라미터들을 이용하여 블럭(12)을 블럭(15)의 위치에 이동시키면 움직임 보상의 결과가 생성된다. 이때 보상된 영상은 원영상과 비교할 때, 많은 에러가 발생하게 된다. 즉, 블럭매칭기법은 객체들의 자연스러운 모양을 적용한 영역을 전혀 사용하지 않고, 일정한 블럭으로 강제적 구분하여 움직임 평가를 수행함으로써 많은 에러신호를 초래하는 문제가 있다.

상술한 블럭매칭기법의 단점을 극복하기 위하여 개발된 것이 에지를 기반으로 하는 움직임 평가방법으로서, 움직이는 객체들의 에지를 추출하여 에지의 움직임 평가를 수행함으로써 보다 정확한 움직임 파라미터를 생성한다.

그러나, 이 에지를 기반으로 하는 움직임 평가는 영상의 복잡도에 따라서 추출할 수 있는 에지의 정확도가 크게 변하기 때문에 안정성에 많은 문제가 있다. 즉, 움직임이 있는 객체의 에지가 추출되지 않을 경우, 움직임 평가를 전혀 수행할 수 없고, 정확한 움직임 파라미터가 생성되었다 하더라도 움직임 파라미터들을 이용한 움직임 보상에서도 많은 문제를 야기한다.

제2A,2B도는 에지(65)를 통한 움직임 평가를 수행한 후 움직임 파라미터들을 사용하여 움직임 보상을 하는 예를 나타낸 도면으로서, 제2A도는 실제로 하나의 움직이고 있는 객체(60)가 잠시후에 오른쪽으로 움직여서 객체(62)가 되는 예이고, 제2B도는 에지의 정확한 움직임 평가를 수행한 후에 움직임 보상을 행할 때 발생하는 문제점을 보여주는 것으로서, 에지(65)가 에지(68)로 정확하게 이동하였을 때, 영역(67)을 영역(66)으로 채워 주면 영역(66)은 변하지 않는다. 따라서 영역(67)과 영역(66)이 같아지므로 실제 영상과 다르게 된다.

한편, 블럭매칭에 있어서 부정확한 움직임 평가의 가능성이 높다는 단점과, 에지 움직임 평가에 있어서 불안정성의 문제를 해소할 수 있는 방안으로서, 세그먼트를 기반으로 하는 움직임 평가가 개발되었다. 세그먼트를 기반으로 하는 움직임 평가는 영상에서 인접한 화소들간에 비슷한 값을 갖는 것들을 하나로 묶어서 하나의 움직임성분을 가지고 있는 영역들로 가정하고, 이 영역들을 하나의 단위로 하여 움직임 평가를 수행한다. 이러한 움직임 평가기법은 블럭매칭보다 정확한 움직임 파라미터를 생성할 수 있고, 에지 움직임 평가에 비하여 보다 높은 안정성을 갖는다. 따라서 블럭매칭이나 에지 움직임 평가에서보다 적은 에러신호를 생성하게 된다.

그러나, 하나의 영상에서 효과적인 움직임 평가를 수행하기 위해서는 생성되는 세그먼트의 수가 매우 많고, 또한 세그먼트의 크기가 매우 작은 것들이 대부분이다. 따라서 이렇게 생성된 모든 세그먼트에 대하여 각각 움직임 평가를 하면 부호화되어야 할 움직임 파라미터의 수가 매우 많아져서 비효율적이 되고, 또한 매우 복잡한 세그먼트의 모양을 부호화하여야 하는 부담이 있다. 이러한 부담을 줄이고자 많은 작은 세그먼트들을 인접한 큰 세그먼트에 강제로 합침으로써 움직임 평가의 정확도를 떨어뜨리게 된다.

세그먼트를 기반으로 하는 움직임 평가기법의 또 다른 문제점은 비슷한 움직임을 갖는 하나의 객체를 매우 작은 여러개의 영역으로 나누게 되므로 비트 발생량이 매우 증가하게 되는 것이다. 따라서 인접한 세그먼트간에 같은 움직임 성분을 가지면 세그먼트를 통합할 수도 있으나 각각 세그먼트 단위로 평가된 움직임이 조금이라도 같지 않으면 통합할 수가 없다. 따라서 세그먼트를 통한 움직임 평가에 있어서도 많은 문제점을 갖는다.

따라서 본 발명의 목적은 상술한 문제점을 해결하기 위하여 동영상 부호화기에 있어서 블럭매칭과 영상내의 에지를 이용하여 정확하고, 안정성있는 움직임 파라미터를 추출하기 위한 움직임 평가방법을 제공하는데 있다.

상기 목적을 달성하기 위하여 동영상 부호화기에 있어서 본 발명에 의한 움직임 평가방법은 동영상 부호화기에 있어서,

부호화하고자 입력되는 동여상에 대하여 소정 블럭단위로 움직임 평가를 수행하여 움직임 파라미터를 생성하는 블럭움직임평가단계;

상기 블럭움직임평가단계에서 생성된 움직임 파라미터의 정확도를 판단하는 정확도판단단계;

상기 정확도판단단계에서 상기 움직임 파라미터가 정확한 것으로 판단되면 상기 움직임 파라미터를 이용하여 최종 움직임 벡터를 생성하는 제1움직임벡터생성단계; 및

상기 정확도판단단계에서 상기 움직임 파라미터가 부정확한 것으로 판단되면 에지를 이용한 영역분할을 한 후 상기 분할된 영역에 대하여 움직임평가를 수행하는 에지움직임평가단계를 포함하는 것을 특징으로 한다.

이하 첨부된 도면을 참조하여 본 발명에 대하여 상세히 설명하기로 한다.

제3A,3B도는 동영상 부호화기에 있어서 본 발명에 의한 움직임 평가방법을 설명하기 위한 흐름도로서, 제51∼55단계는 부호화하고자 입력되는 동영상에 대하여 소정 블럭단위로 움직임 평가를 수행하여 움직임 파라미터를 생성하는 단계이고, 제56,57단계는 생성된 움직임 파라미터의 정확도를 판단하는 단계이고, 제58단계는 블럭움직임평가에 의해 생성된 움직임 파라미터가 정확한 것으로 판단되면 이 움직임 파라미터를 이용하여 최종 움직임 벡터를 생성하는 단계이고, 제59∼64단계는 블럭움직임평가에 의해 생성된 움직임 파라미터가 부정확한 것으로 판단되면 에지를 이용한 영역분할을 한 후 분할된 영역에 대하여 움직임평가를 수행하는 단계이다.

제4도는 동영상 부호화기에 있어서 본 발명에 의한 움직임 평가방법에 의해 움직임평가 및 보상한 예를 나타낸 도면이다.

제5도는 영상을 32×32 블럭으로 나누고, 움직임 블럭에 대하여 에지를 추출한 영상의 예를 나타내고, 제6도는 영상을 16×16 블럭으로 나누고, 움직임 블럭에 대하여 에지를 추출한 영상의 예를 나타낸 도면이다.

그러면 제3도 내지 제6도를 참조하여 본 발명의 동작에 대하여 설명하기로 한다.

제3A,3B도를 참조하면, 먼저 움직임 평가를 위해서 하나의 영상을 N×N 블럭(Bi, i=1,2,...,n)들로 나누고(제51단계). 움직임 탐색을 각각의 블럭 Bi를 단위로 하여 수행한다(제52단계). 움직임 탐색 결과, 블럭 Bi가 움직임이 있는 블럭인지를 판단하여(제53단계). 움직임이 없는 블럭으로 분류되면 i를 1 증가시켜(제54단계) 제52단계로 복귀하여 또 다른 블럭 Bi의 움직임 탐색을 수행하고, 움직임이 있는 블럭으로 분류되면 움직임이 있다고 판단된 블럭 Bi에 대하여 움직임 평가를 수행하여 움직임 파라미터(al,...,am)를 생성한다(제55단계).

제55단계에서 생성된 움직임 파라미터들이 얼마나 정확하게 움직임을 표현하는가를 평가하기 위하여 움직임 파라미터를 이용하여 움직임 보상을 하고, 보상된 블럭과 부호화하고자 하는 원영상에서 대응되는 블럭과의 차이값(dif)을 계산한다(제56단계).

제56단계에서 계산된 블럭 차이값(dif)과 미리 정의한 임계값(Th1)을 비교하여(제57단계). 블럭 차이값(dif)이 임계값(Th1)보다 작으면 비교적 정확한 움직임 파라미터가 생성된 것으로 판단하여 블럭의 최종적인 움직임 파라미터(a1,...,am)를 생성한다(제58단계). 한편, 제57단계에서 블럭 차이값(dif)이 임계값(Th1)보다 크면 부정확한 움직임 파라미터가 생성된 것이므로 참조영상에 대한 에지를 추출하여(제59단계) 블럭내의 에지들을 통해 i개의 영역으로 분할한다(제60단계). 제60단계에서는 제57단계에서 이미 생성한 움직임 파라미터(a1,...,am)가 부정확한 파라미터로 판단되어 졌으므로 블럭내에 보다 많은 움직임 성분들이 존재할 가능성이 많음을 시사한다. 따라서 블럭내의 에지들을 경계로 하는 i개의 영역으로 분할한다.

제60단계에서 분할한 영역의 갯수(i)를 이미 정의한 임계값(Th2)와 비교하여(제61단계). 분할한 영역의 갯수(i)가 임계값(Th2)보다 큰 경우에는 많은 움직임 파라미터를 생성해야 하므로 블럭을 균등하게 4등분한 후(제62단계) 제55단계로 복귀하여 각각의 작은 블럭들에 대하여 다시 제55단계 내지 제61단계까지의 과정을 수행한다. 한편, 제61단계에서 분할한 영역의 갯수(i)가 임계값(Th2)보다 작은 경우에는 에지와 블럭의 경계로 이루어지는 영역들에 대하여 각각 제55단계에서와 같은 움직임 평가를 수행하여 움직임 파라미터(b1,...bm)를 생성한다(제64단계).

제4도는 본 발명에서 제시하는 방법에 의해 움직임 평가를 했을 때 예상되는 결과로서, 제1도와 비교해 볼때 보다 정확한 복원영상을 얻을 수 있음을 알 수 있다. 제2도에서 블럭(12)은 임의로 일정하게 분할한 영역이므로 블럭내에는 운동성분이 다른 객체들이 존재할 가능성을 가지고 있다. 따라서 블럭(12)을 블럭내의 에지를 이용하여 제4도의 블럭(18,19,20,21)으로 분리한 후에 각각의 영역에 대하여 움직임 평가를 수행하면 보다 정확한 움직임 평가를 할 수 있다.

제5도는 가로 360, 세로 288의 크기를 갖는 "Miss America"라는 비디오 영상에서 32×32의 블럭으로 영상을 분할하고, 움직임이 있다고 판단되는 블럭에 대해 에지 추출을 한 영상이고, 제6도는 제5도에서와 같은 영상에 대하여 16×16의 블럭으로 분할한 영상이다. 에지가 추출되지 않은 블럭은 블럭단위로 움직임 평가를 하거나 움직임 평가를 하지 않고, 에지가 추출된 영역에 대해서만 먼저 블럭단위의 움직임 평가를 하고 생성된 움직임 파라미터에 대하여 정확한 복원이 가능한가를 판단한 후에 부정확한 판단이 될 때에는 에지를 이용하여 영역을 분할하고 다시 움직임 평가를 한다.

상술한 바와 같이 동영상 부호화기에 있어서 본 발명에 의한 움직임 평가방법에 의해 움직임 평가 및 보상된 복원영상은 원영상과의 에러가 작기 때문에 에러신호를 부호화해야 하는 경우 비트발생량에 많은 부담을 주지 않는 이점이 있다.

또한, 블럭을 하나의 움직임성분을 갖는 영역들로 분리하므로 정교한 움직임 평가를 하여 객체의 이동뿐만 아니라 확대, 축소, 회전을 평가하게 되면, 복원되는 영상의 에러가 매우 작아서 에러신호를 전송하지 않아도 좋은 화질을 갖는 영상을 복원할 수 있고, 따라서 비트발생량이 매우 작아지므로 특히 저전송률 동영상 부호화에 적용할 수 있는 이점이 있다.

또한, 움직임 평가에 있어서 블럭 움직임 평가가 가지고 있는 복원력의 안정성과 에지 혹은 세그먼트 움직임 평가가 갖는 객체별 움직임 평가의 장점을 모두 가지고 있으므로 객체의 경계에 민감한 인간의 시감 특성에 부합할 수 있는 이점이 있다.

Claims (4)

1. 동영상 부호화기에 있어서, 부호화하고자 입력되는 동영상에 대하여 소정 블럭단위로 움직임 평가를 수행하여 움직임 파라미터를 생성하는 블럭움직임평가단계;

   상기 블럭움직임평가단계에서 생성된 움직임 파라미터의 정확도를 판단하는 정확도판단단계; 상기 정확도판단단계에서 상기 움직임 파라미터가 정확한 것으로 판단되면 상기 움직임 파라미터를 이용하여 최종 움직임 벡터를 생성하는 제1움직임벡터생성단계; 및 상기 정확도판단단계에서 상기 움직임 파라미터가 부정확한 것으로 판단되면 에지를 이용한 영역분할을 한 후 상기 분할된 영역에 대하여 움직임평가를 수행하는 에지움직임평가단계를 포함하는 것을 특징으로 하는 움직임평가방법.
2. 제1항에 있어서, 상기 블럭움직임평가단계는 상기 입력되는 동영상에 대하여 소정 블럭으로 나누고, 상기 블럭단위로 움직임을 탐색하는 블럭움직임탐색단계; 상기 블럭움직임탐색 결과 움직임이 있다고 판단되는 블럭에 대하여 상기 블럭단위의 움직임 평가를 수행하여 제1움직임 파라미터를 생성하는 제1블럭움직임평가단계로 이루어지는 것을 특징으로 하는 움직임평가방법.
3. 제2항에 있어서, 상기 정확도판단단계는 상기 제1블럭움직임 평가단계에 의해 생성된 제1움직임 파라미터를 이용하여 상기 소정블럭에 대하여 움직임 보상을 수행하여, 원영상에서 대응되는 블럭과의 차를 계산하고, 제1소정의 임계값과 비교하여 상기 제1움직임 파라미터의 정확도를 판단하는 것을 특징으로 하는 움직임평가방법.
4. 제3항에 있어서, 상기 에지움직임평가단계는 상기 정확도판단단계에서 상기 제1움직임 파라미터가 부정확한 것으로 판단되면 블럭내의 에지들을 경계로 하는 소정 갯수의 영역으로 분할하는 영역분할단계; 상기 영역분할단계에서 분할한 영역수가 제2소정의 임계값보다 큰 경우 N등분하여 각 영역에 대하여 재차 움직임 평가를 수행하여 상기 단계들을 반복수행하는 제2블럭움직임평가단계; 및

   상기 영역분할단계에서 분할한 영역수가 제2소정의 임계값보다 작은 경우 에지와 블럭 경계로 이루어진 영역에 대해 움직임 평가를 수행하여 제2움직임 벡터를 생성하는 제2움직임벡터생성단계로 이루어지는 것을 특징으로 하는 움직임평가방법.