KR100534419B1 - 웨이브렛 변환 영역에서의 움직임 벡터 예측 방법 및 장치 - Google Patents

Abstract

본 발명은 웨이브렛 변환 영역에서 동일해상도 계층의 인접블록의 움직임 벡터와 상위 해상도 계층의 동일위치 움직임 벡터를 후보 기준 벡터로 사용하여 움직임 탐색을 수행하는 다중해상도 움직임 추정방법에 관한 것으로, 웨이브렛 변환을 이용하여 입력 영상을 여러 해상도로 분할한 후 해상도간의 상관성과 동일 해상도의 인접 블록간의 주파수 특성을 이용하여 현재 움직임 탐색 블록의 움직임 벡터를 예측한 후 이를 기반으로 다중해상도 움직임 추정을 수행하는 단계를 포함하고 있다. 본 발명에 의하면 각 대역들간의 주파수 특성과 상관관계, 인간 시각적 특성, 인접 블록간의 대역별 관계, 그리고 움직임 탐색 계산량을 고려하여 기준 움직임 벡터를 예측한 후 움직임 추정을 수행함으로 기존의 움직임 추정 방법을 사용할 때 발생하는 움직임 탐색오류의 누적, 그로 인한 고주파 성분의 오류누적 등의 문제점을 본 발명에서 제안된 방법으로서 개선할 수 있으며, 이를 통해 계산량의 증가가 거의 없이 화질 개선의 효과를 얻을 수 있다.

Description

웨이브렛 변환 영역에서의 움직임 벡터 예측 방법 및 장치{Moving vector expecting device of the wavelet conversion area and Method thereof}

본 발명은 웨이브렛 변환 영역에서의 움직임 벡터 예측 방법 및 장치에 관한 것으로, 특히, 움직임 탐색의 계속적인 오류누적을 줄이기 위해 웨이브렛 변환의 특징을 이용한 인접블록의 움직임 벡터를 사용하여 움직임 벡터를 예측하는 움직임 벡터 예측 방법 및 장치에 관한 것이다.

동영상은 공간 상관성과 시간 상관성을 동시에 가지며, 시간 상관성이 훨씬 크기 때문에 프레임간 부호화로써 많은 양의 데이터를 압축할 수 있다.

프레임간 부호화 방법은 시간 상관성을 이용하여 연속 프레임간의 움직임을 추정하는 움직임 추정 과정과 추정된 움직임 정보를 이용한 움직임 보상, 그리고 움직임 보상된 프레임과 현재 프레임간의 차를 부호화하는 움직임 보상된 차영상 부호화 등의 세 부분으로 구성된다.

동영상 부호화에서 움직임 추정 방법으로는 일반적으로 블록정합 알고리듬(block matching algorithm; BMA)을 사용하는데 이는 알고리듬이 간단하여 하드웨어 구현이 용이하나, 대상 영상의 움직임에 대하여 적절한 탐색 영역과 블록의 크기를 결정하기 어렵고, 일정한 크기의 블록으로 나누어 움직임을 추정하기 때문에 구획화 현상이 발생하는 단점이 있다.

이러한 단점들을 제거하기 위하여 웨이브렛 변환을 이용하여 입력 영상을 다중해상도로 분할한 후, 분할된 영상에 대하여 계층적으로 움직임을 추정하는 방법들이 연구되고 있다.

기존의 웨이브렛 변환된 영상에서의 움직임 추정방법은 다중해상도 움직임 추정 방법(multiresolution motion estimation; MRME)이 대표적인데 이 방법에서는 기준 및 현재 프레임을 웨이브렛 변환하고 각 대역(subband)들 간의 움직임의 상관성을 이용하여, 기저대역(baxs band)의 움직임 벡터로서 고해상도 계층의 움직임을 예측하였다. 또한 대역들 간의 에너지 집중도를 고려하여 움직임 추정 블록의 크기를 해상도에 비례하여 가변하면서 BMA를 행함으로 블록간의 고른 움직임 벡터가 구해져서 기존 방법들에 비해 블록화 현상을 많이 줄일 수 있다.

도1에서는 원래의 영상(S1)을 3계층의 해상도로 분해하여 여러 개의 부대역들을 구성하는 웨이브렛 변환과정을 나타내었다.

원영상(S1)을 한번 웨이브렛 변환하면 각각 원영상의 1/4크기를 가지는 원영상의 저주파성분을 가지는 부영상(S2)과 수평, 수직, 대각선 방향의 고주파성분을 가지는 W12, W22, W32 부영상으로 나누어진다.

저주파성분인S2 부영상을 다시 웨이브렛 변환하면 S2부영상의 저주파성분을 가지는 S4 부영상, 고주파성분을 가지는 W14, W24, W34 부영상으로 나누어지고, S4 부영상을 한번 더 변환하면 S8, W18, W28, W38부영상들로 나누어진다.

이러한 부영상들은 계층간에 같은 방향성을 가지는 부영상들 사이에 서로 상관성이 있으며, 가장 저해상도를 가지는 저주파성분 S8부영상이 가장 많은 에너지를 가지고 있고, 고해상도로 갈수록 고주파성분으로 에너지가 작아지게 되고 수평, 수직, 대각선 방향의 에지 성분을 가지게된다.

도2에서는 다중해상도 움직임 추정방법에 대하여 예시한다.

다중해상도 움직임 추정방법에서는 기저대역에서 추정된 움직임 벡터를 나머지 고해상도 계층의 부 대역들의 초기 움직임 벡터로 이용하여 움직임을 추정한다.

원영상을 도1에서와 같이 M계층의 웨이브렛 변환한 후 M 해상도 계층의 부영상들을 일정한 p 화소 크기의 단위블록으로 분할하고, 기저대역 영상 S8의 각 블록에 대하여 BMA로 움직임 추정한다.

이렇게 추정된 움직임 벡터는 같은 계층의 고주파 부영상으로 전이되고, 하위계층에서는 상위계층의 동일방향성을 갖는 부영상의 움직임 벡터를 전이하여 크기를 증가시켜 기준 움직임 벡터로 사용하여 그 벡터의 움직임 공간 근처에서 미소움직임 변위를 추정한다.

이러한 다중해상도 움직임 추정방법은 초기 상위 계층의 움직임 추정이 잘못된 경우, 하위 계층에서의 계속적인 오류 누적 등의 문제점을 가지고 있다.

본 발명이 이루고자하는 기술적 과제는 종래의 문제점을 해결하고자 하는 것으로, 웨이브렛 변환을 이용하여 입력 영상을 여러 해상도로 분할한 후 상위계층에서 전이된 움직임 예측 벡터와 부영상의 주파수 특성에 맞게 선정된 인접 블록의 움직임 벡터를 이용하여 움직임 예측 기준 벡터를 예측하고, 이를 기반으로 다중해상도 움직임 추정을 수행하는 과정에서, 각 부영상들 사이의 주파수 특성과 상관관계, 인간 시각적 특성, 인접 블록간의 대역별 관계, 그리고 움직임 탐색 계산량을 고려하여 계층에 따라 움직임 탐색 영역을 적응적으로 분포하게 함으로써 기존의 움직임 추정 방법을 사용할 때 발생하는 움직임 탐색오류의 누적, 그로 인한 고주파 성분의 오류누적 등의 문제점을 해결하고, 이를 통해 계산량의 증가가 거의 없이 화질 개선의 효과를 얻는 움직임 벡터 예측 방법 및 장치를 제공하는 것이다.

이러한 과제를 해결하기 위한 본 발명의 하나의 특징에 따른 움직임 벡터 예측 장치는,

입력영상 신호를 웨이브렛 변환하여 다중해상도를 가지는 여러 계층의 부영상들로 분할하는 웨이브렛 변환부;

상위계층의 움직임 벡터와 인접블록의 움직임 벡터를 이용하여 기준 움직임 벡터를 예측하는 기준 움직임 벡터 예측부;

예측된 기준 움직임 벡터를 이용하여 계층적으로 움직임을 탐색하여 움직임 벡터를 구하는 움직임 탐색부;

합성된 기준영상을 저장하는 프레임 저장부

상기 프레임 저장부에 저장된 이전영상과 구하여진 움직임 벡터를 이용하여 예측영상을 구하는 예측영상 합성부,

웨이브렛 변환된 원영상과 예측 영상간의 차영상과 예측영상을 합성하여 이전영상을 합성하여 기준영상으로서 상기 프레임 저장부로 출력하는 이전영상 합성부를 포함한다.

이러한 과제를 해결하기 위한 본 발명의 하나의 특징에 따른 움직임 벡터 예측 방법은,

웨이브렛 변환 영역에서 동일해상도 계층의 인접블록의 움직임 벡터와 상위 해상도 계층의 동일위치 움직임 벡터를 후보 기준 벡터로 사용하여 움직임 탐색을 수행하는 다중해상도 움직임 벡터 예측 방법으로서,

웨이브렛 변환을 이용하여 입력 영상을 여러 해상도로 분할하는 제1 단계;

해상도간의 상관성과 동일 해상도의 인접 블록간의 주파수 특성을 이용하여 현재 움직임 탐색 블록의 움직임 벡터를 예측하는 제2 단계;

예측된 움직임 벡터를 기반으로 다중해상도 움직임 추정을 수행하는 단계를 포함한다.

상기 기준 움직임 벡터 예측에 있어서 기준 움직임 벡터 예측 후보로 사용되는 인접 움직임 탐색 블록의 움직임 벡터의 선정은,

수평고주파성분을 가지는 부영상의 경우 수직방향, 수직 고주파성분을 가지는 부영상의 경우 수평방향, 대각선 방향의 고주파성분을 가지는 부영상의 경우 대각선 방향에 위치함을 특징으로 한다.

이러한 본 발명을 이 분야의 통상의 지식을 지닌자가 용이하게 실시할 수 있도록 첨부된 도면을 참조로 하여 설명하면 다음과 같다.

도3은 본 발명의 실시예에 따른 웨이브렛 변환 영역의 기준 움직임 벡터 예측을 이용한 움직임 벡터 예측 장치의 구성도이다.

도3을 참조하면, 이 발명의 실시예에 따른 움직임 벡터 예측 장치는,

입력영상 신호를 웨이브렛 변환하여 서로 다른 계층적 구조의 서브밴드 영역으로 분할하는 웨이브렛 변환부(100)와, 웨이브렛 변환된 영상에서 동일 방향성을 가지는 상위계층의 움직임 벡터와 인접블록의 움직임 벡터를 비교하여 기준 움직임 벡터를 예측하는 기준 움직임벡터 예측부(200), 예측된 기준 움직임 벡터를 참조하여 계층적으로 움직임을 탐색하여 움직임 벡터를 구하는 움직임 탐색부(300), 움직임 벡터를 이용하여 예측영상을 구하는 예측영상 합성부(400), 웨이브렛 변환된 원영상과 예측 영상간의 차영상과 예측영상을 합성하여 기준영상을 합성하는 기준영상 합성부(600), 그리고 합성된 기준영상을 저장하는 프레임 저장부(500)로 구성된다.

웨이브렛 변환부(100)는 원영상을 도 1과 같이 주파수 특성에 따라 다중해상도의 여러 부영상으로 구분되며, 이러한 부영상들은 저주파 밴드 부영상에서 큰 에너지를 가지고 고주파 밴드 부영상으로 갈수록 에너지가 작아지는 특성이 있으며, 각 계층의 수평, 수직, 대각선 성분을 가지는 부영상들은 다른 계층의 동일 방향성을 가지는 부영상과 서로 깊은 상관성을 가지고 있다.

또한, 부영상내의 각 움직임 탐색 블록들은 주파수성분에 따라 인접블록과 비슷한 움직임 벡터를 가지게된다.

기준 움직임 벡터 예측부(200)에서는 웨이브렛 변환된 부영상의 현재 움직임 탐색블록과 동일 방향성을 가지는 상위계층 움직임 탐색 블록의 움직임 벡터와 주파수 성분에 따라 인접한 움직임 탐색 블록의 움직임 벡터의 값을 비교하여 기준 움직임 벡터를 예측한다.

동영상 부호화에서 인접한 움직임 벡터들은 많은 영역이 서로 일치하거나 비슷한 움직임을 가진다. 특히, 웨이브렛 변환된 수평, 수직, 대각선 방향의 고주파성분을 가지는 부영상들은 각각 수직, 수평, 대각선 방향의 에지 성분을 나타내게 되고, 따라서 수직, 수평, 대각선 방향에 있는 인접 블록들간의 움직임 벡터는 많은 상관성을 가지게 된다.

따라서, 현재 움직임 탐색 블록의 움직임 벡터를 예측하는 데에 인접한 수평, 수직, 대각선 방향에 위치하는 움직임 탐색 블록의 움직임 벡터를 이용함으로써 상위계층에서 전이된 움직임 벡터를 사용하는 다중해상도 움직임 추정기법에서 발생하는 움직임벡터 추정 오류를 줄일 수 있다.

도4에서는 기준 움직임 벡터 예측과정을 도시하였다.

도4의 10 부분은 움직임 벡터 예측에 사용할 인접블록을 부영상의 주파수 성분에 따라 선정하는 과정이다.

먼저, 부영상이 어떤 성분을 가지는지 판단하여(S401), 수평주파수 성분을 가지면 현재 움직임 탐색 블록의 위쪽에 위치하는 Vn_vertical(x,y)를 Vn_near(x,y)로 선정하여 기준 움직임 벡터 예측 후보로 사용하고(S402), 부영상이 수직 주파수성분을 가지면 Vn_horizontal(x,y)를(S403), 대각선 성분을 가지면 Vn_diagonal(x,y)를 후보로 선정한다(S404).

도5에서는 현재 움직임 탐색 블록의 움직임 벡터와 인접한 블록들의 움직임 벡터를 도시하였다.

도4의 20부분은 10부분에서 선정한 Vn_near(x,y)와 상위계층에서 전이된 2V2n(x,y) 움직임 벡터를 비교하여(S405), 값이 같으면 상위에서 전이된 움직임 벡터를 기준 움직임 벡터 Vn_ref(x,y)로 사용하고(S408), 값이 서로 다를 경우 두 움직임 벡터위치에서의 절대평균차(Mean Absolute Deference)를 구하여 이를 비교하고(S406), MAD 값이 작은 것을 Vn_ref(x,y)로 사용한다. 즉, 10 부분에서 선정한 Vn_near(x,y)의 절대평균차가 상위계층에서 전이된 2*V2n(x,y) 움직임 벡터의 절대평균차보다 작으면, 10 부분에서 선정한 Vn_near(x,y)를 기준 움직임 벡터 Vn_ref(x,y)로 사용한다(S407). 한편, 10 부분에서 선정한 Vn_near(x,y)의 절대평균차가 상위계층에서 전이된 2*V2n(x,y) 움직임 벡터의 절대평균차보다 크면, 상위계층에서 전이된 2*V2n(x,y)를 기준 움직임 벡터 Vn_ref(x,y)로 사용한다(S408).

30부분에서는 정해진 기준 움직임 벡터를 사용하여 미세변위 주위에 대하여 블록 정합 알고리듬(Block Match Algorithm)을 사용하여 x,y 위치의 움직임 탐색 블록의 움직임 벡터 Vn(x,y)를 구하고(S409), 해당 부영상에 속한 모든 블록의 움직임 벡터를 구한 후(S410), 해당 계층의 다른 부영상들의 움직임 벡터를 구하여 전체 부영상의 움직임 벡터를 구할 때까지 반복하는 과정이다(S411).

블록 움직임 탐색부(300)에서는 구하여진 기준 움직임 벡터(Vn_ref)를 사용하여 도2와 같이 다중해상도 움직임 탐색을 수행하는 과정으로 도4의 30 부분을 수행한다.

그리고 나서, 예측 영상 합성부(400)에서는 프레임 저장부(500)에 저장되어 있는 이전영상과 블록움직임 탐색부(300)에서 구해진 움직임 벡터를 사용하여 예측영상을 합성한다.

한편, 이전 영상 합성부(600)에서는 예측 영상 합성부(400)에서 만들어진 예측영상과 원영상 사이의 차영상과 움직임 벡터를 이용하여 이전영상을 합성한다.

이상의 과정과 같이, 웨이브렛 변환을 이용하여 입력 영상을 여러 해상도로 분할한 후 해상도간의 상관성과 동일 해상도의 인접 블록간의 주파수 특성을 이용하여 현재 움직임 탐색 블록의 움직임 벡터를 예측한 후 이를 기반으로 다중해상도 움직임 추정을 수행하여 각 대역들간의 주파수 특성과 상관관계, 인간 시각적 특성, 인접 블록간의 대역별 관계를 고려하여 기준 움직임 벡터를 예측함으로써 기존의 움직임 추정 방법을 사용할 때 발생하는 움직임 탐색오류의 누적, 그로 인한 고주파 성분의 오류누적 등의 문제점을 개선할 수 있다.

상기한 본원 발명의 실시예는 다양한 변형이 가능하며, 구성요소들은 필요에 따라 소프트웨어 또는 하드웨어로 구현이 가능하다.

이상에서와 같이 본 발명의 실시예에서, 이상의 과정과 같이, 각 대역들간의 주파수 특성과 상관관계, 인간 시각적 특성, 인접 블록간의 대역별 관계를 고려하여 기준 움직임 벡터를 예측함으로써 기존의 움직임 추정 방법을 사용할 때 발생하는 움직임 탐색오류의 누적, 그로 인한 고주파 성분의 오류누적 등의 문제점을 본 발명에서 제안된 방법으로서 개선할 수 있으며, 이를 통해 계산량의 증가가 거의 없이 화질 개선의 효과를 얻을 수 있다.

도1은 웨이브렛 변환된 영상의 계층적 피라미드를 설명하는 도면.

도2는 가변 움직임 탐색 블록을 이용하는 계층적 움직임 탐색방법을 설명하는 도면.

도3은 본 발명의 실시예에 따른 웨이브렛 변환 영역의 기준 움직임 벡터 예측을 이용한 움직임 벡터 예측장치를 보인 블록도.

도4는 본 발명의 실시예에 따른 기준 움직임 벡터 예측 방법의 동작흐름도.

도5는 본 발명의 기준 움직임 벡터 예측에 사용하는 인접블록들을 설명하는 도면.

* 도면의 주요 부분에 대한 부호의 설명*

100: 웨이브렛 변환부 200: 기준 움직임 벡터 예측부

300: 블록 움직임 탐색부 400: 예측영상 합성부

500: 프레임 저장부 600: 이전영상 합성부

Claims (6)

1. 입력영상 신호를 웨이브렛 변환하여 다중해상도를 가지는 여러 계층의 부영상들로 분할하는 웨이브렛 변환부;

   상위계층의 움직임 벡터와 인접블록의 움직임 벡터를 이용하여 기준 움직임 벡터를 예측하는 기준 움직임 벡터 예측부;

   예측된 기준 움직임 벡터를 이용하여 계층적으로 움직임을 탐색하여 움직임 벡터를 구하는 움직임 탐색부;

   합성된 기준영상을 저장하는 프레임 저장부

   상기 프레임 저장부에 저장된 이전영상과 구하여진 움직임 벡터를 이용하여 예측영상을 구하는 예측영상 합성부,

   웨이브렛 변환된 원영상과 예측 영상간의 차영상과 예측영상을 합성하여 이전영상을 합성하여 기준영상으로서 상기 프레임 저장부로 출력하는 이전영상 합성부를 포함하며,

   상기 움직임 벡터 예측부는,

   부영상의 고주파성분에 따라 기준 움직임 벡터 후보로 사용할 움직임 벡터를 설정하고, 상위계층에서 전이된 움직임 벡터와 기준 움직임 벡터 후보로 선정된 인접블록의 움직임 벡터의 절대평균차를 비교하여 기준 움직임 벡터를 선정하는 것을 특징으로 하는 움직임 벡터 예측 장치.
2. 삭제
3. 제1항에 있어서,

   상기 움직임 벡터 예측부는,

   기준 움직임 벡터 예측에 있어서 기준 움직임 벡터 예측 후보로 사용되는 인접 움직임 탐색 블록의 움직임 벡터의 선정은 수평고주파성분을 가지는 부영상의 경우 수직방향, 수직 고주파성분을 가지는 부영상의 경우 수평방향, 대각선 방향의 고주파성분을 가지는 부영상의 경우 대각선 방향에 위치함을 특징으로 하는 움직임 벡터 예측 장치.
4. 웨이브렛 변환 영역에서 동일해상도 계층의 인접블록의 움직임 벡터와 상위 해상도 계층의 동일위치 움직임 벡터를 후보 기준 벡터로 사용하여 움직임 탐색을 수행하는 다중해상도 움직임 벡터 예측 방법으로서,

   웨이브렛 변환을 이용하여 입력 영상을 여러 해상도로 분할하는 제1 단계;

   해상도간의 상관성과 동일 해상도의 인접 블록간의 주파수 특성을 이용하여 현재 움직임 탐색 블록의 움직임 벡터를 예측하는 제2 단계;

   예측된 움직임 벡터를 기반으로 다중해상도 움직임 추정을 수행하는 단계를 포함하며,

   상기 제2 단계는,

   기준 움직임 벡터를 예측하기 위하여 부영상의 고주파성분에 따라 기준 움직임 벡터 후보로 사용할 움직임 벡터를 설정하는 단계;

   상위계층에서 전이된 움직임 벡터와 기준 움직임 벡터 후보로 선정된 인접블록의 움직임 벡터의 절대평균차를 비교하여 기준 움직임 벡터를 선정하는 단계를 포함하는 움직임 벡터 예측 방법.
5. 삭제
6. 제4항에 있어서,

   상기 제2 단계는,

   기준 움직임 벡터 예측에 있어서 기준 움직임 벡터 예측 후보로 사용되는 인접 움직임 탐색 블록의 움직임 벡터의 선정은 수평고주파성분을 가지는 부영상의 경우 수직방향, 수직 고주파성분을 가지는 부영상의 경우 수평방향, 대각선 방향의 고주파성분을 가지는 부영상의 경우 대각선 방향에 위치함을 특징으로 하는 움직임 벡터 예측 방법.