KR100213021B1 - 중첩 움직임 추정 및 보상방법 - Google Patents

Abstract

본 발명에 의한 중첩 움직임 추정 및 보상방법에서는 움직임추정을 중첩된 영역에 대하여 수행하므로 각 화소들은 다수개의 움직임벡터를 할당받게 되며, 이들 움직임벡터들을 사용하여 움직임보상을 수행함으로써 기존 방식의 단점인 블럭킹효과를 현저히 줄일 수 있으며, 정확한 움직임을 추정할 수 있다.

Description

중첩 움직임추정 및 보상방법

제1도는 종래의 블럭분할 및 움직임추정방법을 설명하기 위한 도면.

제2도는 본 발명에 의한 블럭분할 및 움직임추정방법을 설명하기 위한 도면.

제3도는 본 발명에 의한 움직임추정 및 보상방법을 설명하기 위한 도면.

본 발명은 중첩 움직임추정 및 보상방법에 관한 것으로서, 특히 움직임추정을 중첩된 영역에 대하여 수행하고, 이로부터 얻어지는 움직임벡터들을 사용하여 움직임보상을 하는 방법에 관한 것이다.

일반적으로 프레임간 부호화방법은 시간상에서 연속적으로 변하는 영상신호를 압축하여 전송하는데 매우 효율적인 방법이다. 특히, 움직임보상 부호화(motion-compensated coding)은 연속한 영상내에서 움직임을 검출/보상하여 부호화하는 방법으로 높은 압축율과 고화질의 영상을 얻을 수 있다. 움직임 보상부호화 방법은 크게 두가지 부분으로 구성되어 있는데, 하나는 영상내에 존재하는 움직임양을 추정/보상하는 움직임 추정 및 보상부와, 다른 하나는 움직임예측에 의해 발생하는 예측오차를 부호화하여 전송하는 예측오차 전송부이다. 이때 예측오차 전송부는 그 나름대로의 방법에 의해 성능이 결정되지만 움직임 추정 및 보상부의 성능에 의해서도 많은 영향을 받는다. 즉, 영상내에 존재하는 움직임을 정확히 추정하면 예측오차가 줄어들수 있기 때문에 정확한 움직임 추정은 매우 중요하다.

MPEG 등 동화상 부호화 표준에서는 움직임 추정 및 보상을 통하여 얻은 예측신호와의 차신호를 부호화하여 압축효율을 높이고 있으며, 움직임 보상필터링은 동화상 저장, 처리, 전송, 압축과정에서 발생하는 잡음을 경감시키기 위한 전처리 및 후처리에 효과적인 기술이다.

움직임 추정 및 보상방법은 크게 두가지로 나눌수 있는대 첫째는 화소단위의 움직임을 추정하여 보상하는 화소순환 알고리즘(PRA; Pel-Recursive Algorithm)이며, 둘째는 블럭단위의 움직임 추정을 통해 움직임 보상을 하는 블럭정합 알고리즘(BMA; Block Matching Algorithm)이다. 전자는 비교적 정확한 움직임을 추정할 수 있지만 과다한 계산량으로 인해 하드웨어 구현에 많은 어려움이 있으며, 후자는 전자에 비해 화질은 다소 떨어지지만 계산량이 전자에 비해 매우 적어 하드웨어 구현이 용이하여 영상전화기나 HDTV 등과 같은 많은 응용분야에서 사용되고 있다.

블럭정합 알고리즘은 한장의 영상을 일정한 크기의 블럭들로 나눈 후, 각 블럭들에 대하여 블럭내의 모든 화소들이 동일한 움직임을 갖는 것으로 가정하여 기준영상과의 오차를 최소로 하는 움직임벡터를 추정하는 것이다.

블럭정합 알고리즘에 사용되던 기존의 방식들은 제1도에 도시된 바와 같이 블럭들을 주변 블럭들과 겹치지 않게 나누어 움직임을 추정하므로 각 화소들은 하나의 블럭에만 속하게 되고, 결과적으로 하나의 움직임벡터만을 할당받게 된다. 그러므로 이러한 방식에서는 블럭내의 개별 화소들에 대한 최적의 움직임 추정을 보장할 수 없다. 또한, 상기와 같이 규칙적으로 나뉘어진 블럭들은 실제 움직이는 물체의 형태와는 무관하므로 정확한 움직임을 반영하지 못할 뿐만 아니라 블럭킹 효과(blocking effect) 등을 일으키는 문제점이 있다.

따라서 본 발명의 목적은 상술한 문제점을 해결하기 위하여 원영상을 주변블럭과 수직방향으로 제1소정거리만큼, 수평방향으로 제2소정거리만큼 중첩된 M×N 크기의 블럭에 대하여 움직임추정을 수행하고, 이로부터 얻어지는 움직임벡터들을 사용하여 움직임보상을 하기 위한 중첩 움직임 추정 및 보상방법을 제공하는데 있다.

상기 목적을 달성하기 위하여 본 발명에 의한 중첩 움직임 추정 및 보상방법은 원영상을 주변블럭과 수직방향으로, 수평방향으로(여기서, LEVEL_Y는 0,1,2,..., log₂M, LEVEL_X는 0,1,2,..., log₂N의 값을 가짐) 중첩된 블럭들로 분할하는 중첩블럭 분할단계; 상기 중첩블럭 분할단계에서 분할된 각 블럭들에 대하여 움직임추정을 수행하여 각 화소에 대하여개의 움직임벡터를 생성하는 움직임 추정단계; 및 상기 움직임 추정단계로부터 생성된 움직임벡터를 이용하여 다음 제1식에 의해 수직방향으로 i, 수평방향으로 j번째 화소 o[i][j]에 대한 움직임보상값 c[i][j]를 얻는 움직임 보상단계를 포함하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 대하여 상세히 설명하기로 한다.

본 발명에 의한 블럭분할방법은 블럭을 주변 블럭과 겹치지 않게 나누어 처리하던 기존 방식과는 달리 원영상을 주변블럭과 수직방향으로, 수평방향으로, 중첩된 M×N 크기의 블럭들로 분할한다. 즉 각 블럭은 수직방향 주변블럭과 N*, 수평방향 주변블럭과 M*화소만큼 중첩된다. 그러므로 각 화소들은개의 블럭에 속하게 된다. 이때 LEVEL_Y는 0,1,2,..., log₂M, LEVEL_X는 0,1,2,..., log₂N 등의 값을 가지며, LEVEL_Y와 LEVEL_X의 값이 모두 0인 경우는 제1도에서와 같이 중첩되지 않게 블럭을 나누는 기존방식과 동일하다. 한편 LEVEL_Y와 LEVEL_X의 값이 모두 1인 경우는 제2도에서와 같이 수직 및 수평방향으로 50% 중첩되는 방식이다. 즉, 제2도에서 수직방향으로 y, 수평방향으로 x번째 블럭 B(x,y)는 주변 블럭 B(y,x+1), B(y+1, x)와 50% 중첩되며 B(y+1, x+1)과 25% 중첩된다.

이렇게 중첩분할된 각 블럭들에 대하여 움직임 추정을 수행하고 그 결과, 각 화소는개의 움직임벡터를 할당받게 된다. 예를 들어 LEVEL_Y와 LEVEL_X의 값이 모두 1인 경우는 제3도에서와 같이 현재 영상의 빗금친 부분의 각 화소는 4개의 블럭 B(y, x), B(y, x+1), B(y+1, x), B(y+1, x+1)에 속하게 되고, 4개의 움직임 벡터 MV(y, x), MV(y, x+1), MV(y+1, x), MV(y+1, x+1)을 갖게 된다.

이들 움직임벡터를 사용하여 다음 제1식에서와 같이 수직방향으로 i, 수평방향으로 j번째 화소 o[i][j]에 대한 움직임보상값 c[i][j]를

제1식에서 r[i][j]는 기준영상의 수직방향으로 i, 수평방향으로 j번째 화소이며,및은 각각 화소 o[i][j]가 속한 블럭들의 수직방향 및 수평방향 움직임벡터값이다. LEVEL_Y와 LEVEL_X의 값이 모두 1인 제3도의 경우를 예로 들면, 기준영상의 빗금친 부분들은 현재영상의 빗금친 부분의 움직임보상에 이용된다.

상기의 중첩 움직임 보상 결과는 움직임 보상 예측 부호화 및 움직임 보상 필터링 등에 사용되는데, 먼저 MPEG 표준 등과 같은 움직임 보상 예측 부호화를 위해 상술한 바와 같은 중첩 움직임 보상된 신호 c[i][j]를 현재신호 o[i][j]의 예측신호로 사용한다. 한편, 움직임 보상 필터링에서는 현재영상 o[i][j]보다 시간적으로 앞에 있는 영상 혹은 뒤에 있는 영상들을 기준영상으로 사용하여 각각에 대하여 상술한 바와 같은 중첩 움직임 보상된 신호등을 생성한 후 다음 제2식과 같은 필터링된 신호 p[i][j]를 얻는다.

상술한 바와 같이 본 발명에 의한 중첩 움직임 추정 및 보상방법에서는 움직임추정을 중첩된 영역에 대하여 수행하므로 각 화소들은 다수개의 움직임벡터를 할당받게 되며, 이들 움직임벡터들을 사용하여 움직임보상을 수행함으로써 기존 방식의 단점인 블럭킹효과를 현저히 줄일 수 있으며, 정화한 움직임 추정할 수 있다.

또한, 본 발명에 의한 중첩 움직임 추정 및 보상방법을 동영상 부호화에 적용할 경우, 더욱 정확한 예측 부호화를 수행할 수 있으며, 본 발명에 의한 움직임보상값을 사용한 필터링방식은 동화상 저장, 처리, 전송, 압축과정에서 발생하는 잡음을 경감시키기 위한 전처리 및 후처리에 매우 효과적이다.

Claims (4)

1. 원영상을 주변블럭과 수직방향으로, 수평방향으로(여기서, LEVEL_Y는 0,1,2,..., log₂M, LEVEL_X는 0,1,2,..., log₂N의 값을 가짐) 중첩된 블럭들로 분할하는 중첩블럭 분할단계; 상기 중첩블럭 분할단계에서 분할된 각 블럭들에 대하여 움직임추정을 수행하여 각 화소에 대하여개의 움직임벡터를 생성하는 움직임 추정단계; 및 상기 움직임 추정단계로부터 생성된 움직임벡터를 이용하여 다음 제1식에 의해 수직방향으로 i, 수평방향으로 j번째 화소 o[i][j]에 대한 움직임보상값 c[i][j]를 얻는 움직임 보상단계를 포함하는 것을 특징으로 하는 중첩 움직임 추정 및 보상방법.

   상기 제1식에서 r[i][j]는 기준영상의 수직방향으로 i, 수평방향으로 j번째 화소이며,및은 각각 화소 o[i][j]가 속한 블럭들의 수직방향 및 수평방향 움직임벡터값를 나타낸다.
2. 제1항에 있어서, 상기 중첩블럭 분할단계에서 각 화소들은개의 블럭에 속하는 것을 특징으로 하는 중첩 움직임추정 및 보상방법.
3. 제1항에 있어서, 상기 중첩블럭 분할단계에서 LEVEL_Y와 LEVEL_X의 값이 모두 0인 경우에는 중첩되지 않게 블럭을 나누고, LEVEL_Y와 LEVEL_X의 값이 모두 1인 경우는 수직 및 수평방향으로 50% 중첩되는 블럭을 분할하는 것을 특징으로 하는 중첩 움직임 추정 및 보상방법.
4. 제1항에 있어서, 상기 움직임 보상단계에서 얻어진 움직임 보상값은 움직임보상 예측부호화 및 움직임보상 필터링에 사용되는 것을 특징으로 하는 중첩 움직임 추정 및 보상방법.