KR100265721B1 - 2차원삼각형조각선격자모델을이용한동영상의움직임추정방법 - Google Patents

Abstract

본 발명에 따른 2차원 삼각형 조각 선격자모델을 이용한 동영상의 움직임 추정방법이 개시된다.

본 발명에 의한 동영상 움직임 추정방법은 입력되는 영상신호의 현재 프레임을 N×N 매크로블록단위로 분할하는 단계;. 상기 분할된 각각의 매크로블록을 양분하여 삼각형 조각으로 만드는 단계;. 상기 삼각형 조각의 각 꼭지점 좌표값을 중심으로 소정범위의 기준블록과 이전 프레임의 탐색블록간의 화소차를 계산하는 단계; 및 상기 계산된 화소차 중에서 최소의 화소차 값을 갖는 이전 프레임의 정합블록의 좌표값으로 현재 프레임의 기준블록의 움직임 벡터를 산출하는 단계를 포함한다.

따라서, 상술한 바와 같이 본 발명에 의하면, 영상 합성시, 종래의 BMA방법에 의한 움직임 추정방법에 의해 합성된 화면에 비해 좋은 화질의 영상을 얻는 효과를 갖는다.

Description

2차원 삼각형 조각 선격자모델을 이용한 동영상의 움직임 추정방법{Method for estimating the motion of pictures using 2-D triangle-patch wireframe model}

본 발명은 동영상 암축시스템에 있어, 동영상의 움직임 추정방법에 관한 것으로서, 더욱 상세하게는 2차원 삼각형조각 선격자모델(2-dimension triangle- patch wireframe model)을 이용한 동영상의 움직이 추정방법에 관한 것이다.

일반적으로 동영상 압축 시스템에서는 동영상이 가지고 있는 중복성을 효율적으로 제거하여야 부호화 과정에서 소요되는 비트수를 감소화시킬 수 있다. 따라서 동영상전문가그룹(MPEG), H. 261등 형재 사용되는 대부분의 동영상 압축시스템 에서는 동영상의 사간적인 중복성을 제거하기 위해 움직임 추정방법을 사용하고 있다. 이 동영상의 움직임 추정은 다음과 같은 단계를 거쳐 실행된다. 먼저, 현재 프레임을 여러개의 작은 블록(이하, 기준블록)으로 나눈 다음, 각각의 기준블록에 대해 이전 프레임의 여러블록(이하, 탬색블록)과 비교하여, 기준블록과 닮지 않은 정도(이하, 상이도)를 계산한 후, 그 상이도가 가장 작은 블록(이하, 정합블록)을 찾아내여, 기준블록과 정합블록의 좌표차를 움직임 벡터로 추정한다. 한편, 상기 움직임 벡터를 갖는 정합블럭과 기준블록의 화소차만으로 현재 화면을 부호화하고, 이하 같이 부호화된 화면은 상기 부호화된 화소값과 정합블럭의 화소값을 결합되어 원래의 영상으로 복원된다.

도 1은 종래의 움직임 추정방법을 설명하기 위한 도면으로서, 종래의 부호화기에서 표준으로 사용된 움직임 추정방법은 블록 매칭 알고리즘(Block Matching Algorithm: 이하 BMA라 한다.)으로써, 참조부호 10은 현재 프레임의 기준블록을 참조부호 12는 이전 프레임의 탐색블록을 각각 나타낸다.

도 1에서 보는 바와 같이 BMA를 이용한 움직임 추정방법은 현재 프레임(프레임 K+1)의 기준 블록이 이전 프레임(프레임 K)의 어느 블록에서 왔는지를 찾는 방법으로써, 다음의 수학식 1로 표현되는 최소자승에러(Mean Square Error; MSE)나, 수학식2로 표현되는 최소평균절대치차(Mininum Mean Absolute Difference; MAD)와 같은 측정도구를 이용한다. 이와 같은 측정도구를 이용한 계산은 한 블록단위로 이루어지며, 현재 프레임의 기준블록과 이전 프레임의 탐색블록의 화소차를 계산한다. 이 때, 계산된 결과의 최소치가 정합블록이 되며, 이 정합블록의 움직임 벡터를 계산하여 움직임을 추정한다. 즉, 여기서 움직임 벡터는 기준블록과 정합블록의 좌표값의 차를 계산함으로써 얻어진다.

여기서,

블록을 나타낸다.

그러나, 종래의 BMA를 이용한 움직임 추정방법은 연속 동영상의 움직임 추정시 움직임이 평면으로만 이동한다는 가정하에 만들어졌기 때문에 물체의 회전운종이나 크기변화에 따른 움직임은 반영하기 어렵기 때문에, 비교적 정밀한 움직임을 추정하기 어렵다는 단점이 있다. 또한 임의의 블록 단위로 움직임을 추정하기 때문에 블록과 블록 사이에 영상의 불연속성이 발생하여 이와 같이 부호화된 영상을 재생하면 화질이 저하되는 문제가 있다.

본 발명은 상술한 문제점을 해결하기 위해 창출된 것으로서, 2차원 삼각형 조각 선격자 모델을 기반으로 삼각형의 각 꼭지점당 움직임 벡터를 추정함으로써, 삼각형이 서로간에 연결이 되어 있어 영상의 불연속성을 제거할 수 있는 2차원 삼각형 조각 선격자모델을 이용한 동영상의 움직임 추정방법으로 제공하는 것을 그 목적으로 한다.

도 1은 종래의 움직임 추정방법을 설명하기 위한 도면이다.

도 2는 본 발명에 따른 2차원 삼각형 조각 선격자모델을 이용한 동영상의 움직임 추정방법을 설명하기 위한 도면이다.

도 3은 본 발명에 의한 2차원 삼각형 조각 선격자모델을 초기화단계를 설명하기 위한 도면이다.

도 4는 본 발명에 따른 반화소의 위치를 결정하는 방법을 설명하기 위한 도면이다.

도 5a 내지 도 5c는 본 발명을 적용한 동영상 움직임 추정의 예를 나타낸 도면이다.

상기의 목적을 달성하기 위한 본 발명에 따른, 2차원 삼각형조각 선격자모델을 이용한 상기 동영상의 움직임 추정방법은 입력되는 영상신신호의 현재 프레임을 N×N 매크로블록단위로 분할하는 단계; 상기 분할된 각각의 매크로블럭을 양분하여 삼각형 조각으로 만드는 단계; 상기 삼각형 조각의 각 꼭지점 좌표값을 중심으로 소정범위의 기준블록과 이전 프레임의 탐색블록간의 화소차를 계산하는 단계; 및 상기 계산된 화소차 중에서 최소의 화소차 값을 갖는 이전 프레임의 정합블록의 좌표값으로부터 현재 프레임의 기준블록의 움직임 벡터를 산출하는 단계를 포함하는 것이 바람직하다.

본 발명에 있어서, 상기 화소차 계산단계는 상기 삼각형들의 중복되는 꼭지점들은 한번만 계산하고, 상기 기준블록의 경계면 꼭지점은 계산하지 않음을 특징으로 한다.

본 발명에 있어서, 상기 화소차 계산단계는 현재 프레임의 화소값과 이전 프레임의 화소값의 차이의 절대치 의해 계산됨을 특징으로 한다.

본 발명에 있어서, 상기 계산된 전화소의 움직임 벡터를 중심으로 보다 세밀한 움직임 추정을 위해 반화소 단위의 움직임을 추정하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 반화소값은 주변의 전화소값의 조합에 의해 생성됨을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명을 보다 상세히 설명한다.

도 2는 본 발명에 따른 2차원 삼각형 조각 선격자모델을 이용한 동영상의 움직임 추정방법을 설명하기 위한 도면으로서, 크게 2차원 삼각형 조각 선격자 모델을 초기화하는 단계와 초기하된 삼각형조각 선격자 모델로부터 움직임 벡터를 추정하는 단계로 이루어진다.

먼저, 2차원 삼각형조각 선격자 ahepfd,f 초기화 하는 단계는 다음과 같다.

입력영상신호의 현재 프레임을 N₁×N₂매크로블럭단위로 분할한다.(200단계)

분할된 매크로블럭을 양분하여 2차원 삼각형조각을 생성한다.(200단계) 즉, 도 3에 도시된 바와 같이 매크로블럭의 왼쪽 위에서 오른쪽 아래로 대각선을 그어 삼각형조각을 생성한다.

또한, 초기화된 삼각형 조각 선격자 모델로부터 움직임 벡터를 추정하는 단계는 다음과 같다.

생성된 삼각형 조각의 꼭지점을 중심으로 하는 소정크기(예로 16×16화소)의 기준 블록과 이전 프레임의 탐색블록들간의 화소차를 각각 계산한다.(204단계) 즉, 삼각형 조각의 꼭지점을 중심으로 소정크기의 기준블록을 성정한 후, 소정의 탐색범위(±15 화소)를 가지고 각각의 탐색블록과 기준블록간의 화소차를 계산한다. 예를 들어, 소정 탐색범위 즉, ±15 탐색범위를 가지는 모든 탐색블록과 기준블록의 화소값을 계산한다. 이 때 중복되는 삼각형 꼭지점은 한번만 계산하고 영상의 경계면에 위치한 꼭지점은 계산하지 않는다.

계산된 모든 탐색블록과 기준블록의 화소차 중에서 최소의 화소차 값을 갖는 이전프레임의 탐색블록의 좌표값을 현재 프레임의 기준블록의 움직임 벡터로 산출한다.(206단계) 여기서, 최소의 화소차 값을 갖는 이전프레임벡터

는 다음의 수학식 3에 의해 "차의 합(sum of difference ; SAD)이 계산된다.

여기서, -p ≤ u, v ≤ p

rb(i, j)는 현재 프레임의 기준블록에서 (i, j)번째 화소값

sw(i, j)는 이전 프레임의 탐색블록에서 (i, j)번째 화소값

한편, 이와 같이 계산된 화소차가 최소인 탐색블록의 움직임 벡터가 다른 탐색블록의 움직임 벡터와 별차이가 없다면 0벡터를 우선함으로써 움직임 백터 부호화에 소요되는 비트수를 감소시킨다. 이를 구현하기 위해 0벡터에 대해서 SAD(0, 0)에서 계산된 화소값에서 다음의 수학식 4와 같이 100을 빼서 다른 벡터의 SAD값들과 비교한다.

SAD(0,0) = SAD(0,0)-100

또한, 상술한 단계를 통해 추정된 움직임 벡터를 이용하여 보다 세밀한 움직임 추정단계를 더 실시한다. 즉 상술한 단계를 통해 추출된 움직임 벡터를 중심으로 도 4에 도시된 바와 같이 반화소 단위로 소정의 탐색범위(예로 ±6화소)를 가지고 움직임 벡터를 찾는다. 즉, 도 4에 도시된 대문자 A, B, C, D로 표시된 화소의 좌표값(+)은 상술한 단계를 통해 추출된 화소의 좌표값을 나타내고, 소문자 a,b,c,d로 표시되는 화소의 좌표값(O)은 대문자로 표시되는 화소들의 좌표값의 조합에 의해 생성된 반화소의 자표값을 나타낸다. 여기서, 각 위치에 따른 반화소의 좌표값들은 다음의 수학식 5에 생성된다.

a = A,

b = (A+B)/2

c = (A+C)/2,

d = (A+B+C+D)/4

이 때, 각 좌표값들에 대한 화소들의 움직임 벡터

는 새로 갱신된다. 이와 같이 새롭게 갱신된 화소들은 수학식3과 수학식4를 이용하여 최종의 움직임 벡터를 추정하게 된다.

도 5a 내지 도 5c는 본 발명을 적용한 동영상 움직임 추정의 예를 나타낸 도면으로서, 도 5a는 이전 프레임의 영상을, 도 5b는 현재 프레임의 영상을, 도 5c는 본 발명에 의한 2차원 삼각형 조각 선격자 모델을 이용한 움직임 추정후 변형된 영상을 각각 나타낸다. 도 5c를 통해 알 수 있듯이, 2차원 삼각형 조각 선격자 모델 내에 있는 각각의 삼각형들은 움직임 추정 후, 서로 연결되어 있기 때문에 차후 움직임 보상시 각각의 삼각형 내에 있는 화소 단위로 영상을 합성할 때 각 삼각형의 경계에서 불연속성이 발생하지 않는다.

상술한 바와 같이 본 발명에 따른 2차원 삼각형 조각 선격자모델을 이용한 동영상의 움직임 추정방법에 의해 부호화된 영상을 합성하면 종래의 BMA방법에 의한 움직임 추정방법에 의해 합성된 화면에 비해 좋은 화질의 영상을 얻는 효과를 갖는다.

Claims (1)

1. 동영상 압축시스템에 있어, 부호화를 위한 상기 동영상의 움직임 추정방법에 있어서,

   입력되는 영상신호의 현재 프레임을 N×N 매크로블록단위로 분할하는 단계;

   상기 분할된 각각의 매크로블록을 양분하여 삼각형 조각으로 만드는 단계;

   상기 삼각형 조각의 중복되는 꼭지점들은 한번만 계산하고, 소정 기준 블록의 경계면 꼭지점은 계산하지 않으며, 현재 프레임의 화소값과 이전 프레임의 화소값의 차이의 절대치에 의해 화소차를 계산하는 단계;

   상기 계산된 화소차가 최소인 탐색블록의 움직임 벡터가 다른 탐색블록의 움직임 벡터와 차이가 없다면 0벡터를 우선으로 하여, 상기 계산된 화소차 중에서 차의합(SAD)에 의해 최소의 화소차 값을 갖는 이전 프레임의 정합블록의 좌표값으로부터 현재 프레임의 기준블록의 움직임 벡터를 산출하는 단계; 및

   상기 계산된 전화소의 움직임 벡터를 중심으로 보다 세밀한 움직임 추정을 위해 주변의 전화소 값의 조합에 의해 생성된 반화소 단위의 움직임을 추정하는 단계를 포함하는 2차원 삼각형 조각 선격자 모델을 이용한 동영상의 움직임 추정방법.

Images