KR19990032058A

KR19990032058A - 2차원 병진 움직임 벡터와 선형 회기법을 이용한 전역 움직임존재 유무 판정 방법

Info

Publication number: KR19990032058A
Application number: KR1019970052987A
Authority: KR
Inventors: 최재각; 안치득; 김문철; 이종원; 이명호
Original assignee: 정선종; 한국전자통신연구원
Priority date: 1997-10-16
Filing date: 1997-10-16
Publication date: 1999-05-06
Also published as: JP2001521228A; DE69819768T2; DE69819768D1; EP1023695A1; EP1023695B1; WO1999021135A1; KR100289862B1

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

본 발명은 전역 움직임 존재 유무 판정 방법에 관한 것임.

2. 발명이 해결하려고 하는 기술적 과제

본 발명은 2차원 병진 움직임 벡터와 선형 회기법을 이용하여 전역 움직임 파라미터를 추정한 후에 전역 움직임 모델 적합성 판정을 수행하여, 전역 움직임이 존재하지 않는 경우에 전역 움직임 보상을 수행하지 않으므로써 움직임 보상에 따른 계산량을 감소시키고 부호화 효율을 향상시킬 수 있는 전역 움직임 존재 유무 판정 방법을 제공하는데 그 목적이 있음.

3. 발명의 해결방법의 요지

본 발명은, 연속된 영상으로부터 각 블록의 중심점의 움직임 벡터를 추정하는 제 1 단계; 선형 회기법을 이용하여 상기 움직임 벡터로부터 전역 움직임 파라미터를 추정하는 제 2 단계; 및 상기 움직임 벡터와 상기 전역 움직임 파라미터에 대하여 전역 움직임 모델 적합성 판정을 수행하여 전역 움직임 존재 유무를 판정하는 제 3 단계를 포함한다.

4. 발명의 중요한 용도

본 발명은 사전에 전역 움직임이 존재하는지를 판별하는데 이용됨.

Description

2차원 병진 움직임 벡터와 선형 회기법을 이용한 전역 움직임 존재 유무 판정 방법

본 발명은 연속된 영상(successive images)에서 전역 움직임 존재 유무를 판정하는 전역 움직임 존재 유무 판정 방법에 관한 것이다.

종래의 전역 움직임 추정 및 보상(global motion estimation and compensation)은 항상 전역 움직임이 존재한다는 가정하에서 전역 움직임을 추정하고, 추정된 전역 움직임을 이용하여 전역 움직임 보상을 수행하였다. 그러나, 전역 움직임이 없고 단지 국부적인 움직임(local motion)만이 존재하는 경우에도 종래 방법에서는 전역 움직임 보상을 수행하므로써 부호화 효율을 감소시킬 뿐만아니라 전역 움직임 보상 과정에서 불필요한 많은 계산량이 요구되는 문제점이 있었다.

따라서, 동영상(moving image sequence)에 대해 전역 움직임 보상을 수행할 경우에 항상 전역 움직임이 존재하는 것은 아니기 때문에 사전에 전역 움직임 존재 유무를 판정한 후에 그 결과에 따라 전역 움직임 보상 유무를 판정하는 방법이 필요하다.

상기 문제점을 해결하기 위하여 안출된 본 발명은, 2차원 병진 움직임 벡터(2D translational motion vectors)와 선형 회기법(linear regression)을 이용하여 전역 움직임 파라미터를 추정한 후에 전역 움직임 모델 적합성 판정(test for model adequacy)을 수행하여 전역 움직임 존재 유무를 판정하므로써, 전역 움직임이 존재하지 않는 경우에 전역 움직임 보상을 수행하지 않으므로써 움직임 보상에 따른 계산량을 감소시키고 영상 부호화 적용시 부호화 효율을 향상시킬 수 있는 전역 움직임 존재 유무 판정 방법을 제공하는데 그 목적이 있다.

도 1 은 본 발명이 적용되는 연속된 영상의 전역 움직임 추정 및 보상 장치의 구성도.

도 2 는 본 발명에 따른 전역 움직임 존재 유무 판정 방법에 대한 처리 흐름도.

* 도면의 주요 부분에 대한 부호의 설명

100 : 연속된 영상 수신부 101 : 전역 움직임 추정부

102 : 전역 움직임 존재 유무 판정부 103 : 움직임 보상부

상기 목적을 달성하기 위하여 본 발명은, 전역 움직임 추정 및 보상 장치에 적용되는 전역 움직임 존재 유무 판정 방법에 있어서, 연속된 영상으로부터 각 블록의 중심점의 움직임 벡터를 추정하는 제 1 단계; 선형 회기법을 이용하여 상기 움직임 벡터로부터 전역 움직임 파라미터를 추정하는 제 2 단계; 및 상기 움직임 벡터와 상기 전역 움직임 파라미터에 대하여 전역 움직임 모델 적합성 판정을 수행하여 전역 움직임 존재 유무를 판정하는 제 3 단계를 포함한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 일실시예를 상세히 설명한다.

도 1 은 본 발명이 적용되는 연속된 영상의 전역 움직임 추정 및 보상 장치의 구성도로서, 영상 부호화 시스템의 움직임 추정 및 보상 장치(motion estimation/compensation part of video coding system)의 구성도이다.

먼저, 연속된 영상 수신부(100)에서는 연속된 영상을 수신하고, 전역 움직임 추정부(101)에서는 연속된 영상 수신부(100)로부터 이전 영상과 현재 영상을 입력받아 전역 움직임을 추정한다. 즉, 전역 움직임 모형을 가정하고 여러 전역 움직임 추정 방법중 하나의 방법을 사용하여 전역 움직임을 추정한다.

그리고, 전역 움직임 존재 유무 판정부(102)에서는 추정된 움직임 파라미터를 이용하여 전역 움직임 존재 유무를 판정한다.

그리고, 움직임 보상부(103)에서는 본 발명에 따른 전역 움직임 존재 유무 판정 결과에 따라 전역 움직임 보상을 수행한다. 즉, 전역 움직임이 존재하는 경우에는 과거 영상 프레임(previous frame)으로부터 전역 움직임 파라미터를 이용하여 전역 움직임 보상을 수행하여 현재 프레임(current frame)과 과거 프레임 사이에 존재하는 전역 움직임을 제거한다. 그런 다음에 현재 프레임과 전역 움직임 보상된 영상 사이에 존재하는 지역 움직임을 추정 및 보상한다. 그리고, 전역 움직임이 존재하지 않는 경우에는 전역 움직임 보상을 수행하지 않고 현재 프레임과 이전 프레임 사이에 존재하는 지역 움직임만을 추정 및 보상한다.

도 2 는 본 발명에 따른 전역 움직임 존재 유무 판정 방법에 대한 처리 흐름도이다.

본 발명에서는 2차원 병진 움직임 벡터와 선형 회기법을 이용하여 전역 움직임 파라미터를 추정한 후에 전역 움직임 모델 적합성 판정을 수행하여 전역 움직임 존재 유무를 판정하여 전역 움직임이 존재하지 않는 경우에 전역 움직임 보상을 수행하지 않으므로써 움직임 보상에 따른 계산량을 감소시키고 영상 부호화 적용시 부호화 효율을 향상시킨다.

먼저, 연속된 영상을 수신하면(201), 수신한 연속 영상으로부터 각 블록의 중심점

(x_i,y_i)

의 2차원 병진 움직임 벡터 를 구한다(202). 즉, 블록 정합 알고리즘(Block Matching Algorithm)과 같은 2차원 병진 움직임 벡터 추정 기법을 이용하여 각 블록의 움직임 벡터 또는 블록의 중심점의 움직임 벡터를 구한다. 블록의 움직임 벡터를 추정한 경우에 추정된 블록의 움직임 벡터를 블록의 중심점

(x_i,y_i)

의 움직임 벡터로 한다.

이후, 추정된 2차원 병진 움직임 벡터 로부터 선형 회기법(linear regression)을 이용하여 전역 움직임 파라미터 를 추정한다. 전역 움직임 모델은 어파인(affine) 모델, 퍼스펙티브(perspective) 모델, 콰드래틱(quadratic) 모델 등 여러 가지가 있을 수 있다. 본 발명에 따른 전역 움직임 존재 유무 판정 방법은 어떠한 전역 움직임 모델에도 적용될 수 있지만 본 발명의 일실시예에서는 아래의 (수학식 1)과 같은 어파인(affine) 운동 모형에 대해 설명하기로 한다.

[수학식 1]

여기서,

(x′,y′)

는 카메라의 움직임이 일어나기 전의 영상의 2차원 공간 좌표를 나타내고,

(x,y)

는 카메라의 움직임이 일어난 후의 영상의 2차원 공간 좌표를 나타낸다. 그리고, 는 점

(x,y)

에서의 이론적인 움직임 벡터를 나타낸다. 전역 움직임 파라미터의 추정은 전역 움직임 파라미터 에 의해 상기 (수학식 1)에 따라 계산된 각 블록의 중심점의 움직임 벡터 가 2차원 병진 움직임 추정법에 의해 추정된 각 블록의 중심점의 움직임 벡터 에 가장 잘 정합되게 파라미터를 추정한다. 잡음의 분포가 소수의 지역 움직임에 의한 벡터들을 제외하면 모두 평균이 0인 가우시안 분포(Gaussian distribution)라고 가정하면, 가우스-마르코프(Gauss-Markov) 정리에 의하여 최소자승오차 추정(least square error estimation)은 최대 가능성(maximum likelihood) 의미에서 바이어스되지 않은 최소의 분산(unbiased and minimum variance)을 가지는 최적의 추정기(optimum estimator)가 된다. 따라서, 아래의 (수학식 2)와 같은 오차함수(error function)가 최소가 되도록 전역 움직임 파라미터를 구한다.

[수학식2]

여기서,

N

은 전역 움직임 파라미터 추정에 사용되는 모든 움직임 벡터의 개수를 의미한다. 연속된 영상내에는 카메라에 의한 전역 움직임외에 이동 물체에 의한 지역 움직임이 존재할 수 있기 때문에 영상내의 모든 블록 중심점의 움직임 벡터를 이용하여 전역 움직임을 추정할 경우에 지역 움직임에 의한 움직임 벡터가 전역 움직임 추정에 영향을 미치게 된다. 따라서, 전역 움직임 파라미터가 수렴(convergence)할 때까지 전역 움직임 추정 및 지역 움직임 제거(removal of outlier)를 반복적으로 수행하여 전역 움직임 파라미터를 추정한다(203).

이후, 상기 추정된 2차원 병진 움직임 벡터와 상기 추정된 전역 움직임 파라미터로부터 전역 움직임 모델 적합성 판정을 통하여 전역 움직임 보상 유무를 판정한다(204).

본 발명에 따른 전역 움직임 파라미터는 추정된 2차원 병진 움직임 벡터 로부터 선형 회기법을 사용하여 추정하므로 영상의 전역 움직임이 주어진 움직임 파라미터로 잘 모델링되는 정도를 안다면 이를 이용하여 전역 움직임이 연속된 영상안에 존재하는지를 판정하는 기준으로 삼을 수 있다. 즉, 연속된 영상내의 움직임에서 전역 움직임이 지배적인 경우에는 추정된 전역 움직임 파라미터가 영상내의 전역 움직임을 잘 묘사한다고 할 수 있다. 반대로 영상내에 단지 지역 움직임만이 존재한다고 하면 추정된 전역 움직임 파라미터들은 아무런 물리적인 의미를 가지지 못하게 된다. 이러한 사실을 바탕으로 연속된 영상안에 전역 움직임이 존재하는지의 여부를 추정된 2차원 병진 움직임 벡터 와 전역 움직임 파라미터로부터 계산된 움직임 벡터 를 이용하여 전역 움직임 모델 적합성 판정(test for model adequacy)을 사용하여 판단할 수 있다.

본 발명에 따른 전역 움직임 존재 유무 판정은 선형 회기 해석에 많이 사용되는 다중결정계수(coefficient of multiple determination)

R²

의 개념을 도입하여 수행하게 되는데, 그 방법은 다음과 같다. 먼저, 2차원 병진 운동 추정법에 의해 추정된 각 블록의 중심점

(x_i,y_i)

의 2차원 병진 움직임 벡터 로부터 다음의 (수학식 3)과 같은 평균 움직임 벡터 를 구한다.

[수학식 3]

여기서,

N

은 지역 움직임에 기인한 움직임 벡터를 제외한 최종 전역 움직임 파라미터 추정시에 사용된 움직임 벡터의 개수를 의미한다.

이후, 추정된 2차원 병진 움직임 벡터 와 이 벡터들의 평균 움직임 벡터 의 오차합(error sum) 를 다음의 (수학식 4)처럼 계산한다.

[수학식 4]

그리고, 추정된 2차원 병진 움직임 벡터 와, 최적해로 구하여진 전역 움직임 파라미터로부터 상기 (수학식 1)에 의하여 계산된 움직임 벡터 사이의 오차합 를 다음의 (수학식 5)처럼 구한다.

[수학식 5]

이후, 와 로부터 다음의 (수학식 6)과 같이 다중결정계수 을 구한다.

[수학식 6]

다중결정계수 은 추정된 움직임 파라미터로부터 구하여진 움직임 벡터 의 변이성(variability)이 감소하는 척도로 사용될 수 있다. 즉, 전역 움직임이 지배적일 경우에 최적해의 오차합 의 크기가 상대적으로 작아지므로 다중결정계수 은 증가하게 된다. 상기 (수학식 6)에서 알 수 있듯이 다중결정계수 는

0≤R_x ²,R_y ²≤1

범위를 가진다. 마지막으로 다중결정계수 으로부터 전역 움직임 존재 유무는 다음과 같이 결정한다. 다중결정계수 의 최대값

R²

을 다음의 (수학식 7)처럼 구한다.

[수학식 7]

R²

이 정해진 임계값(threshold)보다 큰 경우에는 전역 움직임이 존재한다고 판정하고 전역 움직임 보상을 수행하게 된다. 그리고,

R²

이 정해진 임계값보다 적은 경우에는 전역 움직임이 없다고 판정하고 전역 움직임 보상을 수행하지 않는다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.

상기와 같은 본 발명은, 전역 움직임 존재 유무를 사전에 판정하여 전역 움직임이 존재하지 않는 경우에 전역 움직임 보상을 하지 않으므로써 무조건적인 전역 움직임 보상으로 인한 부호화 효율 저하를 방지할 뿐만아니라 계산량을 감소시킬 수 있는 효과가 있다.

Claims

전역 움직임 추정 및 보상 장치에 적용되는 전역 움직임 존재 유무 판정 방법에 있어서,

연속된 영상으로부터 각 블록의 중심점의 움직임 벡터를 추정하는 제 1 단계;

선형 회기법을 이용하여 상기 움직임 벡터로부터 전역 움직임 파라미터를 추정하는 제 2 단계; 및

상기 움직임 벡터와 상기 전역 움직임 파라미터에 대하여 전역 움직임 모델 적합성 판정을 수행하여 전역 움직임 존재 유무를 판정하는 제 3 단계

를 포함하여 이루어진 전역 움직임 존재 유무 판정 방법.
제 1 항에 있어서,

상기 제 3 단계의 판정 결과, 전역 움직임이 존재하는 경우에는 과거 영상 프레임으로부터 전역 움직임 파라미터를 이용하여 전역 움직임 보상을 수행하여 현재 프레임과 이전 프레임 사이에 존재하는 전역 움직임을 제거한 후에 현재 프레임과 전역 움직임 보상된 영상 사이에 존재하는 지역 움직임을 추정하여 보상하고, 전역 움직임이 존재하지 않는 경우에는 전역 움직임 보상을 수행하지 않고 현재 프레임과 이전 프레임 사이에 존재하는 지역 움직임을 추정하여 보상하는 제 4 단계

를 더 포함하여 이루어진 전역 움직임 존재 유무 판정 방법.
제 1 항 또는 제 2 항에 있어서,

상기 제 1 단계는,

연속된 영상을 수신하면, 수신한 연속 영상으로부터 블록 정합 알고리즘과 같은 2차원 병진 움직임 벡터 추정 기법을 이용하여 각 블록의 움직임 벡터 또는 블록의 중심점의 움직임 벡터를 추정하여 각 블록의 중심점의 2차원 병진 움직임 벡터를 구하는 것을 특징으로 하는 전역 움직임 존재 유무 판정 방법.
제 1 항 또는 제 2 항에 있어서,

상기 제 2 단계는,

상기 움직임 벡터로부터 선형 회기법(linear regression)을 이용하여 전역 움직임 파라미터를 추정하는 제 5 단계;

상기 전역 움직임 파라미터가 수렴(convergence)하는지를 판단하는 제 6 단계;

상기 제 6 단계의 판단 결과, 상기 전역 움직임 파라미터가 수렴하지 않으면 지역 움직임 제거(removal of outlier)를 수행한 후에 상기 제 5 단계부터 반복 수행하는 제 7 단계; 및

상기 제 6 단계의 판단 결과, 상기 전역 움직임 파라미터가 수렴하면 상기 제 3 단계를 수행하는 제 8 단계

를 포함하여 이루어진 전역 움직임 존재 유무 판정 방법.
제 4 항에 있어서,

상기 제 5 단계는,

상기 전역 움직임 파라미터에 의해 계산된 각 블록의 중심점의 움직임 벡터가 2차원 병진 움직임 추정법에 의해 추정된 각 블록의 중심점의 움직임 벡터에 최적으로 정합되도록 상기 전역 움직임 파라미터를 추정하는 것을 특징으로 하는 전역 움직임 존재 유무 판정 방법.
제 1 항 또는 제 2 항에 있어서,

상기 제 3 단계는,

선형 회기 해석에 사용되는 다중결정계수(coefficient of multiple determination)의 개념을 이용하는 것을 특징으로 하는 전역 움직임 존재 유무 판정 방법.
제 6 항에 있어서,

상기 제 3 단계는,

2차원 병진 운동 추정법에 의해 추정된 각 블록의 중심점의 2차원 병진 움직임 벡터의 평균 움직임 벡터를 구하는 제 5 단계;

상기 추정된 2차원 병진 움직임 벡터와 상기 평균 움직임 벡터의 오차합(error sum)을 구하는 제 6 단계;

상기 추정된 2차원 병진 움직임 벡터와 상기 전역 움직임 파라미터로부터 계산된 움직임 벡터사이의 오차합을 구하는 제 7 단계;

상기 제 6 단계와 상기 제 7 단계에서 구한 두 오차합으로부터 다중결정계수를 구하는 제 8 단계; 및

상기 다중결정계수의 최대값을 구하여 상기 최대값이 소정의 임계값보다 큰 경우에는 전역 움직임이 존재한다고 판정하고, 상기 최대값이 상기 소정의 임계값보다 적은 경우에는 전역 움직임이 없다고 판정하는 제 9 단계를 포함하여 이루어진 전역 움직임 존재 유무 판정 방법.