KR20030003417A - 매칭 계산 알고리즘 및 그를 이용한 모션 추적 알고리즘 - Google Patents

Abstract

본 발명은 매칭 계산 알고리즘 및 그를 이용한 모션 추적 알고리즘에 관한 것으로 이를 위한 본 발명은, 하나의 기준 프레임을 다수개의 블럭으로 나누어 화면의 움직임을 추정하는 방법에 있어서, 상기 기준 프레임과 비교 대상 프레임을 각각 다수개의 서브 블럭으로 나눈후 각각의 서브 블럭의 평균값을 구하는 1 단계; 상기 기준 프레임과 비교 대상 프레임 구성하는 각각의 서브 블럭의 평균값을 다시 평균하여 제1 평균값과 제2 평균값을 생성하는 2 단계; 상기 제1 평균값과 제2 평균값을 기준으로 하여 다수개의 서브 블럭으로 구성되는 기준 프레임의 데이터와 비교 대상 프레임의 데이터를 각각 1비트로 구성된 제1 데이터 프레임과 제2 데이터 프레임으로 변환하는 3 단계; 상기 제1 데이터 프레임과 제2 데이터 프레임을 비교하는 4 단계; 상기 4 단계의 비교결과가 일치하면, 상기 제1 평균값과 제2 평균값을 비교하여 일치되는 블럭을 찾는 5 단계; 및 상기 5 단계에서 일치되는 블럭들의 실제 데이터를 비교하는 6 단계를 포함하여 이루어진다.

Description

매칭 계산 알고리즘 및 그를 이용한 모션 추적 알고리즘{Matching calculation algorithm and motion trace algorithm using matching calculation algorithm}

본 발명은 영상처리 알고리즘에 관한것으로, 특히 매칭 계산 알고리즘 및 그를 이용한 모션 추적 알고리즘에 관한 것이다.

영상처리가 디지털화 됨에 따라 디지털 영상에 대한 압축과 관련되어 영상 데이터를 송수신 함에 있어서, 이전 단계에 전송된 영상 데이터가 변동이 거의 없는경우 움직이는 부분에 대하여만 데이터를 전송하는 방법이 널리 사용되고 있다.

이 방법은, MPEG과 같은 오늘날의 동영상 기술에서도 널리 사용되고 있는 바, 상기 변동되는 데이터를 어떻게 빨리 찾아내는가가 큰 관건이 되어 왔으며, 종래에는 기준 프레임의 데이터와 비교 대상 프레임의 데이터를 일일이 비교하는 전역 탐색방법(FSA)을 사용하거나, 블럭으로 나누어 비교함으로서 비교 시간을 줄여왔는 바, 상기 전역 탐색 방법은 많은 계산량 때문에 실시간 구현에 어려움이 있다.

상기 비교 시간을 줄이는데는 크게 두가지의 방법이 사용되는데, 첫째 상기 여러개로 나누어진 블럭의 비교시 사용되는 화소 데이터의 양을 줄이는 방법과, 상기 화소 데이터를 양자화 하여 비교 시간을 줄이는 방법이 있고, 둘째는 화소 데이터중 일부분만을 비교하는 서브 샘플링 방법이 있다.

도 1은 상기 블럭으로 나누어 비교할시, 모션 추적에 걸리는 속도를 향상시키기 위하여 서브 샘플링 방법을 사용한 모션 추적 방법이다.

도 1에 도시된 바와 같이,상기 서브 샘플링을 사용한 모션 추적 방식은 화면을 구성하는 프레임중 일부분만을 비교하는 것을 특징으로 한다.

이 방식은, 화면을 구성하는 수직 또는 수직방향으로의 데이터가 많을 경우, 즉 구성하는 블럭이 많을경우 특정 부분만이 비교대상이 됨으로서 잘못된 비교결과가 산출될 확률이 매우 높다.

상기 도 1에 도시된 서브 샘플링 방법의 단점을 극복하기 위하여 화면을 구성하는 각각의 화소의 데이터를 양자화 하여 비교하는 방법이 있으나, 이 또한 양자화시 많은 양의 데이터를 생성함으로서 비교시간이 많이 걸리는 단점이 있다.

도 2는 TSS(Tree step search, 이하 "TSS"라 한다)방법을 사용한 추적방법을 나타낸다.

상기 TSS방법은 화면을 몇개의 큰 영역으로 나눈후 각 영역에 대해 선택적으로 블럭 간의 비교를 행하여 평균 절대값(MAD; Mean absolute difference)을 구하여 일차로 일치되는 큰 영역을 찾고, 찾아낸 영역 내의 블럭을 다시 비교하는 과정을 반복하여 움직임을 찾아낸다.

그러나 이러한 방법은 작은 블럭만이 움직일 경우 움직임을 추적하기가 매우 어려워지는 단점이 있다.

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 화면의 움직임이 발생시 움직임을 탐색하는 시간이 적게 걸리면서도 정확하게 추적할 수 있는 알고리즘을 제공하는데 그 목적이 있다.

도 1은 종래의 서브 샘플링 방법을 사용한 모션 추적 방법을 도시한 도면.

도 2는 TSS 방법을 사용한 모션 추적 방법을 도시한 도면.

도 3은 ST 백터(Sign Truncated vector)를 생성하는 방법을 도시한 도면.

도 4는 매칭 계산 알고리즘을 이용한 모션 추적 알고리즘을 도시한 도면.

* 도면의 주요 부분에 대한 부호의 설명

110 : 1블럭 120 : 2블럭

130 : 3블럭 140 : 4블럭

본 발명은 매칭 계산 알고리즘 및 그를 이용한 모션 추적 알고리즘에 관한것으로 이를 위한 본 발명은, 하나의 기준 프레임을 다수개의 블럭으로 나누어 화면의 움직임을 추정하는 방법에 있어서, 상기 기준 프레임과 비교 대상 프레임을 각각 다수개의 서브 블럭으로 나눈후 각각의 서브 블럭의 평균값을 구하는 1 단계; 상기 기준 프레임과 비교 대상 프레임 구성하는 각각의 서브 블럭의 평균값을 다시 평균하여 제1 평균값과 제2 평균값을 생성하는 2 단계; 상기 제1 평균값과 제2 평균값을 기준으로 하여 다수개의 서브 블럭으로 구성되는 기준 프레임의 데이터와 비교 대상 프레임의 데이터를 각각 1비트로 구성된 제1 데이터 프레임과 제2 데이터 프레임으로 변환하는 3 단계; 상기 제1 데이터 프레임과 제2 데이터 프레임을 비교하는 4 단계; 상기 4 단계의 비교결과가 일치하면, 상기 제1 평균값과 제2 평균값을 비교하여 일치되는 블럭을 찾는 5 단계; 및 상기 5 단계에서 일치되는 블럭들의 실제 데이터를 비교하는 6 단계를 포함하여 이루어진다.

또한, 상기 매칭 계산 알고리즘을 이용하여 매칭 계산 시간을 감소시킨 모션 추적 알고리즘은, 상기 매칭 계산 알고리즘에 의하여 변화가 없는 데이터를 찾는 1 단계; 변화가 있는 데이터에 대하여 증감 패턴을 형성하는 2 단계; 상기 2 단계의 증감 패턴에 따라 데이터의 변화량을 계산하는 3 단계; 상기 3 단계의 계산 결과 데이터의 변화량이 가장 많은 블럭을 찾아내는 4 단계; 상기 4 단계에서 찾아진 블럭의 모든 화소를 비교하여 평균값을 생성하는 5단계; 및 상기 5단계의 결과값을 이용하여 모션 백터를 생성하는 6단계를 포함하여 이루어진다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부된 도면을 참조하여 설명하기로 한다.

도 3은 본 발명에 따른 ST 백터(Sign Truncated vector)를 생성하는 방법을 도시한 것이다.

먼저, 본 발명의 개념을 명확히 설명하기 위하여 하나의 기준 프레임을 16개로 나눈다는 가정하에서 설명하기로 한다.

도 3에 도시된 바와 같이, 기준 프레임을 16개의 블럭으로 나누어(100) 각각의 블럭의 평균값을 생성한다.

이어서, 상기 16개의 블럭을 다시 4개의 서브 블럭(110 ∼ 140)으로 나누어 각각의 서브 블럭(110 ∼ 140)의 평균값을 생성한다.

상기한 동작을 예를 들어 상세히 설명하면 다음과 같다.

상기 16개로 나뉘어진 블럭(100)의 데이터가 158, 80, 80, 69, 59, 74, 59, 74, 87, 86, 116, 100, 65, 62, 72, 58라면, 상기 16개의 데이터를 다음과 같이 4개의 서브 블럭(110 ∼ 140)으로 나눈다.

[158, 80, 80, 69], [59, 74, 59, 74], [87, 86, 116, 100], [65, 62, 72, 58]

상기 [158, 80, 80, 69]블럭을 1블럭(110), 상기 [59, 74, 59, 74]블럭을 2블럭(120), 상기 [87, 86, 116, 100]블럭을 3 블럭, 상기 [65, 62, 72, 58]블럭을 4블럭(140)이라고 가정하면, 상기 1블럭(110)의 평균값은 97, 2블럭(120)의 평균값은 67, 3블럭(130)의 평균값은 97, 4블럭(140)의 평균값은 64가 된다.

이어서, 상기 1블럭(110) 내지 4블럭(140)의 값, 즉 97, 67, 97, 64를 더하여 평균하면 81이 상기 1블럭(110) 내지 4블럭(140)의 평균값이 된다.

이어서, 상기 81이라는 평균값을 가지고 상기 16 등분된 기준 프레임 데이터의 각각의 블럭과 비교하여 평균값보다 큰 데이터가 들어있는 블럭에는 로우 레벨을 기록하고 그렇지 않은 경우에는 하이 레벨을 기록하여 상기 기준 프레임에 대한 데이터 프레임을 생성한다.

따라서, 본 알고리즘에 의하여 다양한 데이터값을 갖는 화면 프레임의 각 블럭이 하나의 평균값과 로우 또는 하이 레벨의 2진수로 구성된, 즉 데이터 양이 극히 감소된 데이터 프레임으로 재구성된다.

상기한 과정은 비교 대상 프레임에도 동일하게 적용되어, 기준 프레임과 마찬가지로 하나의 평균값과 데이터 프레임으로 구성되므로, 상기 기준 프레임과 비교 대상 프레임간에 2진수로 이루어진 데이터 프레임을 비교하여 매칭되는 블럭을 찾게 된다.

상기 비교 결과 2블럭(120)이 매칭되었다고 판단되면, 상기 기준 프레임의 2블럭(120)과 비교 대상 프레임의 2블럭(120)이 비교된다.

상기 기준 프레임내 2블럭(120)의 평균값이 67인 바, 상기 비교 대상 프레임의 2블럭(120) 또한 67인지를 비교하는 것이다.

상기 비교 결과 비교 대상 프레임의 2블럭(120) 평균값이 67이라면, 상기 기준 프레임과 비교 대상 프레임의 2블럭(120)내의 모든 화소 데이터를 비교하여 매칭 여부를 판별한다.

따라서, 종래에 양자화된 데이터를 비교하는 것에 비하여 로우 또는 하이 레벨로 표현되는 프레임 데이터를 비교함으로서 매칭 여부를 매우 빨리 판별할 수 있게 된다.

도 4는 상기한 매칭 계산 알고리즘을 이용한 모션 추적 알고리즘을 도시한 것이다.

도 4를 참조하면, 상기 매칭 계산 알고리즘에 의하여 변화가 없는 데이터를 찾는 1 단계(100)와, 변화가 있는 데이터에 대하여 증감 패턴을 형성하는 2 단계(200)와, 상기 2 단계(200)의 증감 패턴에 따라 데이터의 변화량을 계산하는 3 단계(300)와, 상기 3 단계(300)의 계산 결과 데이터의 변화량이 가장 많은 블럭을 찾아내는 4 단계(400)와, 상기 4 단계(400)에서 찾아진 블럭의 모든 화소를 비교하여 평균값을 생성하는 5단계(500)와, 상기 5단계(500)의 결과값을 이용하여 모션 백터를 생성하는 6단계(600)를 포함하여 이루어진다.

도 4를 참조하여 상기한 모션 백터 생성하는 알고리즘에 대하여 설명하기로 한다.

먼저, 1 단계(100)는 이미 도 3을 통하여 상세히 설명하였는 바, 생략하기로 한다.

상기 2 단계(200)는 기준 프레임과 비교 대상 프레임을 비교하여 상기 1 단계(100)에서 변화가 없는 블럭을 제회한, 데이터의 변화가 존재하는 블럭을 표시하는 것으로 이를 증감 패턴이라 한다.

여기서, 상기 1 단계(100)에서 이미 변화가 없는 데이터를 찾아 두었으므로, 나머지 블럭에 대해서만 비교하여 증감 패턴을 형성하면 된다.

이어서, 3 단계(300)에서는 상기 2 단계(200)의 증감 패턴에 따라 표시된 블럭의 데이터 변화량을 계산하여 기준 프레임에 비하여 비교 대상 프레임의 데이터가 얼마나 변화했는지를 수치화 한다.

이어서, 4 단계(400)에서는, 가장 변화가 많은 블럭을 선택하고, 5 단계(500)에서는 상기 선택된 블럭내의 모든 화소 데이터를 비교하여 평균값을 생성한다.

마지막으로, 6단계(600)는 상기 5 단계(400)의 평균값에 따라 모션 백터를 생성한다.

본 발명의 기술 사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.

본 발명은 상기한 바와 같이, 동일한 블럭을 고속으로 찾아내는 매칭 계산 알고리즘을 이용하여 화면의 움직임이 발생시 움직임을 탐색하는 시간이 적게 걸리면서도 정확하게 추적할 수 있는 알고리즘을 제공한다.

Claims (2)

1. 하나의 기준 프레임을 다수개의 블럭으로 나누어 화면의 매칭 데이터를 찾아내는 방법에 있어서,

   상기 기준 프레임과 비교 대상 프레임을 각각 다수개의 서브 블럭으로 나눈후 각각의 서브 블럭의 평균값을 구하는 1 단계;

   상기 기준 프레임과 비교 대상 프레임 구성하는 각각의 서브 블럭의 평균값을 다시 평균하여 제1 평균값과 제2 평균값을 생성하는 2 단계;

   상기 제1 평균값과 제2 평균값을 기준으로 하여 다수개의 서브 블럭으로 구성되는 기준 프레임의 데이터와 비교 대상 프레임의 데이터를 각각 1비트로 구성된 제1 데이터 프레임과 제2 데이터 프레임으로 변환하는 3 단계;

   상기 제1 데이터 프레임과 제2 데이터 프레임을 비교하는 4 단계;

   상기 4 단계의 비교결과가 일치하면, 상기 제1 평균값과 제2 평균값을 비교하여 일치되는 블럭을 찾는 5 단계; 및

   상기 5 단계에서 일치되는 블럭들의 실제 데이터를 비교하는 6 단계;

   를 포함하여 이루어지는 매칭 계산 알고리즘.
2. 상기 매칭 계산 알고리즘을 이용하여 매칭 계산 시간을 감소시킨 모션 추적 알고리즘에 있어서,

   상기 매칭 계산 알고리즘에 의하여 변화가 없는 데이터를 찾는 1 단계;

   변화가 있는 데이터에 대하여 증감 패턴을 형성하는 2 단계;

   상기 2 단계의 증감 패턴에 따라 데이터의 변화량을 계산하는 3 단계;

   상기 3 단계의 계산 결과 데이터의 변화량이 가장 많은 블럭을 찾아내는 4 단계;

   상기 4 단계에서 찾아진 블럭의 모든 화소를 비교하여 평균값을 생성하는 5단계; 및

   상기 5단계의 결과값을 이용하여 모션 백터를 생성하는 6단계;

   를 포함하여 이루어진다.