KR20130043970A - 영상 내 추적 물체의 크기 측정을 위한 이중 Ｓｐａｔｉｏｇｒａｍ 사용 방법 - Google Patents

Abstract

본 발명은 영상 내 추적 물체의 크기 측정에 있어서 영상 내부의 상기 추적 물체를 선정하는 단계; 상기 추적 물체에 화소를 분사하는 단계; 및 상기 추적 물체를 어림 계산하여 추적 물체의 영상을 획득하는 단계를 포함하는 이중 Spatiogram 사용 방법으로서 영상 내 추적 물체의 크기 측정에 있어서, 추척 물체의 영상 크기의 대, 소에 관계없이 추적 물체의 정확한 획득 및 크기 조절이 가능하여 정지 영상에서 주로 사용된 검출 기능과 인식 기능을 비디오 영상에 적용할 수 있는 효과가 있다.

Description

영상 내 추적 물체의 크기 측정을 위한 이중 Ｓｐａｔｉｏｇｒａｍ 사용 방법 {Object Tracking with Two Spatiograms for Target Scale Estimation}

본 발명은 이중 Spatiogram 사용 방법에 관한 것으로서, 더 구체적으로는 디지털 촬영 장치에서 영상 내 추적 물체의 크기 측정을 위한 이중 Ｓｐａｔｉｏｇｒａｍ 사용 방법에 관한 것이다.

멀티미디어 산업의 발전에 따라 다양한 분야에서 영상정보 처리 기술이 요구되고 있다. 기존에는 CCTV를 비롯한 고가의 영상 감시 장치나 방송 카메라와 같은 전문 산업 분야에서 개발되어 사용되었다. 그렇지만, 최근에는 DSLR과 같이 고품질의 사진(Image)을 촬영하던 카메라에도 동영상 기능이 적용되며, 대부분의 디지털 촬영 장치에서 동영상 기능이 추가되고 있다. 그에 따라 얼굴인식, 증강 현실(Augmented Reality)과 같이 비디오 영상을 활용한 다양한 영상처리 기술이 개발되고 있다. 그 중 영상 내 물체 추적 기술은 내용기반 분석 기술로써 기존의 정지영상에서 주로 사용되었던 검출기능과 인식 기능을 빠른 시간 내에 효과적으로 비디오 영상에 적용하는 첨단 기술이다. 현재에는 효과적으로 다양한 환경에서 사용할 수 있는 추적 알고리즘이 연구되고 있다.

종래의 비디오 영상 내 물체 추적 기법에서 타겟의 특징으로 배경 클러터 및 부분 가려짐(Occlusion)에 강인한 물체의 색상분포인 Histogram을 사용한다. 이를 기반으로 영상에서 유사한 특징을 가지는 부분을 검출하여 타겟의 위치 및 크기를 추정한다, 그러나 타겟의 색상분포의 공간적인 특성을 반영하지 않은 일반적인 Histogram을 특징으로 사용할 경우, 타겟과 비슷한 색상분포를 가지는 유사물체에 의해 추적 성능이 크게 저하되는 문제점이 있었다.

본 발명의 목적은 디지털 촬영 장치에서 정지 영상이 아닌 동영상의 경우에도 추적 물체의 영상의 크기에 관계없이 추적 물체의 영상을 정확히 획득하고 크기 조절이 가능한 이중 Spatiogram 사용 방법을 제공하는 데 있다.

본 발명의 일면에 따른 이중 Spatiogram 사용 방법은 영상 내 추적 물체의 크기 측정에 있어서 영상 내부의 상기 추적 물체를 선정하는 단계; 상기 추적 물체에 화소를 분사하는 단계; 및 상기 추적 물체를 어림 계산하여 추적 물체의 영상을 획득하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 영상 내 추적 물체의 크기 측정에 있어서, 추척 물체의 영상 크기의 대, 소에 관계없이 추적 물체의 정확한 획득 및 크기 조절이 가능하여 정지 영상에서 주로 사용된 검출 기능과 인식 기능을 비디오 영상에 적용할 수 있는 효과가 있다.

도 1은 본 발명의 실시 예인 Particle Filter 를 사용한 물체 추적 기법의 순서도.
도 2는 이중 Spatiogram 생성 방법을 적용한 영상을 도시한 도면.
도 3은 이중 Spatiogram를 사용한 크기의 추정도. (물체가 작아진 경우)
도 4는 이중 Spatiogram를 사용한 크기의 추정도. (물체가 커진 경우)
도 5는 본 발명의 실시 예를 사용한 타겟의 크기 측정의 비교도.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다.

Particle Filter를 사용한 물체 추적기법은 도 1과 같이 Selection, Propagation, Observation, Estimation 순서의 계산 과정이 비디오 영상의 한 프레임마다 이루어지며, 응용기법에 따라 단계별 수식과 응용방법에 차이는 있지만, 샘플 분포 후 사후 확률을 추정하는 기본 원리를 가진다.

본 발명에서는 물체의 특징으로 영상의 변화에 매우 민감하게 반응하는 Spatiogram을 사용하였다. Spatiogram기법은 먼저 영상 내 색상 Histogram을 생성하고, 각 Bin에 해당하는 색상을 가진 화소들의 정규화된 공간 평균과 분산을 추가로 생성한다. 그리고 Spatiogram을 기반으로 유사도를 비교할 때, 앞서 설명한 Bhattacheryya 계수를 사용하여 계산하고, 추가적으로 공간적인 특성을 비교하여 두 물체 간의 유사도를 측정한다. I개의 화소로 이루어진 영상의 m-bin Histogram은 수학식 1을 사용하여 구한다.

수학식 1에서

는 영상을 구성하는 화소 중에서 Histogram의 u번째 bin에 대응하는 색상을 가지는 화소들의 합을 나타내며, f는 정규화 인수이다. 색상분포의 공간적인 특징은 수학식 2를 사용하여 각 bin의 1차 모멘트인 공간적인 평균

을 계산하고, 수학식 3을 사용하여 2차 모멘트인 공분산

를 생성한다. 크기가 다른 영상에서도 공간정보를 동일하게 획득하기 위해서는 영상 내 각 화소의 좌표를 [-1,+1]의 범위를 가지는 정규화된 공간의 좌표로 치환하여 사용한다.

수학식 2를 사용하여 영상내 u번째 bin에 대응하는 화소들의 공간적인 평균 위치를 계산한다.

는 i번째 화소의 정규화된 공간에서의 좌표를 나타낸다.

그리고 수학식 3에서는 수학식 2를 통해 구한 공간 평균을 사용하여 u번째 bin에 속하는 화소들의 공간적인 분포인 공분산을 계산한다. 공분산의 역행렬을 사용하기 위해서 강제적으로 대각화한다. 그리고 최소 공산은 정규화된 공간의 1개 화소 간격으로 나타난다. 이와 같이 생성된 Spatiogram의 유사도 비교는 수학식 4를 사용하여 계산한다. 다음은 m-bin Spatiogram S 와 S' (

)의 유사도를 수학식 4, 5를 사용하여 측정하는 것을 나타내고 있다.

수학식 4는 색상 Histogram 간 유사도 측정 시 공간요소

가 추가된 형태를 나타낸다. 수학식 5는 어떤 랜덤 변수가 임의의 평균과 분산을 가지는 집단에 속하는 정도를 측정하는 Mahalanobis Distance를 응용하여 공간 유사도를 측정 방법으로써, 각각의 평균과 분산을 가지는 집단 간의 Mahalanobis Distance의 평균을 계산하는 방법이다.

는 가우시안 정규화 인자이고,

으로 설정하여 공간 유사도를 계산한다. 본 발명에서는 개선된 형태의 유사도 측정방법인 수학식 6을 사용하였다.

본 발명에서는 물체의 크기변화를 측정하기 위해서 기존의 특징획득기법인 물체 전체영역의 SP에 추가적으로 내부영역에 대한 SP을 생성하여 사용한다. 도 2(a)는 물체 전체에 대한 Spatiogram을 생성하는 영역을 도시하고, 도 2(b)는 전체영역보다 만큼 감소한 물체 내부에서 Spatiogram을 생성하는 영역을 도시한다.

수학식 7은 전체영역

과 내부영역

의 크기 비율을

만큼의 차이를 갖도록 설정하는 것을 나타내고 있다. 실험에서는

로 설정하였다. 프레임이 낮은 영상에서는 물체의 크기변화가 급격하게 발생하는 경우에는 적절한 값으로 조정할 수 있다.

이중 Spatiogram은 한 영상의 영역에 대해서 전체영역과 내부영역의 두 Spatiogram을 생성하여 특징으로 사용하는 기법이다

도 3. 이중 Spatiogram를 사용한 크기 추정 (물체가 작아진 경우)

도 3(a),(c).는 참조모델의 특징을 전체영역에 대한 Spatiogram

과 내부영역 Spatiogram

을 나타낸다. 도 3(b),(d)는 타겟의 크기가 변화한 영상에 분포된 n번째 샘플에서 관측하는 전체와 내부 영역에 대한 두 Spatiogram

와

를 획득하는 부분을 나타내고 있다. 도 3의 경우는 타겟의 크기가 줄어든 상황으로 이를 측정하는 교차비교법은 수학식 8과 같다.

수학식 8을 사용하여 두 영상의 유사도를 측정하면 2x2의 행렬을 계산할 수 있으며, 교차비교된 유사도행렬의 각 원소는 수학식 9와 같이 나타난다.

수학식 9는 참조모델 Q와 후보물체 P를 교차비교하는 행렬의 원소를 나타낸다. 참조모델 Q와 후보물체 P의 크기가 도 3과 같이 줄어든 경우

가 가장 크게 측정된다. 도 4와 같이 물체P의 크기가 일정한 경우에는

또는

가 가장 크고, 크기가 증가한 경우에는

가 가장 크게 나타난다.

과

는 물체의 크기가 일정한 경우에 비슷한 수치가 측정된다. 따라서 본 발명에서는

를 사용하여 물체의 크기변화를 측정하였다. 수학식 10은 두 물체 Q, P의 유사도를 설정하는 방법을 나타내고 있다. 수학식 9를 통해 계산된 3개의 유사도 측정값 중에서 가장 유사도가 높은 값을 해당 샘플 위치의 유사도로 설정하는 것을 나타내고 있다.

타겟의 크기는 수학식 11과 같은 방법으로 갱신한다.

물체의 크기가 보다 작은 크기로 증감한 상태에서 추정되는 물체의 크기가 진동하는 형태로 나타나는 것을 방지하기 위해서 물체의 크기갱신을

/2로 설정하여 사용하였다.

본 발명에 따르면, 영상 내 추적 물체의 크기 측정에 있어서, 추척 물체의 영상 크기의 대, 소에 관계없이 추적 물체의 정확한 획득 및 크기 조절이 가능하여 정지 영상에서 주로 사용된 검출 기능과 인식 기능을 비디오 영상에 적용할 수 있는 효과가 있다

이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 발명의 본질적 특성을 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하다. 따라서, 본 발명에 표현된 실시 예들은 본 발명의 기술적 사상을 한정하는 것이 아니라, 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 특허청구범위에 의하여 해석되어야 하고, 그와 동등하거나, 균등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (2)

1. 영상 내 추적 물체의 크기 측정에 있어서
   영상 내부의 상기 추적 물체를 선정하는 단계;
   상기 추적 물체에 화소를 분사하는 단계; 및
   상기 추적 물체를 어림 계산하여 추적 물체의 영상을 획득하는 단계;
   를 포함하는 이중 Spatiogram 사용 방법.
   
2. 제 1항에 있어서,
   상기 추적 물체를 어림 계산하여 추적 물체의 영상을 획득하는 단계는
   전체영역

   

   과 내부영역

   

   에서
   

   

   는 Spatiogram의 두 구성 요소인 Q, P의 유사도 정도를 나타내고
   

   

   
   
   을 특징으로 하는 이중 Spatiogram 사용 방법.
   
   

Images