KR101254087B1

KR101254087B1 - 추적기의 강탈 회피를 위한 벌점 그래프 기반의 다중 영상 객체 추적 방법

Info

Publication number: KR101254087B1
Application number: KR1020110075049A
Authority: KR
Inventors: 오치민; 김종구; 서융호; 이칠우
Original assignee: 전남대학교산학협력단
Priority date: 2011-07-28
Filing date: 2011-07-28
Publication date: 2013-04-12
Also published as: US20140177923A1; WO2013015601A1; KR20130013416A; US9349065B2

Abstract

본 발명은 다중 영상 객체 추적 방법에 관한 것으로, 보다 구체적으로는 다중 객체 추적시 근거리에 있는 객체들 간에 서로 식별자가 바뀌거나 사라지는 현상인 강탈 현상(hijacking problem)을 방지할 수 있는 추적기의 강탈 회피를 위한 벌점 그래프 기반의 다중 영상 객체 추적 방법에 관한 것이다.

Description

추적기의 강탈 회피를 위한 벌점 그래프 기반의 다중 영상 객체 추적 방법{Multiple object tracking based on penalty graph for avoiding hijacking problem of trackers}

다중 영상 객체의 추적 기술은 인간과 컴퓨터의 상호작용(HCI:Human computer interaction)에 관한 기술로써, 최근 들어, 테이블탑 디스플레이, 스마트폰, 스마트TV와 같은 멀티터치를 활용한 장치의 증가로 주목받고 있으며 보다 직관적인 인터페이스를 위하여 멀티터치 추적분야에서 크게 활용되고 있다.

또한, 다중 영상 객체의 추적 기술은 멀티 터치에 의해 발생하는 여러 개의 터치 영역에 각각 식별정보를 부여하고 터치 영역이 이동하더라도 지속으로 동일한 식별번호가 부여되도록 하는 기술이다.

그러나 종래의 다중 영상 객체 추적 기술은 이전 객체의 위치에만 기반하여 추적이 이루어지므로 영상 객체들이 서로 근접하여 위치할 경우 한 개의 영상 객체로 인식되어 어느 하나의 영상 객체의 식별정보가 사라지거나, 두 개의 영상 객체의 식별정보가 서로 뒤바뀔 수 있으며, 하나의 객체가 두 개의 식별정보를 가져갈 수 있는 추적기 강탈 현상이 발생하는 문제점이 있다.

본 발명자들은 영상 객체 추적시 강탈 현상을 방지하여 다중 영상 객체의 추적 성공률을 높이기 위해 연구 노력한 결과, 서로 인접한 영상 객체들 간의 거리를 고려하여 가중치를 계산함으로써, 영상 객체들이 하나로 인식되거나 식별정보가 서로 뒤바뀌지 않게 할 수 다중 영상 객체 추적 방법의 기술적 구성을 개발하게 되어 본 발명을 완성하게 되었다.

따라서, 본 발명의 목적은 영상 객체 추적시 강탈 현상을 방지하여 다중 영상 객체 추적의 성공률을 높일 수 있는 다중 영상 객체 추적 방법을 제공하는 것이다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기의 목적을 달성하기 위하여 본 발명은 이전 영상에서 추적된 영상객체로부터 입자들(patricle)을 리-샘플링(re-sampling)하고, 리-샘플링된 각 입자들의 가중치를 계산하며, 각 입자의 위치에 해당 가중치를 곱한 값을 기반으로 현재 영상에서 상기 영상객체들의 위치를 예측하여 추적하는 다중 영상객체 추적 방법에 있어서, 상기 이전 영상의 영상객체가 임계거리 내에 위치하는 이웃 영상객체를 갖는 경우, 상기 영상객체로부터 샘플링된 입자들의 가중치는, 해당 입자의 위치에 대응하는 상기 현재 영상의 영상 값(픽셀 값)에 해당 입자와 상기 이웃 영상객체와의 거리 값인 벌점이 곱해져 계산되는 것을 특징으로 하는 다중 영상 객체 추적 방법을 제공한다.
바람직한 실시예에 있어서, 상기 벌점은 '0'에서 '1'사이의 값이고, 상기 이웃 영상객체와 상기 임계거리 내에 있는 입자들의 벌점은 '1'로 계산되고, 상기 이웃 영상객체와 동일한 위치에 겹치는 입자들의 벌점은 '0'으로 계산되며, 상기 임계 거리 내에서 상기 이웃 영상객체와 가까운 입자들일수록 벌점이 '0'에 가깝도록 계산된다.

삭제

바람직한 실시예에 있어서, 상기 현재 영상 내에서 상기 영상객체의 위치는 상기 각 입자들의 위치에 해당 가중치를 곱한 위치들의 평균값으로 예측된다.

바람직한 실시예에 있어서, 상기 이전 영상에서 영상객체들의 위치를 추적한 후에, 각 영상객체에 대해 상기 임계거리 내에 이웃 영상객체가 있는지 판단하고, 이웃 영상객체가 있는 영상객체들인 제1 영상객체의 위치좌표 집합과, 상기 제1 영상객체의 위치좌표와 상기 제1 영상객체의 이웃 영상객체의 위치좌표를 서로 대응시킨 정보인 에지 정보 집합으로 이루어지는 벌점 그래프를 생성하는 단계를 더 포함하고, 상기 벌점은 상기 위치좌표 집합에 존재하는 제1 영상객체의 입자들에 대해서 상기 제1 영상객체의 에지 정보로 묶여있는 이웃 영상객체와의 거리 값으로 계산된다.

바람직한 실시예에 있어서, 상기 벌점 그래프는 아래의 수학식에 의해 계산된다.

[수학식]

여기서, G는 벌점 그래프, V는 위치좌표 집합, E는 에지 정보 집합, X_i _,t는 제1 영상객체, X_j _,t는 이웃 영상객체이다.

바람직한 실시예에 있어서, 상기 현재 영상에서 영상객체들의 위치를 추적한 후에 추적된 영상객체들에 대해서 상기 벌점 그래프를 갱신하고, 갱신된 벌점 그래프를 다음 영상에서 영상객체들의 위치 추적시에 벌점계산의 기반으로 사용한다.

또한, 본 발명은 상기 다중 영상 객체 추적 방법을 컴퓨터를 수단으로 기능시켜 수행할 수 있는 다중 영상 객체 추적 프로그램이 저장된 매체를 더 제공한다.

또한, 본 발명은 상기 다중 영상 객체 추적 프로그램이 저장되고 통신망을 통해 상기 다중 영상 객체 추적 프로그램을 전송할 수 있는 서버 시스템을 더 제공한다.

또한, 본 발명은 다중 영상 객체 추적 프로그램이 설치되어 상기 다중 영상 객체 추적 방법을 수행할 수 있는 컴퓨터 시스템을 더 제공한다.

본 발명은 다음과 같은 우수한 효과를 가진다.

먼저, 본 발명의 다중 영상 객체 추적 방법에 의하면 벌점 그래프를 이용하여 각 입자들의 가중치에 인접한 영상 객체인 이웃 영상 객체의 거리에 반비례하는 벌점을 부가함으로써, 각 영상 객체의 위치가 이웃 영상 객체의 위치와 서로 너무 근접하지 않도록 갱신하여 객체 추적에 강탈현상을 방지할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 다중 영상 객체 추적 방법의 흐름도,
도 2는 본 발명의 일 실시예에 따른 다중 영상 객체 추적 방법에서 추적의 대상이 되는 영상 객체를 설명하기 위한 도면,
도 3은 본 발명의 일 실시예에 따른 다중 영상 객체 추적 방법의 벌점 그래프를 설명하기 위한 도면,
도 4는 본 발명의 일 실시예에 다른 다중 영상 객체 추적 방법의 벌점을 설명하기 위한 도면이다.

본 발명에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있는데 이 경우에는 단순한 용어의 명칭이 아닌 발명의 상세한 설명 부분에 기재되거나 사용된 의미를 고려하여 그 의미가 파악되어야 할 것이다.

이하, 첨부한 도면에 도시된 바람직한 실시예들을 참조하여 본 발명의 기술적 구성을 상세하게 설명한다.

그러나, 본 발명은 여기서 설명되는 실시예에 한정되지 않고 다른 형태로 구체화 될 수도 있다. 명세서 전체에 걸쳐 동일한 참조번호는 동일한 구성요소를 나타낸다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 다중 영상 객체 추적 방법은 이차원 평면에서 위치정보를 갖는 객체를 추적하기 위한 것으로, 본 발명에서는 터치 스크린(10)에서 터치점(11)인 영상 객체를 추적하는 것을 예로 들었으나 위성 사진에서의 객체의 움직임 또는 보안 등을 위한 감시 영상에서 객체의 움직임 등, 이차원 평면에서 위치정보 갖는 객체를 추적하기 위한 어떠한 기술에도 적용이 가능하다.

또한, 본 발명의 일 실시예 따른 다중 영상 객체 추적 방법은 실질적으로 다중 영상 객체 추적 프로그램이 설치된 컴퓨터 시스템이 각 수단으로 기능하여 수행되고, 상기 컴퓨터 시스템은 컴퓨터로 읽을 수 있는 매체나 통신망을 통해 연결된 서버 시스템으로부터 상기 프로그램을 전송받아 설치한 후, 다중 영상 객체 추적을 수행할 수 있다.

또한, 본 발명의 일 실시예에 따른 다중 영상 객체 추적 방법은 파티클 필터(particle filter)와 같이 이전 영상에서 추적된 영상객체로부터 입자들을 리-샘플링하고, 리-샘플링된 입자들에 가중치를 부여함으로써 가중치가 부여된 입자들로부터 현재 영상의 영상 객체를 예측하는 모든 방법에 적용이 가능하다.

또한, 본 발명의 일 실시예에 따른 다중 영상 객체 추적 방법은 입자들에 가중치를 부여하는 방법에 있어서 종래의 다중 영상 객체 추적 방법과 차이가 있으나, 설명의 편의와 이해를 돕기 위해 다중 영상 객체 추적 방법의 전체 과정을 함께 설명하기로 한다.

먼저, 현재 영상이 입력된다(S1000).

또한, 도 2를 참조하면, 상기 현재 영상은 터치 스크린(10)에서 입력되는 영상인 것을 예로 들었으나, 상기 터치 스크린(10) 자체에서 터치 점(11) 즉, 추적하고자 하는 객체의 위치정보를 생성하여 출력해주는 경우에는 아래의 영상 객체 추출 및 위치 정보 획득의 단계가 생략될 수 될 수 있으며, 추적하고자 하는 대상도 영상 객체가 아닌 위치 정보를 갖는 일정한 객체일 수 있다.

다음, 상기 현재 영상에서 영상 객체(X₁ _,t,X₂ _,t,X₃ _,t,X₄ _,t)의 추출하고 위치정보를 획득한다(S2000).

또한, 본 발명에서는 상기 영상 객체(X₁ _,t,X₂ _,t,X₃ _,t,X₄ _,t)의 위치를 적분영상을 이용하여 추출하였으며, 적분영상은 객체가 존재하지 않는 영역(12)의 픽셀은 '0'의 픽셀 값을 갖고 객체가 존재하는 영역은 '1'의 픽셀 값을 갖는 이진영상으로부터 얻어진다.

즉, 이진 영상 내에서 흰색의 픽셀이 많은 영역의 위치가 상기 영상 객체(X₁ _,t,X₂ _,t,X₃ _,t,X₄ _,t)로 추출된다.

본 발명에서는 상기 영상 객체(X₁ _,t,X₂ _,t,X₃ _,t,X₄ _,t)를 터치 점의 외부를 감싸는 사각형 영역으로 추출하였다.

또한, 추출된 각 영상 객체(X₁ _,t,X₂ _,t,X₃ _,t,X₄ _,t)는 추적목록에 등록되며 서로 다른 식별자로 레이블링(labling)된다.

그러나, 이전 영상에서 객체 추적이 있었을 경우, 새로운 객체가 있는지 판단하고(S3000), 새로운 객체가 있을 경우, 추적 목록에 등록하고 새로운 식별자로 레이블링한다(S3100).

다음, 벌점 그래프(G)를 생성한다(S4000).

또한, 상기 벌점 그래프(G)는 위치좌표 집합(V)과 에지 정보 집합(E)을 갖는 정보로 정의하며, 상기 위치좌표 집합(V)은 상기 영상 객체들(X₁ _,t,X₂ _,t,X₃ _,t,X₄ _,t) 중, 임계거리(C) 내에 다른 영상 객체인 이웃 영상 객체가 존재하는 영상 객체들의 집합으로 정의하고, 상기 에지 정보 집합(E)은 서로 상기 임계거리(C) 내에서 존재하는 영상 객체들을 대응시켜 짝지은 영상 객체 묶음의 집합으로 정의하기로 한다.

또한, 도 3을 참조하면, 본 발명의 실시예에서는 제1 영상객체(X₁ _,t)와 제2 영상객체(X₂ _,t)가 서로 임계거리(C) 내에 존재하고, 제3 영상객체(X₃ _,t)와 제4 영상객체(X₄ _,t)가 서로 임계거리(C) 내에 존재하므로, 상기 벌점 그래프(G)는 아래의 수학식 1과 같이 표현할 수 있고, 상기 위치좌표 집합(V)는 아래의 수학식 2와 같이 네 개의 위치좌표를 갖는 집합으로 계산되고, 상기 에지 정보 집합(E)는 제1 영상객체(X₁ _,t)와 제2 영상객체(X₂ _,t)가 짝지어진 하나의 묶음(X₁ _,t,X₂ _,t)과 상기 제3 영상객체(X₃ _,t)와 제4 영상객체(X₄ _,t)가 짝지어진 다른 하나의 묶음(X₃ _,t,X₄ _,t), 즉, 아래의 수학식 3과 같이 두개의 영상 객체 묶음의 집합으로 계산된다.

즉, 상기 벌점 그래프(G)는 각 영상객체들(X₁ _,t,X₂ _,t,X₃ _,t,X₄ _,t)에 대해 임계거리(C)에 내에 존재하는 영상 객체의 정보와 각 영상 객체와 인접한 이웃 영상객체의 정보를 갖는다.

다음, 상기 각 영상객체들(X₁ _,t,X₂ _,t,X₃ _,t,X₄ _,t)의 입자집합을 예측한다(S5000).

또한, 상기 각 영상객체들(X₁ _,t,X₂ _,t,X₃ _,t,X₄ _,t)의 입자집합은 각 영상객체의 위치(x,y)에 가우시안 랜덤변수(ε)를 더한 값으로 생성된다.

즉, 상기 입자집합은 해당 영상객체와 가우시안 랜덤변수만큼 떨어진 위치정보를 갖는 객체들의 집합이다.

그러나, 이전 영상에서 리 샘플링된 입자집합이 존재할 경우, 각 입자에 가우시안 랜덤변수가 더해져 현재 영상에서 입자 집합으로 예측될 수 있다.

다음, 예측된 입자들의 입자 가중치를 계산한다(S6000).

또한, 상기 입자 가중치는 상기 입자의 위치에서 영상의 밝기에 비례하여 부여되며, 더욱 자세하게는, 상기 입자는 실질적으로 이차원 위치좌표 이므로 각 입자의 위치를 중심으로 일정한 크기의 영역을 설정하고, 영역 내에 백색 픽셀 즉, 이진 영상에서 픽셀 값이 '1'이 많은 영역은 가중치가 높게 계산되고, '1'이 적은 영역은 가중치가 낮게 계산된다.

또한, 상기 가중치는 '0'에서 '1'사이의 값이며, 모든 입자들의 가중치의 합은 '1'이 되도록 정규화를 수행한다.

다음, 상기 가중치에 벌점을 부여한다(S7000).

또한, 상기 벌점을 계산하는 단계(S7000)는 상기 벌점 그래프(G)를 생성하는 단계(S4000)와 함께 본 발명의 핵심이 되는 단계로써, 입자 예측의 기반이 되는 영상 객체가 이웃 영상객체를 갖는 경우 각 입자와 이웃 영상객체의 거리에 반비례하는 벌점을 계산하여 가중치에 곱함으로써 이웃 영상객체와의 거리가 가까운 입자들은 가중치가 낮게 계산되고, 거리가 먼 입자들은 가중치가 높게 계산되게 하는 단계이다.

도 4는 상기 제2 영상객체(X₂ _,t)의 입자들(particle)에 대한 벌점계산의 일례를 보여주는 것으로, 도 4를 참조하면, 상기 벌점은 '0'과 '1' 사이의 값이며, 상기 제2 영상객체(X₂ _,t)의 각 입자들은 상기 제2 영상객체(X₂ _,t)의 이웃 영상객체인 제1 영상객체(X₁ _,t)와의 거리에 반비례하여 벌점이 계산된다.

즉, 상기 제2 영상객체(X₂ _,t)의 입자들(particle) 중, 상기 제1 영상객체(X₁ _,t)의 임계거리(C)에 존재하는 제1 입자(x_t ¹,y_t ¹)는 상기 제1 영상객체(X₁ _,t)와 의 거리(d1)가 임계거리(C)와 동일하므로 '1'의 벌점을 갖고, 극단적으로 상기 제1 영상객체(X₁ _,t)와 동일한 위치에 존재하는 입자의 경우'0'의 벌점을 갖는다.

또한, 임계거리(C) 내에 위치하는 제2 입자(x_t ²,y_t ²)는 '1'과 '0'사이의 값으로 벌점을 갖는다.

예를 들어, 상기 제2 입자(x_t ²,y_t ²)가 상기 제1 영상객체(X₁ _,t)로부터 '0.5C'의 거리(d2)만큼 떨어져 있을 경우 상기 제2 입자(x_t ²,y_t ²)의 벌점은 '0.5'(0.5C/C)가 된다.

또한, 임계거리(C)를 벗어난 제3 입자(x_t ³,y_t ³)의 경우에는 별도로 벌점이 계산되지 않는다. 그러나 상기 제3 입자(x_t ³,y_t ³)에 '1'을 초과하는 벌점으로 계산하여 가중치를 증가시킬 수 있음은 물론이다.

즉, 이웃 영상객체에 가깝게 존재하는 입자들은 '0'에 가까운 낮은 벌점이 곱해지므로 가중치가 낮게 계산되어, 현재 영상에서 영상 객체 위치 예측시 반영되는 정도가 낮아진다.

따라서, 인접한 이웃 영상 객체가 존재하는 각 영상 객체의 위치는 이웃 영상객체에 너무 근접하게 예측되지 않으므로 추적기의 강탈현상을 방지할 수 있는 것이다.

다음, 가중치가 '0'인 입자들을 영상 객체의 위치 갱신에 영향을 미치지 않도록 제거한다(S8000).

다음, 가중치가 부여된 입자들의 위치를 기반으로 현재 영상에서 영상 객체의 위치를 예측하여 갱신하고, 상기 벌점 그래프(G)도 갱신된 영상 객체의 위치에 따라 갱신한다.

본 발명의 실시예에서는 가중치가 부여된 모든 입자들의 위치 평균값을 현재 영상에서 영상객체의 위치로 예측하여 갱신하였다.

그러나, 일정한 값 이상의 가중치를 갖는 입자들의 위치 평균값이나 가장 큰 가중치를 갖는 입자의 위치 값을 현재 영상에서 영상객체의 위치로 예측하여 갱신할 수 있음은 물론이다.

다음, 상기 입자들을 리 샘플링하여 다음 영상에서 입자 집합 예측에 기반이 될 수 있도록 한다(S9100)

또한, 입자들의 리 샘플링은 일정한 가중치 이하의 입자들은 제거하고, 가중치가 높은 입자들의 복사하여 입자 수를 채우는 과정으로써 다음 추적시 추적성공률을 높일 수 있도록 도와준다.

다음, 다음 영상의 입력이 있는지 확인하고(S9200), 다음 영상의 입력이 있을 경우 영상 객체를 추출하고 위치정보를 획득하는 단계(S2000)로 리턴하고, 없을 경우 종료한다.

이상에서 살펴본 바와 같이 본 발명은 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.

Claims

이전 영상에서 추적된 영상객체로부터 입자들(patricle)을 리-샘플링(re-sampling)하고, 리-샘플링된 각 입자들의 가중치를 계산하며, 각 입자의 위치에 해당 가중치를 곱한 값을 기반으로 현재 영상에서 상기 영상객체들의 위치를 예측하여 추적하는 다중 영상객체 추적 방법에 있어서,
상기 이전 영상의 영상객체가 임계거리 내에 위치하는 이웃 영상객체를 갖는 경우, 상기 영상객체로부터 샘플링된 입자들의 가중치는, 해당 입자의 위치에 대응하는 상기 현재 영상의 영상 값(픽셀 값)에 해당 입자와 상기 이웃 영상객체와의 거리 값인 벌점이 곱해져 계산되는 것을 특징으로 하는 다중 영상 객체 추적 방법.
제 1 항에 있어서,
상기 벌점은 '0'에서 '1'사이의 값이고, 상기 이웃 영상객체와 상기 임계거리 내에 있는 입자들의 벌점은 '1'로 계산되고, 상기 이웃 영상객체와 동일한 위치에 겹치는 입자들의 벌점은 '0'으로 계산되며,
상기 임계 거리 내에서 상기 이웃 영상객체와 가까운 입자들일수록 벌점이 '0'에 가깝도록 계산되는 것을 특징으로 하는 다중 영상 객체 추적 방법.
제 2 항에 있어서,
상기 현재 영상 내에서 상기 영상객체의 위치는 상기 각 입자들의 위치에 해당 가중치를 곱한 위치들의 평균값으로 예측되는 것을 특징으로 하는 다중 영상 객체 추적 방법.
제 2 항에 있어서,
상기 이전 영상에서 영상객체들의 위치를 추적한 후에,
각 영상객체에 대해 상기 임계거리 내에 이웃 영상객체가 있는지 판단하고, 이웃 영상객체가 있는 영상객체들인 제1 영상객체의 위치좌표 집합과,
상기 제1 영상객체의 위치좌표와 상기 제1 영상객체의 이웃 영상객체의 위치좌표를 서로 대응시킨 정보인 에지 정보 집합으로 이루어지는 벌점 그래프를 생성하는 단계를 더 포함하고,
상기 벌점은 상기 위치좌표 집합에 존재하는 제1 영상객체의 입자들에 대해서 상기 제1 영상객체의 에지 정보로 묶여있는 이웃 영상객체와의 거리 값으로 계산되는 것을 특징으로 하는 다중 영상 객체 추적 방법.
제 4 항에 있어서,
상기 벌점 그래프는 아래의 수학식에 의해 계산되는 것을 특징으로 하는 다중 영상 객체 추적 방법.
[수학식]

여기서, G는 벌점 그래프, V는 위치좌표 집합, E는 에지 정보 집합, X_i _,t는 제1 영상객체, X_j _,t는 이웃 영상객체이다.
제 4 항에 있어서,
상기 현재 영상에서 영상객체들의 위치를 추적한 후에 추적된 영상객체들에 대해서 상기 벌점 그래프를 갱신하고, 갱신된 벌점 그래프를 다음 영상에서 영상객체들의 위치 추적시에 벌점계산의 기반으로 사용하는 것을 특징으로 하는 다중 영상 객체 추적 방법.
제 1 항 내지 제 6 항 중 어느 한 항의 다중 영상 객체 추적 방법을 컴퓨터를 수단으로 기능시켜 수행할 수 있는 다중 영상 객체 추적 프로그램이 저장된 매체.
제 7 항의 다중 영상 객체 추적 프로그램이 저장되고 통신망을 통해 상기 다중 영상 객체 추적 프로그램을 전송할 수 있는 서버 시스템.
제 7 항의 다중 영상 객체 추적 프로그램이 설치되어 상기 다중 영상 객체 추적 방법을 수행할 수 있는 컴퓨터 시스템.