KR20090091032A

KR20090091032A - 입자 여과를 이용하여 이동 물체를 추적하는 시스템

Info

Publication number: KR20090091032A
Application number: KR1020090013731A
Authority: KR
Inventors: 겐지 바바; 다카아키 에노하라; 요시히코 스즈키; 유스케 다카하시
Original assignee: 가부시끼가이샤 도시바
Priority date: 2008-02-21
Filing date: 2009-02-19
Publication date: 2009-08-26
Also published as: JP2009199363A; US8223207B2; EP2093712A1; KR101064573B1; CN101515995B; EP2194507B1; EP2093712B1; US20090213222A1; JP4991595B2; EP2194507A1; CN101515995A; ATE529837T1

Abstract

입자 필터(120)를 이용하여 이동 물체를 추적하는 추적 시스템에 있어서, 입자 필터(120)는 카메라의 스크린에 제공된 주어진 배경 영역에 입자를 대기 상태로 초기 배열하고, 상기 물체가 입자에 대하여 갖는 우도에 있어서의 변경에 따라 이동 물체에 대하여 입자를 재배열하도록 구성된다.

입자 여과, 카메라, 초기 배열 모듈, 재배열 모듈, 우도

Description

입자 여과를 이용하여 이동 물체를 추적하는 시스템{SYSTEM FOR TRACKING A MOVING OBJECT, BY USING PARTICLE FILTERING}

본 발명은 입자 여과(particle filtering)를 활용하여, 사람과 같은 이동 물체를 추적하는 시스템에 관한 것이다.

카메라에 의해 획득된 비디오 데이터를 처리함으로써, 걸어가는 사람 또는 다른 이동 물체와 같은 물체를 추적하는 시스템이 개발되어 왔다(예를 들면, 일본국공개특허 제2003-216951호 공보). 최근 몇년, "입자 여과"로 지칭되는 알고리즘에 의해 이동 물체를 추적하는 시스템이 활용되어 왔다(예를 들면, 일본국공개특허 제2006-165688호 공보).

입자 여과를 활용하는 추적 방법에서는, 입자 여과가 수행된다. 입자 여과는 초기화(initialization), 예측(prediction), 우도 추론(likelihood inference) 및 여과(filtering)의 4개의 처리를 포함한다. 상기 추적 방법은 물체의 움직임 모델(motion model)을 묘사할 필요 없이 이동 물체를 추적할 수 있다. 상기 추적 방법의 실례에서는, 이동 물체가 한 그룹의 입자로서 간주되고, 상기 그룹을 구성하는 입자를 추적함으로써, 상기 이동 물체를 추적한다.

이동 물체를 추적하는 종래의 방법은 상기 물체가 존재하는 영역을 추적하거나, 이동 물체(예를 들면, 실루엣 모델(silhouette model))를 이용하여 이 영역을 감지(또는, 초기화 처리를 수행)한 후, 상기 영역을 계속하여 해석함으로써 상기 이동 물체를 추적한다. 상기 종래의 방법에서는, 물체가 존재하는 영역을 감지하는 능력을 증가시키기 위해, 상기 이동 물체가 존재할 수 있는 후보 영역으로서 추출된 영역으로 상기 물체의 움직임 모델이 도입될 수 있다. 그러나, 상기 움직임 모델이 이용되더라도, (특정 카메라 화각(view angle)에서) 보여지는 이동 물체 또는 그 영역을 감지하는 능력으로 인해, 때때로 후보 영역의 형상이 변경된다면, 그 영역을 추적하는 능력이 감소될 수 있다.

입자 여과를 활용하는 추적 방법은 상기 물체의 움직임 모델을 묘사하지 않고도 이동 물체를 추적할 수 있으므로 유리하다. 그러나, 다음의 측면에서 상기 추적 방법에는 불리한 면이 있다.

전술한 바와 같이, 상기 입자 여과를 이용하는 추적 시스템은, 예를 들면 초기화, 예측, 우도 추론 및 여과의 4개의 처리로 이루어진다. 초기화 처리에서는, 이동 물체(예를 들면, 사람)가 감지(추출)된 후, 입자가 초기 배열된다.

상기 이동 물체는 단렌즈 카메라를 이용하여 감지될 수 있다. 그러나, 이 경우, 배경이 복잡하고 다른 물체가 많이 존재한다면, 상기 물체가 거의 감지될 수 없다. 또한, 초기값이 원하는 바와는 달리 정확하지 않다면, 감지된 제1 이동 물체에서 획득된 초기값에 기초해서는 다른 이동 물체가 양호하게 추적될 수 없다. 이 관점에서, 이동 물체는 초기화 처리에서 감지되지 않아야 하거나, 또는 상기 물 체를 감지하는 능력을 증가시키기 위하여 약간의 조치가 행해져야 한다.

예측 처리에서는, 사전에 규정된 시스템 모델이 이용된다. 이 시스템 모델은 배경에 의해 영향을 받을 수 있고, 특히 추적될 물체가 걷고 있는 사람이라면 더욱 그렇다. 왜냐하면, (무작위 걸음 파라미터에 따른) 사람의 소위 무작위 걸음으로 인하여 걷고 있는 사람을 규정하는 입자의 수가 감소되기 때문이다. 즉, 시스템 모델은 사람의 무작위 걸음과 양립할 수 있지만, 추적될 사람의 외측에 배치될 수는 없을 것이다. 필연적으로, 시스템 모델은 우도 추론 처리에서 배경이 높은 우도를 갖는 것으로 판단된다면, 잘못된 위치로 위치결정될 수 있다.

상기 입자를 재배열하는 처리에서는, 예를 들면 몇 명의 사람들이 카메라에서 볼 때 서로 중첩되어 촬영된다면, 소위 "교합(occlusion)"이 발생할 수 있다. 교합이라 함은 화상이 부분적 또는 전체적으로 그늘지게 촬영되어 화상이 인식될 수 없는 시각적 현상을 말한다. 교합이 발생하면, 앞에 서 있는 사람만이 높은 우도를 가질 것이다. 결과적으로, 상기 입자는 이 사람에 밀집하여 배열될 수 있다.

교합이 발생하는 동안에 입자 여과를 이용한 추적 방법이 개시된다면, 뒤에 서 있는 사람에게는 입자가 배열되지 않으므로, 교합이 취소된 후이더라도 그늘지게 된다. 즉, 초기화 처리에서 교합이 발생하면, 앞에 서 있는 사람만이 추적될 것인 반면, 이 사람 뒤에 서 있는 사람은 전혀 추적되지 않을 것이다.

본 발명의 목적은 초기화 처리에서 이동 물체를 감지하는 능력과는 상관없이, 이동 물체에 대하여 입자를 신뢰성 있게 배열할 수 있고, 이에 의해 이동 물체를 추적하는 능력을 향상시킬 수 있는 입자 여과를 이용하는 추적 방법을 수행하는 추적 시스템을 제공하는 것이다.

본 발명의 일 양태에 따른 추적 시스템은 입자 여과를 이용하여 이동 물체를 추적하도록 구성된다. 이 시스템은 상기 이동 물체를 촬영하도록 구성된 카메라; 상기 카메라에 의해 촬영된 화상에 포함된 배경에, 입자를 대기 상태로 배열하도록 구성된 초기 배열 모듈; 및 상기 대기 상태로 배열된 입자의 우도(likelihood)에 있어서의 변경에 따라, 상기 화상에 포함된 상기 이동 물체에 대하여 상기 입자를 재배열하도록 구성된 재배열 모듈을 포함한다.

본 발명에 따르면, 초기화 처리에서 이동 물체를 감지하는 능력과는 상관없이, 이동 물체에 대하여 입자를 신뢰성 있게 배열할 수 있고, 이에 의해 이동 물체를 추적하는 능력을 향상시킬 수 있는 입자 여과를 이용하는 추적 방법을 수행하는 추적 시스템이 제공될 수 있다.

본 명세서에 포함되어 그 일부를 구성하는 첨부 도면은 발명의 실시예를 도 시하며, 전술한 설명 및 후술하는 실시예의 상세한 설명과 함께 본 발명의 원리를 설명한다.

첨부 도면을 참조하여 본 발명의 실시예를 설명한다.

[제1 실시예]

(시스템의 구성)

도 1은 제1 실시예에 따른 추적 시스템(1)의 주요 구성요소를 나타내는 블록도이다.

도 1에 나타낸 바와 같이, 추적 시스템(1)은 제1 및 제2 카메라(10A, 10B)와, 인터페이스(11A, 11B)와, 통합 처리 유닛(12)과, 디스플레이 제어 유닛(13)과, 디스플레이 유닛(14)을 갖는다. 인터페이스(11A, 11B)는 카메라(10A, 10B)에 각각 접속된다.

제1 및 제2 카메라(10A, 10B)는, 예를 들면 건물에 설치된다. 이것들은 건물 내에서 걷고 있는 사람과 같은 이동 물체를 촬영하는 비디오 카메라이다. 인터페이스(11A)는 카메라(10A)에 의해 획득된 비디오 데이터를 처리하여 디지털 비디오 신호를 생성한다. 마찬가지로, 인터페이스(11B)는 카메라(10B)에 의해 획득된 비디오 데이터를 처리하여 디지털 비디오 신호를 생성한다. 디지털 비디오 신호는 통합 처리 유닛(12)에 공급된다.

통합 처리 유닛(12)은 추적 시스템(1)의 주요 유닛이다. 이 유닛(12)은 컴퓨터 하드웨어와 소프트웨어로 이루어지고, 본 실시예에 따른 추적 방법을 수행하도록 구성된다. 통합 처리 유닛(12)은, 후술하는 바와 같이 이 실시예에 따른 입 자 여과를 수행하는 입자 여과 처리 유닛(120)을 포함한다. 이하에서는, 입자 여과 처리 유닛(120)을 "입자 필터"로 지칭하기로 한다. 입자 필터(120)는 입자 여과를 달성하기 위해 다양한 처리를 수행하는 모듈에 대응한다.

디스플레이 제어 유닛(13)은 디스플레이 유닛(14)이 그 스크린 상에, 통합 처리 유닛(12)이 수행한 추적 방법의 결과를 나타내는 데이터, 또는 카메라(10A, 10B)가 촬영한 화상을 디스플레이하도록 할 수 있다.

(추적 시스템의 동작)

이하에서는, 주요 유닛으로서 입자 필터(120)를 갖는 추적 시스템(1)이 동작하는 방법을 설명한다.

먼저, 도 2의 흐름도를 참조하여, 입자 필터(120)가 수행하는 기본 순서를 설명한다.

도 2에 나타낸 바와 같이, 입자 필터(120)는, 카메라(10A, 10B)에 의해 촬영된 화상에 관한 비디오 데이터에 대하여, 전술한 순서대로 초기화 처리, 예측 처리, 우도 추론 처리 및 여과 처리를 수행한다.

초기화 처리에서는, 입자 필터(120)는 배경 차이, 시간 차이 및 가장자리 데이터를 감지하고, 걷고 있는 사람과 같은 이동 물체를 감지(추출)하여 입자를 초기 배열한다(단계 S1). 보다 구체적으로, 입자 필터(120)는 카메라(10A, 10B)에 의해 촬영된 화상(화각)에 입자(31)를 배열하여, 디스플레이 유닛(14)의 스크린(100) 상에 디스플레이함으로써, 추출된 걷고 있는 사람의 화상(30)을 형성하는 초기화 처리를 수행한다.

예측 처리에서는, (예를 들면, 사람과 같은 물체의 움직임 모델과는 상이한) 시스템 모델이 규정되고, (예를 들면, 사람과 같은) 물체의 움직임이 예측된다(단계 S2). 보다 정확하게는, 사람과 같은 물체의 움직임(32)이 예측되고, 이 예측된 움직임(32)에 기초하여 입자(31)가 배열된다.

우도 추론 처리에서는, 사람과 같은 이동 물체의 특성값을 우도 함수로서 규정하고, 이에 의해 배열된 입자의 각각의 신뢰성을 판정한다(단계 S3). 우도는 사람과 같은 이동 물체를 추적하는데 이용되는 특성값에 따라 좌우되고, 따라서 입자 여과를 활용하는 추적 방법의 수행을 판정하는 요소가 된다. 여과 처리에서는, 낮은 우도를 갖는다고 추론된 입자가 재배열된다(단계 S4). 보다 구체적으로, 이들 입자는 도 3의 (c)에 나타낸 바와 같은 움직임(32)을 만드는 사람의 걸음에 따라 재배열된다. (이 경우, 상기 물체가 스크린(100)으로부터 결국 사라지고, 이 때에 추적이 종료된다.)

전술한 기본 처리의 순서와는 달리, 이 실시예에 따른 입자 필터(120)는 사람과 같은 이동 물체를 감지한 결과(즉, 추출 결과)를 이용함으로써 입자를 초기 배열하는 초기화 처리가 아니라, 상기 입자를 스크린(화각)(100)에 예비로 배열(또는 분산)하는 단계를 포함하는 처리를 수행한다.

도 4의 흐름도 및 도 5의 (a) 내지 (d)를 참조하여, 본 발명에서 입자 필터(120)가 수행하는 초기화 처리의 순서를 설명한다.

먼저, 입자 필터(120)는 도 5의 (a)에 도시한 바와 같이 스크린(화각)(100)의 주어진 배경 영역에 대기 상태로 입자(31)를 초기 배열한다(단계 S11). 도 5의 (a)는 스크린(100)의 화각 가장자리에만 입자(31)가 들어간 경우를 나타낸다. 도 5의 (b)는 전체 스크린(화각)(100) 상에 입자(31)가 배열된 경우를 나타낸다. 도 5의 (c)는 대기 상태에서의 입자(31)가 몇 개의 그룹(50)으로 분할된 경우를 나타낸다. 각각의 그룹(50)의 크기는 걷고 있는 사람이 스크린 상에서 양호하게 보일 수 있도록 조정된다.

다음으로, 입자 필터(120)는 대기 상태에서 배열된 입자(31) 상에 우도 추론 처리를 수행한다(단계 S12). 그 후, 어느 입자(31)가 상대적으로 높은 우도를 나타내는지의 여부가 판정된다(단계 S13). 어느 입자(31)가 상대적으로 높은 우도를 나타낸다면(단계 S13에서 YES라면), 사람과 같은 이동 물체가 스크린(100)에 존재하지 않는 것으로 판정된다(단계 S14). 이 경우, 배경 영역에 배열된 입자(31)는 대기 상태를 유지한다(단계 S15).

한편, 사람과 같은 이동 물체(51)가 도 5의 (d)에 나타낸 바와 같이 스크린(화각)(100)으로 이동하면, 이동 물체(51)를 규정하는 입자가 나타내는 우도는 상대적으로 낮은 값으로 변경된다(즉, 단계 S13에서 NO). 이 경우, 사람과 같은 이동 물체(51)가 스크린(100)으로 입장했다고 판정된다.

대기 상태에서의 입자가 나타내는 우도가 상대적으로 낮은 값으로 변경된다면, 입자 필터(120)는 여과 처리를 수행하여, 사람과 같은 물체(51)에 입자(31)를 재배열한다. 그 후, 입자 필터(120)는 입자(31)를 이용한 추적 방법을 개시한다.

전술한 바와 같이, 이 실시예에 따른 입자 필터(120)는 사람과 같은 이동 물체를 감지(추출)하는 처리(즉, 추출 결과) 없이도, (추적 방법을 수행하기 전에) 사람과 같은 이동 물체에 대하여 입자의 초기 배열을 행할 수 있다. 그러므로, 이동 물체에 대한 입자의 초기 배열은, 입자 필터(120)를 갖는 추적 시스템(1)에서, 이동 물체를 감지하는 능력과 상관없이 신뢰성 있게 달성될 수 있다. 이것은 이동 물체를 감지하는 능력을 향상시키는데 도움이 된다.

본 실시예에서 초기화 처리를 수행하는 입자 필터(120)는 대기 상태에서 스크린(화각)에 초기 배열된 (즉, 스크린 중 주어진 배경 영역에 분산된) 입자(31)를 처리하는 두개의 선택적인 모드(mode)로 동작할 수 있다. 입자 필터(120)의 이 동작 모드는 "대기 모드"로 지칭된다. 입자 필터(120)는, 후술하는 바와 같이 대기 모드로부터 "추적 모드"로 스위칭될 수 있도록 제어될 수 있다.

대기 모드에서, 입자 필터(120)는 주어진 배경 영역에 입자를 배열한다. 이 모드에서, 입자가 이동하지 않으면(즉, 입자가 특정 위치에 머물러 있으면), 이동 물체가 어느 특성값을 갖는지에 상관없이, 이들은 높은 우도를 계속 나타낸다. 대기 모드가 이와 같이 규정되면, 사람과 같은 이동 물체가 스크린에 출현하는 경우에 배경을 덮을 것이다. 그 결과, 상기 지정한 바와 같이 초기 배열된 각각의 입자는 더 낮은 우도를 나타낼 것이다. 이 때, 입자 필터(120)의 동작 모드가 "추적 모드"로 변경된다.

동작 모드가 대기 모드로부터 추적 모드로 변경될 때, 입자 필터(120)는 스크린에 물체가 출현한 후에 경과된 시간 및 물체(예를 들면, 사람)의 특징(즉, 실루엣 형상 및 크기)으로부터, 또는 후술하는 바와 같이 사전에 탐지된 사람과 같은 물체를 규정하는 입자의 배열과 분포로부터, 입자가 초기 배열되었는지의 여부(초 기화 처리가 완료되었는지의 여부)를 판정한다. 입자의 초기 배열이 완료되는 경우, 입자 필터(120)의 동작 모드는 대기 모드로부터 추적 모드로 스위칭된다. 이와 같이, 입자 필터(120)는 추적 방법을 수행하기 시작한다. 사람과 같은 이동 물체가 스크린 밖으로 이동(또는, "프레임 아웃(frame-out)")하는 경우, 입자 필터(120)의 동작 모드는 추적 모드로부터 대기 모드로 스위칭된다.

[제2 실시예]

도 6의 (a) 내지 (c), 도 7의 (a) 내지 (c), 및 도 8은 본 발명의 제2 실시예에 따른 입자 필터(120)의 동작을 설명하는 다이아그램이다. 이 입자 필터(120)는 도 1에 나타낸 추적 시스템(1)과 구성상 동일한 추적 시스템에 결합된다. 그러므로, 제2 실시예에 따른 추적 시스템에 대한 설명은 생략한다.

이 실시예에 따른 입자 필터(20)는 초기화 처리(즉, 입자의 초기 배열 및 재배열), 예측 처리 및 우도 추론 처리 후에 추적 방법이 수행되고 있는 동안에 발생할 수 있는 교합을 취소하는 기능을 갖는다.

교합은, 예를 들면 몇 명의 사람들이 서로 중첩되어 촬영된다면 발생할 수 있는 현상이다. 교합이 발생하면, 촬영된 화상은 부분적 또는 전체적으로 그늘지게 되어 인식될 수 없게 된다. 교합이 발생하면, 앞에 서 있는 사람만이 높은 우도를 가질 것이다. 입자는 필연적으로 높은 우도를 갖는 이 사람에 밀집하여 배열될 것이다.

보다 구체적으로, 교합은, 도 6의 (a)에 나타낸 바와 같이, 몇 명의 사람(51)이 서로 중첩되면서 스크린(카메라 화각)에 출현할 때에 발생한다. 교합 중 에는, 초기화 처리에서 출현한 입자(편의상, 입자(31A)로 지칭)가 앞에 서 있는 사람(51A)에 밀집하여 재배열된다.

교합이 발생하고 있는 동안에 입자 여과를 이용하는 추적 방법이 개시되는 경우, 앞의 사람(51A)의 뒤에 서 있는 사람(51B)에는 입자가 배열되지 않는다. 즉, 모든 입자는 앞에 서 있는 사람(51A)에 배열된다. 그 결과, 사람(51B)은 스크린에서 사라지고 더 이상 추적될 수 없다.

이 관점에서, 이 실시예에 따른 입자 필터(120)는, 도 6의 (b)에 나타낸 바와 같이, 이동하는 사람(51A)과 동행하는 입자(31B)의 근방에 배열되도록 대기 모드의 입자(31C)를 배열한다. 뒤에 서 있는 사람(51B)이 도 6의 (c)에 나타낸 바와 같이 출현하는 경우, 입자 필터(120)는 대기 모드의 입자(31C)가 사람(51B)을 따르도록 한다. 이에 의해 추적 방법이 행해진다.

도 7의 (a) 내지 (c)는 화상 좌표에서의 입자 분포의 특성에 따라, 취소를 감지하는 방법을 설명하는 다이아그램이다. 이하에서 이 방법을 상세히 설명한다.

도 7의 (a)는 교합이 발생해 있는 상태를 나타낸다. 이 화상은 높은 우도를 가지므로, 앞에 서 있는 사람(51A)에 입자(31A)가 밀집하여 배열된다. 교합이 취소되는 경우, 대기 모드의 입자(31C)는 뒤에 서 있는 사람(51B)을 따르도록 이루어진다.

그 결과, 도 7의 (b)에 나타낸 바와 같이, 입자가 두 그룹의 입자로 분할된다(파선 참조). 즉, 도 7의 (c)에 나타낸 바와 같은 수로 입자가 증가하여, 하나의 그룹(31B)은 앞에 서 있는 사람(51A)에 동반되고, 다른 그룹(31C)은 뒤에 서 있 는 사람(51B)에 동반된다. 화상 좌표에서의 입자의 이러한 분포로부터, 입자 필터(120)는 교합의 취소를 감지할 수 있다.

도 8은 교합의 취소를 감지하는 방법을 설명하는 다이아그램이다. 이 방법에서, 도 8에 나타낸 바와 같은 입자의 우도 히스토그램이 생성되고, 우도 분포에서의 피크(80)가 카운트된다. 이들 피크(80)로부터, 입자 필터(120)는 입자가 그룹들로 분할된 것을 감지하여 교합을 취소할 수 있다.

이와 같이, 본 실시예에서는, 초기화 처리에서 교합이 발생했다면, 사람(51B)에 동반되며 성공적으로 추적된 입자(31B)의 근방에 출현하는 입자(31C)가 사전에 배열된다. 그러므로, 입자(31B)의 뒤에 서 있는 사람(51B)(즉, 물체)은 양호하게 추적될 수 있다. 즉, 초기화 처리에서 교합이 발생하면, 교합을 취소하기 위하여 효과적인 조치가 취해질 수 있다. 이 실시예에 따른 방법은 각각의 그룹의 입자의 분포로부터 교합의 취소를 감지하는데 이용될 수 있다.

[제3 실시예]

도 9 내지 도 11은 본 발명의 제3 실시예에 따른 입자 필터(120)가 동작하는 방법을 설명하는 다이아그램이다. 이 실시예에서도 역시, 입자 필터(120)를 결합한 추적 시스템이 도 1에 나타낸 추적 시스템(1)과 구성상 동일하다. 그러므로, 제3 실시예에 따른 추적 시스템은 설명하지 않는다.

이 실시예에 따른 입자 필터(120)는, 초기화 처리, 예측 처리, 우도 추론 처리 및 여과 처리로 이루어진 추적 방법에서 전술한 초기화 처리가 완료된 후(즉, 입자가 초기 배열된 후에 재배열된 후), 우도 추론 처리에서 우도 값을 제어하는 기능을 갖는다.

먼저, 입자 필터(120)는 사람과 같은 추적될 이동 물체의 특성값을 우도 함수로서 규정한 후, 우도 함수로부터 이동 물체에 배열된 각각의 입자의 우도를 추론한다. 상기 물체가 성공적으로 추적되었는지 아닌지의 여부를 판정하기 위해, 상기 추론된 우도는 특정 임계값과 비교된다. 배경이 복잡하거나 사람과 같은 이동 물체와 특징상 유사하다면, 입자의 우도 분포는 변경된다. 그러므로, 이 실시예에 따른 입자 필터(120)는 입자의 우도 분포에 따라 우도 값을 제어한다.

보다 정확하게는, 이 실시예에 따른 입자 필터(120)는 도 9에 나타낸 바와 같은 우도 임계값(91) 또는 우도 임계값(93)을 설정한다. 임계값(91, 93)에 기초하여, 어느 입자가 정확하게 추적되었는지(어느 입자가 재배열되어야 하는지)가 판정된다. 입자의 우도 분포가 곡선(90)에 의해 지시되는 바와 같은 것이라면, 입자 필터(120)는 우도 값(91)을 설정할 것이고, 입자의 우도 분포가 곡선(92)에 의해 지시되는 바와 같은 것이라면, 입자 필터(120)는 우도 값(93)을 설정할 것이다. 도 9는 어느 입자가 정확하게 추적되었는지를 판정하는데 이용될 임계값이 판정되는 방법을 설명하고 있다. 우도 임계값(91, 93)은 고정되거나 자동 제어될 수 있다.

도 10 및 도 11은 입자의 원하는 우도 분포가 달성될 수 있도록 입자의 재배열이 제어되는 방법을 설명하는 다이아그램이다. 보다 정확하게는, 도 10은 배경이 추적될 물체와 특징상 상이하다면, 입자가 상대적으로 높은 우도를 가질 수 있도록 입자의 재배열을 제어하는 방법을 나타낸다. 도 11은 배경이 추적될 물체와 특징상 유사하다면, 입자가 상대적으로 낮은 우도를 가질 수 있도록 입자의 재배열을 제어하는 방법을 나타낸다. 이와 같이, 배경이 추적될 이동 물체인 사람과 상이 또는 유사한지의 여부에 따라, 입자의 재배열은 우도가 가장 높을 때의 입자의 수를 변경함으로써 제어된다.

전술한 바와 같이, 이 실시예에서는, 배경이 복잡하거나 추적될 이동 물체인 사람과 특징상 유사한지의 여부에 따라 상기 우도 분포가 변경되는 경우, 입자의 우도 분포에 따라 우도 임계값이 제어된다. 따라서, 배열된 입자의 각각의 우도가 신뢰성 있게 추론될 수 있다. 즉, 본 실시예는 입자 그룹의 추론된 우도에 따라 우도 임계값을 동적으로 제어함으로써, 이동 물체를 추적하도록 재배열되어야 하는 입자를 판정하는 기능을 갖는다.

[제4 실시예]

도 12 및 도 13은 본 발명의 제4 실시예에 따른 입자 필터에 적용되는 시스템 모델의 개념을 도시하는 다이아그램이다. 본 실시예에서도 역시, 입자 필터(120)를 결합한 추적 시스템은 도 1에 나타낸 추적 시스템(1)과 구성상 동일하다. 그러므로, 제4 실시예에 따른 추적 시스템은 설명하지 않는다.

이 실시예에 따른 입자 필터(120)는 시스템 모델로 이루어지고 견고한 추적 방법을 수행할 수 있는 하이브리드 형식이다. 보다 구체적으로, 입자 필터(120)는, 예를 들면 무작위 걸음을 추적하는 무작위 걸음 시스템 모델 및 일정 속도의 선형 움직임을 추적하는 선형 움직임 시스템 모델로 이루어진 하이브리드 유닛이다.

도 12에 나타낸 바와 같이, 하이브리드 입자 필터(120)는 무작위 걸음 시스템 모델 및 선형 움직임 시스템 모델에 따라 입자를 분산 및 배열하는 초기화 처리를 수행한다. 다음으로, 하이브리드 입자 필터(120)는 무작위 걸음 시스템 모델에 대하여 예측 처리 및 우도 추론 처리를 수행하고(단계 S22 및 S23), 선형 움직임 시스템 모델에 대하여 예측 처리 및 우도 추론 처리를 수행한다(단계 S24 및 S25).

무작위 걸음 시스템 모델 및 선형 움직임 시스템 모델 중, 다른 입자보다 더 높은 우도의 입자를 갖은 것을 선택한다(단계 S26). 그 후, 이 선택된 시스템 모델(무작위 걸음 또는 선형 움직임 시스템 모델)에 대하여 여과 처리가 수행된다(단계 S27).

이와 달리, 도 13에 나타낸 바와 같이, 먼저 하이브리드 입자 필터(120)는 무작위 걸음 시스템 모델 및 선형 움직임 시스템 모델에 따라 입자를 분산 및 배열하는 초기화 처리를 수행할 수 있다(단계 S31). 그 후, 하이브리드 입자 필터(120)는 무작위 걸음 시스템 모델에 대한 예측 처리를 수행하고(단계 S32), 선형 움직임 시스템 모델에 대한 예측 처리를 수행한다(단계 S33). 다음으로, 하이브리드 입자 필터(120)는 각각의 시스템 모델에서 수행된 예측 처리에서 배열된 입자로부터 높은 우도의 입자를 선택한다(단계 S34). 즉, 높은 우도의 입자는 유효하게 되는 반면, 낮은 우도의 입자는 버려진다. 또한, 하이브리드 입자 필터(120)는 무작위 걸음 시스템 모델 또는 선형 움직임 시스템 모델에 의해 처리되었는지의 여부와는 상관없이, 높은 우도의 입자에 여과 처리를 수행한다(단계 S35).

이와 같이, 이 실시예에서는, 예를 들면 무작위 걸음 시스템 모델 및 선형 움직임 시스템 모델(즉, 일정 속도의 선형 움직임 모델)로 이루어진 하이브리드 입자 필터(120)는 우도 추론 처리시에 높은 우도를 갖는다고 판단되는 입자를 신뢰성 있게 선택할 수 있다. 이에 의해 견고한 추적 방법을 달성할 수 있다.

[제5 실시예]

본 실시예는 도 1에 나타낸 추적 시스템(1)에서 이용하기 위한 입자 필터(120)에 관한 것이다. 이 입자 필터(120)는 추적되는 동안에 입자가 갖는 속성을 나타내는 데이터를 보유한 데이터베이스를 이용한다. 이 입자 필터를 결합한 추적 시스템은 도 1에 나타낸 추적 시스템(1)과 구성상 동일하다. 그러므로, 제5 실시예에 따른 추적 시스템은 설명하지 않는다.

본 실시예에 따른 입자 필터(120)의 데이터베이스는, 입자가 이동 물체를 따른다는 점을 고려하면, 사람과 같은 이동 물체가 스크린(화각)으로부터 외부로 이동(또는 프레임 아웃)할 수 있다는 가정하에서 설계된다. 그러므로, 상기 데이터베이스는 추적될 이동 물체에 대한 속성 정보로서, 입자 분포를 나타내는 데이터 및 각각의 입자의 우도를 나타내는 데이터를 보유한다.

사람이 스크린(화각)에 출현할 경우, 입자 필터(120)는 데이터베이스를 참조한다. 새로 배열된 입자에 대한 속성 데이터에 매우 연관된 이 사람에 대한 속성 데이터가 데이터베이스로부터 검색된다면, 이동 물체가 스크린 내로 나타난(재출현) 것으로 판정된다. 그러므로, 이들 입자에 대한 속성 데이터에 매우 연관된 사람에 대한 속성 데이터가 검색될 수 없다면, 스크린(화각)에 출현한 사람은 스크린에 출현한 새로운 사람으로서 간주된다.

이와 같이, 이 실시예에서는, 추적되는 사람과 같은 물체가 잠시 사라진다면, 스크린(화각)으로부터 일단 프레임 아웃되거나 사라진 사람이 다시 스크린 내로 나타났는지(또는 재출현)의 여부를 용이하게 판정할 수 있다. 따라서, 추적되는 사람이 프레임 아웃 및 재출현하면, 이 사람에서의 입자가 식별될 수 있다(즉, 이들 입자에 대한 데이터가 저장될 수 있다). 이 실시예의 이러한 특정 기능은 (도 1에 나타낸 카메라(10A, 10B)와 같은) 복수의 카메라에 의해 획득된 비디오 데이터 항목을 결합함으로써, 넓은 영역에서 이동하는 물체를 추적할 수 있는 시스템을 제공할 수 있다.

[제6 실시예]

도 14의 (a), (b) 및 도 15의 (a), (b)는 본 발명의 제6 실시예에서 입자 필터(120)가 동작하는 방법을 설명하는 다이아그램이다. 본 실시예에서도 역시, 입자 필터(120)를 결합한 추적 시스템은 도 1에 나타낸 추적 시스템(1)과 구성상 동일하다. 따라서, 제6 실시예에 따른 추적 시스템은 설명하지 않는다.

이 실시예에 따른 입자 필터(120)는 사람과 같은 물체의 모델에 대한 데이터 항목(즉, 실루엣 및 크기)으로부터가 아니라, 예비 데이터로서 이용되는 참조 화상으로부터, 추적될 물체에 존재하는 입자의 배열 및 분포를 탐지한다. 이 탐지된 입자의 배열 및 분포로부터, 입자 필터(120)는 초기 입자 배열이 언제 완료될지를 판정한다. 보다 구체적으로, 상기 물체가 특정 기간 동안 추적된 후, 입자 필터(120)는 상기 탐지에 의해 획득된 입자 분포를 활용함으로써, 초기 입자 배열을 완료할 시기를 판정한다.

도 14의 (a) 및 (b)는 상기 탐지를 통하여 획득된 사람의 분포에 따라 수행되는 추적 방법의 순서를 설명하는 다이아그램이다. 두 사람(51A, 51B), 즉 이동 물체가 도 14의 (a)에 나타낸 바와 같이 한 물체가 다른 물체와 중첩되어, 스크린(화각)으로 입장하는 경우, 교합이 발생한다. 이 교합 동안에는, 입자가 초기화 처리에서 재배열될 때, 입자(31A)는 사람(51B)의 앞에 서 있는 사람(51A)에만 밀집하여 존재한다. 왜냐하면, 사람(51A)은 다른 사람(51B)의 앞에 서므로, 높은 우도를 나타내기 때문이다.

사람(51B)이 사람(51A)과 동행하는 입자(31B)와 함께, 사람(51A)의 뒤에서부터 출현하는 경우, 교합이 취소되므로, 입자(31C)가 사람(51B)과 동행하도록 배열된다. 즉, 이 실시예에 따른 입자 필터는 교합이 취소된 경우에 스크린 내에 출현한 사람(51B)에 입자(31C)를 배열하는 추적 방법을 수행할 수 있다.

도 15의 (a) 및 (b)는 상기 탐지를 통하여 사전에 획득된 입자의 배열 및 분포에 따라 수행되는 추적 방법의 순서를 설명하는 다이아그램이다.

도 15의 (a)에 나타낸 바와 같이, 사람이 아닌 물체(60)가 추적되는 이동 물체인 사람(51A)의 뒤에 존재할 수 있다. 이 경우에도 역시, 최초 배열된 입자(31A)는 물체(60)의 앞에 서 있는 사람(51A)에만 밀집하여 존재한다. 도 15의 (b)에 나타낸 바와 같이 사람(51A)이 걸을 때, 입자(31B)는 사람(51A)을 따른다. 이 점에서, 교합이 취소된다. 그 결과, 물체(60)는 사람(51A)의 뒤에서부터 출현한다.

이 실시예에 따른 입자 필터(120)는 막 출현한 물체(60)가 높은 우도를 갖는 다고 판정하여, 물체(60)에 입자(31D)를 배열한다. 상기 탐지를 통하여 사전에 획득된 입자의 배열 및 분포로부터, 입자 필터(120)는 물체(60)가 사람이 아니라고 판정한다. 그 후, 입자 필터(120)는 입자(31D)가 스크린에서 사라지도록 한다.

이와 같이, 본 실시예는 추적되는 물체에서의 입자의 배열 및 분포에 기초하거나, 또는 상기 탐지를 통하여 획득되거나 사람과의 거리 및 그 크기(형상)에 따른 입자 분포를 활용함으로써, 입자의 초기 배열의 완료를 판정할 수 있다. 이 실시예는 각각의 사람에 입자가 분포되는 방법을 단순히 탐지함으로써 몇 명의 사람들을 추적할 수 있다. 이 경우, 교합의 가능성이 인식될 수 있고, 상기 탐지를 통하여 획득된 데이터는 각각의 사람을 추적할 때에 안내 정보로서 이용될 수 있다.

[제7 실시예]

본 발명의 제7 실시예는 우도 추론 처리에서의 이용을 위한 하이브리드 형식의 입자 필터(120)에 관한 것이다. 이 입자 필터(120)를 결합한 추적 시스템은 도 1에 나타낸 추적 시스템(1)과 구성상 동일하다. 그러므로, 제7 실시예에 따른 추적 시스템은 설명하지 않는다.

이 실시예에 따른 입자 필터(120)는 우도에 대한 하이브리드 평가를 수행한다. 또한, 입자 필터(120)는, 이와 병행하여, 다양한 우도 함수(예를 들면, 휘도(luminance), 구조(texture), 흐림(fog), 색상(color) 등)를 이용한 우도 추론 처리를 수행한다. 그 후, 입자 필터(120)는 상기 우도 추론 처리에서 산출된 우도의 평가 분포로부터, 사람과 같은 이동 물체에 배열된 각각의 입자의 우도를 추론한다.

전술한 바와 같이, 본 실시예에 따른 입자 필터(120)는 우도의 하이브리드 평가를 수행함으로써 우도를 추론하는 기능을 갖는다. 그러므로, 입자 필터(120)는 우도 추론 처리시에 높은 우도의 입자를 선택하여, 궁극적으로 견고한 추적 방법을 달성할 수 있다.

추가적인 이점 및 변형예는 본 발명의 기술분야에 속하는 사람의 입장에서 용이하게 도출될 수 있다. 그러므로, 더 폭넓은 측면에서 본 발명은 본 명세서에서 표현되고 설명된 구체적인 상세 및 대표적인 실시예에 한정되는 것은 아니다. 따라서, 첨부된 청구항 등에 규정된 본 발명의 일반적인 개념의 요지 및 범위를 벗어나지 않는 한도 내에서 다양한 변형예가 도출될 수 있다.

도 1은 본 발명의 제1 실시예에 따른 추적 시스템의 주요 구성요소를 나타내는 블록도.

도 2는 제1 실시예에서 이용되는 입자 여과의 기본 순서를 설명하는 흐름도.

도 3의 (a) 내지 (c)는 제1 실시예에서 수행되는 입자 여과의 초기화 처리를 설명하는 다이아그램.

도 4는 제1 실시예에 따른 입자 여과에서 수행되는 초기화 처리의 순서를 설명하는 흐름도.

도 5의 (a) 내지 (d)는 제1 실시예에 적용되는 초기 입자 배열의 예를 나타내는 다이아그램.

도 6의 (a) 내지 (c)는 본 발명의 제2 실시예에 따른 추적 방법의 순서를 설명하는 다이아그램.

도 7의 (a) 내지 (c)는 제2 실시예에서 교합의 취소를 감지하는 방법을 설명하는 다이아그램.

도 8은 제2 실시예에서 교합의 취소를 감지하는 방법을 설명하는 다이아그램.

도 9는 본 발명의 제3 실시예에서 관찰되는 입자의 우도 분포를 설명하는 다이아그램.

도 10은 제3 실시예에서 수행되는 입자 재배열을 제어하는 방법을 설명하는 다이아그램.

도 11은 제3 실시예에서 수행되는 입자 재배열을 제어하는 다른 방법을 설명하는 다이아그램.

도 12는 본 발명의 제4 실시예에 따른 입자 여과에 적용되는 시스템 모델의 개념을 나타내는 다이아그램.

도 13은 제4 실시예에 따른 입자 여과에 적용되는 시스템 모델의 개념을 나타내는 다른 다이아그램.

도 14의 (a) 및 (b)는 본 발명의 제6 실시예에 따른 추적 방법의 순서를 설명하는 다이아그램.

도 15의 (a) 및 (b)는 제6 실시예에 따른 상이한 추적 방법의 순서를 설명하는 다이아그램.

도면의 주요 부분에 대한 부호의 설명

1 : 추적 시스템 10A, 10B : 카메라

11A, 11B : 인터페이스 12 : 통합 처리 유닛

13 : 디스플레이 제어 유닛 14 : 디스플레이 유닛

30 : 화상 31 : 입자

32 : 움직임 91, 93 : 우도 임계값

100 : 스크린 120 : 입자 필터

Claims

입자 여과(particle filtering)를 이용하여 이동 물체를 추적하는 시스템으로서,

상기 물체를 촬영하도록 구성된 카메라;

상기 카메라에 의해 촬영된 화상에 포함된 배경에, 입자를 대기 상태로 배열하도록 구성된 초기 배열 모듈; 및

상기 대기 상태로 배열된 입자의 우도(likelihood)에 있어서의 변경에 따라, 상기 화상에 포함된 상기 물체에 대하여 상기 입자를 재배열하도록 구성된 재배열 모듈을 포함하는 것을 특징으로 하는 이동 물체를 추적하는 시스템.
제 1 항에 있어서,

상기 재배열 모듈은, 상기 카메라에 의해 촬영된 상기 화상에 존재하는 상기 물체의 우도에 비해, 초기 배열된 입자의 우도가 낮아지면, 상기 물체에 대하여 입자를 재배열하는 것을 특징으로 하는 이동 물체를 추적하는 시스템.
제 1 항에 있어서,

상기 초기 배열 모듈이 상기 대기 상태에서의 입자를 주어진 배경 영역에 대기 모드로 배열하게 하고; 상기 카메라에 의해 촬영된 화상에 상기 물체가 출현하여 상기 대기 모드에서 초기 배열된 입자의 우도가 감소하는 경우, 상기 시스템의 동작 모드가 상기 대기 모드로부터 상기 물체의 추적 처리를 수행하는 추적 모드로 변경되는 것을 감지하고; 상기 시스템의 동작 모드가 상기 대기 모드로부터 상기 추적 모드로 변경될 것을 감지함으로써, 입자의 초기 배열의 완료를 감지하는 경우에 상기 재배열 모듈이 상기 물체에 대하여 상기 입자를 재배열하게 하고; 상기 입자의 초기 배열의 완료 후에 상기 시스템의 동작 모드를 상기 대기 모드로부터 상기 추적 모드로 변경하도록 구성된 제어 모듈을 더 포함하는 것을 특징으로 하는 이동 물체를 추적하는 시스템.
제 3 항에 있어서,

상기 동작 모드가 상기 추적 모드로 변경된 후, 상기 물체가 상기 카메라에 의해 촬영된 화상으로부터 사라지는 경우, 상기 제어 모듈은 상기 동작 모드를 상기 추적 모드로부터 상기 대기 모드로 변경하는 것을 특징으로 하는 이동 물체를 추적하는 시스템.
제 1 항에 있어서,

상기 입자가 상기 물체를 따르게 함으로써, 상기 초기 배열 모듈이 상기 입자를 초기 배열한 후에 추적 처리를 수행하도록 구성된 모듈; 및

상기 재배열 모듈이 상기 입자를 초기 배열한 후에 발생한 교합을 취소하기 위해, 상기 추적 처리에서 상기 물체를 따르는 입자의 근방에 예비로 입자를 배열하도록 구성된 모듈을 더 포함하는 것을 특징으로 하는 이동 물체를 추적하는 시스 템.
제 3 항에 있어서,

상기 입자가 상기 물체를 따르게 함으로써, 상기 초기 배열 모듈이 상기 입자를 초기 배열한 후에 추적 처리를 수행하도록 구성된 모듈; 및

상기 재배열 모듈이 상기 입자를 초기 배열한 후에 발생한 교합을 취소하기 위해, 상기 추적 처리에서 상기 물체를 따르는 입자의 근방에 예비로 입자를 배열하도록 구성된 모듈을 더 포함하는 것을 특징으로 하는 이동 물체를 추적하는 시스템.
제 5 항에 있어서,

상기 추적 처리에서, 상기 예비로 배열된 입자가 상기 교합이 취소될 때에 출현하는 새로운 물체를 따르게 하도록 구성된 모듈을 더 포함하는 것을 특징으로 하는 이동 물체를 추적하는 시스템.
제 3 항에 있어서,

입자 그룹 중에서 추론된 우도 분포에 기초하여 동적인 임계값 제어를 수행함으로써, 상기 추적 처리에서, 복잡한 배경 또는 상기 물체와 특징상 유사한 배경에서 어느 입자가 재배열되어야 하는지를 판정하도록 구성된 우도 추론 모듈(likelihood inference module)을 더 포함하는 것을 특징으로 하는 이동 물체를 추적하는 시스템.
제 1 항에 있어서,

상기 재배열 모듈은 복수의 시스템 모델에 따라 입자를 재배열하도록 구성되고,

다른 시스템 모델보다 더 높은 우도의 입자를 갖는 시스템 모델을 선택하여, 이 선택된 모델을 이용한 추적 처리를 수행하도록 구성된 모듈을 더 포함하는 것을 특징으로 하는 이동 물체를 추적하는 시스템.
제 1 항에 있어서,

상기 재배열 모듈은 복수의 시스템 모델에 따라 입자를 재배열하도록 구성되고,

각각의 시스템 모델에 기초하여 예측(prediction) 처리에서 배열된 입자로부터 높은 우도의 입자를 선택하도록 구성된 모듈을 더 포함하는 것을 특징으로 하는 이동 물체를 추적하는 시스템.
제 1 항에 있어서,

상기 입자가 상기 물체를 따르게 함으로써, 상기 초기 배열 모듈이 상기 입자를 초기 배열한 후에 추적 처리를 수행하도록 구성된 모듈; 및

상기 추적 처리 동안에 상기 물체에서의 입자 그룹이 갖는 분포 및 우도를 나타내는 속성 데이터를 보유하도록 구성된 모듈을 더 포함하는 것을 특징으로 하는 이동 물체를 추적하는 시스템.
제 3 항에 있어서,

상기 입자가 상기 물체를 따르게 함으로써, 상기 초기 배열 모듈이 상기 입자를 초기 배열한 후에 추적 처리를 수행하도록 구성된 모듈; 및

상기 추적 처리 동안에 상기 물체에서의 입자 그룹이 갖는 분포 및 우도를 나타내는 속성 데이터를 보유하도록 구성된 모듈을 더 포함하는 것을 특징으로 하는 이동 물체를 추적하는 시스템.
제 11 항에 있어서,

상기 추적 처리에서의 상기 속성 데이터로부터, 상기 물체가 상기 화상으로부터 사라진 후에 상기 화상에 재출현하는지의 여부를 판정하도록 구성된 결정 모듈을 더 포함하는 것을 특징으로 하는 이동 물체를 추적하는 시스템.
제 1 항에 있어서,

상기 물체에서의 입자의 위치 및 분포를 사전에 탐지함으로써 데이터를 생성하도록 구성된 모듈을 더 포함하고,

상기 재배열 모듈은 상기 탐지를 통하여 생성된 상기 데이터에 따라 상기 물체에 대하여 상기 입자를 재배열하는 것을 특징으로 하는 이동 물체를 추적하는 시 스템.
제 3 항에 있어서,

상기 물체에서의 입자의 위치 및 분포를 사전에 탐지함으로써 데이터를 생성하도록 구성된 모듈을 더 포함하고,

상기 재배열 모듈은 상기 탐지를 통하여 생성된 상기 데이터에 따라 상기 물체에 대하여 상기 입자를 재배열하는 것을 특징으로 하는 이동 물체를 추적하는 시스템.
제 7 항에 있어서,

특정 물체에서의 입자의 위치 및 분포를 사전에 탐지함으로써 이 탐지를 통하여 데이터를 생성하도록 구성된 모듈; 및

상기 추적 처리에서, 상기 탐지를 통하여 생성된 상기 데이터에 따라 상기 교합의 취소시에 출현하는 새로운 물체를 입자가 따르게 하도록 구성된 모듈을 더 포함하는 것을 특징으로 하는 이동 물체를 추적하는 시스템.
제 16 항에 있어서,

상기 입자가 상기 교합의 취소시에 출현한 상기 새로운 물체를 따르게 한 후, 상기 탐지를 통하여 생성된 상기 데이터로부터 상기 새로운 물체가 상기 특정 물체와 동일하지 않다고 판정되는 경우, 상기 새로운 물체에 대하여 배열된 입자를 삭제하도록 구성된 모듈을 더 포함하는 것을 특징으로 하는 이동 물체를 추적하는 시스템.
제 1 항에 있어서,

상기 초기 배열 모듈이 상기 입자를 초기 배열한 후, 상기 입자가 상기 이동 물체를 따르게 하여 추적 처리를 수행하도록 구성된 모듈에 포함되고, 상기 물체의 특성값을 우도 함수로서 규정하도록 구성된 우도 추론 모듈을 더 포함하고,

상기 우도 추론 모듈은 다양한 우도 함수를 이용한 우도 추론 처리를 각각 수행하는 것을 특징으로 하는 이동 물체를 추적하는 시스템.