KR20100084015A - 지능형 영상 감시 시스템에서의 물체 추적 방법 및 장치 - Google Patents

지능형 영상 감시 시스템에서의 물체 추적 방법 및 장치 Download PDF

Info

Publication number
KR20100084015A
KR20100084015A KR1020090003401A KR20090003401A KR20100084015A KR 20100084015 A KR20100084015 A KR 20100084015A KR 1020090003401 A KR1020090003401 A KR 1020090003401A KR 20090003401 A KR20090003401 A KR 20090003401A KR 20100084015 A KR20100084015 A KR 20100084015A
Authority
KR
South Korea
Prior art keywords
state
moving object
affine
equation
input image
Prior art date
Application number
KR1020090003401A
Other languages
English (en)
Other versions
KR101426040B1 (ko
Inventor
윤석민
나진희
최진영
Original Assignee
삼성테크윈 주식회사
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성테크윈 주식회사, 서울대학교산학협력단 filed Critical 삼성테크윈 주식회사
Priority to KR1020090003401A priority Critical patent/KR101426040B1/ko
Publication of KR20100084015A publication Critical patent/KR20100084015A/ko
Application granted granted Critical
Publication of KR101426040B1 publication Critical patent/KR101426040B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 (a) 입력 영상을 입력받는 단계와, (b) 상기 입력 영상에서 이동 물체의 선형적인 움직임을 고려하여 상기 입력 영상의 전체 영역에 걸쳐서 상기 이동 물체를 추정하는 단계와, (c) 상기 이동 물체의 비선형적인 움직임을 고려하여 추정된 상기 이동 물체의 주변 영역에 걸쳐서 상기 이동 물체를 추정하는 단계를 구비하는 지능형 영상 감시 시스템의 물체 추적 방법 및 장치를 제공한다.

Description

지능형 영상 감시 시스템에서의 물체 추적 방법 및 장치{Method for tracking moving object and apparatus in intelligent visual surveillance system}
본 발명은 물체 추적 방법 및 장치에 관한 것으로서, 보다 상세하게는 지능형 영상 감시 시스템에서의 물체 추적 방법 및 이를 이용하는 물체 추적 장치에 관한 것이다.
본 발명은 지식경제부의 사회안전로봇 동적영상감시 알고리즘의 개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제번호: 0418-20070011, 과제명: 강인적응형 영상감시 알고리즘].
물체 추적 기술은 물체 감지(object detection) 기술과 함께 지능형 영상 감시 시스템에서 가장 기본이 되는 기술 중 하나로서, 잠재적인 위협요인을 가진 물체를 지속적으로 추적할 수 있다는 점에서 주목받고 있는 기술이다.
종래의 물체 추적 장치에서는 칼만필터(Kalman Filter)를 이용하였다. 그러나, 상기 칼만필터(Kalman Filter)는 선형정규모델(linear Gaussian model)에서 정확한 추정이 가능하지만, 비선형, 비정규모델에서는 정확한 추정의 가능성이 낮아 진다.
이에 따라, 종래의 물체 추적 장치에서는 비선형, 비정규모델에서의 추정을 위해 입자필터(Particle Filter)를 이용하였다. 상기 입자필터는 복합 추측(multiple hypothesis)을 사용하므로 상기 칼만필터보다 복수 개의 확률분포를 추정하므로 비선형, 비정규모델에서도 비교적 정확한 추정이 가능하였다.
그러나, 입자필터는 사용되는 운동역학모델(Dynamic model)에 따라 요구되는 입자(particle)의 개수가 증가하게 된다. 증가한 입자들에 대한 연산 시간이 증가하며, 시스템에 많은 부하가 걸리게 되어 결과적으로 물체 추적 시간이 증가하게 되는 문제점이 있었다.
본 발명의 주된 목적은 최적화된 운동역학모델과 최소한의 입자를 사용하면서 추적 정확도를 유지하고 영상 감시 시스템의 성능을 향상시킬 수 있는 물체 추적 방법 및 장치를 제공하는 것이다.
본 발명에 관한 일 실시예에 따른 물체 추적 방법은, (a) 입력 영상을 입력받는 단계와, (b) 상기 입력 영상에서 이동 물체의 선형적인 움직임을 고려하여 상기 입력 영상의 전체 영역에 걸쳐서 상기 이동 물체를 추정하는 단계와, (c) 상기 이동 물체의 비선형적인 움직임을 고려하여 추정된 상기 이동 물체의 주변 영역에 걸쳐서 상기 이동 물체를 추정하는 단계를 구비할 수 있다.
본 발명에 있어서, 상기 (a) 단계는 상기 입력 영상이 설정된 시간 간격의 프레임 영상으로 입력되며, 상기 (b) 단계는, (b1) 칼만필터에 의해 현재 시각에 입력된 상기 프레임 영상에서의 상기 이동 물체의 제1 움직임 상태를 추정하는 단계와, (b2) 역학모델에 의해 다음 시각에서의 상기 이동 물체의 제2 움직임 상태를 예측하는 단계와, (b3) 상기 현재 시각에서의 상기 제1 움직임 상태와 상기 다음 시각에서의 제2 움직임 상태로부터 국부 영역을 설정하는 단계를 구비할 수 있다.
본 발명에 있어서, 상기 움직임 상태는 상기 입력 영상에서의 종횡좌표의 위치, 속도 및 가속도일 수 있다.
본 발명에 있어서, 상기 제1 움직임 상태(μt)는 다음 수학식 1에 의해 결정될 수 있다.
[수학식 1]
Figure 112009002719046-PAT00001
(여기서, KF는 상기 칼만필터이며, μt-1은 이전 시각에서의 움직임 상태이며, Σt-1은 이전 시각에서의 공분산이며,
Figure 112009002719046-PAT00002
는 이전 시각에서의 아핀 상태를 나타냄.)
본 발명에 있어서, 상기 제2 움직임 상태(
Figure 112009002719046-PAT00003
)는 다음 수학식 2에 의해 결정될 수 있다
[수학식 2]
Figure 112009002719046-PAT00004
(여기서, A는 상태천이행렬이며, 다음 수학식 3과 같다.
[수학식 3]
Figure 112009002719046-PAT00005
)
본 발명에 있어서, 상기 (b1) 단계는, (b11) 이전 시각에서의 아핀 상태에서 제1 위치 정보를 추출하는 단계와, (b12) 상기 제1 위치 정보가 상기 칼만필터에 입력되는 단계와, (b13) 상기 칼만필터는 상기 제1 위치 정보를 기초로 상기 제1 움직임 상태를 추정하는 단계를 구비할 수 있다.
본 발명에 있어서, 상기 국부 영역은 상기 제2 움직임 상태의 위치를 중심으로 하는 타원 형상이며, 상기 타원 형상의 장축(σ'major)과 단축(σ'minor)은 다음 수학식 4에 의해 결정되며, 상기 장축(σ'major)의 방향(θ)은 다음 수학식 5에 의해 결정될 수 있다.
[수학식 4]
Figure 112009002719046-PAT00006
[수학식 5]
Figure 112009002719046-PAT00007
(여기서, ω는 상기 장축에 영향을 주는 가중치이며, θ는 상기 이동 물체의 이동 방향을 나타내며, σx, σy는 상기 칼만필터에서 도출된 분산임.)
본 발명에 있어서, 상기 (c) 단계는, (c1) 상기 제2 움직임 상태에서 제3 위치정보를 추출하는 단계와, (c2) 이전 시각의 제1 아핀 상태를 상기 제3 위치정보로 보정하는 단계와, (c3) 상기 제1 아핀 상태를 현재 시각에서의 제2 아핀 상태로 갱신하는 단계와, (c4) 상기 갱신된 제2 아핀 상태와 상기 현재 시각의 프레임 영상이 입자필터에 입력되며, 상기 입력 필터에 의해 상기 이동 물체의 템플릿 모델 과 근접할 확률이 가장 높은 최종 아핀 상태를 결정하는 단계를 구비할 수 있다.
본 발명에 있어서, 상기 (c3) 단계는 상기 (c2) 단계에서 보정된 상기 제1 아핀 상태를 정규분포에 따라 샘플링하여 상기 제2 아핀 상태를 갱신할 수 있다.
본 발명에 있어서, 상기 갱신된 제2 아핀 상태(
Figure 112009002719046-PAT00008
)는 다음 수학식 6에 의해 결정될 수 있다.
[수학식 6]
Figure 112009002719046-PAT00009
(여기서, N은 정규분포이며,
Figure 112009002719046-PAT00010
는 상기 보정된 제1 아핀 상태이며,
Figure 112009002719046-PAT00011
는 상기 국부 영역의 분산임.)
본 발명에 있어서, 상기 (c2) 단계에서 상기 보정된 제1 아핀 상태(
Figure 112009002719046-PAT00012
)는 다음 수학식 7에 의해 결정될 수 있다.
[수학식 7]
Figure 112009002719046-PAT00013
(여기서,
Figure 112009002719046-PAT00014
는 상기 제2 움직임 상태에서의 제3 위치정보이며, s는 비율, α는 영상비, φ는 꼬인방향임.)
본 발명에 있어서, 상기 최종 아핀 상태(
Figure 112009002719046-PAT00015
)는 다음 수학식 8에 의해 결정될 수 있다.
[수학식 8]
Figure 112009002719046-PAT00016
(여기서, PF는 입자필터이며, Xt는 상기 현재 시각의 제2 아핀 상태이며, It는 상기 현재 시각의 프레임 영상임.)
본 발명의 일 실시예에 따른 지능형 영상 감시 시스템의 물체 추적 장치는, 입력 영상을 입력받는 영상 입력부와, 상기 입력 영상에서 이동 물체의 선형적인 움직임을 고려하여 상기 입력 영상의 전체 영역에 걸쳐서 상기 이동 물체를 추정하는 전역 추정부와, 상기 전역 추정부에 의해 추정된 상기 이동 물체의 비선형적인 움직임을 고려하여 상기 이동 물체를 추정하는 국부 추정부를 구비한다.
본 발명에 있어서, 상기 전역 추정부는, 이전 시각의 아핀 상태에서 위치정보를 추출하는 위치정보 추출부와, 상기 위치정보를 관측값변수로 하여 현재 시각의 제1 움직임 상태를 추정하는 칼만필터부와, 다음 시각의 제2 움직임 상태를 예측하는 역학모델부와, 상기 제1 움직임 상태와 상기 제2 움직임 상태를 이용하여 국부 영역을 설정하는 국부영역 설정부를 구비할 수 있다.
본 발명에 있어서, 상기 국부 추정부는, 다음 시각의 제2 움직임 상태에서 위치정보를 추출하는 위치정보 추출부와, 상기 위치정보로 이전 시각의 제1 아핀 상태를 보정하는 아핀 상태 보정부와, 상기 제1 아핀 상태를 현재 시각에서의 제2 아핀 상태를 갱신하는 아핀 상태 갱신부와, 상기 갱신된 제2 아핀 상태와 상기 현재 시각의 입력 영상을 입력받고, 상기 이동 물체의 템플릿 모델과 근접할 확률이 가장 높은 최종 아핀 상태를 결정하는 입자필터를 구비할 수 있다.
상기와 같이 이루어진 본 발명의 지능형 영상 감시 시스템의 물체 추적 방법 및 장치는 입력 영상의 이동 물체를 계층적으로 추적하므로 효율적이고 정확하게 상기 이동 물체를 추적할 수 있다.
이하, 첨부된 도면에 도시된 본 발명의 실시예를 참조하여 본 발명을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 지능형 영상 감시 시스템에서의 물체 추적 방법의 흐름도를 나타낸다. 상기 물체 추적 방법은 도 9의 물체 추적 장치(100)에 의하여 구현될 수 있다.
도 1을 참조하면, 물체 추적 방법은 입력 영상 입력단계(S10), 전역 추정 단계(global estimation)(S100), 및 국부 추정 단계(local estimation)(S200)를 구비할 수 있다.
입력 영상 입력단계(S10)에는 감시 대상이 되는 감시 영역에 대한 입력 영상을 입력받는다. 입력 영상은 설정된 시간 간격에 따라 입력되는 프레임 영상일 수 있다.
전역 추정 단계(S100)는 상기 입력 영상에서 이동 물체의 선형적인 움직임을 고려하여 상기 입력 영상의 전체 영역에 걸쳐서 상기 이동 물체를 추정한다. 전역 추정 단계(S100)는 칼만필터부(Kalman filter)에 의해 현재 시각에서의 제1 움직임 상태를 추정하고(S101 내지 S103), 역학모델부에 의해 다음 시각에서의 제2 움직임 상태를 예측하며(S104), 상기 제1 움직임 상태와 상기 제2 움직임 상태를 이용하여 국부 영역을 설정한다(S105). 즉, 전역 추정 단계(S100)는 상기 이동 물체의 움직임을 선형적 움직임으로 가정하고 칼만필터를 이용하여 대략적으로 상기 이동 물체의 움직임을 추정한다.
상기 움직임 상태(motion state)(μ)는 입력 영상의 임의의 좌표에서의 위치, 속도, 및 가속도이며, 다음 수학식 1과 같이 정의된다.
Figure 112009002719046-PAT00017
전역 추정 단계(S100)를 보다 상세하게 살펴보면 다음과 같다.
우선, 전역 추정 단계(S100)는 이전 시각에서의 아핀상태(
Figure 112009002719046-PAT00018
)에서 위치정보(x좌표 및 y좌표)를 추출한다(S101). 이전 시각에서의 아핀상태(
Figure 112009002719046-PAT00019
)의 위치정보를 제1 위치정보라고 한다.
다음으로, 상기 이전 시각에서의 아핀상태에서 추출된 제1 위치정보를 칼만필터에 입력한다(S102). 상기 제1 위치정보는 상기 칼만필터의 관측값변수로 이용된다.
상기 칼만필터는 입력된 상기 제1 위치정보를 이용하여 현재 시각에서의 제1 움직임 상태(μt)를 추정한다(S103). 제1 움직임 상태(μt)는 다음 수학식 2에 의해 결정된다.
Figure 112009002719046-PAT00020
여기서, KF는 칼만필터이며, μt-1는 이전 시각에서의 움직임 상태이며, Σt-1는 이전 시각에서의 공분산이며,
Figure 112009002719046-PAT00021
는 이전 시각에서의 아핀상태의 제1 위치정보이다.
상기 칼만필터에 의해 추정되는 제1 움직임 상태는 상기 이동 물체의 움직임을 선형으로 간주하고 대략적으로 추정한 것이다. 상기 이동 물체의 움직임은 국부 추정(S200)에 의해 보다 정밀하게 추정된다. 이에 대하여는 이하에서 상술한다.
이어서, 역할모델부(dynamic model)는 다음 시각에서의 움직임 상태(
Figure 112009002719046-PAT00022
)를 예측한다(S104). 다음 시각에서의 움직임 상태를 제2 움직임 상태라고 하며, 제2 움직임 상태는 다음 수학식 3에 의해 결정된다.
Figure 112009002719046-PAT00023
여기서, A는 상태천이행렬(State transmission matrix)이며, 다음 수학식 4와 같다.
Figure 112009002719046-PAT00024
다음으로, 국부 영역을 설정한다(S105). 국부 영역은 입자필터에 의해 정밀한 추정이 수행되는 영역을 의미한다. 전역 추정에서는 입력 영상의 전체 영역에 대하여 상기 이동 물체의 선형적인 움직임에 대한 대략적 추정을 수행하였지만, 국부 추정 단계(S200)에서는 상기 국부 영역에 대해서만 상기 이동 물체의 움직임 상태를 추정한다.
상기 국부 영역은 상기 이동 물체의 움직임을 고려하여 설정된다. 국부 영역을 설정하는 과정은 다음과 같다.
우선, 현재 시각에서의 움직임 상태(제1 움직임 상태)에서 위치정보(제2 위치정보)를 추출하고, 다음 시각에서의 움직임 상태(제2 움직임 상태)에서 위치정보(제3 위치정보)를 추출한다.
다음으로, 상기 제2 위치정보와 제3 위치정보 사이의 거리와 방향을 구한다. 상기 거리(r)과 방향(θ)은 각각 다음 수학식 5 및 6으로 표시된다.
Figure 112009002719046-PAT00025
Figure 112009002719046-PAT00026
여기서,
Figure 112009002719046-PAT00027
과
Figure 112009002719046-PAT00028
각각은 제3 위치정보의 x좌표와 y좌표이며,
Figure 112009002719046-PAT00029
과
Figure 112009002719046-PAT00030
각각은 제2 위치정보의 x좌표와 y좌표이다.
다음으로, 상기 이동 물체의 크기(size)와 제2 위치와 제3 위치 사이의 거리에 관한 가중치(w)를 구한다. 가중치(w)는 다음 수학식 7에 의해 결정된다.
Figure 112009002719046-PAT00031
여기서, track_szt는 상기 입력 영상에서의 상기 이동 물체의 길이와 너비를 나타내는 벡터(vector)이며, max() 함수는 상기 길이와 너비 중에서 큰 값을 반환해주는 함수이다. 상기 가중치(w)는 상기 제2 위치와 제3 위치 사이의 거리 및 상기 입력 영상에서의 이동 물체의 크기가 국부 영역의 분산(variance)에 미치는 영향을 나타낸다. 즉, 상기 제2 위치와 제3 위치 사이의 거리 및 상기 입력 영상에서의 이동 물체의 크기가 클수록 국부 영역의 분산은 커지게 된다.
이어서, 국부 영역을 결정한다. 상기 국부 영역은 다음 수학식 8에 의해 결정된다.
Figure 112009002719046-PAT00032
여기서,
Figure 112009002719046-PAT00033
와
Figure 112009002719046-PAT00034
는 수학식 2에서 보는 바와 같이 칼만필터의 출력인 공분산(
Figure 112009002719046-PAT00035
)에서 추출한 분산이다. 가중치(w)에 의해
Figure 112009002719046-PAT00036
은
Figure 112009002719046-PAT00037
보다 크게 되는데,
Figure 112009002719046-PAT00038
는 타원의 장축의 길이가 되며,
Figure 112009002719046-PAT00039
는 타원의 단축의 길이가 된다. 즉, 국부 영역은 장축이
Figure 112009002719046-PAT00040
이고 단축이
Figure 112009002719046-PAT00041
이며, 중심이
Figure 112009002719046-PAT00042
인 타원 형상을 가진다. 국부 영역은 추정된 제1 움직임 상태와 예측된 제2 움직임 상태의 움직이는 방향으로 장축이 형성된 타원 형상이다.
상술한 바와 같이, 전역 추정 단계(S100)에 의해 제1 움직임 상태와 제2 움직임 상태를 추정하고 국부 영역을 설정한 후, 국부 추정 단계(S200)가 수행된다. 국부 추정 단계(S200)는 상기 이동 물체의 비선형적인 움직임을 고려하여 상기 국부 영역에서 입자필터를 이용하여 상기 이동 물체를 보다 정밀하게 추정한다.
국부 추정 단계(S200)을 보다 상세하게 살펴보면 다음과 같다.
우선, 다음 시각에서의 움직임 상태(제2 움직임 상태)에서 위치정보(제3 위치정보)를 추출한 후(S201), 상기 제3 위치정보로 이전 시각의 제1 아핀 상태를 보정한다(S202). 보정된 제1 아핀 상태(
Figure 112009002719046-PAT00043
)는 다음 수학식 9로 나타내어 진다.
Figure 112009002719046-PAT00044
여기서, x, y는 x축, y축 좌표이며, θ는 회전(rotation)이며, s는 비율(scale)이며, α는 영상비(aspect ratio)이며, φ는 꼬인방향(skew direction)이다. 제1 아핀 상태(
Figure 112009002719046-PAT00045
)의 위치정보는 전역 추정에서 예측된 제2 움직임 상태(
Figure 112009002719046-PAT00046
)의 위치정보로 대체된다. 이는 전역 추정에 의한 위치보정이라고 볼 수 있다. 상기 보정된 제1 아핀 상태(
Figure 112009002719046-PAT00047
)는 상기 국부 영역의 평균(mean)이 된다.
다음으로, 상기 보정된 제1 아핀 상태를 현재 시각에서의 제2 아핀 상태를 갱신한다(S203). 상기 보정된 제1 아핀 상태를 현재 시각에서의 제2 아핀 상태로 갱신하는데는 랜덤 워크 모델(random walk model)을 이용한다.
상기 갱신된 제2 아핀 상태는 다음 수학식 10에 의해 결정된다.
Figure 112009002719046-PAT00048
여기서,
Figure 112009002719046-PAT00049
는 평균
Figure 112009002719046-PAT00050
와 분산
Figure 112009002719046-PAT00051
으로 결정되는 정규분포이며, 분산
Figure 112009002719046-PAT00052
은 다음 수학식 11을 의미한다.
Figure 112009002719046-PAT00053
즉, 상기 갱신된 현재 시각의 제2 아핀 상태는 상기 보정된 이전 시각의 아핀 상태(보정된 제1 아핀 상태)에서 정규분포에 따라 샘플링(sampling)하여 생성된다.
이어서, 입자필터를 이용하여 최종적으로 국부 추정을 수행한다(S204). 즉, 상기 갱신된 제2 아핀 상태와 상기 현재 시각의 프레임 영상이 상기 입자필터에 입력되며, 상기 입력필터에 의해 상기 이동 물체의 템플릿(template) 모델과 근접할 확률이 가장 높은 최종 아핀 상태를 결정한다. 최종 아핀 상태(
Figure 112009002719046-PAT00054
)는 다음 수학식 12와 같다.
Figure 112009002719046-PAT00055
여기서, PF는 입자필터이며, Xt는 상기 현재 시각의 제2 아핀 상태이며, It는 상기 현재 시각의 프레임 영상이다.
상술한 바와 같이 입력 영상에서 이동 물체를 전역 추정 단계(S100)와 국부 추정 단계(S200)의 계층적인 추정 방법에 의해 추적하는 경우, 종래의 입자필터만을 이용하는 방법에 비하여 효율적이다. 즉, 본 발명은 전역 추정에 의해 이동 물체의 실제 상태값(트루상태값(true state))이 존재할 수 있는 영역(국부 영역)을 설정하고, 상기 국부 영역에 대하여만 입자필터를 이용하므로 적은 개수의 입자를 사용하여 이동 물체를 추정할 수 있으므로 효율적이다.
또한, 종래의 입자필터만을 이용하는 방법에 비하여 보다 정확하다. 즉, 상 기 국부 영역에 대하여만 입자들을 사용하므로 보다 정확한 추정이 가능하다.
도 2는 이동 물체(200)를 추정하는 과정을 나타내는 도면이다.
도 2를 참조하면,
Figure 112009002719046-PAT00056
는 이전 시각의 아핀상태이고, 전역추정을 이용해서
Figure 112009002719046-PAT00057
에서 이은 화살표 방향에 따라 타원모양으로 된 국부 영역(201)을 결정해주고 상기 국부 영역(201)에서 국부 추정을 실시하여 현재 시각의 아핀상태
Figure 112009002719046-PAT00058
를 추정한다. 이후 반복적으로 전역 추정을 실시하여
Figure 112009002719046-PAT00059
에서 이은 화살표 방향에 따라 국부 영역(202)을 결정하고 상기 국부 영역(202)에서 국부 추정을 실시하여 다음 시각의 아핀 상태를 추정한다.
도 3은 입자필터를 이용한 이동 물체의 추적을 나타내는 그래프들이다.
도 3의 (a)는 종래의 입자필터만을 이용한 방법에 의한 이동 물체 추적을 나타내는 그래프이다. 도 3의 (a)를 참조하면, 많은 수의 입자를 사용하였으나, 결국에는 이동 물체의 추적에 실패한 것을 볼 수 있다.
도 3의 (b)는 이동 물체의 움직임 상태를 고려하지 않고 국부 추정을 사용한 경우의 이동 물체 추적 그래프이다. 도 3의 (b)를 참조하면, 이동 물체의 추적에는 성공하였으나 많은 수의 입자를 사용하였다.
도 3의 (c)는 본 발명에 따른 계층적인 추정방법에 의한 이동 물체 추적과정을 나타내는 그래프이다. 도 3의 (c)를 참조하면, 국부 영역(301)을 설정하고 상기 국부 영역(301)에 대해서만 입자를 사용하므로 보다 적은 개수의 입자를 사용하고도 이동 물체를 추적하는 것이 가능하다.
도 4는 종래의 입자필터를 이용한 이동 물체 추적 방법과 본 발명의 일 실시예에 따른 계층적인 이동 물체 추적 방법의 결과를 비교한 사진이다. 도 4의 (a) 내지 (c)는 종래의 입자필터를 이용한 이동 물체 추적 방법에 의한 것으로서, 이 방법에서는 800개의 입자를 사용하였지만 추적에 실패하였다. 도 4의 (d) 내지 (f)는 본 발명의 일 실시예에 따른 이동 물체 추적 방법에 의한 것으로서, 이 방법에서는 50개의 입자를 사용하여 이동 물체의 추적에 성공하였다.
도 5는 이동 물체 추적 방법의 추적 정확도를 비교한 그래프이다. 도 5의 그래프의 횡축은 입자필터에서 사용된 입자들의 개수이며, 종축은 RMSE(근평균제곱오차)이다. 상기 RMSE는 추적의 정확성을 나타내며, RMSE가 20이상이면 추적이 실패된 것으로 본다. 점선은 종래의 입자필터만을 사용한 물체 추적 방법의 실험 결과(PF)이며, 쇄선은 본 발명의 일 실시예에 따른 물체 추적 방법의 실험 결과(HE_AVE)이다. 도 5를 참조하면, 종래의 물체 추적 방법은 입자가 200 및 400일 때 물체 추적에 성공하였으며 입자의 개수가 200개보다 적거나 400개보다 많을 때는 추적 정확도가 감소하는 것을 볼 수 있다. 본 발명의 일 실시예에 따른 물체 추적 방법은 입자의 개수에 관계없이 일정한 추적 정확성을 나타냄을 볼 수 있다.
도 6은 카메라 흔들리는 상황에서 본 발명의 일 실시예에 따른 계층적인 추정방법에 의해 이동 물체를 추적한 결과를 나타내는 사진들이다. 도 6을 참조하면, 촬영된 영상은 카메라의 흔들림에 의해 영상이 흔들리고, 흐려지며, 이동 물체인 트럭의 외양이 변화됨을 알 수 있다. 이와 같은 상황에서도 본 발명의 일 실시예에 따른 계층적 추정 방법에서는 200개의 입자를 사용하여 이동 물체를 추적하는데 성 공하였다.
도 7은 종래의 입자필터에 기반한 물체 추적 방법을 이용한 보행자 추적 결과를 나타내는 영상이다. 도 7을 참조하면, 추적 물체인 보행자(701)가 부분적으로 가려지거나(partial occlusion) 완전히 가려지지만(full occlusion)(710, 720), 보행자(701)의 외양 변화는 크지 않았고 화면상에서 평활한(smooth) 속도로 움직이고 있다. 종래의 입자필터에 기반한 물체 추적 방법에서는 추적을 위해 입자 300개를 사용하였으나 두 번의 가려짐이 있는 상황(710, 720)에서 보행자(701)를 추적하는데 실패하였으며, 두 번째 상황(720)에서는 보행자(701)를 추적하는데 완전히 실패하였다.
도 8은 본 발명의 일 실시예에 따른 계층적인 추정방법을 이용한 보행자 추적 결과를 나타낸 영상이다. 본 발명의 일 실시예에 따른 계층적인 추정방법에서는 50개의 입자를 사용하였으며 도 8의 영상은 도 7과 동일한 것이다. 도 7과 같이 두 번의 가려짐(810, 820)이 있는 상황을 겪었으나 전역추정이 다음 시각의 보행자위치를 예측할 수 있어 국부추정이 짧은 가려짐에 의한 영향을 덜 받게 되었고 또한 전역추정이 비교적 정확했기에 적은 수의 입자로도 추적에 성공할 수 있었다.
도 9는 본 발명의 일 실시예에 따른 지능형 감시 시스템의 물체 추적 장치(100)에 관한 개략적인 블럭도가 도시되어 있다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 지능형 감시 시스템의 물체 추적 장치(100)는 도 1에 도시된 물체 추적 방법에 의하여 제어될 수 있다. 따라서, 도 1에 도시된 물체 추적 방법에서와 동일한 사항에 대해서는 이를 참조하고, 자세한 설명이 생략될 수 있다.
물체 추적 장치(100)는 영상 입력부(101), 전역 추정부(110), 및 국부 추정부(120)를 구비할 수 있다.
영상 입력부(101)는 감시 대상이 되는 감시 영역에 대한 입력 영상을 입력받는다. 입력 영상은 설정된 시간 간격에 따라 입력되는 프레임 영상일 수 있다.
전역 추정부(110)는 상기 입력 영상에서 이동 물체의 선형적인 움직임을 고려하여 상기 입력 영상의 전체 영역에 걸쳐서 상기 이동 물체를 추정할 수 있다. 전역 추정부(110)는 위치정보 추출부(111), 칼만필터부(112), 역학모델부(113), 및 국부 영역 설정부(114)를 구비할 수 있다.
위치정보 추출부(111)는 이전 시각의 아핀 상태에서 위치정보를 추출하며, 칼만필터부(112)는 상기 위치정보를 관측값변수로 하여 현재 시각의 제1 움직임 상태를 추정한다. 역학모델부(113)는 다음 시각의 제2 움직임 상태를 예측할 수 있다. 국부 영역 설정부(114)는 상기 제1 움직임 상태와 상기 제2 움직임 상태를 이용하여 국부 영역을 설정한다.
국부 추정부(120)는 상기 전역 추정부에 의해 추정된 상기 이동 물체의 비선형적인 움직임을 고려하여 상기 이동 물체를 추정할 수 있다. 국부 추정부(120)는 위치정보 추출부(121), 아핀상태 보정부(122), 아핀상태 갱신부(123), 및 입자필터(124)를 구비할 수 있다.
위치정보 추출부(121)는 다음 시각의 제2 움직임 상태에서 위치정보를 추출하며, 아핀상태 보정부(122)는 상기 위치정보로 이전 시각의 제1 아핀 상태를 보정 한다. 아핀상태 갱신부(123)는 상기 제1 아핀 상태를 현재 시각에서의 제2 아핀 상태를 갱신한다. 입자필터(124)는 상기 갱신된 제2 아핀 상태와 상기 현재 시각의 입력 영상을 입력받고, 상기 이동 물체의 템플릿 모델과 근접할 확률이 가장 높은 최종 아핀 상태를 결정한다.
본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되는 것이 아니고, 첨부된 청구범위에 의해 한정하고자 하며, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 형태의 치환, 변형 및 변경이 가능하다는 것은 당 기술분야의 통상의 지식을 가진 자에게 자명할 것이다.
도 1은 본 발명의 일 실시예에 따른 지능형 영상 감시 시스템의 물체 추적 방법의 흐름도를 나타낸다.
도 2는 이동 물체를 추정하는 과정을 나타내는 도면이다.
도 3은 입자필터를 이용한 이동 물체의 추적을 나타내는 그래프들이다.
도 4는 종래의 입자필터를 이용한 이동 물체 추적 방법과 본 발명의 일 실시예에 따른 계층적인 이동 물체 추적 방법의 결과를 비교한 사진이다.
도 5는 이동 물체 추적 방법의 추적 정확도를 비교한 그래프이다.
도 6은 카메라 흔들리는 상황에서 본 발명의 일 실시예에 따른 계층적인 추정방법에 의해 이동 물체를 추적한 결과를 나타내는 사진들이다.
도 7은 종래의 입자필터에 기반한 물체 추적 방법을 이용한 보행자 추적 결과를 나타내는 영상이다.
도 8은 본 발명의 일 실시예에 따른 계층적인 추정방법을 이용한 보행자 추적 결과를 나타낸 영상이다.
도 9는 본 발명의 일 실시예에 따른 지능형 감시 시스템의 물체 추적 장치(100)에 관한 개략적인 블럭도이다.
<도면의 주요부분에 대한 부호의 설명>
100: 물체 추적 장치 101: 영상 입력부
110: 전역 추정부 111: 위치정보 추출부
112: 칼만필터부 113: 역학모델부
114: 국부 영역 설정부 120: 국부 추정부
121: 위치정보 추출부 122: 아핀상태 보정부
123: 아핀상태 갱신부 124: 입자필터부

Claims (15)

  1. (a) 입력 영상을 입력받는 단계;
    (b) 상기 입력 영상에서 이동 물체의 선형적인 움직임을 고려하여 상기 입력 영상의 전체 영역에 걸쳐서 상기 이동 물체를 추정하는 단계; 및
    (c) 상기 이동 물체의 비선형적인 움직임을 고려하여 추정된 상기 이동 물체의 주변 영역에 걸쳐서 상기 이동 물체를 추정하는 단계;를 구비하는 것을 특징으로 하는 지능형 영상 감시 시스템에서의 물체 추적 방법.
  2. 제1항에 있어서,
    상기 (a) 단계는 상기 입력 영상이 설정된 시간 간격의 프레임 영상으로 입력되며,
    상기 (b) 단계는,
    (b1) 칼만필터에 의해 현재 시각에 입력된 상기 프레임 영상에서의 상기 이동 물체의 제1 움직임 상태를 추정하는 단계;
    (b2) 역학모델에 의해 다음 시각에서의 상기 이동 물체의 제2 움직임 상태를 예측하는 단계; 및
    (b3) 상기 현재 시각에서의 상기 제1 움직임 상태와 상기 다음 시각에서의 제2 움직임 상태로부터 국부 영역을 설정하는 단계;를 구비하는 것을 특징으로 물체 추적 방법.
  3. 제2항에 있어서,
    상기 움직임 상태는 상기 입력 영상에서의 종횡좌표의 위치, 속도 및 가속도인 것을 특징으로 하는 물체 추적 방법.
  4. 제2항에 있어서,
    상기 제1 움직임 상태(μt)는 다음 수학식 1에 의해 결정되는 것을 특징으로 하는 물체 추적 방법.
    [수학식 1]
    Figure 112009002719046-PAT00060
    (여기서, KF는 상기 칼만필터이며, μt-1은 이전 시각에서의 움직임 상태이며, Σt-1은 이전 시각에서의 공분산이며,
    Figure 112009002719046-PAT00061
    는 이전 시각에서의 아핀 상태를 나타냄.)
  5. 제2항에 있어서,
    상기 제2 움직임 상태(
    Figure 112009002719046-PAT00062
    )는 다음 수학식 2에 의해 결정되는 것을 특징으로 하는 물체 추적 방법.
    [수학식 2]
    Figure 112009002719046-PAT00063
    (여기서, A는 상태천이행렬이며, 다음 수학식 3과 같다.
    [수학식 3]
    Figure 112009002719046-PAT00064
    )
  6. 제2항에 있어서,
    상기 (b1) 단계는,
    (b11) 이전 시각에서의 아핀 상태에서 제1 위치 정보를 추출하는 단계;
    (b12) 상기 제1 위치 정보가 상기 칼만필터에 입력되는 단계; 및
    (b13) 상기 칼만필터는 상기 제1 위치 정보를 기초로 상기 제1 움직임 상태를 추정하는 단계;를 구비하는 것을 특징으로 하는 물체 추적 방법.
  7. 제2항에 있어서,
    상기 국부 영역은 상기 제2 움직임 상태의 위치를 중심으로 하는 타원 형상이며, 상기 타원 형상의 장축(σ'major)과 단축(σ'minor)은 다음 수학식 4에 의해 결정되며, 상기 장축(σ'major)의 방향(θ)은 다음 수학식 5에 의해 결정되는 것을 특징으로 하는 물체 추적 방법.
    [수학식 4]
    Figure 112009002719046-PAT00065
    [수학식 5]
    Figure 112009002719046-PAT00066
    (여기서, ω는 상기 장축에 영향을 주는 가중치이며, θ는 상기 이동 물체의 이동 방향을 나타내며, σx, σy는 상기 칼만필터에서 도출된 분산임.)
  8. 제2항에 있어서,
    상기 (c) 단계는,
    (c1) 상기 제2 움직임 상태에서 제3 위치정보를 추출하는 단계;
    (c2) 이전 시각의 제1 아핀 상태를 상기 제3 위치정보로 보정하는 단계;
    (c3) 상기 제1 아핀 상태를 현재 시각에서의 제2 아핀 상태로 갱신하는 단계;
    (c4) 상기 갱신된 제2 아핀 상태와 상기 현재 시각의 프레임 영상이 입자필터에 입력되며, 상기 입력 필터에 의해 상기 이동 물체의 템플릿 모델과 근접할 확률이 가장 높은 최종 아핀 상태를 결정하는 단계;를 구비하는 것을 특징으로 하는 물체 추적 방법.
  9. 제8항에 있어서,
    상기 (c3) 단계는 상기 (c2) 단계에서 보정된 상기 제1 아핀 상태를 정규분포에 따라 샘플링하여 상기 제2 아핀 상태를 갱신하는 것을 특징으로 하는 물체 추적 방법.
  10. 제9항에 있어서,
    상기 갱신된 제2 아핀 상태(
    Figure 112009002719046-PAT00067
    )는 다음 수학식 6에 의해 결정되는 것을 특징으로 하는 물체 추적 방법.
    [수학식 6]
    Figure 112009002719046-PAT00068
    (여기서, N은 정규분포이며,
    Figure 112009002719046-PAT00069
    는 상기 보정된 제1 아핀 상태이며,
    Figure 112009002719046-PAT00070
    는 상기 국부 영역의 분산임.)
  11. 제8항에 있어서,
    상기 (c2) 단계에서 상기 보정된 제1 아핀 상태(
    Figure 112009002719046-PAT00071
    )는 다음 수학식 7에 의해 결정되는 것을 특징으로 하는 물체 추적 방법.
    [수학식 7]
    Figure 112009002719046-PAT00072
    (여기서,
    Figure 112009002719046-PAT00073
    는 상기 제2 움직임 상태에서의 제3 위치정보이며, s는 비율, α는 영상비, φ는 꼬인방향임.)
  12. 제8항에 있어서,
    상기 최종 아핀 상태(
    Figure 112009002719046-PAT00074
    )는 다음 수학식 8에 의해 결정되는 것을 특징으로 하는 물체 추적 방법.
    [수학식 8]
    Figure 112009002719046-PAT00075
    (여기서, PF는 입자필터이며, Xt는 상기 현재 시각의 제2 아핀 상태이며, It는 상기 현재 시각의 프레임 영상임.)
  13. 입력 영상을 입력받는 영상 입력부;
    상기 입력 영상에서 이동 물체의 선형적인 움직임을 고려하여 상기 입력 영상의 전체 영역에 걸쳐서 상기 이동 물체를 추정하는 전역 추정부; 및
    상기 전역 추정부에 의해 추정된 상기 이동 물체의 비선형적인 움직임을 고려하여 상기 이동 물체를 추정하는 국부 추정부;를 구비하는 것을 특징으로 하는 지능형 영상 감시 시스템에서의 물체 추적 장치.
  14. 제13항에 있어서,
    상기 전역 추정부는,
    이전 시각의 아핀 상태에서 위치정보를 추출하는 위치정보 추출부;
    상기 위치정보를 관측값변수로 하여 현재 시각의 제1 움직임 상태를 추정하는 칼만필터부;
    다음 시각의 제2 움직임 상태를 예측하는 역학모델부; 및
    상기 제1 움직임 상태와 상기 제2 움직임 상태를 이용하여 국부 영역을 설정하는 국부영역 설정부;를 구비하는 것을 특징으로 하는 물체 추적 장치.
  15. 제13항에 있어서,
    상기 국부 추정부는,
    다음 시각의 제2 움직임 상태에서 위치정보를 추출하는 위치정보 추출부;
    상기 위치정보로 이전 시각의 제1 아핀 상태를 보정하는 아핀 상태 보정부;
    상기 제1 아핀 상태를 현재 시각에서의 제2 아핀 상태를 갱신하는 아핀 상태 갱신부; 및
    상기 갱신된 제2 아핀 상태와 상기 현재 시각의 입력 영상을 입력받고, 상기 이동 물체의 템플릿 모델과 근접할 확률이 가장 높은 최종 아핀 상태를 결정하는 입자필터;를 구비하는 것을 특징으로 하는 물체 추적 장치.
KR1020090003401A 2009-01-15 2009-01-15 지능형 영상 감시 시스템에서의 물체 추적 방법 및 장치 KR101426040B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090003401A KR101426040B1 (ko) 2009-01-15 2009-01-15 지능형 영상 감시 시스템에서의 물체 추적 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090003401A KR101426040B1 (ko) 2009-01-15 2009-01-15 지능형 영상 감시 시스템에서의 물체 추적 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100084015A true KR20100084015A (ko) 2010-07-23
KR101426040B1 KR101426040B1 (ko) 2014-08-01

Family

ID=42643562

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090003401A KR101426040B1 (ko) 2009-01-15 2009-01-15 지능형 영상 감시 시스템에서의 물체 추적 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101426040B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101309519B1 (ko) * 2012-02-21 2013-09-24 중앙대학교 산학협력단 객체 추적 장치 및 방법
KR101386462B1 (ko) * 2012-07-31 2014-04-18 서울과학기술대학교 산학협력단 화재 영상을 인식하여 화재를 추적 방법
KR20150009184A (ko) * 2013-07-16 2015-01-26 삼성전자주식회사 카메라를 구비하는 장치의 이미지 처리장치 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11248421A (ja) * 1998-03-04 1999-09-17 Nippon Telegr & Teleph Corp <Ntt> 移動物体追跡方法及び装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101309519B1 (ko) * 2012-02-21 2013-09-24 중앙대학교 산학협력단 객체 추적 장치 및 방법
KR101386462B1 (ko) * 2012-07-31 2014-04-18 서울과학기술대학교 산학협력단 화재 영상을 인식하여 화재를 추적 방법
KR20150009184A (ko) * 2013-07-16 2015-01-26 삼성전자주식회사 카메라를 구비하는 장치의 이미지 처리장치 및 방법

Also Published As

Publication number Publication date
KR101426040B1 (ko) 2014-08-01

Similar Documents

Publication Publication Date Title
US10217229B2 (en) Method and system for tracking moving objects based on optical flow method
JP2022166067A (ja) 情報処理システム、情報処理方法及びプログラム
KR102153607B1 (ko) 영상에서의 전경 검출 장치 및 방법
KR101271092B1 (ko) 감시 카메라 시스템에서 움직임을 검출하기 위한 실시간움직임 영역 분할 방법 및 장치
KR102400452B1 (ko) 이동 경로 메타데이터를 이용한 항공 사진/비디오에서의 상황 인식 객체 검출
US20170330050A1 (en) Method and apparatus for updating a background model used for background subtraction of an image
JP2012103752A (ja) 映像処理装置および方法
CN105374049B (zh) 一种基于稀疏光流法的多角点跟踪方法及装置
KR20130057283A (ko) 팬틸트줌 카메라를 이용한 물체 탐지 장치 및 방법
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
CN111402293B (zh) 面向智能交通的一种车辆跟踪方法及装置
US20140161319A1 (en) Information processing apparatus, method for tracking object and program storage medium
US20220036110A1 (en) Method of tracking objects in a scene
KR101901487B1 (ko) 저사양 영상 기기에서의 실시간 객체 추적 시스템 및 방법
CN116152292A (zh) 一种基于三次匹配的多类别多目标跟踪方法
CN107992790B (zh) 目标长时跟踪方法及系统、存储介质及电子终端
CN110991280A (zh) 基于模板匹配和surf的视频跟踪方法和装置
CN111882578A (zh) 前景图像获取方法、前景图像获取装置和电子设备
CN108280445A (zh) 一种车辆周围运动物体和凸起障碍物的检测方法
Ait Abdelali et al. An adaptive object tracking using Kalman filter and probability product kernel
CN112528927A (zh) 基于轨迹分析的置信度确定方法、路侧设备及云控平台
KR20100084015A (ko) 지능형 영상 감시 시스템에서의 물체 추적 방법 및 장치
Shahbaz et al. Probabilistic foreground detector with camouflage detection for sterile zone monitoring
KR101982942B1 (ko) 객체 추적 방법 및 이를 수행하는 장치들
JPWO2019003709A1 (ja) 情報処理装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180627

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190626

Year of fee payment: 6