KR100635883B1 - 실시간 물체 추적 장치 - Google Patents

실시간 물체 추적 장치 Download PDF

Info

Publication number
KR100635883B1
KR100635883B1 KR1020050045088A KR20050045088A KR100635883B1 KR 100635883 B1 KR100635883 B1 KR 100635883B1 KR 1020050045088 A KR1020050045088 A KR 1020050045088A KR 20050045088 A KR20050045088 A KR 20050045088A KR 100635883 B1 KR100635883 B1 KR 100635883B1
Authority
KR
South Korea
Prior art keywords
image
particle
time
real
particle filter
Prior art date
Application number
KR1020050045088A
Other languages
English (en)
Inventor
전재욱
조정욱
진승훈
변종은
강훈
김문상
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020050045088A priority Critical patent/KR100635883B1/ko
Application granted granted Critical
Publication of KR100635883B1 publication Critical patent/KR100635883B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21815—Source of audio or video content, e.g. local disk arrays comprising local storage units

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은, 촬영장치로부터 입력되는 움직이는 물체가 있는 영상 정보를 이용하여 물체 추적을 수행하는 장치에 있어서, 상기 영상 정보를 시간 순서에 따라 저장하는 영상 저장 메모리와, 상기 영상 저장 메모리의 이전 프레임의 영상과 현재 프레임의 영상의 차감 연산을 통하여 차감영상을 구하는 영상 차감기, 상기 영상 차감기에 의해 얻어진 차감영상의 잡음을 제거하기 위한 잡음 제거 필터 및, 상기 잡음 제거 필터에 의해 잡음이 제거된 차감영상을 이용하여 물체 추적을 수행하는 입자 필터를 포함하여 구성되고; 상기 입자 필터는, 상기 잡음이 제거된 차감영상에 대해서, 2차원 평면상의 위치가 될 수 있는 입자의 상태 및 가중치가 부여된 N개의 입자{Xt i, ωt i}t=1..N를 분포시키고, (여기서, 상기 Xt i는 시간 t에서 ith 입자의 상태를 의미하고, ωt i는 입자 Xt i의 가중치를 의미한다.)
상기 차감영상의 변화에 대응하여 변화되는 상기 입자의 상태 및 가중치 변화에 따라 확률적 접근방법으로 입자의 분포 밀도를 통해 상기 물체의 운동방향을 설정하는 것을 특징으로 하는 실시간 물체 추적 장치.

Description

실시간 물체 추적 장치{System for Real-time Objects Tracking}
도 1은 입자 필터를 사용하여 이동하는 물체를 실시간으로 추적하는 장치의 블록 다이어그램이다.
도 2는 물체 추적을 위한 차감영상 얻는 과정을 개념적으로 도시한 도면이다.
도 3은 도 2에서 얻은 영상에서 입자 필터를 사용하여 물체 추적 과정을 개념적으로 도시한 도면이다.
도 4a 내지 도 4d는 도 3에서 도시된 방법에 의해 취득된 정보를 근거로 하여 이동하는 물체를 추적한 결과를 도시한 것이다.
[참조부호의 설명]
10 - 카메라, 30 - A/D변환기,
100 - 물체 추적 장치, 110 - 영상 저장 메모리,
120 - 영상 차감기, 130 - 잡음 제거 필터,
140 - 입자필터.
본 발명은 영상을 이용한 물체 추적에 관한 것으로, 특히 입자 필터(Particle Filter)를 이용, 이동하는 물체를 실시간으로 추적하는 실시간 물체 추적 장치에 관한 것이다.
물체 추적은 컴퓨터 및 머신 비전에서 가장 흥미로운 분야 중 하나이다. 단지 물체의 형태나 칼라를 추적하는 것뿐만 아니라 물체의 인식 또는 식별하는 것과도 관련이 있다.
이에, 종래에는 물체 추적을 구현하기 위하여 칼만 필터(Kalman Filter)를 주로 사용하였다. 하지만, 칼만 필터는 선형 가우시안 경우(Linear Gaussian Case)에 적합하다. 따라서, 비선형 모델(Non-linear Models)이나 비가우시안 잡음 또는 사후(Non-Gaussian Noise or Posterior)에는 문제점을 가지고 있다. 또한, 확장 칼만 필터(Extended Kalman Filter)를 적용하기도 하나 이 또한 비선형 모델의 국부적 선형화(Local Linearization of Non-linear Models)와 여전히 가우시안 사후(Gaussian Posterior)의 제약이 존재한다.
또한, 종래의 물체 추적 시스템은 많은 계산을 필요로 하여 이를 실시간으로 구현하기 위하여 많은 리스소와 강력한 연산 능력을 갖는 시스템을 필요로 하므로 시스템의 비용이 높아지며 부피가 커지는 문제점이 발생 되었다.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 입자 필터를 이용하여 이동하는 물체를 시간 지연 없이 실시간으로 추적하기 위한 실시간 물체 추적 장치를 제공하는 것이다.
최근 입자 필터에 의한 물체 추적 방법이 복잡한 환경 속을 움직이는 물체를 추적하는데 효과적이라는 것이 증명된 이래로, 입자 필터를 사용한 물체 추적은 흥미로운 연구 과제가 되었다.
입자 필터는 사전분포(Prior Distributions)와 사후분포(Posterior Distributions)와 같은 베이지안 조건 확률(Bayesian Conditional Probabilities)에 기반을 두고 있다.
로봇 및 머신 비전에서 입자 필터는 지능을 향상시킬 수 있다. 왜냐하면 추적 정보는 결국 MIQ(Machine Intelligent Quotient)를 향상시키기 때문이다. 또한, 비선형 동역학(Non-linear Dynamics), 조명 변화와 같은 불확실성은 로봇 비전에서 입자 필터의 중요성을 더욱 부각시킨다.
상기 목적을 달성하기 위하여 본 발명은, 촬영장치로부터 입력되는 움직이는 물체가 있는 영상 정보를 이용하여 물체 추적을 수행하는 장치에 있어서, 상기 영상 정보를 시간 순서에 따라 저장하는 영상 저장 메모리와, 상기 영상 저장 메모리의 이전 프레임의 영상과 현재 프레임의 영상의 차감 연산을 통하여 차감영상을 구하는 영상 차감기, 상기 영상 차감기에 의해 얻어진 차감영상의 잡음을 제거하기 위한 잡음 제거 필터 및, 상기 잡음 제거 필터에 의해 잡음이 제거된 차감영상을 이용하여 물체 추적을 수행하는 입자 필터를 포함하여 구성되고; 상기 입자 필터는, 상기 잡음이 제거된 차감영상에 대해서, 2차원 평면상의 위치가 될 수 있는 입자의 상태 및 가중치가 부여된 N개의 입자{Xt i, ωt i}t=1..N를 분포시키고, (여기서, 상기 Xt i는 시간 t에서 ith 입자의 상태를 의미하고, ωt i는 Xt i의 가중치를 의미한다.) 상기 차감영상의 변화에 대응하여 변화되는 상기 입자상태 및 가중치 변화에 따라 확률적 접근방법으로 입자의 분포 밀도를 통해 상기 물체의 운동방향을 설정하는 것을 특징으로 하는 실시간 물체 추적 장치를 제공한다.
이하, 본 발명의 일실시예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 입자 필터를 사용하여 이동하는 물체를 실시간으로 추적하기 위한 블록 구성도로서, 본 발명은 카메라(10)와, 동기신호 분리기(20), A/D 변환기(30), 물체 추적 장치(100)를 포함하여 구성된다.
도 1을 참조하면, 상기 카메라(10)는 물체 추적 알고리즘의 입력수단으로 사용하기 위해 외부 영상을 촬영하는 영상입력부이고, 상기 동기신호 분리기(20;Synchronizing Separator)는 상기 카메라(10)에 의해 입력된 영상정보에서 동기신호를 분리시키며, 상기 A/D 변환기(30)는 상기 카메라(10)에 의해 입력된 영상정보를 디지털 영상정보로 변환시킨다.
상기 물체 추적 장치(100)은 A/D 변환기(30)로부터 입력되는 디지털 영상정보와 상기 동기신호 분리기(20)로부터 입력되는 동기신호를 받아서 물체 추적 알고리즘을 수행하는 것으로, 영상 저장 메모리(110), 영상 차감기(120), 잡음 제거 필터(130) 및, 입자필터(140)를 포함한다.
상기 영상 저장 메모리(110)는 디지털 영상정보를 입력받아서 프레임 단위로 영상정보를 저장하고, 상기 영상 차감기(120)는 영상 저장 메모리(110)에 저장된 이전 프레임의 영상과 현재 프레임의 영상의 차감연산을 통하여 차감영상(IFD: Inter-frame Difference)을 생성한다.
상기 잡음 제거 필터(130)는 상기 영상 차감기(120)에서 생성된 차감영상의 잡음 성분을 제거하며, 입자 필터(140)는 물체 추적을 위한 입자 필터 알고리즘을 적용하여 이동하는 물체를 시간적인 지연 없이 실시간으로 추적하는 연산을 수행한다. 한편, 미설명 부호 40은 이동 물체에 대한 추적 영상데이터(Object Tracking Image Data)이고, 50은 이동 물체 추적 후 물체의 현재 좌표 데이터(Coordinate Data)이다.
이하, 상기와 같이 구성된 물체 추적 장치의 작용 효과를 설명한다.
먼저, 카메라(10)로부터 획득된 외부 영상정보는 A/D 변환기(30) 및 동기신호분리기(20)로 입력되는데, A/D 변환기(30)에 의해 디지털 영상정보로 변경되는 동시에, 동기신호분리기(20)에 의해 입력된 영상정보에서 동기신호가 분리된다.
상기 A/D 변환기(30)에 의해 생성된 디지털 영상정보는 상기 영상 저장 메모리(110)로 순차적으로 전송되며, 프레임 단위로 영상이 저장된다. 한편, 상기 동 기신호분리기(20)로부터의 동기신호(타이밍신호)에 따라 상기 영상 프레임이 저장되므로, 본 발명의 물체추적장치는 영상 저장 메모리(110)에 저장되는 각 영상 프레임의 시간순서(현재 및 이전 프레임)를 알 수 있게 된다.
이후, 상기 영상 저장 메모리(110)에 프레임 단위로 저장된 이전의 프레임의 영상과 현재 입력되는 프레임의 영상의 차감연산을 통하여 차감영상을 생성한다. 이 차감영상은 입자필터(140)에서 물체 추적을 수행하는 기준이 된다.
즉, 카메라(10)로부터 영상 화소가 순차적으로 들어올 때, 영상 저장 메모리(120)가 이를 입력받아 프레임 단위로 영상을 저장하면, 상기 영상 차감기(120)에서는 이전 프레임의 영상과 현재 입력 프레임의 영상의 차감영상을 생성하고, 상기 잡음 제거 필터(130)에서는 이 차감영상을 입력받아 불필요한 잡음을 제거하게 된다. 이 잡음이 제거된 차감영상을 기준으로 상기 입자 필터(130)는 물체 추적을 수행하게 되는 것이다.
본 발명에 있어서는, 물체를 추적하기 위한 특징으로 차감영상을 선택하였다. 도 2a와 도 2b는 배경과 움직이는 물체가 있는 일반적인 영상을 나타내는 도면으로, 도 2a는 도 2b의 이전 프레임의 영상을 나타내며, 도 2a는 현재 프레임의 영상을 나타낸다. 도 2a 및 도 2b에 개념적으로 나타낸 영상은 상기된 바와 같이 도 1의 영상 저장 메모리(110)에 프레임 단위로 각각 저장되며, 상기 영상 차감기(120)에서 이전 프레임 영상인 도 2a와 현재 프레임의 영상인 도 2b의 차감 연산에 의해 도 2c와 같이 움직임이 없는 배경은 지워지고 움직임이 있는 물체의 부분만 남는 차감영상(230)을 생성하게 된다. 이 차감영상(230)을 기반으로 하여 입자필 터(140)에서 물체 추적을 수행한다.
물체를 추적하기 위한 특징으로 선택된 차감영상 ΔPt는, 상기 영상 차감기(120)에서 이하의 [식 1]의 방법으로 측정한다.
ΔPt(x,y)=｜It(x,y)-It-Δ(x,y)｜ [식 1]
여기서, It(x,y)는 t시간 [0,1]의 범위를 갖는 (x,y)th에서의 영상의 화소 값이고, It-Δ는 시간 t-Δ에서 나타난 영상의 화소 값이다.
이어서, 상기 차감영상(230)에서 잡음를 제거하기 위하여, 상기 차감영상 ΔPt는 [식 2]의 방법으로 변환되어 진다.
｜It(x,y)-It-Δ(x,y)｜>VTH일 때, ΔPt(x,y)=｜It(x,y)-It-Δ(x,y)｜이고,
｜It(x,y)-It-Δ(x,y)｜≤VTH일 때, ΔPt(x,y)= 0 .
[식 2]
식 2에서는, 미리 정해진 문턱값(VTH:Threshold Value)보다 크지 않으면 이 값은 잡음이라 인식하고 제거하고, 문턱값 보다 큰 값은 잡음이 아닌 차감영상의 유효한 화소 값으로 판단한다. 이러한 잡음 판단 방법을 통하여 잡음을 제거하므로, 보다 정확한 추적 결과를 얻을 수 있다.
도 3은 상기 도 2에 개략적으로 나타낸 상기 식 1 및 식 2에 의해 잡음이 제거된 차감영상에서 상기 입자 필터(140)를 사용하여 물체 추적 과정을 나타낸 도면 이다.
입자 필터(140)는 확률적 접근 방법의 범주에 속하는 구성요소로써, 가중치가 부여된 N개의 입자는 {Xt i, ωt i}t=1..N로 표현되며, Xt i는 시간 t에서 ith 입자의 상태를 의미하고, ωt i는 가중치를 의미한다.
입자의 상태 Xt는 움직이는 물체의 위치, 속도, 회전각 등이 될 수 있다. 측정값(특징) Zt는 영상 콘트라스트(Image Contrast), 차감영상(230:Inter-frame Difference), 엣지 실루엣(Edge-detected Silhouette), 2D 또는 3D 윤곽(Contours), RGB 또는 HSV 컬러(Color) 등이 될 수 있다.
본 발명에 있어서는, 상기 Xt의 입자 상태로 물체의 위치를 선택하고, 측정값 Zt는 상기 차감영상(ΔPt)을 선택하였다.
추론 모델은 조건 사후 밀도(Conditional Posterior Density)로 기술되는 베이지안(Bayesian) 추론 규칙을 이용하면, 이하의 [식 3]와 같다. 여기서, Xt={x0,x1,..,xt}는 시간 t에서의 입자의 상태(예컨대, 위치)를 의미하며, Zt={Z1,..,Zt}는 시간 t에서의 상기 차감영상의 관측도(Observation)를 의미하며, K는 비례상수, p(xt｜xt-1)는 마코프 체인 운동 모델(Markvo-chain Motion Model), p(zt｜xt)는 측정치 모델(Measurement Model), 그리고 ωt-1 i는 입자의 가중치를 의미한다.
P(xt｜Zt)=Kp(zt｜xt)p(xt｜Zt-1)
=Kp(zt｜xt)∫Xt-1p(xt｜xt-1,Zt-1)p(xt-1｜Zt-1)dxt-1
=Kp(zt｜xt)∫Xt-1p(xt｜xt-1)p(xt-1｜Zt-1)dxt-1
=Kp(zt｜xt)∑i=1 Nωt-1 ip(xt｜xt-1 i)
=Kp(zt｜xt)q(xt)
[식 3]
여기서, q(xt)=∑i=1 Nωt-1 ip(xt｜xt-1 i)는 몬테카를로(Monte Carlo) 근사적분 방식으로 유도되는 N개의 입자 xt i의 제안 분포(Proposal Distribution)이다. 사후 밀도 p(xt-1｜Zt-1)는 입자군 {Xt-1 i,ωt-1 i}에 의해 재귀적으로 근사되며, 이 입자들은 ωt-1 i=p(xt-1 i｜Zt-1}에 의해 가중치를 부여 받는다.
시간 t에서 관측도 Zt={z1,..,zt}에 대한 상태 Xt={x0,x1,..,xt}는 측정치 모델 P(zt｜xt)와 상기 제안분포 q(xt)=∑i=1 Nωt-1 ip(xt｜xt-1 i)에 의해 나타내진다.
여기서, zt는 시간 t에서 입자에 대한 상태이고, Zt={z1,..,zt}는 시간이 1로부터 t까지의 상태 zt의 합을 말한다. Xt와 xt도 이와 같은 의미이다.
입자 필터 알고리즘은 3가지 단계, 즉 샘플링(Sampling), 예측(Predicting), 측정(Measuring)으로 구성된다. 알고리즘의 기본 원리는 샘플링과 예측 단계에서의 사전 밀도와 측정단계의 사후 밀도 사이의 조건 확률 전파(Conditional Probability Propagation)이다. 따라서, 사전, 사후 조건 밀도는 재귀적 방법으로 계산된다.
입자 필터 알고리즘은 Condensation, Kalman 입자 필터(KPF), 그리고 Unscented Kalman 입자 필터(UPF)로 구성될 수 있다. KPF와 UPF는 Gaussian과 Non-gaussian의 상태 평가를 이용하는 예측 모델이 추가된다.
따라서, 본 발명에 있어서, 추적을 위한 입자 필터의 세 가지 갱신 단계는 아래와 같이 요약될 수 있다.
1) 샘플링(Sampling)
2) 예측(Predicting)
3) 측정(Measuring)
확률적 전파의 관점에서 볼 때, 상기 Condensation 알고리즘은 몇가지 특징을 지닌 움직이는 물체를 추적하기 위한 방법을 제시한다.
만약, 움직이는 물체의 특징의 개수가 K라면 ith 입자의 상태는 Xt i=RK가 된 다. 기본 추적 알고리즘은 다음과 같다.
주어진 입자 {Xt-1 i ,ωt-1 i}으로부터, 새로운 입자 {Xt i ,ωt i}t=1,...,N을 구하고, 가중치 ω0 i = 1/N와 입자의 누적 분포(Cumulative Distribution) C0 i=i/N을 초기화 한다.
1) 다음의 방법으로 샘플 St (i)을 선택한다.
A. 균일하게 분포된 램덤 수(Random Number) γ∈[0,1]을 발생시킨다.
B. Ct-1 j≥γ인 가장 작은 j을 찾는다.
C. St-1 i= Xt-1 j을 설정한다.
2) St-1 j을 얻기 위해 샘플링으로부터 예측한다.
p(Xt｜Xt-1=St-1 i),
Xt i=f(St-1 i)+εt-1
[식 4]
3) 물체의 특징을 측정하고, 가중치를 갱신한다.
ωt i=p(Zt｜Xt i) [식 5]
∑i=1 Nωt i=1이 되도록 만들고 누적 본포 Ct i을 계산한다.
그리고, {Xt i ,ωt i}을 갱신한다.
다중 관측 모델에서 결합 혹은 분리 연산자 AND, OR은 다중 물체 특징을 결합하기 위해 사용될 수 있다. 이하의 [식 6]에 의해, 모든 입자가 갱신된 후 추적된 위치를 평가한다.
E[g(Xt)]=∑i=1 Nωt i·g(Xt i) [식 6]
상태 정보는 입자의 군집이 되므로 입자의 평균값(Mean Value)이나 역공분산 행렬(Inverse Covariance Matrix)의 신뢰 영역(Confidence Region)을 선택한다. 예를 들어, 상태(State)의 한 요소인, 추적 물체의 평균 위치는 다음 물체의 무게 중심 추정을 위한 갱신을 위해 측정된다.
1) 샘플링(Sampling)
샘플링 단계에서, N개에 입자 샘플은 [0,1]의 범위에서 임의로 선택된다. 이러한 선택 방법은 알고리즘(GA)의 룰렛휠 선택(Roulette-wheel Selection)방식과 비슷한 방법이다. 예를 들어, 대상 물체의 평균 위치는 다음 단계의 대상 물체 중심을 갱신하기 위해 평가된다.
2) 예측(Predicting)
예측 단계에서 각 입자는 상기된 바와 같이 [식 4]에 의해 유도된다.
Xt i=f(St-1 i)+εt-1 [식 4]
보통 f(St-1 i)는 서로 다른 위치에 있는 각 입자들의 비선형 표류(Drift)를 표현하며, εt-1는 백색 잡음(White Noise)으로 모델링 된 각 입자의 독립적 확산(Diffusion)이다. 그러므로, 잡음은 가우시안 분포(Gaussian Distribution)를 나타낸다는 가정으로부터 St-1 i을 평가하기 위한 예측 모델(Prediction Model)로서, 확장 칼만 필터(Extended Kalman Filter(EKF))가 사용된다.
입자는 도 3과 같이 관측 분포(Observation Distribution)에서 가장 높은 가능성(Likelihood) 쪽으로 유도 되는 방식을 갖는 관측 모델이다.
4) 측정(Measuring)
각 입자 Xt i에 대해 새로운 가중치 ωt i을 계산하기 위한 식은 [식 8]과 같다.
ωt i=P(Zt｜Xt i) [식 8]
이미지 특징 점에 대한 외곽 이미지에서 ωt i= 0 이다.
물체를 추적하기 위한 특징으로 선택된 차감영상 ΔPt는 상기된 바와 같이 이하의 [식 1]과 같이 측정한다.
ΔPt(x,y)=｜It(x,y)-It-Δ(x,y)｜ [식 1]
여기서, It(x,y)는 t 시간 [0,1]의 범위를 갖는 (x,y)th에서의 영상 화소 값이고, It-Δ는 시간 t-Δ에서 나타난 영상 화소 값이다.
잡음 제거를 위하여 상기 [식 2]와 같이 변환을 수행한다.
｜It(x,y)-It-Δ(x,y)｜>VTH일 때, ΔPt(x,y)=｜It(x,y)-It-Δ(x,y)｜이고,
｜It(x,y)-It-Δ(x,y)｜≤VTH일 때, ΔPt(x,y)=0 .
[식 2]
5) 입자로서의 점 데이터(point cloud)
차감영상으로 표현되는 Ith 입자 점 (xp,yp)∈ΔPi에 대해 사전(Prior) 가중치는 [식 8]와 같이 계산된다.
ωt i=∑(xp,yp)∈ΔP ΔPt(xp,yp) [식 8]
하나의 입자에 대한 상태 벡터는 시간 t에서 Xt i=[xp(t),yp(t),xp(t-1),yp(t-1)]T로 정의되며, 입자의 운동은 [식 9]과 같이 표현된다.
Xt= AXt-1+Bvt [식 9]
여기서, A, B는 동적 특성을 나타내는 행렬이고, vt는 확산 공분산 행렬(Diffusion Covariance Matrix)로 표현되는 백색 잡음이다.
한편, 도 4는 도 3에서 도시된 방법에 의해 취득된 정보를 근거로 하여 이동하는 물체를 추적한 결과를 도시한 사진으로, 영상 내의 물체의 이동에 따라, 물체를 추적하는 상태가 도시된다. 도면 중, 흰색 점은 입자를 나타내며, 상기된 바와 같이, 물체의 이동방향에 따라 입자가 이동된다.
상기에서 설명한 것은 본 발명에 의한 입자 필터를 사용하여 이동하는 물체를 추적하는 장치를 실시하기 위한 하나의 실시예에 불과한 것으로, 본 발명은 상술한 실시예에 한정되지 않고, 본 발명의 기술적 사상내에서 당 분야의 통상의 지식을 가진 자에 의하여 여러 가지 다양한 형태로 구현이 가능함은 물론이다.
상기의 설명에서와 같이, 본 발명에 의한 실시간 물체 추적 장치에 의하면, 물체 추적을 위한 입자 필터를 구현하여 전체 영상에 대해 이동하는 물체를 시간적인 지연 없이 실시간으로 추적할 수 있다.
그리고, 본 발명은 입력 영상으로부터 이동하는 물체를 추적하는 영상과 그 물체의 좌표 정보를 얻을 수 있으며, 이를 하드웨어로 간단하게 구현할 수 있어 비디오카메라, 디지털카메라, 카메라 핸드폰 등과 같은 기기에 적용하기가 용이하다 는 효과가 있다.

Claims (5)

  1. 촬영장치로부터 입력되는 움직이는 물체가 있는 영상 정보를 이용하여 물체 추적을 수행하는 장치에 있어서,
    상기 영상 정보를 시간 순서에 따라 저장하는 영상 저장 메모리와, 상기 영상 저장 메모리의 이전 프레임의 영상과 현재 프레임의 영상의 차감 연산을 통하여 차감영상을 구하는 영상 차감기, 상기 영상 차감기에 의해 얻어진 차감영상의 잡음을 제거하기 위한 잡음 제거 필터 및, 상기 잡음 제거 필터에 의해 잡음이 제거된 차감영상을 이용하여 물체 추적을 수행하는 입자 필터를 포함하여 구성되고;
    상기 입자 필터는, 상기 잡음이 제거된 차감영상에 대해서, 2차원 평면상의 위치가 될 수 있는 입자의 상태 및 가중치가 부여된 N개의 입자{Xt i, ωt i}t=1..N를 분포시키고, (여기서, 상기 Xt i는 시간 t에서 ith 입자의 입자의 상태를 의미하고, ωt i는 입자 Xt i의 가중치를 의미한다.)
    상기 차감영상의 변화에 대응하여 변화되는 상기 입자상태 및 가중치 변화에 따라 확률적 접근방법으로 입자의 분포 밀도를 통해 상기 물체의 운동방향을 설정하는 것을 특징으로 하는 실시간 물체 추적 장치.
  2. 제1항에 있어서, 상기 입자 필터의 알고리즘은 샘플링(Sampling)과, 예측(Predicting), 측정(Measuring)으로 구성되며, 상기 샘플링과 예측 단계에서의 사전 밀도와 측정단계의 사후 밀도 사이의 조건 확률 전파(Conditional Probability Propagation)의 재귀적 방법에 따라, 물체의 운동방향을 설정하는 것을 특징으로 하는 실시간 물체 추적 장치.
  3. 제2항에 있어서, 상기 입자 필터는 Condensation, Kalman 입자 필터(KPF), 그리고 Unscented Kalman 입자 필터(UPF) 중 어느 하나로 구성되며, 상기 KPF와 UPF는 Gaussian과 Non-gaussian의 상태 평가를 이용하는 예측 모델을 구비하는 것을 특징으로 하는 실시간 물체 추적 장치.
  4. 제1항 또는 제2항에 있어서, 상기 차감영상의 시간 t에서의 상태를 나타내는 관측도는 Zt로 표현되며,
    추론 모델은 조건 사후 밀도(Conditional Posterior Density)로 기술되는 베이지안 추론 규칙을 이용하면, 이하의 [식 3]과 같고,
    P(xt｜Zt)=Kp(zt｜xt)p(xt｜Zt-1)
    =Kp(zt｜xt)∫Xt-1p(xt｜xt-1,Zt-1)p(xt-1｜Zt-1)dxt-1
    =Kp(zt｜xt)∫Xt-1p(xt｜xt-1)p(xt-1｜Zt-1)dxt-1
    =Kp(zt｜xt)∑i=1 Nωt-1 ip(xt｜xt-1 i)
    =Kp(zt｜xt)q(xt) [식 3]
    여기서, K는 비례상수, p(xt｜xt-1)는 마코프 체인 운동 모델(Markvo-chain Motion Model), p(zt｜xt)는 측정치 모델(Measurement Model), ωt-1 i는 입자 Xt-1 i의 가중치, q(xt)=∑i=1 Nωt-1 ip(xt｜xt-1 i)는 몬테카를로 근사적분 방식으로 유도되는 N개의 입자 xt i의 제안 분포(Proposal Distribution)이며,
    상기 사후 밀도 p(xt-1｜Zt-1)는 입자군 {Xt-1 i,ωt-1 i}에 의해 재귀적으로 근사되며, 이 입자들은 ωt-1 i=p(xt-1 i｜Zt-1}에 의해 가중치를 부여 받는 것을 특징으로 하는 실시간 물체 추적 장치.
  5. 제1항에 있어서, 물체를 추적하기 위한 특징으로 선택된 상기 차감영상 ΔPt는, 상기 영상 차감기에서 이하의 [식 1]의 방법으로 측정되며,
    ΔPt(x,y)=｜It(x,y)-It-Δ(x,y)｜ [식 1]
    여기서, It(x,y)는 t시간 [0,1]의 범위를 갖는 (x,y)th에서의 영상 화소 값이고, It-Δ는 시간 t-Δ에서 나타난 영상 화소 값이며;
    상기 식 1이,
    ｜It(x,y)-It-Δ(x,y)｜>VTH일 때, ΔPt(x,y)=｜It(x,y)-It-Δ(x,y)｜이고,
    ｜It(x,y)-It-Δ(x,y)｜≤VTH일 때, ΔPt(x,y)=0
    [식 2]
    으로 표현되며;
    상기 ΔPt(x,y)가 문턱값(VTH:Threshold Value)보다 크지 않으면 잡음으로 판단하는 것을 특징으로 하는 실시간 물체 추적 장치.
KR1020050045088A 2005-05-27 2005-05-27 실시간 물체 추적 장치 KR100635883B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050045088A KR100635883B1 (ko) 2005-05-27 2005-05-27 실시간 물체 추적 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050045088A KR100635883B1 (ko) 2005-05-27 2005-05-27 실시간 물체 추적 장치

Publications (1)

Publication Number Publication Date
KR100635883B1 true KR100635883B1 (ko) 2006-10-18

Family

ID=37626594

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050045088A KR100635883B1 (ko) 2005-05-27 2005-05-27 실시간 물체 추적 장치

Country Status (1)

Country Link
KR (1) KR100635883B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100852630B1 (ko) 2007-02-09 2008-08-18 연세대학교 산학협력단 비디오 영상에서 확률적 접근법을 이용한 생체인식방법
KR100854005B1 (ko) * 2007-05-11 2008-08-26 성균관대학교산학협력단 실시간 다중 물체 추적 방법 및 장치
KR100951890B1 (ko) 2008-01-25 2010-04-12 성균관대학교산학협력단 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법
KR101165335B1 (ko) 2011-04-19 2012-07-18 전남대학교산학협력단 지수함수 기반의 입자 리샘플링 방법 및 그 방법을 이용한 영상객체 추적방법
WO2013015601A1 (ko) * 2011-07-28 2013-01-31 전남대학교산학협력단 추적기의 강탈 회피를 위한 벌점 그래프 기반의 다중 영상 객체 추적 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100852630B1 (ko) 2007-02-09 2008-08-18 연세대학교 산학협력단 비디오 영상에서 확률적 접근법을 이용한 생체인식방법
KR100854005B1 (ko) * 2007-05-11 2008-08-26 성균관대학교산학협력단 실시간 다중 물체 추적 방법 및 장치
KR100951890B1 (ko) 2008-01-25 2010-04-12 성균관대학교산학협력단 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법
KR101165335B1 (ko) 2011-04-19 2012-07-18 전남대학교산학협력단 지수함수 기반의 입자 리샘플링 방법 및 그 방법을 이용한 영상객체 추적방법
WO2013015601A1 (ko) * 2011-07-28 2013-01-31 전남대학교산학협력단 추적기의 강탈 회피를 위한 벌점 그래프 기반의 다중 영상 객체 추적 방법
US9349065B2 (en) 2011-07-28 2016-05-24 Industry Foundation Ofchonnam National University Method for tracking multiple image objects based on a penalty graph for avoiding hijacking of a tracker

Similar Documents

Publication Publication Date Title
Rout A survey on object detection and tracking algorithms
US9911191B2 (en) State estimation apparatus, state estimation method, and integrated circuit with calculation of likelihood data and estimation of posterior probability distribution data
Al-Najdawi et al. An automated real-time people tracking system based on KLT features detection.
CN106327488B (zh) 一种自适应的前景检测方法及其检测装置
JP6565600B2 (ja) アテンション検出装置及びアテンション検出方法
Manikandan et al. Video object extraction by using background subtraction techniques for sports applications
US9805285B2 (en) State estimation apparatus, state estimation method, and integrated circuit
KR100635883B1 (ko) 실시간 물체 추적 장치
JP2014211846A (ja) 目標追尾装置及び目標追尾プログラム
CN108629792A (zh) 基于背景建模与背景差分的激光目标检测方法和装置
JP2008134939A (ja) 動体追跡装置，動体追跡方法，その方法を記述した動体追跡プログラム及びそのプログラムを格納した記録媒体
CN107665495B (zh) 对象跟踪方法及对象跟踪装置
CN116883897A (zh) 一种低分辨率目标识别方法
JP4800367B2 (ja) 移動対象抽出装置、移動対象抽出方法及び移動対象抽出プログラム
Li et al. Fast visual tracking using motion saliency in video
CN107818287B (zh) 一种客流统计装置及系统
KR101280348B1 (ko) 다중 표적 추적 방법
CN112101287B (zh) 一种图像处理方法、装置、设备和存储介质
JP4201958B2 (ja) 動画像のオブジェクト抽出装置
JP4759447B2 (ja) 動体追跡装置，動体追跡方法およびその方法を記述したプログラムを格納した記録媒体
JP4879257B2 (ja) 移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラム
Shafiee et al. Model-based tracking: Temporal conditional random fields
JP3351461B2 (ja) 降水量最尤推定装置
Park et al. Time-derivative estimation of noisy movie data using adaptive control theory
JP4818430B2 (ja) 移動物体認識方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120724

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131007

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150116

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee