KR101470367B1 - 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 장치와 그 방법 - Google Patents

이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 장치와 그 방법 Download PDF

Info

Publication number
KR101470367B1
KR101470367B1 KR20130116517A KR20130116517A KR101470367B1 KR 101470367 B1 KR101470367 B1 KR 101470367B1 KR 20130116517 A KR20130116517 A KR 20130116517A KR 20130116517 A KR20130116517 A KR 20130116517A KR 101470367 B1 KR101470367 B1 KR 101470367B1
Authority
KR
South Korea
Prior art keywords
particle
layer
particles
tracking
parent
Prior art date
Application number
KR20130116517A
Other languages
English (en)
Inventor
백준기
이승원
김나현
정경원
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR20130116517A priority Critical patent/KR101470367B1/ko
Application granted granted Critical
Publication of KR101470367B1 publication Critical patent/KR101470367B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 장치, 그리고 그 방법이 개시된다. 프로세서는 제1층에서는 연속적으로 입력되는 영상에서 추정된 움직임 분포로부터 표본화하여 생성된 부모 파티클에 대해 제1파티클 필터링을 수행하여 객체를 검출하고, 제2층에서는 객체가 검출된 부모 파티클인 제1부모 파티클들을 검출된 객체로부터 추정된 움직임 분포를 기초로 표본화하여 생성한 자식 파티클들에 대해 제2필터링을 수행하여 검출된 객체를 추적하는 이중층 파티클 필터링을 수행하기 위한 명령들을 실행한다. 메모리에는 프로세서에 의해 실행되는 명령 또는 프로세서에 의해 실행되는 명령들을 포함하는 프로그램이 저장된다. 본 발명에 따르면, 다중 객체의 초기 위치를 자동으로 검출하고 연산량을 상당히 줄이면서 추적을 수행할 수 있다.

Description

이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 장치와 그 방법{Apparatus and method for detecting and tracking multiple objects by using dual-layer particle filter}
본 발명은 다중 객체 검출 및 추적 장치와 그 방법에 관한 것으로, 보다 상세하게는, 파티클 필터를 이용하여 다중 객체를 동시에 검출하고 추적할 수 있는 장치 및 방법에 관한 것이다.
하나 이상의 움직이는 객체를 추적하는 것은 컴퓨터 비젼 기술에서 기본적인 과제이며, 객체 기반 자동 포커싱, 교통량 모니터링, 차량 항해 시스템, 인간과 컴퓨터의 상호작용, 증강 현실 및 지능형 감시 시스템 등과 같이 넓은 적용분야를 가지고 있다. 기존의 추적 방법은 확률론적 방법 또는 결정론적 방법으로 분류된다.
아다부스트(Adaboost) 기법은 목표물의 추적에 널리 사용되어 왔으며, 확인된 객체의 연속적인 위치를 연결하여 경로를 추적한다. 그러나 아다부스트 검출기는 교합이나 객체 변형이 발생하면 극소값(local minimun)으로 떨어질 수 있다. 확률론적 방법은 칼라 필터를 사용하는 방법과 파티클 필터를 사용하는 방법이 있으며, 이 두가지 방법 모두 측정 또는 관찰로부터 동적 시스템의 상태를 재귀적으로 추정한다.
칼만 필터는 상태 변동과 측정 방정식에 대한 선형 모델을 추정하며, 잡음이 가우시안 분포를 가질 때 최적인 추정기이다. 이와 달리, 파티클 필터는 선형과 비선형 상태 변동에 적용되며, 추정 잡음에 대해 가우시안 분포를 가정할 필요가 없다. 그러나 기존의 파티클 필터는 객체 추적을 위해 초기에 특정된 영역을 필요로 한다.
오쿠마(Okuma) 등은 파티클 필터링에 기초한 증가법을 사용하여 다중 객체에 대한 동시 검출 및 추적을 수행하는 방법을 제안한 바 있다. 그러나 이러한 방법은 전체 영상에서 객체에 대한 소모적인 검색으로 인해 높은 연산 부담이 필요한 문제가 있다. 이러한 문제를 해결하기 위해 구알디(Gualdi)는 파티클 윈도우를 사용하여 단일 영상에서 효율적으로 객체를 검출하는 방법을 제안했으나, 이 방법 역시 재표본화 구조로 인해 실시간으로 영상 객체의 검출과 추적을 수행하기에는 적합치 않은 문제가 있다. 또한 기존의 객체 추적 기법은 초기에 특정된 영역을 추적할 수 있지만, 부스팅 기반 추적 기법은 객체가 전체 이미지에서 검출되어야 하므로 까다로운 장시간의 처리를 필요로 하는 문제가 있다.
또한, 한국공개특허공보 제2011-0036947호에는 OpenGL을 이용하여 그래픽 이미지를 디바이스 상에 렌더링하고, 그래픽 이미지들을 중첩시킨 후 장면을 도식적으로 분할하는 파티션들의 그래픽 데이터를 분석하여 그래픽 데이터의 어떤 부분이 어떠한 파티션에 연관되는지 결정하는 구성을 가지고 있으나, 해당 선행기술은 OpenGL을 이용하여 그래픽 이미지를 렌더링하는 구성만을 개시하고 있을 뿐, 파티클 필터를 이용하여 복수의 객체를 검출하는 동시에 추적하는 구성에 대해서는 전혀 개시 또는 시사하고 있지 않다.
또한, 한국공개특허공보 제2012-0048959호에는 객체의 특징점들을 추출하여 2차원 호모그래피 행렬을 추정하고, 추정된 호모그래피 행렬을 이용하여 예측된 파티클의 위치를 예측한 후 파티클의 가중치를 갱신하고, 갱신된 가중치에 의해 파티클 필터의 성능이 저하되지 않는 것으로 판단되면 파티클을 이용하여 상태 벡터의 사후 확률을 결정하고, 파티클 필터의 성능이 저하된 것으로 판단하면 새롭게 샘플링된 파티클을 이용하여 상태 벡터의 사후 확률을 결정하는 구성이 개시되어 있다. 그러나 해당 선행기술은 객체의 위치를 추정하기 위해 파티클을 사용함을 개시하고 있을 뿐 다중 객체의 동시 추적에 대해서는 전혀 개시 또는 시사하고 있지 않다.
한국공개특허공보 제2011-0036947호(공개일: 2011.04.12.) 한국공개특허공보 제2012-0048958호(공개일: 2012.05.16.)
본 발명이 이루고자 하는 기술적 과제는, 실시간으로 복수의 객체를 검출하는 동시에 추적할 수 있는 객체 검출 및 추적 장치, 그리고 그 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 실시간으로 복수의 객체를 검출하는 동시에 추적할 수 있는 객체 검출 및 추적 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 해결하기 위한, 본 발명에 따른 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 장치는, 제1층에서는 연속적으로 입력되는 영상에서 추정된 움직임 분포로부터 표본화하여 생성된 부모 파티클에 대해 제1파티클 필터링을 수행하여 객체를 검출하고, 제2층에서는 객체가 검출된 부모 파티클인 제1부모 파티클들을 상기 검출된 객체로부터 추정된 움직임 분포를 기초로 표본화하여 생성한 자식 파티클들에 대해 제2필터링을 수행하여 상기 검출된 객체를 추적하는 이중층 파티클 필터링을 수행하기 위한 명령들을 실행하도록 구성된 프로세서; 및 상기 프로세서에 의해 실행되는 명령 또는 상기 프로세서에 의해 실행되는 명령들을 포함하는 프로그램이 저장되는 메모리;를 구비한다.
상기의 기술적 과제를 해결하기 위한, 본 발명에 따른 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 방법은, 연속적으로 입력되는 영상에서 추정된 움직임 분포로부터 부모 파티클들을 생성하는 단계; 이중층 파티클 필터의 제1층에서 제1파티클 필터링을 수행하여 상기 부모 파티클들로부터 객체를 검출하는 단계; 상기 검출된 객체 영역 내의 상기 제1부모 파티클들을 상기 검출된 객체에 대해 추정된 움직임 분포를 기초로 표본화하여 자식 파티클들을 생성하는 단계; 및 상기 이중층 파티클 필터의 제2층에서 제2파티클 필터링을 수행하여 상기 자식 파티클들로부터 상기 제1부모 파티클들이 검출한 객체를 추적하는 단계;를 갖는다.
본 발명에 따른 객체 검출 및 추적 장치는 사람에 의해 객체의 초기 영역을 지정하여 추적을 시작하는 기존의 파티클 필터를 이용한 객체 추적 기법과 달리, 다중 객체의 초기 위치를 자동으로 검출하고 연산량을 상당히 줄이면서 추적을 수행할 수 있다. 실험결과에 따르면, 본 발명에 따른 객체 검출 및 추적 장치는 지능형 영상 감시, 인간-컴퓨터 상호 작용, 지능형 운송 시스템 등 다양한 영상 검사에 적용할 수 있다.
도 1은 본 발명에 따른 다중 객체 검출 및 추적 장치에 대한 바람직한 실시예의 구성을 도시한 도면,
도 2는 본 발명에 따른 다중 객체 검출 및 추적 방법의 바람직한 실시예의 수행과정을 도시한 흐름도,
도 3은 본 발명에 따른 이중층 파티클 필터링의 개념을 도시한 도면,
도 4는 DLPF의 제1층에 의한 파티클 필터링 결과를 도시한 도면,
도 5는 DLPF의 제2층에 의한 파티클 필터링 결과를 도시한 도면, 그리고,
도 6과 도 7은 본 발명에 따른 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 장치와 그 방법에 의한 동시 검출과 추적의 실험적인 성능 결과를 도시한 도면이다.
이하에서, 첨부된 도면들을 참조하여 본 발명에 따른 다중 객체 검출 및 추적 장치와 그 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 다중 객체 검출 및 추적 장치에 대한 바람직한 실시예의 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명에 따른 다중 객체 검출 및 추적 장치(100)는 프로세서(110) 및 메모리(120)를 구비한다. 본 발명에 따른 다중 객체 검출 및 추적 장치(100)는 데스크톱 컴퓨터, 노트북, 휴대폰, 스마트폰, PDA 등과 같은 정보처리기능을 가진 장치에 구현될 수 있다. 또한 본 발명에 따른 다중 객체 검출 및 추적 장치(100)에는 디스플레이 장치, 키보드 등의 외부 장치가 연결될 수 있으며, 다른 컴퓨터들 및 개인 단말들과의 유선 또는 무선 통신을 수행하기 위한 통신 모듈을 구비할 수 있다.
프로세서(110)는 제1층에서는 제1파티클 필터링에 의해 부모 파티클로부터 객체를 검출하고, 제2층에서는 제2파티클 필터링에 의해 객체가 검출된 부모 파티클의 자식 파티클로부터 객체를 추적하기 위한 명령들을 실행하도록 구성된다. 따라서 프로세서(110)는 이중층 파티클 필터(dual-layer paticle filter : DLPF)로 동작하거나 이중층 파티클 필터링을 수행하는 구성요소이다. 이하에서는 설명의 편의상 이중층 파티클 필터링 기능이 구현된 프로세서(110)를 DLPF로 칭한다. 이때 프로세서(110)는 DLPF 기능 외에 다른 기능(예를 들면, 교차 커널 지원 벡터 머신(intersection kernel support vector machine : IKSVM)을 포함하여 구현될 수 있으며, DLPF 기능만 구현될 수도 있다. 메모리(120)에는 프로세서(110)에 의해 실행되는 명령들이 저장된다.
한편, 프로세서(110)는 다수의 기능을 가진 칩 또는 회로에 일체로 구현되거나 독립적인 칩 또는 회로로 구현될 수 있으며, 이러한 칩 또는 회로는 본 발명의 실시형태들에 따른 방법들 또는 프로세스들을 실행하기 위한 명령들의 프로그램, 루틴, 또는 실행의 제어하에 동작할 수도 있다. 프로그램은 메모리(120) 또는 다른 저장 수단에 저장되는 펌웨어 또는 소프트웨어로 구현될 수 있다.
도 2는 본 발명에 따른 다중 객체 검출 및 추적 방법의 바람직한 실시예의 수행과정을 도시한 흐름도이다.
도 2를 참조하면, DLPF(110)는 부모 파티클(Parent Particle)로부터 객체를 검출하는 제1층과 자식 파티클(Child Particle)로부터 객체를 추적하는 제2층으로 이루어진다. 부모 파티클들이 초기화된 후 연속되는 영상 프레임들이 입력되면, DLPF(110)의 제1층은 무작위로 선택된 크기의 윈도우 내에 존재하는 부모 파티클들 각각으로부터 교차 커널 지원 벡터 머신(intersection kernel support vector machine : IKSVM)에 의해 사전에 훈련된 분류기를 사용하여 사람과 같은 객체를 검출한다(S200). 부모 파티클들은 정확하고 신속한 객체 검출을 위해 적합한 객체 영역에 위치해야 한다. 일반적으로 관심 객체는 영상 내에서 이동한다는 가정하에, DLPF(110)는 연속적인 영상에서 움직임을 추정하고 추정된 움직임 분포로부터 부모 파티클들을 재표본화한다.
DLPF(110)의 제1층이 특정한 부모 파티클(이하, '제1부모 파티클'이라 함)로부터 객체를 검출하면(S210), DLPF(110)는 제1부모 파티클의 자식 파티클들을 생성하고 검출된 객체 영역에서 객체 추적을 위해 객체 모델을 생성한다(S220). DLPF(110)가 제1부모 파티클로부터 검출된 객체를 추적하기 위한 자식 파티클들을 생성하는 동안 DLPF(110)의 제1층은 나머지 부모 파티클들로부터 이동하는 객체를 검출한다(S260). 도 4에는 DLPF(110)의 제1층에 의한 파티클 필터링의 결과가 도시되어 있다. 도 4를 참조하면, 부모 파티클들은 객체의 움직임에 의해 재표본화되며, 객체 검출은 IKSVM을 사용하여 각각의 부모 파티클에 대해 수행될 수 있다.
도 3은 본 발명에 따른 이중층 파티클 필터링의 개념을 도시한 도면이다.
도 3을 참조하면, 상부에 위치한 노란색으로 표시된 부모 파티클들은 움직임 분포에 의해 가중되고 객체 검출을 위해 재표본화된다. DLPF(110)는 검출된 객체 영역의 부모 파티클을 검출된 객체에 대해 추정된 움직임 분포를 기초로 표본화하여 갈색으로 표시된 자식 파티클들을 생성한다. 자식 파티클들은 오른쪽 그림에 도시된 바와 같이 움직임 분포에 의해 가중된다. 이러한 과정은 객체가 사라질 때까지 추적을 위해 반복된다.
광류에서 움직임을 추정하기 위해 루카스 카나데(Lucas-Kanade : LK) 알고리즘이 널리 사용되어 왔다. 광류 방정식으로부터, 객체의 이웃에 위치하는 부모 파티클들을 재표본화하기 위한 움직임 벡터 M=[dx, dy]T는 다음의 수학식과 같은 최소 좌승 문제이다.
Figure 112013088700056-pat00001
여기서, (dx, dy)는 부모 파티클의 좌표, Ω는 윈도우 영역을 나타내고, Ix와 Iy는 각각 수평방향과 수직방향에 대한 I의 편미분을 나타내며, It는 I의 시간 미분을 나타낸다.
움직이는 객체 주변의 부모 파티클들을 재표본화하기 위해 상태 공간에서 파티클 필터링 모델을 사용할 수 있다. 파티클의 상태 S는 [x,y,vx,vy]T로 표현될 수 있으며, 상수의 속도를 갖는 상태 천이 모델은 다음의 수학식으로 나타낼 수 있다.
Figure 112013088700056-pat00002
여기서, xk는 k 시간에서 파티클의 x 좌표, yk는 k 시간에서 파티클의 y 좌표, (vx k, vy k)는 k 시간에서 파티클의 속도를 나타낸다.
Δk가 1인 상태 천이 방정식의 분산 버전은 다음의 수학식으로 표현된다.
Figure 112013088700056-pat00003
여기서,
Figure 112013088700056-pat00004
이고,
Figure 112013088700056-pat00005
이며, Qpos와 Qvel은 각각 처리잡음의 위치와 속도 공분산이다.
측정값 mk는 예측된 상태
Figure 112013088700056-pat00006
에서 다음의 수학식으로 표현된다.
Figure 112013088700056-pat00007
여기서,
Figure 112013088700056-pat00008
는 움직임의 크기를 나타내고, 확률 L은 다음의 수학식에 의해 계산된다.
Figure 112013088700056-pat00009
여기서, R은 움직임 추정 잡음의 표준 편차를 의미하고,
Figure 112013088700056-pat00010
이고, y0는 목표 움직임 크기로서 실험적으로 설정되며, M(x,y)의 최대값은 5로 설정되는 것이 바람직하다. 누적합 Ci는 정규화된 로그 확률을 사용하여 다음의 수학식에 의해 계산된다.
Figure 112013088700056-pat00011
여기서, N은 부모 파티클의 전체 개수이고, Ltotal은 L의 총합을 나타낸다.
다음으로, [0,1]에서 균일하게 분포하는 실수 랜덤 수 ui를 생성한다. 그리고
Figure 112013088700056-pat00012
에서 검출된 객체의 크기를 결정하기 위해 PP들은 무작위로 크기를 선택한다. i=1,…N에 대해,
Figure 112013088700056-pat00013
을 만족하는 양의 정수 j를 찾아내고 현재 상태를
Figure 112013088700056-pat00014
에서
Figure 112013088700056-pat00015
로 갱신한다.
객체 추적에 대한 베이시안(Bayesian) 접근법은 주어진 객체의 측정값 또는 관측값 y1:k에 대해 시간 k에서 시간 k까지 객체의 측정값 또는 관측값 y1:k가 주어졌을 때 객체 xk의 상태 추정을 재귀적으로 갱신한다. 상태 벡터는 2차원 또는 3차원 위치
Figure 112013088700056-pat00016
와 같은 상태 수와 객체의 크기
Figure 112013088700056-pat00017
로 구성된다. 만약 시간 k-1까지의 모든 측정값이 주어지고, 시간 k에서 상태의 확률밀도함수
Figure 112013088700056-pat00018
이 알려져 있다면, 시간 k에서 상태는 채프먼-콜모고로프 방정식을 사용하여 다음의 수학식에 의해 예측될 수 있다.
Figure 112013088700056-pat00019
여기서,
Figure 112013088700056-pat00020
은 사전 밀도(prior density)이다.
시간 k에서 새로운 측정값 yk가 주어졌을 때, 사전값은 베이스의 법칙에 의해 계산된 후행 밀도를 사용하여 다음의 수힉식에 의해 갱신된다.
Figure 112013088700056-pat00021
여기서,
Figure 112013088700056-pat00022
는 관측 모델을 의미한다.
수학식 5와 수학식 6은 최적 베이스 해의 밑을 형성한다. 그러나 이러한 밀도의 재귀적 전파는 일반적으로 처리하기 어려우며, 이러한 해를 근사화하기 위해 다른 기법이 사용된다. 이러한 기법 중 하나가 파티클 필터이며, 이는 연속적인 중요성 표본화를 사용하는 몬테 카를로(Monte Carlo) 기법이다.
부모 파티클들에서, 후행 밀도
Figure 112013088700056-pat00023
는 중요성 가중치
Figure 112013088700056-pat00024
를 가진 N 개의 표본
Figure 112013088700056-pat00025
으로 이루어진 유한 집합에 의해 근사화된다. 후보 표본들
Figure 112013088700056-pat00026
는 중요성 분포
Figure 112013088700056-pat00027
로부터 표본화에 의해 독립적으로 도출되며, 표본들의 가중치는 다음의 수학식에 의해 계산된다.
Figure 112013088700056-pat00028
열화를 방지하기 위해 재표본화 과정에서 파티클들의 중요성 가중치에 따라 가중화되지 않은 파티클들의 집합을 생성한다. 부트스트랩 필터에서
Figure 112013088700056-pat00029
이고, 가중치는 관측 모델
Figure 112013088700056-pat00030
이 된다. 파티클 필터의 기본적 사상은 가중치와 관련있는 랜덤 표본들의 집합에 의해 후행 밀도를 표현하고, 이러한 가중치와 표본들을 사용하여 기대값과 같은 상태들의 추정값을 계산하는 것이다.
예측 모델
Figure 112013088700056-pat00031
은 2차 자기 면역 과정을 사용하고, 잡음 모델은 가우시안 함수에 의해 정의된다. 관측 모델은 카메라가 움직이는 환경에서 강인한 조명 변화로 인한 그림자 효과로부터 색채 정보를 분리하는 HSV(Hue-Saturation-Value) 색상 히스토그램을 사용한다. HSV 히스토그램은
Figure 112013088700056-pat00032
빈으로 구성되며,
Figure 112013088700056-pat00033
는 시간 k에서 위치 z에서의 빈 인덱스로 정의된다.
시간 k에서 색상 분포
Figure 112013088700056-pat00034
는 다음의 수학식으로 주어진다.
Figure 112013088700056-pat00035
여기서, δ는 크로네커 델타 함수를 의미하고, K는 정규화 상수이며, R(x)는 표본화된 객체 영역이다.
관측과 참조 모델 사이의 유사도를 측정하기 위해, 다음의 수학식과 같은 바타차야 거리 측정을 사용한다.
Figure 112013088700056-pat00036
여기서, q*는 참조 색상 모델을 나타내며, 참조 분포는 초기 시간 k0에서 얻어진다.
관측 모델의 유사도 측정은 다음의 수학식과 같은 바타차야 거리에 의해 이루어진다.
Figure 112013088700056-pat00037
여기서,
Figure 112013088700056-pat00038
는 파티클들로 이루어진 표본들의 가중치이다.
예를 들면, 시간 k에서 상태의 최대 후행 추정(maximum a posteriori : MAP)
Figure 112014099061408-pat00039
은 다음의 수학식과 같은 N 개의 파티클들(표본들)로부터 얻어진다. 여기에서 xk i 는 i번 파티클의 k 시간에서의 x 좌표이다.
Figure 112013088700056-pat00040
다음으로, DLPF(110)의 제2층은 자식 파티클들 중에서
Figure 112013088700056-pat00041
를 시간 k에서 객체의 상태로 선택하며, 객체가 검출된 부모 파티클로부터 생성된 자식 파티클들로부터 연속적으로 검출된 객체를 추적한다(S230). 도 5에는 DLPF(110)의 제2층에 의한 파티클 필터링 결과가 도시되어 있다. 도 5를 참조하면, 이동 객체는 자식 파티클들로부터 추적될 수 있다.
만약, 영상 프레임으로부터 검출된 객체가 사라지면(S240), DLPF(110)는 자식 파티클들을 제거하고, 제1부모 파티클을 초기화한 후 재표본화한다(S250). 한편, DLPF(110)의 제1층이 부모 파티클들로부터 객체를 검출하지 못하면(S210), DLPF(110)는 연속적으로 입력되는 영상으로부터 움직임을 추정하고, 추정된 움직임 분포로부터 부모 파티클을 재표본화한다(S270).
한편, DLPF(110)의 제1층에서 부모 파티클들이 추적 및 비추적 영역 모두에서 움직임 분포에 의해 재표본화되면, 부모 파티클들은 자식 파티클들에 의해 추적되는 이동 객체에 달라붙을 수 있다. 이러한 문제를 해결하기 위해 추적되는 객체 영역에서 움직임은 0으로 설정된다. 나아가 객체 검출의 오류는 연속적으로 4 번 검출된 객체를 선택함으로써 해결될 수 있다.
본 발명에 따른 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 장치와 그 방법의 효율성을 평가하기 위해 해상도가 768×576인 2000 개의 프레임의 PETS2009와 PETS2006의 데이터 집합을 테스트하였다. 도 6과 도 7은 본 발명에 따른 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 장치와 그 방법에 의한 동시 검출과 추적의 실험적인 성능 결과를 도시한 도면이다. 도 6과 도 7을 참조하면, 본 발명에 따른 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 장치와 그 방법은 강인하게 객체를 추적할 수 있으며, 일반적인 동영상 이미지에 대해 제대로 동작할 수 있다. 실험결과에 따르면, 본 발명에 따른 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 장치와 그 방법은 인간 컴퓨터 상호작용 및 지능형 교통 시스템에 적용될 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

Claims (10)

  1. 제1층에서는 연속적으로 입력되는 영상에서 추정된 움직임 분포로부터 표본화하여 생성된 부모 파티클에 대해 제1파티클 필터링을 수행하여 객체를 검출하고, 제2층에서는 객체가 검출된 부모 파티클인 제1부모 파티클들을 상기 검출된 객체로부터 추정된 움직임 분포를 기초로 표본화하여 생성한 자식 파티클들에 대해 제2필터링을 수행하여 상기 검출된 객체를 추적하는 이중층 파티클 필터링을 수행하기 위한 명령들을 실행하도록 구성된 프로세서; 및
    상기 프로세서에 의해 실행되는 명령 또는 상기 프로세서에 의해 실행되는 명령들을 포함하는 프로그램이 저장되는 메모리;를 포함하는 것을 특징으로 하는 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 장치.
  2. 제 1항에 있어서,
    상기 프로세서는 상기 제1부모 파티클로부터 검출된 객체를 추적하기 위한 자식 파티클들을 생성하는 동안 나머지 부모 파티클들로부터 상기 제1층에서의 상기 제1파티클 필터링을 수행하여 이동하는 객체를 검출하는 것을 특징으로 하는 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 장치.
  3. 제 1항 또는 제 2항에 있어서,
    상기 프로세서는 제1층에서의 제1파티클 필터링을 수행하여 무작위로 선택된 크기의 윈도우 내에 존재하는 상기 부모 파티클들 각각으로부터 교차 커널 지원 벡터 머신(intersection kernel support vector machine : IKSVM)에 의해 사전에 훈련된 분류기를 사용하여 상기 객체를 검출하는 것을 특징으로 하는 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 장치.
  4. 제 1항 또는 제 2항에 있어서,
    상기 프로세서는 상기 자식 파티클들 중에서 다음의 수학식을 기초로 시간 k에서 상기 검출된 객체의 상태를 결정하며, 상기 결정된 객체의 상태를 기초로 상기 제2층에서의 제2파티클 필터링을 수행하여 상기 자식 파티클들로부터 연속적으로 검출된 객체를 추적하는 것을 특징으로 하는 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 장치:
    Figure 112014099061408-pat00055

    여기서,
    Figure 112014099061408-pat00043
    은 시간 k에서 상기 검출된 객체의 상태,
    Figure 112014099061408-pat00044
    는 파티클들로 이루어진 표본들의 가중치, N 은 부모 파티클의 전체 개수, xk 는 k 시간에서의 파티클의 x 좌표, xk i 는 i번 파티클의 k 시간에서의 x 좌표이다.
  5. 제 1항 또는 제 2항에 있어서,
    상기 자식 파티클들로부터 추적되는 객체가 존재하는 객체 영역에서의 움직임은 0로 설정되는 것을 특징으로 하는 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 장치.
  6. 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 장치에서 수행되는 다중 객체 검출 방법에 있어서,
    연속적으로 입력되는 영상에서 추정된 움직임 분포로부터 부모 파티클들을 생성하는 단계;
    상기 이중층 파티클 필터의 제1층에서 제1파티클 필터링을 수행하여 상기 부모 파티클들로부터 객체를 검출하는 단계;
    검출된 객체 영역 내의 상기 부모 파티클들인 제1부모파트클들을 상기 검출된 객체에 대해 추정된 움직임 분포를 기초로 표본화하여 자식 파티클들을 생성하는 단계; 및
    상기 이중층 파티클 필터의 제2층에서 제2파티클 필터링을 수행하여 상기 자식 파티클들로부터 상기 제1부모 파티클들이 검출한 객체를 추적하는 단계;를 포함하는 것을 특징으로 하는 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 방법.
  7. 제 6항에 있어서,
    상기 제1부모 파티클로부터 검출된 객체를 추적하기 위한 자식 파티클들을 생성하는 동안 이중층 파티클 필터의 제1층에서 상기 제1파티클 필터링을 수행하여 나머지 부모 파티클들로부터 이동하는 객체를 검출하는 것을 특징으로 하는 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 방법.
  8. 제 6항 또는 제 7항에 있어서,
    상기 이중층 파티클 필터의 제1층에서, 무작위로 선택된 크기의 윈도우 내에 존재하는 상기 부모 파티클들 각각으로부터 교차 커널 지원 벡터 머신(intersection kernel support vector machine : IKSVM)에 의해 사전에 훈련된 분류기를 사용하여 상기 제1파티클 필터링을 수행하여 상기 객체를 검출하는 것을 특징으로 하는 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 방법.
  9. 제 6항 또는 제 7항에 있어서,
    상기 자식 파티클들 중에서 다음의 수학식을 기초로 시간 k에서 상기 검출된 객체의 상태를 결정하며, 상기 결정된 객체의 상태에 의해 상기 이중층 파티클 필터의 제2층에서 상기 제2파티클 필터링을 수행하여 상기 자식 파티클들로부터 연속적으로 검출된 객체를 추적하는 것을 특징으로 하는 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 방법:
    Figure 112014099061408-pat00056

    여기서,
    Figure 112014099061408-pat00057
    은 시간 k에서 상기 검출된 객체의 상태,
    Figure 112014099061408-pat00058
    는 파티클들로 이루어진 표본들의 가중치, N 은 부모 파티클의 전체 개수, xk 는 k 시간에서의 파티클의 x 좌표, xk i 는 i번 파티클의 k 시간에서의 x 좌표이다.
  10. 제 6항 또는 제 7항에 기재된 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR20130116517A 2013-09-30 2013-09-30 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 장치와 그 방법 KR101470367B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130116517A KR101470367B1 (ko) 2013-09-30 2013-09-30 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 장치와 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130116517A KR101470367B1 (ko) 2013-09-30 2013-09-30 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 장치와 그 방법

Publications (1)

Publication Number Publication Date
KR101470367B1 true KR101470367B1 (ko) 2014-12-09

Family

ID=52678098

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130116517A KR101470367B1 (ko) 2013-09-30 2013-09-30 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 장치와 그 방법

Country Status (1)

Country Link
KR (1) KR101470367B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160132731A (ko) * 2015-05-11 2016-11-21 계명대학교 산학협력단 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법
US20220051044A1 (en) * 2020-08-14 2022-02-17 Fujitsu Limited Image processing apparatus and computer-readable storage medium for storing screen processing program
KR102412322B1 (ko) * 2021-12-23 2022-06-24 (주)피플앤드테크놀러지 수정 랜덤 함수를 이용한 파티클 필터의 파티클 이동 방법
US11378791B2 (en) 2016-11-08 2022-07-05 Lumus Ltd. Light-guide device with optical cutoff edge and corresponding production methods

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009199363A (ja) * 2008-02-21 2009-09-03 Toshiba Corp パーティクルフィルタを使用する追跡システム
JP2011516825A (ja) * 2008-02-27 2011-05-26 アジョン ユニバーシティ インダストリー コーポレーション ファウンデーション パーティクルフィルターに基づく音響センサーを利用した３次元空間での客体追跡方法
KR101165335B1 (ko) * 2011-04-19 2012-07-18 전남대학교산학협력단 지수함수 기반의 입자 리샘플링 방법 및 그 방법을 이용한 영상객체 추적방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009199363A (ja) * 2008-02-21 2009-09-03 Toshiba Corp パーティクルフィルタを使用する追跡システム
JP2011516825A (ja) * 2008-02-27 2011-05-26 アジョン ユニバーシティ インダストリー コーポレーション ファウンデーション パーティクルフィルターに基づく音響センサーを利用した３次元空間での客体追跡方法
KR101165335B1 (ko) * 2011-04-19 2012-07-18 전남대학교산학협력단 지수함수 기반의 입자 리샘플링 방법 및 그 방법을 이용한 영상객체 추적방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160132731A (ko) * 2015-05-11 2016-11-21 계명대학교 산학협력단 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법
KR101697161B1 (ko) 2015-05-11 2017-01-17 계명대학교 산학협력단 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법
US11378791B2 (en) 2016-11-08 2022-07-05 Lumus Ltd. Light-guide device with optical cutoff edge and corresponding production methods
US20220051044A1 (en) * 2020-08-14 2022-02-17 Fujitsu Limited Image processing apparatus and computer-readable storage medium for storing screen processing program
US11682188B2 (en) * 2020-08-14 2023-06-20 Fujitsu Limited Image processing apparatus and computer-readable storage medium for storing screen processing program
KR102412322B1 (ko) * 2021-12-23 2022-06-24 (주)피플앤드테크놀러지 수정 랜덤 함수를 이용한 파티클 필터의 파티클 이동 방법

Similar Documents

Publication Publication Date Title
Acharya et al. BIM-PoseNet: Indoor camera localisation using a 3D indoor model and deep learning from synthetic images
US9933264B2 (en) System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation
KR101829556B1 (ko) 객체 움직임의 라이더 기반 분류 기법
CN108475058B (zh) 估计对象接触时间的系统和方法、计算机可读介质
WO2018222889A1 (en) Collision prediction system
JP2005235222A (ja) 物体の追跡方法およびその装置
Xiao et al. Two-dimensional visual tracking in construction scenarios: A comparative study
KR101470367B1 (ko) 이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 장치와 그 방법
CN107346538A (zh) 对象跟踪方法及设备
KR20210099450A (ko) 딥러닝을 이용한 원거리 소형 드론 탐지 방법
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
CN113454640A (zh) 用于利用在线学习进行对象跟踪的方法及系统
CN113658203A (zh) 建筑物三维轮廓提取及神经网络的训练方法和装置
CN109035303B (zh) Slam系统相机跟踪方法及装置、计算机可读存储介质
Limprasert et al. Real-time people tracking in a camera network
CN112651535A (zh) 局部路径规划方法、装置、存储介质、电子设备及车辆
JP2009182624A (ja) 目標追尾装置
EP3098682B1 (en) Moving object controller, program, and integrated circuit
Ren et al. Inserting virtual pedestrians into pedestrian groups video with behavior consistency
Cai et al. 3D vehicle detection based on LiDAR and camera fusion
Arnaud et al. Partial linear gaussian models for tracking in image sequences using sequential monte carlo methods
KR101834084B1 (ko) 다중 객체 추적 방법 및 장치
Truong et al. Single object tracking using particle filter framework and saliency-based weighted color histogram
Wang et al. Degree of nonlinearity (DoN) measure for target tracking in videos
Esfahani et al. Kinect depth recovery based on local filters and plane primitives

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171011

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181122

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 6