KR101409810B1 - 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법 - Google Patents

파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법

Info

Publication number
KR101409810B1
KR101409810B1 KR1020120118165A KR20120118165A KR101409810B1 KR 101409810 B1 KR101409810 B1 KR 101409810B1 KR 1020120118165 A KR1020120118165 A KR 1020120118165A KR 20120118165 A KR20120118165 A KR 20120118165A KR 101409810 B1 KR101409810 B1 KR 101409810B1
Authority
KR
South Korea
Prior art keywords
particle
model
target
lbp
weight
Prior art date
Application number
KR1020120118165A
Other languages
English (en)
Other versions
KR20140052256A (ko
Inventor
고병철
곽준영
남재열
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020120118165A priority Critical patent/KR101409810B1/ko
Publication of KR20140052256A publication Critical patent/KR20140052256A/ko
Application granted granted Critical
Publication of KR101409810B1 publication Critical patent/KR101409810B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법에 관한 것으로서, 보다 구체적으로는, (1) 입력 영상의 초기 프레임으로부터 추적하고자 하는 타깃 객체를 타깃 파티클로 결정하여 타깃 모델을 초기화하는 단계, (2) 다음 입력되는 프레임으로부터 랜덤 분포를 갖는 복수 개의 후보 파티클을 생성하는 단계, (3) 상기 파티클(타깃 파티클 및 후보 파티클을 포함함)로부터 HSV(hue, saturation, value) 색상 모델 및 중심대칭-국부이진 패턴(Center Symmetric Local Binary Pattern; 이하 ‘CS-LBP’라 함) 모델을 포함하는 관측 모델(observation model)을 생성하는 단계, (4) 상기 HSV 색상 모델 및 상기 CS-LBP 모델 각각에 대해 상기 타깃 파티클과 상기 후보 파티클 간의 관측 우도(likelihood)를 산출하여 파티클 가중치를 결정하는 단계, (5) 결정된 상기 파티클 가중치를 기반으로 가중치가 가장 높은 파티클을 새로운 타깃 파티클로 설정하여 상기 타깃 객체의 상태를 추정하는 단계, 및 (6) 설정된 상기 새로운 타깃 파티클을 이용하여 다음으로 입력되는 프레임에서 사용될 파티클을 다시 추출하는 재샘플링(re-sampling) 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법에 따르면, 입력 영상의 초기 프레임으로부터 추적하고자 하는 타깃 객체를 타깃 파티클로 결정하여 타깃 모델을 초기화하고, 다음 입력되는 프레임으로부터 랜덤 분포를 갖는 복수 개의 후보 파티클을 생성하여, 파티클(타깃 파티클 및 후보 파티클을 포함함)로부터 HSV(hue, saturation, value) 색상 모델 및 중심대칭-국부이진 패턴(Center Symmetric Local Binary Pattern; 이하 ‘CS-LBP’라 함) 모델을 포함하는 관측 모델(observation model)을 생성하여, 이들 각각에 대해 타깃 파티클과 후보 파티클 간의 관측 우도(likelihood)를 산출하여 파티클 가중치를 결정하고, 결정된 파티클 가중치를 기반으로 가중치가 가장 높은 파티클을 새로운 타깃 파티클로 설정하여 타깃 객체의 상태를 추정하며, 설정된 새로운 타깃 파티클을 이용하여 다음으로 입력되는 프레임에서 사용될 파티클을 다시 추출함으로써, 카메라의 떨림이나 배경의 복잡함, 객체의 가려짐, 객체의 기울어짐, 조명 및 색상의 변화에도 정확하고, 실시간으로 객체를 추적할 수 있다.

Description

파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법{REAL-TIME OBJECT TRACKING METHOD IN MOVING CAMERA BY USING PARTICLE FILTER}
본 발명은 실시간 객체 추적 방법에 관한 것으로서, 보다 구체적으로는, 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법에 관한 것이다.
최근 들어, 비디오 기반 감시 시스템에 요구가 증가하면서 감시 시스템에서 가장 중요한 요소인 객체 추적에 대한 연구가 활발히 진행되고 있다. 객체 추적 기술은 감시 시스템 이외에도 행동 인식, 모바일 로봇, 스마트 룸, 증강현실, 비디오 압축 등과 같이 컴퓨터 비전 분야에서 중요한 역할을 한다. 하지만, 현실에서 실시간 객체 추적은 객체의 가려짐, 낮은 해상도, 조명의 변화, 배경의 복잡함 등으로 인해 정확한 추적이 어려운 문제점이 있다. 이러한 문제점을 해결하기 위해서 최근 객체 추적에 대한 다양한 연구가 진행되고 있다.
Yang 등(C. Yang, R. Duraiswami, and L. Davis "Fast Multiple Object Tracking via a Hierarchical Particle Filter," International Conference on Computer Vision, Vol. 1, pp.212-219, 2005.11)은 파티클 필터에 계층적(cascade) 모델을 적용한 방법을 제안하였다. 즉, 첫 번째 단계에서 컬러 특징과 HOG(Histogram of oriented gradient) 특징을 사용하고, 두 번째 단계에서 Haar-like 특징을 사용한다. 마지막 단계로 SIFT(Scale Invariant Feature Transform) 기술자를 사용하여 최종적으로 타깃 파티클을 구하는 것을 제안하였다.
Deguchi 등(K. Deguchi, O. Kawanaka, and T. Okatani, "Object tracking by the mean-shift of regional color distribution combined with the particle-filter algorithm," 17th International Conference on Pattern Recognition, Vol. 3, pp. 506-509, 2004.)은 객체를 추적하기 위해 mean-shift 알고리즘을 사용하여 객체의 위치를 추정하고 객체의 가려짐이나 추적시간을 줄이기 위해 파티클 필터를 병행적으로 사용하는 방법을 제안하였다.
Islam 등(M. Z. Islam, C. M. Oh, and C. W. Lee, "Video Based Moving Object Tracking by Particle Filter", International Journal of Signal Processing, Image Processing and Pattern, Vol. 2, No. 1, pp.120-132, 2009.)은 파티클 필터와 Distance transformation(DT)을 사용하여 객체를 추적하는 방법을 제안하였다. 즉, 객체의 변화에 덜 민감한 DT 이미지를 생성하였고, 유사도 측정을 위해 크기와 회전에 민감하지 않도록 정규화한 교차상관관계(cross-correlation) 방법을 제안하였다.
Sidibe 등(D. Sidibe, D. Fofi, and F. Meriaudeau, "Using visual saliency for object tracking with particle filters," 18th European Signal Processing Conference, pp. 1-5, 2010.)은 파티클 필터에 시각적 중요 정보를 결합하여 객체 간의 겹침이 발생하거나 조명 변화가 심하게 발생하는 경우에도 중요 객체를 추적할 수 있는 알고리즘을 제안하였다.
이러한 기존의 방법에서 사용하고 있는 주요 특징 중 하나인 색상 정보는 잡음, 객체의 기울어짐, 부분적 가림 등에 강건하고 계산 속도가 빠른 장점이 있는 반면, 조명의 변화에 민감하고 객체의 겹침이 심할 경우 추적 성능이 떨어지는 문제점이 있다. 이를 해결하기 위해, 영상 내에 포함된 객체의 픽셀 그래디언트의 방향을 이용하는 HOG가 사용되기는 하지만, 특징 벡터의 크기가 한 파티클 당 3780차원이 추출되는바, 후보 파티클들에 대해 모두 적용하기 위해서는 계산 시간이 많이 걸리는 문제점이 있다. 또한, 이러한 기존의 방법들은 고정된 카메라를 기반으로 하는 것인바, 바람, 지반의 흔들림, 모바일 로봇의 움직임 등으로 인해 카메라에서 떨림이 발생하는 경우 객체를 쉽게 놓치는 경우가 발생하는 문제점이 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 입력 영상의 초기 프레임으로부터 추적하고자 하는 타깃 객체를 타깃 파티클로 결정하여 타깃 모델을 초기화하고, 다음 입력되는 프레임으로부터 랜덤 분포를 갖는 복수 개의 후보 파티클을 생성하여, 파티클(타깃 파티클 및 후보 파티클을 포함함)로부터 HSV(hue, saturation, value) 색상 모델 및 중심대칭-국부이진 패턴(Center Symmetric Local Binary Pattern; 이하 ‘CS-LBP’라 함) 모델을 포함하는 관측 모델(observation model)을 생성하여, 이들 각각에 대해 타깃 파티클과 후보 파티클 간의 관측 우도(likelihood)를 산출하여 파티클 가중치를 결정하고, 결정된 파티클 가중치를 기반으로 가중치가 가장 높은 파티클을 새로운 타깃 파티클로 설정하여 타깃 객체의 상태를 추정하며, 설정된 새로운 타깃 파티클을 이용하여 다음으로 입력되는 프레임에서 사용될 파티클을 다시 추출함으로써, 카메라의 떨림이나 배경의 복잡함, 객체의 가려짐, 객체의 기울어짐, 조명 및 색상의 변화에도 정확하고, 실시간으로 객체를 추적할 수 있는, 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법을 제공하는 것을 그 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법은,
(1) 입력 영상의 초기 프레임으로부터 추적하고자 하는 타깃 객체를 타깃 파티클로 결정하여 타깃 모델을 초기화하는 단계;
(2) 다음 입력되는 프레임으로부터 랜덤 분포를 갖는 복수 개의 후보 파티클을 생성하는 단계;
(3) 상기 파티클(타깃 파티클 및 후보 파티클을 포함함)로부터 HSV(hue, saturation, value) 색상 모델 및 중심대칭-국부이진 패턴(Center Symmetric Local Binary Pattern; 이하 ‘CS-LBP’라 함) 모델을 포함하는 관측 모델(observation model)을 생성하는 단계;
(4) 상기 HSV 색상 모델 및 상기 CS-LBP 모델 각각에 대해 상기 타깃 파티클과 상기 후보 파티클 간의 관측 우도(likelihood)를 산출하여 파티클 가중치를 결정하는 단계;
(5) 결정된 상기 파티클 가중치를 기반으로 가중치가 가장 높은 파티클을 새로운 타깃 파티클로 설정하여 상기 타깃 객체의 상태를 추정하는 단계; 및
(6) 설정된 상기 새로운 타깃 파티클을 이용하여 다음으로 입력되는 프레임에서 사용될 파티클을 다시 추출하는 재샘플링(re-sampling) 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는,
(7) 상기 단계 (3) 내지 단계 (6)을 반복하여 수행하는 단계를 더 포함할 수 있다.
바람직하게는, 단계 (2)에서, 상기 후보 파티클은,
하기의 수학식 2와 같이, 이전 타깃 객체의 상태와 가우시안 랜덤 노이즈가 추가된 상태와의 선형 결합에 의한 예측을 통해 생성될 수 있다.
[수학식 2]
Figure 112012086511930-pat00001
(여기서,(xt, yt) 및 (xt -1, yt -1)은 각각 현재 및 이전 타깃 객체의 위치를 나타내고, wt 및 wt -1은 각각 현재 및 이전 타깃 객체 사각형의 가로 크기를 나타내며, ht 및 ht -1은 각각 현재 및 이전 타깃 객체 사각형의 세로 크기를 나타내고, G(0, σ2)는 가우시안 랜덤 노이즈를 나타낸다.)
더욱 바람직하게는, 상기 σx 및 상기σy는,
1일 수 있다.
더욱 바람직하게는, 상기 σw 및 상기 σh는,
0.64일 수 있다.
바람직하게는, 상기 단계 (3)에서, 상기 HSV 색상 모델은,
상기 파티클로부터 복수 개의 빈을 갖는 색상 히스토그램 모델을 생성하는 단계; 및
Epanechnikov 커널을 이용하여 상기 색상 히스토그램 모델을 갱신하는 단계를 통하여 생성될 수 있다.
더욱 바람직하게는, 상기 HSV 색상 모델은,
하나의 상기 파티클로부터 384차원의 HSV 색상 모델이 생성될 수 있다.
바람직하게는, 상기 단계 (3)에서, 상기 CS-LBP 모델은,
상기 파티클을 복수 개의 영역으로 분할하는 단계;
분할된 각각의 상기 영역에서 CS-LBP 특징을 추출하는 단계;
상기 CS-LBP 특징을 추출한 각각의 상기 영역에서 CS-LBP 히스토그램을 생성하는 단계;
각각의 상기 영역에서 생성된 상기 CS-LBP 히스토그램을 연결하여 1차원의 특징 벡터를 생성하는 단계; 및
생성된 상기 특징 벡터를 정규화하는 단계를 통하여 생성될 수 있다.
더욱 바람직하게는, 상기 분할 단계는,
상기 파티클을 16개의 영역으로 분할할 수 있다.
더욱 바람직하게는, 상기 CS-LBP 히스토그램은,
16개의 빈을 가질 수 있다.
더욱 바람직하게는, 상기 1차원 특징 벡터는,
256 크기를 가질 수 있다.
더욱 바람직하게는, 상기 정규화 단계는,
상기 특징 벡터를 0~1로 정규화할 수 있다.
바람직하게는, 상기 단계 (4)는,
바타차리야(Bhattacharyya) 계수를 이용하여 상기 HSV 색상 모델 및 상기 CS-LBP 모델 각각에 대해 상기 타깃 파티클과 상기 후보 파티클 간의 관측 우도를 산출하는 단계; 및
산출된 상기 HSV 색상 모델 및 상기 CS-LBP 모델 각각에 대한 상기 관측 우도를 선형 가중 결합하여 가중치를 생성하는 단계를 포함할 수 있다.
더욱 바람직하게는, 상기 선형 가중 결합 단계는,
산출된 상기 HSV 색상 모델 및 상기 CS-LBP 모델 각각에 대한 상기 관측 우도는 하기의 수학식 16에 따라 선형 결합될 수 있다.
[수학식 16]
Figure 112012086511930-pat00002
(여기서,
Figure 112012086511930-pat00003
는 가중치, ρc[p*,p(yt)]는 HSV 색상 모델에 대한 파티클 간의 관측 우도, ρt[p*,p(yt)]는 CS-LBP 모델에 대한 파티클 간의 관측 우도를 나타내며, α는 가중치 파라미터를 나타낸다.)
더더욱 바람직하게는, 상기 가중치 파라미터는,
0.4일 수 있다.
본 발명에서 제안하고 있는 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법에 따르면, 입력 영상의 초기 프레임으로부터 추적하고자 하는 타깃 객체를 타깃 파티클로 결정하여 타깃 모델을 초기화하고, 다음 입력되는 프레임으로부터 랜덤 분포를 갖는 복수 개의 후보 파티클을 생성하여, 파티클(타깃 파티클 및 후보 파티클을 포함함)로부터 HSV(hue, saturation, value) 색상 모델 및 중심대칭-국부이진 패턴(Center Symmetric Local Binary Pattern; 이하 ‘CS-LBP’라 함) 모델을 포함하는 관측 모델(observation model)을 생성하여, 이들 각각에 대해 타깃 파티클과 후보 파티클 간의 관측 우도(likelihood)를 산출하여 파티클 가중치를 결정하고, 결정된 파티클 가중치를 기반으로 가중치가 가장 높은 파티클을 새로운 타깃 파티클로 설정하여 타깃 객체의 상태를 추정하며, 설정된 새로운 타깃 파티클을 이용하여 다음으로 입력되는 프레임에서 사용될 파티클을 다시 추출함으로써, 카메라의 떨림이나 배경의 복잡함, 객체의 가려짐, 객체의 기울어짐, 조명 및 색상의 변화에도 정확하고, 실시간으로 객체를 추적할 수 있다.
도 1은 본 발명의 일실시예에 따른 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법의 순서도.
도 2는 본 발명의 일실시예에 따른 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법의 개요도.
도 3은 본 발명의 일실시예에 따른 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법에서, HSV 색상 모델이 생성되는 단계의 순서도.
도 4는 본 발명의 일실시예에 따른 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법에서, CS-LBP 모델이 생성되는 단계의 순서도.
도 5는 본 발명의 일실시예에 따른 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법에서, CS-LBP 모델이 생성되는 각 단계가 수행된 상태를 나타낸 도면.
도 6은 본 발명의 일실시예에 따른 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법에서, LBP와 CS-LBP 특칭 추출의 차이를 비교한 도면.
도 7은 본 발명의 일실시예에 따른 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법의 단계 S400의 세부 순서를 나타낸 도면.
도 8은 본 발명의 일실시예에 따른 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법에 따라 영상에서 객체를 추적한 결과를 나타낸 도면.
도 9는 본 발명의 일실시예에 따른 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법에서, 실험예 1의 객체 추적 성능 평가 실험 결과를 나타낸 도면.
도 10은 본 발명의 일실시예에 따른 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법에서, 객체 간의 공간적 겹침 영역을 나타낸 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법의 순서도이고, 도 2는 본 발명의 일실시예에 따른 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법의 개요도이다. 도 1 및 도 2에 나타낸 바와 같이, 본 발명의 일실시예에 따른 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법은, 입력 영상의 초기 프레임으로부터 추적하고자 하는 타깃 객체를 타깃 파티클로 결정하여 타깃 모델을 초기화하는 단계(S100), 다음 입력되는 프레임으로부터 랜덤 분포를 갖는 복수 개의 후보 파티클을 생성하는 단계(S200), 파티클(타깃 파티클 및 후보 파티클을 포함함)로부터 HSV(hue, saturation, value) 색상 모델 및 중심대칭-국부이진 패턴(Center Symmetric Local Binary Pattern; 이하 ‘CS-LBP’라 함) 모델을 포함하는 관측 모델(observation model)을 생성하는 단계(S300), HSV 색상 모델 및 CS-LBP 모델 각각에 대해 타깃 파티클과 후보 파티클 간의 관측 우도(likelihood)를 산출하여 파티클 가중치를 결정하는 단계(S400), 설정된 파티클 가중치를 기반으로 가중치가 가장 높은 파티클을 새로운 타깃 파티클로 설정하여 타깃 객체의 상태를 추정하는 단계(S500), 및 설정된 새로운 타깃 파티클을 이용하여 다음으로 입력되는 프레임에서 사용될 파티클을 다시 추출하는 재샘플링(re-sampling) 단계(S600)를 포함하여 구성될 수 있고, 단계 S300 내지 단계 S600을 반복하여 수행하는 단계(S700)를 더 포함할 수 있다.
단계 S100에서는, 입력 영상의 초기 프레임으로부터 추적하고자 하는 타깃 객체를 타깃 파티클로 결정하여 타깃 모델을 초기화한다. 보다 구체적으로, 입력 영상의 초기 프레임으로부터 추적하고자 하는 객체의 사각형 영역을 정의함으로써 추적하고자 하는 타깃의 초기 상태를 결정하며, 이는 하기의 수학식 1과 같이 표현될 수 있다.
Figure 112012086511930-pat00004
여기서, x, y는 타깃 객체의 위치(중심점)를 나타내고, w, h는 타깃 객체의 사각형 가로, 세로 크기를 나타낸다.
단계 S200에서는, 다음 입력되는 프레임으로부터 랜덤 분포를 갖는 복수 개의 후보 파티클을 생성한다. 보다 구체적으로 후보 파티클은, 하기의 수학식 2와 같이, 이전 타깃 객체의 상태와 가우시안 랜덤 노이즈가 추가된 상태와의 선형 결합에 의한 예측을 통해 생성될 수 있다.
Figure 112012086511930-pat00005
여기서,(xt, yt) 및 (xt -1, yt -1)은 각각 현재 및 이전 타깃 객체의 위치를 나타내고, wt 및 wt -1은 각각 현재 및 이전 타깃 객체 사각형의 가로 크기를 나타내며, ht 및 ht -1은 각각 현재 및 이전 타깃 객체 사각형의 세로 크기를 나타내고, G(0, σ2)는 각 파티클들이 랜덤 분포를 갖도록 하기 위한 가우시안 랜덤 노이즈를 나타낸다.
이러한 가우시안 랜덤 노이즈에 의해 후보 파티클의 위치와 크기가 가변적으로 변할 수 있으며, 수학식 2에서 사용되는 랜덤 가우시안 분포는 카메라 흔들림과 개체의 크기 변화를 동적으로 반영할 수 있는 중요한 가중치가 될 수 있으며, 이때, σx 및 σy는 1, σw 및 σh는 0.64로 설정되는 것이 바람직하다.
단계 S300에서는, 파티클(타깃 파티클 및 후보 파티클을 포함함)로부터 HSV 색상 모델 및 CS-LBP 모델을 포함하는 관측 모델을 생성한다. 즉, 객체의 검출과 추적을 위해 HSV 색상 모델과 질감 모델인 CS-LBP 모델의 두 가지 특징 모델을 조합하여 관측 모델을 생성하며, 이에 대해서는 도 3 및 도 6을 참조하여 상세히 설명하도록 한다.
도 3은 본 발명의 일실시예에 따른 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법에서, HSV 색상 모델이 생성되는 단계의 순서도이다. 도 3에 나타낸 바와 같이, HSV 색상 모델은, 파티클로부터 복수 개의 빈을 갖는 색상 히스토그램 모델을 생성하는 단계(S311) 및 Epanechnikov 커널을 이용하여 색상 히스토그램 모델을 갱신하는 단계(S312)를 통하여 생성될 수 있다.
객체 추적을 위해 사용되는 여러 가지 특징 중에서 색상 성분은 잡음이나 부분적인 가려짐에 강하고 영상의 회전이나 크기 변화에 덜 민감하며 계산 속도가 빨라 객체 추적을 위한 매우 중요한 정보가 될 수 있다. 따라서 본 발명에 따른 객체 추적 방법에서는, 색상 정보를 객체 추적을 위한 특징값으로 이용하며, RGB 색상에 비해 조명 변화에 덜 민감한 HSV 색상을 추출하여 색상 분포 모델을 생성하는 것이 바람직하다.
보다 구체적으로, 단계 S311에서는, 파티클로부터 복수 개, 예컨대 m개의 빈을 갖는 색상 히스토그램 모델을 생성하며, 이는 하기의 수학식 3으로 표현될 수 있다.
Figure 112012086511930-pat00006
여기서, Pu는 u-번째 빈의 요소를 나타낸다.
단계 S312에서는, 단계 S311에 의해 생성된 색상 히스토그램을 Epanechnikov 커널을 이용하여 갱신한다. 즉, 객체 파티클에서는 주변보다 중심 영역이 더 중요한 정보를 포함하고 있는바, 타깃 파티클의 중심에 해당하는 픽셀에 더 많은 가중치를 주기 위해 x를 중심으로 하는 파티클의 색상 히스토그램 모델을 하기의 수학식 4에 따라 갱신할 수 있다.
Figure 112012086511930-pat00007
여기서, b(xi)는 xi 좌표에서의 색상 요소를 나타내며, δ는 Kronecker 함수를 나타내고, R은 파티클 영역을 나타내며, c는 색상 분포를 0~1로 정규화하기 위한 상수를 나타낸다. 함수 K는 Epanechnikov 커널을 나타내며, h는 파티클 영역의 반경을 나타낸다.
이러한 수학식 4에 의해 HSV 색상 모델은 파티클의 중심에 속한 픽셀의 경우 높은 가중치를 갖게 되고 주변으로 갈수록 낮은 가중치를 갖게 되어 물체에 의한 객체의 가려짐을 영향을 덜 받을 수 있게 된다.
또한, 단계 S311 및 S312를 통하여, HSV의 각 채널로부터 0~1의 값을 갖는 128차원의 HSV 색상 모델이 생성될 수 있고, 결과적으로, 한 파티클로부터 추출되는 총 특징 차원은 128×3 = 384 차원이 된다.
한편, x를 중심으로 한 HSV 색상 모델이 생성되면, 추적 대상이 되는 y 좌표 후보 파티클에서도 동일한 색상 모델을 생성하는 것이 바람직하며, 이는 하기의 수학식 5로 표현될 수 있다.
Figure 112012086511930-pat00008
도 4는 본 발명의 일실시예에 따른 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법에서, CS-LBP 모델이 생성되는 단계의 순서도이고, 도 5는 본 발명의 일실시예에 따른 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법에서, CS-LBP 모델이 생성되는 각 단계가 수행된 상태를 나타낸 도면이다. 도 4 및 도 5에 나타낸 바와 같이, CS-LBP 모델은 파티클을 복수 개의 영역으로 분할하는 단계(S321), 분할된 각각의 영역에서 CS-LBP 특징을 추출하는 단계(S322), CS-LBP 특징을 추출한 각각의 영역에서 CS-LBP 히스토그램을 생성하는 단계(S323), 각각의 영역에서 생성된 CS-LBP 히스토그램을 연결하여 1차원의 특징 벡터를 생성하는 단계(S324) 및 생성된 특징 벡터를 정규화하는 단계(S325)를 통하여 생성될 수 있다.
일반적으로, 객체의 검출과 추적을 위해 많이 사용되고 있는 질감 모델인 국부이진 패턴(Local Binary Pattern; ,이하 ‘LBP’라 함) 및 HOG 특징들은 우수한 성능에 비해 특징의 차원 수가 커서 실시간 객체 추적이 불가능한 문제점이 있다. 따라서 본 발명에 따른 객체 추적 방법에서는, LBP와 비슷한 성능을 가지는 반면, 더 적은 특징 차원을 갖는 질감 특징으로서 CS-LBP를 사용하는 것이 바람직하다.
단계 S321에서는, 파티클을 복수 개의 영역으로 분할하며, 보다 구체적으로는 도 5에 나타낸 바와 같이, 서로 중첩되지 않는 16(4×4)개의 영역으로 분할하는 것이 바람직하다.
단계 S322에서는, 단계 S321에 의해 분할된 각각의 영역에서 CS-LBP 특징을 추출하며, 보다 구체적으로, 도 5에 나타낸 바와 같이, 16개의 영역에서 각각 CS-LBP 특징을 추출하여 그 결과 하나의 파티클에서 16개의 CS-LBP 특징을 추출한다.
CS-LBP는 중심 픽셀의 이웃하는 픽셀들의 관계를 나타내는 일종의 연산자로서, LBP와 비슷한 성능을 나타내면서 더 적은 특징 차원을 사용하는바, 실시간으로 객체를 추적할 수 있는 장점이 있으며, 도 6은 본 발명의 일실시예에 따른 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법에서, LBP와 CS-LBP 특칭 추출의 차이를 비교한 도면이다.
즉, 중심 픽셀에 대한 CS-LBP 값은 중심 픽셀과 거리가 1인 이웃하는 4개의 픽셀을 하기의 수학식 6에 적용하고, 그 결과를 반시계 방향으로 정렬함으로써 얻을 수 있으며, 도 6에 나타낸 바와 같이, LBP의 경우 총 256차원이 필요한 반면, CS-LBP는 동일한 성능을 보이면서 총 16차원으로 차원을 줄일 수 있다.
Figure 112012086511930-pat00009
여기서, ni 및 ni +(N/2)는 nc를 중심으로 반경 R인 원 안에서 N만큼씩 이동하며 대칭되는 점의 좌표를 나타낸다.
더욱이, 도 6에서, LBP의 경우 nc를 중심으로 중심과 각 점 ni와의 거리 값이 하기의 수학식 7의 조건을 만족하는지 여부에 따라 1 또는 0의 값을 갖고 이를 반시계 방향으로 나열하여 8비트의 코드값을 생성하는 반면, CS-LBP의 경우는 nc를 중심으로 대칭되는 점만의 거리 값을 계산하고 하기의 수학식 7의 조건을 만족하는지 여부에 따라 1 또는 0의 값을 갖고, 이를 반시계 방향으로 나열하여 4비트의 코드값을 생성할 수 있다.
Figure 112012086511930-pat00010
단계 S323에서는, 단계 S322에 의해 CS-LBP 특징을 추출한 각각의 영역에서 CS-LBP 히스토그램을 생성하며, 보다 구체적으로는 도 5에 나타낸 바와 같이, CS-LBP 히스토그램은 16개의 빈(bin)을 가지며, 이는 각 영역에서 나타나는 CS-LBP 분포를 나타낸다.
단계 S324에서는, 단계 S323에 의해 각각의 영역에서 생성된 CS-LBP 히스토그램을 연결하여 1차원의 특징 벡터를 생성하며, 이는 하기의 수학식 8로 표현될 수 있다. 보다 구체적으로는 도 5에 나타낸 바와 같이, 1차원의 특징 벡터는, 16개의 영역에서 생성된 16개의 빈을 가진 CS-LBP 히스토그램을 연결하여 생성되는바, 256(16×16) 크기를 가질 수 있다.
Figure 112012086511930-pat00011
단계 S325에서는, 단계 S324에 의해 생성된 특징 벡터를 정규화하며, 보다 구체적으로는 0~1로 정규화한다.
한편, HSV 색상 모델과 동일하게, x를 중심으로 한 질감 모델인 CS-LBP 색상 모델이 생성되면, 추적 대상이 되는 y 좌표 후보 파티클에서도 동일한 질감 모델을 생성하는 것이 바람직하며, 이는 하기의 수학식 9로 표현될 수 있다.
Figure 112012086511930-pat00012
이하에서는, 파티클 필터링을 구현하기 위한 구체적인 단계인 단계 S400 내지 단계 S700에 대해서 상세히 설명하도록 한다.
파티클 필터는 SMC(sequential Monte Carlo methods)으로 잘 알려져 있으며, 베이시언(Bayesian) 확률 분포에 근거하여 이동물체 추적에 강인한 장점을 가지고 있는 필터이다. 파티클 필터는 유한 개의 가중치 파티클 집합
Figure 112012086511930-pat00013
, j∈{1...J}으로부터 반복적으로 추적 객체의 사후 확률 분포를 예측한다. 여기서, 각 파티클
Figure 112012086511930-pat00014
은 상태(state) 벡터
Figure 112012086511930-pat00015
와 중요 가중치
Figure 112012086511930-pat00016
로 구성된다. 파티클 필터는 기본적으로 예측 단계(Prediction), 업데이트 단계(Update), 재샘플링 단계(Re-sampling)로 구성되며 각 프레임마다 이 과정을 반복하며 파티클 집합을 갱신한다.
예측 단계에서는, 시간 t-1에서 사용 가능한 모든 관찰(observation) y1 :t-1 = {y1,...,yt -1}이 주어지고, 시간 t에서 사후 확률을 예측하기 위해 확률 시스템 전이 모델 p{xt|xt -1}을 하기의 수학식 10에 적용하여 사후 확률을 계산한다.
Figure 112012086511930-pat00017
업데이트 단계에서는, 시간 t에서, 관찰 yt가 사용 가능하면, 상태는 하기의 수학식 11의 베이스(Bayes) 규칙을 사용하여 업데이트 할 수 있다.
Figure 112012086511930-pat00018
파티클 필터에서 사후 확률 p{xt|y1 :t}은 N개의 유한 개 파티클
Figure 112012086511930-pat00019
과 각각의 중요 가중치
Figure 112012086511930-pat00020
에 의해서 근사 된다. 후보 파티클
Figure 112012086511930-pat00021
는 중요 분포 q{xt|x1:t-1,y1:t}에서 추출되며, 파티클들의 가중치는 하기의 수학식 12에 의해서 계산된다.
Figure 112012086511930-pat00022
재샘플링 단계에서는, 파티클들의 상태가 퇴화하는 것을 막기 위해서 가중치가 높은 파티클들을 중심으로 새로운 파티클들을 다시 추출한다.
보다 구체적으로, 단계 S400에서는, 단계 S300에 의해 생성된 HSV 색상 모델 및 CS-LBP 모델 각각에 대해 타깃 파티클과 후보 파티클 간의 관측 우도(likelihood)를 산출하여 파티클 가중치를 결정하며, 도 7은 본 발명의 일실시예에 따른 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법의 단계 S400의 세부 순서를 나타낸 도면이다. 도 7에 나타낸 바와 같이, 본 발명의 일실시예에 따른 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법의 단계 S400은, 바타차리야(Bhattacharyya) 계수를 이용하여 HSV 색상 모델 및 CS-LBP 모델 각각에 대해 타깃 파티클과 후보 파티클 간의 관측 우도를 산출하는 단계(S410) 및 산출된 HSV 색상 모델 및 CS-LBP 모델 각각에 대한 관측 우도를 선형 가중 결합하여 가중치를 생성하는 단계(S420)를 포함할 수 있다.
단계 S410에서는, 바타차리야(Bhattacharyya) 계수를 이용하여 HSV 색상 모델 및 CS-LBP 모델 각각에 대해 타깃 파티클과 후보 파티클 간의 관측 우도를 산출하며, 이는 하기의 수학식 13으로 표현될 수 있다.
Figure 112012086511930-pat00023
여기서,
Figure 112012086511930-pat00024
은 m차원의 타깃 특징 모델을 나타내며, p(yt)는 후보 타깃의 특징 모델을 나타낸다. 이때, 수학식 12를 각 파티클 샘플
Figure 112012086511930-pat00025
에 대한 우도
Figure 112012086511930-pat00026
로 사용한다.
단계 S420에서는, 단계 S410에 의해 산출된 HSV 색상 모델 및 CS-LBP 모델 각각에 대한 관측 우도를 선형 가중 결합하여 가중치를 생성한다.
즉, 파티클 필터의 한 형태인 부트스트랩 필터(Bootstrap filter)에서는 파티클 생성과 가중치 계산을 쉽게 하기 위해 수학식 12의 중요 분포를 하기의 수학식 14에 따른 전이모델로 대치하여 사용한다.
Figure 112012086511930-pat00027
이때, 가중치는 관측 우도
Figure 112012086511930-pat00028
가 되고, 이는 다시 하기의 수학식 15와 같이 변형하여 사용할 수 있다.
Figure 112012086511930-pat00029
따라서 단계 S420에서는, 단계 S410에 의해 산출된 HSV 색상 모델에 대해 타깃 파티클과 후보 파티클 간의 관측 우도 ρc[p*,p(yt)]와 CS-LBP 모델에 대해 타깃 파티클과 후보 파티클 간의 관측 우도 ρt[p*,p(yt)]를 하기의 수학식 16에 따라 선형 결합을 함으로써 파티클 가중치를 결정한다.
Figure 112012086511930-pat00030
여기서, α는 각 특징 모델을 위한 가중치 파라미터를 나타내며, 0.4로 설정하여 HSV 색상 모델에 더 많은 가중치를 부여하는 것이 바람직하다.
단계 S500에서는, 단계 S400에 의해 결정된 파티클 가중치를 기반으로 가중치가 가장 높은 파티클을 새로운 타깃 파티클로 설정하여 타깃 객체의 상태를 추정한다. 즉, 수학식 16에 따라 후보 파티클의 가중치(wi)가 결정되면, 이 중에서 가중치에 따라 상위 N개의 파티클을 선택하여 t시간에서 타깃의 새로운 상태를 추정하며, 이는 하기의 수학식 17로 표현될 수 있다.
Figure 112012086511930-pat00031
여기서, x, y는 파티클의 중심점을 나타내고, w, h는 파티클 사각형의 가로, 세로 크기를 나타낸다.
한편, 이때, 현재 새로운 타깃의 상태 중심(xt,yt)과 이전 타깃의 상태 중심 (xt-1,yt-1) 간의 거리가 임계값 (T)보다 클 경우 타깃이 다른 물체에 의해 완전히 가려졌거나 잘못된 위치를 검출한 것을 의미하는바, 이전 타깃의 상태 값을 유지하는 것이 바람직하며, 이는 하기의 수학식 18로 표현될 수 있다.
Figure 112012086511930-pat00032
단계 S600에서는, 단계 S500에 의해 설정된 새로운 타깃 파티클을 이용하여 다음으로 입력되는 프레임에서 사용될 파티클을 다시 추출한다. 단계 S600에 의한 재샘플링 후에 타깃의 새로운 상태 공간은 수학식 2에 따라 결정될 수 있다.
단계 S700에서는, 추적하고자 하는 객체가 사라지거나 객체 추적이 종료될 때까지 단계 S300 내지 단계 S600을 반복하여 수행한다.
도 8은 본 발명의 일실시예에 따른 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법에 따라 영상에서 객체를 추적한 결과를 나타낸 도면이다. 도 8에 나타낸 바와 같이, 본 발명의 일실시예에 따른 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법은, 카메라의 떨림이나 배경의 복잡함, 객체의 가려짐, 조명 및 색상의 변화에도 정확하게 객체를 추적하는 것을 확인할 수 있다. 한편, 도 8에서, 1번째 열은 0프레임이고, 2번째 열은 80 프레임, 3번째 열은 160 프레임, 및 4번째 열은 230 프레임이다.
본 발명은 이하의 실험예에 의하여 더욱 상세히 설명되나, 본 발명이 이하의 실험예에 의해 어떤 식으로든 제한되는 것은 아니다.
[실험예 1]
객체 추적 성능 평가 실험
본 발명에 따른 객체 추적 방법의 성능을 평가하기 위해 하기와 같이 실험을 진행하였다.
Klein 등(D. A. Klein, D. Schulz, S. Frintrop, and A. B. Cremers, "Adaptive Real-Time Video-Tracking for Arbitrary Objects", IEEE/RSJ International Conference of Intelligent Robots and Systems, pp. 772-777, 2010.)의 실험에서 사용한 5개의 동영상을 사용하였고, 각 동영상은 모바일 로봇에 적용하기 위해 움직이는 카메라 환경에서 촬영되었으며 복잡한 배경 하에서 객체의 가려짐(video 1~4), 색상 및 조명의 변화(video 5)가 연속적으로 발생하는 동영상을 포함하고 있다.
Yin 등(F. Yin, D. Markris, and S. Velastin, "Performance evaluation of object tracking algorithms," IEEE International Workshop on Performance Evaluation of Tracking and Surveillance, pp. 1-8, 2007.)이 제안한 성능 평가 방법을 사용하여 성능 평가를 실시하였고, 4개의 특징과 파티클 필터를 조합한 4개의 방법(① RGB히스토그램과 파티클 필터를 이용한 방법, ② HSV히스토그램과 파티클 필터를 이용한 방법, ③ Epanechnikov 커널 기반의 HSV히스토그램과 파티클 필터를 이용한 방법, ④ 로컬 CS-LBP와 파티클 필터를 이용한 방법)의 성능 평가와 비교하였으며, 그 결과를 도 9에 나타내었다. 도 9에서, 그래프의 가로 축은 프레임 번호를 나타내고, 세로축은 파티클이 포함하고 있는 객체의 겹침 스코어를 나타낸다.
도 9에 나타낸 바와 같이, 도 9의 (a)~(c)에 표시된 사각박스 영역은 객체가 다른 객체에 의해 가려진 부분으로 실제 GT값을 알 수 없음으로 0의 스코어를 갖는 것을 알 수 있다.
여기서, GT(ground-truth)란 사용자가 설정한 객체 영역을 말하는 것으로서, 객체 추적 알고리즘에 의해 설정된 객체 영역을 ST(system-truth)라고 한다면, k번째 프레임에서 i객체와 j객체의 공간적 겹침 (A)는 하기의 수학식 19로 표현될 수 있고, 도 10과 같이 나타낼 수 있다.
Figure 112012086511930-pat00033
도 9에서 나타낸 바와 같이, HSV 색상 히스토그램은 RGB에 비해 성능이 우수한 것을 알 수 있고, 이는 HSV가 RGB에 비해 인간시각과 유사한 색상 값을 가지며 조명 변화에 덜 민감하도록 색상 성분과 밝기 성분을 분리시켰기 때문인 것으로 사료된다. 또한, HSV 색상 히스토그램을 그대로 사용하는 것보다 Epanechnikov 커널 기반의 HSV 히스토그램을 사용한 경우, 객체의 겹침이나 가려짐 부분에서 더욱 좋은 성능을 나타냄을 알 수 있었다. 마찬가지 로컬 CS-LBP만을 이용한 방법은 좋은 성능을 보여주었지만 객체의 형태나 크기가 변할 경우 놓치는 프레임들이 발생하였다. 반면에, 본 발명에 따른 객체 추적 방법은, Epanechnikov 커널 기반의 HSV 히스토그램과 로컬 CS-LBP의 조합을 파티클 필터에 적용함으로써 객체의 형태변화뿐만 아니라 배경의 복잡함, 객체의 가려짐, 객체의 겹침, 조명의 변화에 덜 민감하고 객체의 위치를 정확히 추적할 수 있음을 확인하였다.
한편, 각 비디오 영상에서 GT와 ST 사이의 겹침 A(GT, ST)에 대한 평균 수치 산출하여 비교하였으며, 그 결과를 표 1에 나타내었다.
비디오 번호 프레임 수 평균 A(GT, ST) × 100 (%)
방법 ① 방법 ② 방법 ③ 방법 ④ 본 발명에 따른 방법
video 1 436 51.8 55.7 51.1 57.7 82.3
video 2 600 66 64.4 59.1 56.8 79.8
video 3 373 57.4 55.1 58.3 44.9 84.9
video 4 578 54.3 69.8 76 68.7 88.4
video 5 396 83.7 87.6 82.2 95.4 96.5
평균 62.64 66.52 65.34 64.7 86.38
표 1에 나타낸 바와 같이, 본 발명에 따른 객체 추적 방법은 평균 겹침(A)율이 86%로 다른 방법들에 비해 우수함을 확인하였다. 한편, 비디오 2의 경우는, 비슷한 색상과 크기를 갖는 객체들의 빈번한 가림으로 인해 검출률이 다른 비디오에 비해 상대적으로 떨어졌다. 또한, 도 9의 객체 겹침 영역이 포함된 프레임은 실제 객체가 정확히 추적된 것인지 판단할 수 없는 바, 평균 계산에서 제외하였다.
[실험예 2]
객체 추적 속도 측정 실험
본 발명에 따른 객체 추적 방법의 추적 속도를 평가하기 위해 하기와 같이 실험을 진행하였다.
실험예 1에서 사용한 동일한 5개의 동영상에 대해서 초당 프레임(fps: frame per second)을 측정하였다. 한편, 본 발명에 따른 방법의 객체 추적 속도를 비교하기 위해, 실험예 1에서 조합한 4개의 방법에 대해서도 추적 속도를 측정하였으며, 이는 Window 7 운영체제의 Visual C++ 2008 버전에서 개발되었으며, 동일한 Intel I-7 2.67GHz CPU 환경에서 테스트 되었다.
비디오 번호 프레임 수 fps
방법 ① 방법 ② 방법 ③ 방법 ④ 본 발명에 따른 방법
video 1 436 10.4 9.9 9.9 9.9 10.1
video 2 600 8.7 8.4 8.6 8.7 8.4
video 3 373 10.6 9.8 10.1 9.8 9.6
video 4 578 11.6 11.8 11.7 11.5 11.6
video 5 396 10.1 9.7 9.7 9.6 9.4
평균 10.3 9.9 10 9.9 9.8
표 2는 객체 추적 속도를 측정하여 비교한 결과를 나타낸 표이다. 표 2에서 나타낸 바와 같이, 본 발명에 따른 객체 추적 방법은 평균 9.8프레임의 비교적 우수한 검출 속도를 가짐을 확인하였다. 비록, 이는 평균 10.3프레임의 검출 속도를 갖는 방법 ①에 비해 초당 0.5프레임 느리지만, 본 발명에 따른 객체 추적 방법은 기존 방법 ①보다 약 20%의 향상된 검출률을 나타내는바(표 1 및 도 9), 검출 성능까지 고려하여 종합적으로 판단해 볼 때, 기존의 방법보다 객체 검출에 우수한 방법임을 알 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
S100: 입력 영상의 초기 프레임으로부터 추적하고자 하는 타깃 객체를 타깃 파티클로 결정하여 타깃 모델을 초기화하는 단계
S200: 다음 입력되는 프레임으로부터 랜덤 분포를 갖는 복수 개의 후보 파티클을 생성하는 단계
S300: 파티클(타깃 파티클 및 후보 파티클을 포함함)로부터 HSV(hue, saturation, value) 색상 모델 및 중심대칭-국부이진 패턴(Center Symmetric Local Binary Pattern; 이하 ‘CS-LBP’라 함) 모델을 포함하는 관측 모델(observation model)을 생성하는 단계
S400: HSV 색상 모델 및 CS-LBP 모델 각각에 대해 타깃 파티클과 후보 파티클 간의 관측 우도(likelihood)를 산출하여 파티클 가중치를 결정하는 단계
S500: 설정된 파티클 가중치를 기반으로 가중치가 가장 높은 파티클을 새로운 타깃 파티클로 설정하여 타깃 객체의 상태를 추정하는 단계
S600: 설정된 새로운 타깃 파티클을 이용하여 다음으로 입력되는 프레임에서 사용될 파티클을 다시 추출하는 재샘플링(re-sampling) 단계
S700: 단계 S300 내지 단계 S600을 반복하여 수행하는 단계

Claims (15)

  1. (1) 입력 영상의 초기 프레임으로부터 추적하고자 하는 타깃 객체를 타깃 파티클로 결정하여 타깃 모델을 초기화하는 단계;
    (2) 다음 입력되는 프레임으로부터 랜덤 분포를 갖는 복수 개의 후보 파티클을 생성하는 단계;
    (3) 상기 파티클(타깃 파티클 및 후보 파티클을 포함함)로부터 HSV(hue, saturation, value) 색상 모델 및 중심대칭-국부이진 패턴(Center Symmetric Local Binary Pattern; 이하 ‘CS-LBP’라 함) 모델을 포함하는 관측 모델(observation model)을 생성하는 단계;
    (4) 상기 HSV 색상 모델 및 상기 CS-LBP 모델 각각에 대해 상기 타깃 파티클과 상기 후보 파티클 간의 관측 우도(likelihood)를 산출하여 파티클 가중치를 결정하는 단계;
    (5) 결정된 상기 파티클 가중치를 기반으로 가중치가 가장 높은 파티클을 새로운 타깃 파티클로 설정하여 상기 타깃 객체의 상태를 추정하는 단계; 및
    (6) 설정된 상기 새로운 타깃 파티클을 이용하여 상기 새로운 타깃 파티클이 설정된 프레임의 다음으로 입력되는 프레임에서 사용될 파티클을 다시 추출하는 재샘플링(re-sampling) 단계를 포함하는 것을 특징으로 하는, 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법.
  2. 제1항에 있어서,
    (7) 상기 단계 (3) 내지 단계 (6)을 반복하여 수행하는 단계를 더 포함하는 것을 특징으로 하는, 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법.
  3. 제1항에 있어서, 단계 (2)에서, 상기 후보 파티클은,
    하기의 수학식 2와 같이, 이전 타깃 객체의 상태와 가우시안 랜덤 노이즈가 추가된 상태와의 선형 결합에 의한 예측을 통해 생성되는 것을 특징으로 하는, 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법.
    [수학식 2]
    Figure 112012086511930-pat00034

    (여기서,(xt, yt) 및 (xt -1, yt -1)은 각각 현재 및 이전 타깃 객체의 위치를 나타내고, wt 및 wt -1은 각각 현재 및 이전 타깃 객체 사각형의 가로 크기를 나타내며, ht 및 ht -1은 각각 현재 및 이전 타깃 객체 사각형의 세로 크기를 나타내고, G(0, σ2)는 가우시안 랜덤 노이즈를 나타낸다.)
  4. 제3항에 있어서, 상기 σx 및 상기σy는,
    1인 것을 특징으로 하는, 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법.
  5. 제3항에 있어서, 상기 σw 및 상기 σh는,
    0.64인 것을 특징으로 하는, 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법.
  6. 제1항에 있어서, 상기 단계 (3)에서, 상기 HSV 색상 모델은,
    상기 파티클로부터 복수 개의 빈을 갖는 색상 히스토그램 모델을 생성하는 단계; 및
    Epanechnikov 커널을 이용하여 상기 색상 히스토그램 모델을 갱신하는 단계를 통하여 생성되는 것을 특징으로 하는, 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법.
  7. 제6항에 있어서, 상기 HSV 색상 모델은,
    하나의 상기 파티클로부터 384차원의 HSV 색상 모델이 생성되는 것을 특징으로 하는, 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법.
  8. 제1항에 있어서, 상기 단계 (3)에서, 상기 CS-LBP 모델은,
    상기 파티클을 복수 개의 영역으로 분할하는 단계;
    분할된 각각의 상기 영역에서 CS-LBP 특징을 추출하는 단계;
    상기 CS-LBP 특징을 추출한 각각의 상기 영역에서 CS-LBP 히스토그램을 생성하는 단계;
    각각의 상기 영역에서 생성된 상기 CS-LBP 히스토그램을 연결하여 1차원의 특징 벡터를 생성하는 단계; 및
    생성된 상기 특징 벡터를 정규화하는 단계를 통하여 생성되는 것을 특징으로 하는, 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법.
  9. 제8항에 있어서, 상기 분할 단계는,
    상기 파티클을 16개의 영역으로 분할하는 것을 특징으로 하는, 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법.
  10. 제8항에 있어서, 상기 CS-LBP 히스토그램은,
    16개의 빈을 갖는 것을 특징으로 하는, 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법.
  11. 제8항에 있어서, 상기 1차원 특징 벡터는,
    256 크기를 갖는 것을 특징으로 하는, 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법.
  12. 제8항에 있어서, 상기 정규화 단계는,
    상기 특징 벡터를 0~1의 값을 갖도록 정규화하는 것을 특징으로 하는, 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법.
  13. 제1항에 있어서, 상기 단계 (4)는,
    바타차리야(Bhattacharyya) 계수를 이용하여 상기 HSV 색상 모델 및 상기 CS-LBP 모델 각각에 대해 상기 타깃 파티클과 상기 후보 파티클 간의 관측 우도를 산출하는 단계; 및
    산출된 상기 HSV 색상 모델 및 상기 CS-LBP 모델 각각에 대한 상기 관측 우도를 선형 가중 결합하여 가중치를 생성하는 단계를 포함하는 것을 특징으로 하는, 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법.
  14. 제13항에 있어서, 상기 선형 가중 결합 단계는,
    산출된 상기 HSV 색상 모델 및 상기 CS-LBP 모델 각각에 대한 상기 관측 우도는 하기의 수학식 16에 따라 선형 결합되는 것을 특징으로 하는, 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법.
    [수학식 16]
    Figure 112013120888757-pat00035

    (여기서,
    Figure 112013120888757-pat00036
    는 가중치, p*는 {pu*(x0)}u=1...m으로서 m차원의 타겟 특징 모델, t는 시간, i는 n개의 파티클 중 i번째를 의미하고, p(yi t)는 시간 t에서 i번째 후보 파티클의 특징 모델, yi t는 시간 t에서 i번째 후보 파티클의 관찰 좌표 y를 의미하며, ρc[p*,p(yi t)]는 HSV 색상 모델에 대한 파티클 간의 관측 우도, ρt[p*,p(yi t)]는 CS-LBP 모델에 대한 파티클 간의 관측 우도를 나타내며, α는 가중치 파라미터를 나타낸다.)
  15. 제14항에 있어서, 상기 가중치 파라미터는,
    0.4인 것을 특징으로 하는, 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법.
KR1020120118165A 2012-10-24 2012-10-24 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법 KR101409810B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120118165A KR101409810B1 (ko) 2012-10-24 2012-10-24 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120118165A KR101409810B1 (ko) 2012-10-24 2012-10-24 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법

Publications (2)

Publication Number Publication Date
KR20140052256A KR20140052256A (ko) 2014-05-07
KR101409810B1 true KR101409810B1 (ko) 2014-06-24

Family

ID=50885517

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120118165A KR101409810B1 (ko) 2012-10-24 2012-10-24 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법

Country Status (1)

Country Link
KR (1) KR101409810B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190023389A (ko) * 2017-08-29 2019-03-08 인하대학교 산학협력단 변화점 검출을 활용한 다중클래스 다중물체 추적 방법
US10311579B2 (en) 2016-01-22 2019-06-04 Samsung Electronics Co., Ltd. Apparatus and method for detecting foreground in image
KR101998315B1 (ko) * 2018-02-13 2019-07-10 주식회사 유프로텍 객체 추적 알고리즘을 기반으로 한 영상 보호 처리 방법 및 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103985139B (zh) * 2014-05-20 2017-04-19 重庆大学 基于颜色模型与预测向量簇模型信息融合的粒子滤波目标跟踪方法
KR101953626B1 (ko) 2017-06-29 2019-03-06 서강대학교산학협력단 다중 히스토그램을 이용한 객체 추적 방법 및 이를 이용한 객체 추적 시스템
US10789470B2 (en) 2017-07-12 2020-09-29 Electronics And Telecommunications Research Institute System and method for detecting dynamic object
KR102014545B1 (ko) * 2018-07-11 2019-08-26 이노뎁 주식회사 움직임 벡터에 대한 3차원 모델링 기반의 압축영상 원근 시각화 표시 처리 방법
CN109410254B (zh) * 2018-11-05 2020-07-28 清华大学深圳研究生院 一种基于目标和相机运动建模的目标跟踪方法
CN112288777A (zh) * 2020-12-16 2021-01-29 西安长地空天科技有限公司 一种使用粒子滤波算法对激光断点跟踪方法
CN112991390B (zh) * 2021-03-31 2023-08-18 江苏理工学院 一种基于背景感知的多跟踪器融合目标跟踪方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030037776A (ko) * 2001-11-05 2003-05-16 삼성전자주식회사 조명에 강인한 객체 추적 방법 및 이를 응용한 영상 편집장치
KR20090066064A (ko) * 2007-12-18 2009-06-23 한국전자통신연구원 칼만 필터를 이용한 실시간 카메라 움직임 추정시스템에서의 움직임 추정 방법 및 장치
JP2009199363A (ja) 2008-02-21 2009-09-03 Toshiba Corp パーティクルフィルタを使用する追跡システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030037776A (ko) * 2001-11-05 2003-05-16 삼성전자주식회사 조명에 강인한 객체 추적 방법 및 이를 응용한 영상 편집장치
KR20090066064A (ko) * 2007-12-18 2009-06-23 한국전자통신연구원 칼만 필터를 이용한 실시간 카메라 움직임 추정시스템에서의 움직임 추정 방법 및 장치
JP2009199363A (ja) 2008-02-21 2009-09-03 Toshiba Corp パーティクルフィルタを使用する追跡システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10311579B2 (en) 2016-01-22 2019-06-04 Samsung Electronics Co., Ltd. Apparatus and method for detecting foreground in image
KR20190023389A (ko) * 2017-08-29 2019-03-08 인하대학교 산학협력단 변화점 검출을 활용한 다중클래스 다중물체 추적 방법
KR102465960B1 (ko) 2017-08-29 2022-11-11 인하대학교 산학협력단 변화점 검출을 활용한 다중클래스 다중물체 추적 방법
KR101998315B1 (ko) * 2018-02-13 2019-07-10 주식회사 유프로텍 객체 추적 알고리즘을 기반으로 한 영상 보호 처리 방법 및 장치

Also Published As

Publication number Publication date
KR20140052256A (ko) 2014-05-07

Similar Documents

Publication Publication Date Title
KR101409810B1 (ko) 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법
CN108062525B (zh) 一种基于手部区域预测的深度学习手部检测方法
CN109753975A (zh) 一种训练样本获得方法、装置、电子设备和存储介质
Fei et al. Visual tracking based on improved foreground detection and perceptual hashing
Ali et al. Depth-based human activity recognition: A comparative perspective study on feature extraction
Fendri et al. Fusion of thermal infrared and visible spectra for robust moving object detection
Wu et al. Real-time background subtraction-based video surveillance of people by integrating local texture patterns
KR101436369B1 (ko) 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법
KR101414670B1 (ko) 온라인 랜덤 포레스트 및 파티클 필터를 이용한 열 영상에서의 객체 추적 방법
Shukla et al. Moving object tracking of vehicle detection: a concise review
CN107609571B (zh) 一种基于lark特征的自适应目标跟踪方法
Xu et al. Human detection and tracking based on HOG and particle filter
CN110490924B (zh) 一种基于多尺度Harris的光场图像特征点检测方法
Shen et al. Adaptive pedestrian tracking via patch-based features and spatial–temporal similarity measurement
CN112036381B (zh) 视觉跟踪方法、视频监控方法及终端设备
Zoidi et al. Stereo object tracking with fusion of texture, color and disparity information
CN111291612A (zh) 一种基于多人多摄像头跟踪的行人重识别方法及装置
Xue et al. Background subtraction based on phase feature and distance transform
CN109064444B (zh) 基于显著性分析的轨道板病害检测方法
Jetley et al. 3D activity recognition using motion history and binary shape templates
CN107886060A (zh) 基于视频的行人自动检测与跟踪方法
CN110570450A (zh) 一种基于级联的上下文感知框架的目标跟踪方法
CN111986233B (zh) 基于特征自学习的大场景极小目标遥感视频跟踪方法
Shen et al. Comparative study of color feature for particle filter based object tracking
Soni et al. Real-time hand tracking using integrated optical flow and CAMshift algorithm

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20170525

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180531

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190603

Year of fee payment: 6

R401 Registration of restoration