KR101706219B1 - 물체 추적 장치 및 방법 - Google Patents

물체 추적 장치 및 방법 Download PDF

Info

Publication number
KR101706219B1
KR101706219B1 KR1020110043086A KR20110043086A KR101706219B1 KR 101706219 B1 KR101706219 B1 KR 101706219B1 KR 1020110043086 A KR1020110043086 A KR 1020110043086A KR 20110043086 A KR20110043086 A KR 20110043086A KR 101706219 B1 KR101706219 B1 KR 101706219B1
Authority
KR
South Korea
Prior art keywords
local
tracking
samples
likelihood
patches
Prior art date
Application number
KR1020110043086A
Other languages
English (en)
Other versions
KR20120125045A (ko
Inventor
이광무
최진영
Original Assignee
한화테크윈 주식회사
서울대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사, 서울대학교 산학협력단 filed Critical 한화테크윈 주식회사
Priority to KR1020110043086A priority Critical patent/KR101706219B1/ko
Publication of KR20120125045A publication Critical patent/KR20120125045A/ko
Application granted granted Critical
Publication of KR101706219B1 publication Critical patent/KR101706219B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 물체 추적 장치 및 방법을 개시한다.
본 발명의 물체 추적 방법은, 입력 영상에서 선택된 다수의 샘플들 각각을 다수의 로컬 패치 및 로컬 패치들 간의 연결 관계로 모델링하여 각 샘플에 대해 우도를 계산하는 단계; 상기 우도를 기초로 각 샘플의 가중치를 계산하는 단계; 및 상기 우도 및 가중치에 따른 상기 다수의 샘플들의 확률 분포 밀도를 기초로 물체를 추적하는 단계;를 포함할 수 있다.

Description

물체 추적 장치 및 방법{Apparatus for tracking of object and Method thereof}
본 발명은 물체 추적 장치 및 방법에 관한 것으로, 보다 상세하게는, 파티클 필터링 기반 물체 추적 장치 및 방법에 관한 것이다.
종래의 물체 추적 알고리즘은 물체의 변화를 아핀 변환과 같은 특정한 형태의 변화로 가정하고, 해당 아핀 변환을 추정하는 방식으로 물체 추적이 이루어진다. 종래의 파티클 필터(particle filter)를 사용한 물체 추적 방법의 경우 물체 전체를 하나의 이미지, PCA와 같은 아공간, 색 히스토그램 등의 다양한 방법으로 묘사하고 학습한다. 이 학습된 모델을 바탕으로 이전 프레임까지의 추적 결과를 이용하여 다음 프레임에서 물체가 있을 만한 위치를 탐색하여 물체 추적을 수행한다. 이러한 추적 방법은 물체의 움직임이 아핀 변환일 경우에는 문제가 되지 않으나 아핀 변환이 아닐 경우 물체의 움직임을 추적할 수 없는 단점이 있다. 또한 물체의 모델이 물체 전체를 묘사하므로 물체의 일부분이 가려질 경우 추적 성능이 떨어진다는 단점이 있다.
물체를 추적함에 있어서 물체가 아핀 변환이 아닌 비 아핀 변환을 보일 때 및 부분적인 가려짐이 있을 때 물체를 구성하는 로컬 패치의 탄성적 구조를 활용하여 우수한 성능으로 물체를 추적하고, 또한 실시간 추적을 가능하게 하는 물체 추적 방법 및 장치를 제공하고자 한다.
본 발명의 바람직한 일 실시예에 따른 물체 추적 방법은, 입력 영상에서 선택된 다수의 샘플들 각각을 다수의 로컬 패치 및 로컬 패치들 간의 연결 관계로 모델링하여 각 샘플에 대해 우도를 계산하는 단계; 상기 우도를 기초로 각 샘플의 가중치를 계산하는 단계; 및 상기 우도 및 가중치에 따른 상기 다수의 샘플들의 확률 분포 밀도를 기초로 물체를 추적하는 단계;를 포함할 수 있다.
상기 우도 계산 단계는, 상기 각 샘플의 로컬 패치 에너지 및 로컬 패치들 간의 연결 에너지를 기초로 상기 우도를 계산하는 단계;를 포함할 수 있다.
상기 로컬 패치 에너지는 9차원의 HOG(Histogram of Oriented Gradients) 특징과 3차원의 RGB 평균 색 특징을 포함하는 12차원의 특징 공간으로 표현될 수 있고, 상기 12차원의 특징 공간은 적분 이미지를 사용하여 계산할 수 있다.
상기 물체 추적 방법은, 상기 가중치를 기초로 상기 다수의 샘플들을 리샘플링하는 단계; 및 상기 리샘플링된 샘플들 각각에 대해, 상기 로컬 패치들 간의 상관 관계를 고정하여 확산시킨 후 각 로컬 패치를 확산시키는 계층적 샘플링을 수행하는 단계;를 더 포함할 수 있다.
상기 물체 추적 방법은, 상기 추적된 물체의 상태 정보를 기초로, 다수의 로컬 패치로 분할된 상기 물체의 모델을 업데이트하는 단계;를 더 포함할 수 있다.
본 발명의 바람직한 일 실시예에 따른 물체 추적 장치는, 입력 영상에서 선택된 다수의 샘플들 각각을 다수의 로컬 패치 및 로컬 패치들 간의 연결 관계로 모델링하여 각 샘플에 대해 우도를 계산하고, 상기 우도를 기초로 각 샘플의 가중치를 계산하고, 상기 우도 및 가중치에 따른 상기 다수의 샘플들의 확률 분포 밀도를 기초로 물체를 추적하는 파티클 필터;를 포함할 수 있다.
상기 파티클 필터는, 상기 각 샘플의 로컬 패치 에너지 및 로컬 패치들 간의 연결 에너지를 기초로 상기 우도를 계산할 수 있다.
상기 로컬 패치 에너지는 9차원의 HOG(Histogram of Oriented Gradients) 특징과 3차원의 RGB 평균 색 특징을 포함하는 12차원의 특징 공간으로 표현될 수 있고, 상기 12차원의 특징 공간은 적분 이미지를 사용하여 계산할 수 있다.
상기 파티클 필터는, 상기 가중치를 기초로 상기 다수의 샘플들을 리샘플링하고, 상기 리샘플링된 샘플들 각각에 대해, 상기 로컬 패치들 간의 상관 관계를 고정하여 확산시킨 후 각 로컬 패치를 확산시키는 계층적 샘플링을 수행할 수 있다.
상기 파티클 필터는, 상기 물체를 다수의 로컬 패치로 분할하여 모델링하고, 상기 추적된 물체의 상태 정보를 기초로 상기 물체의 모델을 업데이트할 수 있다.
본 발명은 감시 시스템에서 추적을 보다 다양한 경우에 적용할 수 있고, 반환되는 움직임의 종류를 아핀 변환으로 국한하지 않음으로써 물체 추적 결과로부터 얻어지는 정보의 양을 늘려 추후 이를 행동 분석 등에 용이하게 이용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 물체 추적을 위한 감시 시스템을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 로컬 패치로 추적 물체를 표현한 예이다.
도 3은 본 발명의 일 실시예에 따른 계층적 샘플링을 설명하기 위한 예시도이다.
도 4는 본 발명의 계층적 샘플링을 사용한 경우와 일반적인 가우시안 샘플링을 사용했을 경우의 최소 에너지 그래프의 차이이다.
도 5는 본 발명의 일 실시예에 따른 물체 추적 방법을 설명하는 흐름도이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 물체 추적 방법에 의한 추적 결과와 종래의 물체 추적 방법에 의한 추적 결과를 비교 도시한 도면이다.
이하 첨부된 도면들을 참조하여 본 발명을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 물체 추적을 위한 감시 시스템을 도시한 블록도이다.
도 1을 참조하면, 감시 시스템(10)은 카메라(100), 물체 추적 장치(200), 및 표시 장치(300)를 포함한다.
카메라(100)는 감시 대상이 되는 감시 영역을 촬영한다.
물체 추적 장치(200)는 파티클 필터(250)를 포함하고, 파티클 필터(250)는 카메라(100)가 촬영한 입력 영상에 대해 파티클 필터링을 수행하여 물체를 추적한다. 파티클 필터링은 sequential Bayesian inferece에 기반을 둔다.
파티클 필터(250)는 입력 영상에서 물체 추적을 위한 다수의 샘플들을 선택하고, 각 샘플을 다수의 로컬 패치 및 로컬 패치들 간의 연결 관계로 모델링하여 각 샘플에 대해 우도를 계산한다. 파티클 필터(250)는 우도를 기초로 각 샘플의 가중치를 계산한다. 파티클 필터(250)는 우도 및 가중치에 따른 다수의 샘플들의 확률 분포 밀도를 기초로, 예를 들어, 조건 사후 최대 확률(MAP: Maximum a Posteriori) 기법을 이용하여 물체를 추적한다. 각 샘플은 추적 물체의 가능한 위치를 나타낼 수 있다.
파티클 필터(250)는 추적 물체를 다수의 로컬 패치(local patch)의 탄성적인 구조로 모델링한다. 도 2는 본 발명의 일 실시예에 따른 로컬 패치로 추적 물체를 표현한 예이다. 도 2를 참조하면, 실선으로 표시된 블록 각각이 로컬 패치이고, 각 로컬 패치는 인접한 로컬 패치들과 스프링과 같이 탄성적인 구조로 연결되어 있다. 점선은 로컬 패치가 연결되어 있음을 나타낸다.
Figure 112011033819156-pat00001
를 시간 t에서의 물체의 상태, 즉 물체의 위치라 하고, 시간 1부터
Figure 112011033819156-pat00002
까지 관측된 입력 영상 정보를
Figure 112011033819156-pat00003
라 하면, 조건 사후 최대 확률(MAP: Maximum a Posteriori)은 수학식 (1)로 표현할 수 있다. 여기서,
Figure 112011033819156-pat00004
는
Figure 112011033819156-pat00005
로컬 패치의 상태, 즉 로컬 패치의 위치이고, 위첨자
Figure 112011033819156-pat00006
은 로컬 패치의 총 수이다.
Figure 112011033819156-pat00007
...(1)
사후 확률(posterior probability)
Figure 112011033819156-pat00008
는 수학식 (2)로 정의할 수 있다.
Figure 112011033819156-pat00009
...(2)
여기서,
Figure 112011033819156-pat00010
는 시간 t에서의 물체의 상태
Figure 112011033819156-pat00011
와 시간 t에서 관측된 입력 영상 정보
Figure 112011033819156-pat00012
사이의 우도(likelihood)이고,
Figure 112011033819156-pat00013
는
Figure 112011033819156-pat00014
에서
Figure 112011033819156-pat00015
로의 천이 확률이다. 일반적으로 이 확률 공간은 연속 공간이므로 전체를 계산하는 것은 불가능하다. 따라서 본 발명의 실시예는 계층적 샘플링을 통해 천이 확률을 이용하여 샘플들을 이동하고 우도(likelihood)를 이용하여 각 파티클의 생존을 결정하는 방식으로 파티클 필터링이 수행된다.
우도(likelihood)
Figure 112011033819156-pat00016
는 수학식 (3)과 같이 정의된다.
Figure 112011033819156-pat00017
...(3)
여기서,
Figure 112011033819156-pat00018
는
Figure 112011033819156-pat00019
단일 로컬 패치의 우도(likelihood)이고,
Figure 112011033819156-pat00020
는 연결된 패치들 간의 관계를 나타내는 사전 확률(prior probability)이고,
Figure 112011033819156-pat00021
는
Figure 112011033819156-pat00022
로컬 패치와 연결된 주변을 의미한다. 이를 Markov Random Field(MRF)의 에너지 수식으로 변경하면 수학식 (4)와 같이 쓸 수 있다.
Figure 112011033819156-pat00023
...(4)
여기서,
Figure 112011033819156-pat00024
는 시간 t에서 MRF 총 에너지이고,
Figure 112011033819156-pat00025
는 단일 패치, 예를 들어,
Figure 112011033819156-pat00026
로컬 패치의 에너지,
Figure 112011033819156-pat00027
는
Figure 112011033819156-pat00028
로컬 패치와 인접한
Figure 112011033819156-pat00029
로컬 패치 사이의 연결 에너지이고, Z는 정규화(normalizing) 상수이다. 여기서 확률과 에너지의 관계는 다음과 같다.
Figure 112011033819156-pat00030
로컬 패치는 9차원(9D)의 HOG(Histogram of Oriented Gradients) 특징(feature)과 3차원(3D)의 RGB 평균 색 특징으로 구성된다. 9차원의 HOG는 8 방향으로의 이미지 그레디언트(gradient)와 그레디언트가 없는 하나의 방향을 나타낸다. 이 12차원(12D)의 특징(feature)은 모두 적분 이미지(Integral Image)를 사용하여 계산할 수 있으며, 이에 따라 연산 시간이 매우 적어진다. 특징 공간에서 로컬 패치 간의 에너지(거리)는 truncated L-2 norm을 사용하여 획득될 수 있다.
Figure 112011033819156-pat00031
로컬 패치에 대하여 관측도(observation)(입력 영상)의 9D HOG 특징을
Figure 112011033819156-pat00032
, 모델의 9D HOG 특징을
Figure 112011033819156-pat00033
, 관측도(observation)의 3D RGB 특징을
Figure 112011033819156-pat00034
, 그리고 모델의 3D RGB 특징을
Figure 112011033819156-pat00035
라 할 경우,
Figure 112011033819156-pat00036
는 수학식 (5)과 같이 정의할 수 있다.
Figure 112011033819156-pat00037
...(5)
여기서
Figure 112011033819156-pat00038
및
Figure 112011033819156-pat00039
는 truncated L-2 norm이고,
Figure 112011033819156-pat00040
와
Figure 112011033819156-pat00041
는 RGB와 HOG의 관계를 조절하는 파라미터이고, 위 첨자 o와 m은 각각 관측도와 모델을 의미한다.
주변 로컬 패치들 간의 관계는 하나의 로컬 패치에 각 주변 로컬 패치가 마치 스프링으로 연결된 것처럼 행동하도록 모델링된다. 수학식 (4)의 로컬 패치들 사이의 연결 에너지
Figure 112011033819156-pat00042
는 스프링의 탄성적 위치에너지의 형태로 정의된다. 수학적으로, 주변과의 연결 강도를
Figure 112011033819156-pat00043
라고 할 경우, 연결 에너지
Figure 112011033819156-pat00044
는 수학식 (6)과 같이 정의된다.
Figure 112011033819156-pat00045
...(6)
여기서,
Figure 112011033819156-pat00046
및
Figure 112011033819156-pat00047
는 각각
Figure 112011033819156-pat00048
샘플에서
Figure 112011033819156-pat00049
로컬 패치와
Figure 112011033819156-pat00050
로컬 패치 사이의 거리와 모델에서
Figure 112011033819156-pat00051
로컬 패치와
Figure 112011033819156-pat00052
로컬 패치 사이의 거리이다. 이때 전체적인 크기 변화들에 대응하기 위하여 로컬 패치들 간의 상대적인 거리 변화를 사용한다.
파티클 필터(250)는 우도
Figure 112011033819156-pat00053
와 MRF 총 에너지
Figure 112011033819156-pat00054
를 기초로 가중치(w)를 계산하며, 가중치(w)와 확률, 에너지 사이의 관계는 다음과 같다.
Figure 112011033819156-pat00055
파티클 필터(250)는 수학식 (1)의 MAP 결과를 기초로 추적 물체의 모델을 업데이트한다. 추적 물체를 다수의 로컬 패치(local patch)들로 분할한 추적 물체 모델은 로컬 패치 정보(예를 들어, 로컬 패치의 위치, 로컬 패치의 12차원 특징들) 및 로컬 패치들 간의 관계(예를 들어, 로컬 패치들 간의 연결 정보 및 거리)를 포함한다. 로컬 패치의 개수 및 사이즈는 추적 대상(예를 들어, 추적 대상의 사이즈)에 따라 운용자에 의해 또는 시스템에서 자동으로 설정할 수 있다. 파티클 필터(250)는 매 입력 영상에 대해 물체 추적이 완료된 후, 모델의 로컬 패치 정보 및 로컬 패치들 간의 관계를 업데이트한다. 모델 업데이트 시, 기존 모델의 값과 새롭게 반영되는 값에 각각 가중 평균을 적용한다. 예를 들어 기존 모델 값에는 0.99의 가중치를 적용하고 새롭게 반영되는 값에는 0.01의 가중치를 적용할 수 있다.
파티클 필터(250)는 가중치(w)를 기초로 샘플들을 리샘플링한다. 리샘플링은 가중치(w)가 적용된 각 파티클을 같은 위치에서 동일한 파티클들로 대체하는 과정이다. 즉, 높은 가중치가 적용된 파티클은 다수의 파티클들로 대체되고, 낮은 가중치가 적용된 파티클 또는 가중치가 없는 파티클은 탈락된다.
그리고, 파티클 필터(250)는 리샘플링된 샘플들 각각에 대해, 로컬 패치들 간의 상관 관계를 고정하여 확산시킨 후 각 로컬 패치를 확산시키는 두 단계의 계층적 샘플링을 수행한다. 도 3은 본 발명의 일 실시예에 따른 계층적 샘플링을 설명하기 위한 예시도이다. 도 3을 참조하면, 로컬 패치들 간의 상관 관계(로컬 패치들 간의 상대적인 거리)를 고정시킨 후 샘플의 움직임을 샘플링하고, 로컬 패치들 각각이 자유롭게 움직이도록 한 후 로컬 패치의 움직임을 샘플링한다. 즉, 물체 추적 장치(200)는 추적 물체를 부분의 집합으로 보고, 부분 집합의 변화를 추적함으로써 물체를 추적한다.
일반적으로 추적 상황에서는 연속된 두 프레임 사이에 있어서 물체의 크기, 회전, 및 기타 변형은 크지 않게 된다. 따라서, 파티클 필터(250)는 물체의 전체적인 움직임을 우선 샘플링하고 이어서 물체의 변화에 대해 샘플링하는 계층적인 샘플링을 수행한다. 여기서, 계층적인 샘플링은 큰 분산을 갖는 가우시안으로 샘플의 움직임(샘플의 로컬 패치들 간의 상관관계는 고정)을 샘플링하고, 이후에 로컬 패치들이 자유롭게 움직이도록 작은 분산의 가우시안으로 로컬 패치의 움직임을 샘플링함으로써 수행된다. 계층적 샘플링에 의해 시간 t+1에서
Figure 112011033819156-pat00056
샘플의
Figure 112011033819156-pat00057
로컬 패치의 상태는 수학식 (8)로 표현할 수 있다.
Figure 112011033819156-pat00058
...(8)
여기서,
Figure 112011033819156-pat00059
는
Figure 112011033819156-pat00060
샘플의 3차원 전체 확산(Global diffusion)(x, y 방향으로의 이동 및 전체 물체의 크기 변화)이고,
Figure 112011033819156-pat00061
는
Figure 112011033819156-pat00062
샘플의
Figure 112011033819156-pat00063
로컬 패치의 2차원 로컬 확산(Local diffusion)(하나의 로컬 패치에 대한 x, y 방향 이동) 이다. 또한,
Figure 112011033819156-pat00064
이고,
Figure 112011033819156-pat00065
이다.
Figure 112011033819156-pat00066
은 평균이 0이고 표준편차가
Figure 112011033819156-pat00067
인 가우시안 분포이고,
Figure 112011033819156-pat00068
및 는 확산(diffusion)에 대한 파라미터이다.
전술된 리샘플링 및 계층적 샘플링은, 다음 입력 영상에 대해 파티클 필터링을 수행하기 위한 샘플을 선택하는 단계에 대응하며, 현재 입력 영상에서 물체 추적이 완료된 후, 다음 입력 영상이 입력되기 전 또는 후에 수행될 수 있다.
도 4는 본 발명의 계층적 샘플링을 사용한 경우와 일반적인 가우시안 샘플링을 사용했을 경우의 최소 에너지 그래프의 차이이다.
도 4(a)와 도 4(b)는 각각 상이한 추적 대상에 대해 샘플링한 경우이며, 굵은 실선은 계층적 샘플링의 경우 에너지이고, 점선은 일반적인 가우시안 샘플링의 경우 에너지이며, 두 샘플링 모두 동일한 수의 파티클을 사용하였다. 전체적으로 계층적 샘플링이 확연히 낮은 에너지를 찾아내는 것을 볼 수 있다. 이는 계층적 샘플링을 통하여 해답이 존재할 수 있는 영역(추적 대상 물체의 위치)에 보다 파티클들이 집중되었음을 보여준다. 즉, 적은 수의 샘플 수로도 보다 좋은 결과를 얻을 수 있고, 이로 인하여 실시간 물체 추적이 가능하다.
표시 장치(300)는 입력 영상에 추적 대상을 표시한다.
도 5는 본 발명의 일 실시예에 따른 물체 추적 방법을 설명하는 흐름도이다.
도 5를 참조하면, 검출 시스템(예를 들어, 물체 추적 장치) 또는 그 외의 입력에 의해 입력 영상 내에서의 추적해야 할 대상인 추적 물체가 설정된다. 그 후 이를 제안된 알고리즘을 통해 추적하고 그 결과를 사용자에게 표시하게 된다. 본 발명의 물체 추적 방법은 다수의 로컬 패치와 로컬 패치 간의 상관 관계로 구성된 모델을 이용하고, 파티클 필터링을 기반으로 하는 물체 추적 알고리즘이다. 그리고, 본 발명의 물체 추적 방법은 현재 입력 영상에 대해 물체 추적 후, 리샘플링 및 계층적 샘플링을 통해 다음 입력 영상에 대해 파티클 필터링을 수행하기 위한 샘플들을 선택함으로써 실시간 물체 추적이 가능하다.
설정된 추적 물체는 다수의 로컬 패치(local patch)들로 분할한 모델로 표현될 수 있다. 추적 물체 모델은 로컬 패치 정보(예를 들어, 로컬 패치의 위치 및 로컬 패치의 12차원 특징들) 및 로컬 패치들 간의 관계(예를 들어, 로컬 패치들 간의 연결 정보 및 거리)를 포함한다.
물체 추적 장치는 입력 영상에서 다수의 샘플들을 선택하고, 각 샘플에 대해 다수의 로컬 패치 및 로컬 패치들 간의 연결 관계로 모델링하여 우도(likelihood)를 계산한다(S501). 각 샘플의 다수의 로컬 패치 및 로컬 패치들 간의 연결 관계는 MRF 에너지를 이용하여 표현될 수 있다. MRF 에너지 계산은 전술한 수학식 (4) 내지 (6)를 이용한다. MRF 에너지는 각 샘플의 로컬 패치 에너지 및 로컬 패치들 간의 연결 에너지 정보를 포함할 수 있다. 로컬 패치는 9차원의 HOG(Histogram of Oriented Gradients) 특징과 3차원의 RGB 평균 색 특징을 포함하는 12차원의 특징 공간으로 표현될 수 있다. 12차원의 특징 공간은 적분 이미지를 사용하여 계산할 수 있다. 우도 계산은 전술한 수학식 (2), (3)을 이용할 수 있다.
물체 추적 장치는 계산된 우도를 기초로 각 샘플의 가중치를 계산한다(S503). 가중치 계산에는 공지의 파티클 필터링에서 사용되는 가중치 계산 방법이 적용될 수 있다.
물체 추적 장치는 조건 사후 최대 확률(MAP)을 계산하여 물체 상태, 즉, 물체 위치를 추적한다(S505). 물체 추적 장치는 우도 및 가중치에 따른 샘플들의 확률 분포 밀도를 기초로, 즉 MAP를 적용하여 물체를 추적한다.
추적된 물체의 위치는 표시 장치에 디스플레이된다(S507). 물체 추적 장치는 물체 추적이 완료되면 그 결과를 사용자에게 표시하거나 또는 정해진 동작을 하게 된다. 대표적인 응용예로서, PTZ 카메라에서 설정된 물체를 계속 화면의 중앙에 오도록 할 수 있다.
물체 추적 장치는 가중치가 할당된 각 샘플을 리샘플링한다(S509). 리샘플링은 가중치를 기초로 샘플을 소정 개수로 복제하는 과정을 포함한다. 예를 들어 최초 N개의 샘플 중 가중치가 낮은 샘플을 탈락시키고, 가중치가 높은 샘플을 중심으로 샘플링하여 다시 N개의 샘플을 유지할 수 있으며, 이를 리샘플링이라 한다.
물체 추적 장치는 리샘플링된 샘플들에 대해 계층적 샘플링을 수행한다. (S511). 계층적 샘플링은 로컬 패치들 간의 상관 관계를 고정한 샘플의 3차원 확산(x, y 방향으로의 샘플의 이동 및 크기 변화) 및 로컬 패치들을 자유롭게 이동시키는 로컬 패치의 2차원 확산(x, y 방향으로의 로컬 패치의 이동) 과정을 포함한다.
실시간 물체 추적을 위해서는 실제 물체 위치일 가능성이 높은 위치에서 집중적으로 샘플링이 수행되는 것이 바람직하다. 따라서 본 발명은 리샘플링 및 계층적 샘플링에 의해 다음 입력 영상에서 파티클 필터링을 위한 샘플들을 선택하게 하여, 실시간 추적을 가능하게 한다.
물체 추적 장치는 계속하여 물체 추적이 필요한지를 판단하고(S513), 필요한 경우, 다음 입력 영상에 대해 전술된 단계 501 내지 511을 수행한다. 이때, 다음 입력 영상에서 파티클 필터링을 위해 선택되는 샘플들은 이전 입력 영상의 파티클 필터링 후 리샘플링 및 계층적 샘플링 결과를 기초로 선택된다. 그리고, 단계 509 및 511은 현재 입력 영상에서 물체 추적 완료된 후에 다음 입력 영상이 입력되기 전 또는 후에 수행될 수 있다.
본 발명은 기존의 다른 추적 알고리즘에 비하여 부분적인 가려짐, 물체의 비-아핀 변환에 강인한 추적 성능을 보이고, 실시간 추적이 가능하다.
도 6은 본 발명의 일 실시예에 따른 물체 추적 방법에 의한 추적 결과와 종래의 물체 추적 방법에 의한 추적 결과를 비교 도시한 도면이다.
도 6(a) 내지 도 6(h)는 본 발명의 물체 추적 방법에 의한 추적 결과이다. 도 6(a) 내지 도 6(d)는 비-아핀 변환이 있는 경우에도 물체의 변화에 관계없이 추적 물체를 올바르게 추적하는 것을 나타내고, 도 6(e) 내지 도 6(h)는 물체의 부분적인 가려짐이 크게 나타나는 경우에도 강인한 성능을 보임을 나타낸다.
도 6(i)는 종래의 평균 이동(Mean-Shift) 방법에 의한 물체 추적 결과이고, 도 6(j)는 종래의 아공간 기반 파티클 필터링 방법에 의한 물체 추적 결과이다. 도 6(a) 내지 도 6(h)와 비교하면 물체 추적 성능이 좋지 않음을 볼 수 있다.
도 7은 본 발명의 일 실시예에 따른 물체 추적 방법에 의한 추적 결과와 종래의 물체 추적 방법에 의한 추적 결과를 비교 도시한 다른 도면이다.
본 발명의 물체 추적 방법에 의한 추적 결과인 도 7(a) 내지 도 7(d)와, 종래의 아공간 기반 파티클 필터링 방법에 의한 물체 추적 결과인 도 7(e) 내지 도 7(h), 종래의 아공간 기반 파티클 필터링 방법에 의한 물체 추적 결과인 도 7(i) 내지 도 7(l)을 비교하면, 부분적인 가려짐이 존재하는 경우, 다른 비교 알고리즘들의 경우 올바르게 물체를 추적하지 못하나 본 발명의 물체 추적 방법은 성공적으로 물체를 추적하는 것을 볼 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (10)

  1. 입력 영상에서 선택된 다수의 샘플들 각각을 다수의 로컬 패치 및 로컬 패치들 간의 연결 관계로 모델링하고, 각 샘플의 로컬 패치 에너지 및 로컬 패치들 간의 연결 에너지를 기초로 우도를 계산하는 단계;
    상기 우도를 기초로 각 샘플의 가중치를 계산하는 단계; 및
    상기 우도 및 가중치에 따른 상기 다수의 샘플들의 확률 분포 밀도를 기초로 물체를 추적하는 단계;를 포함하는 물체 추적 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 가중치를 기초로 상기 다수의 샘플들을 리샘플링하는 단계; 및
    상기 리샘플링된 샘플들 각각에 대해, 상기 로컬 패치들 간의 상관 관계를 고정하여 확산시킨 후 각 로컬 패치를 확산시키는 계층적 샘플링을 수행하는 단계;를 더 포함하는 물체 추적 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020110043086A 2011-05-06 2011-05-06 물체 추적 장치 및 방법 KR101706219B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110043086A KR101706219B1 (ko) 2011-05-06 2011-05-06 물체 추적 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110043086A KR101706219B1 (ko) 2011-05-06 2011-05-06 물체 추적 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120125045A KR20120125045A (ko) 2012-11-14
KR101706219B1 true KR101706219B1 (ko) 2017-02-14

Family

ID=47510279

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110043086A KR101706219B1 (ko) 2011-05-06 2011-05-06 물체 추적 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101706219B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328746A (ja) * 2006-06-09 2007-12-20 Sony Computer Entertainment Inc 対象物追跡装置および対象物追跡方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007328746A (ja) * 2006-06-09 2007-12-20 Sony Computer Entertainment Inc 対象物追跡装置および対象物追跡方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Guo, Yanlin, et al. "Robust object matching for persistent tracking with heterogeneous features." IEEE transactions on pattern analysis and machine intelligence 29.5 (2007): 824-839.
Kwon, Junseok, and Kyoung Mu Lee. "Tracking of a non-rigid object via patch-based dynamic appearance modeling and adaptive basin hopping monte carlo sampling." CVPR 2009.

Also Published As

Publication number Publication date
KR20120125045A (ko) 2012-11-14

Similar Documents

Publication Publication Date Title
JP7428213B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP4643766B1 (ja) 移動体検出装置及び移動体検出方法
US8340357B2 (en) Moving object detection method and moving object detection apparatus
EP2858008B1 (en) Target detecting method and system
Zhang et al. Motion analysis
JP5487298B2 (ja) ３次元画像生成
TWI420906B (zh) 興趣區域之追蹤系統與方法及電腦程式產品
EP2352128B1 (en) Mobile body detection method and mobile body detection apparatus
US8929599B2 (en) Articulation region display apparatus, articulation region detecting apparatus, articulation region belongingness calculating apparatus, articulated object region belongingness calculating apparatus, and articulation region display method
KR20150029006A (ko) 비디오 감시 시스템을 위한 피처 이례들의 무감독 학습
CN111354043A (zh) 一种基于多传感器融合的三维姿态估计方法及装置
US20210312637A1 (en) Map segmentation method and device, motion estimation method, and device terminal
KR102295183B1 (ko) Cctv 프로젝션 모델을 이용한 cctv 영상의 객체 추적 방법
Krzeszowski et al. Articulated body motion tracking by combined particle swarm optimization and particle filtering
JP2010511241A (ja) 動きに対する繰り返しセグメンテーション
Suleymanov et al. Inferring road boundaries through and despite traffic
CN103530601B (zh) 一种基于贝叶斯网络的监控盲区人群状态推演方法
CN111531546B (zh) 一种机器人位姿估计方法、装置、设备及存储介质
JP2009217523A (ja) 動画像処理方法、動画像処理装置および動画像処理プログラム
JP7354767B2 (ja) 物体追跡装置および物体追跡方法
KR101706219B1 (ko) 물체 추적 장치 및 방법
Parvathy et al. Anomaly detection using motion patterns computed from optical flow
Tong et al. Human positioning based on probabilistic occupancy map
Zaslavskiy et al. Method for automated data collection for 3d reconstruction
JP4637275B2 (ja) 画像処理方法及び画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant