KR20190002772A - 다중 히스토그램을 이용한 객체 추적 방법 및 이를 이용한 객체 추적 시스템 - Google Patents

다중 히스토그램을 이용한 객체 추적 방법 및 이를 이용한 객체 추적 시스템 Download PDF

Info

Publication number
KR20190002772A
KR20190002772A KR1020170082308A KR20170082308A KR20190002772A KR 20190002772 A KR20190002772 A KR 20190002772A KR 1020170082308 A KR1020170082308 A KR 1020170082308A KR 20170082308 A KR20170082308 A KR 20170082308A KR 20190002772 A KR20190002772 A KR 20190002772A
Authority
KR
South Korea
Prior art keywords
characteristic
particle
histogram
frame
value
Prior art date
Application number
KR1020170082308A
Other languages
English (en)
Other versions
KR101953626B1 (ko
Inventor
임재찬
박형민
Original Assignee
서강대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서강대학교산학협력단 filed Critical 서강대학교산학협력단
Priority to KR1020170082308A priority Critical patent/KR101953626B1/ko
Priority to US16/020,204 priority patent/US10621734B2/en
Publication of KR20190002772A publication Critical patent/KR20190002772A/ko
Application granted granted Critical
Publication of KR101953626B1 publication Critical patent/KR101953626B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 객체 추적 방법 및 객체 추적 시스템에 관한 것이다. 상기 객체 추적 방법은 몬테카를로 샘플링 방법에 Minimax 추정 기법을 접목한 파티클 필터를 이용한 것으로써, 파티클들에 대하여 적어도 둘 이상의 특성들에 대한 측정값들 중 최대 비용을 갖는 특성을 선택하고, 선택된 특성의 측정값을 이용하여 해당 파티클에 대한 무게를 계산하며, 각 파티클에 대한 무게들을 이용하여 해당 프레임에서의 목표 객체의 위치를 추정하는 것을 특징으로 한다.

Description

다중 히스토그램을 이용한 객체 추적 방법 및 이를 이용한 객체 추적 시스템{Method of tracking an object based on multiple histograms and system using the method}
본 발명은 객체 추적 방법 및 이를 이용한 객체 추적 시스템에 관한 것으로서, 더욱 구체적으로는 국지화된 목표 객체에 대하여 적어도 둘 이상의 특성들(Feature)에 대한 다중 히스토그램들을 얻고 이들 중 최대 비용을 갖는 특성을 선택하여 파티클 필터를 적용하여 객체 추적을 함으로써, 환경에 강건한 객체 추적 방법 및 장치에 관한 것이다.
최근 개인화된 미디어의 출현과 더불어 방송통신 미디어 분야에서 개인별 맞춤형 방송 서비스에 대한 관심과 지원이 빠르게 확산되는 추세다.
전통적으로 고정 또는 이동식 카메라를 이용한 영상 내 객체 추적 기술은 컴퓨터 비전 학계에서 활발히 연구되는 주제로, 주로 실내외 Closed-Circuit Television (CCTV)를 이용한 범죄 또는 재해 예방/감지와 같은 다양한 응용 영역의 보안 및 공공 서비스, 스포츠 경기 분야에서 경기 분석을 위한 서비스로 활용되고 있다. 전술한 객체 추적 기술은 일반적으로 고정된 카메라로 촬영된 영상 내 존재하는 객체의 움직임을 추적하거나 이동식 카메라로 영상을 촬영한 경우 카메라의 3차원 움직임과 객체의 움직임을 동시에 추적하는 기술로서, 일반적으로 카메라로 취득된 영상 시퀀스에서 특정한 한 명의 객체 혹은 불특정 다수의 위치를 매 프레임 추정하게 된다.
객체 추적 기술은 컴퓨터 비전의 2가지 주요 기술을 필요로 한다. 하나는 탐지(detection)이고, 다른 하나는 추적(tracking)이다. 탐지는 영상 내 찾고자 하는 대상, 즉 객체를 찾는 것이고, 추적은 영상 내 특정 대상의 위치 변화를 찾는 것이다. 추적 알고리즘은 크게 2가지로 분류되는데, ① 탐지가 초기화에만 사용되고 이후 탐지 없이 시간에 대한 객체의 움직임에 대한 추정이 객체의 움직임 흐름에 의한 변이 추적에 의존하는 경우와 ② 매 프레임마다 탐지를 하고 매 프레임에서의 탐지결과에 대해 객체 간 매칭(matching)에 의해 추적을 수행하는 경우(tracking by detection)가 있다[3].
추적 방법은 검출을 위해 일반적으로 사람을 포함하지 않는 배경 영상을 모델링한 후 현재의 카메라 입력영상과 배경 영상과의 차이를 구해 움직임 영역을 검출한다. 이 경우 사람이 엇갈리거나 중복됨으로 인해 검출 영역의 수와 추적 객체 수가 다를 수 있으므로 각 사람에 대한 추적이 유지되도록 강인하고 고도화된 매칭 기술이 필요하다. 추적 과정에서 사용되기 위해 추출되는 특징 정보로는 컬러, 에지(edge), 광류(optical flow), 텍스쳐 등이 있고, 알고리즘에 따라 다양한 특징들을 조합하여 사용한다. 특징을 검출하는 알고리즘은 Kanade-Lucas-Tomasi Feature Tracker(KLT), Scale Invariant Feature Transform(SIFT), Histogram of Orientation Gradients(HOG), Haar 특징, Ferns, Local Binary Pattern(LBP), Modified Census Transform(MCT) 등이 있다.
추적 알고리즘은 특징의 형태에 따라 포인트 기반 추적, 커널(kernel) 기반 추적, 실루엣(silhouette) 기반 추적으로 나뉜다. 커널 기반 추적은 객체의 외형 모양을 따라 그 변환 과정을 추적하고, 실루엣 기반 추적은 객체의 에지 정보를 이용해 윤곽의 일치 여부에 따라 추적한다. 검출된 객체의 특징이 포인트의 형태로 표현되는 포인트 기반 추적은 포인트들의 연관성을 추적하기 위해 칼만 필터(Kalman filter) 방식, 파티클 필터(particle filter) 방식이 대표적으로 사용된다.
파티클 필터 알고리즘을 이용한 객체 추적 기법의 경우 mean-shift나 칼만 필터를 이용한 객체 추적 기법과 달리, 일시적인 중첩이나 가려짐, 배경의 clutter 등에 강인한 성능을 보인다. 특히 컬러 히스토그램 정보를 이용한 객체 추적 방법들은 조명 변화에도 강인하며, 특징점(feature)이 적은 저해상도 객체의 경우에도 비교적 높은 정확도로 추적을 수행한다.
파티클 필터링(Particle Filtering) 으로도 불리는 Sequential Monte-Carlo 기법은 목표물의 동력학적 움직임을 모델링해서 예상 진로로 목표물 이미지를 여러 개 샘플링하여 그 샘플들의 각각의 무게들을 구해서 그 기대치를 구하여 추적해 나가는 방법이다. 이 때 샘플들의 무게를 구할 때 기본이 되는 척도(Measure) 는 RGB (빨강, 초록, 파랑)에 의한 히스토그램이다. 그것은, 추적의 대상이 되는 목표물을 구성하는 이미지 픽셀들의 색깔들의 강도에 의해 만들어지는 히스토그램의 비슷한 정도를 나타내고 그 정도가 클수록 목표물과 비슷하다고 판단하게 된다. 기존의 방법 중의 이러한 히스토그램은 RGB 이외에도 HSV(색상, 채도, 명도)에 의해 구성될 수 있다.
상기 파티클 필터는 파티클의 상태를 가중치 정보(샘플의 중요도)를 갖는 샘플들의 집합으로 표현한다. 즉, 객체 위치에 대한 확률 분포를 가중치를 가진 샘플들로 근사화시킨다. 상태 초기화 이후의 파티클 필터의 동작 순서는 ① 이전 측정값으로부터의 현재의 위치를 예측하고, ② 현재 측정값으로부터 중요도 가중치를 업데이트하고, ③ 파티클 중 높은 예측 확률(likelihood)을 갖는 파티클 위주로 리샘플링한다. 이를 순차적 중요도 샘플링(Sequential Importance Sampling, SIS) 이라고 한다. 위 3가지 과정은 반복되며 리샘플링된 파티클을 이용해 객체의 위치를 예측한다. 파티클 필터 추적 방식이 객체의 갑작스러운 움직임 변화에도 강건하여 추적 성능이 뛰어난 것으로 알려져 있다.
하지만, 종래의 객체 추적 방법에서의 파티클 필터 방식을 적용함에 있어서, 단일 히스토그램을 이용하거나 둘 또는 세 개의 히스토그램을 동시 확률(Joint Probability) 방법으로 적용하게 된다. 한편, 동영상은 특히 시간에 따라 반사(illumination) 현상이나 그늘(shade)이 발생하거나 밝기가 변화하는 등과 같은 다양한 환경의 변화가 발생할 수 있게 되는데, 이런 경우 종래의 파티클 필터 방식을 적용한 객체 추적 방법은 정확한 객체 추적을 해내지 못하게 된다.
한국공개특허공보 제 10-2014-0052256호 한국등록특허공보 제 10-141467호 한국등록특허공보 제 10-1517359호 한국등록특허공보 제 10-1635973호
전술한 문제점을 해결하기 위한 본 발명의 목적은 환경 변화에도 강건하게 객체 추적을 해낼 수 있는 다중 히스토그램을 이용한 객체 추적 방법을 제공하는 것이다.
본 발명의 다른 목적은 전술한 다중 히스토그램을 이용한 객체 추적 방법을 적용한 객체 추적 장치를 제공하는 것이다.
전술한 기술적 과제를 달성하기 위한 본 발명의 제1 특징에 따른 객체 추적 방법은, 순차적으로 이루어진 프레임들로 구성된 동영상으로부터 사전 설정된 목표 객체를 추적하는 객체 추적 방법에 관한 것으로서, (a) 상기 동영상의 참조 프레임에서 타깃 국지화에 의해 추적하고자 하는 목표 객체를 탐지하고, 탐지된 목표 객체에 대응되는 파티클들을 동일화시키고, 상기 파티클들에 대하여 사전 설정된 적어도 둘 이상의 특성들(Features)에 대한 다중 히스토그램을 측정하는 단계; (b) 상기 목표 객체를 추적할 프레임에서, 다수 개의 후보 파티클들을 생성하는 단계; (c) 상기 후보 파티클들의 각각에 대하여, 상기 사전 설정된 적어도 둘 이상의 특성들에 대한 측정값을 구하여 다중 히스토그램을 생성하고, 상기 다중 히스토그램들을 이용하여 각 특성들에 대한 측정값들 중 최대 비용을 갖는 특성을 선택하고, 선택된 특성의 측정값을 이용하여 해당 파티클에 대한 무게를 계산하는 단계; 및 (d) 상기 (c) 단계에서 얻은 모든 후보 파티클들에 대한 무게들을 이용하여 상기 프레임에서의 목표 객체의 위치를 추정하는 단계;를 구비한다.
전술한 제1 특징에 따른 객체 추적 방법에 있어서, 상기 (c) 단계는, 후보 파티클들의 각각에 대하여, (c1) 사전 설정된 적어도 둘 이상의 특성들에 대한 측정값을 구하여 다중 히스토그램을 생성하는 단계; (c2) 상기 적어도 둘 이상의 특성들에 대한 다중 히스토그램들을 이용하여, Minimax 추정 기법을 적용하여 상기 적어도 둘 이상의 특성들 중 최대 비용을 갖는 특성을 선택하는 단계; 및 (c3) 상기 선택된 특성을 이용하여 해당 파티클에 대한 무게를 계산하는 단계;를 구비하여, 모든 후보 파티클들에 대하여 무게를 계산하여 제공하는 것이 바람직하다.
전술한 제1 특징에 따른 객체 추적 방법에 있어서, 상기 (c2) 단계는, 상기 적어도 둘 이상의 특성들의 각각에 대하여, 참조 프레임의 파티클에 대한 히스토그램과 상기 추적할 프레임의 후보 파티클에 대한 히스토그램의 바타차야 거리(Bhattacharyya Distance; 'BD')를 구하고, 상기 적어도 둘 이상의 특성들 중 최대의 BD값을 갖는 특성을 최대 비용을 갖는 특성으로 선택하며,
상기 (c3) 단계는, 상기 선택된 특성의 BD 값을 이용하여 해당 파티클의 무게를 구하는 것이 바람직하다.
본 발명의 제2 특징에 따른 객체 추적 시스템은, 순차적으로 이루어진 프레임들로 구성된 동영상으로부터 사전 설정된 목표 객체를 추적하는 객체 추적 시스템에 관한 것으로서, 추적하고자 하는 동영상을 입력받고, 추적할 목표 객체를 설정하는 입력 모듈; 상기 입력 모듈로부터 입력된 동영상의 참조 프레임을 설정하고, 상기 동영상의 참조 프레임에서 타깃 국지화에 의해 추적하고자 하는 목표 객체를 탐지하고, 탐지된 목표 객체에 대응되는 파티클들을 동일화시키고, 상기 파티클들에 대하여 사전 설정된 적어도 둘 이상의 특성들(Features)에 대한 다중 히스토그램을 측정하는 참조 프레임 측정 모듈; 상기 동영상으로부터 목표 객체를 추적할 프레임을 선택하고, 선택된 프레임으로부터 다수 개의 후보 파티클들을 생성하고, 상기 후보 파티클들의 각각에 대하여, 상기 사전 설정된 적어도 둘 이상의 특성들에 대한 측정값을 구하여 다중 히스토그램을 생성하고, 상기 다중 히스토그램들을 이용하여 각 특성들에 대한 측정값들 중 최대 비용을 갖는 특성을 선택하고, 선택된 특성의 측정값을 이용하여 해당 파티클에 대한 무게를 계산하는 파티클 무게 측정 모듈; 상기 파티클 무게 측정 모듈에 의해 측정된 모든 후보 파티클들에 대한 무게들을 이용하여 상기 프레임에서의 목표 객체의 위치를 추정하는 객체 위치 추정 모듈;를 구비한다.
전술한 제2 특징에 따른 객체 추적 시스템에 있어서, 상기 파티클 무게 측정 모듈은, 후보 파티클들의 각각에 대하여, 사전 설정된 적어도 둘 이상의 특성들에 대한 측정값을 구하여 다중 히스토그램을 생성하고, 상기 적어도 둘 이상의 특성들에 대한 다중 히스토그램들을 이용하여, Minimax 추정 기법을 적용하여 상기 적어도 둘 이상의 특성들 중 최대 비용을 갖는 특성을 선택하고, 상기 선택된 특성을 이용하여 해당 파티클에 대한 무게를 계산하여 제공하는 것이 바람직하다.
전술한 제2 특징에 따른 객체 추적 시스템에 있어서, 상기 파티클 무게 측정 모듈은, 상기 적어도 둘 이상의 특성들의 각각에 대하여, 참조 프레임의 파티클에 대한 히스토그램과 상기 추적할 프레임의 후보 파티클에 대한 히스토그램의 바타차야 거리(Bhattacharyya Distance; 'BD')를 구하고, 상기 적어도 둘 이상의 특성들 중 최대의 BD값을 갖는 특성을 최대 비용을 갖는 특성으로 선택하며, 상기 선택된 특성의 BD 값을 이용하여 해당 파티클의 무게를 구하는 것이 바람직하다.
전술한 제2 특징에 따른 객체 추적 시스템에 있어서, 주어진 특성 n m 에 대한 상기 바타차야 거리(BD)는 바타차야 유사성(BS) 계수의 제곱한 값으로 정의된다.
본 발명에 따른 다중 히스토그램을 이용한 객체 추적 방법은, 다중 히스토그램들 중 Minimax 추정 기법을 적용하여 선택된 하나의 특성에 대한 히스토그램을 이용하여 파티클 필터를 적용함으로써, 시간에 따라 반사(illumination) 현상이나 그늘(shade)이 발생하거나 밝기가 변화하는 등과 같은 다양한 환경의 변화에 강건한 객체 추적을 수행할 수 있게 된다.
또한, 본 발명에 따른 다중 히스토그램을 이용한 객체 추적 방법은, 결과적으로 위치, 속도, 크기 등의 상태의 추적에 있어서도 종래의 객체 추적 방법들에 비하여 그 성능이 월등히 향상된다.
특히, 본 발명에 따른 객체 추적 방법은 비디오 영상의 화질이 낮을수록 목표물에 대한 추적을 보다 정확하게 수행할 수 있게 된다.
한편, 본 발명에 따른 객체 추적 방법은 단일의 객체 추적뿐만 아니라, 초기 국지화 과정을 수행함에 따라 다중(multiple) 객체 추적에도 적용가능하다.
도 1은 본 발명의 바람직한 제1 실시예에 따른 객체 추적 방법을 순차적으로 도시한 흐름도이다.
도 2는 본 발명의 제2 실시예에 따른 객체 추적 시스템을 도시한 블록도이다.
도 3은 본 발명에 따른 객체 추적 방법의 성능을 평가하기 위한 실험에 사용된 테스트 동영상의 주요 프레임들을 도시한 것으로서, 아래의 번호는 각 프레임에 대한 번호이다.
도 4는 본 발명과 종래의 기술에 따른 성능을 비교한 결과들을 도시한 그래프이다.
도 5는 본 발명에 따른 객체 추적 방법의 성능을 분석한 결과들을 도시한 그래프들로서, 3개의 특성을 이용한 경우와 2개의 특성을 이용한 경우들에 대한 것을 비교한 그래프들이다.
본 발명에 따른 객체 추적 방법은 몬테카를로 샘플링 방법에 Minimax 추정 기법을 접목한 파티클 필터를 이용한 것으로써, 파티클들에 대하여 적어도 둘 이상의 특성들에 대한 측정값들 중 최대 비용을 갖는 특성을 선택하고, 선택된 특성의 측정값을 이용하여 해당 파티클에 대한 무게를 계산하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 객체 추적 방법 및 이를 이용한 객체 추적 시스템에 대하여 구체적으로 설명한다. 본 발명의 바람직한 실시예에 따른 객체 추적 방법은, 순차적으로 이루어진 프레임들로 구성된 동영상으로부터 사전 설정된 목표 객체를 추적하게 된다.
도 1은 본 발명의 바람직한 실시예에 따른 객체 추적 방법을 순차적으로 도시한 흐름도이다.
도 1을 참조하면, 본 발명의 바람직한 실시예에 따른 객체 추적 방법은, 먼저, 상기 동영상의 참조 프레임에서 타깃 국지화에 의해 추적하고자 하는 목표 객체를 탐지하고, 탐지된 목표 객체에 대응되는 파티클들을 동일화시키고, 상기 파티클들에 대하여 사전 설정된 적어도 둘 이상의 특성들(Features)을 측정하여 각 특성들에 대응되는 히스토그램들을 생성함으로써, 상기 파티클에 대한 다중 히스토그램을 생성하게 된다(단계 100). 이때, 상기 참조 프레임은 주로 동영상의 초기 프레임으로 설정되는 것이 바람직하다. 상기 사전 설정된 적어도 둘 이상의 특성들은 RGB, HSV, HOG 등을 포함할 수 있다.
국지화된 목표 객체를 구성하는 픽셀들에 대하여 하나의 특성(Feature)을 측정하여 히스토그램을 생성하는 경우, 생성된 히스토그램은 다수 개의 상자(Bin)를 가질 수 있으며 히스토그램의 높이( H )는 수학식 1로 나타낼 수 있다.
Figure pat00001
여기서, b는 상자(Bin) 번호이며, N b 는 총 상자의 개수이며, h b 는 해당 상자에 대한 히스토그램의 높이를 나타내는 값이다. 척도(Measure)가 되는 방식에 따라 상자(Bin)의 총 개수는 달라질 수 있고, 히스토그램의 값의 합은 1이 되도록 정규화(Normalization)시키는 것이 바람직하다.
참조 프레임(Reference frame)에서 국지화된 목표 객체에 대한 히스토그램은 수학식 2와 같이 정의되고, 척도(Measure)가 되는 특성(Feature)이 여러 개일 경우 수학식 3과 같이 나타낼 수 있다.
Figure pat00002
k-번째 프레임에 대한 적어도 둘 이상의 특성들로 구성된 모든 특성들에 대한 다중 히스토그램들은 수학식 3의 m k 로 나타낼 수 있다.
Figure pat00003
여기서, k 는 동영상의 프레임의 순서를 나타내고, n m 은 히스토그램 특성(Feature)의 번호, N m 은 사용된 총 특성의 개수를 나타낸다.
다음, 상기 동영상에서 상기 목표 객체를 추적할 프레임을 선택하고, 상기 선택된 프레임에서 전파분포함수(Propagation Density Function)를 이용하여 다수 개의 후보 파티클들을 생성한다(단계 110).
다음, 상기 다수 개의 후보 파티클들 중 하나에 대하여, 상기 사전 설정된 적어도 둘 이상의 특성들을 측정하여 해당 파티클에 대한 다중 히스토그램을 생성한다(단계 120), 다음, 상기 파티클의 다중 히스토그램들을 구성하는 각각의 특성들에 대하여 바타차야 유사성(Bhattacharyya Similarity; 이하 'BS'라 한다) 계수들을 구하고, 상기 BS 계수를 제곱한 값으로 정의되는 바타차야 거리(Bhattacharyya Distance ; 이하 'BD'라 한다)를 구한다(단계 122).
수학식 3의 정의에 따라, 각각의 특성에 대하여, 즉 주어진 n m 에 대하여 BS 계수(Coefficient)(
Figure pat00004
)는 수학식 4와 같이 정의된다.
Figure pat00005
여기서,
Figure pat00006
는 참조 프레임에 대한 특성 n m 의 히스토그램이며,
Figure pat00007
는 추적할 프레임에 대한 특성 n m 의 히스토그램이다.
한편, BD 값은 0~1의 범위의 값을 갖게 되고, 그 유사성 정도가 클수록 0에 가깝고 그 반대의 경우 1에 가까와지는 특성을 갖는다.
다음, 상기 파티클에 대하여 상기 적어도 둘 이상의 특성들에 대한 비용을 상기 BD 값들로 정의하고, 상기 적어도 둘 이상의 특성들에 대한 비용들 중에서 최대값을 갖는 특성을 선택한다(단계 130). 이때, 본 발명에서는 상기 파티클에 대한 특성들에 대한 무게를 측정하기 위하여, Mimimax 방법에 의한 해를 구하게 되는데, 이러한 Minimax 방법은 추정 기법의 하나로서, 먼저 위험요인(Risk)을 정의하고, 정의된 위험 요인을 최대화시키고, 최대화된 위험 요인을 최소화시키는 해를 추정값으로 선택하는 방법이다. 따라서, Mimimax 방법에 따른 해를 구하기 위하여, 먼저 위험요인(Risk)을 정의하고, 정의된 위험 요인을 최대화시키기 위하여 위험 요인에 대하여 가능한 최대값을 찾은 후에, 최대화된 위험 요인을 최소화시키는 해를 추정값으로 선택하기 위하여 상기 최대값을 다시 최소화시키게 된다.
여기서, Mimimax 방법에 의한 해는 수학식 5와 같이 정의하고, 그 위험 요인(Risk)은 수학식 6과 같이 비용(Cost)의 함수로 정의된다.
Figure pat00008
여기서, inf 는 infinum으로서 최소값을 의미하며, sup 는 supremum 으로서 최대값을 의미하며, 수학식 5는 Risk 를 최대화시킨 후 다시 최소화시킴을 표현한 깃이다.
Figure pat00009
여기서,
Figure pat00010
는 위험요인(Risk)을 정의한 것이며,
Figure pat00011
는 기대값(Expectation)을 나타낸 것이며, C(ε)는 비용을 나타낸 것이다. 따라서, 수학식 6의 위험요인은 비용의 기대치로 정의된다.
Figure pat00012
수학식 7을 통해, 해당 파티클의 비용은 다수 개의 특성들 중 BD 값들 중 최대값으로 정의된다.
다음, 상기 파티클에 대하여 선택된 특성의 히스토그램을 이용하여 해당 파티클의 가중치, 즉 무게를 계산한다(단계 140). 여기서, 본 발명에 따른 객체 추적 방법에 있어서, PF 파티클의 무게(
Figure pat00013
)는 우도(Likelihood) 함수 값의 크기에 비례하는데, 파티클 i p 에 대하여 수학식 8과 같이 나타낼 수 있다.
Figure pat00014
여기서,
Figure pat00015
와
Figure pat00016
는 각각 k-번째 프레임에서의 ip 번째 파티클에 대한 무게 및 비용을 나타낸다. 결과적으로, BD 값이 최대가 되는 특성(Feature)을 선택하게 되고, 선택된 BD는 Particle Filtering(PF)에서의 각 파티클들(Particles)의 무게를 구할 때 그 척도(Measure)로 사용된다.
단계 110에서 선택된 프레임을 구성하는 모든 후보 파티클들에 대하여, 전술한 단계 120 내지 단계 140을 반복 수행하여, 해당 프레임을 구성하는 모든 후보 파티클들의 각각에 대하여 무게를 계산한다(단계 150).
다음, 해당 프레임을 구성하는 모든 후보 파티클들에 대한 무게들을 이용하여, 그 무게만큼 가중치를 갖도록 그 무게들의 총합이 1이 되도록 정규화(Normalization)시켜, 해당 프레임에서 목표 객체의 위치를 추정한다(단계 160). 이때, 사용된 총 파티클의 수는 N 이고 k-번째 프레임의 ip -번째 파티클에 대한 상태값을
Figure pat00017
라 할 때, k-번째 프레임에서의 상태 추정값(
Figure pat00018
)은 수학식 10 및 수학식 11과 같이 나타낼 수 있다.
전술한 파티클들에 대한 무게들의 총합이 1이 되도록 정규화시키는 과정은 수학식 9로 표현될 수 있다
Figure pat00019
Figure pat00020
Figure pat00021
상기 동영상을 구성하는 모든 프레임에 대하여, 전술한 단계 110 내지 단계 160을 반복 수행함으로써, 상기 동영상에서 목표 객체의 위치 변화를 추적하게 된다.
본 발명에 따른 객체 추적 방법에 사용된 알고리즘의 나머지 부분은 종래의 Sequential Importance Resampling Particle Filtering 방법과 동일하며, 영상프레임에서 매번 Resampling을 실시하게 된다.
이하, 도 2를 참조하여 전술한 객체 추적 방법을 구현한 객체 추적 시스템의 구성 및 동작에 대하여 구체적으로 설명한다.
도 2는 본 발명의 제2 실시예에 따른 객체 추적 시스템의 구성을 개략적으로 도시한 블록도이다. 도 2를 참조하면, 본 발명에 따른 객체 추적 시스템(2)은, 입력 모듈(200), 참조 프레임 측정 모듈(210), 파티클 무게 측정 모듈(220), 객체 위치 추정 모듈(230)을 구비하여, 순차적으로 이루어진 프레임들로 구성된 동영상으로부터 사전 설정된 목표 객체를 추적하는 것을 특징으로 한다.
상기 입력 모듈(200)은 추적하고자 하는 동영상을 입력받고, 사용자가 입력 모듈의 유저 인터페이스 모듈들 통해 추적할 목표 객체를 설정하게 된다.
상기 참조 프레임 측정 모듈(210)은 상기 입력 모듈로부터 입력된 동영상의 참조 프레임을 설정하고, 상기 동영상의 참조 프레임에서 타깃 국지화에 의해 추적하고자 하는 목표 객체를 탐지하고, 탐지된 목표 객체에 대응되는 파티클들을 동일화시키고, 상기 파티클들에 대하여 사전 설정된 적어도 둘 이상의 특성들(Features)에 대한 다중 히스토그램을 측정하게 된다.
상기 파티클 무게 측정 모듈(220)은 상기 동영상으로부터 목표 객체를 추적할 프레임을 선택하고, 선택된 프레임으로부터 다수 개의 후보 파티클들을 생성하고, 상기 후보 파티클들의 각각에 대하여, 상기 사전 설정된 적어도 둘 이상의 특성들에 대한 측정값을 구하여 다중 히스토그램을 생성하고, 상기 다중 히스토그램들을 이용하여 각 특성들에 대한 측정값들 중 최대 비용을 갖는 특성을 선택하고, 선택된 특성의 측정값을 이용하여 해당 파티클에 대한 무게를 계산하여 제공한다.
상기 파티클 무게 측정 모듈은, 후보 파티클들의 각각에 대하여, 사전 설정된 적어도 둘 이상의 특성들에 대한 측정값을 구하여 다중 히스토그램을 생성하고, 상기 적어도 둘 이상의 특성들에 대한 다중 히스토그램들을 이용하여, Minimax 추정 기법을 적용하여 상기 적어도 둘 이상의 특성들 중 최대 비용을 갖는 특성을 선택하고, 상기 선택된 특성을 이용하여 해당 파티클에 대한 무게를 계산하여 제공하는 것이 바람직하다.
상기 파티클 무게 측정 모듈은, 상기 적어도 둘 이상의 특성들의 각각에 대하여, 참조 프레임의 파티클에 대한 히스토그램과 상기 추적할 프레임의 후보 파티클에 대한 히스토그램의 바타차야 거리(Bhattacharyya Distance; 'BD')를 구하고, 상기 적어도 둘 이상의 특성들 중 최대의 BD값을 갖는 특성을 최대 비용을 갖는 특성으로 선택하며, 상기 선택된 특성의 BD 값을 이용하여 해당 파티클의 무게를 구하는 것이 바람직하다.
한편, 주어진 특성 n m 에 대한 상기 바타차야 거리(BD)는 바타차야 유사성(BS) 계수의 제곱한 값으로 정의되며, 상기 BS 계수는 전술한 수학식 4에 의해 구할 수 있다.
상기 객체 위치 추정 모듈(230)은 상기 파티클 무게 측정 모듈에 의해 측정된 모든 후보 파티클들에 대한 무게들을 이용하여 수학식 8, 9 및 10을 이용하여 상기 프레임에서의 목표 객체의 위치를 추정하게 된다.
그리고, 본 발명에 따른 객체 추적 시스템은 상기 동영상을 구성하는 모든 프레임들에 대하여 반복 구동되어, 전체 동영상에 대하여 목표 객체의 위치를 추정하게 된다.
이하, 실험을 통해 본 발명에 따른 객체 추적 방법의 성능을 평가하고, 종래의 기술들과 비교하도록 한다. 도 3은 본 발명에 따른 객체 추적 방법의 성능을 평가하기 위한 실험에 사용된 테스트 동영상의 주요 프레임들을 도시한 것으로서, 아래의 번호는 각 프레임에 대한 번호이다.
도 4는 본 발명과 종래의 기술에 따른 성능을 비교한 결과들을 도시한 그래프이다. 도 4를 참조하면, (a)는 본원 발명과 RGB에 대한 단독 히스토그램을 이용한 종래의 기술에 따른 성능을 비교한 것이며, (b)는 본원 발명과 HSV에 대한 단독 히스토그램을 이용한 종래의 기술에 따른 성능을 비교한 것이며, (c)는 본원 발명과 HOG에 대한 단독 히스토그램을 이용한 종래의 기술에 따른 성능을 비교한 것이며, (d)는 본원 발명과 3개의 히스토그램을 Joint 방식(즉, 3개의 특성을 모두 사용하되 동시 확률 방법을 적용한 것)으로 사용한 종래의 기술에 따른 성능을 비교한 것이다. 도 4에 있어서, y축은 MDE(mean distance error)로서, 평균 거리 오차를 픽셀의 단위로 나타낸 것이며, MDE가 클수록 error가 큰 것을 의미한다. 한편, x축은 동영상의 순차적 이미지를 나타낸 것이다.
도 4를 통해, 본 발명에 따른 객체 추적 방법이 종래의 기술들에 따른 방법들보다 그 정확도가 우수함을 파악할 수 있다.
도 5는 본 발명에 따른 객체 추적 방법의 성능을 분석한 결과들을 도시한 그래프들로서, 3개의 특성을 이용한 경우와 2개의 특성을 이용한 경우들에 대한 것을 비교한 그래프들이다. 도 5의 (a)는 본 발명에 따른 객체 추적 방법이 RGB, HSV, HOG 의 3개의 특성을 이용한 경우, RGB, HSV 의 2개의 특성을 이용한 경우, RGB, HOG 의 2개의 특성을 이용한 경우, HSV, HOG 의 2개의 특성을 이용한 경우를 함께 도시한 그래프이며, (b)는 본 발명에 따른 객체 추적 방법이 RGB, HSV, HOG 의 3개의 특성을 이용한 경우, RGB, HSV 의 2개의 특성을 이용한 경우를 함께 도시한 그래프이며, (c)는 본 발명에 따른 객체 추적 방법이 RGB, HSV, HOG 의 3개의 특성을 이용한 경우, RGB, HOG 의 2개의 특성을 이용한 경우를 함께 도시한 그래프이며, (d)는 본 발명에 따른 객체 추적 방법이 RGB, HSV, HOG 의 3개의 특성을 이용한 경우, HSV, HOG 의 2개의 특성을 이용한 경우를 함께 도시한 그래프이다.
도 5를 통해, 본 발명에 따른 객체 추적 방법은 3개의 특성을 이용하여 객체 추적하는 것이 2개의 특성을 이용하는 것보다 일반적으로 우수한 정확도를 제공하는 것을 알 수 있다.
이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나, 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 그리고, 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
2 : 객체 추적 시스템
200 : 입력 모듈
210 : 참조 프레임 측정 모듈
220 : 파티클 무게 측정 모듈
230 : 객체 위치 추정 모듈

Claims (8)

  1. 순차적으로 이루어진 프레임들로 구성된 동영상으로부터 사전 설정된 목표 객체를 추적하는 객체 추적 방법에 있어서,
    (a) 상기 동영상의 참조 프레임에서 타깃 국지화에 의해 추적하고자 하는 목표 객체를 탐지하고, 탐지된 목표 객체에 대응되는 파티클들을 동일화시키고, 상기 파티클들에 대하여 사전 설정된 적어도 둘 이상의 특성들(Features)에 대한 다중 히스토그램을 측정하는 단계;
    (b) 상기 목표 객체를 추적할 프레임에서, 다수 개의 후보 파티클들을 생성하는 단계;
    (c) 상기 후보 파티클들의 각각에 대하여, 상기 사전 설정된 적어도 둘 이상의 특성들에 대한 측정값을 구하여 다중 히스토그램을 생성하고, 상기 다중 히스토그램들을 이용하여 각 특성들에 대한 측정값들 중 최대 비용을 갖는 특성을 선택하고, 선택된 특성의 측정값을 이용하여 해당 파티클에 대한 무게를 계산하는 단계; 및
    (d) 상기 (c) 단계에서 얻은 모든 후보 파티클들에 대한 무게들을 이용하여 상기 프레임에서의 목표 객체의 위치를 추정하는 단계;
    를 구비하는 것을 특징으로 하는 객체 추적 방법.
  2. 제1항에 있어서, 상기 (c) 단계는, 후보 파티클들의 각각에 대하여,
    (c1) 사전 설정된 적어도 둘 이상의 특성들에 대한 측정값을 구하여 다중 히스토그램을 생성하는 단계;
    (c2) 상기 적어도 둘 이상의 특성들에 대한 다중 히스토그램들을 이용하여, Minimax 추정 기법을 적용하여 상기 적어도 둘 이상의 특성들 중 최대 비용을 갖는 특성을 선택하는 단계; 및
    (c3) 상기 선택된 특성을 이용하여 해당 파티클에 대한 무게를 계산하는 단계;
    를 구비하여, 모든 후보 파티클들에 대하여 무게를 계산하여 제공하는 것을 특징으로 하는 객체 추정 방법.
  3. 제2항에 있어서, 상기 (c2) 단계는
    상기 적어도 둘 이상의 특성들의 각각에 대하여, 참조 프레임의 파티클에 대한 히스토그램과 상기 추적할 프레임의 후보 파티클에 대한 히스토그램의 바타차야 거리(Bhattacharyya Distance; 'BD')를 구하고,
    상기 적어도 둘 이상의 특성들 중 최대의 BD값을 갖는 특성을 최대 비용을 갖는 특성으로 선택하는 것을 특징으로 하며,
    상기 (c3) 단계는,
    상기 선택된 특성의 BD 값을 이용하여 해당 파티클의 무게를 구하는 것을 특징으로 하는 객체 추정 방법.
  4. 제3항에 있어서, 주어진 특성 n m 에 대한 상기 바타차야 거리(BD)는 바타차야 유사성(BS) 계수의 제곱한 값으로 정의되며,
    상기 BS 계수(
    Figure pat00022
    )는 아래의 수학식에 의해 구하는 것을 특징으로 하는 객체 추정 방법.
    Figure pat00023

    여기서,
    Figure pat00024
    는 참조 프레임에 대한 특성 n m 의 히스토그램이며,
    Figure pat00025
    는 추적할 프레임에 대한 특성 n m 의 히스토그램이며, 주어진 특성 n m 에 대하여, b는 상자(Bin) 번호이며, N b 는 총 상자의 개수이며,
    Figure pat00026
    는 해당 상자에 대한 히스토그램의 높이를 나타내는 값이며,
    Figure pat00027
    는 참조 프레임에서의 해당 상자에 대한 히스토그램의 높이를 나타내는 값임.
  5. 순차적으로 이루어진 프레임들로 구성된 동영상으로부터 사전 설정된 목표 객체를 추적하는 객체 추적 시스템에 있어서,
    추적하고자 하는 동영상을 입력받고, 추적할 목표 객체를 설정하는 입력 모듈;
    상기 입력 모듈로부터 입력된 동영상의 참조 프레임을 설정하고, 상기 동영상의 참조 프레임에서 타깃 국지화에 의해 추적하고자 하는 목표 객체를 탐지하고, 탐지된 목표 객체에 대응되는 파티클들을 동일화시키고, 상기 파티클들에 대하여 사전 설정된 적어도 둘 이상의 특성들(Features)에 대한 다중 히스토그램을 측정하는 참조 프레임 측정 모듈;
    상기 동영상으로부터 목표 객체를 추적할 프레임을 선택하고, 선택된 프레임으로부터 다수 개의 후보 파티클들을 생성하고, 상기 후보 파티클들의 각각에 대하여, 상기 사전 설정된 적어도 둘 이상의 특성들에 대한 측정값을 구하여 다중 히스토그램을 생성하고, 상기 다중 히스토그램들을 이용하여 각 특성들에 대한 측정값들 중 최대 비용을 갖는 특성을 선택하고, 선택된 특성의 측정값을 이용하여 해당 파티클에 대한 무게를 계산하는 파티클 무게 측정 모듈;
    상기 파티클 무게 측정 모듈에 의해 측정된 모든 후보 파티클들에 대한 무게들을 이용하여 상기 프레임에서의 목표 객체의 위치를 추정하는 객체 위치 추정 모듈;
    를 구비하는 것을 특징으로 하는 객체 추적 시스템.
  6. 제5항에 있어서, 상기 파티클 무게 측정 모듈은, 후보 파티클들의 각각에 대하여,
    사전 설정된 적어도 둘 이상의 특성들에 대한 측정값을 구하여 다중 히스토그램을 생성하고,
    상기 적어도 둘 이상의 특성들에 대한 다중 히스토그램들을 이용하여, Minimax 추정 기법을 적용하여 상기 적어도 둘 이상의 특성들 중 최대 비용을 갖는 특성을 선택하고,
    상기 선택된 특성을 이용하여 해당 파티클에 대한 무게를 계산하여 제공하는 것을 특징으로 하는 객체 추정 시스템.
  7. 제6항에 있어서, 상기 파티클 무게 측정 모듈은,
    상기 적어도 둘 이상의 특성들의 각각에 대하여, 참조 프레임의 파티클에 대한 히스토그램과 상기 추적할 프레임의 후보 파티클에 대한 히스토그램의 바타차야 거리(Bhattacharyya Distance; 'BD')를 구하고,
    상기 적어도 둘 이상의 특성들 중 최대의 BD값을 갖는 특성을 최대 비용을 갖는 특성으로 선택하며,
    상기 선택된 특성의 BD 값을 이용하여 해당 파티클의 무게를 구하는 것을 특징으로 하는 객체 추정 시스템.
  8. 제7항에 있어서, 주어진 특성 n m 에 대한 상기 바타차야 거리(BD)는 바타차야 유사성(BS) 계수의 제곱한 값으로 정의되며,
    상기 BS 계수(
    Figure pat00028
    )는 아래의 수학식에 의해 구하는 것을 특징으로 하는 객체 추정 시스템.
    Figure pat00029

    여기서,
    Figure pat00030
    는 참조 프레임에 대한 특성 n m 의 히스토그램이며,
    Figure pat00031
    는 추적할 프레임에 대한 특성 n m 의 히스토그램이며, 주어진 특성 n m 에 대하여, b는 상자(Bin) 번호이며, N b 는 총 상자의 개수이며,
    Figure pat00032
    는 해당 상자에 대한 히스토그램의 높이를 나타내는 값이며,
    Figure pat00033
    는 참조 프레임에서의 해당 상자에 대한 히스토그램의 높이를 나타내는 값임.




KR1020170082308A 2017-06-29 2017-06-29 다중 히스토그램을 이용한 객체 추적 방법 및 이를 이용한 객체 추적 시스템 KR101953626B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170082308A KR101953626B1 (ko) 2017-06-29 2017-06-29 다중 히스토그램을 이용한 객체 추적 방법 및 이를 이용한 객체 추적 시스템
US16/020,204 US10621734B2 (en) 2017-06-29 2018-06-27 Method and system of tracking an object based on multiple histograms

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170082308A KR101953626B1 (ko) 2017-06-29 2017-06-29 다중 히스토그램을 이용한 객체 추적 방법 및 이를 이용한 객체 추적 시스템

Publications (2)

Publication Number Publication Date
KR20190002772A true KR20190002772A (ko) 2019-01-09
KR101953626B1 KR101953626B1 (ko) 2019-03-06

Family

ID=64738939

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170082308A KR101953626B1 (ko) 2017-06-29 2017-06-29 다중 히스토그램을 이용한 객체 추적 방법 및 이를 이용한 객체 추적 시스템

Country Status (2)

Country Link
US (1) US10621734B2 (ko)
KR (1) KR101953626B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949344B (zh) * 2019-03-18 2022-12-27 吉林大学 一种基于颜色概率目标建议窗口的核相关滤波跟踪方法
CN110148157B (zh) * 2019-05-10 2021-02-02 腾讯科技（深圳）有限公司 画面目标跟踪方法、装置、存储介质及电子设备
CN111145216B (zh) * 2019-12-26 2023-08-18 电子科技大学 一种视频图像目标的跟踪方法
CN111369597B (zh) * 2020-03-09 2022-08-12 南京理工大学 一种基于多特征融合的粒子滤波目标跟踪方法
CN111698648B (zh) * 2020-04-27 2022-05-31 汉海信息技术(上海)有限公司 网络定位方法、装置、电子设备及存储介质
CN111739645B (zh) * 2020-05-14 2024-01-30 北京深睿博联科技有限责任公司 一种免疫相关性肺炎预测模型的训练方法
US11775615B2 (en) * 2020-12-04 2023-10-03 Toyota Research Institute, Inc. System and method for tracking detected objects

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
US7177447B2 (en) * 1999-02-23 2007-02-13 Lockheed Martin Corporation Real-time multi-stage infrared image-based tracking system
US7103235B2 (en) * 2001-04-25 2006-09-05 Lockheed Martin Corporation Extended range image processing for electro-optical systems
US20090260511A1 (en) * 2005-07-18 2009-10-22 Trex Enterprises Corp. Target acquisition and tracking system
US7576837B2 (en) * 2006-08-29 2009-08-18 The United States Of America As Represented By The Secretary Of The Army Micro-mirror optical tracking and ranging system
JP4766495B2 (ja) * 2007-09-28 2011-09-07 株式会社ソニー・コンピュータエンタテインメント 対象物追跡装置および対象物追跡方法
JP5566892B2 (ja) * 2007-10-10 2014-08-06 本田技研工業株式会社 追跡および観測用ロボット
US8027029B2 (en) * 2007-11-07 2011-09-27 Magna Electronics Inc. Object detection and tracking system
US8400619B1 (en) * 2008-08-22 2013-03-19 Intelligent Automation, Inc. Systems and methods for automatic target tracking and beam steering
JP4730431B2 (ja) * 2008-12-16 2011-07-20 日本ビクター株式会社 目標追尾装置
US9294755B2 (en) * 2010-10-20 2016-03-22 Raytheon Company Correcting frame-to-frame image changes due to motion for three dimensional (3-D) persistent observations
EP2474808A1 (de) * 2011-01-10 2012-07-11 Leica Geosystems AG Geodätisches Vermessungsgerät mit thermographischer Kamera
US8923401B2 (en) * 2011-05-31 2014-12-30 Raytheon Company Hybrid motion image compression
US9230333B2 (en) * 2012-02-22 2016-01-05 Raytheon Company Method and apparatus for image processing
US9372070B1 (en) * 2012-07-17 2016-06-21 L-3 Communications Corporation Target locating device and methods
KR101409810B1 (ko) 2012-10-24 2014-06-24 계명대학교 산학협력단 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법
KR101414670B1 (ko) 2013-01-02 2014-07-04 계명대학교 산학협력단 온라인 랜덤 포레스트 및 파티클 필터를 이용한 열 영상에서의 객체 추적 방법
KR101517359B1 (ko) 2013-12-27 2015-06-05 전남대학교산학협력단 객체 추적 방법 및 이를 이용한 객체 추적 장치
JP6030617B2 (ja) * 2014-10-15 2016-11-24 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置および画像処理方法
KR101635973B1 (ko) 2015-04-23 2016-07-04 국방과학연구소 Ir 영상 추적에서 파티클 필터를 이용한 기억 추적 성능 향상 방법 및 장치
US9805264B2 (en) * 2015-10-19 2017-10-31 Disney Enterprises, Inc. Incremental learning framework for object detection in videos
US10382701B2 (en) * 2016-01-27 2019-08-13 Raytheon Company Active imaging systems and method
US9794483B1 (en) * 2016-08-22 2017-10-17 Raytheon Company Video geolocation

Also Published As

Publication number Publication date
KR101953626B1 (ko) 2019-03-06
US10621734B2 (en) 2020-04-14
US20190005655A1 (en) 2019-01-03

Similar Documents

Publication Publication Date Title
KR101953626B1 (ko) 다중 히스토그램을 이용한 객체 추적 방법 및 이를 이용한 객체 추적 시스템
Hu et al. Moving object detection and tracking from video captured by moving camera
Moon et al. Performance analysis of a simple vehicle detection algorithm
JP4742168B2 (ja) ビデオ監視カメラが検出した対象物の特性を識別する方法および機器
Subburaman et al. Counting people in the crowd using a generic head detector
US9165190B2 (en) 3D human pose and shape modeling
KR101618814B1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
Rout A survey on object detection and tracking algorithms
Pätzold et al. Counting people in crowded environments by fusion of shape and motion information
Celik et al. Towards a robust solution to people counting
WO2008009656A1 (en) Image processing for change detection
Cuevas et al. Efficient moving object detection for lightweight applications on smart cameras
CN102346854A (zh) 前景物体检测方法和设备
Kong et al. Blind image quality prediction for object detection
Buch et al. Vehicle localisation and classification in urban CCTV streams
Hardas et al. Moving object detection using background subtraction shadow removal and post processing
Sirmacek et al. Automatic crowd analysis from airborne images
Bravo et al. Outdoor vacant parking space detector for improving mobility in smart cities
Chen et al. An adaptive background model initialization algorithm with objects moving at different depths
CN105184245B (zh) 一种多特征融合的人群密度估计方法
US20070223818A1 (en) Method and apparatus for predicting the accuracy of virtual Scene based on incomplete information in video
JP2009205695A (ja) 対象個数検出装置および対象個数検出方法
Teixeira et al. Scene understanding for auto-calibration of surveillance cameras
Hung et al. Local empirical templates and density ratios for people counting
Szwoch et al. Spatial Calibration of a Dual PTZ‐Fixed Camera System for Tracking Moving Objects in Video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant