KR20140122981A - 이중 모델링과 학습 및 폐기학습을 통한 영상 내의 물체 추적 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 - Google Patents

이중 모델링과 학습 및 폐기학습을 통한 영상 내의 물체 추적 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 Download PDF

Info

Publication number
KR20140122981A
KR20140122981A KR20130040141A KR20130040141A KR20140122981A KR 20140122981 A KR20140122981 A KR 20140122981A KR 20130040141 A KR20130040141 A KR 20130040141A KR 20130040141 A KR20130040141 A KR 20130040141A KR 20140122981 A KR20140122981 A KR 20140122981A
Authority
KR
South Korea
Prior art keywords
learning
tracking
model
background
discard
Prior art date
Application number
KR20130040141A
Other languages
English (en)
Other versions
KR101460517B1 (ko
Inventor
이광무
정하욱
김수완
최진영
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020130040141A priority Critical patent/KR101460517B1/ko
Publication of KR20140122981A publication Critical patent/KR20140122981A/ko
Application granted granted Critical
Publication of KR101460517B1 publication Critical patent/KR101460517B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이중 모델링과 학습 및 폐기학습을 통하여 영상 내의 물체 추적 방법에 관한 것이다. 더욱 상세하게는, 본 발명은 이중 모델링과 학습 및 폐기학습을 통한 물체 추적 기술을 통해 입력 영상에서 물체를 추적할 때 발생할 수 있는 각종 장애 요인, 예컨대 물체의 가려짐, 배경 간섭, 드리프팅의 문제를 동시에 해결할 수 있는 기술에 관한 것이다. 본 발명에 따르면 입력 영상으로부터 어떠한 물체 영역을 지속적으로 추적함에 있어서 종래의 문제점인 배경 간섭, 가려짐, 드리프팅 문제를 모두 해결할 수 있는 장점이 있다. 즉, 두 모델이 결합되어 생성되는 우도를 활용함으로써 배경 간섭 및 가려짐에 강인한 성능을 보이며, 추적 결과를 이용한 모델의 학습/폐기학습을 통하여 드리프팅에도 강인한 특성을 갖는 장점을 제공한다.

Description

이중 모델링과 학습 및 폐기학습을 통한 영상 내의 물체 추적 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체{Method or providing visual tracking from video by learning and unlearning with dual modeling, and computer-readable recording medium for the same}
본 발명은 이중 모델링과 학습 및 폐기학습을 통하여 영상 내의 물체 추적 방법에 관한 것이다. 더욱 상세하게는, 본 발명은 이중 모델링과 학습 및 폐기학습을 통한 물체 추적 기술을 통해 입력 영상에서 물체를 추적할 때 발생할 수 있는 각종 장애 요인, 예컨대 물체의 가려짐, 배경 간섭, 드리프팅(drifting)의 문제를 동시에 해결할 수 있는 기술에 관한 것이다.
영상 내에서 특정 물체를 지속적으로 추적하는 것은 컴퓨터 비전 분야에 있어서 매우 중요한 연구 주제이다. 영상 추적은 로봇 비전, 영상 감시, 동영상 분석, 홈 자동화 및 행동 인식 등 다양한 응용에 있어서 기초적인 처리 단계로 사용되며 이들 응용들은 정확한 추적 결과를 필요로 한다. 이를 위하여 다양한 추적 방법이 지속적으로 제안되어 왔다.
하지만 영상 내의 물체 추적 과정에서는 몇가지 장애 요인이 발생하는데, 예를 들어 추적 대상이 다른 물체에 의해 가려지는 경우나 배경에 비해 추적 대상이 별달리 두드러지지 않을 경우에 추적 성능이 떨어지게 된다. 또한, 장기간 물체를 추적하는 경우에는 드리프팅 문제라고 일컬어지는 물체 모델의 분별성능 저하 문제가 여전히 미해결 상태로 남아있다.
이에 따라, 추적 대상이 가려지거나 배경 간섭이 존재하는 상황에서의 물체 추적과 관련하여 다양한 방법이 제안되었다. A. Adam et al. "Robust fragments-based tracking using the integral histogram," In Computer Vision and Pattern Recognition, 2006 IEEE Computer Society Conference(이하, "Adam 논문")에서는 종래의 커널 기반을 분할-기반으로 확장함으로써 가려짐 문제에 강인하게끔 하는 방법론이 제안되었다.
X. Mei and H. Ling, "Robust visual tracking using l1 minimization," In Computer Vision, 2009 IEEE 12th International Conference(이하, "Mei 논문")에서는 종래의 파티클 필터틀에서 추적 문제를 스파스 근사화로 다룸으로써 가려짐 문제를 해결하고자 하였다. 그들의 방법에서는 트리비알 템플릿과 l1 최소화 기법을 사용하여 물체에 대한 스파스한 표현을 생성하였고, 이를 통해 기존 방법에 비하여 가려짐 문제에 강인한 특성을 나타내었다.
배경 간섭문제를 해결하기 위해 H. Grabner et al. "Real-time tracking via on-line boosting," In Proceedings of the British Machine Vision Conference, 2006(이하, "Grabner 논문")은 배경과 물체를 구분하는 분류기를 온라인으로 학습하는 방법을 제안하였다. 이 방법은 물체 추적을 두 개의 클래스로 분류하는 방법의 범주 안에 속하며, 이는 S. Stalder et al. "Beyond semi-supervised tracking: Tracking should be as simple as detection, but not simpler than recognition," In Computer Vision Workshops (ICCV Workshops), 2009(이하, "Stalder 논문")에서 확장되어 드리프팅 문제도 함께 고려되었다.
그러나 위에서 기술된 방법들의 경우에는 가려짐 상황 또는 배경 간섭 상황 중의 하나만 고려하였으며, 이러한 장애 요인이 동시에 일어날 경우에는 추적 성능이 저하된다는 단점을 나타낸다.
또한, 드리프팅은 종래의 추적 방법이 갖는 문제이다. 추적대상 물체는 도중에 다양한 변화를 보이는데, 이에 대응하기 위해서는 추적을 수행하는 동시에 온라인으로 물체 모델을 업데이트할 필요성이 있다.
종래에는 추적 과정에 있어서 이전 프레임의 결과를 사용하여 추적 대상을 업데이트하는데, 이 업데이트 과정에 부정확한 정보가 포함될 수 있다. 이처럼 부정확한 정보에 의한 업데이트가 지속되면 모델이 올바른 물체 모델로부터 "드리프팅"하여 잘못된 모델이 생성되게 된다.
이러한 드리프팅 문제를 해결하기 위하여 B. Babenko et al. "Robust object tracking with online multiple instance learning," Pattern Analysis and Machine Intelligence, IEEE Transactions, 2011(이하, "Babenko 논문")에서 기존의 Grabner 논문을 확장하여 다중 인스턴스 학습을 적용하였다. 이를 통하여 Babenko 논문에서는 이전 프레임의 추적 결과뿐만 아니라 주변의 다양한 랜덤 변화들을 학습함으로써 잘못된 정보를 학습할 위험을 감소시켰다. 또한 Stalder 논문에서는 학습을 하지 않는 부분을 포함하는 다중 분류 시스템을 활용하여 이러한 드리프팅을 방지하였다.
Z. Kalal et al. "P-n learning: Bootstrapping binary classifiers by structural constraints," In Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference(이하, "Kalal 논문")은 추적 방법과 분류 방법을 혼합하여 두가지 방법이 동일한 결과를 보일 경우에만 학습함으로써 두 방법이 상호보완적으로 드리프팅을 방지하도록 하였다. 하지만 이들 방법들은 주로 가려짐 상황을 고려하지 않았기에 그에 따른 한계점을 갖는다.
본 발명의 목적은 이중 모델링과 학습 및 폐기학습을 통하여 영상 내의 물체 추적 방법을 제공하는 것이다. 더욱 상세하게는, 본 발명의 목적은 이중 모델링과 학습 및 폐기학습을 통한 물체 추적 기술을 통해 입력 영상에서 물체를 추적할 때 발생할 수 있는 각종 장애 요인, 예컨대 물체의 가려짐, 배경 간섭, 드리프팅의 문제를 동시에 해결할 수 있는 기술을 제공하는 것이다.
이러한 과제를 달성하기 위한 본 발명에 따른 이중 모델링과 학습 및 폐기학습을 통한 물체 추적 방법은, 각각 개별적인 두 개의 단일 가우시안 모델을 사용하여 전경 모델과 배경 모델을 설정하는 제 1 단계; 입력 영상에서 특징 기반으로 배경 움직임을 보상함으로써 배경 모델을 업데이트하는 제 2 단계; 전경 모델에 변화를 인가한 후 배경 모델과 결합하여 현재의 관측 값과 가장 유사하도록 재구성하고, 재구성할 때의 오류에 반비례 하는 우도 값 연산을 통해 전경 모델과 배경 모델로부터 우도를 계산하는 제 3 단계; 랜덤 샘플링을 활용한 평균이동 처리를 반복 실행하여 우도를 최대화함으로써 추적대상 물체에 대한 추적 결과를 획득하는 제 4 단계; 우도 계산에 전경 모델이 반영되었는지 배경 모델이 반영되었는지에 따라 학습 및 폐기학습을 선택적으로 적용하여 전경 모델을 업데이트하는 제 5 단계;를 포함하여 구성된다.
본 발명에서 제 3 단계에서 배경 모델과 전경 모델은 각각 하나의 평균적인 RGB 색으로 표현된 이미지 및 추가적으로 각 모델 이미지에서의 픽셀 별로 얼마나 많은 정보가 관측되었는지 기억하기 위한 에이지 이미지를 활용하여 우도 값을 연산하는 것이 바람직하다.
또한, 본 발명에서 제 3 단계는 전경 모델에 적용되는 변환을 나타내는 벡터를 변환(
Figure pat00001
)로 설정하고, 변환(
Figure pat00002
)를 사용한 이미지(
Figure pat00003
)에 대한 호모그래피 변환을
Figure pat00004
라고 설정하는 경우, 변환(
Figure pat00005
)을 적용시킨 전경 모델을 수학식
Figure pat00006
및
Figure pat00007
을 통하여 구성하고, 전경 모델에 대응되는 배경 모델인
Figure pat00008
와
Figure pat00009
를
Figure pat00010
와
Figure pat00011
에서 추적 후보 영역(
Figure pat00012
)을 잘라내어
Figure pat00013
및
Figure pat00014
와 동일한 크기로 확대/축소함으로써 연산하는 것이 바람직하다.
또한, 본 발명에서 제 3 단계는 입력 이미지(
Figure pat00015
)에서 추적 후보 영역(
Figure pat00016
)을 잘라내어 확대/축소하여
Figure pat00017
를 구하는 경우, 추적 후보 영역(
Figure pat00018
)에서 변환(
Figure pat00019
)에 대한 우도
Figure pat00020
는 픽셀 인텍스 j에 대해
Figure pat00021
에 의해 연산하며,
Figure pat00022
및
Figure pat00023
각각은,
Figure pat00024
에 의해 연산하는 것이 바람직하다.
또한, 본 발명에서 제 5 단계는
Figure pat00025
와
Figure pat00026
중 어떠한 모델이 우도 계산에 활용되었는지에 따라 전경 모델의 업데이트에서 학습을 적용할 것인지 폐기학습을 적용할 것인지를 결정한다.
또한, 본 발명에서 제 5 단계는 전경 모델을 업데이트할 때
Figure pat00027
에 의해 업데이트가 수행되며,
Figure pat00028
및
Figure pat00029
는 시간 t일 때 픽셀 j에 대한 전경 모델이며,
Figure pat00030
는 시간 t일 때 픽셀 j에 대한 확대/축소된 관측 값이며,
Figure pat00031
는 시간 t까지 관측된 프레임 수로 설정된다.
또한, 본 발명에서 제 5 단계에서
Figure pat00032
는 픽셀의 에이지로부터 구할 수 있으며, 픽셀 j의 시간 t일 때의 에이지를
Figure pat00033
라 하면
Figure pat00034
는
Figure pat00035
에 의해 연산되며,
Figure pat00036
는 업데이트 파라미터로 [-1, 1] 범위 안에 속하게 되며 학습과 폐기학습을 조율하는 것이 바람직하다.
또한, 본 발명에서 제 5 단계에서 전경 모델이 사용된 픽셀들을
Figure pat00037
, 배경 모델이 사용된 픽셀들을
Figure pat00038
라 할 경우, j ∈
Figure pat00039
의 경우
Figure pat00040
(학습 - learning) 사용하며, j ∈
Figure pat00041
의 경우
Figure pat00042
(폐기학습 - unlearning)을 사용하는 것이 바람직하다.
또한, 본 발명에서 제 5 단계에서
Figure pat00043
을 사용하는 경우
Figure pat00044
가 [1 , ∞] 범위 안에 속하고,
Figure pat00045
로 정의할 경우
Figure pat00046
는 다시 [0, 1] 범위 안에 속하며,
Figure pat00047
로 정의하는 것이 바람직하다.
또한, 본 발명에서 제 2 단계는 배경 모델을 업데이트할 때
Figure pat00048
에 의하며,
Figure pat00049
및
Figure pat00050
는
Figure pat00051
에 의해 연산되며, 배경 모델의 경우 j ∈
Figure pat00052
이면
Figure pat00053
, j ∈
Figure pat00054
이면
Figure pat00055
를 사용하는 것이 바람직하다.
한편, 본 발명에 따른 컴퓨터로 판독가능한 기록매체는 본 발명에 따른 이중 모델링과 학습 및 폐기학습을 통한 물체 추적 방법을 실행하는 물체추적 프로그램을 기록한 것이다.
본 발명에 따르면 입력 영상으로부터 어떠한 물체 영역을 지속적으로 추적함에 있어서 종래의 문제점인 배경 간섭, 가려짐, 드리프팅 문제를 모두 해결할 수 있는 장점이 있다. 즉, 두 모델이 결합되어 생성되는 우도를 활용함으로써 배경 간섭 및 가려짐에 강인한 성능을 보이며, 추적 결과를 이용한 모델의 학습/폐기학습을 통하여 드리프팅에도 강인한 특성을 갖는 장점을 제공한다.
[도 1]은 본 발명에 따른 이중 모델링과 학습 및 폐기학습을 통한 물체 추적 알고리즘의 전체 구성을 나타내는 도면.
[도 2]는 본 발명에서 이중 모델을 예시적으로 나타내는 도면.
[도 3]는 본 발명에서 우도 계산의 재구성을 예시적으로 나타내는 도면.
[도 4]는 본 발명의 작용효과를 설명하기 위한 도표.
[도 5]는 본 발명의 작용효과를 설명하기 위한 실험 영상 및 알고리즘별 주요 추적 결과 프레임을 나타낸 도면.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.
[도 1]은 본 발명에 따른 물체 추적 알고리즘의 전체 구성을 나타내는 도면이다. 본 발명에 따른 이중 모델링과 학습 및 폐기학습을 통한 물체 추적 방법은 [도 1]과 같은 전체 구성을 통해 배경 간섭, 가려짐, 드리프팅 문제를 동시에 해결하기 위한 알고리즘을 제시한다.
즉, 사람 눈의 경우 물체와 배경을 쉽게 구분할 수 있고, 이를 통하여 배경 간섭, 가려짐, 드리프팅 문제를 간단히 해결한다는 점에서 착안되며, 본 발명의 물체 추적 방법은 배경과 추적대상 물체를 이중 모델링(Dual Modeling)으로 표현하고 이를 동시에 활용하여 우도를 구성한다.
이에 따라 구성된 우도를 사용함으로써 본 발명은 추적대상 물체 이외로부터 제공되는 정보를 배제하는 것이 가능하며, 이를 통하여 배경 간섭 및 가려짐 문제에 강인한 성능을 얻을 수 있다.
또한, 추적대상 물체로부터 오는 정보가 아닌 경우 이를 물체 모델로부터 폐기학습(unlearn)함으로써 드리프팅 문제를 해결한다. 마지막으로 본 발명의 방법은 랜덤 샘플링을 사용하는 평균이동 처리를 반복 실행(iteration)함으로써 우도를 최대화한다.
이러한 알고리즘을 채택함에 따라, 본 발명에 따르면 예컨대 PTZ 감시카메라에서 얻은 입력 영상에서 특정의 사람을 선택하여 자동적으로 추적하는 경우에, 두 개의 단일 가우시안 모델을 사용하여 전경과 배경을 각각 묘사하며(이중 모델링), 이들 두 모델을 결합한 우도(likelihood)를 형성하고, 우도를 랜덤샘플링을 활용한 평균이동법을 통하여 효율적으로 최대화하여 물체를 추적할 수 있다. 이와 같은 구성을 채택함으로써 본 발명에 따르면 지속적인 물체 추적에 있어서 배경 간섭, 가려짐, 드리프팅 문제를 극복할 수 있다.
이하에서는 [도 1]을 기초로 [도 2] 내지 [도 5]를 참조하여 본 발명을 구체적으로 살펴본다.
먼저, 본 발명에서 현재의 입력 영상(입력 이미지)를 표현하기 위해 사용하는 이중 모델링에 대해 살펴본다. 이중 모델은 두 개의 모델로 구성되는데, 각각의 모델은 단일 가우시안 모델(SGM) 내지 이와 유사한 방식으로 표현된다. 이들 두가지 모델은 전경 모델(foreground model)과 배경 모델(background model)인데, 두 모델을 결합하여 추적에 사용될 우도를 계산한다.
이후 우도를 사용하여 랜덤 샘플링을 활용한 평균이동을 통해 물체의 최종 위치를 얻는다.
배경 모델과 전경 모델은 바람직하게는 하나의 평균적인 RGB 색으로 표현되는데, 이는 다시 말해 배경과 추적대상 물체는 각각 한 장의 이미지로 표현됨을 의미한다. 추가로, 각 모델 이미지에서의 픽셀 별로 얼마나 많은 정보가 관측되었는지를 기억하기 위한 에이지(age) 이미지가 존재한다.
이후 설명에 있어서 전경에 대한 RGB 이미지와 에이지 이미지를
Figure pat00056
,
Figure pat00057
,
Figure pat00058
로 표기하고 배경에 대한 RGB 이미지와 에이지 이미지를
Figure pat00059
,
Figure pat00060
,
Figure pat00061
로 표기한다. 또한, 입력 이미지는
Figure pat00062
로 표기한다.
한편 [도 2]는
Figure pat00063
,
Figure pat00064
,
Figure pat00065
,
Figure pat00066
,
Figure pat00067
,
Figure pat00068
의 예시이다. 즉, [도 2]는 본 발명에 따른 이중 모델의 예시로서 전경 모델에 대한 평균 이미지 (가), 분산 이미지 (나), 에이지 이미지 (다)로 나타내며, 배경 모델에 대한 평균 이미지 (라), 분산 이미지 (마), 에이지 이미지 (바)로 나타낸 것이다
본 발명에 따른 이중 모델링에서 실제 추적대상 물체의 크기와 상관없이
Figure pat00069
,
Figure pat00070
,
Figure pat00071
는 32×32로 고정하였고
Figure pat00072
,
Figure pat00073
,
Figure pat00074
는 실제 입력 프레임과 동일한 크기로 설정하였다.
다음으로 본 발명에서 물체 추적에 사용하는 이중 모델링의 우도 계산에 대해서 살펴본다. 추적 후보 영역(
Figure pat00075
)에 대해 추적 절차에서 사용될 우도는 배경 모델과 전경 모델을 복합적으로 사용하여 계산된다. 우도는 두 모델을 이용하여 현재 후보 영역의 관측 값을 잘 표현할수록 높은 값을 갖도록 설계한다. 이는 다시 말해 전경 모델에 변화를 준 후 배경 모델과 결합하여 현재의 관측 값(입력 영상)과 가장 유사하도록 재구성하고, 재구성할 때의 오류가 적을수록 높은 우도 값을 갖도록 설계하였음을 의미한다.
한편 [도 3]는 본 발명에서 우도 계산의 재구성을 예시적으로 나타내는 도면이다. [도 3(가)]는 후보 영역의 관측된 이미지를 나타내며, [도 3(나)]는 후보 영역의 재구성된 이미지를 나타내며, [도 3(다)]는 전경 모델의 평균값을 나타내며, [도 3(라)]는 배경 모델의 평균값을 나타낸다. 한편, 이들 도면에서 픽셀 별로 이루어진 정보 관측에 대한 정보 관측 기억을 의미하는 에이지가 일정 이하인 부분은 하늘색으로 표시되었다.
본 발명에서 사용되는 임의의 변환(
Figure pat00076
)는 전경 모델에 적용되는 변환을 표현하는 벡터이다. 변환(
Figure pat00077
)를 사용한 이미지
Figure pat00078
에 대한 호모그래피 변환을
Figure pat00079
라 할 때, 이 변환을 적용시킨 전경 모델을 수학식
Figure pat00080
및
Figure pat00081
를 통하여 구한다.
또한 이에 대응되는 배경 모델인
Figure pat00082
와
Figure pat00083
를
Figure pat00084
와
Figure pat00085
에서 추적 후보 영역(
Figure pat00086
)을 잘라내어
Figure pat00087
및
Figure pat00088
와 동일한 크기로 확대/축소함으로써 구한다. 이후 마찬가지로 입력 이미지(
Figure pat00089
)에서 추적 후보 영역(
Figure pat00090
)을 잘라내어 확대/축소하여
Figure pat00091
를 구한다. 이 경우 추적 후보 영역(
Figure pat00092
)에서 변환(
Figure pat00093
)에 대한 우도
Figure pat00094
은 다음과 같이 [수학식 1]에 의해 정의된다.
Figure pat00095
여기서
Figure pat00096
및
Figure pat00097
은 하기의 [수학식 2]에 의해 연산된다.
Figure pat00098
여기서 j는 픽셀 인덱스이다. 이 수학식들은 각 픽셀 j마다 전경 및 배경 모델들을 비교하여 둘 중 적은 값을 우도 값에 포함시키도록 설계되었음을 의미한다. 하지만 만약
Figure pat00099
또는 변환 절차에 의해
Figure pat00100
가 존재하지 않는 픽셀들의 경우(경계를 벗어난 픽셀들의 경우) 이는 특별한 경우로 취급하며
Figure pat00101
만을 사용하였다.
이를 통해, 본 발명에서는 우도 계산에서 어떠한 모델이 사용되었는지, 즉,
Figure pat00102
와
Figure pat00103
중 어떠한 모델이 사용되었는지에 기초하여 이를 전경 모델 업데이트에서 학습(learning)을 적용할 것인지 아니면 폐기학습(unlearning)을 적용할 것인지를 결정한다.
다음으로 이중 모델링의 전경 모델 업데이트에 대해서 구체적으로 살펴본다. 전경 모델 업데이트는 일반적인 온라인 SGM(Stalder 논문 참조)과 유사하게 진행되나 어떠한 모델이 사용되었는지에 기초하여 학습 또는 폐기학습을 적용한다. 주어진 후보 영역(
Figure pat00104
: 이 경우는 추적 결과 영역)에 대하여 다음과 같은 [수학식 3]에 의해 업데이트가 수행된다.
Figure pat00105
여기서
Figure pat00106
및
Figure pat00107
는 시간 t일 때 픽셀 j에 대한 전경 모델이며
Figure pat00108
는 시간 t일 때 픽셀 j에 대한 확대/축소된 관측 값이다.
Figure pat00109
는 시간 t까지 관측된 프레임 수, 즉 픽셀의 에이지로부터 구할 수 있다. 픽셀 j의 시간 t일 때의 에이지를
Figure pat00110
라 하면
Figure pat00111
는 [수학식 4]와 같이 정의할 수 있다.
Figure pat00112
여기서
Figure pat00113
는 업데이트 파라미터로서 일반적인 응용에서는
Figure pat00114
= 1로 설정된다. 하지만 본 발명의 경우에 업데이트 파라미터
Figure pat00115
는 [-1, 1] 범위 안에 속하게 되며 학습과 폐기학습을 조율한다.
학습 및 폐기학습 여부는 [수학식 1]로부터 어떤 모델이 사용되었는지를 바탕으로 결정된다. 전경 모델이 사용된 픽셀들을
Figure pat00116
, 배경 모델이 사용된 픽셀들을
Figure pat00117
라 할 경우, j ∈
Figure pat00118
의 경우
Figure pat00119
을 사용하며(학습 - learning), j ∈
Figure pat00120
의 경우
Figure pat00121
을 사용한다(폐기학습 - unlearning).
Figure pat00122
을 사용하는 경우
Figure pat00123
가 [0 , 1] 범위 안에 속하게 되어 일반적인 온라인 SGM과 동일하다. 하지만
Figure pat00124
을 사용하는 경우
Figure pat00125
가 [1 , ∞] 범위 안에 속하게 된다.
여기서
Figure pat00126
로 정의할 경우
Figure pat00127
는 다시 [0, 1] 범위 안에 속하게 되며 [수학식 3]은 다음과 같이 [수학식 5]로 다시 정의할 수 있다.
Figure pat00128
이는
Figure pat00129
로 표현하면
Figure pat00130
가
Figure pat00131
를
Figure pat00132
에 학습함으로써 얻어진 결과, 즉
Figure pat00133
가
Figure pat00134
로부터
Figure pat00135
를 r-에 비례한 양 만큼 제거한 폐기학습된 결과임을 의미한다. [수학식 3]의 경우에도 마찬가지로 해석이 가능하다. 이를 통하여 모델로부터 물체가 아닌 정보를 제거하는 동시에 지속적으로 물체의 변화를 학습하는 것이 가능하다. 따라서 본 발명에 따른 알고리즘은 드리프팅 문제에 강인한 성능을 갖게 된다.
다음으로 이중 모델링의 배경 모델 업데이트에 대해서 구체적으로 살펴본다. 일반적으로 물체를 추적할 때에는 고정 배경이 아닌 움직이는 배경하에서 물체 추적이 이루어진다. 따라서 배경 모델을 사용하기 위해서는 먼저 배경 움직임을 보상하는 것이 필수적이다.
이를 위하여 본 발명에서는 종래의 특징(feature) 기반 움직임 보상법을 사용한다. 먼저 입력 이미지
Figure pat00136
를 32×24의 균등 구역으로 나눈 후, 각 구역의 귀퉁이 점마다
Figure pat00137
로의 KLT [C. Tomasi and T. Kanade, "Detection and tracking of point features," Technical report, Carnegie Mellon University, Apr. 1991 참조]를 수행한다.
이어서, 이들 점 추적 결과를 바탕으로 RANSAC [M. A. Fischler and R. C. Bolles, "Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography," Commun. ACM, 1981 참조]을 수행하여
Figure pat00138
로부터
Figure pat00139
의 호모그래피 변환행렬
Figure pat00140
를 구한다. 이후 호모그래피 변환행렬
Figure pat00141
를 이용하여
Figure pat00142
,
Figure pat00143
,
Figure pat00144
를 현재 관측 값에 대응되도록
Figure pat00145
,
Figure pat00146
,
Figure pat00147
로 변환한다.
이들 변환된 모델
Figure pat00148
,
Figure pat00149
,
Figure pat00150
를 바탕으로 전경 모델과 유사한 방법을 사용하여 하기의 [수학식 6] 내지 [수학식 7]을 통해
Figure pat00151
,
Figure pat00152
,
Figure pat00153
를 구한다. 다만 배경 모델의 경우 전경 모델과는 반대로 전경 모델에서 학습이 수행된 부분에 폐기학습이 수행되어야 한다. 따라서 배경 모델의 경우 j ∈
Figure pat00154
일 경우
Figure pat00155
, j ∈
Figure pat00156
일 경우
Figure pat00157
를 사용한다.
Figure pat00158
여기서,
Figure pat00159
및
Figure pat00160
는 하기의 [수학식 7]에 의해 연산된다.
Figure pat00161
실제 구현 상에서는 전체 배경 모델에 대하여 학습을 적용한 후 추적 결과를 이용하여 폐기학습이 필요한 부분에
Figure pat00162
의 양 만큼 폐기학습을 적용한다. 이러한 업데이트 과정을 통하여 추적 대상이 또한 배경에 학습되는 것을 방지하는 것이 가능하다.
다음으로, 랜덤 샘플링 및 평균이동을 활용한 추적에 대해서 구체적으로 살펴보도록 한다. 물체 추적 문제는 시간 t에 대해 물체가 위치한 영역에 대한 추정치
Figure pat00163
을 찾는 과정이며 하기의 [수학식 8]로 표기할 수 있다.
Figure pat00164
이는 다시 말해 전경 모델에 어떠한 변화를 주지 않아도 가장 큰
Figure pat00165
값을 갖는
Figure pat00166
을 찾는 것이다. 이를 위하여 R을 고정시킨 후 평균이동 벡터
Figure pat00167
를 구하고, 다시 이 벡터를 활용하여
Figure pat00168
을 업데이트시킨다.
평균이동 벡터를 구하는 방법은 종래 제안된 기술(A. P. Leung and S. Gong, "Mean shift tracking with random sampling," In Proc. BMVC 2005 참조)에서와 유사하게 이루어진다. 하지만 본 발명의 경우 기존의 픽셀을 샘플링하던 방식이 아닌 각 랜덤 변환을 샘플링한다.
시간 t에서의 k번째 반복 실행에서의 후보 영역을
Figure pat00169
, 시간 t에서의 추적 결과를
Figure pat00170
라 할 경우,
Figure pat00171
로 시작한다. 이후 매 반복실행 마다 M개의 샘플을 이용할 경우 첫 M/2개는 다음의 [수학식 9]와 같이 선택된다.
Figure pat00172
여기서 N(0,σ2)은 0을 평균으로 σ2을 분산으로 하는 가우시안 분포이며, i는 샘플 인덱스이다. 이들 샘플을 평균이동에 효과적으로 사용하기 위하여 나머지 M/2개의 경우
Figure pat00173
로 대칭이 되도록 한다. 이후 각
Figure pat00174
에 대하여 [수학식 1]을 이용하여
Figure pat00175
를 계산하고, 다음의 [수학식 10]에 의해 평균이동 벡터
Figure pat00176
를 계산한다.
Figure pat00177
여기서 l은 벡터의 원소를 의미한다. [수학식 10]의 평균이동 벡터를 활용하여 다음의 [수학식 11]에 따라 후보 영역을 업데이트한다.
Figure pat00178
이러한 반복 실행은 수렴이 이루어질 때까지 진행되나 실험적으로 살펴본 결과 미리 설정된 횟수, 예컨대 10번 수행하는 것으로 고정하여 실행하더라도 결과에는 큰 차이가 없다.
본 발명의 작용효과에 대한 비교 평가를 위하여 본 발명의 방법을 C++로 구현하였다. 구현시 KLT의 경우 openCV 라이브러리를 활용하였다. 모델의 최대 에이지는 30으로 제한하여 모델이 최소 0.03의 학습률을 갖도록 하였다. Th의 경우 5로 설정하였으며 r+ = 1, r- = -0.05이다. 샘플링 σ의 경우 x, y축 방향으로 모델 크기의 10%로 설정하였다(단, FaceOcc의 경우 5%로 하였다). 본 발명의 이중 모델링과 학습 및 폐기학습을 통한 물체 추적 방법에 따른 알고리즘은 초당 10프레임 이상의 성능을 보였다.
본 발명의 추적 성능을 평가하기 위하여 여섯 개의 다른 방법과 비교 실험을 수행하였다. FRAG(Adam 논문 참조)과 L1(Mei 논문 참조)의 방법들은 주로 가려짐과 관련된 방법들이며, SEMI(Stalder 논문)와 OAB(Grabner 논문)의 경우 배경 간섭과 드리프팅 문제를 동시에 다루며, MIL(Babenko 논문)과 TLD(Kalal 논문)의 경우 드리프팅에 주안점을 둔 최신 방법들이다.
실험은 아홉 개의 영상에 대해 수행되었는데 이중 일곱 개는 가려짐, 배경 간섭, 대상의 모양 변화를 포함하고 나머지 둘은 일곱 개 중 두 영상을 앞뒤로 반복함으로써 생성된 긴 영상이다. Caviar 영상은 C. project page. Caviar test case scenarios. http://homepages.inf.ed.ac.uk/rbf/CAVIARDATA1/, visited on 9/15/2010.에서 사용된 영상이며, FaceOcc와 Woman은 Adam 논문에서 사용되었다. Sylvester와 Tiger의 경우 Babenko 논문에서 사용되었으며 CupOcc와 Cheetah의 경우 자체 제작되었다. 본 비교 실험에서는 각 논문의 저자들이 제공한 프로그램 코드를 사용하였다.
여기서, 양적 분석을 위하여 추적 결과 상자의 네 귀퉁이 점의 평균 오류를 사용하였다. 실제 추적 결과로는 사람이 직접 표기한 지점을 사용하였다. 평균 오류를 계산할 때 추적 방법이 결과를 반환하지 않은 경우(즉 추적 실패를 인식한 경우)는 제외하였다. 또한 평균 오류 외에 올바르게 추적한 프레임 수를 고려하였다. 올바르게 추적된 프레임의 경우 평균 오류가 사람이 설정한 물체의 현재 넓이 및 높이 중 작은 값보다 작을 경우를 올바르게 추적되었다고 생각하였다. [도 4]의 표는 각 알고리즘의 수치적인 실험 결과(평균오류, 추적성공 %)를 나타내며, 올바르게 추적된 프레임 비율을 기준으로 가장 좋은 결과는 진한 글씨와 밑줄로, 두 번째 좋은 결과는 진한 글씨로 표기하였다.
Caviar, FaceOcc, Woman, CupOcc 영상은 가려짐에 대한 성능 평가를 위한 영상이다. [도 4]에 도시된 바와 같이 본 발명의 방법은 모든 비교된 방법에 비해 우수한 성능을 보인다. 주의할 점은 Woman 영상의 경우 Adam 논문에서 FRAG가 매우 우수한 성능을 보인다고 보고되었으나 영상의 일부분이 아닌 전체를 사용할 경우에는 성능이 낮음을 확인할 수 있었다. 또한 CupOcc영상의 경우 물체가 처음부터 가려진 영상으로 다른 알고리즘은 실패하는 반면 본 발명의 방법은 성공하는 것을 확인할 수 있다. Cheetah 영상의 경우 물체가 배경으로부터 크게 눈에 띄지 않는 경우인데 이 경우 L1, OAB, MIL과 본 발명의 DM을 제외한 모든 방법이 실패하는 것을 볼 수 있다.
드리프팅에 대한 성능 평가를 위해 Sylvester, Tiger, Sylv_rep, Tiger_rep 영상을 사용하였다. Sylvester와 Tiger 영상은 다양한 변화를 보이는 영상으로 이 두 영상을 앞뒤로 반복하여 늘임으로써 긴 시간 동안 드리프팅이 일어나게끔 한 것으로, 본 발명의 방법을 반복 실행한 결과와 기존 결과를 비교함으로써 드리프팅 효과를 확인할 수 있다. 실험 결과 본 발명의 방법에서는 별달리 드리프팅이 일어나지 않음을 확인할 수 있었다. SEMI와 FRAG의 경우 드리프팅이 크게 일어나지는 않지만 전체적으로 추적 성능이 떨어지는 것을 확인할 수 있었다. OAB와 MIL의 경우 Sylvester영상은 잘 되지만 Tiger의 경우 큰 드리프트를 보이는 것을 확인할 수 있었다. TLD는 Tiger의 경우 성능 향상이 보이지만 이를 실제 실험 결과를 확인할 경우 추적 결과로 사용하기는 힘든 결과를 보이며 수치적으로도 성능이 향상된 후에도 부족함을 볼 수 있었다. 마지막으로 L1의 경우 드리프팅에 의해 심하게 성능이 저하됨을 확인할 수 있었다.
한편, [도 5]는 본 발명의 작용효과를 설명하기 위한 실험 영상 및 알고리즘별 주요 추적 결과 프레임을 도시한 참조도면이다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현하는 것이 가능하다. 이때, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 캐리어웨이브(예: 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산된 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인 프로그램, 코드, 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예가 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명하다.

Claims (11)

  1. 각각 개별적인 두 개의 단일 가우시안 모델을 사용하여 전경 모델과 배경 모델을 설정하는 제 1 단계;
    입력 영상에서 특징 기반으로 배경 움직임을 보상함으로써 상기 배경 모델을 업데이트하는 제 2 단계;
    상기 전경 모델에 변화를 인가한 후 상기 배경 모델과 결합하여 현재의 관측 값과 가장 유사하도록 재구성하고, 상기 재구성할 때의 오류에 반비례 하는 우도 값 연산을 통해 상기 전경 모델과 상기 배경 모델로부터 우도를 계산하는 제 3 단계;
    랜덤 샘플링을 활용한 평균이동 처리를 반복 실행하여 상기 우도를 최대화함으로써 추적대상 물체에 대한 추적 결과를 획득하는 제 4 단계;
    상기 우도 계산에 전경 모델이 반영되었는지 배경 모델이 반영되었는지에 따라 학습 및 폐기학습을 선택적으로 적용하여 상기 전경 모델을 업데이트하는 제 5 단계;
    를 포함하여 구성되는 이중 모델링과 학습 및 폐기학습을 통한 물체 추적 방법.
  2. 청구항 1에 있어서,
    상기 제 3 단계에서 상기 배경 모델과 상기 전경 모델은 각각 하나의 평균적인 RGB 색으로 표현된 이미지 및 추가적으로 각 모델 이미지에서의 픽셀 별로 얼마나 많은 정보가 관측되었는지 기억하기 위한 에이지 이미지를 활용하여 상기 우도 값을 연산하는 것을 특징으로 하는 이중 모델링과 학습 및 폐기학습을 통한 물체 추적 방법.
  3. 청구항 1에 있어서,
    상기 제 3 단계는 상기 전경 모델에 적용되는 변환을 나타내는 벡터를 변환(
    Figure pat00179
    )로 설정하고, 상기 변환(
    Figure pat00180
    )를 사용한 이미지(
    Figure pat00181
    )에 대한 호모그래피 변환을
    Figure pat00182
    라고 설정하는 경우, 상기 변환(
    Figure pat00183
    )을 적용시킨 상기 전경 모델을 수학식
    Figure pat00184
    및
    Figure pat00185

    을 통하여 구성하고, 상기 전경 모델에 대응되는 배경 모델인
    Figure pat00186
    와
    Figure pat00187
    를
    Figure pat00188
    와
    Figure pat00189
    에서 추적 후보 영역(
    Figure pat00190
    )을 잘라내어 상기
    Figure pat00191
    및 상기
    Figure pat00192
    와 동일한 크기로 확대/축소함으로써 연산하는 것을 특징으로 하는 이중 모델링과 학습 및 폐기학습을 통한 물체 추적 방법.
  4. 청구항 3에 있어서,
    상기 제 3 단계는 입력 이미지(
    Figure pat00193
    )에서 상기 추적 후보 영역(
    Figure pat00194
    )을 잘라내어 확대/축소하여
    Figure pat00195
    를 구하는 경우, 상기 추적 후보 영역(
    Figure pat00196
    )에서 상기 변환(
    Figure pat00197
    )에 대한 우도
    Figure pat00198
    는 픽셀 인텍스 j에 대해
    Figure pat00199

    에 의해 연산하고, 상기
    Figure pat00200
    및 상기
    Figure pat00201
    각각은,
    Figure pat00202

    에 의해 연산하는 것을 특징으로 하는 이중 모델링과 학습 및 폐기학습을 통한 물체 추적 방법.
  5. 청구항 4에 있어서,
    상기 제 5 단계는 상기
    Figure pat00203
    와 상기 중 어떠한 모델이 상기 우도 계산에 활용되었는지에 따라 상기 전경 모델의 업데이트에서 학습을 적용할 것인지 폐기학습을 적용할 것인지를 결정하는 것을 특징으로 하는 이중 모델링과 학습 및 폐기학습을 통한 물체 추적 방법.
  6. 청구항 5에 있어서,
    상기 제 5 단계는 상기 전경 모델을 업데이트할 때
    Figure pat00205

    에 의해 업데이트를 수행하고,
    Figure pat00206
    및
    Figure pat00207
    는 시간 t일 때 픽셀 j에 대한 전경 모델이며,
    Figure pat00208
    는 시간 t일 때 픽셀 j에 대한 확대/축소된 관측 값이며,
    Figure pat00209
    는 시간 t까지 관측된 프레임 수로 설정되는 것을 특징으로 하는 이중 모델링과 학습 및 폐기학습을 통한 물체 추적 방법.
  7. 청구항 6에 있어서,
    상기 제 5 단계에서
    Figure pat00210
    는 픽셀의 에이지로부터 구할 수 있으며, 픽셀 j의 시간 t일 때의 에이지를
    Figure pat00211
    라 하면
    Figure pat00212
    는
    Figure pat00213

    에 의해 연산하고, 상기
    Figure pat00214
    는 업데이트 파라미터로 [-1, 1] 범위 안에 속하는 값으로서 상기 학습과 폐기학습을 조율하는 것을 특징으로 하는 이중 모델링과 학습 및 폐기학습을 통한 물체 추적 방법.
  8. 청구항 7에 있어서,
    상기 제 5 단계에서 상기 전경 모델이 사용된 픽셀들을
    Figure pat00215
    , 상기 배경 모델이 사용된 픽셀들을
    Figure pat00216
    라 할 경우, j ∈
    Figure pat00217
    의 경우
    Figure pat00218
    (학습 - learning)을 사용하고, j ∈
    Figure pat00219
    의 경우
    Figure pat00220
    (폐기학습 - unlearning)을 사용하는 것을 특징으로 하는 이중 모델링과 학습 및 폐기학습을 통한 물체 추적 방법.
  9. 청구항 8에 있어서,
    상기 제 5 단계에서 상기
    Figure pat00221
    을 사용하는 경우 상기
    Figure pat00222
    가 [1 , ∞] 범위 안에 속하고,
    Figure pat00223
    로 정의할 경우 상기
    Figure pat00224
    는 다시 [0, 1] 범위 안에 속하며,
    Figure pat00225

    로 정의되는 것을 특징으로 하는 이중 모델링과 학습 및 폐기학습을 통한 물체 추적 방법.
  10. 청구항 6에 있어서,
    상기 제 2 단계는 상기 배경 모델을 업데이트할 때
    Figure pat00226

    에 의하며, 상기
    Figure pat00227
    및
    Figure pat00228
    는
    Figure pat00229

    에 의해 연산하며, 상기 배경 모델의 경우 j ∈
    Figure pat00230
    이면
    Figure pat00231
    을 사용하고, j ∈
    Figure pat00232
    이면
    Figure pat00233
    를 사용하는 것을 특징으로 하는 이중 모델링과 학습 및 폐기학습을 통한 물체 추적 방법.
  11. 청구항 1 내지 청구항 10 중 어느 하나의 항에 따른 이중 모델링과 학습 및 폐기학습을 통한 물체 추적 방법을 실행하는 물체추적 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.
KR1020130040141A 2013-04-11 2013-04-11 이중 모델링과 학습 및 폐기학습을 통한 영상 내의 물체 추적 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체 KR101460517B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130040141A KR101460517B1 (ko) 2013-04-11 2013-04-11 이중 모델링과 학습 및 폐기학습을 통한 영상 내의 물체 추적 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130040141A KR101460517B1 (ko) 2013-04-11 2013-04-11 이중 모델링과 학습 및 폐기학습을 통한 영상 내의 물체 추적 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체

Publications (2)

Publication Number Publication Date
KR20140122981A true KR20140122981A (ko) 2014-10-21
KR101460517B1 KR101460517B1 (ko) 2014-11-12

Family

ID=51993881

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130040141A KR101460517B1 (ko) 2013-04-11 2013-04-11 이중 모델링과 학습 및 폐기학습을 통한 영상 내의 물체 추적 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체

Country Status (1)

Country Link
KR (1) KR101460517B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654508A (zh) * 2015-12-24 2016-06-08 武汉大学 基于自适应背景分割的监控视频移动目标跟踪方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7885463B2 (en) 2006-03-30 2011-02-08 Microsoft Corp. Image segmentation using spatial-color Gaussian mixture models
JP4208898B2 (ja) 2006-06-09 2009-01-14 株式会社ソニー・コンピュータエンタテインメント 対象物追跡装置および対象物追跡方法
US8467570B2 (en) 2006-06-14 2013-06-18 Honeywell International Inc. Tracking system with fused motion and object detection
TWI348659B (en) 2007-10-29 2011-09-11 Ind Tech Res Inst Method and system for object detection and tracking

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654508A (zh) * 2015-12-24 2016-06-08 武汉大学 基于自适应背景分割的监控视频移动目标跟踪方法及系统

Also Published As

Publication number Publication date
KR101460517B1 (ko) 2014-11-12

Similar Documents

Publication Publication Date Title
JP7236545B2 (ja) ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム
Von Stumberg et al. Gn-net: The gauss-newton loss for multi-weather relocalization
Işık et al. SWCD: a sliding window and self-regulated learning-based background updating method for change detection in videos
CN108665487B (zh) 基于红外和可见光融合的变电站作业对象和目标定位方法
EP2548174B1 (en) Method and apparatus for trajectory estimation, and method for segmentation
Kalsotra et al. Background subtraction for moving object detection: explorations of recent developments and challenges
CN110929593B (zh) 一种基于细节辨别区别的实时显著性行人检测方法
Bešić et al. Dynamic object removal and spatio-temporal RGB-D inpainting via geometry-aware adversarial learning
CN114022759A (zh) 一种融合神经网络时空特性的空域有限像素目标检测系统及方法
US20110091074A1 (en) Moving object detection method and moving object detection apparatus
Chetverikov et al. Dynamic texture as foreground and background
Cheng et al. Advanced background subtraction approach using Laplacian distribution model
Roy et al. Foreground segmentation using adaptive 3 phase background model
Ali et al. Space–time spectral model for object detection in dynamic textured background
Liang et al. Methods of moving target detection and behavior recognition in intelligent vision monitoring.
CN114170570A (zh) 一种适用于拥挤场景下的行人检测方法及系统
Abdullah et al. Objects detection and tracking using fast principle component purist and kalman filter.
Zhu et al. Tracking multiple objects through occlusion with online sampling and position estimation
Roy et al. A comprehensive survey on computer vision based approaches for moving object detection
Liu et al. Scene background estimation based on temporal median filter with Gaussian filtering
CN114049531A (zh) 一种基于弱监督人体协同分割的行人再识别方法
KR101460517B1 (ko) 이중 모델링과 학습 및 폐기학습을 통한 영상 내의 물체 추적 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
CN109951705B (zh) 一种面向监控视频中车辆对象编码的参考帧合成方法及装置
Malavika et al. Moving object detection and velocity estimation using MATLAB
Zhou et al. Real-time detection and spatial segmentation of difference image motion changes

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171023

Year of fee payment: 4