KR102076600B1 - 오브젝트 추적 장치 및 그의 오브젝트 추적 방법 - Google Patents

오브젝트 추적 장치 및 그의 오브젝트 추적 방법 Download PDF

Info

Publication number
KR102076600B1
KR102076600B1 KR1020140058319A KR20140058319A KR102076600B1 KR 102076600 B1 KR102076600 B1 KR 102076600B1 KR 1020140058319 A KR1020140058319 A KR 1020140058319A KR 20140058319 A KR20140058319 A KR 20140058319A KR 102076600 B1 KR102076600 B1 KR 102076600B1
Authority
KR
South Korea
Prior art keywords
frame
tracking
frame set
probability map
completed
Prior art date
Application number
KR1020140058319A
Other languages
English (en)
Other versions
KR20150131537A (ko
Inventor
임태규
한보형
심우성
곽수하
홍승훈
Original Assignee
삼성전자주식회사
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 포항공과대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020140058319A priority Critical patent/KR102076600B1/ko
Priority to US14/559,098 priority patent/US9672423B2/en
Publication of KR20150131537A publication Critical patent/KR20150131537A/ko
Application granted granted Critical
Publication of KR102076600B1 publication Critical patent/KR102076600B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G06V10/85—Markov-related models; Markov random fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

오브젝트 추적 장치의 오브젝트 추적 방법이 개시된다. 본 오브젝트 추적 방법은 영상을 구성하는 복수의 프레임들 중 추적 대상에 대한 추적이 완료된 프레임 집합과 추적이 완료되지 않은 프레임 집합 간에 확률 전파를 수행하여 추적이 완료되지 않은 프레임 집합에 포함된 프레임 각각에서 추적 대상에 대한 확률맵을 산출하는 단계, 산출된 확률맵에 기초하여 추적이 완료되지 않은 프레임 집합에서 하나의 프레임을 선택하는 단계 및, 선택된 프레임에서 추적 대상의 위치를 결정하는 단계를 포함한다.

Description

오브젝트 추적 장치 및 그의 오브젝트 추적 방법 { OBJECT TRACKING APPARATUS AND OBJECT TRACKING METHOD THEREOF }
본 발명은 오브젝트 추적 장치 및 그의 오브젝트 추적 방법에 관한 것으로, 더욱 상세하게는 프레임에서 추적하고자 하는 추적 대상의 위치를 추적하는 오브젝트 추적 장치 및 그의 오브젝트 추적 방법에 관한 것이다.
최근 추적 기술의 발전으로, 동영상에 존재하는 오브젝트를 추적하는 다양한 방법이 제안되고 있다.
종래 추적 방법의 일 예로, 동영상을 구성하는 복수의 프레임에서 오브젝트를 추적할 때, 시간적으로 연속된 프레임에서 순차적으로 오브젝트를 추적하는 방법이 존재하였다.
이러한 방식은 이전 프레임에서의 오브젝트 추적 결과를 기초로 다음 프레임에서 오브젝트를 추적한다는 점에서, 추적하고자 하는 오브젝트가 다른 오브젝트에 의해 가려지는 경우 등과 같은 이유로 이전 프레임에서 오브젝트가 부정확하게 추적되는 경우 그 결과가 다음 프레임에 영향을 미치게 되므로, 오브젝트를 정확하게 추정할 수 없는 문제가 있다.
이에 따라, 영상에서 보다 정확하게 오브젝트를 추적하기 위한 방안의 모색이 요청된다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 프레임의 시간순서와 무관하게 전체 프레임 중에서 추적 대상의 위치가 가장 확실한 프레임부터 추적이 어려운 프레임 순으로 대상을 추적하는 오브젝트 추적 장치 및 그의 오브젝트 추적 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 오브젝트 추적 장치의 오브젝트 추적 방법은 영상을 구성하는 복수의 프레임들 중 추적 대상에 대한 추적이 완료된 프레임 집합과 추적이 완료되지 않은 프레임 집합 간에 확률 전파를 수행하여 상기 추적이 완료되지 않은 프레임 집합에 포함된 프레임 각각에서 상기 추적 대상에 대한 확률맵을 산출하는 단계, 상기 산출된 확률맵에 기초하여 상기 추적이 완료되지 않은 프레임 집합에서 하나의 프레임을 선택하는 단계 및, 상기 선택된 프레임에서 상기 추적 대상의 위치를 결정하는 단계를 포함한다.
여기에서, 본 실시 예에 따른 오브젝트 추적 방법은 상기 선택된 프레임을 상기 추적이 완료된 프레임 집합에 추가하여 상기 추적이 완료된 프레임 집합을 업데이트하는 단계, 상기 선택된 프레임을 상기 추적이 완료되지 않은 프레임 집합에서 제거하여 상기 추적이 완료되지 않은 프레임 집합을 업데이트하는 단계 및, 상기 업데이트된 추적이 완료된 프레임 집합과 상기 업데이트된 추적이 완료되지 않은 프레임 집합 간에 패치 매칭을 수행하여 상기 업데이트된 추적이 완료되지 않은 프레임 집합에 포함된 프레임 각각에서 상기 추적 대상에 대한 확률맵을 산출하는 단계를 더 포함할 수 있다.
또한, 본 실시 예에 따른 오브젝트 추적 방법은 상기 산출된 확률맵에 기초하여 상기 업데이트된 추적이 완료되지 않은 프레임 집합에서 하나의 프레임을 선택하고, 상기 업데이트된 추적이 완료되지 않은 프레임 집합에서 선택된 프레임에서 상기 추적 대상의 위치를 결정하는 단계를 더 포함할 수 있다.
그리고, 상기 선택하는 단계는, 상기 산출된 확률맵에 대한 신뢰도에 기초하여 상기 추적이 완료되지 않은 프레임 집합에서 하나의 프레임을 선택할 수 있다.
또한, 상기 추적 대상의 위치를 결정하는 단계는, 상기 산출된 확률맵에서 최대 확률을 갖는 지점을 판단하고, 판단된 지점을 상기 선택된 프레임에서 상기 추적 대상의 위치로 결정할 수 있다.
한편, 본 발명의 일 실시 예에 따른 오브젝트 추적 장치는 영상을 구성하는 복수의 프레임들 중 추적 대상에 대한 추적이 완료된 프레임 집합과 추적이 완료되지 않은 프레임 집합 간에 확률 전파를 수행하여 상기 추적이 완료되지 않은 프레임 집합에 포함된 프레임 각각에서 상기 추적 대상에 대한 확률맵을 산출하는 확률맵 산출부, 상기 산출된 확률맵에 기초하여 상기 추적이 완료되지 않은 프레임 집합에서 하나의 프레임을 선택하는 프레임 선택부 및, 상기 선택된 프레임에서 상기 추적 대상의 위치를 결정하는 위치 결정부를 포함한다.
여기에서, 상기 프레임 선택부는 상기 선택된 프레임을 상기 추적이 완료된 프레임 집합에 추가하여 상기 추적이 완료된 프레임 집합을 업데이트하고, 상기 선택된 프레임을 상기 추적이 완료되지 않은 프레임 집합에서 제거하여 상기 추적이 완료되지 않은 프레임 집합을 업데이트하며, 상기 확률맵 산출부는 상기 업데이트된 추적이 완료된 프레임 집합과 상기 업데이트된 추적이 완료되지 않은 프레임 집합 간에 패치 매칭을 수행하여 상기 업데이트된 추적이 완료되지 않은 프레임 집합에 포함된 프레임 각각에서 상기 추적 대상에 대한 확률맵을 산출할 수 있다.
또한, 상기 프레임 선택부는 상기 산출된 확률맵에 기초하여 상기 업데이트된 추적이 완료되지 않은 프레임 집합에서 하나의 프레임을 선택하고, 상기 위치 결정부는 상기 업데이트된 추적이 완료되지 않은 프레임 집합에서 선택된 프레임에서 상기 추적 대상의 위치를 결정하는 단계를 더 포함할 수 있다.
그리고, 상기 프레임 선택부는 상기 산출된 확률맵에 대한 신뢰도에 기초하여 상기 추적이 완료되지 않은 프레임 집합에서 하나의 프레임을 선택할 수 있다.
또한, 상기 위치 결정부는 상기 산출된 확률맵에서 최대 확률을 갖는 지점을 판단하고, 판단된 지점을 상기 선택된 프레임에서 상기 추적 대상의 위치로 결정할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면 사용자가 추적하고자 하는 대상을 보다 정확하게 추적할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 오브젝트 추적 장치의 구성을 설명하기 위한 블록도,
도 2는 본 발명의 일 실시 예에 따른 오브젝트 추적 방법의 흐름을 설명하기 위한 도면,
도 3은 본 발명의 일 실시 예에 따라 사용자가 추적하고자 하는 대상을 설정하는 방법을 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 따라 확률맵을 산출하는 방법을 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 따라 추적되지 않은 프레임 집합에서 프레임을 선택하고, 선택된 프레임에서 추적 대상의 위치를 결정하는 방법을 설명하기 위한 도면,
도 6은 본 발명의 일 실시 예에 따른 오브젝트 추적 방법에서 추적되는 프레임의 순서를 설명하기 위한 도면, 그리고
도 7은 본 발명의 일 실시 예에 따른 오브젝트 추적 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 오브젝트 추적 장치의 구성을 설명하기 위한 블록도이다. 도 1을 참조하면, 오브젝트 추적 장치(100)는 확률맵 산출부(110), 프레임 선택부(120) 및 위치 결정부(130)를 포함한다.
먼저, 도 1에 도시된 각 구성요소의 설명하기 전에, 본 발명에서 복수의 프레임에서 추적하고자 하는 추적 대상의 위치를 결정하기 위해 사용하는 알고리즘에 대해 개략적으로 설명하도록 한다.
본 발명에서는 N 개의 프레임으로 구성되는 영상의 각 프레임에서 추적 대상을 추적할 때, 전체 N 개의 프레임 중에서 추적 대상의 위치가 가장 확실한 프레임부터 추적이 어려운 프레임 순으로 추적 대상의 위치를 결정하게 된다. 이하에서는 보다 구체적인 설명을 위해 도 2를 참조하도록 한다.
전체 프레임의 인덱스 집합을 F={1,2,...,N}라 할 때, k 번째 추적 단계에서 F는 F=Tk∪Rk와 같이 나타낼 수 있다. 여기에서, Tk는 추적이 완료된 프레임의 인덱스 집합으로 Tk={t1,...,tk}와 같이 나타낼 수 있고, Rk는 남아 있는 프레임의 인덱스 집합 즉, 추적이 완료되지 않은(또는, 추적이 아직 수행되지 않은) 프레임의 인덱스 집합으로 Rk=F＼Tk={r1,...,rN -k}와 같이 나타낼 수 있다.
이와 같은 경우, k+1 번째 추적 단계는 하기와 같은 방법으로 수행될 수 있다.
1) 추적이 완료된 프레임들의 확률맵 P(xt), ∀t∈Tk으로부터 남아 있는 프레임들에 대한 확률맵 P(xi), ∀i∈Rk을 산출한다(S210).
2) 각각의 확률맵 P(xi), ∀i∈Rk 자체가 갖는 불확실성을 판단하고, 최소 불확실성의 확률맵을 갖는 프레임을 프레임 인덱스 tk +1로 설정한다(S220).
3) 추적이 완료된 프레임 집합과 남아 있는 프레임 집합을 각각 Tk +1=Tk∪{tk +1}와 Rk +1=Rk＼{tk +1}로 업데이트하고, 프레임 인덱스가 tk +1인 프레임의 확률맵에 기초하여 해당 프레임에서 추적하고자 하는 추적 대상의 위치를 결정한다(S230).
4) TN=F 및 RN=φ가 될 까지 상술한 과정을 반복한다(S240).
예를 들어, k+2 번째 추적 단계의 경우, 업데이트된 추적이 완료된 프레임 집합에 포함된 프레임 각각의 확률맵을 이용하여 남아 있는 프레임에 대한 확률맵 P(xi), ∀i∈Rk +1을 산출하고, 산출된 확률맵 각각의 신뢰성에 기초하여 최소 불확실성의 확률맵을 갖는 프레임을 프레임 인덱스 tk +2로 설정한다.
그리고, 추적이 완료된 프레임 집합과 남아 있는 프레임 집합을 각각 Tk +2=Tk∪{tk +2}와 Rk +2=Rk＼{tk +2}로 업데이트하고, 프레임 인덱스가 tk +2인 프레임의 확률맵에 기초하여 해당 프레임에서 추적하고자 하는 추적 대상의 위치를 결정한다.
결국, 상술한 과정을 TN=F 및 RN=φ가 될 까지 반복하여, 모든 프레임에서 추적하고자 하는 대상의 위치를 결정한다.
이하에서는 도 1을 참조하여 상술한 방법에 따라 대상을 추적하기 위해 오브젝트 추적 장치(100)의 각 구성요소에서 수행되는 동작에 대해 구체적으로 살펴보도록 한다.
한편, 본 발명에서 추적에 이용되는 영상은 오브젝트 추적 장치(100)에 기저장되어 있을 수 있으며, 이를 위해, 오브젝트 추적 장치(100)는 메모리(미도시)와 같은 저장매체를 구비할 수 있다.
확률맵 산출부(110)는 영상을 구성하는 복수의 프레임들 중 추적 대상에 대한 추적이 완료된 프레임 집합과 추적이 완료되지 않은 프레임 집합 간에 확률 전파(Probability Propagation)를 수행하여 추적이 완료되지 않은 프레임 집합에 포함된 프레임 각각에서 추적 대상에 대한 확률맵을 산출한다.
여기에서, 추적이 완료된 프레임 집합은 추적하고자 하는 추적 대상의 위치가 결정된 프레임으로 구성되며, 해당 프레임 집합에서 최초로 추적이 완료된 프레임은 사용자 명령에 의해 추적 대상이 설정된 프레임이 될 수 있다.
이를 위해, 오브젝트 추적 장치(100)는 영상을 구성하는 복수의 프레임들을 디스플레이하기 위한 디스플레이(미도시)와 프레임에서 추적 대상을 설정하는 사용자 명령을 입력받는 입력 수단(미도시)으로 구현될 수 있다.
예를 들어, 도 3에 도시된 바와 같이, 디스플레이(310)는 영상을 구성하는 복수의 프레임들 중 사용자에 의해 선택된 하나의 프레임(311) 및 프레임 상에서 특정 영역을 선택하기 위한 커서(312)를 디스플레이할 수 있다. 여기에서, 커서(312)의 이동 및 특정 영역의 선택은 마우스(320)에 의해 제어될 수 있다.
이에 따라, 사용자는 마우스(320)를 이용하여 프레임 상에서 특정 영역을 선택하여, 프레임 상에서 추적하고자 하는 추적 대상(330)을 설정할 수 있게 된다.
이와 같이, 사용자 명령에 의해 추적 대상이 설정되면 해당 프레임 내에서 추적 대상의 위치가 결정될 수 있다는 점에서, 사용자 명령에 의해 추적 대상이 설정된 프레임은 최초로 추적이 완료된 프레임이 될 수 있다. 이 경우, 확률맵 산출부(110)는 해당 프레임을 이용하여 나머지 프레임에서 추적 대상에 대한 확률맵을 산출할 수 있다.
이하에서는 확률맵 산출부(110)가 확률 전파를 통해 나머지 프레임 각각에서 추적 대상에 대한 확률맵을 산출하는 과정을 보다 구체적으로 살펴보도록 한다. 다만 이하에서는 최초 프레임을 기초로 k-1 개의 프레임에 대해 추적이 완료되고, k 번째 추적 단계에서 k 번째로 추적이 완료될 프레임(이하, k 번째 프레임(또는, 프레임 tk))에서 추적 대상에 대한 확률맵을 결정하는 것으로 가정하도록 한다.
한편, 본 발명에서는 프레임의 시간 순이 아닌 추적이 용이한 프레임 순으로 대상을 추적한다는 점에서, 시간적으로 인접한 프레임을 이용하여 대상을 추적하는 모델을 가정할 수 없다.
즉, 베이지안 프레임 워크(Bayesian framework)의 경우, 시간적으로 인접한 프레임 간에는 직접적인 연관관계가 있다고 여기고 대상을 추적하기 때문에 프레임 간의 관계를 1차 마코프 체인(first order Markov chain)으로 모델링하는 것이 일반적이다.
하지만, 본 발명의 경우, 대상에 대한 추적 시 프레임들의 시간 순서를 고려하지 않기 때문에, 대상의 위치가 알려진 시작 프레임으로부터 추적하고자 하는 프레임에 도달하기까지 많은 수의 경로(path)가 존재할 수 있다.
예를 들어, 추적이 완료된 k-1 개의 프레임이 존재하고 이러한 프레임들이 프레임 집합 Tk -1을 구성하는 경우, 시작 프레임에서부터 k 번째 프레임(즉, 대상 프레임)에 도달하기 위해서는 Tk -1에 포함된 프레임의 부분집합 S에 의해 생성된 경로를 거쳐야 한다. 즉, 가능한 모든 부분집합 S의 개수만큼의 경로가 존재한다.
이 경우, 시작 프레임으로부터 k 번째 프레임까지의 각 경로는 1차 마코프 체인에 의해 모델링될 수 있으며, ΩS(S⊆Tk)와 같은 체인 모델(chain model)로 나타낼 수 있다.
이와 같이, 본 발명에서는 시작 프레임에서 대상 프레임으로 도달하는 복수의 경로가 존재하고 각 경로는 체인 모델로 모델링된다는 점에서, 가능한 모든 모델을 고려하여 대상 프레임에 대한 확률맵을 산출하게 된다.
구체적으로, 본 발명에서는 "J.A.Hoeting, D.Madigan, A.E.Raftery and C.T.Volinsky. Bayesian model averaging: A tutorial. Statistical Science, 14(4), 1999"에 기술되어 있는 베이지안 모델 평균화(Bayesian model averaging)를 이용하여, 가능한 모든 모델에 대해 산출된 확률맵에 대한 평균값으로 대상 프레임에 대한 확률맵을 산출하게 된다.
예를 들어, k=4, T3={1,5,3}이고, 4 번째 추적 단계에서 프레임 t4에 대해 추적을 수행하는 경우를 가정한다. 이 경우, 도 4(a)와 같이 시작 프레임에서 프레임 t4에 도달할 수 있는 4 가지의 경로가 존재하게 된다. 이에 따라, 도 4(b)와 같이 4 개의 체인 모델에 대한 평균을 통해 4 번째 프레임에 대한 확률맵을 산출하게 된다.
즉, k 번째 추적 단계에서 추적을 위해 선택된 프레임의 인덱스를 tk라 할 때, 확률맵 산출부(110)는 프레임 tk을 마지막 노드로 갖는 모든 체인 모델을 산출하고, 각 체인 모델에 따라 산출된 대상 위치에 대한 확률맵의 평균값에 의해 프레임 tk에 대한 확률맵
Figure 112014045675163-pat00001
을 산출하게 된다.
이 경우, 확률맵
Figure 112014045675163-pat00002
은 수학식 1과 같이 나타내어질 수 있다. 즉, 확률맵 산출부(110)는 나머지 프레임 집합에 포함된 프레임 tk에서 추적 대상에 대한 확률맵을 수학식 1에 기초하여 산출할 수 있게 된다.
Figure 112014045675163-pat00003
여기에서, t∈Tk는 k 번째 추적 단계 전에 추적된 임의의 프레임을 나타내며,
Figure 112014045675163-pat00004
는 프레임 tk에서의 observation variable이다. 또한, 노테이션(notation)의 간단한 표기를 위해 확률맵은
Figure 112014045675163-pat00005
과 같이 기재하였다.
그리고, 가능한 모든 t를 고려함으로써, 수학식 1에서는 프레임 t에 도달하는 모든 체인 모델들에 대한 평균이 산출되어 짐을 알 수 있다.
이하에서는 수학식 1을 도출하는 방법에 대해 구체적으로 살펴보도록 한다.
먼저, t∈Tk -1을 마지막 원소로 갖는 Tk -1의 부분집합을 St라 할 때, 베이지안 모델 평균화에 의해 xt의 확률맵은 수학식 2와 같이 나타낼 수 있다.
Figure 112014045675163-pat00006
여기에서,
Figure 112014045675163-pat00007
는 St에서 프레임에 대응되는 observation variable을 나타내고,
Figure 112014045675163-pat00008
는 St에 의해 주어진 후보 체인 모델(candidate chain model)을 나타낸다. 그리고,
Figure 112014045675163-pat00009
는 St에 대응되는 대응되는 model prior을 나타낸다.
한편, 체인 모델 즉, 프레임 t을 마지막으로 거쳐 프레임 tk에 도달하는 체인 모델은 수학식 3과 같이 정의될 수 있다.
Figure 112014045675163-pat00010
여기에서,
Figure 112014045675163-pat00011
는
Figure 112014045675163-pat00012
에서 마지막 노드부터 프레임 tk까지의 경로 즉, 프레임 t부터 프레임 tk까지 연결되는 경로를 나타낸다.
그리고,
Figure 112014045675163-pat00013
는 두 경로 사이의 결합(concatenation) 연산을 나타낸다. 즉, 시작 프레임에서 프레임 tk로 도달하는 경로는 시작 프레임에서 프레임 t에 도달하는 경로에 프레임 t에서 프레임 tk으로 도달하는 경로를 연결한 것과 같다는 것을 나타낸다.
이 경우, 확률적으로
Figure 112014045675163-pat00014
와 같이 나타낼 수 있다는 점에서, 수학식 2는 수학식 4와 같이 나타낼 수 있다.
Figure 112014045675163-pat00015
한편, 각 체인 모델은 1차 마코프 체인에 의해 모델링되므로 수학식 5와 같은 베이즈 정의(Bayes' theorem)를 사용하면, 수학식 4는 수학식 6과 같이 나타낼 수 있다,
Figure 112014045675163-pat00016
Figure 112014045675163-pat00017
한편, 수학식 6에서
Figure 112014045675163-pat00018
는 수학식 2와 동일하다는 점에서, 결국,
Figure 112014045675163-pat00019
은 수학식 7과 같이 나타낼 수 있다.
Figure 112014045675163-pat00020
이에 따라, k 번째 추적 단계에서 추적되는 프레임에 대한 확률맵이 정의될 수 있다.
한편, 수학식 1을 참조하면, 수학식 1은 종래의 순차적 베이지안 필터링(sequential Bayesian filtering)(가령, 파티클 필터(particle filter))와 유사한 형태를 가진다는 것을 알 수 있다.
특히, 수학식 1에서 합(summation) 연산 내의 수식은 순차적 베이지안 필터링에서 확률 전파 모델에 해당한다. 즉, 수학식 1에서 상기 수식은 t∈Tk - 1를 만족하는 프레임 t에서 프레임 tk으로의 확률 전파(즉, density propagation)을 의미하며, 이는 추적이 완료된 프레임 t에서 아직 추적이 완료되지 않은 프레임 tk으로 확률맵을 전파하는 것에 해당한다.
이에 따라, 확률맵 산출부(110)는 수학식 1에 기초하여 추적이 완료된 k-1 개의 프레임으로부터 추적이 완료되지 않은 프레임 tk으로 확률을 전파하여, 추적이 완료되지 않은 프레임 tk에서 추적 대상에 대한 확률맵을 산출할 수 있게 된다.
이와 같이, 확률맵 산출부(110)는 추적이 완료된 프레임과 추적이 완료되지 않은 프레임 간의 확률 전파를 수행하여, 추적이 완료되지 않은 프레임 각각에서 추적 대상에 대한 확률맵을 산출할 수 있게 된다.
이하에서는 산출된 확률맵에 기초하여 확률이 전파된 프레임 중 어떠한 프레임을 선택하여 추적이 완료된 프레임 집합에 추가할 것인지에 대해 구체적으로 살펴보도록 한다.
상술한 바와 같이, 본 발명에서는 추적이 완료된 프레임으로부터 추적이 완료되지 않은 프레임으로 추적 대상에 대한 확률을 전파하여 추적이 완료되지 않은 프레임에 대한 확률맵을 산출하고, 산출된 확률맵에 기초하여 추적이 완료되지 않은 프레임 중에서 하나를 선택하여 추적이 완료된 프레임 집합에 추가한다.
이에 따라, 추적이 완료된 프레임 집합에 추가하기 위해 확률맵이 산출된 프레임들 중에서 특정한 프레임을 선택하여야 한다.
이 경우, 추적이 완료된 프레임 집합에 추가하게 되면, 추가된 프레임에 대한 확률맵은 더 이상 변경되지 않으며, 추적이 완료된 프레임 집합에 속하는 프레임들은 남아 있는 프레임들에 대한 확률맵을 산출하는데 이용된다는 점에서, 부정확한 확률맵을 가진 프레임이 추적이 완료된 프레임 집합에 추가되면 다른 프레임들의 확률맵을 산출하는데 부정적인 영향을 미칠 수 있게 된다.
따라서, 추적이 완료된 프레임 집합에 어떠한 프레임을 추가할 것인지는 중요한 과정이 될 수 있다.
프레임 선택부(120)는 산출된 확률맵에 기초하여 추적이 완료되지 않은 프레임 집합에서 하나의 프레임을 선택한다.
구체적으로, 프레임 선택부(120)는 확률맵에 대한 신뢰도를 산출하고, 산출된 신뢰도에 기초하여 추적이 완료되지 않은 프레임 집합에서 하나의 프레임을 선택할 수 있다.
그리고, 프레임 선택부(120)는 선택된 프레임을 이용하여 추적이 완료된 프레임 집합과 추적이 완료되지 않은 프레임 집합을 업데이트할 수 있다. 즉, 프레임 선택부(120)는 선택된 프레임을 추적이 완료된 프레임 집합에 추가하고, 선택된 프레임을 추적이 완료되지 않은 프레임 집합에서 제거하여, 각 프레임 집합을 업데이트할 수 있다.
위치 결정부(130)는 선택된 프레임에서 추적 대상의 위치를 결정한다. 구체적으로, 위치 결정부(130)는 산출된 확률맵에서 최대 확률을 갖는 지점을 판단하고, 판단된 지점을 선택된 프레임(가령, 프레임 tk)에서 추적 대상이 존재하는 위치로 결정할 수 있다.
이하에서는, 첨부된 도 5를 참조하여 프레임 선택부(120) 및 위치 결정부(130)가 산출된 확률맵에 대한 신뢰도에 기초하여 추적이 완료되지 않은 프레임 집합에서 하나의 프레임을 선택하여 추적 대상의 위치를 결정하는 방법에 대해 설명하도록 한다.
예를 들어, 도 5에서 프레임(510)은 추적 대상(511)에 대한 추적이 완료된 프레임으로 추적이 완료된 프레임 집합을 구성하고, 프레임(520, 530)은 아직 추적이 완료되지 않은 프레임으로 추적이 완료되지 않은 프레임 집합을 구성할 수 있다.
이 경우, 프레임(510)에서 추적 대상(511)에 대해 산출된 확률맵이 확률맵(512)과 같을 때, 프레임(520, 530)에서 추적 대상에 대한 확률맵을 산출하기 위해 프레임(510)과 프레임(520, 530) 간의 확률 전파를 수행하는 경우, 프레임(520)에서 추적 대상에 대한 확률맵은 확률맵(522)와 같이 나타내고 프레임(530)에서 추적 대상에 대한 확률맵은 확률맵(532)와 같이 나타내어질 수 있다.
확률맵(522, 523)에서 등고선 형태(즉, 가우시안 형태)로 나타내는 영역은 추적 대상(511)이 프레임(520, 530)에 존재하는 확률을 나타낸다는 점에서, 확률맵(522, 532) 중에서 더 적은 지점에 확률 분포를 갖는 영역이 존재하는 확률맵 또는, 확률맵(522, 532) 중에서 더 적은 지점에 확률 분포를 가지며 상대적으로 높은 확률을 갖는 영역이 존재하는 확률맵이 신뢰도가 높은 것으로 볼 수 있다.
따라서, 프레임 선택부(120)는 산출된 확률맵에 대한 신뢰도에 기초하여 추적이 완료되지 않은 프레임 집합에서 하나의 프레임을 선택하고, 선택된 프레임에 기초하여 추적이 완료된 프레임 집합과 추적이 완료되지 않은 프레임 집합 각각을 업데이트할 수 있다.
상술한 예에서, 프레임 선택부(120)는 더 높은 신뢰도를 갖는 즉, 상대적으로 더 적은 지점에 확률이 분포되며 상대적으로 높은 확률을 갖는 영역이 존재하는 확률맵인 확률맵(530)을 선택하고, 확률맵(530)을 추적이 완료된 프레임 집합에 추가하고 추적이 완료되지 프레임 집합에서 제거할 수 있다. 이에 따라, 추적이 완료된 프레임 집합은 프레임(510, 530)으로 구성되고, 추적이 완료되지 않은 프레임 집합은 프레임(520)으로 구성될 수 있다.
이 경우, 위치 결정부(130)는 선택된 프레임에서 최대 확률을 갖는 지점을 추적 대상의 위치로 결정할 수 있다. 상술한 예에서, 위치 결정부(130)는 프레임(530)에서 가장 높은 확률을 갖는 지점(533)에 추적 대상이 존재하는 것으로 결정할 수 있다.
한편, 프레임 선택부(120)는 선택된 프레임을 추적이 완료된 프레임 집합에 추가하여 추적이 완료된 프레임 집합을 업데이트하고, 선택된 프레임을 추적이 완료되지 않은 프레임 집합에서 제거하여 추적이 완료되지 않은 프레임 집합을 업데이트할 수 있다.
예를 들어, 전체 프레임 집합이 F이라 할 때, k-1 번째 추적 단계에서 추적이 완료된 프레임 집합과 추적이 완료되지 않은 프레임 집합을 각각 Tk -1={t1,...,tk -1}, Rk -1=F＼Tk - 1와 같이 나타낼 수 있다.
이 경우, 프레임 선택부(130)는 k 번째 추적 단계에서 프레임 tk를 선택하고, 추적이 완료된 프레임 집합에 선택된 프레임 tk를 추가하고(즉, Tk=Tk -1∪{tk}) 추적이 완료되지 않은 프레임 집합에서 선택된 프레임 tk를 제거하여(즉, Rk=Rk -1＼{tk}) 프레임 집합들을 각각 업데이트할 수 있다.
이와 같이, 프레임 집합들이 업데이트되면, 확률맵 산출부(110)는 업데이트된 추적이 완료된 프레임 집합과 업데이트된 추적이 완료되지 않은 프레임 집합 간에 확률 전파를 수행하여 업데이트된 추적이 완료되지 않은 프레임 집합에 포함된 프레임 각각에서 추적 대상에 대한 확률맵을 산출할 수 있다. 이 경우, 확률맵 산출부(110)는 수학식 1에 기초하여 확률맵을 산출할 수 있다.
이후, 위치 결정부(130)는 산출된 확률맵에 기초하여 업데이트된 추적이 완료되지 않은 프레임 집합에서 선택된 프레임에서 추적 대상의 위치를 결정할 수 있다. 이 경우, 프레임 선택부(130)는 산출된 확률맵의 신뢰성에 기초하여 선택된 프레임에서 추적 대상의 위치를 결정할 수 있다.
결국, 추적이 완료되지 않은 모든 프레임에서 추적 대상에 대한 위치가 결정될 때까지 확률맵 산출부(110), 프레임 선택부(120), 위치 결정부(130)는 상술한 과정을 반복적으로 수행하게 된다.
이하에서는 기존의 다른 추적 방법에 비해 본 발명에서 제안하는 오브젝트 추적 방법이 갖는 효과에 대해 설명하도록 한다.
한편, 추적에 사용된 영상은 일반적으로 추적 장치의 성능 검증하는데 자주 사용되는 영상 가령, animal, tennis, TUD, campus, accident, bocing, youngki와같은 영상을 사용하였다.
이 중, animal은 빠르게 움직이는 대상과 모션 블러를 포함하고 있으며, tennis는 낮은 프레임 레이트로 인코딩되어 예측할 수 없이 빠르게 움직이는 대상을 포함하고 있다. 그리고, TUD, campus, accident는 추적 대상이 다른 대상에 의해 가려지는 부분을 포함하고 있다.
먼저, 도 6은 본 발명의 일 실시 예에 따른 오브젝트 추적 방법에 따라 추적 대상의 위치가 결정되는 프레임의 순서를 나타낸다.
구체적으로, 도 6(a)는 tennis에서 오브젝트를 추적한 결과를 나타내고, 도 4(b)는 boxing에서 오브젝트를 추적한 결과를 나타낸다. 도 6에서 숫자는 각 프레임의 프레임 인덱스를 나타낸다.
도 6을 참조하면, 본 발명에 따른 오브젝트 추적 방법에서는 영상 전체를 탐색하여 대상의 추적이 용이한 프레임 순으로 대상을 추적하는 것을 알 수 있다. 즉, 최초로 설정된 추적 대상을 기준으로 점점 변화하는 순서대로 추적이 이루어짐을 알 수 있다.
한편, 이하의 표 1 및 표 2는 기존의 다른 추적 방법과 본 발명에서 제안하는 오브젝트 추적 방법의 성능을 비교한 결과를 나타낸다.
Figure 112014045675163-pat00021
Figure 112014045675163-pat00022
여기에서, 기존의 추적 방법으로는 1) "X. Mei and H. Ling. Robust visual tracking using l1 minimization. In ICCV, 2009"에 기재된 L1, 2) "C. Bao, Y. Wu, H. Ling, and H. Ji. Real time robust l1 tracker using accelerated proximal gradient approach. In CVPR, 2012."에 기재된 L1-APG, 3) "W. Zhong, H. Lu, and M.-H. Yang. Robust object tracking via sparsity-based collaborative model. In CVPR, 2012."에 기재된 SCM, 4) "X. Jia, H. Lu, and M.-H. Yang. Visual tracking via adaptive structural local sparse appearance model. In CVPR, 2012."에 기재된 ASLSA, 5) "T. Zhang, B. Ghanem, S. Liu, and N. Ahuja. Robust visual tracking via multi-task sparse learning. In CVPR, 2012."에 기재된 MTT, 6) B. Babenko, M.-H. Yang, and S. Belongie. Robust object tracking with online multiple instance learning. TPAMI, 33(8), 2011."에 기재된 MIL, 7) "D. A. Ross, J. Lim, R.-S. Lin, and M.-H. Yang. Incremental learning for robust visual tracking. IJCV, 77(1-3), 2008."에 기재된 IVT, 8) "A. Adam, E. Rivlin, and I. Shimshoni. Robust fragments-based tracking using the integral histogram. In CVPR, 2006."에 기재된 FRAG, 9) "J. Kwon and K. M. Lee. Tracking of abrupt motion using Wang-Landau monte carlo estimation. In ECCV, 2008."에 기재된 WLMC, 10) "S. Gu, Y. Zheng, and C. Tomasi. Linear time offline tracking and lower envelope algorithms. In ICCV, 2011."에 기재된 OTLE이다.
한편, 각 추적 방법의 성능을 평가하기 위해, 추적 방법의 성능 평가에 일반적으로 사용되는 2 가지 수치를 이용하였다.
1) overlap ratio는 원래 추적 대상의 바운딩 박스(bounding box) BG와 추적 장치가 찾아낸 추적 대상의 바운딩 박스 BI 사이의 겹쳐진 영역을 나타내며, 수학식 8과 같이 표현될 수 있다.
Figure 112014045675163-pat00023
2) center location error는 두 바운딩 박스 BG, BI의 중심점 간의 거리를 산출하여 얻어질 수 있다. 이 경우, 본 발명에서 제안하는 오브젝트 추적 방법에 대해서는 패치 매칭을 위해 8×8 크기의 패치를 사용하였고, 0.6부터 1.4까지9 개의 스케일을 사용하였으며, 모든 시퀀스에 대한 샘플링에 사용된 샘플의 개수는 900이다.
한편, 표 1 및 표 2에서 본 발명에서 제안하는 오브젝트 추적 방법은 OMA로 기재하였다. 표 1 및 표 2를 참조하면, 본 발명에서 제안하는 오브젝트 추적 방법은 물체의 가려짐, 영상의 급격한 변화 등에 있어 다른 방식에 비해 정확한 동작을 수행하는 것을 알 수 있다.
한편, 물체의 급격한 변화에 최적화된 추적 방식인 WLMC의 경우 그러한 특성을 갖는 영상에 대해서는 잘 동작하지만 물체의 가려짐 등이 생겼을 때 잘 대응하지 못하고, OTLE의 경우 본 발명에서 제안하는 오브젝트 추적 방법에 비해 잘 동작하지 않고, 다른 방식들은 영상이 급격한 변화가 생길 때 저조한 성능을 보임을 알 수 있다.
도 7은 본 발명의 일 실시 예에 따른 오브젝트 추적 장치의 오브젝트 추적 방법을 설명하기 위한 흐름도이다.
먼저, 영상을 구성하는 복수의 프레임들 중 추적 대상에 대한 추적이 완료된 프레임 집합과 추적이 완료되지 않은 프레임 집합 간에 확률 전파를 수행하여 추적이 완료되지 않은 프레임 집합에 포함된 프레임 각각에서 추적 대상에 대한 확률맵을 산출한다(S710)
이후, 산출된 확률맵에 기초하여 추적이 완료되지 않은 프레임 집합에서 하나의 프레임을 선택하고(S720), 선택된 프레임에서 추적 대상의 위치를 결정한다(S730).
이 경우, 본 실시 예에 따른 오브젝트 추적 방법은 선택된 프레임을 추적이 완료된 프레임 집합에 추가하여 추적이 완료된 프레임 집합을 업데이트하고, 선택된 프레임을 추적이 완료되지 않은 프레임 집합에서 제거하여 추적이 완료되지 않은 프레임 집합을 업데이트하고, 업데이트된 추적이 완료된 프레임 집합과 업데이트된 추적이 완료되지 않은 프레임 집합 간에 패치 매칭을 수행하여 업데이트된 추적이 완료되지 않은 프레임 집합에 포함된 프레임 각각에서 추적 대상에 대한 확률맵을 산출할 수 있다.
또한, 본 실시 예에 따른 오브젝트 추적 방법은 산출된 확률맵에 기초하여 업데이트된 추적이 완료되지 않은 프레임 집합에서 하나의 프레임을 선택하고, 업데이트된 추적이 완료되지 않은 프레임 집합에서 선택된 프레임에서 추적 대상의 위치를 결정할 수 있다.
한편, S720 단계는 산출된 확률맵에 대한 신뢰도에 기초하여 추적이 완료되지 않은 프레임 집합에서 하나의 프레임을 선택할 수 있다.
또한, S730 단계는 산출된 확률맵에서 최대 확률을 갖는 지점을 판단하고 판단된 지점을 선택된 프레임에서 추적 대상의 위치로 결정할 수 있다.
한편, 추적이 완료되지 않은 프레임 집합에 포함된 프레임 각각에 대한 확률맵을 산출하고, 산출된 확률맵에 기초하여 추적이 완료되지 않은 프레임 집합에서 하나의 프레임을 선택하고, 선택된 프레임에서 추적 대상의 위치를 결정하고, 선택된 프레임을 이용하여 추적이 완료된 프레임 집합 및 추적이 완료되지 않은 프레임 집합을 업데이트하는 구체적인 방법에 대해서는 상술한 바 있다.
한편, 본 발명에 따른 오브젝트 추적 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 오브젝트 추적 장치에 대해 도시한 상술한 블록도에서는 버스(bus)를 미도시하였으나, 오브젝트 추적 장치에서 각 구성요소 간의 통신은 버스를 통해 이루어질 수도 있다. 또한, 오브젝트 추적 장치에는 상술한 다양한 단계를 수행하는 CPU, 마이크로 프로세서 등과 같은 프로세서가 더 포함될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 오브젝트 추적 장치 110 : 확률맵 산출부
120 : 프레임 선택부 130 : 위치 결정부

Claims (10)

  1. 오브젝트 추적 장치의 오브젝트 추적 방법에 있어서,
    영상을 구성하는 복수의 프레임들 중 추적 대상에 대한 추적이 완료된 프레임 집합과 추적이 완료되지 않은 프레임 집합 간에 확률 전파를 수행하여 상기 추적이 완료되지 않은 프레임 집합에 포함된 프레임 각각에서 상기 추적 대상에 대한 확률맵을 산출하는 단계;
    상기 산출된 확률맵에 기초하여 상기 추적이 완료되지 않은 프레임 집합에서 하나의 프레임을 선택하는 단계; 및,
    상기 선택된 프레임에서 상기 추적 대상의 위치를 결정하는 단계;를 포함하며,
    상기 확률맵을 산출하는 단계는,
    상기 추적이 완료된 프레임 집합에 포함된 시작 프레임으로부터 상기 추적이 완료되지 않은 프레임 집합에 포함된 프레임 각각까지의 경로를 판단하고, 상기 판단된 경로에 따라 상기 추적이 완료되지 않은 프레임 집합에 포함된 상기 각 프레임에서 상기 추적 대상에 대한 복수의 확률맵을 산출하고, 상기 산출된 복수의 확률맵의 평균을 산출하여 상기 추적 대상에 대한 확률맵을 산출하는 오브젝트 추적 방법.
  2. 제1항에 있어서,
    상기 선택된 프레임을 상기 추적이 완료된 프레임 집합에 추가하여 상기 추적이 완료된 프레임 집합을 업데이트하는 단계;
    상기 선택된 프레임을 상기 추적이 완료되지 않은 프레임 집합에서 제거하여 상기 추적이 완료되지 않은 프레임 집합을 업데이트하는 단계; 및
    상기 업데이트된 추적이 완료된 프레임 집합과 상기 업데이트된 추적이 완료되지 않은 프레임 집합 간에 패치 매칭을 수행하여 상기 업데이트된 추적이 완료되지 않은 프레임 집합에 포함된 프레임 각각에서 상기 추적 대상에 대한 확률맵을 산출하는 단계;를 더 포함하는 것을 특징으로 하는 오브젝트 추적 방법.
  3. 제2항에 있어서,
    상기 산출된 확률맵에 기초하여 상기 업데이트된 추적이 완료되지 않은 프레임 집합에서 하나의 프레임을 선택하고, 상기 업데이트된 추적이 완료되지 않은 프레임 집합에서 선택된 프레임에서 상기 추적 대상의 위치를 결정하는 단계;를 더 포함하는 것을 특징으로 하는 오브젝트 추적 방법.
  4. 제1항에 있어서,
    상기 선택하는 단계는,
    상기 산출된 확률맵에 대한 신뢰도에 기초하여 상기 추적이 완료되지 않은 프레임 집합에서 하나의 프레임을 선택하는 것을 특징으로 하는 오브젝트 추적 방법.
  5. 제1항에 있어서,
    상기 추적 대상의 위치를 결정하는 단계는,
    상기 산출된 확률맵에서 최대 확률을 갖는 지점을 판단하고, 판단된 지점을 상기 선택된 프레임에서 상기 추적 대상의 위치로 결정하는 것을 특징으로 하는 오브젝트 추적 방법.
  6. 오브젝트 추적 장치에 있어서,
    영상을 구성하는 복수의 프레임들 중 추적 대상에 대한 추적이 완료된 프레임 집합과 추적이 완료되지 않은 프레임 집합 간에 확률 전파를 수행하여 상기 추적이 완료되지 않은 프레임 집합에 포함된 프레임 각각에서 상기 추적 대상에 대한 확률맵을 산출하는 확률맵 산출부;
    상기 산출된 확률맵에 기초하여 상기 추적이 완료되지 않은 프레임 집합에서 하나의 프레임을 선택하는 프레임 선택부; 및,
    상기 선택된 프레임에서 상기 추적 대상의 위치를 결정하는 위치 결정부;를 포함하며,
    상기 확률맵 산출부는,
    상기 추적이 완료된 프레임 집합에 포함된 시작 프레임으로부터 상기 추적이 완료되지 않은 프레임 집합에 포함된 프레임 각각까지의 경로를 판단하고, 상기 판단된 경로에 따라 상기 추적이 완료되지 않은 프레임 집합에 포함된 상기 각 프레임에서 상기 추적 대상에 대한 복수의 확률맵을 산출하고, 상기 산출된 복수의 확률맵의 평균을 산출하여 상기 추적 대상에 대한 확률맵을 산출하는 오브젝트 추적 장치.
  7. 제6항에 있어서,
    상기 프레임 선택부는,
    상기 선택된 프레임을 상기 추적이 완료된 프레임 집합에 추가하여 상기 추적이 완료된 프레임 집합을 업데이트하고, 상기 선택된 프레임을 상기 추적이 완료되지 않은 프레임 집합에서 제거하여 상기 추적이 완료되지 않은 프레임 집합을 업데이트하며,
    상기 확률맵 산출부는,
    상기 업데이트된 추적이 완료된 프레임 집합과 상기 업데이트된 추적이 완료되지 않은 프레임 집합 간에 패치 매칭을 수행하여 상기 업데이트된 추적이 완료되지 않은 프레임 집합에 포함된 프레임 각각에서 상기 추적 대상에 대한 확률맵을 산출하는 것을 특징으로 하는 오브젝트 추적 장치.
  8. 제7항에 있어서,
    상기 프레임 선택부는,
    상기 산출된 확률맵에 기초하여 상기 업데이트된 추적이 완료되지 않은 프레임 집합에서 하나의 프레임을 선택하고,
    상기 위치 결정부는,
    상기 업데이트된 추적이 완료되지 않은 프레임 집합에서 선택된 프레임에서 상기 추적 대상의 위치를 결정하는 단계;를 더 포함하는 것을 특징으로 하는 오브젝트 추적 장치.
  9. 제6항에 있어서,
    상기 프레임 선택부는,
    상기 산출된 확률맵에 대한 신뢰도에 기초하여 상기 추적이 완료되지 않은 프레임 집합에서 하나의 프레임을 선택하는 것을 특징으로 하는 오브젝트 추적 장치.
  10. 제6항에 있어서,
    상기 위치 결정부는,
    상기 산출된 확률맵에서 최대 확률을 갖는 지점을 판단하고, 판단된 지점을 상기 선택된 프레임에서 상기 추적 대상의 위치로 결정하는 것을 특징으로 하는 오브젝트 추적 장치.
KR1020140058319A 2014-05-15 2014-05-15 오브젝트 추적 장치 및 그의 오브젝트 추적 방법 KR102076600B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140058319A KR102076600B1 (ko) 2014-05-15 2014-05-15 오브젝트 추적 장치 및 그의 오브젝트 추적 방법
US14/559,098 US9672423B2 (en) 2014-05-15 2014-12-03 Object tracking apparatus and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140058319A KR102076600B1 (ko) 2014-05-15 2014-05-15 오브젝트 추적 장치 및 그의 오브젝트 추적 방법

Publications (2)

Publication Number Publication Date
KR20150131537A KR20150131537A (ko) 2015-11-25
KR102076600B1 true KR102076600B1 (ko) 2020-02-11

Family

ID=54538765

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140058319A KR102076600B1 (ko) 2014-05-15 2014-05-15 오브젝트 추적 장치 및 그의 오브젝트 추적 방법

Country Status (2)

Country Link
US (1) US9672423B2 (ko)
KR (1) KR102076600B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9744665B1 (en) 2016-01-27 2017-08-29 X Development Llc Optimization of observer robot locations
GB2556328A (en) * 2016-09-05 2018-05-30 Xihelm Ltd Street asset mapping
KR101991043B1 (ko) * 2017-11-16 2019-06-19 주식회사 지오비전 비디오 서머리 방법
CN110177256B (zh) * 2019-06-17 2021-12-14 北京影谱科技股份有限公司 一种追踪视频数据获取方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070086622A1 (en) * 2005-10-14 2007-04-19 Microsoft Corporation Bi-Directional Tracking Using Trajectory Segment Analysis

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070086622A1 (en) * 2005-10-14 2007-04-19 Microsoft Corporation Bi-Directional Tracking Using Trajectory Segment Analysis

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Caljon et al. An offline bidirectional tracking scheme. ACIVS, 2005년 9월, pp. 587-594. 1부.*
Kwon & Lee. Tracking of abrupt motion using Wang Landau Monte Carlo estimation. ECCV, 2008년 10월, pp. 387-400. 1부.*

Also Published As

Publication number Publication date
KR20150131537A (ko) 2015-11-25
US20150332093A1 (en) 2015-11-19
US9672423B2 (en) 2017-06-06

Similar Documents

Publication Publication Date Title
US10782688B2 (en) Method, control apparatus, and system for tracking and shooting target
US9613298B2 (en) Tracking using sensor data
US11274922B2 (en) Method and apparatus for binocular ranging
KR20180105876A (ko) 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치
Doersch et al. Tapir: Tracking any point with per-frame initialization and temporal refinement
KR102076600B1 (ko) 오브젝트 추적 장치 및 그의 오브젝트 추적 방법
CN108280843A (zh) 一种视频目标检测跟踪方法及设备
Jellal et al. LS-ELAS: Line segment based efficient large scale stereo matching
US20130287250A1 (en) Method and apparatus for tracking object in image data, and storage medium storing the same
US10592786B2 (en) Generating labeled data for deep object tracking
US10657625B2 (en) Image processing device, an image processing method, and computer-readable recording medium
JP2015079502A (ja) オブジェクト追跡方法、オブジェクト追跡装置、及び追跡特徴選択方法
CN110956131B (zh) 单目标追踪方法、装置及系统
CN110909868A (zh) 基于图神经网络模型的节点表示方法和装置
US20160140414A1 (en) Density measuring device, density measuring method, and computer program product
EP3029631A1 (en) A method and apparatus for assisted object selection in video sequences
CN105096343A (zh) 一种移动目标跟踪方法及装置
Zhou et al. Abrupt motion tracking via nearest neighbor field driven stochastic sampling
CN113129332A (zh) 执行目标对象跟踪的方法和装置
US9367919B2 (en) Method for estimating position of target by using images acquired from camera and device and computer-readable recording medium using the same
CN105426927A (zh) 医学图像处理装置、医学图像处理方法和医学图像设备
US9792533B2 (en) Processing apparatus, processing method, and program for determining an image taking position
JP6570905B2 (ja) グラフ表示装置、グラフ表示プログラム及びグラフ表示プログラムが記憶されたコンピュータ読取可能な記憶媒体
Liu et al. Kernelized temporal locality learning for real-time visual tracking
Chen et al. Exploiting a depth context model in visual tracking with correlation filter

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant