KR101913648B1

KR101913648B1 - 다중 객체 추적 방법

Info

Publication number: KR101913648B1
Application number: KR1020170010488A
Authority: KR
Inventors: 전문구; 송영민
Original assignee: 광주과학기술원
Priority date: 2017-01-23
Filing date: 2017-01-23
Publication date: 2018-10-31
Also published as: KR20180086716A

Abstract

본 발명의 일 실시예에 따른 다중 객체 추적 방법은 현재 프레임에서의 객체 검출 결과와 이전 프레임에서의 객체 추적 결과를 연관하여 현재 프레임에서의 제1 객체 추적 결과를 얻는 제1 데이터 연관 단계 및 제1 데이터 연관 단계에서 객체 추적에 성공한 객체와 실패한 객체를 구분하고, 성공한 객체와 실패한 객체의 추적 결과를 연관하여 현재 프레임에서의 제2 객체 추적 결과를 얻는 제2 데이터 연관 단계를 포함할 수 있다.

Description

다중 객체 추적 방법{Method for tracking multiple objects}

본 발명은 다중 객체 추적 방법에 관한 것으로서, 더욱 상세하게는 복수의 객체의 오검출 및 미검출을 방지하고, 미검출된 객체의 처리가 가능한 다중 객체 추적 방법에 관한 것이다.

종래의 영상 감시 시스템에서 다중 객체 추적 방법은 실시간성을 달성하기 위해, 비교적 알고리즘 복잡도가 낮은 세부 기술들로 구성되어 왔다. 즉, 실제 감시 시스템에 적용하기 위한 동작 속도는 확보하였으나, 종래 기술을 구성하는 세부 기술들은 실제 상황에 적용하기에 몇몇 문제점을 내포하고 있다. 특히, 컬러를 기반으로 하는 배경제거기법, 객체의 색상정보를 바탕으로 객체를 추적하는 캠시프트(camshift) 기법은 색상정보가 다변하는 실제 감시영상에서 치명적인 성능악화를 보인다. 배경제거기법은 영상에서 배경의 컬러 정보를 학습하여, 영상에서 배경이 아닌 객체만을 검출해내는 기법이다.

또한, 실시간성을 달성하기 위해서, t-1번째 영상 프레임 정보와 t번째 영상 프레임 정보간의 연관관계를 찾는 방식으로 객체 추적이 진행되는데, 이러한 방법은 장기적인 관점에서 전체시간대의 정보를 고려할 수 없기 때문에 추적 성능이 하락할 수 밖에 없다는 문제점이 있다.

L. Leal-Taixe, A. Milan, I. Reid, S. Roth, and K.Schindler, MOTChallenge 2015:Towards a Benchmark for Multi-Target Tracking, ArXiv e-prints, Apr. 2015. L. Leal-Taixe, M. Fenzi, A. Kuznetsova, and B.Rosenhahn, S. Savarese, Learning an image-based motion context for multiple people tracking, In CVPR, Jun. 2014. A. Milan, S. Roth, and K. Schindler, Continuous Energy Minimization for Multitarget Tracking, In IEEE TPAMI, Vol. 36, No. 1, pp. 58-72, Jan. 2014. C. Dicle, O. Camps, and M. Sznaier, The Way They Move: Tracking Targets with Similar Appearance, In ICCV, Dec. 2013. A. Geiger, M. Lauer, C. Wojek, C. Stiller, and R. Urtasun, 3D Traffic Scene Understanding from Movable Platforms, In IEEE TPAMI, Vol. 36, No. 5, pp. 1012-1025, May 2014. H. Pirsiavash, D. Ramanan, and C. Fowlkes,Globally-Optimal Greedy Algorithms for Tracking a Variable Number of Objects, In CVPR, Jun. 2011. M. Hofmann, M. Haag, and G. Rigoll, Unified Hierarchical Multi-Object Tracking using Global Data Association, In PETS, Jan. 2013. B-N. Vo and W-K Ma, The Gaussian Mixture Probability Hypothesis Density Filter, In IEEE TSP, Vol. 54, No. 11, pp. 4091-4104, Nov. 2006. K. Panta, D. E. Clark, and B-N Vo, Data Association and Tracking Management for the Gaussian Mixture Probability Hypothesis Density Filter, In IEEE Transactions on Aerospace and Electronic Systems, Vol.45, Issue. 3, pp. 1003-1016, Jul. 2009. K. Panta, B-N. Vo, and D. E. Clark, An Efficient Track Management Scheme for the Gaussian-Mixture Probability Hypothesis Density Tracker, In ICISIP, Oct. 2006. IEEE International Workshop on Performance Evaluation of Tracking and Surveillance (PETS) 2009 Dataset K. Bernardin and R. Stiefelhagen, Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metrics, Image and Video Processing, May 2008. Y. Li, C. Huang, and R. Nevatia, Learning to associate: Hybrid Boosted multi-target tracker for crowded scene, In CVPR, Jun. 2009.

본 발명은 상기와 같은 문제점을 개선하기 위해 창안된 것으로서, 다중 객체 추적시 객체의 오검출과 미검출을 방지할 수 있고, 미검출시 보정할 수 있는 다중 객체 추적 방법을 제공하기 위함이다.

상기 목적을 달성하기 위한 본 발명에 따른 다중 객체 추적 방법은 현재 프레임에서의 객체 검출 결과와 이전 프레임에서의 객체 추적 결과를 연관하여 현재 프레임에서의 제1 객체 추적 결과를 얻는 제1 데이터 연관 단계; 및 상기 제1 데이터 연관 단계에서 객체 추적에 성공한 객체와 실패한 객체를 구분하고, 상기 성공한 객체와 실패한 객체의 추적 결과를 연관하여 현재 프레임에서의 제2 객체 추적 결과를 얻는 제2 데이터 연관 단계를 포함할 수 있다.

상기 제2 데이터 연관 단계는, 상기 성공한 객체와 실패한 객체를 구분하기 이전에, 기설정된 임계값보다 작은 길이를 갖는 안정적이지 않은 트레클릿(tracklet)을 제거하는 단계를 포함할 수 있다.

상기 안정적이지 않은 트레클릿을 제거하는 단계는, 기설정된 개수의 프레임을 딜레이시키는 단계; 및 상기 기설정된 개수 미만의 프레임에서만 나타나는 트레클릿을 제거하는 단계를 포함할 수 있다.

상기 제2 데이터 연관 단계에서 객체 추적에 성공한 객체와 실패한 객체를 구분하는 것은 상기 제거된 트레클릿 이외의 트레클릿을 갖는 객체를 두 개의 카테고리로 분류하는 것이다.

상기 객체 추적에 성공한 객체와 실패한 객체의 구분은, 현재 프레임에서 객체 추적에 성공하였는지 여부를 기준으로 한다.

상기 객체 추적은 복수의 객체의 위치, 크기 및 고유 아이디를 추적하는 것이다.

상기 제2 데이터 연관 단계는, 상기 객체 추적에 성공한 객체에 대해서는 현재 프레임에서의 객체 추적 결과를 얻고, 상기 객체 추적에 실패한 객체에 대해서는 객체 추적이 성공한 프레임까지의 객체 추적 결과를 얻어, 상기 현재 프레임에서의 객체 추적 결과와 상기 객체 추적이 성공한 프레임까지의 객체 추적 결과를 연관하는 단계이다.

상기 성공한 객체의 첫 번째 트래클릿과, 상기 실패한 객체의 마지막 트래클릿의 추적 결과를 연관하는 단계이다.

상기 제2 데이터 연관 단계는, 상기 제거된 트래클릿 이외의 트래클릿을 갖는 객체의 고유 아이디별로 추척 히스토리를 저장하는 단계를 포함할 수 있다.

본 발명에 따르면, 다중 객체를 추적할 때, 실시간성을 향상시킬 수 있고, 색상정보가 변화하더라도 일정 성능 이상을 확보할 수 있으며, 시간적인 정보를 계층적, 확률적으로 고려하여 추적 성능을 높일 수 있다.

즉, 본 발명의 일 실시예에 따르면 확률가설밀도 필터(Probability Hypothesis Density(PHD) filter, 이하 PHD 필터)를 이용하는데, PHD 필터는 온라인 예측(prediction), 업데이트(update), 데이터 연관(data association) 과정을 제공하므로 다중 객체 추적시 실시간성을 향상시킬 수 있다.

더불어, 본 발명의 일 실시예에 따른 다중 객체 추적 방법은 사전에 학습된 객체 검출기(object detector)와 쉽게 결합 가능하므로, 실시간성을 향상시키기 위해 기존에 사용하였던 컬러기반 검출기를 이용하지 않아도 되는 장점이 있다.

또한, 시간 t-1에서의 객체와 시간 t에서의 객체 간의 추적 연관 뿐만 아니라, 추적 경로들간의 연관을 이용하여 계층적으로 추적 객체들을 연관시킬 수 있어, 다중 객체를 추적하는 성능을 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 다중 객체 추적 방법을 간략히 도식화한 순서도이다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 다중 객체 추적 방법의 제2 연관 단계를 도식화한 도면이다.
도 3은 본 발명의 일 실시예에 따른 다중 객체 추적 방법의 제1 연관 단계를 도식화한 도면이다.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 다중 객체 추적 방법에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

복수의 객체를 추적하는 기술(Multiple Object Tracking; 이하 MOT)은 시각적 감시(visual surveillance) 분야에서 가장 중요한 기술 중에 하나이다. 이것은 탐색을 위한 고성능 컴퓨터의 가격이 이전보다 저렴해졌을 뿐만 아니라, 그 성능 또한 이전보다 훨씬 향상되었기 때문이다. 즉, 본 발명의 일 실시예에 따른 다중 객체 추적 방법의 수행 주체는 프로세서일 수 있다. 모든 단계는 프로세서에서 수행될 수 있다. 고성능 컴퓨터의 성능 발전과 가격 하락에 기인하여 이러한 MOT 기술을 상용화 애플리케이션에 적용할 수 있게 되었다. 실시간 MOT를 위해서는 온라인 상에서의 구현이 필수적이다. 기존의 방법 중에는 오프라인 상에서만 구현될 수 있다.

도 1은 본 발명의 일 실시예에 따른 다중 객체 추적 방법을 간략히 도식화한 순서도이며, 도 2a 및 도 2b는 본 발명의 일 실시예에 따른 다중 객체 추적 방법의 제2 연관 단계를 도식화한 도면이다. 도 3은 본 발명의 일 실시예에 따른 다중 객체 추적 방법의 제1 연관 단계를 도식화한 도면이다.

도 1 내지 도 3을 참조하면, 도 1에 도시된 다중 객체 추적 방법은 현재 프레임(시간=t)에서의 객체 검출 결과와 이전 프레임(시간=t-1)에서의 객체 추적 결과를 연관하여 현재 프레임(시간=t)에서의 제1 객체 추적 결과를 얻는 제1 데이터 연관 단계(1계층 데이터 연관)와 제1 데이터 연관 단계에서 객체 추적에 성공한 객체와 실패한 객체를 구분하고, 성공한 객체와 실패한 객체의 추적 결과를 연관하여 현재 프레임에서의 제2 객체 추적 결과를 얻는 제2 데이터 연관 단계(2계층 데이터 연관)를 포함할 수 있다.

제1 데이터 연관 단계에서는 입력 영상에서 추적 대상 객체의 위치, 크기, 고유 아이디 정보를 검출하고, 추적 대상인 다중 객체의 위치, 크기 및 고유 아이디를 추적할 수 있다. 즉, 객체를 추적하기 위해서 현재 시점에서의 객체 검출 결과, 즉 현재 프레임에서의 객체 검출 결과와 현재 프레임 바로 이전 프레임에서의 객체 추적 결과를 연관(Data Association)시키는 것이다. 이러한 연관을 통하여 현재 프레임에서의 객체 추적 결과를 얻을 수 있다. 현재 프레임의 t=0인 경우, 객체 검출 결과가 객체 추적 결과가 될 수 있다.

제2 데이터 연관 단계에서는, 제1 데이터 연관 단계에서 얻은 현재 프레임의 객체 추적 결과를 이용한다.

즉, 제1 데이터 연관 단계에서 얻은 현재 프레임의 객체 추적 결과를 볼 때, 객체의 추적이 성공하였는지 여부를 판단한다.

이러한 판단 전에, 오검출된 트래클릿들을 제거하는 단계가 수행될 수 있다. 즉, 객체의 추적이 성공하였는지 실패하였는지를 판단하기 위한 객체의 풀을 줄이기 위해, 오검출된 트래클릿 즉, 안정적이지 않은(unreliable) 트래클릿을 제거하는 것이다. 안정적이지 않은 트래클릿은, 기설정된 임계값보다 작은 길이를 갖는 트래클릿을 말한다.

기설정된 임계값은 기설정된 프레임의 개수 혹은 기설정된 프레임의 개수-1개의 값을 의미할 수 있다. 예컨대, 기설정된 프레임의 개수가 10개라면, 9개의 프레임에 모두 나타난 트래클릿 외에 9개 미만의 프레임에만 나타난 트래클릿이라면 안정적이지 않은 트래클릿으로 취급하여 이를 제거하는 것이다.

이를 위하여, 기설정된 개수의 프레임을 딜레이시킬 수 있고, 이러한 딜레이를 통해 기설정된 개수 미만의 프레임에서만 나타나는 트래클릿을 제거할 수 있다.

객체의 추적이 성공하였는지 여부의 판단은 제거된 트래클릿 이외의 트래클릿을 갖는 객체에 대해서만 이루어질 수 있다. 판단시 판단 기준은 현재 프레임에서 객체 추적에 성공하였는지 여부일 수 있다.

예컨대, 프레임 1 내지 10까지만 객체 추적이 성공한 객체(객체 1)와 프레임 11 내지 21에서 객체 추적이 성공한 객체(객체 2)가 있고, 현재 프레임이 프레임 21이라면, 객체 1의 경우 객체 추적에 실패한 객체이며, 객체 2의 경우 객체 추적에 성공한 객체이다.

더불어, 트래클릿 제거 관점에서 보면 프레임 1 내지 9까지만 객체 검출이 이루어져 있다면 이러한 트래클릿을 갖는 객체는 미리 제거된 상태일 것이다.

결국 제거된 트래클릿 이외의 트래클릿을 갖는 객체 중에서 현재 프레임에서 객체 추적이 성공한 객체와 현재 프레임에서 객체 추적이 실패한 객체의 두 개의 카테고리로 분류될 수 있다.

제2 데이터 연관 단계에서, 객체 추적에 성공한 객체에 대해서는 현재 프레임에서의 객체 추적 결과를 얻는다. 그리고 객체 추적에 실패한 객체에 대해서는 객체 추적이 성공한 프레임까지의 객체 추적 결과를 얻는다.

이후, 객체 추적에 성공한 객체에 대한 객체 추적 결과와, 객체 추적에 실패한 객체에 대한 객체 추적 결과를 연관하여, 현재 프레임에서의 객체 추적 결과를 얻을 수 있는 것이다.

이를 위해서는 객체 추적에 성공한 객체의 첫 번째 트래클릿과, 객체 추적에 실패한 객체의 마지막 트래클릿의 추적 결과를 연관시킬 수 있다.

더불어 미검출된 트래클릿의 근사화를 통해 어떤 객체의 트래클릿인지 여부도 추정할 수 있다.

본 발명의 일 실시예에 따른 다중 객체 추적 방법은 실시간 적용이 가능토록 구현되었으며, 이전에 사용된 다수의 온라인 또는 오프라인 MOT 기술을 검출 기술로 채택하였다. 검출에 의한 추적은 오검출(false detection)문제와, 미검출(miss detection) 문제를 가지고 있다.

이러한 오검출과 미검출은 각각 객체의 아이디(ID)가 스위칭되거나, 트레클릿(tracklet)이 분열되는 문제를 야기한다. 이러한 문제의 해결을 위하여, 본 발명의 일 실시예에 따른 다중 객체 검출 방법은, 계층적으로 채택된 가우시안 혼합 확률 가설 밀도 필터(Gaussian mixture Probability Hypothesis Density Filter; 이하 PHD 필터)를 이용하고 있다. 이러한 PHD 필터는 레이더 관찰과 같은 랜덤하며, 노이지한 데이터들을 추적하는데에 제안되었다. 그러나 연관하는 단계에서 PHD 필터의 사용은 다른 필터의 사용으로 대체될 수 있다.

즉, 오검출을 방지하기 위하여, 본 발명의 일 실시예에 따른 다중 객체 검출 방법은 PHD필터를 이용하였다. 그리고 미검출을 방지하기 위하여, 본 발명의 일 실시예에 따른 다중 객체 검출 방법은 2개의 연관 단계를 포함할 수 있다.

하나의 연관 단계는 본원에서 제1 데이터 연관 단계 또는 로-레벨 연관 단계(low-level assiciation)로 지칭한다. 제1 데이터 연관 단계는 프레임별로 타겟의 검출과 추적 사이를 연관하는 단계일 수 있다. 예컨대, 로-레벨 연관 단계는 시간 t에서의 검출과, 시간 k-1에서의 추적 타겟 사이를 연관시키는 단계일 수 있다.

두 번째 연관 단계는 본원에서 제2 데이터 연관 단계 그리고 미드레벨 연관단계로 지칭한다. 제2 데이터 연관 단계는 분열된 트레클릿들(fragmented tracklet) 사이의 연관을 의미할 수 있다. 즉, 미드레벨 연관 단계는 시간 t에서의 죽은 트레클릿과 살아있는 트레클릿 사이를 연관시키는 것이다. 죽은 트레클릿(dead tracklet)은 이전에 추적에 실패한 트레클릿을 의미하며, 살아있는 트레클릿(alive tracklet)은 이전에 추적에 성공한 트레클릿을 의미할 수 있다.

제1 데이터 연관 단계에서, 검출은 시간 t에서의 객체의 위치(x축과 y축), 사이즈(넓이와 길이)를 관찰하는 것으로 이루어진다. 추적(tracking) 결과 또는 상태(state)는 t-1 시간에서 객체의 위치(x축과 y축), 사이즈(넓이와 길이) 및 속도(x축 방향 이동속도, y축 방향 이동 속도)를 포함하는 객체 정보를 포함할 수 있으며, 3차원이상의 고차원 영상에서는 x축 및 y축에 한정되지 않는다.

미검출이 발생하면, 트레클릿은 차단될 수 있다. 또한 새롭게 발생한 객체가 실제로는 이전에 미검출된 객체 중의 하나와 동일한 경우일 때에도 상이한 트레클릿 아이디(ID)를 갖게 될 수 있다. 이러한 문제점을 해결하기 위하여 제2 데이터 연관 단계를 수행하게 된다.

제2 연관 단계는 기설정된 임계값(Lth)보다 작은 길이를 갖는 안정적이지 않은 트레클릿을 제거하는 단계를 포함할 수 있다. 기설정된 임계값보다 작은 길이를 갖는다는 것은 오검출에 의해 짧은 트레클릿이 생성될 가능성이 있기 때문이다. 즉, 오검출에 의해 생성된 트레클릿을 제거하여 정확도를 향상시키기 위함이다. 본 발명의 일 실시예에 따르면, Lth는 10으로 설정될 수 있다.

여기서 안정적이지 않은 트레클릿을 제거하는 단계는 기설정된 개수의 프레임을 딜레이시키는 단계를 포함할 수 있다. 예컨대, Lth-1 개수의 프레임을 딜레이시킬 수 있다. 일 실시예에 따라 Lth가 10으로 설정되면, 9개의 프레임을 딜레이시킬 수 있다. 9개의 프레임은 단지 수초에 불과하기 때문에 실시간 검출을 방해하지는 않는다. 더불어, 9개의 프레임에서 모두 나타나는 트레클릿과 9개 미만의 프레임에서만 나타나는 트레클릿을 구분하여 9개의 프레임에서 모두 나타나는 트레클릿만 남기고, 9개 미만의 프레임에서만 나타나는 트레클릿은 제거할 수 있다.

다만 이러한 프레임의 개수 및 Lth의 값은 상술한 바에 한정되지 않는다.

이후, 남아있는 트레클릿은 다시 두 개의 카테고리로 분류될 수 있다. 즉 상술한 바와 같이 안정적인 트레클릿이지만 현재 프레임 이전에 추적에 실패한 트레클릿인 죽은 트레클릿(dead tracklet)과 안정적인 트레클릿이면서, 현재 프레임에서 추적에 성공한 살아있는 트레클릿(alive tracklet)으로 분류될 수 있다.

죽은 트레클릿에서, 전체 타겟들, 위치, 속도 및 마지막 타겟의 사이즈의 컬러 히스토그램은 상태 벡터를 구성할 수 있다. 살이있는 트레클릿에서, 첫 번째 타겟의 동일한 엘리먼트들은 관찰 벡터들로 이루어진다.

예컨대, 도 2a 및 도 2b를 참조하면, 시간 t=5에서 하나의 죽은 트레클릿과 두 개의 살아있는 트레클릿이 있다.

제2 연관 단계에서, ID1을 갖는 죽은 트레클릿과 ID3을 갖는 살아있는 트레클릿을 연관시키고, 연관된 객체의 ID를 재할당할 수 있다. 즉, ID3을 ID1로 재할당한다.

또한, 미검출된 트레클릿은 ID1의 최종 위치와 ID3의 첫 번째 위치를 이용하여 선형 보간될 수 있다. 즉, 객체의 움직임과 출현을 통하여 끊겨진 트레클릿과 ID가 바뀌어버린 객체를 이어줄 수 있는 것이다.

제시된 실시예들에 대한 설명은 임의의 본 발명의 기술분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.

Claims

현재 프레임에서의 객체 검출 결과와 이전 프레임에서의 객체 추적 결과를 연관하여 현재 프레임에서의 제1 객체 추적 결과를 얻는 제1 데이터 연관 단계;
기설정된 개수의 프레임을 딜레이시킴으로써, 상기 기설정된 개수 미만의 프레임에서만 나타나는 트레클릿(tracklet)을 제거하는 단계; 및
상기 제거된 트레클릿 이외의 트레클릿에 대하여, 상기 제1 데이터 연관 단계에서 객체 추적에 성공한 객체와 실패한 객체를 구분하고, 상기 성공한 객체의 첫 번째 트레클릿과 상기 실패한 객체의 마지막 트레클릿을 선형 보간(linear interpolation)하여 현재 프레임에서의 제2 객체 추적 결과를 얻는 제2 데이터 연관 단계를 포함하는,
다중 객체 추적 방법.
제1항에 있어서,
상기 트레클릿을 제거하는 단계는,
상기 성공한 객체와 실패한 객체를 구분하기 이전에, 기설정된 임계값보다 작은 길이를 갖는 안정적이지 않은 트레클릿(tracklet)을 제거하는 단계를 포함하는,
다중 객체 추적 방법.
삭제
제2항에 있어서,
상기 제2 데이터 연관 단계에서 객체 추적에 성공한 객체와 실패한 객체를 구분하는 것은, 상기 제거된 트레클릿 이외의 트레클릿을 갖는 객체를 두 개의 카테고리로 분류하는 것인,
다중 객체 추적 방법.
제1항에 있어서,
상기 객체 추적에 성공한 객체와 실패한 객체의 구분은,
현재 프레임에서 객체 추적에 성공하였는지 여부를 기준으로 하는,
다중 객체 추적 방법.
제1항에 있어서,
상기 객체 추적은 복수의 객체의 위치, 크기 및 고유 아이디를 추적하는 것을 포함하는,
다중 객체 추적 방법.
제1항에 있어서,
상기 제2 데이터 연관 단계는,
상기 객체 추적에 성공한 객체에 대해서는 현재 프레임에서의 객체 추적 결과를 얻고, 상기 객체 추적에 실패한 객체에 대해서는 객체 추적이 성공한 프레임까지의 객체 추적 결과를 얻어, 상기 현재 프레임에서의 객체 추적 결과와 상기 객체 추적이 성공한 프레임까지의 객체 추적 결과를 연관하는 단계를 포함하는,
다중 객체 추적 방법.
제1항에 있어서,
상기 제2 데이터 연관 단계는,
상기 성공한 객체의 첫 번째 트레클릿과, 상기 실패한 객체의 마지막 트레클릿의 추적 결과를 연관하는 단계를 포함하는,
다중 객체 추적 방법.
제2항에 있어서,
상기 제2 데이터 연관 단계는,
상기 제거된 트레클릿 이외의 트레클릿을 갖는 객체의 고유 아이디별로 추척 히스토리를 저장하는 단계를 포함하는,
다중 객체 추적 방법.