KR20170097265A - 다중 이동 객체 추적 시스템 및 이를 이용한 다중 이동 객체 추적 방법 - Google Patents

다중 이동 객체 추적 시스템 및 이를 이용한 다중 이동 객체 추적 방법 Download PDF

Info

Publication number
KR20170097265A
KR20170097265A KR1020160018554A KR20160018554A KR20170097265A KR 20170097265 A KR20170097265 A KR 20170097265A KR 1020160018554 A KR1020160018554 A KR 1020160018554A KR 20160018554 A KR20160018554 A KR 20160018554A KR 20170097265 A KR20170097265 A KR 20170097265A
Authority
KR
South Korea
Prior art keywords
tracking
unit
unit group
moving objects
moving object
Prior art date
Application number
KR1020160018554A
Other languages
English (en)
Inventor
곽정환
전문구
양이화
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020160018554A priority Critical patent/KR20170097265A/ko
Priority to PCT/KR2017/001659 priority patent/WO2017142311A1/ko
Publication of KR20170097265A publication Critical patent/KR20170097265A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Abstract

본 발명은 다중 이동 객체 추적 시스템 및 이를 이용한 다중 이동 객체 추적 방법에 관한 것으로서, 상기 다중 이동 객체 추적 시스템은 추적대상 이동객체들을 소정의 단위시간을 간격으로 촬영하는 추적 카메라와, 상기 추적 카메라로부터 촬영된 영상들을 제공받아 상기 영상들에 표시된 상기 이동객체들 중 기설정된 설정거리 내에 위치한 상기 이동객체들을 단위그룹으로 그룹화하는 그루핑 모듈과, 상기 영상들을 토대로 상기 단위그룹들 중 선택된 상기 이동객체가 포함된 단위그룹을 추적하는 추적 모듈을 구비한다.
본 발명에 따른 다중 이동 객체 추적 시스템 및 이를 이용한 다중 이동 객체 추적 방법은 추적 카메라에서 촬영된 영상들에서 상호 인접된 이동객체들을 하나의 단위그룹으로 설정하고, 상기 단위그룹의 이동을 추적하므로 선택된 이동객체로부터 멀리 떨어진 이동객체에 대한 분석이 요구되지 않아 추적 작업에 소요되는 시간이 절약되고, 추적 결과 값에 대한 정확도가 향상되는 장점이 있다.

Description

다중 이동 객체 추적 시스템 및 이를 이용한 다중 이동 객체 추적 방법{System for tracking of moving multi target and method for tracking of moving multi target using same}
본 발명은 다중 이동 객체 추적 시스템 및 이를 이용한 다중 이동 객체 추적 방법에 관한 것으로서, 추적 카메라를 통해 촬영된 영상들에 표시된 이동객체들을 단위그룹으로 그룹화하여 추적하는 다중 이동 객체 추적 시스템 및 이를 이용한 다중 이동 객체 추적 방법에 관한 것이다.
객체추적이란 움직이는 사물의 이동경로를 정확히 추출하는 것을 말한다. 종래에 다중객체추적에 대한 많은 연구가 진행되어왔다. 대부분의 다중객체추적 시스템은 주로 데이터연관 프레임워크로 구성되어지며, 데이터연관 문제를 해결하기 위해 다양한 방법들이 적용되어왔다.
일반적으로, 실제 쇼핑몰이나 캠퍼스 거리 등 사람이 군집되어 있는 복잡한 환경에서 사람을 추적한다는 것은 어려운 문제 중에 하나이다. 왜냐하면 복잡한 환경에서는 가려짐 등의 현상으로 인해서 사람을 추적하는데 정확도가 떨어지기 때문이다. 종래에는 사람의 경우, 가려짐 문제를 해결하기 위해 multi-view mulit-part model, 즉, 사람의 형상을 머리-어깨, 머리-허리, 전신 등 부분별로 나누어 모델링한 방법이 객체추적방법에 사용되어왔다.
종래의 데이터 연관 기법의 경우, 이전 영상 프레임의 화면 내에 존재하는 모든 객체들과 그 다음 프레임의 화면 내에 존재하는 모든 객체들과의 쌍으로(pairwise) 모두 다 비교를 수행하였다. 하지만 일반적인 비디오 환경에서 객체의 움직임은 연속적이며 지역적 근접성을 지니기 때문에 서로 멀리 떨어져 있는 객체들끼리 비교는 상당히 비효율적이다라는 단점이 있다.
또한, 종래의 추적 방법은 카메라 위치가 낮아지거나 머리가 가려진 경우 및 사람 형상이 수직으로 반이 가려진 경우에 있어서 추적 성능이 현저히 떨어진다.
등록특허공보 제10-1328246호: 이동 객체 자동 추적 시스템과 그 방법
본 발명은 상기와 같은 문제점을 개선하기 위해 창안된 것으로서, 추적 카메라에서 촬영된 영상들에서 상호 인접된 이동객체들을 하나의 단위그룹으로 설정하고, 상기 단위그룹의 이동을 추적하며, 추적 카메라의 위치에 따른 이동객체의 가려짐 현상에 대한 간섭을 최소화시킬 수 있는 다중 이동 객체 추적 시스템 및 이를 이용한 다중 이동 객체 추적 방법을 제시하는 데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 다중 이동 객체 추적 시스템은 추적대상 이동객체들을 소정의 단위시간을 간격으로 촬영하는 추적 카메라와, 상기 추적 카메라로부터 촬영된 영상들을 제공받아 상기 영상들에 표시된 상기 이동객체들 중 기설정된 설정거리 내에 위치한 상기 이동객체들을 단위그룹으로 그룹화하는 그루핑 모듈과, 상기 영상들을 토대로 상기 단위그룹들 중 선택된 상기 이동객체가 포함된 단위그룹을 추적하는 추적 모듈을 구비한다.
상기 그루핑 모듈은 시간의 경과에 따라 상기 단위그룹 내의 이동객체들이 상기 설정거리보다 더 멀리 상호 이격되거나 상기 단위그룹에 포함된 이동객체들 중 적어도 하나의 이동객체가 인접된 또 다른 상기 단위그룹에 포함된 이동객체에 상기 설정거리만큼 인접될 경우, 상기 영상에서 그룹화된 상기 단위그룹을 해제하고, 상기 설정거리 내에 위치한 상기 이동객체들을 단위그룹으로 재그룹화한다.
한편, 본 발명에 따른 다중 이동 객체 추적 시스템은 상기 그루핑 모듈에 의해 그룹화된 상기 단위그룹의 상기 이동객체들을 소정의 식별기준에 따라 모델링하는 객체 모델링 모듈을 더 구비하는 것이 바람직하다.
상기 식별기준은 컬러 히스토그램(Color histogram), 기울기 히스토그램 (Histogram Of Gradients) 및 색상 자기 유사성(Color Self Similarity)을 포함한다.
상기 객체 모델링 모듈은 상기 이동객체가 사람일 경우, 상기 이동객체를 신체부위에 따라 다수의 단위파트로 구분하고, 상기 단위파트별로 모델링하는 것이 바람직하다.
상기 객체 모델링 모듈은 상기 이동객체가 사람일 경우, 상기 이동객체를 머리에서 어깨까지의 제1단위파트, 머리에서 몸통까지의 제2단위파트, 상하방향으로 연장된 사람의 중심선을 기준으로 전신의 왼쪽 부분인 제3단위파트, 상하방향으로 연장된 사람의 중심선을 기준으로 전신의 오른쪽 부분인 제4단위파트로 구분하고, 상기 제1 내지 제4단위파트 별로 모델링한다.
상기 추적모듈은 각 상기 영상들에서 선택된 상기 단위그룹들이 소정의 유사정보에 따라 유사하다고 판단되면, 각 상기 영상들에서의 상기 단위그룹의 위치들을 연결하여 추적경로로 표시하는 것이 바람직하다.
상기 유사정보는 선택된 상기 단위그룹에 포함된 이동객체의 움직임 정보, 상기 객체 모델링 모듈에 의해 모델링된 상기 단위그룹에 포함된 이동객체들의 외형 모델링 정보 및 상기 영상들 사이의 촬영 시간 차이에 대한 정보가 포함된다.
한편, 본 발명에 따른 다중 이동 객체 추적 방법은 추적 카메라를 통해 소정의 단위시간을 간격으로 다수의 이동객체가 포함된 영상들을 촬영단계와, 상기 추적 카메라로부터 촬영된 영상들을 토대로, 각 상기 영상에 표시된 상기 이동객체들 중 기설정된 설정거리 내에 위치한 상기 이동객체들을 단위그룹으로 그룹화하는 그루핑 단계와, 상기 그루핑 단계가 완료된 다음, 각 상기 영상들에서 상기 단위그룹들 중 선택된 상기 이동객체가 포함된 단위그룹을 시간의 경과에 따라 이동경로를 추적하는 추적 단계를 포함한다.
상기 그루핑 단계는 상기 추적 카메라를 통해 촬영된 영상들 중 하나의 영상에서 상기 이동객체들 중 기설정된 설정거리 내에 위치한 상기 이동객체들을 단위그룹으로 그룹화하는 초기 그룹단계와, 상기 초기 그룹단계가 완료된 다음, 상기 영상들 중 나머지 상기 영상들에서 각각 상기 초기 영상의 상기 단위그룹에 포함된 상기 이동객체들이 상기 설정거리보다 더 멀리 상호 이격되거나 상기 초기 영상의 상기 단위그룹에 포함된 이동객체들 중 적어도 하나의 이동객체가 인접된 또 다른 상기 단위그룹에 포함된 이동객체에 상기 설정거리만큼 인접될 경우, 그룹화된 상기 단위그룹을 해제하고, 상기 설정거리 내에 위치한 상기 이동객체들을 상기 단위그룹으로 재그룹화하는 재그룹화 단계를 포함한다.
한편, 본 발명에 따른 다중 이동 객체 추적 방법은 상기 그루핑 단계와 추적 단계 사이에 상기 그루핑 단계에서 그룹화된 상기 단위그룹에 포함된 상기 이동객체들을 소정의 식별기준에 따라 모델링하는 객체 모델링 단계를 더 포함하는 것이 바람직하다.
상기 식별기준은 컬러 히스토그램(Color histogram), 기울기 히스토그램 (Histogram Of Gradients) 및 색상 자기 유사성(Color Self Similarity)을 포함한다.
상기 객체 모델링 단계에서, 상기 이동객체가 사람일 경우, 상기 이동객체를 신체부위에 따라 다수의 단위파트로 구분하고, 상기 단위파트 별로 모델링한다.
상기 객체 모델링 단계에서, 상기 이동객체가 사람일 경우, 상기 이동객체를 머리에서 어깨까지의 제1단위파트, 머리에서 몸통까지의 제2단위파트, 상하방향으로 연장된 사람의 중심선을 기준으로 전신의 왼쪽 부분인 제3단위파트, 상하방향으로 연장된 사람의 중심선을 기준으로 전신의 오른쪽 부분인 제4단위파트로 구분하고, 상기 제1 내지 제4단위파트 별로 모델링하는 것이 바람직하다.
상기 추적단계에서, 각 상기 영상들에서 선택된 상기 단위그룹이 소정의 유사정보에 따라 유사하다고 판단되면, 각 상기 영상들에 선택된 상기 단위그룹의 시간경과에 따른 위치를 연결하여 추적경로로 표시한다.
상기 유사정보는 상기 영상들에서 선택된 상기 단위그룹에 포함된 이동객체의 움직임 정보, 상기 객체 모델링 단계를 통해 생성된 상기 단위그룹에 포함된 이동객체들의 외형 모델링 정보 및 상기 영상들 사이의 경과 시간에 대한 정보를 포함한다.
본 발명에 따른 다중 이동 객체 추적 시스템 및 이를 이용한 다중 이동 객체 추적 방법은 추적 카메라에서 촬영된 영상들에서 상호 인접된 이동객체들을 하나의 단위그룹으로 설정하고, 상기 단위그룹의 이동을 추적하므로 선택된 이동객체로부터 멀리 떨어진 이동객체에 대한 분석이 요구되지 않아 추적 작업에 소요되는 시간이 절약되고, 추적 결과 값에 대한 정확도가 향상되는 장점이 있다.
또한, 본 발명에 따른 다중 이동 객체 추적 시스템 및 이를 이용한 다중 이동 객체 추적 방법은 이동객체가 사람일 경우, 이동객체의 모델링 시 신체를 다수의 파트로 구분하여 모델링하므로 이동객체의 가려짐 현상에 대한 간섭이 최소화되어 분석의 정확도가 향상된다.
도 1은 본 발명에 따른 다중 이동 객체 추적 시스템에 대한 블럭도이고,
도 2는 도 1의 다중 이동 객체 추적 시스템의 그루핑 모듈의 그룹화 작업을 나타낸 개념도이고,
도 3a 및 도 3b는 다중 이동 객체 추적 시스템의 그루핑 모듈의 재그룹화 작업을 나타낸 개념도이고,
도 4는 실제 촬영 영상을 이용하여 그루핑 모듈의 그룹화 작업을 나타낸 도면이고,
도 5는 본 발명에 따른 다중 이동 객체 추적 시스템의 객체 모델링 모듈에 의해 구분된 다수의 단위파트 영역을 나타낸 개념도이고,
도 6은 본 발명에 따른 다중 이동 객체 추적 시스템의 추적모듈에 의해 표시된 트랙렛의 모션 궤적을 나타낸 개념도이고,
도 7은 본 발명에 따른 다중 이동 객체 추적 방법을 나타낸 순서도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 다중 이동객체 추적 시스템 및 이를 이용한 다중 이동객체 추적 방법에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1에는 본 발명의 실시 예에 따른 다중 이동 객체 추적 시스템(10)이 도시되어 있다.
도면을 참조하면, 다중 이동 객체 추적 시스템(10)은 추적대상 이동객체들을 소정의 단위시간을 간격으로 촬영하는 추적 카메라(11)와, 상기 추적 카메라(11)로부터 촬영된 영상들을 제공받아 상기 영상들에 표시된 상기 이동객체들 중 기설정된 설정거리 내에 위치한 상기 이동객체들을 단위그룹으로 그룹화하는 그루핑 모듈(12)과, 상기 그루핑 모듈(12)에 의해 그룹화된 상기 단위그룹의 상기 이동객체들을 소정의 식별기준에 따라 모델링하는 객체 모델링 모듈(13)과, 상기 영상들을 토대로 상기 단위그룹들 중 선택된 상기 이동객체가 포함된 단위그룹을 추적하는 추적 모듈(14)을 구비한다.
추적 카메라(11)는 건축물이나 시설물의 상부에 설치되어 소정의 지역에 위치한 이동객체들을 촬영한다. 상기 추적 카메라(11)는 상기 지역을 소정의 단위시간을 간격으로 촬영하고, 촬영된 영상들은 도면에 도시되진 않았지만, 통신모듈을 통해 그루핑 모듈(12)로 전송한다.
한편, 도시된 예에서는 한 개의 추적 카메라(11)가 마련된 구조가 도시되어 있으나, 추적 카메라(11)의 갯수는 도시된 예에 한정하는 것이 아니라 다수개가 마련될 수도 있다.
그루핑 모듈(12)은 추적 카메라(11)로부터 촬영된 영상들을 제공받아 이동객체들을 그룹핑한다. 이때, 그루핑 모듈(12)은 시간의 경과에 따라 상기 단위그룹 내의 이동객체들이 상기 설정거리보다 더 멀리 상호 이격되거나 상기 단위그룹에 포함된 이동객체들 중 적어도 하나의 이동객체가 인접된 또 다른 상기 단위그룹에 포함된 이동객체에 상기 설정거리만큼 인접될 경우, 상기 영상에서 그룹화된 상기 단위그룹을 해제하고, 상기 설정거리 내에 위치한 상기 이동객체들을 단위그룹으로 재그룹화한다.
도 2에는 그루핑 모듈(12)의 그룹화 과정이 도시되어 있고, 도 3a은 이동객체들의 이동에 따라 그루핑 모듈(12)이 하나의 단위그룹을 두 개의 단위그룹의 재설정한 상태를 나타낸 도면이고, 도 3b는 이동객체들의 이동에 따라 그루핑 모듈(12)이 두 개의 단위그룹을 하나의 단위그룹으로 재설정한 상태를 나타낸 도면이다.
도 2에는 시간의 경과에 따라 좌측에서 우측으로 영상들이 배열되어 있고, 각 영상들에 소정의 색을 갖는 점들로 이동객체가 표시된다. 도 2에서 최좌측에 위치한 영상을 보면, 이동객체들 중 기설정된 설정거리 내에 위치된 이동객체들끼리 하나의 단위그룹으로 설정된다. 즉, 영상의 하단에 위치한 하나의 이동객체가 제1단위그룹으로 설정되고, 제1단위그룹보다 상측에 위치한 두 개의 이동객체가 제2단위그룹으로 설정되고, 제2단위그룹보다 상측에 위치한 세 개의 이동객체가 제3단위그룹으로 설정된다.
이때, 단위시간이 경과된 다음에 촬영된 영상인 도 2의 가운데 영상을 보면, 시간의 경과에 따라 제1단위그룹의 이동객체가 제2단위그룹 측으로 이동되었고, 제3단위그룹의 이동객체들 중 하나가 제2단위그룹 측으로 이동한다.
다음, 도 2의 최우측 영상을 보면, 가장 좌측 영상의 제1단위그룹의 이동객체가 제2단위그룹의 이동객체들로부터 설정거리만큼 인접되었으며, 그루핑 모듈(12)은 도 3b에 도시된 바와 같이 기존의 제1단위그룹 및 제2단위그룹을 해제하고, 기존의 제1단위그룹에 포함된 이동객체와 기존의 제2단위그룹에 포함된 이동객체들을 하나의 새로운 제1단위그룹으로 설정한다. 또한, 기존의 제3단위그룹에 포함된 이동객체들 중 하나가 제3단위그룹의 다른 이동객체들로부터 설정거리보다 더 멀리 이격되는데, 그루핑 모듈(12)은 도 3a에 도시된 바와 같이 기존의 제3단위그룹을 해제하고, 기존의 제3단위그룹에 포함된 이동객체들 중 설정거리보다 더 멀리 이격된 하나의 이동객체를 새로운 제2단위그룹은 설정하며, 기존의 제3단위그룹 중 나머지 이동객체를 새로운 제3단위그룹으로 설정한다.
도 4에는 실제 촬영된 영상을 토대로 그루핑 모듈(12)이 이동객체들을 그룹화 및 재그룹화하는 상태가 도시되어 있다. 도 4에는 촬영된 시간의 순서에 따라 왼쪽에서 오른쪽으로 배열된 3장의 영상이 배열되어 있다.
도 4의 (a) 영상에서는 왼쪽의 3명의 이동객체가 하나의 단위그룹(A)으로 설정되고, 가운데 2명의 이동객체가 하나의 단위그룹(B)로 설정되고, 오른쪽의 1명의 이동객체가 하나의 단위그룹(C)로 설정되어 있다.
도 4의 (b),(c)영상을 참조하면, 시간이 경과함에 따라 단위그룹(A)에 포함된 이동객체들 중 왼쪽에 위치한 1명의 이동객체는 나머지 이동객체들로부터 설정거리보다 더 멀리 이격되고, 나머지 이동객체들은 이동하는 단위그룹(B)의 이동객체들과 인접되었다. 이때, 그루핑 모듈(12)은 단위그룹(A) 및 단위그룹(B)를 해제하고, 영상의 최좌측에 위치한 1명의 이동객체를 새로운 단위그룹(A)로 설정하고, 상호 인접된 4명의 이동객체를 새로운 단위그룹(B)로 설정한다.
객체 모델링 모듈(13)은 그루핑 모듈(12)로부터 그룹화된 단위모듈에 포함된 이동객체들을 모델링하는 것으로서, 상기 이동객체들을 소정의 식별기준에 따라 모델링한다. 상기 식별기준은 컬러 히스토그램(Color histogram), 기울기 히스토그램 (Histogram Of Gradients) 및 색상 자기 유사성(Color Self Similarity)이 포함된다.
이때, 객체 모델링 모듈(13)은 상기 이동객체가 사람일 경우, 상기 이동객체를 신체부위에 따라 다수의 단위파트로 구분하고, 상기 단위파트들에 따라 모델링하는데, 도 5에는 객체 모델링 모듈(13)에 의개 구분된 단위파트가 도시되어 있다.
도 5를 참조하면, 상기 이동객체를 머리에서 어깨까지의 제1단위파트(HS), 머리에서 몸통까지의 제2단위파트(HT), 상하방향으로 연장된 사람의 중심선을 기준으로 전신의 왼쪽 부분인 제3단위파트(LB), 상하방향으로 연장된 사람의 중심선을 기준으로 전신의 오른쪽 부분인 제4단위파트(RB)로 구분하고, 상기 제1 내지 제4단위파트 별로 모델링한다.
이때, 객체 모델링 모듈(13)의 이동객체 모델링을 보다 상세히 설명하면 다음과 같다. 영상에 표시된 이동객체(r)은
Figure pat00001
와 같이 표현할 수 있다. 여기서, l은 제1 내지 제4단위파트(HS, HT, LB, RB) 중 선택된 하나의 타입을 나타내는 라벨(label)이고, a는 외형모델(appearance model)이고, p는 이동객체의 위치, t는 영상 프레임 인덱스(frame index) 관점에서의 시간이다.
또한, 영상에서 결합된 검출반응(combined detection response: o)은
Figure pat00002
로 표현된다. 그리고, 타겟추정(target hypothesis)M은
Figure pat00003
로 표현되는데, 상기 v는 이동객체 중 보이는 부분(visible part)을 나타낸다. 만약, v가 제1 내지 제2단위파트(HS, HT, LB, RB)이 존재하지 않을 경우, 이동객체가 보이지 않는 것을 의미한다. 검출반응(detection response)를 획득한 다음, 시각적인 부분을 처리하는데, 이동객체 신체의 각 파트에 대응되는 외형모델을 계산하고 업데이트한다.
외형모델(appearance model)에 있어서, 각 이동객체의 상기 식별기준 즉, 컬러 히스토그램(Color histogram), 기울기 히스토그램 (Histogram Of Gradients) 및 색상 자기 유사성(Color Self Similarity)이 사용된다.
상기 컬러 히스토그램은 이동객체의 색상 외관을 나타내기 위한 것으로서, 종래에 일반적으로 사용되는 표준 컬러 히스토그램이 적용된다. 상기 컬러 히스토그램은 RGB 색의 공간(RGB color space)이 적용되나 이에 한정하는 것이 아니라 HSV(Hue Saturation Value), YCbCr가 적용될 수도 있다.
단일 채널 히스토그램(single channel histograms)은 각 채널에 대해 8 빈스(bins)를 갖는 단일벡터(single vector)
Figure pat00004
와 연계되어 24 차원(24-dimensional) 벡터를 초래한다.
이동객체의 범위 2x2 셀 내의 8 방향 빈스(8 orientations bins)를 연계하는 것으로 32차원(32-dimensional) 기울기 히스토그램 특성(
Figure pat00005
)과 32차원(32-dimensional) 색상 자기 유사성(
Figure pat00006
)을 추출한다.
이때, 선택된 이동객체인 트랙렛(T)의 외관 디스크립터(appearance desciptor: a)는 하기의 수식1로 표현된다.
Figure pat00007
여기서
Figure pat00008
은 컬러 히스토그램의 특성 벡터이고,
Figure pat00009
은 32차원(32-dimensional) 기울기 히스토그램 특성 벡터이고,
Figure pat00010
은 HSV(Hue Saturation Value)에 기초를 둔 32차원(32-dimensional) 색상 자기 유사성 특성벡터이다. 또한, 첨자 S는 이동객체의 하위영역의 인덱스(index of the subregion)이다. 상기 하위영역의 수는 제1 내지 제4단위파트(HS, HT, LB, RB) 중 선택된 하나의 타입을 나타내는 라벨(label)에 따라 결정된다. 특성을 추출하고, 사람의 신체 파티션에 대한 각각의 해당 특성 풀(feafure pool)을 구성하기 위해 제3단위파트(LB) 및 제4단위파트(RB)가 포함된 이동객체의 전신의 경우, 이동객체의 영역을 9개의 하위영역으로 분할할 수 있다. 제2 내지 제4단위파트(HT,LB,RB)의 경우 4개의 하위영역으로 분할할 수 있고, 제1단위파트(HS)의 경우 1개의 하위영역을 갖는다. 이때, 각 하위영역에 대해 3가지의 특성 타입(featur type) 즉, 컬러 히스토그램(Color histogram), 기울기 히스토그램 (Histogram Of Gradients) 및 색상 자기 유사성(Color Self Similarity)으로 평가된다. 따라서, 예를 들면, 하나의 특성 풀을 구성하는 제3 및 제4단위파트가 포함된 전신에 대해 총 27개의 특성 벡터가 만들어진다. 이때, 두 이미지 영역 사이의 유사성은 상술된 외관 디스크립터(appearance desciptor: a)에 의해 계산된다.
RGB 컬러 히스토그램, 기울기 히스토그램 및 색상 자기 유사성의 점수를 계산하기 위해
Figure pat00011
와 Bhattacharyya 거리 측정(Bhattacharyya distance measures)을 사용한다. 디스크립터(descriptors)의 유사도 측정은
Figure pat00012
,
Figure pat00013
,
Figure pat00014
로 표시된다.
외형모델과 사람 신체 파트의 각 라벨에 대한 서로 다른 영역에서 외형 디스크립터 사이의 유사도를 계산한 다음, 유사도 측정을 연계에 의해 하기의 수학식2에 같은 외형 특성 벡터
Figure pat00015
를 형성할 수 있다.
Figure pat00016
특성벡터는 트랙렛(tracklet)을 발생시키기 위한 이동객체의 특징 풀을 제공한다. 또한, 상기 특성벡터는 스트롱 분류기(strong classifier)를 구축하기 위한 부스팅 알고리즘(boosting algorithm)에 사용된다.
두 사례
Figure pat00017
와
Figure pat00018
사이의 외형의 연관점수(affinity score)결정하는 스트롱 모델(strong model)은 수학식 2에 의해 계산된 유사 측정의 선형 조합으로 설계되어 있다. 따라서, 상기 스트롱 분류기는 하기의 수학식 3과 같이 표현된다.
Figure pat00019
네거티브 페어(negative pairs)로부터 포지티브 페어(positive pairs)를 구별하기 위한 실제 값을 입력 또는 리턴하기 위해선 한쌍의 사례가 요구된다.
Figure pat00020
이 비교적 크면
Figure pat00021
와
Figure pat00022
가 같은 이동객체를 표현하기 쉽다. [-1,+1] 범위에서
Figure pat00023
는 정상화된다. 이때,
Figure pat00024
의 사인(sign)을 예측된 라벨(predicted label)과, 이 예측의 신뢰도 같은
Figure pat00025
의 규모로 해석한다.
오프라인 프로세싱(offline processing)에 의해 각 신체 파트에 따른 외형 모델을 산출하는데, 부스팅 순서(boosting procedure)는 하기의 표1에 기재된 알고리즘1(Algorithm1)과 같다.
Figure pat00026
이때, 부스팅 알고리즘(boosting algorithm)의 손실 함수는 하기의 수학식4와 같다.
Figure pat00027
여기서, w는 부스팅되는 동안 업데이트될 각 트레이닝 샘플(training sample)에 대한 무게이다. 목표는 새로운 위크 분류기(weak classifiers)를 순차적으로 첨가하여 얻어지는
Figure pat00028
중 Z가 최소인
Figure pat00029
를 찾는 것이다.
t번째 라운드에서 최적의 위크 랭크 분류기(weak ranking classifier)
Figure pat00030
를 발견할 수 있고, 중량
Figure pat00031
를 최소화하는 하기의 수학식 5를 산출할 수 있다.
Figure pat00032
위크 러너(weak learner)의 상세한 알고리즘은 하기의 표2에 기재된 알고리즘2(Algorithm2)과 같다.
Figure pat00033
추적 모듈(14)은 영상들을 토대로 단위그룹들 중 선택된 이동객체가 포함된 단위그룹을 추적한다. 이때, 추적을 진행하는 분석자는 영상에 표시된 이동객체들 중 하나를 선택하면 추적 모듈(14)은 선택된 이동객체가 포함된 단위그룹을 선택하고, 영상들에서 선택된 단위그룹의 위치를 연결하여 추적경로를 표시한다.
상기 추적 모듈(14)은 각 상기 영상들에서 선택된 상기 단위그룹들이 소정의 유사정보에 따라 유사하다고 판단되면, 각 상기 영상들에서의 상기 단위그룹의 위치들을 연결하여 추적경로로 표시하는 것이 바람직하다. 이때, 상기 유사정보는 선택된 상기 단위그룹에 포함된 이동객체의 움직임 정보, 상기 객체 모델링 모듈(13)에 의해 모델링 된 상기 단위그룹에 포함된 이동객체들의 외형 모델링 정보 및 상기 영상들 사이의 촬영 시간 차이에 대한 정보가 포함된 것이 바람직하다.
상기 추적 모듈(14)의 작동을 보다 상세히 설명하면 다음과 같다.
먼저, 상호 상이한 영상들에서 같은 단위그룹 내에 포함된 트랙렛(tracklet)을 연결한다. 이때, 복수의 트랙렛 사이의 페어와이즈 연결 컨피던스(pairwise linking confidence)는 상기 트랙렛의 움직임 정보, 상기 객체 모델링 모듈(13)에 의해 모델링된 상기 단위그룹에 포함된 이동객체들의 외형 모델링 정보에 의해 정의되고, 외형은 하기의 수학식 6과 같다.
Figure pat00034
여기서, GM은 그루핑 모듈(12)인데, 상기 그루핑 모듈(12)은 복수의 트랙렛이 단위그룹 정보에 기초하여 연결된다면 그 결과 값이 트루(true)로 리턴한다.
움직임 연관 측정을 위해 먼저, 도 6에 도시된 바와 같이 해당 모션 모델(motion model)의 트랙렛의 포워드 속도(forward velocity) 및 백워드 속도(backward velocity)를 계산한다.
트랙렛의 헤드 응답(head response)의 리파인드 위치(refined position)로부터 백워드 속도가 계산되는 동안 트랙렛의 테일 응답(tail response)의 리파인드 위치(refined position)로부터 포워드 속도가 계산된다.
포워드 방향 및 백워드 방향에서 모션 모델은 각각 가우시안
Figure pat00035
및 가우시안
Figure pat00036
에 의해 표현된다. 그리고, 모션의 연관 측정은 수학식 7과 같이 설명된다.
Figure pat00037
여기서, G는 제로 민 가우스 함수(zero-mean Gaussian function)이고,
Figure pat00038
는
Figure pat00039
의 테일(tail)과
Figure pat00040
의 헤드(head) 사이의 시간 차이이다.
Figure pat00041
와
Figure pat00042
는
Figure pat00043
의 헤드 또는 테일 파츠의 리파인드 위치 및 속도이다.
한편, 시간의 연관성 측정은 하기의 수학식 8과 같이 단순한 스텝 함수로 표현된다.
Figure pat00044
Figure pat00045
의 테일(tail)이
Figure pat00046
의 헤드(head)보다 먼저 나타날 경우,
Figure pat00047
와
Figure pat00048
사이를 연결되게 만드는 것이 가능하다.
외형모델은 상술된 바와 같이 로컬 디스크립터(local descriptors)의 세트의 몇몇의 유사성 측정의 선형 조합으로부터 얻어진다. 상기 외형모델은 각 객체의 파트 영역에 대해 계산된다. 다음, 외형모델은 해당 파트가 볼 수 있을 때, 트랙렛을 따라 검출응답을 통해 업데이트 된다.
그리고, 외형모델의 연관성 측정은 하기의 수학식 9에 의해 설명된다.
Figure pat00049
수학식 6을 이용하여 트랙렛의 페어와이즈 연관(pairwise association)을 계산한 다음, 코스트 매트릭스 C(cost matrix C)를 구축하고, 최적의 연관을 얻기 위해 헝가리언 알고리즘(Hungarian algorithm)을 적용한다. 코스트 매트릭스 C는 하기의 수학식 10과 같이 정의된다.
Figure pat00050
여기서,
Figure pat00051
은 페어와이즈 연관 코스트이고,
Figure pat00052
이고, 여기서
Figure pat00053
는 종료 코스트(terminating cost)이다.
Figure pat00054
은 새롭거나 fale 트랙으로 초기화 코스트이고,
Figure pat00055
은
Figure pat00056
제로 행렬이다.
Figure pat00057
은 트랙렛의 종료 기간인데, 여기서 N은 정규화 계수(normalization factor)이고, r은 누락 검출율(the missed detection rate)이고, w는 시간적인 슬라이딩 윈도우의 크기이고, s는 객체가 폐색으로 인한 버퍼링한 영상 프레임의 수이다.
Figure pat00058
은 트랙렛의 초기화 기간인데, 여기서 g는 영상 프레임 간격이다.
Figure pat00059
는 false 알람 기간인데, 여기서 L은 영상 프레임의 전체 수이다.
마지막으로, 코스트 매트릭스 C에 헝가리언 알고리즘을 적용하여 얻어지는 최적 어사인먼트 행렬(optimal assignment matrix )
Figure pat00060
를 나타낸다. 그리고, 각
Figure pat00061
을 위한 객체 궤적은 하기에 상술된 룰을 사용한 어사인먼트 매트릭스에 따라 관리된다. 상기 룰을 상세히 설명하면 다음과 같다.
Figure pat00062
및
Figure pat00063
일 경우,
Figure pat00064
와
Figure pat00065
는 연결되어 있고,
Figure pat00066
및
Figure pat00067
일 경우,
Figure pat00068
는 종료되어 있다.
Figure pat00069
및
Figure pat00070
일 경우,
Figure pat00071
일 때
Figure pat00072
는 새로운 트랙이고,
Figure pat00073
일 때,
Figure pat00074
는 false 트랙이다.
상술된 추적 모듈(14)의 작동에 대한 알고리즘은 하기의 표 3에 기재되어 있다.
Figure pat00075
한편, 상술된 바와 같이 구성된 본 발명에 따른 다중 이동 객체 추적 시스템(10)을 이용한 다중 이동 객체 추적 방법을 도 7을 참조하여 상세히 설명하면 다음과 같다. 상기 다중 이동 객체 추적 방법은 촬영단계(S101), 그루핑 단계(S102)(S102), 객체 모델링 단계(S103) 및 추적단계(S104)를 포함한다.
촬영단계(S101)는 추적 카메라(11)를 통해 소정의 단위시간을 간격으로 다수의 이동객체가 포함된 영상들을 촬영하는 단계이다. 이때, 추적 카메라(11)를 통해 촬영된 영상 즉, 이미지는 통신모듈(미도시)을 통해 그루핑 모듈(12)로 전송된다.
그루핑 단계(S102)는 상기 추적 카메라(11)로부터 촬영된 영상들을 토대로, 각 상기 영상에 표시된 상기 이동객체들 중 기설정된 설정거리 내에 위치한 상기 이동객체들을 단위그룹으로 그룹화하는 단계로서, 초기 그룹단계 및 재그룹화 단계를 포함한다.
상기 초기 그룹단계는 상기 추적 카메라(11)를 통해 촬영된 영상들 중 하나의 영상에서 상기 이동객체들 중 기설정된 설정거리 내에 위치한 상기 이동객체들을 단위그룹으로 그룹화하는 단계이다. 그루핑 모듈(12)은 상술된 바와 같이 상기 영상들 중 선택된 하나의 영상에서 이동객체들을 그룹화한다.
재그룹화 단계는 초기 그룹단계가 완료된 다음, 상기 영상들 중 나머지 상기 영상들에서 각각 상기 초기 영상의 상기 단위그룹에 포함된 상기 이동객체들이 상기 설정거리보다 더 멀리 상호 이격되거나 상기 초기 영상의 상기 단위그룹에 포함된 이동객체들 중 적어도 하나의 이동객체가 인접된 또 다른 상기 단위그룹에 포함된 이동객체에 상기 설정거리만큼 인접될 경우, 그룹화된 상기 단위그룹을 해제하고, 상기 설정거리 내에 위치한 상기 이동객체들을 상기 단위그룹으로 재그룹화하는 단계이다.
객체 모델링 단계(S103)는 상기 그루핑 단계(S102) 이후에, 상기 그루핑 단계(S102)에서 그룹화된 상기 단위그룹에 포함된 상기 이동객체들을 소정의 식별기준에 따라 모델링하는 단계이다. 이때, 객체 모델링 모듈(13)은 상술된 바와 같이 소정의 식별기준 즉, 컬러 히스토그램(Color histogram), 기울기 히스토그램 (Histogram Of Gradients) 및 색상 자기 유사성(Color Self Similarity)을 따라 모델링한다.
한편, 상기 객체 모델링 단계(S103)에서, 상기 이동객체가 사람일 경우, 객체 모델링 모듈(13)은 상기 이동객체를 신체부위에 따라 다수의 단위파트로 구분하고, 상기 단위파트 별로 모델링한다. 이때, 상술된 바와 같이 객체 모델링 모듈(13)은 상기 이동객체를 머리에서 어깨까지의 제1단위파트, 머리에서 몸통까지의 제2단위파트, 상하방향으로 연장된 사람의 중심선을 기준으로 전신의 왼쪽 부분인 제3단위파트, 상하방향으로 연장된 사람의 중심선을 기준으로 전신의 오른쪽 부분인 제4단위파트로 구분하고, 상기 제1 내지 제4단위파트 별로 모델링한다.
추적단계(S104)는 상기 그루핑 단계(S102)가 완료된 다음, 각 상기 영상들에서 상기 단위그룹들 중 선택된 상기 이동객체가 포함된 단위그룹을 시간의 경과에 따라 이동경로를 추적하는 단계이다. 이때, 추적을 진행하는 분석자는 영상에 표시된 이동객체들 중 하나를 선택하면 추적 모듈(14)은 선택된 이동객체가 포함된 단위그룹을 선택하고, 상술된 바와 같이 각 상기 영상들에서 선택된 상기 단위그룹들이 소정의 유사정보에 따라 유사하다고 판단되면, 각 상기 영상들에서의 상기 단위그룹의 위치들을 연결하여 추적경로로 표시하는 것이 바람직하다. 이때, 상기 유사정보는 선택된 상기 단위그룹에 포함된 이동객체의 움직임 정보, 상기 객체 모델링 모듈(13)에 의해 모델링된 상기 단위그룹에 포함된 이동객체들의 외형 모델링 정보 및 상기 영상들 사이의 촬영 시간 차이에 대한 정보가 포함된 것이 바람직하다.
상술된 바와 같이 구성된 본 발명에 따른 다중 이동 객체 추적 시스템(10) 및 이를 이용한 다중 이동 객체 추적 방법은 추적 카메라(11)에서 촬영된 영상들에서 상호 인접된 이동객체들을 하나의 단위그룹으로 설정하고, 상기 단위그룹의 이동을 추적하므로 선택된 이동객체로부터 멀리 떨어진 이동객체에 대한 분석이 요구되지 않아 추적 작업에 소요되는 시간이 절약되고, 추적 결과 값에 대한 정확도가 향상되는 장점이 있다.
또한, 본 발명에 따른 다중 이동 객체 추적 시스템(10) 및 이를 이용한 다중 이동 객체 추적 방법은 이동객체가 사람일 경우, 이동객체의 모델링 시 신체를 다수의 파트로 구분하여 모델링하므로 이동객체의 가려짐 현상에 대한 간섭이 최소화되어 분석의 정확도가 향상된다.
제시된 실시예들에 대한 설명은 임의의 본 발명의 기술분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
10: 다중 이동 객체 추적 시스템
11: 추적 카메라
12: 그루핑 모듈
13: 객체 모델링 모듈
14: 추적 모듈
S101: 촬영단계
S102: 그룹핑 단계
S103: 객체 모델링 단계
S104: 추적단계

Claims (16)

  1. 추적대상 이동객체들을 소정의 단위시간을 간격으로 촬영하는 추적 카메라와;
    상기 추적 카메라로부터 촬영된 영상들을 제공받아 상기 영상들에 표시된 상기 이동객체들 중 기설정된 설정거리 내에 위치한 상기 이동객체들을 단위그룹으로 그룹화하는 그루핑 모듈과;
    상기 영상들을 토대로 상기 단위그룹들 중 선택된 상기 이동객체가 포함된 단위그룹을 추적하는 추적 모듈;을 구비하는 것을 특징으로 하는 다중 이동 객체 추적 시스템.
  2. 제1항에 있어서,
    상기 그루핑 모듈은 시간의 경과에 따라 각 상기 영상에 표시된 상기 단위그룹 내의 이동객체들이 상기 설정거리보다 더 멀리 상호 이격되거나 상기 단위그룹에 포함된 이동객체들 중 적어도 하나의 이동객체가 인접된 또 다른 상기 단위그룹에 포함된 이동객체에 상기 설정거리만큼 인접될 경우, 상기 영상에서 그룹화된 상기 단위그룹을 해제하고, 상기 설정거리 내에 위치한 상기 이동객체들을 단위그룹으로 재그룹화하는 것을 특징으로 하는 다중 이동 객체 추적 시스템.
  3. 제1항에 있어서,
    상기 그루핑 모듈에 의해 그룹화된 상기 단위그룹의 상기 이동객체들을 소정의 식별기준에 따라 모델링하는 객체 모델링 모듈;을 더 구비하는 것을 특징으로 하는 다중 이동 객체 추적 시스템.
  4. 제3항에 있어서,
    상기 식별기준은 컬러 히스토그램(Color histogram), 기울기 히스토그램 (Histogram Of Gradients) 및 색상 자기 유사성(Color Self Similarity)을 포함하는 것을 특징으로 하는 다중 이동 객체 추적 시스템.
  5. 제3항 또는 제4항에 있어서,
    상기 객체 모델링 모듈은 상기 이동객체가 사람일 경우, 상기 이동객체를 신체부위에 따라 다수의 단위파트로 구분하고, 상기 단위파트별로 모델링하는 것을 특징으로 하는 다중 이동 객체 추적 시스템.
  6. 제5항에 있어서,
    상기 객체 모델링 모듈은 상기 이동객체가 사람일 경우, 상기 이동객체를 머리에서 어깨까지의 제1단위파트, 머리에서 몸통까지의 제2단위파트, 상하방향으로 연장된 사람의 중심선을 기준으로 전신의 왼쪽 부분인 제3단위파트, 상하방향으로 연장된 사람의 중심선을 기준으로 전신의 오른쪽 부분인 제4단위파트로 구분하고, 상기 제1 내지 제4단위파트 별로 모델링하는 것을 특징으로 하는 다중 이동 객체 추적 시스템.
  7. 제3항에 있어서,
    상기 추적모듈은 각 상기 영상들에서 선택된 상기 단위그룹들이 소정의 유사정보에 따라 유사하다고 판단되면, 각 상기 영상들에서의 상기 단위그룹의 위치들을 연결하여 추적경로로 표시하는 것을 특징으로 하는 다중 이동 객체 추적 시스템.
  8. 제7항에 있어서,
    상기 유사정보는 선택된 상기 단위그룹에 포함된 이동객체의 움직임 정보, 상기 객체 모델링 모듈에 의해 모델링된 상기 단위그룹에 포함된 이동객체들의 외형 모델링 정보 및 상기 영상들 사이의 촬영 시간 차이에 대한 정보가 포함된 것을 특징으로 하는 다중 이동 객체 추적 시스템.
  9. 추적 카메라를 통해 소정의 단위시간을 간격으로 다수의 이동객체가 포함된 영상들을 촬영단계와;
    상기 추적 카메라로부터 촬영된 영상들을 토대로, 각 상기 영상에 표시된 상기 이동객체들 중 기설정된 설정거리 내에 위치한 상기 이동객체들을 단위그룹으로 그룹화하는 그루핑 단계와;
    상기 그루핑 단계가 완료된 다음, 각 상기 영상들에서 상기 단위그룹들 중 선택된 상기 이동객체가 포함된 단위그룹을 시간의 경과에 따라 이동경로를 추적하는 추적 단계;를 포함하는 것을 특징으로 하는 다중 이동 객체 추적 방법.
  10. 제9항에 있어서,
    상기 그루핑 단계는
    상기 추적 카메라를 통해 촬영된 영상들 중 하나의 영상에서 상기 이동객체들 중 기설정된 설정거리 내에 위치한 상기 이동객체들을 단위그룹으로 그룹화하는 초기 그룹단계와,
    상기 초기 그룹단계가 완료된 다음, 상기 영상들 중 나머지 상기 영상들에서 각각 상기 초기 영상의 상기 단위그룹에 포함된 상기 이동객체들이 상기 설정거리보다 더 멀리 상호 이격되거나 상기 초기 영상의 상기 단위그룹에 포함된 이동객체들 중 적어도 하나의 이동객체가 인접된 또 다른 상기 단위그룹에 포함된 이동객체에 상기 설정거리만큼 인접될 경우, 상기 영상에서 그룹화된 상기 단위그룹을 해제하고, 상기 설정거리 내에 위치한 상기 이동객체들을 상기 단위그룹으로 재그룹화하는 재그룹화 단계를 포함하는 것을 특징으로 하는 다중 이동 객체 추적 방법.
  11. 제9항 또는 제10항에 있어서,
    상기 그루핑 단계와 추적 단계 사이에 상기 그루핑 단계에서 그룹화된 상기 단위그룹에 포함된 상기 이동객체들을 소정의 식별기준에 따라 모델링하는 객체 모델링 단계;를 더 포함하는 것을 특징으로 하는 다중 이동 객체 추적 방법.
  12. 제11항에 있어서,
    상기 식별기준은 컬러 히스토그램(Color histogram), 기울기 히스토그램 (Histogram Of Gradients) 및 색상 자기 유사성(Color Self Similarity)을 포함하는 것을 특징으로 하는 다중 이동 객체 추적 방법.
  13. 제11항에 있어서,
    상기 객체 모델링 단계에서, 상기 이동객체가 사람일 경우, 상기 이동객체를 신체부위에 따라 다수의 단위파트로 구분하고, 상기 단위파트 별로 모델링하는 것을 특징으로 하는 다중 이동 객체 추적 방법.
  14. 제11항에 있어서,
    상기 객체 모델링 단계에서, 상기 이동객체가 사람일 경우, 상기 이동객체를 머리에서 어깨까지의 제1단위파트, 머리에서 몸통까지의 제2단위파트, 상하방향으로 연장된 사람의 중심선을 기준으로 전신의 왼쪽 부분인 제3단위파트, 상하방향으로 연장된 사람의 중심선을 기준으로 전신의 오른쪽 부분인 제4단위파트로 구분하고, 상기 제1 내지 제4단위파트 별로 모델링하는 것을 특징으로 하는 다중 이동 객체 추적 방법.
  15. 제11항에 있어서,
    상기 추적단계에서, 각 상기 영상들에서 선택된 상기 단위그룹이 소정의 유사정보에 따라 유사하다고 판단되면, 각 상기 영상들에 선택된 상기 단위그룹의 시간경과에 따른 위치를 연결하여 추적경로로 표시하는 것을 특징으로 하는 다중 이동 객체 추적 방법.
  16. 제15항에 있어서,
    상기 유사정보는 상기 영상들에서 선택된 상기 단위그룹에 포함된 이동객체의 움직임 정보, 상기 객체 모델링 단계를 통해 생성된 상기 단위그룹에 포함된 이동객체들의 외형 모델링 정보 및 상기 영상들 사이의 경과 시간에 대한 정보를 포함하는 것을 특징으로 하는 이동 객체 추적 방법.


KR1020160018554A 2016-02-17 2016-02-17 다중 이동 객체 추적 시스템 및 이를 이용한 다중 이동 객체 추적 방법 KR20170097265A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160018554A KR20170097265A (ko) 2016-02-17 2016-02-17 다중 이동 객체 추적 시스템 및 이를 이용한 다중 이동 객체 추적 방법
PCT/KR2017/001659 WO2017142311A1 (ko) 2016-02-17 2017-02-15 다중 객체 추적 시스템 및 이를 이용한 다중 객체 추적 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160018554A KR20170097265A (ko) 2016-02-17 2016-02-17 다중 이동 객체 추적 시스템 및 이를 이용한 다중 이동 객체 추적 방법

Publications (1)

Publication Number Publication Date
KR20170097265A true KR20170097265A (ko) 2017-08-28

Family

ID=59625992

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160018554A KR20170097265A (ko) 2016-02-17 2016-02-17 다중 이동 객체 추적 시스템 및 이를 이용한 다중 이동 객체 추적 방법

Country Status (2)

Country Link
KR (1) KR20170097265A (ko)
WO (1) WO2017142311A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101991307B1 (ko) * 2019-04-04 2019-06-20 인천대학교 산학협력단 다중 객체 추적을 위한 트랙렛의 특징 벡터 할당이 가능한 전자 장치 및 그 동작 방법
KR20200011237A (ko) * 2018-07-24 2020-02-03 서울시립대학교 산학협력단 스트림 리즈닝 감시 시스템 및 그것을 이용한 스트림 리즈닝 감시방법
KR20200011221A (ko) * 2018-07-24 2020-02-03 서울시립대학교 산학협력단 영상병합 스트림 리즈닝 감시방법
KR20200011235A (ko) * 2018-07-24 2020-02-03 서울시립대학교 산학협력단 스트림 리즈닝 감시 시스템 및 그것을 이용한 미아발생 알람방법
KR20200061118A (ko) * 2018-11-23 2020-06-02 인하대학교 산학협력단 영상 내 다중 객체 추적 방법 및 시스템
KR20210009941A (ko) * 2019-07-18 2021-01-27 국방과학연구소 함정전투체계 전술화면 상에서 트랙볼을 이용한 객체의 다중 선택 및 선택 해제 방법
KR20220067690A (ko) * 2020-11-18 2022-05-25 한국전자기술연구원 다중 영역의 외형 모델 생성/갱신에 의한 객체 추적 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113470072B (zh) * 2021-07-06 2022-09-13 吉林省田车科技有限公司 一种基于运动粒子的粒子群目标跟踪算法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101214000B1 (ko) * 2011-10-28 2012-12-20 연세대학교 산학협력단 컬러 롤링을 검출하기 위한 장치 및 그 방법
KR101508310B1 (ko) * 2014-04-10 2015-04-07 군산대학교산학협력단 영상 감시 시스템에서 다중 이동 물체를 추적하는 방법 및 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200011237A (ko) * 2018-07-24 2020-02-03 서울시립대학교 산학협력단 스트림 리즈닝 감시 시스템 및 그것을 이용한 스트림 리즈닝 감시방법
KR20200011221A (ko) * 2018-07-24 2020-02-03 서울시립대학교 산학협력단 영상병합 스트림 리즈닝 감시방법
KR20200011235A (ko) * 2018-07-24 2020-02-03 서울시립대학교 산학협력단 스트림 리즈닝 감시 시스템 및 그것을 이용한 미아발생 알람방법
KR20200061118A (ko) * 2018-11-23 2020-06-02 인하대학교 산학협력단 영상 내 다중 객체 추적 방법 및 시스템
KR101991307B1 (ko) * 2019-04-04 2019-06-20 인천대학교 산학협력단 다중 객체 추적을 위한 트랙렛의 특징 벡터 할당이 가능한 전자 장치 및 그 동작 방법
KR20210009941A (ko) * 2019-07-18 2021-01-27 국방과학연구소 함정전투체계 전술화면 상에서 트랙볼을 이용한 객체의 다중 선택 및 선택 해제 방법
KR20220067690A (ko) * 2020-11-18 2022-05-25 한국전자기술연구원 다중 영역의 외형 모델 생성/갱신에 의한 객체 추적 방법

Also Published As

Publication number Publication date
WO2017142311A1 (ko) 2017-08-24

Similar Documents

Publication Publication Date Title
KR20170097265A (ko) 다중 이동 객체 추적 시스템 및 이를 이용한 다중 이동 객체 추적 방법
Zhang et al. Wide-area crowd counting via ground-plane density maps and multi-view fusion cnns
Li et al. Multi-target detection and tracking from a single camera in Unmanned Aerial Vehicles (UAVs)
US10872262B2 (en) Information processing apparatus and information processing method for detecting position of object
Zhang et al. Real-time multiple human perception with color-depth cameras on a mobile robot
EP3561727A1 (en) A device and a method for extracting dynamic information on a scene using a convolutional neural network
Tran et al. Optimal spatio-temporal path discovery for video event detection
KR101912569B1 (ko) 비디오 영상에서의 물체 추적시스템
CN110765906A (zh) 一种基于关键点的行人检测算法
KR101645959B1 (ko) 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법
Karmaker et al. Cricket shot classification using motion vector
CN105913459B (zh) 基于高分辨率连拍图像的运动目标检测方法
CN111274992A (zh) 一种跨摄像头的行人重识别方法及系统
AU2021255130B2 (en) Artificial intelligence and computer vision powered driving-performance assessment
US20220148292A1 (en) Method for glass detection in real scenes
Li et al. Robust multiperson detection and tracking for mobile service and social robots
CN105989614B (zh) 融合多源视觉信息的危险物体检测方法
Wu et al. Multivehicle object tracking in satellite video enhanced by slow features and motion features
Fradi et al. Spatio-temporal crowd density model in a human detection and tracking framework
Ardeshir et al. Integrating egocentric videos in top-view surveillance videos: Joint identification and temporal alignment
Qi et al. Alpine skiing tracking method based on deep learning and correlation filter
Hayashi et al. Head and upper body pose estimation in team sport videos
Sutopo et al. Appearance-based passenger counting in cluttered scenes with lateral movement compensation
WO2012153868A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
Woinoski et al. Swimmer stroke rate estimation from overhead race video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment