KR101596436B1

KR101596436B1 - 다중 목표 추적 시스템 및 방법

Info

Publication number: KR101596436B1
Application number: KR1020140059613A
Authority: KR
Inventors: 전창묵; 최종석
Original assignee: 한국과학기술연구원
Priority date: 2014-05-19
Filing date: 2014-05-19
Publication date: 2016-02-23
Also published as: KR20150132968A

Abstract

다중 목표 추적 시스템은, 복수 개의 카메라로부터 타겟을 포함한 컬러 영상을 수신하고, 수신된 컬러 영상을 미리 결정된 하나 이상의 기준색에 근사시킴으로서 감축된 컬러 히스토그램을 생성하도록 구성된 컬러 영상 처리부; 상기 복수 개의 카메라로부터 상기 타겟을 포함한 깊이 영상을 수신하고, 상기 깊이 영상을 이용하여 상기 타겟의 위치 정보를 생성하도록 구성된 깊이 영상 처리부; 및 상기 감축된 컬러 히스토그램 및 상기 타겟의 위치 정보를 이용하여 상기 타겟의 위치를 추적하도록 구성된 다중 목표 추적부를 포함할 수 있다. 상기 다중 목표 추적 시스템은, 거리 정보와 컬러 정보를 선택적으로 활용함으로써 지리적으로 인접한 목표물도 혼동하지 않고 올바르게 추적할 수 있으며, 감축된 컬러 히스토그램을 이용함으로써 컬러 정보의 비교에 소요되는 연산 부담 및 시간을 감소시키고, 근사화된 컬러 정보를 이용함으로써 카메라별 상이한 보정값의 오차에 강인한 컬러 비교와 위치 추적을 가능하게 하여, 목표물의 위치 추적 성능을 높일 수 있다.

Description

다중 목표 추적 시스템 및 방법{SYSTEM AND METHOD FOR TRACKING MULTIPLE TARGETS}

실시예들은 다중 목표 추적 시스템 및 방법에 대한 것이다. 보다 상세하게는, 실시예들은 타겟의 색상 정보 및 위치 정보를 이용하여 타겟의 움직임을 추적하며 두 개 이상의 센서에서 관측된 측정값들을 융합하여 동일한 타겟인지 여부를 판별할 수 있는 다중 목표 추적 시스템 및 방법에 대한 것이다.

하나 이상의 센서를 이용하여 소정의 목표물을 추적하는 기술이 많은 분야에서 사용되고 있다. 예를 들면, 카메라를 이용하여 촬영된 영상에서 특정 사람의 움직임을 추적하는 이미지 처리 기술 등이 이에 해당된다. 이때, 하나의 센서를 이용하여 여러 개의 목표물들이 움직이는 것을 동시에 추적하는 것은 센서의 제한된 관측 범위(즉, 카메라의 시야)에 의하여 제약을 받는다. 따라서, 넓은 영역에서 추적을 수행하기 위해서는 여러 개의 센서를 대상 영역 내의 곳곳에 부착하여야 한다.

한편, 여러 개의 센서를 사용하다 보면, 각 센서의 보정값이 상이하여 동일한 목표물에 대한 각 센서의 측정값이 서로 완전하게 일치하지 않을 수 있다. 예를 들면, 하나의 목표물을 두 개의 센서에서 측정하였으나 두 개의 센서 각각에서 측정된 측정값(예컨대, 목표물의 위치)가 완벽히 일치하지 않을 수 있는 것이다.

Chang Huang 외 공저, "Multiple Target Tracking by Learning-Based Hierarchical Association of Detection Responses", IEEE Transactions on pattern analysis and machine intelligence, Vol. 35, No. 4, 2013년 4월

본 발명의 일 측면에 따르면, 두 개 이상의 센서에서 동시에 관측된 측정값들을 적절히 융합하여 측정물이 동일한 목표물인지 아닌지를 판별할 수 있는 다중 목표 추적 시스템 및 다중 목표 추적 방법과, 상기 다중 목표 추적 방법을 수행하기 위한 명령이 기록된 컴퓨터로 판독 가능한 기록 매체를 제공할 수 있다.

일 실시예에 따른 다중 목표 추적 시스템은, 복수 개의 카메라로부터 타겟을 포함한 컬러 영상을 수신하고, 수신된 컬러 영상을 미리 결정된 하나 이상의 기준색에 근사시킴으로서 감축된 컬러 히스토그램을 생성하도록 구성된 컬러 영상 처리부; 상기 복수 개의 카메라로부터 상기 타겟을 포함한 깊이 영상을 수신하고, 상기 깊이 영상을 이용하여 상기 타겟의 위치 정보를 생성하도록 구성된 깊이 영상 처리부; 및 상기 감축된 컬러 히스토그램 및 상기 타겟의 위치 정보를 이용하여 상기 타겟의 위치를 추적하도록 구성된 다중 목표 추적부를 포함할 수 있다.

일 실시예에 따른 다중 목표 추적 방법은, 복수 개의 카메라로부터 타겟을 포함한 컬러 영상을 수신하는 단계; 상기 복수 개의 카메라로부터 상기 타겟을 포함한 깊이 영상을 수신하는 단계; 상기 깊이 영상을 이용하여 상기 타겟의 위치 정보를 생성하는 단계; 상기 컬러 영상을 미리 결정된 하나 이상의 기준색에 근사시킴으로서 감축된 컬러 히스토그램을 생성하는 단계; 및 상기 감축된 컬러 히스토그램 및 상기 타겟의 위치 정보를 이용하여 상기 타겟의 위치를 추적하는 단계를 포함할 수 있다.

일 실시예에 따른, 컴퓨터로 판독 가능한 기록 매체에는, 전술한 다중 목표 추적 방법을 수행하기 위한 명령이 기록될 수 있다.

본 발명의 일 측면에 따르면, 깊이 영상에서 추출한 위치 정보와 컬러 영상에서 추출한 컬러 정보를 선택적으로 활용함으로써 두 목표물이 지리적으로 인접한 경우에도 목표물을 혼동하지 않고 올바르게 추적할 수 있으며, 감축된 컬러 히스토그램을 이용함으로써 컬러 정보의 비교에 소요되는 연산 부담 및 시간을 감소시켜 효율적인 비교를 가능하게 하고, 근사화된 컬러 정보를 이용함으로써 컬러 보정 오차에 강인한 비교를 가능하게 하여 다중 목표 추적 예측 성능을 높일 수 있다.

도 1은 일 실시예에 따른 다중 목표 추적 시스템의 개략적인 블록도이다.
도 2는 일 실시예에 따른 다중 목표 추적 방법의 순서도이다.
도 3a 내지 3f는 다양한 대상 이미지의 컬러 히스토그램이다.
도 4a 내지 4f는 각각 도 3a 내지 3f에 도시된 컬러 히스토그램이 녹색 편이된 이미지의 컬러 히스토그램이다.
도 5는 일 실시예에 따라 감축된 컬러 히스토그램(Reduced Color Histogram; RCH)을 얻기 위한 RGB 컬러 입방체를 나타내는 개념도이다.
도 6a는 도 3a 내지 3f에 도시된 컬러 히스토그램으로부터 얻어진 RCH이다.
도 6b는 도 4a 내지 4f에 도시된 컬러 히스토그램으로부터 얻어진 RCH이다.

이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.

도 1은 일 실시예에 따른 다중 목표 추적 시스템의 개략적인 블록도이다.

도 1을 참조하면, 본 실시예에 따른 다중 목표 추적 시스템(3)은 컬러 영상 처리부(31), 깊이 영상 처리부(32) 및 다중 목표 추적부(33)를 포함한다. 본 발명의 실시예들에 따른 다중 목표 추적 시스템(3)은, 전적으로 하드웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 다중 목표 추적 시스템(3)을 구성하는 각각의 부(unit)는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.

본 명세서에서, 다중 목표 추적 시스템(3)을 구성하는 각각의 부는 반드시 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되지 않는다. 예를 들어, CPU 또는 다른 프로세서, 촬영 수단 및 표시 수단 등이 하나의 장치에 집적화된 컴퓨팅 장치를 이용하여 본 발명의 실시예들에 따른 다중 목표 추적 방법이 수행될 수 있으며, 이때 다중 목표 추적 시스템(3)을 구성하는 컬러 영상 처리부(31), 깊이 영상 처리부(32) 및 다중 목표 추적부(33) 등은 상기 컴퓨팅 장치를 상기 컴퓨팅 장치에서 수행하는 동작에 따라 기능적으로 구분한 것이며, 서로 분리된 별개의 장치를 지칭하는 것이 아니다. 그러나 실시예에 따라서는 컬러 영상 처리부(31), 깊이 영상 처리부(32) 및 다중 목표 추적부(33) 중 하나 이상이 물리적으로 구분되는 별개의 장치로서 구현될 수도 있으며, 예를 들어, 서로 통신 가능하게 연결된 복수 개의 컴퓨팅 장치를 포함하는 분산 컴퓨팅 환경을 적어도 부분적으로 이용함으로써 실시예들에 따른 다중 목표 추적 방법이 수행될 수도 있다.

실시예들에 따른 다중 목표 추적 시스템(3)은 복수 개의 카메라(1, 2)로부터 측정되는 컬러 영상 및 깊이 영상을 이용하여 타겟을 추적하도록 동작된다. 예를 들어, 카메라(1, 2)는 적색(R), 녹색(G) 및 청색(B) 픽셀들로 이루어지는 RGB 영상과 타겟의 깊이 정보(즉, 카메라(1, 2)로부터 타겟까지의 거리)를 함께 출력하는 RGBD 카메라일 수 있다. 그러나 이는 예시적인 것으로서, 다른 실시예에서 카메라(1, 2)는 전하결합소자(Charge Coupled Device; CCD) 등 컬러 영상을 얻기 위한 하나 이상의 기기와, 적외선 센서 등 깊이 영상을 얻기 위한 다른 하나 이상의 기기가 별개로 구현된 복수 개의 장치를 집합적으로 지칭하는 것일 수도 있다.

본 명세서에서, 타겟이란 실시예들에 따른 다중 목표 추적 시스템(3)에 의하여 추적하고자 하는 목표를 지칭한다. 예를 들면, 타겟이란 특정 인물 또는 특정 신체 부위(예컨대, 얼굴) 등일 수 있다. 카메라(1, 2)에 의해 여러 명의 사람이 위치하는 공간을 촬영하고, 이 중 일부 또는 전부의 사람을 타겟으로 하여 다중 목표 추적을 수행할 수 있다. 카메라(1, 2)에 의해 얻어진 영상 중 타겟에 해당되는 부분을 추출하기 위하여, 공지된 다양한 패턴 인식 및 영상 처리 기술이 사용될 수 있다. 그러나 실시예들에 따른 다중 목표 추적 시스템(3)에 의해 추적 가능한 타겟은 실시예에 따라 다양할 수 있으며, 사람에 한정되는 것은 아니다.

카메라(1, 2)는 타겟을 포함한 촬영 공간의 컬러 영상 및 깊이 영상을 생성한다. 카메라(1)와 카메라(2)는 서로 상이한 위치로부터 타겟을 촬영할 수 있다. 본 명세서의 실시예들에서는 설명의 편의를 위하여 2 개의 카메라(1, 2)를 도시하였으나, 이는 예시적인 것으로서, 다른 실시예에서 다중 목표 추적 시스템(3)은 타겟에 대해 서로 상이한 위치에 위치하는 3개 이상의 카메라로부터 각각 컬러 영상 및 깊이 영상을 수신할 수도 있다. 또한 일 실시예에서는, 컬러 영상 및/또는 깊이 영상을 얻을 수 있는 하나 이상의 카메라가 다중 목표 추적 시스템(3)의 컴포넌트로서 다중 목표 추적 시스템(3)에 포함될 수도 있다.

컬러 영상 처리부(31)는 카메라(1, 2)로부터 컬러 영상을 수신한다. 컬러 영상이란 타겟이 위치하는 공간을 촬영하여 얻어지며 복수의 픽셀 및 픽셀별 컬러 정보를 포함하는 일련의 이미지로서, 예컨대 RGB 영상일 수 있다. 컬러 영상 처리부(31)는 복수 개의 카메라(1, 2)로부터 각각 컬러 영상을 수신하는 복수 개의 컬러 영상 처리부(311, 312)를 포함할 수 있다. 예를 들어, 컬러 영상 처리부(31)는 제1 카메라(1)로부터 컬러 영상을 수신하는 제1 컬러 영상 처리부(311) 및 제2 카메라(2)로부터 컬러 영상을 수신하는 제2 컬러 영상 처리부(312)를 포함할 수 있으나, 이에 한정되는 것은 아니다.

깊이 영상 처리부(32)는 카메라(1, 2)로부터 깊이 영상을 수신한다. 깊이 영상이란 타겟이 위치하는 공간을 깊이 카메라에 의해 촬영하여 얻어지며 복수의 픽셀 및 픽셀별 깊이 정보(즉, 해당 픽셀에 대응되는 공간과 카메라(1, 2) 사이의 거리)를 포함하는 일련의 이미지이다. 깊이 영상 처리부(32)는 복수 개의 카메라(1, 2)로부터 각각 깊이 영상을 수신하는 복수 개의 깊이 영상 처리부(321, 322)를 포함할 수 있다. 예를 들어, 깊이 영상 처리부(32)는 제1 카메라(1)로부터 깊이 영상을 수신하는 제1 깊이 영상 처리부(321) 및 제2 카메라(2)로부터 깊이 영상을 수신하는 제2 깊이 영상 처리부(322)를 포함할 수 있으나, 이에 한정되는 것은 아니다.

컬러 영상 처리부(31)는, 카메라(1, 2)에서 수신된 컬러 영상을 처리하여 감축된 컬러 히스토그램(Reduced Color Histogram; RCH)을 생성할 수 있다. 컬러 영상 처리부(31)에 의해 생성된 RCH는 다중 목표 추적부(33)로 전달된다. 또한, 깊이 영상 처리부(32)는 깊이 영상으로부터 타겟의 위치 정보를 포함한 운동 정보를 얻고, 이를 다중 목표 추적부(33)로 전달한다. 타겟의 운동 정보에는 위치 정보 외에도 타겟의 방향 및/또는 속도 등이 더 포함될 수 있다.

다중 목표 추적부(33)는 깊이 영상 처리부(32)로부터 수신된 타겟의 위치 정보를 이용하여, 대상 영역 내에 위치하는 복수의 타겟을 동시에 추적한다. 다중 목표 추적부(33)는 타겟의 위치를 이용하여 타겟을 하나 이상의 클러스터(cluster)로 클러스터링하고, 깊이 영상으로부터 산출된 위치 정보를 사용하여 클러스터로 묶인 타겟의 위치를 갱신하고 추적한다. 이때, 만약 두 개의 타겟이 매우 가까운 거리에 있다면 깊이 영상으로부터 산출된 위치 정보는 별 차이가 없으나, 타겟 사이의 컬러 공간에서의 거리는 클 수 있다. 따라서, 다중 목표 추적부(33)는 깊이 영상으로부터 산출된 위치 정보와 함께 컬러 영상으로부터 산출된 RCH를 함께 이용함으로써 다수의 목표물을 서로 혼동하지 않고 올바르게 추적할 수 있다. 구체적인 과정에 대해 이하에서 도 2를 참조하여 설명한다.

도 2는 일 실시예에 따른 다중 목표 추적 방법의 순서도이다.

도 1 및 도 2를 참조하면, 깊이 영상 처리부(32)는 깊이 영상을 이용하여 타겟의 유클리드 공간(Eucledean space) 내 위치 정보를 획득할 수 있다(S1). 획득된 타겟의 위치 정보는 다중 목표 추적부(33)에 전달된다. 이때, 타겟의 위치 정보와 함께 컬러 영상 처리부(31)에 의해 생성된 타겟의 RCH도 다중 목표 추적부(33)에 전달될 수 있다. 즉, 특정 타겟에 대해 다중 목표 추적부(33)에 전달되는 전체 정보는 다음과 같이 구성될 수 있다: {카메라 1에 의한 위치 정보} - {카메라 1에 의한 RCH} - {카메라 2에 의한 위치 정보} - {카메라2에 의한 RCH}. 위치 정보와 RCH의 개수는 카메라의 개수에 따라 더 늘어날 수도 있으며, 목표 추적을 위한 RCH의 사용에 대해서는 상세히 후술한다.

다음으로, 다중 목표 추적부(33)는, 획득된 타겟의 위치 정보를 이용하여 위치가 가까운 타겟을 클러스터링한다(S2). 컬러 영상 처리부(31) 및 깊이 영상 처리부(32)에서는 패턴 인식 등의 기법에 의해 추적하고자 하는 타겟(예컨대, 인물)을 인식하는데, 이때 타겟으로 인식된 영역들 사이의 거리가 미리 결정된 문턱값 이하일 경우 동일한 타겟에 해당하는 것으로 판단하여 하나의 클러스터로 구성할 수 있다. 하나의 클러스터에 포함된 타겟들은 이후 위치 추적 단계에서 서로 영향을 미치기 때문에, 다중 목표 추적부(33)는 마르코프 임의장(Markov Random Field; MRF)을 생성함으로써 클러스터들을 MRF를 이용하여 나타낼 수 있다(S3). MRF는 시스템의 임의 변수를 노드(node)로 보고 노드들 사이의 이웃 관계를 에지(edge)로 보아 완전 그래프(complete graph)를 이루는 이웃 체계 시스템에서 정의되며, 임의의 변수가 해당 변수와 이웃 관계를 이루는 임의 변수들에 대해 가진 의존도에 따라 해당 변수에 대한 MRF가 정의된다. MRF에 대해서는 본 발명이 속하는 기술분야에서 잘 알려져 있으므로, 본 명세서에서는 자세한 설명을 생략한다.

다음으로, 다중 목표 추적부(33)는 추적하고자 하는 타겟이 다른 타겟과 MRF로 묶여있는지 여부를 결정한다(S4). 만약 추적하고자 하는 타겟이 MRF로 묶여있지 않다면, 다중 목표 추적부(33)는 깊이 영상으로부터 얻어진 위치 정보만을 이용하여 해당 타겟의 위치를 갱신하고 추적할 수 있다(S5). 이때, 다중 목표 추적부(33)는 복수 개의 카메라(1, 2)의 깊이 영상으로부터 얻어진 위치 정보를 함께 사용하여 타겟의 위치를 결정한다. 위치의 갱신 및 추적은 파악된 타겟의 위치, 방향 및/또는 속도를 이용하여 미래의 타겟의 위치, 방향 및/또는 속도를 분절된 시간 단계별로 산출함으로써 수행될 수 있다. 또한, 위치 갱신 및 추적은 칼만 필터(Kalman filter) 또는 파티클 필터(particle filter)를 이용하여 수행될 수도 있다. 목표물의 위치를 추적하는 구체적인 연산 과정에 대해서는 본 발명의 기술분야에서 잘 알려져 있으므로 자세한 설명을 생략한다.

한편, 추적하고자 하는 타겟이 다른 타겟과 MRF로 묶여있을 경우(S4)에는, 타겟들 사이의 거리가 가깝기 때문에 위치 정보만을 이용하여 각각의 타겟을 추적하는 것이 쉽지 않다. 이와 같이 거리가 가까운 타겟들을 독립적으로 추적하기 위하여, 다중 목표 추적부(33)는 컬러 영상 처리부(31)에서 수신된 컬러 히스토그램을 더 이용하여 목표물 추적을 수행할 수 있다. 실시예들에서는, 컬러 영상에서 추출된 타겟을 효율적으로 비교하기 위하여 원본 컬러 히스토그램이 아닌 RCH를 이용한다.

도 3a 내지 3f는 타겟으로서 인물을 포함하고 있는 다양한 이미지의 원본 컬러 히스토그램이며, 도 4a 내지 4f는 각각 도 3a 내지 3f의 컬러 히스토그램이 녹색 편이된 컬러 히스토그램이다.

복수 개의 카메라를 사용하여 타겟(예컨대, 특정 인물)을 추적하는 경우, 서로 상이한 카메라들에서 촬영된 영상의 색감은 미세하게 상이할 수 있다. 이는 카메라 각각의 보정 값이 상이하거나, 카메라가 설치된 위치에 따라 조명 조건이 상이한 경우 등에 흔히 벌어지는 현상이다. 카메라들로부터 얻어진 인물 영상을 사람이 육안으로 관찰하는 경우라면, 한 카메라의 영상이 다른 카메라의 영상과 비교하여 색이 특정 색으로 조금 치우쳐 있더라도, 사람은 영상 내의 인물이 동일한 인물이라는 것을 어렵지 않게 알아낼 수 있다.

그러나, 컬러 히스토그램에서 이러한 색상 변화는 도 3a 및 도 4a의 차이와 같은 형태로 나타나게 되어, 동일한 타겟에 대한 컬러 히스토그램이라는 것을 판별하기가 쉽지 않다. RGB 영상에서 컬러 히스토그램은 R, G, B 세 개의 채널에 대하여 각각 256 단계로 밝기를 나누어 해당 밝기를 갖는 픽셀들의 개수를 나타내도록 생성되므로 3×256개의 값을 가지며, 예컨대, 도 3a 및 도 4a의 컬러 히스토그램을 서로 비교하기 위해서는 3×256 = 768 차원의 벡터들을 서로 비교해야 한다. 이처럼 고차원 벡터를 비교하여 유사성을 판별하는 것은 계산 효율에 좋지 못하고 비교가 효과적이지도 않다.

이를 해결하기 위하여, 본 발명의 실시예들에서는 제한된 복수 개의 기준색을 사용하여 RCH를 생성한다. 도 5는 일 실시예에 따라 RCH를 얻기 위한 RGB 컬러 입방체를 나타내는 개념도이다. 도 5를 참조하면, 본 실시예에서 RCH는 RGB 컬러 입방체의 각 모서리에 대응되는 검은색(black), 적색(red), 녹색(green), 청색(blue), 청록색(cyan), 자주색(magenta), 노란색(yellow) 및 하얀색(white)을 기준색으로 이용하여 생성된다. 이 경우 RGB 공간 내에서 기준색 사이의 거리가 가능한 멀기 때문에, 이미지의 유사도를 판별하기 위한 적절한 기준을 제공할 수 있다.

RCH를 생성하기 위해, 먼저 컬러 영상의 모든 픽셀들을 RGB 공간에 투영한 후, RGB 공간 내에서 전술한 8개의 기준색에 대응되는 점(즉, RGB 컬러 입방체의 각 모서리)과의 거리가 미리 결정된 값 이하인 픽셀들의 개수 만을 셀 수 있다. 예를 들어, 픽셀들의 위치를 도 5에 도시된 RGB 컬러 입방체에 투영한 상태에서, 특정 픽셀의 위치가 좌하단 모서리에 위치하는 적색 점에 가까울수록 해당 픽셀은 붉은 색을 띠게 될 것이다. 이때, 적색 점에 해당되는 모서리와의 거리가 미리 결정된 경계값 이하인 픽셀들의 개수를 세고, 해당 픽셀들의 개수를 RCH에서 기준색 적색에 해당하는 스칼라 값으로 결정할 수 있다. 즉, 이는 적색과의 인접도가 일정 수준 이상인 픽셀들은 모두 적색으로 근사시키는 것으로 이해될 수 있다. 동일한 방식으로, 나머지 기준색들에 대응되는 픽셀들의 수를 세는 것에 의하여, RCH에서 각각의 기준색으로 근사되는 픽셀들의 수, 즉, 각 기준색에 해당하는 스칼라 값들을 결정할 수 있다.

그 결과 생성된 RCH는 다음과 같은 구성을 가진 8차원 벡터가 된다: {검은색 픽셀 수, 적색 픽셀 수, 녹색 픽셀 수, 청색 픽셀 수, 청록색 픽셀 수, 자주색 픽셀 수, 노란색 픽셀 수, 하얀색 픽셀 수}. 다만, 본 실시예에서 언급한 기준색의 개수 및 종류는 예시적인 것으로서, 다른 실시예에서는 더 적거나 더 많은 수의 기준색이 이용될 수도 있으며, 기준색으로 사용될 색상도 비교하고자 하는 이미지 또는 타겟의 컬러에 따라 본 명세서에 기재된 것과 상이하게 결정될 수도 있다.

도 6a는 전술한 과정에 의하여 도 3a 내지 3f에 도시된 컬러 히스토그램으로부터 얻어진 RCH로서, 도 6a의 사람(PERSON) 1 내지 6은 각각 도 3a 내지 3f에 대응된다. 또한, 도 6b는 동일한 과정에 의해 도 4a 내지 4f에 도시된 컬러 히스토그램으로부터 얻어진 RCH로서, 도 6b의 사람1 내지 6은 각각 도 4a 내지 4f에 대응된다. 도 3a 내지 3f의 원본 컬러 히스토그램이 도 4a 내지 4f의 녹색 편이된 컬러 히스토그램과 상당한 차이를 가지는 것에 비해, 도 6a 및 6b에서 동일한 사람의 이미지에 의해 얻어진 RCH는 명확한 유사도를 갖는다. 3개의 채널에 대해 256 단계의 밝기 값을 가지는 컬러 히스토그램을 원본 그대로 비교하는 대신, 8차원 벡터인 RCH로 변환하여 비교함으로써, 이미지 사이의 유사도를 보다 용이하게 확인할 수 있으며 비교의 성공 확률이 높아지게 된다.

다시 도 2를 참조하면, 다중 목표 추적부(33)는 유클리드 공간에 전술한 8차원 벡터 RCH에 상응하는 RCH 공간을 추가한 확장 공간을 생성할 수 있다(S6). 다음으로, 다중 목표 추적부(33)는 확장 공간 내 타겟들의 위치를 이용하여 타겟들을 클러스터링한다(S7). 두 타겟이 아주 가까운 거리에 있을 경우 타겟 사이의 유클리드 공간 내의 거리는 매우 작으나, 타겟의 컬러가 동일하지 않은 이상 RCH 공간에서 두 타겟 사이의 거리는 상대적으로 더 클 것이다. 따라서, RCH 공간을 이용하여 유클리드 공간을 확장할 경우 지리적으로 인접한 두 타겟이라고 하더라도 혼동하는 일 없이 각각의 타겟을 올바르게 추적할 수 있다.

한편, 각각의 카메라(1, 2)마다 타겟을 바라보는 방향이 상이하므로 타겟의 상이한 면을 촬영하게 될 수 있으며, 동일한 타겟의 영상이라도 카메라(1, 2)에 따라 컬러가 상이할 수 있다. 따라서, 전술한 것과 같이 RCH를 이용하여 확장 공간을 생성하는 과정(S6) 및 타겟을 클러스터링하는 과정(S7)은 각각의 카메라(1, 2)로부터 얻어진 컬러 영상에 대하여 개별적으로 수행되어야 한다.

확장 공간에서의 거리를 이용하여 클러스터링된 타겟은, 전술한 단계(S5)와 유사하게 다중 목표 추적부(33)에 의해 위치가 갱신되고 추적된다(S8). 이때, 다중 목표 추적부(33)는 복수 개의 카메라(1, 2)의 컬러 영상 및 깊이 영상으로부터 얻어진 RCH와 위치 정보를 함께 사용하여 타겟의 위치를 결정한다.

이상에서 설명한 실시예들에 따른 다중 목표 추적 시스템 및 방법은 적어도 부분적으로 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 실시예들에 따른 기록매체에는 다중 목표 추적 장치 및 방법에 의한 동작을 구현하기 위한 프로그램이 기록되며, 상기 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장될 수 있는 임의의 종류의 기록장치를 포함한다. 예컨대, 컴퓨터가 읽을 수 있는 기록매체에는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(carrier wave)(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.

이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims

복수 개의 카메라로부터 타겟을 포함한 컬러 영상을 수신하고, 수신된 컬러 영상을 미리 결정된 하나 이상의 기준색에 근사시킴으로서 감축된 컬러 히스토그램을 생성하도록 구성된 컬러 영상 처리부;
상기 복수 개의 카메라로부터 상기 타겟을 포함한 깊이 영상을 수신하고, 상기 깊이 영상을 이용하여 상기 타겟의 위치 정보를 생성하도록 구성된 깊이 영상 처리부; 및
상기 감축된 컬러 히스토그램 및 상기 타겟의 위치 정보를 이용하여 상기 타겟의 위치를 추적하도록 구성된 다중 목표 추적부를 포함하되,
상기 다중 목표 추적부는,
상기 타겟의 위치 정보를 이용하여 복수 개의 상기 타겟을 하나 이상의 클러스터로 묶고, 상기 클러스터에 대응되는 마르코프 임의장을 생성하되,
다른 타겟과 상기 마르코프 임의장으로 묶이지 않은 상기 타겟에 대해서는 상기 타겟의 위치 정보를 이용하여 상기 타겟의 위치를 추적하고, 다른 타겟과 상기 마르코프 임의장으로 묶인 상기 타겟에 대해서는 상기 위치 정보에 대응되는 유클리드 공간에 상기 감축된 컬러 히스토그램에 상응하는 공간을 추가한 확장 공간 내에서 상기 타겟의 위치를 이용하여 상기 타겟을 더 클러스터링하여 상기 타겟의 위치를 추적하도록 더 구성되는 다중 목표 추적 시스템.
삭제
삭제
삭제
제 1항에 있어서,
상기 깊이 영상 처리부는, 상기 깊이 영상으로부터 산출된 상기 타겟의 방향 또는 이동 속도 중 하나 이상을 상기 다중 목표 추적부에 전달하도록 더 구성된 다중 목표 추적 시스템.
복수 개의 카메라로부터 타겟을 포함한 컬러 영상을 수신하는 단계;
상기 복수 개의 카메라로부터 상기 타겟을 포함한 깊이 영상을 수신하는 단계;
상기 깊이 영상을 이용하여 상기 타겟의 위치 정보를 생성하는 단계;
상기 컬러 영상을 미리 결정된 하나 이상의 기준색에 근사시킴으로서 감축된 컬러 히스토그램을 생성하는 단계;
상기 타겟의 위치 정보를 이용하여 복수 개의 상기 타겟을 하나 이상의 클러스터로 묶는 단계;
상기 클러스터에 대응되는 마르코프 임의장을 생성하는 단계; 및
상기 감축된 컬러 히스토그램 및 상기 타겟의 위치 정보를 이용하여 상기 타겟의 위치를 추적하는 단계를 포함하되,
상기 타겟의 위치를 추적하는 단계는,
다른 타겟과 상기 마르코프 임의장으로 묶이지 않은 상기 타겟에 대해서는, 상기 타겟의 위치 정보를 이용하여 상기 타겟의 위치를 추적하는 단계; 및
다른 타겟과 상기 마르코프 임의장으로 묶인 상기 타겟에 대해서는, 상기 위치 정보에 대응되는 유클리드 공간에 상기 감축된 컬러 히스토그램에 상응하는 공간을 추가한 확장 공간 내에서 상기 타겟의 위치를 이용하여 상기 타겟을 더 클러스터링하여 상기 타겟의 위치를 추적하는 단계를 포함하는 다중 목표 추적 방법.
삭제
삭제
삭제
제 6항에 있어서,
상기 타겟의 위치를 추적하는 단계 전에, 상기 깊이 영상으로부터 상기 타겟의 방향 또는 이동 속도 중 하나 이상을 산출하는 단계를 더 포함하는 다중 목표 추적 방법.
컴퓨팅 장치에 의하여 실행됨으로써, 상기 컴퓨팅 장치가 다중 목표 추적 방법을 수행하도록 하는 명령이 기록된, 컴퓨터로 판독 가능한 기록 매체로서,
상기 다중 목표 추적 방법은,
복수 개의 카메라로부터 타겟을 포함한 컬러 영상을 수신하는 단계;
상기 복수 개의 카메라로부터 상기 타겟을 포함한 깊이 영상을 수신하는 단계;
상기 깊이 영상을 이용하여 상기 타겟의 위치 정보를 생성하는 단계;
상기 컬러 영상을 미리 결정된 하나 이상의 기준색에 근사시킴으로서 감축된 컬러 히스토그램을 생성하는 단계;
상기 타겟의 위치 정보를 이용하여 복수 개의 상기 타겟을 하나 이상의 클러스터들로 묶는 단계;
상기 클러스터에 대응되는 마르코프 임의장을 생성하는 단계; 및
상기 감축된 컬러 히스토그램 및 상기 타겟의 위치 정보를 이용하여 상기 타겟의 위치를 추적하는 단계를 포함하되,
상기 타겟의 위치를 추적하는 단계는,
다른 타겟과 상기 마르코프 임의장으로 묶이지 않은 상기 타겟에 대해서는, 상기 타겟의 위치 정보를 이용하여 상기 타겟의 위치를 추적하는 단계; 및
다른 타겟과 상기 마르코프 임의장으로 묶인 상기 타겟에 대해서는, 상기 위치 정보에 대응되는 유클리드 공간에 상기 감축된 컬러 히스토그램에 상응하는 공간을 추가한 확장 공간 내에서 상기 타겟의 위치를 이용하여 상기 타겟을 더 클러스터링하여 상기 타겟의 위치를 추적하는 단계를 포함하는, 컴퓨터로 판독 가능한 기록 매체.