KR20170073963A - 그룹-기반 다중 객체 추적 장치 및 방법 - Google Patents

Abstract

본 명세서의 일 실시예에 따른 객체 추적 방법은 컬러 센서와 깊이 센서를 갖는 제1 카메라로부터 획득된 제1 영상으로부터 복수의 객체들을 식별하는 단계, 각 객체들 간의 3차원 거리 및 오버랩 비율에 기초하여 복수의 객체들 중 일부 또는 전부를 그룹화하여 객체 그룹을 형성하는 단계, 객체 그룹을 단일 객체로서 추적하는 단계, 및 객체 그룹과 객체 그룹 내 각 객체 간의 3차원 거리 및 상기 객체 그룹 내 각 객체 간의 오버랩 비율 중 적어도 하나에 기초하여, 객체 그룹 내 객체들 중 일부 또는 전부를 그룹 해제하는 단계를 포함할 수 있다.

Description

그룹-기반 다중 객체 추적 장치 및 방법{DEVICE AND METHOD FOR TRACKING GROUP-BASED MULTIPLE OBJECT}

본 명세서는 객체 추적 분야에 관한 것이다. 보다 상세하게는, 다중 객체를 식별하고 추적하는 기술에 관한 것이다.

센서 및 영상 처리 기술의 발전에 따라 카메라 센서 등에 의해 획득된 영상으로부터 객체를 식별하고 식별된 객체를 추적하는 기술이 다수 등장하고 있다. 특히, 3차원 영상으로부터 사람을 식별하고, 식별된 사람을 추적하는 기술은 로봇 기술 분야, 방범 분야 등 다양한 분야에서 관심 대상이 되고 있다.

이러한 사람 식별 및 추적 기술 중 아래 선행 논문 1에 개시된 종래의 “3차원 위치-기반 추적 기술”은 현재 프레임에서 식별된 각 사람의 3차원 위치와 이전 프레임에서 식별된 각 사람 사이의 3차원 위치 간의 3차원 거리를 산출하여, 가장 가까운 3차원 거리를 갖는 사람끼리 서로 연관시킴으로써, 식별된 사람을 계속하여 추적한다. 그런데, 이 추적 기술은 다수의 사람들이 서로 매우 가깝게 위치하는 경우, 각 사람들 사이의 가려짐 또는 겹침 현상으로 인해 생기는 3 차원 위치의 불안정성 때문에, 추적을 놓치는 경우가 발생될 수 있다는 문제를 갖는다.

또한, 사람 식별 및 추적 기술 중 아래 선행 논문 2에 개시된 “종래의 칼만 필터-기반 추적 기술”은 현재 프레임에서 ‘식별된 각 사람의 3차원 위치’ 이전 프레임에서 식별된 각 사람의 3차원 위치에 기초하여 칼만 필터에 의해 추정된 현재 프레임의 ‘추정된 각 사람 의 3차원 위치’ 간의 3차원 거리를 산출하여, 가장 가까운 3차원 거리를 갖는 사람끼리 서로 연관시킴으로써, 식별된 사람을 계속하여 추적한다. 그런데, 이 추적 기술은 역시 사람이 갑자기 방향을 변경하는 경우, 사람의 식별을 잃거나, 또는 추적을 놓칠 수 있다는 문제를 갖는다.

이처럼, 종래의 사람 식별 및 추적 기술은 다수의 사람이 매우 가깝게 위치하며 그룹을 형성하여 움직이거나, 이동 방향을 갑자기 바꾸거나, 또는 한 사람이 다른 사람에 의해 가려지는 경우, 사람의 식별 및 추적이 어려워지는 문제를 갖는다.

L.A. Schwarz, "Human skeleton tracking from depth date using geodesic distances and optical flow", Image and Vision Computing, vol. 30(30), pp. 217-226, 2012. X. Yun, "Implementation and experimental results of a quaternion-based Kalman filter for human body motion tracking", in Proc. IEEE Int. conf. Robotics and Automation ICRA, 2005, pp. 317-322.

이에 본 명세서는 그룹 내에 있는 객체, 이동 방향을 급하게 바꾸는 객체 및 다른 객체에 의해 가려진 객체도 계속하여 추적할 수 있는 새로운 방식의 그룹-기반의 객체 추적 장치 및 방법을 제공하고자 한다.

본 명세서의 일 실시예에 따른 객체 추적 장치는 컬러 센서와 깊이 센서를 갖는 제1 카메라로부터 획득된 제1 영상으로부터 복수의 객체들을 식별하는 객체 식별 모듈, 각 객체들 간의 3차원 거리 및 오버랩 비율에 기초하여 복수의 객체들 중 일부 또는 전부를 그룹화하여 객체 그룹을 형성하는 그룹 형성 모듈, 상기 객체 그룹을 단일 객체로서 추적하는 그룹 추적 모듈 및 상기 객체 그룹과 상기 객체 그룹 내 각 객체 간의 3차원 거리 및 상기 객체 그룹 내 각 객체 간의 오버랩 비율 중 적어도 하나에 기초하여, 상기 객체 그룹 내 객체들 중 일부 또는 전부를 그룹 해제하는 그룹 해제 모듈을 포함할 수 있다.

실시예로서, 그룹 형성 모듈은, 상기 제1 영상으로부터 식별된 제1 객체와 제2 객체 간의 3차원 거리가 제1 스레스홀드 거리 미만이고, 상기 제1 객체와 상기 제2 객체 간의 오버랩 비율이 스레스홀드 비율 이상인 경우, 상기 제1 객체와 상기 제2 객체를 그룹화하여 제1 객체 그룹을 형성할 수 있다.

실시예로서, 그룹 형성 모듈은, 상기 제1 영상으로부터 식별된 제3 객체와 상기 제1 객체 그룹 간의 3차원 거리가 상기 제1 스레스홀드 거리 미만이고, 상기 제3 객체와 상기 제1 객체 그룹 내 객체들 간의 오버랩 비율들 중 적어도 하나가 스레스홀드 비율 이상인 경우, 상기 제3 객체를 상기 제1 객체 그룹에 더 그룹화할 수 있다.

실시예로서, 그룹 해제 모듈은, 상기 제1 객체 그룹과 상기 제1 객체 간의 3차원 거리가 상기 제1 스레스홀드 거리 이상이며 제2 스레스홀드 거리 미만이거나, 또는 상기 제1 객체와 상기 객체 그룹 내 다른 객체 간의 오버랩 비율들 모두가 스레스홀드 비율 미만인 경우, 상기 제1 객체가 상기 제1 객체 그룹으로부터 그룹 해제된 것으로 결정할 수 있다.

실시예로서, 그룹 해제 모듈은, 제1 프레임에서의 객체 그룹과 상기 제1 프레임 이후의 프레임인 제2 프레임에서의 상기 객체 그룹 내 각 객체 간의 3차원 거리 및 상기 제2 프레임에서의 상기 객체 그룹 내 각 객체 간의 오버랩 비율에 기초하여, 상기 객체 그룹 내 객체들 중 일부 또는 전부를 그룹 해제할지 여부를 결정할 수 있다.

실시예로서, 객체 식별 모듈은, 상기 각 객체에 대한 객체 정보와 객체 이름 정보를 획득하고, 상기 그룹 형성 모듈은, 상기 객체 그룹에 대한 그룹 정보와 그룹 이름 정보를 획득하고, 상기 그룹 해제 모듈은, 그룹 해제된 객체에 대한 객체 정보와 객체 이름 정보를 다시 획득하고, 상기 그룹 해제된 객체가 포함되었던 객체 그룹에 대한 그룹 정보와 그룹 이름 정보를 다시 획득할 수 있다.

실시예로서, 객체 정보는, 개별 객체에 대한 위치 정보, 관심영역 정보, SURF(speed-up robust feature) 특징 정보 및 컬러 히스토그램 정보 중 적어도 하나를 포함하고, 상기 그룹 정보는, 상기 객체 그룹에 대한 그룹 위치 정보를 포함할 수 있다.

실시예로서, 객체 식별 모듈은, 상기 제1 카메라로부터 획득된 제1 영상에 기초하여 상기 객체 정보를 획득하고, 상기 제1 카메라와 상이한 제2 카메라로부터 획득된 상기 식별된 객체의 특정 영역을 확대 촬영한 제2 영상에 기초하여 상기 객체 이름 정보를 획득할 수 있다.

실시예로서, 그룹 형성 모듈은, 획득된 객체 정보 및 객체 이름 정보에 기초하여, 상기 그룹 정보 및 상기 그룹 이름 정보를 획득할 수 있다.

실시예로서, 상기 그룹 해제 모듈은, 상기 제1 카메라로부터 획득된 제1 영상에 기초하여 그룹 해제된 객체에 대한 객체 정보를 다시 획득하고, 다시 획득된 객체 정보에 기초하여 이미 획득된 객체 이름 중 하나를 상기 그룹 해제된 객체에 대한 객체 이름으로 할당할 수 있다.

실시예로서, 상기 제1 카메라는 RGB-D 카메라이고, 상기 제2 카메라는 PTZ 카메라일 수 있다.

본 명세서의 일 실시예에 따른 객체 추적 방법은 컬러 센서와 깊이 센서를 갖는 제1 카메라로부터 획득된 제1 영상으로부터 복수의 객체들을 식별하는 단계, 각 객체들 간의 3차원 거리 및 오버랩 비율에 기초하여 복수의 객체들 중 일부 또는 전부를 그룹화하여 객체 그룹을 형성하는 단계, 상기 객체 그룹을 단일 객체로서 추적하는 단계, 및 상기 객체 그룹과 상기 객체 그룹 내 각 객체 간의 3차원 거리 및 상기 객체 그룹 내 각 객체 간의 오버랩 비율 중 적어도 하나에 기초하여, 상기 객체 그룹 내 객체들 중 일부 또는 전부를 그룹 해제하는 단계를 포함할 수 있다.

본 명세서에 따르면, 객체 추적 장치는 그룹 환경에 있는 다수의 객체을 연속적으로 추적할 수 있다.

또한, 본 명세서에 따르면, 객체 추적 장치는 3차원 거리뿐만 아니라, 각 객체들 간의 오버랩 비율에 더 기초하여 그룹의 해제 및 유지 여부를 결정함으로써, 그룹을 정확히 추적할 수 있다.

또한, 본 명세서에 따르면, 객체 추적 장치는 그룹 해제 시 최소한의 정보 및 처리 과정을 통해 그룹 해제된 객체의 이름을 정확하게 식별할 수 있다.

도 1은 본 명세서의 일 실시예에 따른 객체 추적 장치의 구성도이다.
도 2는 본 명세서의 일 실시예에 따른 도 1의 제어부의 세부 구성도이다.
도 3은 본 명세서의 일 실시예에 따른, 객체 추적 장치가 그룹-기반으로 객체를 식별하고 추적하는 과정을 영상의 프레임별로 나타낸 예시도이다.
도 4는 본 명세서의 다른 실시예에 따른, 객체 추적 장치가 그룹-기반으로 객체를 식별하고 추적하는 과정을 영상의 프레임별로 나타낸 예시도이다.
도 5는 본 명세서의 일 실시예에 따른 객체 추적 방법을 나타내는 흐름도이다.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.

본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

또한, 본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치", "로봇" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 부, 모듈, 장치, 로봇 또는 시스템은 플랫폼(platform)의 일부 또는 전부를 구성하는 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 애플리케이션(application) 등의 소프트웨어를 지칭하는 것일 수 있다.

본 명세서에서, 객체 추적 장치는 그룹-기반으로 다수의 객체를 식별 및 추적하는 장치를 말한다. 예를 들면, 객체 추적 장치는 하나 이상의 카메라로부터 획득한 영상에서 식별된 복수의 객체 중 일부 또는 전부를 그룹화하여 객체 그룹을 형성하고, 객체 그룹을 단일 객체로서 추적하는 장치일 수 있다. 여기서, 객체는 식별이 가능한 대상으로서, 예를 들면, 사람일 수 있다.

도 1은 본 명세서의 일 실시예에 따른 객체 추적 장치의 구성도이다. 도 1을 참조하면, 객체 추적 장치(100)는 하나 이상의 카메라부(110), 디스플레이부(120), 저장부(130) 및 제어부(140)를 포함할 수 있다.

카메라부(110)는 하나 이상의 카메라를 이용하여 대상영역의 영상을 촬영할 수 있다. 일 실시예에서, 카메라부(110)는 이종의 카메라를 포함할 수 있다. 예를 들면, 카메라부(110)는 컬러 센서와 깊이 센서를 포함하는 하나 이상의 제1 카메라(111)(예컨대, RGB-D 카메라, 키넥트) 및 제1 카메라(111)와 이종의 카메라인 확대촬영 기능을 포함하는 하나 이상의 제2 카메라(112)(예컨대, PTZ(pan-tilt-zoom) 카메라)를 포함할 수 있다.

실시예로서, 카메라부(110)는 상기 제1 카메라(111)를 이용하여 대상영역을 촬영하여 색상 정보 및 깊이 정보를 포함하는 제1 영상을 획득할 수 있다. 또한, 카메라부(110)는 미리 설정된 간격으로 위치된 복수의 제1 카메라(111)를 이용하여 상기 대상영역을 촬영하여 3차원의 제1 영상을 획득할 수 있다. 이렇게 획득된 제1 영상에는 하나 이상의 객체(예컨대, 사람)가 포함될 수 있다.

실시예로서, 카메라부(110)는 상기 제2 카메라(112)를 이용하여 상기 대상영역 내의 특정 부분을 확대 촬영하여 제2 영상을 획득할 수 있다. 예를 들면, 카메라부(110)는 제1 영상으로부터 식별된 객체(예컨대, 사람)의 특정 부분(예컨대, 얼굴)을 확대 촬영하여 제2 영상을 획득할 수 있다. 이러한 제2 영상은 객체에 대한 이름을 결정하는데 사용될 수 있다.

디스플레이부(120)는 하나 이상의 디스플레이 영역 상에 시각 정보를 디스플레이할 수 있다. 예를 들면, 디스플레이부(120)는 제1 카메라(111)카메라부(110)에 의해 획득된 제1 영상을 제1 디스플레이 영역 상에 디스플레이하고, 상기 제1 영상에서 식별된 객체에 대한 객체 정보와 객체 이름 정보 및/또는 식별된 객체를 그룹화한 객체 그룹에 대한 그룹 정보와 그룹 이름 정보 중 일부 또는 전부를 제2 디스플레이 영역 상에 디스플레이할 수 있다. 또한, 디스플레이부(120)는 객체 및 객체 그룹의 각각에 대한 관심 영역(region of interest: ROI)의 표시를 상기 제1 영상에 합성하여 제1 디스플레이 영역에 디스플레이할 수 있다. 여기서, 관심 영역은 객체 또는 객체 그룹과 연관된 영역으로서, 예컨대, 객체 또는 객체 그룹을 둘러싸는 직사각형 모양의 영역의 형태일 수 있다.

여기서, 객체 정보는 개별 객체에 대한 정보로서, 예컨대, 개별 객체의 객체 위치 정보, 객체 관심영역 정보, SURF(speed-up robust feature) 특징 정보 및 컬러 히스토그램 정보 중 적어도 하나를 포함할 수 있다. 또한, 객체 이름 정보는 개별 객체의 이름을 나타내는 정보로서, 예컨대, 개별 객체를 대표하는 실제 또는 가상의 이름에 대한 정보일 수 있다.

이때, 객체 위치 정보는 개별 객체의 위치를 나타내는 정보로서, 예컨대, 개별 객체를 대표하는 3차원 위치(예를 들어, 개별 객체와 연관된 관심영역의 왼쪽 상단 코너의 3차원 위치)에 대한 정보일 수 있다. 또한, 객체 관심영역 정보는 개별 객체와 연관된 관심영역에 대한 정보로서, 예컨대, 관심영역의 높이에 대한 정보일 수 있다. 또한, SURF 특징 정보는 개별 객체에 대한 SURF 특징을 나타내는 정보로서, 예컨대, 개별 객체의 관심영역 내 SURF 특징점의 형태로 표현될 수 있다. 또한, 컬러 히스토그램 정보는 개별 객체에 대한 컬러 히스토그램을 나타내는 정보일 수 있다.

또한, 그룹 정보는 복수의 개별 객체로 구성된 객체 그룹에 대한 정보로서, 예컨대, 객체 그룹의 그룹 위치 정보(예컨대, 3차원 위치) 및 그룹 관심 영역 정보 중 적어도 하나를 포함할 수 있다. 그룹 이름 정보는 객체 그룹의 이름을 나타내는 정보로서, 예컨대, 객체 그룹을 대표하는 실제 또는 가상의 이름에 대한 정보일 수 있다.

이때, 그룹 위치 정보는 객체 그룹의 위치를 나타내는 정보로서, 예컨대, 객체 그룹을 대표하는 3차원 위치(예를 들어, 객체 그룹과 연관된 관심영역의 왼쪽 상단 코너의 3차원 위치)에 대한 정보일 수 있다. 또한, 그룹 관심영역 정보는 객체 그룹과 연관된 관심영역에 대한 정보로서, 예컨대, 관심영역의 높이에 대한 정보일 수 있다.

저장부(130)는 상기 객체 정보, 상기 객체 이름 정보, 상기 그룹 정보 및 상기 그룹 이름 정보 중 적어도 하나를 저장할 수 있다. 실시예로서, 저장부(130)는 영상의 매 프레임마다 획득된 각 정보를 프레임 별로 구분하여 저장할 수 있다. 또한, 저장부(130)는 각 객체에 대한 기본 이름 정보를 미리 저장할 수 있다. 여기서, 기본 이름 정보는 개별 객체와 객체의 이름을 연관시킨 정보일 수 있다.

제어부(140)는 객체 추적 장치(100)의 각 구성을 제어할 수 있다. 예를 들면, 제어부(140)는 카메라부(110), 디스플레이부(120) 및 저장부(130)에 연결되어, 각 구성을 제어할 수 있다. 본 명세서에서 제어부(140)는 객체 추적 장치(100)가 하나 이상의 카메라로부터 획득한 영상에서 식별된 복수의 객체 중 일부 또는 전부를 그룹화하여 객체 그룹을 형성하고, 객체 그룹을 단일 객체로서 추적할 수 있도록 하는 복수의 모듈들로 구성될 수 있다. 이에 대하여는 도 2를 참조하여, 이하에서 상세히 설명하도록 한다.

도 1은 본 명세서의 일 실시예에 따른 구성도로서, 분리하여 표시한 구성들은 장치의 구성요소들을 논리적으로 구별하여 도시한 것이다. 따라서, 상술한 장치의 구성요소는 장치의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다. 이하에서는, 제어부(140)가 객체 추적 장치(100) 또는 객체 추적 장치(100)에 포함된 적어도 하나의 구성을 제어한다고 표현할 수 있으며, 제어부(140)와 객체 추적 장치(100)를 동일시하여 설명할 수 있다.

도 2는 본 명세서의 일 실시예에 따른 도 1의 제어부의 세부 구성도이다.

도 2를 참조하면, 제어부는 객체 식별 모듈(141), 그룹 형성 모듈(142), 그룹 추적 모듈(143) 및 그룹 해제 모듈(144)을 포함할 수 있다.

객체 식별 모듈(141)은 카메라부에 의해 촬영된 영상에서 하나 이상의 객체들을 식별할 수 있다. 예를 들면, 객체 식별 모듈(141)은 제1 카메라에 의해 촬영된 색상 정보와 깊이 정보를 포함하는 제1 영상에서 하나 이상의 객체를 식별할 수 있다. 이때, 객체 식별 모듈(141)은 제1 영상의 매 프레임마다 객체를 식별할 수 있다.

또한, 객체 식별 모듈(141)은 카메라부에 의해 촬영된 영상에 기초하여 식별된 각 객체에 대한 객체 정보 및 객체 이름 정보를 획득할 수 있다. 또한, 객체 식별 모듈(141)은 획득된 객체 정보 및 객체 이름 정보의 전부 또는 일부를 저장부에 저장할 수 있다.

일 실시예에서, 객체 식별 모듈(141)은 제1 카메라에 의해 촬영된 제1 영상에 기초하여, 식별된 각 객체에 대한 객체 정보 중 적어도 하나를 획득할 수 있다. 예를 들면, 객체 식별 모듈(141)은 제1 영상에 기초하여 식별된 객체와 연관된 관심 영역을 결정하고, 관심영역의 왼쪽 상단 코너의 3차원 위치를 획득하고, 관심영역의 높이를 획득하고, 관심 영역 내 SURF 특징 및 컬러 히스토그램을 획득함으로써, 객체 위치 정보, 객체 관심영역 정보, 객체 SURF 특징 정보 및 객체 컬러 히스토그램 정보를 각각 획득할 수 있다.

일 실시예에서, 객체 식별 모듈(141)은 제1 카메라와 상이한 제2 카메라에 의해 촬영된 식별된 각 객체의 특정 영역에 대한 제2 영상에 기초하여, 각 객체에 대한 객체 이름 정보를 획득할 수 있다. 예를 들면, 객체 식별 모듈(141)은 제2 카메라를 이용하여 식별된 각 객체의 특정 영역(예컨대, 사람의 얼굴)을 확대 촬영한 제2 영상을 획득하고, 획득된 제2 영상에 기초하여 식별된 각 객체에 대한 객체 이름 정보를 획득할 수 있다. 이 경우, 객체 식별 모듈(141)은 제2 영상 내의 얼굴 특징과 저장부에 저장된 기본 이름 정보 내의 얼굴 특징들을 비교하여 객체 이름 정보를 획득할 수 있다. 예를 들면, 제2 영상 내의 객체의 얼굴이 저장부에 저장된 기본 이름 정보 내의 얼굴 중 하나와 일치하는 경우, 객체 식별 모듈(141)은 기본 이름 정보 내의 얼굴과 연관된 이름을 객체의 이름으로 할당함으로써 객체 이름 정보를 획득할 수 있다. 한편, 일치하는 얼굴이 없는 경우, 객체 식별 모듈(141)은 미리 정의된 방식으로 객체의 이름을 새로 할당할 수 있다.

그룹 형성 모듈(142)은 식별된 복수의 객체들 중 일부 또는 전부를 그룹화하여 하나 이상의 객체 그룹을 형성할 수 있다. 또한, 그룹 형성 모듈(142)은 각 객체 그룹에 대한 그룹 정보 및 그룹 이름 정보를 획득할 수 있다. 또한, 그룹 형성 모듈(142)은 획득된 그룹 정보 및 그룹 이름 정보를 저장부에 저장할 수 있다.

일 실시예에서, 그룹 형성 모듈(142)은 각 객체들 간의 3차원 거리(3D distance) 및 오버랩 비율(overlapped rate)에 기초하여 식별된 복수의 객체들 중 일부 또는 전부를 그룹화하여 객체 그룹을 형성할 수 있다. 여기서, 각 객체들 간의 오버랩 비율은 하나의 객체가 다른 객체와 서로 오버랩되는 비율을 말하며, 이러한 오버랩 비율은 예컨대, 0%에서 100% 사이의 값으로 수치화될 수 있다. 예를 들면, 두 객체 간의 3차원 거리가 미리 설정된 제1 스레스홀드 거리 미만이고, 두 객체 간의 오버랩 비율이 미리 설정된 스레스홀드 비율(예컨대, 20%) 이상인 경우, 그룹 형성 모듈(142)은 두 객체를 그룹화하여 하나의 객체 그룹을 형성할 수 있다.

일 실시예에서, 그룹 형성 모듈(142)은 객체 위치 정보에 기초하여 각 객체간의 3차원 거리를 산출할 수 있다. 또한, 각 객체와 연관된 각 관심 영역 간의 오버랩 비율에 기초하여 각 객체들 간의 오버랩 비율을 산출할 수 있다. 예를 들면, 그룹 형성 모듈(142)은 각 객체와 연관된 각 관심 영역 간의 오버랩 비율을 산출하고, 이를 각 객체들 간의 오버랩 비율로서 결정할 수 있다. 이때, 그룹 형성 모듈(142)은 각 객체와 연관된 관심 영역이 동일한 xy-평면 상에 위치하는 것으로 간주하고, 이들 간의 오버랩된 정도를 고려하여 오버랩 비율을 산출할 수 있다. 다른 실시예에서, 상기 3차원 거리 및 상기 오버랩 비율은 객체 식별 모듈(141)에 의해 산출될 수 있다.

일 실시예에서, 그룹 형성 모듈(142)은 각 객체 그룹에 대한 그룹 정보 및 그룹 이름 정보를 획득할 수 있다. 그룹 형성 모듈(142)은 그룹 내의 개별 객체에 대한 객체 정보에 기초하여 그룹 정보 및 그룹 이름 정보를 획득할 수 있다. 예를 들면, 그룹 형성 모듈(142)은 객체 그룹 내의 개별 객체와 연관된 관심 영역을 모두 포함하는 영역을 그룹 관심영역으로서 결정하고, 그룹 관심영역의 특정 3차원 위치(예컨대, 왼쪽 상단 코너의 3차원 위치)를 그룹 위치로 결정하고, 그룹 내의 개별 객체의 이름을 미리 정의된 방식으로 조합하여 그룹 이름으로서 할당함으로써, 그룹 위치 정보 및 그룹 이름 정보를 획득할 수 있다.

그룹 형성 모듈(142)은 이미 형성된 객체 그룹에 객체를 추가할 수 있다. 일 실시예에서, 그룹 형성 모듈(142)은 객체 그룹과 객체 그룹 외 객체 간의 3차원 위치와 객체 그룹 내 각 객체와 객체 그룹 외 객체 간의 오버랩 비율에 기초하여 객체 그룹에 객체를 추가할 수 있다. 예를 들면, 객체 그룹과 객체 그룹 외 객체 간의 3차원 거리가 제1 스레스홀드 거리 미만이고, 객체 그룹 내 객체들과 객체 그룹 외 객체 간의 오버랩 비율 중 적어도 하나가 스레스홀드 비율 이상인 경우, 그룹 형성 모듈(142)은 객체 그룹에 객체를 추가할 수 있다.

그룹 추적 모듈(143)은 각 객체 및 각 객체 그룹을 추적할 수 있다. 또한, 그룹 추적 모듈(143)은 객체 정보 및 그룹 정보를 업데이트할 수 있다.

일 실시예에서, 그룹 추적 모듈(143)은 객체 그룹을 단일 객체로서 추적할 수 있다. 이때, 그룹 추적 모듈(143)은 단일 객체를 추적하는 미리 설정된 방법을 이용하여 객체 그룹을 추적할 수 있다. 예를 들면, 그룹 추적 모듈(143)은 공지된 객체 추적 방법인 3차원 위치-기반 추적 방법 또는 칼만 필터-기반 추적 방법을 이용하여 객체 그룹을 추적할 수 있다.

그룹 해제 모듈(144)은 객체 그룹 내 객체들 중 일부 또는 전부를 그룹 해제할지 여부를 결정할 수 있다. 이때, 그룹 해제 모듈(144)은 객체 그룹과 객체 그룹 내 각 객체들과 간의 3차원 거리 및 객체 그룹 내 각 객체들 간의 오버랩 비율 중 적어도 하나에 기초하여, 객체 그룹 내 객체들 중 일부 또는 전부를 그룹 해제할지 여부를 결정할 수 있다.

예를 들면, 객체 그룹과 객체 그룹 내 제1 객체 간의 3차원 거리가 제1 스레스홀드 거리 이상이고 제2 스레스 홀드 거리 미만이거나, 또는 상기 제1 객체와 상기 객체 그룹 내 다른 객체들 간의 오버랩 비율이 스레스홀드 비율 미만인 경우, 상기 제1 객체를 상기 객체 그룹으로부터 그룹 해제할 수 있다.

일 실시예에서, 그룹 해제 모듈(144)은 제1 프레임에서 식별된 객체 그룹과 제1 프레임 이후의 제2 프레임에서 식별된 객체 그룹 내 각 객체들 간의 3차원 거리를 산출하고, 제2 프레임에서 식별된 객체 그룹 내 각 객체들 간의 오버랩 비율을 산출하고, 이들에 기초하여 객체 그룹 내 객체들 중 일부 또는 전부를 그룹 해제할지 여부를 결정할 수 있다.

일 실시예에서, 그룹 해제 모듈(144)은 객체 위치 정보 및 그룹 위치 정보에 기초하여, 객체 그룹 내 각 객체와 객체 그룹 간의 3차원 거리를 산출할 수 있다. 또한, 그룹 해제 모듈(144)은 객체 그룹 내 각 객체와 연관된 관심영역들 간의 오버랩 비율에 기초하여 객체 그룹 내 각 객체들 간의 오버랩 비율을 산출할 수 있다. 다른 실시예에서, 상기 3차원 거리 및 상기 오버랩 비율은 객체 식별 모듈(141)에 의해 산출될 수 있다.

또한, 그룹 해제 모듈(144)은 그룹 해제가 결정된 경우, 그룹 해제된 객체에 대해 객체 이름을 재할당하고, 그룹 해제된 객체가 포함됐었던 객체 그룹에 대해 그룹 이름을 재할당할 수 있다. 이때, 그룹 해제 모듈(144)은 이하에서 설명될 기준-최소화 접근법(criteria-minimization)을 이용하여 그룹 해제된 객체의 이름을 재할당할 수 있다.

기준-최소화 접근법에서, 그룹 해제 모듈(144)은 그룹 해제가 결정된 경우, 제1 카메라에 의해 촬영된 제1 영상 및 저장부에 저장된 객체 정보에 기초하여 그룹 해제된 객체에 이름을 할당할 수 있다. 일 실시예에서, 그룹 해제 모듈(144)은 그룹 해제가 결정된 경우, 제1 영상으로부터 그룹 해제된 객체에 대한 객체 정보 중 적어도 하나를 획득하고, 이를 저장부에 저장된 각 객체에 대한 대응하는 객체 정보와 비교하여, 일치하는 객체의 객체 이름을 그룹 해제된 객체의 객체 이름으로 할당할 수 있다.

예를 들면, 그룹 해제 모듈(144)은 제1 객체의 그룹 해제가 결정된 경우, 제1 영상으로부터 제1 객체의 컬러 히스토그램 정보를 획득하고, 이를 저장부에 저장된 각 객체의 컬러 히스토그램 정보와 비교하여, 일치하는 객체의 객체 이름을 제1 객체의 객체 이름으로 할당할 수 있다. 다른 예를 들면, 그룹 해제 모듈(144)은 제1 객체의 그룹 해제가 결정된 경우, 제1 영상으로부터 제1 객체의 SURF 특징 정보를 획득하고, 이를 저장부에 저장된 각 객체의 SURF 특징 정보와 비교하여, 일치하는 객체의 객체 이름을 제1 객체의 객체 이름으로 할당할 수 있다.

이를 통해, 객체 추적 장치는 최초로 객체의 이름을 할당할 때와는 다르게, 제2 카메라를 이용해 객체의 특정 영역을 확대 촬영한 제2 영상을 획득하지 않으면서도 이미 저장된 객체 정보를 이용하여 그룹 해제된 객체의 정확한 객체 이름을 식별할 수 있다. 즉, 객체 추적 장치는 최소화된 기준을 통해 그룹이 형성되었다가 해제된 객체의 객체 이름을 신속하고 정확하게 재할당할 수 있다.

일 실시예에서, 그룹 해제 모듈(144)은 그룹 해제 전의 그룹 이름에서 그룹 해제된 객체의 이름을 제외함으로써, 그룹 이름을 재할당할 수 있다. 예를 들면, 그룹 해제 모듈(144)은 객체 그룹의 그룹 이름에서 제1 객체의 이름을 제외함으로써, 그룹 이름을 재할당할 수 있다.

도 3은 본 명세서의 일 실시예에 따른, 객체 추적 장치가 그룹-기반으로 객체를 식별하고 추적하는 과정을 영상의 프레임별로 나타낸 예시도이다.

도 3의 왼쪽을 참조하면, 객체 추적 장치는 제1 카메라에 의해 획득된 제1 영상의 t-1 프레임에서 제1 객체(P1) 및 제2 객체(P2)를 식별하고, 각 객체와 연관된 관심 영역(10 및 20)을 결정할 수 있다. 또한, 객체 추적 장치는 각 객체에 대한 객체 위치 정보, 관심영역 정보, 객체 SURF 특징 정보 및 객체 컬러 히스토그램 정보를 획득할 수 있다. 또한, 객체 추적 장치는 제2 카메라에 의해 획득된, 제1 객체(P1) 또는 제2 객체(P2)의 특정영역을 확대 촬영한 제2 영상으로부터 각 객체에 대한 이름 정보를 획득할 수 있다. 또한, 객체 추적 장치는 획득된 객체 정보를 저장부에 저장할 수 있다.

도 3의 가운데를 참조하면, 객체 추적 장치는 제1 영상의 t 프레임에서 제1 객체(P1) 및 제2 객체(P2)를 추적하고, 객체들의 그룹 형성 여부를 결정할 수 있다. 예를 들면, 도시된 바와 같이, t 프레임에서 제1 객체(P1)와 제2 객체(P2) 사이의 3차원 거리가 제1 스레스홀드 거리 미만이고, 제1 객체(P1)와 제2 객체(P2) 간의 오버랩 비율이 스레스홀드 비율 이상인 경우, 객체 추적 장치는 제1 객체(P1)와 제2 객체(P2)를 그룹화하여 제1 객체 그룹을 형성하도록 결정할 수 있고, 제1 객체 그룹과 연관된 관심영역(30)을 결정할 수 있다. 이때, 객체 추적 장치는 제1 객체(P1)와 연관된 관심영역(10)과 제2 객체(P2)와 연관된 관심영역(20)을 포함하는 영역을 제1 객체 그룹과 연관된 관심영역(30)으로 결정할 수 있다.

또한, 객체 추적 장치는 제1 객체 그룹에 대한 그룹 위치 정보 및 그룹 이름 정보를 획득할 수 있다. 예를 들면, 객체 추적 장치는 제1 객체 그룹과 연관된 관심영역(30)의 왼쪽 상단 코너의 3차원 위치를 제1 객체 그룹에 대한 그룹 위치로 할당하고, 제1 객체(P1)의 객체 이름 및 제2 객체(P2)의 객체 이름을 조합한 이름을 제1 객체 그룹에 대한 그룹 이름으로 할당할 수 있다.

도 3의 오른쪽을 참조하면, 객체 추적 장치는 제1 영상의 t+1 프레임에서 제1 객체 그룹을 추적하고, 제1 객체(P1) 내 객체의 일부 또는 전부의 그룹 해제 여부를 결정할 수 있다. 이때, 객체 추적 장치는 제1 객체 그룹을 단일 객체로서 추적할 수 있다.

예를 들면, 도 3의 오른쪽 상단에서처럼, t 프레임의 제1 객체 그룹과 t+1 프레임의 각 객체 간의 3차원 거리가 제1 스레스홀드 이하이고, t+1 프레임의 제1 객체(P1)와 제2 객체(P2) 간의 오버랩 비율이 스레스홀드 비율 이상인 경우, 객체 추적 장치는 제1 객체 그룹을 유지할 수 있다.

다른 예를 들면, 도 3의 오른쪽 하단에서처럼, t 프레임의 제1 객체 그룹과 t+1 프레임의 제1 객체(P1) 또는 제2 객체(P2) 간의 3차원 거리가 제1 스레스홀드 거리 이상이고 제2 스레스홀드 거리 미만인 경우, 또는 t+1 프레임의 제1 객체(P1)와 제2 객체(P2) 간의 오버랩 비율이 스레스홀드 비율이 스레스홀드 비율 미만인 경우, 객체 추적 장치는 제1 객체 그룹을 해제할 수 있다. 객체 그룹이 해제된 경우, 객체 추적 장치는 그룹 해제된 객체에 대한 객체 이름 및 그룹 해제된 객체가 포함되었던 객체 그룹에 그룹 이름을 재할당할 수 있다.

도 4는 본 명세서의 다른 실시예에 따른, 객체 추적 장치가 그룹-기반으로 객체를 식별하고 추적하는 과정을 영상의 프레임별로 나타낸 예시도이다. 도 4에서는 객체가 사람인 것으로 가정하고 실시예에 대하여 설명하도록 한다.

앞서 설명한 바와 같이, 객체 추적 장치는 디스플레이부를 통해 객체 영상 및 객체 정보를 표시할 수 있다. 예를 들어, 객체 추적 장치는 제1 카메라부에 의해 촬영된 제1 영상을 제1 영상에서 식별된 사람 또는 그룹과 연관된 관심영역과 합성하여 제1 디스플레이 영역에 표시할 수 있고, 제1 영상에서 식별된 사람에 대한 정보 또는 그룹에 대한 그룹 정보를 제2 디스플레이 영역에 표시할 수 있다.

도 4(a)에서처럼, 제1 영상에서 3명의 사람이 최초로 식별된 경우, 객체 추적 장치는 각 사람에 연관된 관심영역을 제1 영상에 합성하여 제1 디스플레이 영역에 표시하고, 각 사람의 이름 및 위치 정보를 제2 디스플레이 영역에 표시할 수 있다. 이때, 각 사람의 위치 정보는 제1 영상으로부터 획득되고, 이름 정보는 제2 영상으로부터 획득될 수 있음은 앞서 설명한 바와 같다.

도 4(b)에서처럼, 3명의 사람 중 2명이 그룹을 형성하는 경우, 객체 추적 장치는 2명으로 이루어진 그룹에 연관된 관심영역 및 나머지 한 사람에 연관된 관심영역을 제1 영상에 합성하여 제1 디스플레이 영역에 표시하고, 그룹의 그룹 이름 및 그룹 위치 정보와 나머지 한 사람의 이름 및 위치 정보를 제2 디스플레이 영역에 표시할 수 있다. 이때, 그룹 위치 및 그룹 이름 정보는 이미 획득된 각 사람의 위치 및 이름 정보로부터 획득될 수 있음은 앞서 설명한 바와 같다. 예를 들어, 객체 추적 장치는 그룹에 연관된 관심영역의 왼쪽 상단 코너의 3차원 위치를 그룹을 대표하는 그룹 위치로 할당할 수 있고, 각 사람의 이름을 각 사람의 위치에 기반하여 순서대로 조합하여 그룹 이름으로 할당할 수 있다.

도 4(c)에서처럼, 나머지 한 사람이 이미 형성된 그룹에 추가된 경우, 객체 식별 장치는 3명으로 이루어진 그룹에 연관된 관심영역을 제1 영상에 합성하여 제1 디스플레이 영역에 표시하고, 갱신된 그룹 이름 및 그룹 위치 정보를 제2 디스플레이 영역에 표시할 수 있다. 이때, 그룹 위치 정보 및 그룹 이름 정보는 이미 획득된 각 사람의 위치 및 이름 정보와 객체 그룹의 그룹 위치 및 그룹 이름 정보로부터 획득될 수 있음은 앞서 설명한 바와 같다. 예를 들어, 사람이 추가된 그룹의 갱신된 관심영역의 왼쪽 상단 코너의 3차원 위치를 그룹을 대표하는 그룹 위치로 할당할 수 있고, 추가된 사람의 이름을 이전 그룹 이름의 앞 또는 뒤에 추가한 이름을 그룹 이름으로 할당할 수 있다.

도 4(d)에서처럼, 그룹 내의 한 사람이 그룹으로부터 해제된 경우, 객체 추적 장치는 나머지 2명으로 이루어진 그룹의 갱신된 그룹 관심영역 및 그룹 해제된 사람의 관심영역을 제1 영상에 합성하여 제1 디스플레이 영역에 표시하고, 갱신된 그룹 이름 및 그룹 위치 정보와 그룹 해제된 사람의 이름 및 위치 정보를 제2 디스플레이 영역에 표시할 수 있다. 이때, 그룹 해제된 사람의 이름 정보는 제1 영상으로부터 획득된 그룹 해제된 사람에 대한 SURF 특징 정보 및 컬러 히스토그램 정보 중 적어도 하나에 기초하여 저장부에 저장된 각 사람의 이름 정보로부터 획득될 수 있고, 그룹 이름 정보는 이전의 그룹 이름에서 그룹 해제된 사람의 이름을 제외함으로써 획득될 수 있음은, 앞서 설명한 바와 같다.

도 4(e)에서처럼, 그룹 자체가 해제된 경우, 객체 식별 장치는 그룹 해제된 각 사람의 관심영역을 제1 영상에 합성하여 제1 디스플레이 영역에 표시하고, 그룹 해제된 각 사람의 이름 및 위치 정보를 제2 디스플레이 영역에 표시할 수 있다. 이때, 그룹 해제된 각 사람의 이름 정보는 제1 영상으로부터 획득된 그룹 해제된 사람에 대한 SURF 특징 정보 및 컬러 히스토그램 정보 중 적어도 하나에 기초하여 이미 획득된 저장부에 저장된 각 사람에 대한 이름 정보로부터 획득될 수 있음은 앞서 설명한 바와 같다.

도 5는 본 명세서의 일 실시예에 따른 객체 추적 방법을 나타내는 흐름도이다. 도 5에서는 도 1 내지 4에서 상술한 설명과 동일하거나 유사한 내용에 대한 상세한 설명은 생략한다.

도 5를 참조하면, 객체 추적 장치는 컬러 센서와 깊이 센서를 갖는 제1 카메라로부터 획득된 제1 영상으로부터 복수의 객체들을 식별할 수 있다(S10). 또한, 객체 추적 장치는 카메라부에 의해 촬영된 영상에 기초하여 식별된 각 객체에 대한 객체 정보 및 객체 이름 정보를 획득할 수 있다. 또한, 객체 추적 장치는 획득된 객체 정보 및 객체 이름 정보의 전부 또는 일부를 저장부에 저장할 수 있다.

다음으로, 객체 추적 장치는 각 객체들 간의 3차원 거리 및 오버랩 비율에 기초하여 복수의 객체들 중 일부 또는 전부를 그룹화하여 객체 그룹을 형성할 수 있다(S20). 일 실시예에서, 객체 추적 장치는 각 객체들 간의 3차원 거리(3D distance) 및 오버랩 비율(overlapped rate)에 기초하여 식별된 복수의 객체들 중 일부 또는 전부를 그룹화하여 객체 그룹을 형성할 수 있다. 예를 들면, 객체 추적 장치는 제1 영상으로부터 식별된 제1 객체와 제2 객체 간의 3차원 거리가 제1 스레스홀드 거리 미만이고, 제1 객체와 제2 객체 간의 오버랩 비율이 스레스홀드 비율 이상인 경우, 제1 객체와 제2 객체를 그룹화하여 제1 객체 그룹을 형성할 수 있다.

또한, 객체 추적 장치는 각 객체 그룹에 대한 그룹 정보 및 그룹 이름 정보를 획득할 수 있다. 또한, 객체 추적 장치는 획득된 그룹 정보 및 그룹 이름 정보를 저장부에 저장할 수 있다.

다음으로, 객체 추적 장치는 객체 그룹을 단일 객체로서 추적할 수 있다(S30). 또한, 객체 추적 장치는 객체 정보 및 그룹 정보를 업데이트할 수 있다.

다음으로, 객체 추적 장치는 객체 그룹과 상기 객체 그룹 내 각 객체 간의 3차원 거리 및 객체 그룹 내 각 객체 간의 오버랩 비율에 기초하여, 객체 그룹 내 객체들 중 일부 또는 전부를 그룹 해제할 수 있다(S40). 또한, 객체 추적 장치는 그룹 해제가 결정된 경우, 그룹 해제된 객체에 대해 객체 이름을 재할당하고, 그룹 해제된 객체가 포함됐었던 객체 그룹에 대해 그룹 이름을 재할당할 수 있다. 예를 들면, 객체 추적 장치는 제1 객체 그룹과 제1 객체 간의 3차원 거리가 제1 스레스홀드 거리 이상이며 제2 스레스홀드 거리 미만이거나, 또는 제1 객체와 객체 그룹 내 다른 객체 간의 오버랩 비율들 모두가 스레스홀드 비율 미만인 경우, 제1 객체가 제1 객체 그룹으로부터 그룹 해제된 것으로 결정할 수 있다.

이와 같은, 객체 추적 방법은 어플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구 범위에서 청구하는 요지를 벗어남이 없이 당해 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

또한, 본 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수 있다.

Claims (12)

1. 컬러 센서와 깊이 센서를 갖는 제1 카메라로부터 획득된 제1 영상으로부터 복수의 객체들을 식별하는 객체 식별 모듈;
   각 객체들 간의 3차원 거리 및 오버랩 비율에 기초하여 복수의 객체들 중 일부 또는 전부를 그룹화하여 객체 그룹을 형성하는 그룹 형성 모듈;
   상기 객체 그룹을 단일 객체로서 추적하는 그룹 추적 모듈; 및
   상기 객체 그룹과 상기 객체 그룹 내 각 객체 간의 3차원 거리 및 상기 객체 그룹 내 각 객체 간의 오버랩 비율 중 적어도 하나에 기초하여, 상기 객체 그룹 내 객체들 중 일부 또는 전부를 그룹 해제하는 그룹 해제 모듈을 포함하는, 객체 추적 장치.
2. 제 1 항에 있어서,
   상기 그룹 형성 모듈은,
   상기 제1 영상으로부터 식별된 제1 객체와 제2 객체 간의 3차원 거리가 제1 스레스홀드 거리 미만이고, 상기 제1 객체와 상기 제2 객체 간의 오버랩 비율이 스레스홀드 비율 이상인 경우, 상기 제1 객체와 상기 제2 객체를 그룹화하여 제1 객체 그룹을 형성하는, 객체 추적 장치.
3. 제 2 항에 있어서,
   상기 그룹 형성 모듈은,
   상기 제1 영상으로부터 식별된 제3 객체와 상기 제1 객체 그룹 간의 3차원 거리가 상기 제1 스레스홀드 거리 미만이고, 상기 제3 객체와 상기 제1 객체 그룹 내 객체들 간의 오버랩 비율들 중 적어도 하나가 스레스홀드 비율 이상인 경우, 상기 제3 객체를 상기 제1 객체 그룹에 더 그룹화하는, 객체 추적 장치.
4. 제 2 항에 있어서,
   상기 그룹 해제 모듈은,
   상기 제1 객체 그룹과 상기 제1 객체 간의 3차원 거리가 상기 제1 스레스홀드 거리 이상이며 제2 스레스홀드 거리 미만이거나, 또는 상기 제1 객체와 상기 객체 그룹 내 다른 객체 간의 오버랩 비율들 모두가 스레스홀드 비율 미만인 경우, 상기 제1 객체가 상기 제1 객체 그룹으로부터 그룹 해제된 것으로 결정하는, 객체 추적 장치.
5. 제 1 항에 있어서,
   상기 그룹 해제 모듈은,
   제1 프레임에서의 객체 그룹과 상기 제1 프레임 이후의 프레임인 제2 프레임에서의 상기 객체 그룹 내 각 객체 간의 3차원 거리 및 상기 제2 프레임에서의 상기 객체 그룹 내 각 객체 간의 오버랩 비율에 기초하여, 상기 객체 그룹 내 객체들 중 일부 또는 전부를 그룹 해제할지 여부를 결정하는, 객체 추적 장치.
6. 제 1 항에 있어서,
   상기 객체 식별 모듈은,
   상기 각 객체에 대한 객체 정보와 객체 이름 정보를 획득하고,
   상기 그룹 형성 모듈은,
   상기 객체 그룹에 대한 그룹 정보와 그룹 이름 정보를 획득하고,
   상기 그룹 해제 모듈은,
   그룹 해제된 객체에 대한 객체 정보와 객체 이름 정보를 다시 획득하고, 상기 그룹 해제된 객체가 포함되었던 객체 그룹에 대한 그룹 정보와 그룹 이름 정보를 다시 획득하는, 객체 추적 장치.
7. 제 6 항에 있어서,
   상기 객체 정보는, 개별 객체에 대한 위치 정보, 관심영역 정보, SURF(speed-up robust feature) 특징 정보 및 컬러 히스토그램 정보 중 적어도 하나를 포함하고,
   상기 그룹 정보는, 상기 객체 그룹에 대한 그룹 위치 정보를 포함하는, 객체 추적 장치.
8. 제 6 항에 있어서,
   상기 객체 식별 모듈은,
   상기 제1 카메라로부터 획득된 제1 영상에 기초하여 상기 객체 정보를 획득하고, 상기 제1 카메라와 상이한 제2 카메라로부터 획득된 상기 식별된 객체의 특정 영역을 확대 촬영한 제2 영상에 기초하여 상기 객체 이름 정보를 획득하는, 객체 추적 장치.
9. 제 8 항에 있어서,
   상기 그룹 형성 모듈은,
   획득된 객체 정보 및 객체 이름 정보에 기초하여, 상기 그룹 정보 및 상기 그룹 이름 정보를 획득하는, 객체 추적 장치.
10. 제 9 항에 있어서,
    상기 그룹 해제 모듈은,
    상기 제1 카메라로부터 획득된 제1 영상에 기초하여 그룹 해제된 객체에 대한 객체 정보를 다시 획득하고, 다시 획득된 객체 정보에 기초하여 이미 획득된 객체 이름 중 하나를 상기 그룹 해제된 객체에 대한 객체 이름으로 할당하는, 객체 추적 장치.
11. 제 8 항에 있어서,
    상기 제1 카메라는 RGB-D 카메라이고, 상기 제2 카메라는 PTZ 카메라인, 객체 추적 장치.
12. 컬러 센서와 깊이 센서를 갖는 제1 카메라로부터 획득된 제1 영상으로부터 복수의 객체들을 식별하는 단계
    각 객체들 간의 3차원 거리 및 오버랩 비율에 기초하여 복수의 객체들 중 일부 또는 전부를 그룹화하여 객체 그룹을 형성하는 단계;
    상기 객체 그룹을 단일 객체로서 추적하는 단계; 및
    상기 객체 그룹과 상기 객체 그룹 내 각 객체 간의 3차원 거리 및 상기 객체 그룹 내 각 객체 간의 오버랩 비율 중 적어도 하나에 기초하여, 상기 객체 그룹 내 객체들 중 일부 또는 전부를 그룹 해제하는 단계를 포함하는, 객체 추적 방법.

Images