KR20120019008A - 복수의 객체를 추적하는 객체 추적 방법 및 장치 - Google Patents

복수의 객체를 추적하는 객체 추적 방법 및 장치 Download PDF

Info

Publication number
KR20120019008A
KR20120019008A KR1020100082072A KR20100082072A KR20120019008A KR 20120019008 A KR20120019008 A KR 20120019008A KR 1020100082072 A KR1020100082072 A KR 1020100082072A KR 20100082072 A KR20100082072 A KR 20100082072A KR 20120019008 A KR20120019008 A KR 20120019008A
Authority
KR
South Korea
Prior art keywords
silhouette
person
information
objects
region
Prior art date
Application number
KR1020100082072A
Other languages
English (en)
Other versions
KR101355974B1 (ko
Inventor
김도형
이재연
윤우한
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100082072A priority Critical patent/KR101355974B1/ko
Priority to US13/215,797 priority patent/US20120051594A1/en
Publication of KR20120019008A publication Critical patent/KR20120019008A/ko
Application granted granted Critical
Publication of KR101355974B1 publication Critical patent/KR101355974B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

복수의 객체를 추적하는 객체 추적 방법 및 장치가 개시된다. 이 객체 추적 방법에서는, 복수의 개체가 포함된 입력 영상에서 배경 영상이 제거된 상기 복수의 객체에 대응하는 복수의 실루엣 영역을 검출하고, 상기 복수의 실루엣 영역이 서로 겹쳐져 있는지, 서로 분리되어 있는지를 판단한다. 그리고, 상기 복수의 실루엣 영역이 서로 겹쳐진 상태에서 서로 분리된 경우, 겹쳐지기 이전의 상기 복수의 실루엣 영역 각각에 포함된 색깔 정보, 크기 정보 및 형태 정보가 조합된 특징 정보와 겹쳐진 후 서로 분리된 상기 복수의 실루엣 영역 각각에 포함된 상기 색깔 정보, 상기 크기 정보 및 상기 형태 정보가 조합된 특징 정보를 비교하여, 상기 복수의 실루엣 영역이 서로 겹쳐진 상태에서 서로 분리된 경우에도 상기 복수의 객체에 포함된 목표 객체를 일관성 있게 추적한다.

Description

복수의 객체를 추적하는 객체 추적 방법 및 장치{METHOD AND DEVICES FOR TRACKING MULTIPLE OBJECT}
본 발명은 복수의 객체를 추적하는 객체 추적 방법 및 장치로서, 구체적으로 자유롭게 움직이는 복수의 객체가 서로 겹치는 경우, 겹치기 이전의 객체들과 분리된 객체들을 일관성 있게 추적하는 복수의 객체를 추적하는 객체 추적 방법 및 장치에 관한 것이다.
본 발명은 지식경제부의 IT 원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: KI001813, 과제명: u-로봇 HRI 솔루션 및 핵심 소자 기술 개발]
움직이는 사람과 같은 객체를 추적하는 기술(이하, 객체 추적 기술)은 지속으로 연구 개발되고 있다. 이러한 객체 추적 기술은 보안, 감시, 로봇과 같은 지능형 시스템 등 다양한 분야에서 활용되고 있다.
로봇이 사용자에게 특정 서비스를 제공하는 로봇 환경에서는, 로봇이 사용자가 "어디에 위치하는지"를 스스로 인지할 수 있어야 한다. 이때, 로봇이 사용자가 "어디에 위치하는 지를 인지하는 과정에서 객체 추적 기술이 적용된다.
한편, 객체 추적 기술에서 해결하기 가장 어려운 문제 중의 하나는 움직이는 복수의 사람이 서로 겹쳤다가 분리되는 상황에서도 추적의 일관성을 유지하는 문제이다. 즉, A라는 사람을 추적하던 제1 추적기와 B라는 사람을 추적하는 제2 추적기가 있는 경우, A와 B가 서로 겹쳤다가 분리되는 상황에서도 제1 추적기는 A를, 제2 추적기는 B를 계속해서 추적할 수 있어야 한다. 만약 이러한 추적의 일관성을 보장할 수 없다면, 이전에 A와 B를 추적하는 과정에서 획득한 히스토리 정보들은 신뢰할 수 없게 된다.
현재까지 겹치기 이전의 사람들과 분리된 사람을 서로 일치시키는 다양한 기술들이 연구 개발되고 있다.
지금까지 연구 개발된 기존 기술들에서는, 각 사람들로부터 추출되는 특징 정보들을 이용하여 겹치기 이전의 사람들과 분리된 사람을 일치시키는 방법이 이용되고 있다. 겹치기 이전의 사람들과 분리된 사람을 일치시키는 데 사용되는 대표적인 특징 정보로는 크게 1) 사람의 이동방향 및 이동속도 정보, 2) 사람의 형태 정보, 3) 옷 색깔 정보가 있다.
그런데 기존 기술들이 사용하고 있는 이러한 특징 정보들은 모두 치명적인 약점이 있다. 이로 인해 기존 기술들은 제한된 조건에서만 동작하는 수준이다.
기존 기술들의 문제점은 다음과 같다.
1) 사람의 이동방향 및 이동속도 정보는 기본적으로 사람이 계속 이동하고 있는 환경을 가정한다. 만약 사람이 서로 겹침 상태에서 오랫동안 머물러 있거나, 같은 방향으로 이동하는 상황에서는 일치를 위한 특징 정보로는 부적합하다.
2) 사람의 형태 정보는 배경에서 분리된 사람의 실루엣 정보를 특징으로 사용하는 방법으로 실루엣이 얼마나 정확하게 잘 분리되느냐가 관건이다. 단순한 배경이 아닌 복잡한 배경 환경에서는 깔끔한 실루엣의 분리가 매우 어렵다. 또한, 사람들의 겹침 상태가 오랜 시간 동안 유지되는 경우에서도 부적합하다.
3) 옷 색깔 정보는 처리속도가 빠르고, 복잡한 배경 환경 및 겹침 상태의 지속시간에도 크게 영향을 받지 않는 특징 정보로서 널리 사용되고 있다. 그러나 옷 색깔이 비슷하거나 동일한 경우에는 부적합하다.
따라서 본 발명의 목적은 움직이는 복수의 객체가 겹쳐지는 상황에서도 겹치기 이전의 객체들과 겹쳐진 후 분리된 객체들을 일관성 있게 추적할 수 있는 객체 추적 장치를 제공하는 데 있다.
본 발명의 다른 목적은 상기 장치를 이용한 객체 추적 방법을 제공하는 것이다.
상기와 같은 기술적 과제를 해결하기 위하여 본 발명이 일면에 다른 객체 추적 방법은, 복수의 개체가 포함된 입력 영상에서 배경 영상이 제거된 상기 복수의 객체에 대응하는 복수의 실루엣 영역을 검출하는 단계와, 상기 복수의 실루엣 영역이 서로 겹쳐져 있는지, 서로 분리되어 있는지를 판단하는 단계, 및 상기 복수의 실루엣 영역이 서로 겹쳐진 상태에서 서로 분리된 경우, 겹쳐지기 이전의 상기 복수의 실루엣 영역 각각에 포함된 색깔 정보, 크기 정보 및 형태 정보가 조합된 특징 정보와 겹쳐진 후 서로 분리된 상기 복수의 실루엣 영역 각각에 포함된 상기 색깔 정보, 상기 크기 정보 및 상기 형태 정보가 조합된 특징 정보를 비교하여, 상기 복수의 실루엣 영역이 서로 겹쳐진 상태에서 서로 분리된 경우에도 상기 복수의 객체에 포함된 목표 객체를 일관성 있게 추적하는 단계를 포함한다.
본 발명의 다른 일면에 따른 객체 추적 장치는, 제1 객체 및 제2 객체가 포함된 입력 영상에서 배경 영상이 제거된 상기 제1 및 제2 객체의 실루엣 영역을 각각 검출하는 객체 검출부와, 상기 검출된 상기 제1 및 제2 객체의 실루엣 영역을 프레임 단위로 입력받고, 상기 제1 및 제2 객체의 실루엣의 움직임에 따라 상기 제1 및 제2 객체의 실루엣 영역이 서로 분리된 상태와 제1 및 제2 객체의 실루엣 영역이 서로 겹쳐진 상태를 프레임 단위로 판단하는 겹침/분리 판단부 및 상기 겹침/분리 판단부의 판단 결과에 따라 상기 제1 및 제2 객체의 실루엣 영역이 서로 겹쳐진 상태에서 서로 분리된 경우, 겹쳐지기 이전의 상기 제1 및 제2 객체의 실루엣 영역 각각에 포함된 색깔 정보, 크기 정보 및 형태 정보가 조합된 제1 특징 정보와, 겹쳐진 후 서로 분리된 상기 제1 및 제2 객체의 실루엣 영역 각각에 포함된 상기 색깔 정보, 상기 크기 정보 및 상기 형태 정보가 조합된 제2 특징 정보를 비교하여, 상기 제1 및 제2 객체의 실루엣 영역이 서로 겹쳐진 상태에서 서로 분리된 경우에도 상기 제1 및 제2 객체를 일관성 있게 추적하는 객체 추적부를 포함한다.
본 발명에 의하면, 복수의 객체가 서로 겹쳤다가 분리되는 상황에서, 겹치기 이전의 사람과 분리된 사람을 서로 일치시키는 추적 일관성을 유지하기 위해, 객체의 색깔 정보, 객체의 크기 정보, 객체의 형태 정보를 조합하여 활용한다. 따라서, 복수의 객체를 추적하는 과정에서, 이동하는 객체들이 서로 겹치는 환경에서도 안정적으로 각각의 객체를 추적할 수 있다.
이러한 본 발명은 지능형 로봇이 상호작용하고자하는 사람과 같은 객체에게 적절한 서비스를 제공하기 위한 기반 기술로 활용될 수 있으며, 지능형 로봇 분야뿐만 아니라 보안 및 감시 분야, 스마트 환경, 텔레매틱스 등의 다양한 분야에 확대 적용될 수 있다.
도 1은 본 발명의 일실시예에 따른 객체 추적 장치의 내부구성을 보여주는 개략적인 블록도이다.
도 2는 도 1에 도시된 영상 입력부로부터 출력되는 입력 영상의 일례를 보여주는 도면이다.
도 3은 도 1에 도시된 객체 검출부로부터 출력되는 실루엣 영상의 일례를 보여주는 도면이다.
도 4 및 도 5는 도 1에 도시된 겹침/분리 판단부의 판단 결과에 따라 제1 및 제2 객체가 서로 겹쳐진 상태와 분리된 상태를 보여주기 위한 도면이다.
도 6은 도 1에 도시된 객체 추적부에 의해 추출되는 특징 정보 중 옷 색깔 정보를 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 키 정보를 검출하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따라 수집된 특징 정보를 구성하는 정보들이 그룹영역에서 분리된 사람과 겹쳐지기 이전의 사람을 일치시키기 위해 어떻게 활용되는지를 보여주는 도면이다.
도 9는 도 1에 도시된 객체 추적 장치를 이용하여 겹침이 발생한 환경에서 사람을 추적하는 예를 보여주는 도면이다.
도 10은 본 발명의 일실시예에 따른 객체 추적 방법을 설명하기 위한 순서도이다.
본 발명은 자유롭게 움직이는 객체들로부터 획득할 수 있는 특징 정보들을 조합하여 상기 객체들이 서로 겹쳤다가 분리되는 상황에서, 겹치기 이전의 객체와 분리된 객체들 간의 일관성 있는 추적을 보장한다.
이를 위해, 본 발명에서는 먼저 분리된 객체들의 특징 정보를 수집한다. 이후, 상기 객체들의 겹침 상태와 이 상태로부터 분리된 상태를 판단하고, 겹침 상태의 경우, 상기 겹쳐 있는 객체들을 포함하는 그룹영역을 생성하고, 생성한 그룹영역을 추적한다. 이 생성된 그룹영역과 이 그룹영역의 추적을 통해 상기 객체들이 겹쳐져 있는 상태가 지속적으로 추적된다. 이 그룹영역을 추적하는 과정에서는 어떠한 특징 정보의 수집이 요구되지 않고, 단지 추적을 위한 수단으로만 이용될 뿐이다.
이후, 상기 그룹영역의 추적과정이 종료되는 경우, 즉, 그룹영역에서 상기 객체들이 서로 분리된 경우, 분리된 객체들의 각 특징 정보를 수집한다.
이후, 겹쳐지기 이전에 수집된 객체들의 각 특징 정보와 겹쳐진 상태에서 서로 분리된 객체들의 각 특징 정보를 비교함으로써, 추적의 일관성을 유지한다. 보다 안정적인 추적의 일관성을 위하여 본 발명에서 제안하는 특징정보가 개시된다. 이 특징정보는 도면을 참조하여 상세히 설명하기로 한다.
이와 같이, 본 발명에서는 겹쳐진 객체들을 정의하는 그룹 영역의 추적과정, 겹쳐지기 이전의 객체들의 각 특징 정보와 겹쳐진 후 분리된 객체들의 각 특징 정보의 수집과정과, 이 수집된 특징정보들의 비교과정을 통해 추적의 일관성을 보장할 수 있다.
이러한 본 발명은 보안 및 감시 분야, 스마트 환경, 텔레매틱스 등의 다양한 분야에 확대 적용될 수 있으며, 특히 지능형 로봇이 상호작용하고자하는 사람과 같은 객체에게 적절한 서비스를 제공하기 위한 기반 기술로 유용하게 적용될 수 있으며, 아래의 도면을 참조한 설명에서는 로봇 시스템에 적용된 객체 추적 장치가 일례로 설명된다.
이하, 첨부한 도면을 참조하여 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 객체 추적 장치의 내부구성을 보여주는 개략적인 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 객체 추적 장치(100)는 특별히 한정하는 것은 아니지만, 사람과 상호작용하며, 실내에서 자유롭게 이동하는 로봇(미도시)에 탑재되는 것으로 가정한다. 이러한 로봇에 탑재된 객체 추적 장치(100)는 크게 영상 입력부(110), 객체 검출부(120), 겹침/분리 판단부(130), 객체 추적부(160) 및 정보 수집부(170)를 포함하며, 그룹 생성부(140)와, 그룹 추적부(150)를 더 포함한다.
영상 입력부(110)는 실내에서 이동하는 로봇(미도시)에 구비된 카메라로부터 획득된 도 2에 도시된 입력 영상(10)을 객체 검출부(120)로 제공한다. 이러한 입력 영상은 이동하는 복수의 사람이 포함될 수 있으며, 상기 영상 입력부(110)에 의해 디지털 데이타화 하여 비트맵 패턴과 같은 정보의 형태로 상기 객체 검출부(120)로 제공될 수 있다. 이하에서는 도 2에 도시된 바와 같이, 상기 입력 영상에 이동하는 두 사람이 포함된 것으로 가정하며, 이동하는 두 사람을 제1 객체 및 제2 객체로 지칭한다. 즉, 도 2의 좌측에 위치한 사람은 제1 객체로 지칭하고, 도 2의 우측에 위치한 사람은 제2 객체로 지칭한다.
객체 검출부(120)는 상기 제1 및 제2 객체가 포함된 입력 영상(10)에서 상기 제1 및 제2 객체의 실루엣 영역을 각각 검출하고, 검출된 결과를 도 3에 도시된 바와 같은 실루엣 영상(12)으로 출력한다. 즉, 객체 검출부는 일련의 연속된 입력 영상(10)을 이용하여 사람이 없는 배경 영상을 자동으로 생성 및 유지하고, 생성된 배경 영상과 사람이 포함된 입력 영상과의 차이를 통하여 사람의 실루엣을 분리하는 모듈이다.
이하, 도 3에 도시된 바와 같은 실루엣 영상에 포함된 제1 및 제2 객체의 실루엣 영역이 검출되는 과정이 구체적으로 설명된다. 여기서, 제1 객체의 실루엣 영역이 검출되는 과정과 제2 객체의 실루엣 영역이 검출되는 과정은 동일하므로, 제1 객체의 실루엣 영역이 검출만 설명하기로 한다.
제1 객체의 실루엣 영역이 검출되는 과정은 크게 입력 영상(IM)에서 제1 객체의 모션 영역 및 전신 영역을 검출하여 제1 객체 영역을 검출하는 제1 과정과, 상기 입력 영상으로부터 상기 제1 객체 영역을 제외한 배경 영상을 생성하는 제2 과정 및 상기 입력 영상과 상기 배경 영상의 차이에 근거하여 상기 제1 객체 실루엣 영역을 검출하는 제3 과정으로 나눌 수 있다.
제1 과정에서, 제1 객체의 모션 영역을 검출하는 과정은 영상 입력부(110)로부터 제공된 하나 이상의 입력 영상으로부터 제1 객체의 모션이 발생된 영역을 픽셀 단위로 표시하여 모션 맵을 생성한다. 이후, 생성한 모션 맵에 근거하여 픽셀 단위의 모션을 블록 단위의 영역으로 검출하고, 검출된 블록 단위의 영역으로부터 모션 영역이 검출된다. 그리고 제1 객체의 전신 영역을 검출하는 과정은 입력 영상(10)으로부터 제1 객체의 얼굴 영역과 오메가 형상 영역에 기초하여 전신 영역을 검출한다. 여기서 오메가 영역은 사람이 머리와 어깨를 잇는 윤곽선의 형태를 나타내는 영역을 일컫는다. 최종적으로 검출된 모션 영역과 검출된 전신 영역을 믹싱하여 입력 영상(10)에서 제1 객체 영역을 검출한다.
제2 과정에서, 배경 영상을 생성하는 과정은 제1 과정에 의해 검출된 제1 객체 영역을 제외한 나머지 영역을 배경 영상으로 모델링한다.
제3 과정에서, 상기 제2 과정에 의해 모델링된 배경 영상에 제1 객체 즉, 사람의 실제 실루엣을 분리하고, 분리된 실루엣을 포함하는 실루엣 영역을 검출한다. 검출된 실루엣 영역은 도 3에 도시된 바와 같이, 사각 박스로 도시된다.
한편, 제2 객체의 실루엣 영역을 검출하는 과정은 위에서 설명한 제1 내지 제3 과정을 통해 제1 객체의 실루엣 영역이 검출되는 방식과 동일한 방식으로 검출된다. 검출된 제1 및 제2 객체의 실루엣 영역은 실루엣 영상(12)으로서 겹침/분리 판단부(130)로 제공된다.
계속해서, 겹침/분리 판단부(130)는 상기 검출된 상기 제1 객체의 실루엣 영역과 제2 객체의 실루엣 영역(이하, 사각 영역이라 한다.)을 포함하는 실루엣 영상(12)을 상기 객체 검출부(120)로부터 프레임 단위로 제공받는다. 이러한 겹침/분리 판단부(130)는 실루엣 영상에서 객체가 존재하는 사각 영역을 기준으로 제1 및 제2 객체가 서로 겹쳤는지 또는 겹쳐 있던 제1 및 제2 객체가 분리되었는지를 판단하는 모듈로서, 만일 제1 및 제2 객체가 겹친 경우, 이들을 포함하는 그룹 영역을 생성한다.
도 4 및 도 5는 도 1에 도시된 겹침/분리 판단부가 객체들이 겹치는 경우와, 이 겹치는 경우에서 다시 분리되는 경우를 판단하는 과정을 보여주기 위한 도면이다.
먼저, 도 4의 (A)에서, 제1 및 제2 객체가 분리된 경우, 즉, 두 개의 사각 영역(실루엣 영역)이 분리된 경우가 나타난다. 이후, 제1 및 제2 객체가 서로 마주보는 방향으로 이동하게 되면, 도 4의 (B)와 같이, 제1 객체의 사각 영역(또는 실루엣 영역)과 제2 객체의 사각 영역(실루엣 영역)이 겹치는 경우가 발생하게 되고, 겹침/분리 판단부(130)는 "겹침"이 발생한 것으로 판단다. 이 겹침 발생한 것으로 판단한 경우, 겹침/분리 판단부(130)는 두 개의 사각 영역이 하나의 사각 영역으로 병합하고, 병합된 하나의 사각 영역을 그룹 영역으로 정의(생성)한다. 예컨대, 도 4의 (B)에 나타나는 하나의 사각 박스가 그룹 영역으로 정의된다.
도 5에서는 하나의 사각 영역이 다시 두 개의 사각 영역으로 분리되는 경우가 나타난다. 도 4의 (B)에 나타나는 그룹 영역은 일정 시간 동안 유지된다. 즉, 도 5의 (A)와 같이 제1 객체의 실루엣 영역과 제2 객체의 실루엣 영역이 완전히 분리될 때까지 그룹영역을 유지한다. 이후 제1 객체와 제2 객체가 그룹 영역에서 서로 분리되면, 도 5의 (B)와 같이, 서로 분리된 제1 객체의 실루엣 영역과 제2 객체의 실루엣 영역이 나타나게 된다.
겹침/분리 판단부(130)는 다양한 방식(알고리즘)으로 겹쳐진 상태와 분리된 상태를 판단할 수 있다. 예컨대, 제1 객체의 실루엣 영역의 중심에 해당하는 픽셀 좌표와 제2 객체의 실루엣 영역의 중심에 해당하는 중심 픽셀 좌표 간의 거리 값을 매 프레임 단위로 연산하고, 이 연산한 거리 값과 기설정된 기준 값을 비교하여, 거리 값이 기준 값이 이하일 때, 제1 및 제2 객체의 실루엣 영역은 겹쳐진 상태로 판단한다. 만일 상기 거리 값이 상기 기준 값 이하를 유지하다가 상기 기준 값을 초과하게 되면, 거리 값이 기준 값 이하를 유지하는 프레임 구간에서는 제1 및 제2 객체의 실루엣 영역이 겹쳐진 상태로 판단하다가, 거리 값이 기준 값을 초과하는 프레임 구간에서는 제1 및 제2 객체의 실루엣 영역은 분리된 상태로 판단된다.
겹침/분리 판단부(130)는 제1 및 제2 객체가 겹침이 발생한 것으로 판단한 경우, 제1 객체의 실루엣 영역과 제2 객체의 실루엣 영역이 포함된(병합된) 하나의 그룹 영역을 생성(정의)하고, 그룹 영역이 정의된 실루엣 영상(13A)을 그룹 추적부(140)로 제공한다. 한편, 그룹 영역이 생성되어도 제1 객체의 실루엣의 특징 정보와 제2 객체의 실루엣의 특징 정보는 그대로 유지된다. 이 특징 정보에 대해서 아래에서 상세히 설명된다.
그룹 추적부(140)는 그룹 영역이 정의된 일련의 실루엣 영상(13A)을 입력받아서, 그룹 영역을 추적한다. 여기서, 그룹 영역의 추적 과정은 본 발명에서 제시하는 특징 정보에 기초하여 추적하는 것이 아니라 연속된 실루엣 영상에 포함된 겹침 정보 즉, 그룹 영역과 관련된 정보(예컨대, 그룹 영역을 구성하는 단순한 픽셀들의 좌표 값들)만을 기반으로 연속된 프레임에서 추적을 수행한다.
한편, 겹침./분리 판단부(130)에 의해 그룹 영역이 정의되지 않은 실루엣 영상(13B)은 연속된 프레임으로 객체 추적부(150)로 제공된다.
객체 추적부(150)는 분리된 제1 및 제2 객체의 실루엣 영역에 포함된 특징 정보를 프레임 단위로 수집하고, 이전 프레임에서 수집된 특징 정보와 현재 프레임에서 수집된 특징 정보를 비교하여 제1 객체 및 제2 객체 중 현재 추적하고자 하는 객체를 추적한다.
구체적으로, 객체 추적부(150)는 이전 프레임의 실루엣 영상을 제공받아서 제1 및 제2 객체의 특징 정보를 추출하고, 추출된 특징 정보를 메모리와 같은 형태로 구현된 정보 수집부(160)에 저장한다. 이후, 객체 추적부(150)가 현재 프레임의 실루엣 영상을 제공받으면, 상기 정보 수집부(160)에 저장된 이전 프레임의 특징 정보를 독출하여, 이전 프레임의 특징 정보와 현재 프레임의 특징 정보를 비교하여 추적을 수행한다. 여기서, 특징 정보는 각 실루엣 영역에 포함된 색깔 정보, 크기 정보 및 형태 정보를 조합한 정보로서, 객체가 사람인 경우, 상기 색깔 정보는 객체의 옷 색깔 정보이고, 상기 크기 정보는 객체의 키 정보이고, 형태 정보는 객체의 얼굴 정보이다.
상기 객체 추적부(150)와 정보 수집부(160)에 의해 수집된 특징 정보는 추적하고자 하는 목표 객체가 그룹 영역에 포함된 후, 목표 객체가 그룹 영역으로부터 분리되는 경우, 목표 객체에 대한 추적의 일관성을 유지하는데 매우 유용한 정보로 활용될 수 있다.
이와 같이, 추적의 일관성을 유지하는데 유용하게 활용되는 특징 정보에 대해 상세히 설명하기로 한다.
도 6은 도 1에 도시된 객체 추적부에 의해 추출되는 특징 정보 중 옷 색깔 정보를 설명하기 위한 도면이다.
먼저, 특징 정보 중 옷 색깔 정보를 추출하는 과정에 대해 설명하기로 한다.
객체 추적부(150)는 해당 객체의 실루엣 영역에서 옷 색깔 정보를 추출하기에 앞서 옷 색깔 정보를 추출하기 위한 상반신 영역을 설정한다.
옷 색깔 정보는 사람이 존재하는 사각 영역 즉, 실루엣 영역에서 사람의 상반신 영역에서 추출된다. 구체적으로, 옷 색깔 정보는 사각 영역의 세로 높이를 기 설정된 비율로 3개의 영역으로 분할하고, 분할된 3개의 영역 중 하나의 영역을 상반신 영역으로 설정한다. 그리고 설정된 상반신 영역에서 옷 색깔 정보의 추출과정이 수행된다. 예컨대, 도 6의 (A)에 도시된 바와 같이, 사각 영역의 세로 높이를 6이라고 가정하면, 머리 영역, 상반신 영역 및 하반신 영역을 각각 1:3:3의 비율로 설정하고, 설정된 비율에 해당하는 상반신 영역을 상반신 영역에서 옷 색깔 정보를 추출한다. 이때, 도 4(B)의 왼쪽 영상과 같이 배경 영역이 포함되어 있는 원래의 영상에서 상반신 영역만을 설정하면, 옷 색깔이 아닌 배경 영역이 상당 부분 포함되어 있으므로, 순수한 옷 색깔 정보를 정확히 수집하기가 어렵다.
이에 본 발명에서는 도 1에 도시된 객체 검출부(120)에 의해 검출된 배경 영역이 제거된 실루엣 영상에서 옷 색깔 정보를 추출하므로, 배경 영역에 의한 간섭을 최소화할 수 있다.
상반신 영역에서 옷 색깔 정보를 추출하기 위한 구체적 알고리즘은 다음과 같다. 본 발명에서는 옷 색깔을 표현할 수 있는 HSV 컬러 공간이 사용된다. 즉, RGB 각각의 채널에 대하여 아래의 수학식 1을 이용하여 3개의 모멘트를 획득하고, 획득한 3개의 모멘트에 기초하여 하나의 옷 색깔에 대하여 총 9차원의 특징 벡터가 추출된다. 추출된 9차원의 특징 벡터가 옷 색깔 정보로서 이용된다.
Figure pat00001
다음으로, 특징 정보 중 사람의 키 정보를 추출하는 과정은 다음과 같다.
입력 영상에서 사람이 존재하는 영역 즉, 실루엣 영역이 추출되면, 객체 추적부(150)가 사람의 키 정보를 측정한다. 카메라와 사람이 동일한 평면에 위치하고, 사람의 전신이 카메라의 화각 안에 존재한다면 오직 하나의 카메라를 이용하여 사람의 키 정보를 측정할 수 있다.
사람이 카메라에서 가까워지면 사람의 형태가 커지고, 카메라로부터 멀어지면 당연히 사람의 형태가 작아지므로, 영상에 포함된 사람의 형태만으로 키를 측정하는 것은 곤란하다. 이러한 점을 보정 하기 위해, 카메라에서 사람까지의 거리에 관한 정보가 키 정보를 추출하는 과정에서 이용된다. 일반적으로 레이저 스캐너와 같은 거리 센서나, 두 개 이상의 카메라를 이용한 스테레오 매칭(Stereo Matching) 등을 이용하여 거리를 구할 수 있는 방법이 존재한다.
그러나 레이저 스캐너 등의 장비는 고가이며, 스테레오 매칭 등의 기법도 하나의 카메라를 사용하는 저가형 시스템의 경우 구현이 어렵다는 문제가 있다. 따라서, 본 발명에서는 하나의 카메라를 사용해서도 키를 측정할 수 있도록 한다.
객체 검출부에(120) 의해 객체 즉, 사람의 실루엣을 추출한 이후, 추출된 실루엣이 포함된 실루엣 영상에서 키 정보의 측정 과정이 수행되는데, 이때, 다음과 같은 세 가지 가정이 요구된다.
첫 번째 가정은 카메라가 장착된 로봇과 사람이 동일 평면상에 있다는 것이고, 두 번째 가정은 사람이 똑바로 서 있는 것이다. 그리고 세 번째 가정은 사람의 전신이 카메라 뷰(view, 화각)안에 있는 것이다.
다음으로, 카메라의 보기 영역(Field of View)에 해당하는 각도 θ를 미리 측정해 알고 있으면, 다음의 수학식 2에 비례적으로 임의의 화소 P에 해당하는 각도 값을 구할 수 있다.
Figure pat00002
즉, 카메라에서 영상 면까지의 거리를 D라고 하면,
Figure pat00003
이 되고,
상기 1), 2) 식으로 부터
Figure pat00004
과 같은 식을 얻을 수 있으므로, 상기 수학식 2가 도출될 수 있다.
한편, 도 7을 참조하면, 로봇에서 카메라가 장착되어 있는 높이는 미리 알 수 있으므로, 바닥 평면으로부터 카메라까지 높이 h는 이미 알고 있는 값이며, 또한 카메라의 틸트 각 θ2는 로봇에 의해 제어되는 값이므로 역시 이미 알고 있는 값이 된다.
위와 같이 이미 알고 있는 값에 근거하여 입력 영상으로 실루엣 영역을 추출하여 얻을 수 있는 정보는 실루엣 영역에 포함된 실루엣의 머리끝에서 수직 중앙까지의 화소 단위의 거리인 P1과 영상의 수직 중앙에서 발끝까지의 화소 단위거리인 P2이다.
최종적으로 사람의 키 H를 얻기 위해서는 θ1 및 θ3을 P1과 P2로부터 구할 필요가 있는데, 우선 카메라 왜곡을 무시한 Pin Hole Camera Model을 가정하여, 상기 수학식 2를 이용하면 θ1과 (θ2+θ3)를 구할 수 있다. 즉, 수학식 2의 P가 각각 P1, P2에 해당하고, 알파(alpha)가 각각 θ1, (θ2+θ3)에 해당 되므로,
Figure pat00005
Figure pat00006
와 같이, θ1, (θ2+θ3)가 각각 정의된다.
그리고 이 중 θ2는 로봇에 의해 제어되는 값이고, 이에 따라 이미 알고 있는 값이므로, 결과적으로 θ1, θ2 및 θ3을 모두 구할 수 있다. θ1, θ2 및 θ3 값을 구하게 되면, 카메라에서 사람까지의 거리 d를 구할 수 있다.
Figure pat00007
상기 수학식 3에 의해 사람으로부터 카메라까지의 거리를 구하게 되면, 사람의 키 H에서 카메라 높이 h를 뺀값인 H'는 다음식을 통해 구할 수 있다.
Figure pat00008
상기 수학식 3과 수학식 4를 결합하여 최종적으로 사람의 키 H를 구하면 다음식과 같다.
Figure pat00009
이와 같이, 하나의 카메라를 통해 획득된 실루엣 영상으로부터 사람의 키 정보가 획득될 수 있다.
다음으로, 특징 정보 중 얼굴 정보를 추출하는 과정은 그룹 영역에서 사람이 분리되는 경우, 정면의 얼굴 인식을 통하여 추적의 일관성을 유지하기 위해 수집된다. 수집되는 얼굴 정보는 다양한 얼굴 인식 알고리즘이 탑재된 얼굴 인식기에 의해 획득될 수 있다. 예컨대, 아다부스트 기법에 의한 얼굴 인식 알고리즘이 탑재된 얼굴 인식기가 사용될 수 있다. 본 발명에서는 정면의 얼굴 정보를 획득할 수 있는 것이라면, 어떠한 얼굴 인식기가 사용되어도 무방하다.
지금까지 설명한 정보들, 즉, 옷 색깔 정보, 키 정보 및 얼굴 정보는 추적이 진행되는 동안 지속적으로 수집되고, 수집된 정보는 정보 수집부(160)에 저장된다. 다시 말해서 상반신 영역이 획득되면, 옷 색깔 정보를 수집하고, 입력 영상에서 사람의 전신 영역이 모두 나타나면, 키 정보를 획득하고, 정면의 얼굴이 나타나는 경우에는 얼굴 정보가 획득된다.
추적 중인 사람에 대해 획득된 위와 같은 정보는 그룹에서 사람들이 서로 분리되는 경우, 추적의 일관성을 유지하기 위해 유용하게 사용된다.
도 8은 본 발명의 일실시예에 따라 수집된 특징 정보를 구성하는 정보들이 그룹영역에서 분리된 사람과 겹쳐지기 이전의 사람을 일치시키기 위해 어떻게 활용되는지를 보여주는 도면이다.
도 8에는 3가지의 경우가 나타난다. 먼저, 도 8의 (A)는 입력 영상에 나타나는 두 사람의 얼굴이 모두 안보이고, 키도 비슷한 경우를 나타내고, 도 8의 (B)는 두 사람의 얼굴이 모두 안보이고, 옷 색깔이 비슷한 경우를 나타내는 것이다. 그리고 도 8의 (C)는 두 사람의 키가 비슷하고, 옷 색깔이 비슷한 경우를 나타내는 것이다.
도 8의 (a)의 경우, 얼굴이 보이지 않고, 키가 비슷한 두 사람이 겹쳤다가 분리되는 경우에는 옷 색깔 정보가 유용한 정보로서 활용될 수 있다. 도 8의 (b)의 경우, 얼굴이 보이지 않고, 옷 색깔이 비슷한 두 사람이 겹쳤다가 분리되는 경우에는 키 정보가 유용한 정보로서 활용될 수 있다. 도 8의 (C)의 경우, 두 사람이 키도 비슷하고, 옷 색깔도 비슷한 경우, 사람의 얼굴 정보가 유용한 정보로서 활용될 수 있다.
만약 두 가지 이상의 정보를 동시에 활용할 수 있다면, 추적의 일관성을 유지하는 데 있어, 높은 신뢰도가 제공될 수 있다. 예를 들어 사람의 얼굴은 보이지 않지만, 사람의 상반신과 전신이 화면에 나타나는 경우, 그룹영역에서 분리된 특정인의 옷 색깔 정보와 키 정보를 겹치기 이전의 상기 특정인의 옷 색깔 정보와 키 정보를 비교하여, 각각의 정보가 정보들이 서로 어느 정도 일치하는지를 종합적으로 판단하여, 최종 결과를 도출할 수 있을 것이다.
이렇듯, 본 발명에서 제시하는 특징 정보를 구성하는 사람에 대한 3가지 정보를 이용하면, 자유롭게 움직이는 사람들이 서로 겹쳤다가 분리될지라도 추적하고자 하는 사람에 대한 추적의 일관성이 유지될 수 있다.
도 9는 도 1에 도시된 객체 추적 장치를 이용하여 겹침이 발생한 환경에서 사람을 추적하는 예를 보여주는 도면이다.
도 9를 참조하면, 도 9의 (A)같이 두 사람이 분리된 경우, 본 발명의 객체 추적 장치가 두 사람에 대하여 얼굴 정보, 키 정보, 옷 색깔 정보로 구성된 특징 정보를 각각 수집한다. 이후, 도 9의 (B)와 같은 겹침이 발생하는 경우, 그룹 영역이 생성된다. 이때, 그룹 영역에 존재하는 두 사람에 대한 특징 정보는 그대로 유지된다. 이후, 도 9의 (C)와 같이 그룹 영역에서 두 사람이 분리된 경우, 각각의 사람이 존재하는 영역 즉, 실루엣 영역에 포함된 얼굴 정보, 키 정보, 옷 색깔 정보가 획득된다. 이후 본 발명의 객체 추적 장치는 획득된 정보와 그룹이 되기 전에 각각의 사람에 대하여 수집한 정보를 비교하여 유사도가 높은 정보들을 서로 일치시켜 추적의 일관성을 유지한다.
도 10은 본 발명의 일실시예에 따른 객체 추적 방법을 설명하기 위한 순서도이다.
도 10을 참조하면, 먼저, 로봇에 구비된 카메라를 통해 이동하는 제1 객체 및 제2 객체가 포함된 입력 영상이 내부 시스템으로 입력된다(S110). 입력 영상은 프레임 단위로 입력되며, 프레임 단위로 입력되는 입력 영상에는 3개 이상의 객체가 포함될 수도 있다.
이어, 제1 객체의 및 제2 객체가 포함된 입력 영상에서 상기 제1 및 제2 객체가 존재하지 않는 배경 영상을 검출하고, 상기 입력 영상과 상기 배경 영상 간의 차이에 근거하여 상기 제1 및 제2 객체의 실루엣 영역이 검출된다(S120).
이어, 제1 및 제2 객체의 움직임에 따라 현재 프레임에서 제1 객체의 실루엣 영역과 제2 객체의 실루엣 영역이 겹쳐져 있는지 분리되어 있는지가 판단된다(S130).
현재 프레임에서 제1 객체의 실루엣 영역과 제2 객체의 실루엣 영역이 겹쳐져 있는 경우(S140), 제1 객체의 실루엣 영역과 제2 객체의 실루엣 영역을 포함하는 그룹 영역이 생성된다(S160). 이후, 그 다음 프레임에 해당하는 입력 영상을 입력받고, 위 과정들(S120, S130)이 수행된다.
만일 현재 프레임에서 제1 객체의 실루엣 영역과 제2 객체의 실루엣 영역이 분리되어 있고(S140), 이전 프레임에서도 제1 객체의 실루엣 영역과 제2 객체의 실루엣 영역이 분리되어 있는 경우(S140), 제1 및 제2 객체의 실루엣 영역에 포함된 얼굴 정보, 키 정보 및 옷 색깔 정보로 구성된 특징 정보를 수집하고, 현재 프레임에서 수집된 특징 정보와 이전 프레임에서 수집된 상기 특징 정보를 비교하여, 제1 및 제2 객체 중 목표 객체에 대한 추적 과정이 수행된다(S180). 이때, 이전 프레임에서 수집된 하나의 정보와 현재 프레임에서 수집된 하나의 정보를 비교할 수도 있지만, 바람직하게는 이전 프레임에서 수집된 두 개 이상의 정보와 현재 프레임에서 수집된 두 개 이상의 정보를 비교하는 것이 바람직하다. 즉, 추적의 일관성을 보장하기 위하여, 두 가지 이상의 정보가 동시에 활용될 수 있다.
한편, 현재 프레임에서 그룹 영역이 생성되면, 다음 프레임에서 그룹 영역에 포함된 제1 및 제2 객체가 서로 분리되면, 상기 과정(S180)이 수행된다. 마찬가지로 두 가지 이상의 정보가 활용될 수 있다. 즉, 사람의 얼굴은 보이지 않지만, 사람의 상반신과 전신이 실루엣 영상(입력 영상으로부터 배경영역이 제거되어 사람이 존재하는 영역만 나타나는 영상)에 나타나는 경우, 그룹영역에서 분리된 특정인의 옷 색깔 정보와 키 정보를 겹치기 이전의 상기 특정인의 옷 색깔 정보와 키 정보를 비교하여, 각각의 정보가 정보들이 서로 어느 정도 일치하는지를 종합적으로 판단하여, 최종 결과를 도출할 수 있을 것이다. 즉, 특징 정보를 구성하는 얼굴 정보, 키 정보 및 옷 색깔 정보를 조합하여 추적하고자 하는 객체에 대한 추적과정이 수행된다. 다시 말해, 기존과 같이, 이동 속도와 같은 시간에 따라 변하는 정보가 아니라 변하지 않는 얼굴 정보, 키 정보 및 옷 색깔 정보 중 2가지 이상의 정보를 조합하고, 신뢰되가 높은 조합된 특징 정보를 이용하여 추적의 일관성이 보장될 수 있다.
만일, 현재 프레임에서 그룹 영역이 생성되면, 다음 프레임에서도 그룹 영역이 유지되면, 즉, 다음 프레임에서도 제1 및 제2 객체가 겹쳐져 있는 경우, 그룹 영역의 추적과정이 수행된다(S170).
본 발명의 객체 추적 방법이 사람과 상호작용하는 로봇에 적용되는 경우, 로봇은 객체 추적 과정과 그룹 추적 과정을 상호 연관시켜, 추적하고자하는 목표 객체에 대한 추적을 수행하게 된다.
지금까지 본 발명의 내용이 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (14)

  1. 복수의 개체가 포함된 입력 영상에서 배경 영상이 제거된 상기 복수의 객체에 대응하는 복수의 실루엣 영역을 검출하는 단계;
    상기 복수의 실루엣 영역이 서로 겹쳐져 있는지, 서로 분리되어 있는지를 판단하는 단계; 및
    상기 복수의 실루엣 영역이 서로 겹쳐진 상태에서 서로 분리된 경우, 겹쳐지기 이전의 상기 복수의 실루엣 영역 각각에 포함된 색깔 정보, 크기 정보 및 형태 정보가 조합된 특징 정보와 겹쳐진 후 서로 분리된 상기 복수의 실루엣 영역 각각에 포함된 상기 색깔 정보, 상기 크기 정보 및 상기 형태 정보가 조합된 특징 정보를 비교하여, 상기 복수의 실루엣 영역이 서로 겹쳐진 상태에서 서로 분리된 경우에도 상기 복수의 객체에 포함된 목표 객체를 일관성 있게 추적하는 단계;
    를 포함하는 객체 추적 방법.
  2. 제1항에 있어서, 상기 복수의 객체는 복수의 사람이고,
    상기 색깔 정보는 사람의 옷 색깔 정보이고, 상기 크기 정보는 사람의 키 정보이고, 상기 형태 정보는 사람의 얼굴 정보인 것을 특징으로 하는 객체 추적 방법.
  3. 제2항에 있어서, 상기 복수의 사람은 제1 사람과 제2 사람을 포함하고, 이전 프레임에서 상기 제1 사람의 실루엣 영역과 상기 제2 사람의 실루엣 영역이 서로 분리된 상태이고, 현재 프레임에서도 상기 제1 사람의 실루엣 영역과 상기 제2 사람의 실루엣 영역이 서로 분리된 상태에서, 상기 제1 사람을 상기 목표 객체로 추적하는 경우,
    상기 목표 객체를 일관성 있게 추적하는 단계는,
    상기 이전 프레임에서 상기 제1 사람의 실루엣 영역에 포함된 특징 정보와 상기 현재 프레임에서 상기 제1 사람의 실루엣 영역에 포함된 특징 정보를 비교하여, 그 비교 결과에 따라 상기 제1 사람을 추적하는 것인 객체 추적 방법.
  4. 제2항에 있어서, 상기 복수의 사람은 제1 사람과 제2 사람을 포함하고, 이전 프레임에서 상기 제1 사람의 실루엣 영역과 상기 제2 사람의 실루엣 영역이 서로 분리된 상태이고, 현재 프레임에서 상기 제1 사람의 실루엣 영역과 상기 제2 사람의 실루엣 영역이 겹쳐진 상태이고, 다음 프레임에서 겹쳐진 상기 제1 사람의 실루엣 영역과 상기 제2 사람의 실루엣 영역이 분리되는 상태에서 상기 제1 사람을 상기 목표 객체로서 추적하는 경우,
    상기 목표 객체를 일관성 있게 추적하는 단계는,
    상기 이전 프레임에서 상기 제1 사람의 실루엣 영역에 포함된 특징 정보와 상기 다음 프레임에서 상기 제1 사람의 실루엣 영역에 포함된 특징 정보를 비교하여, 그 비교 결과에 따라 상기 제1 사람을 추적하는 것인 객체 추적 방법.
  5. 제4항에 있어서, 상기 복수의 실루엣 영역이 서로 겹쳐져 있는지, 서로 분리되어 있는지를 판단하는 단계는,
    상기 현재 프레임에서, 상기 제1 사람의 실루엣 영역과 상기 제2 사람의 실루엣 영역이 병합된 그룹 영역을 생성하는 단계를 포함하고,
    상기 현재 프레임이 복수의 프레임으로 구성된 경우, 상기 복수의 프레임 중 제1 프레임에서의 상기 그룹 영역을 구성하는 픽셀 정보와 상기 제1 프레임에 시간상으로 연속한 제2 프레임에서의 상기 그룹 영역을 구성하는 픽셀 정보를 비교하여, 상기 그룹 영역을 추적하는 단계를 더 포함하는 것을 특징으로 하는 객체 추적 방법.
  6. 제5항에 있어서, 상기 목표 객체를 일관성 있게 추적하는 단계는,
    상기 그룹 영역을 추적한 결과와 함께 상기 이전 프레임에서 상기 제1 사람의 실루엣 영역에 포함된 특징 정보와 상기 다음 프레임에서 상기 제1 사람의 실루엣 영역에 포함된 특징 정보를 비교한 결과에 근거하여 상기 제1 사람을 일관성 있게 추적하는 것을 특징으로 하는 객체 추적 방법.
  7. 제4항에 있어서, 상기 목표 객체를 일관성 있게 추적하는 단계는,
    상기 이전 프레임에서 상기 제1 사람의 실루엣 영역에 포함된 특징 정보와 상기 다음 프레임에서 상기 제1 사람의 실루엣 영역에 포함된 특징 정보를 비교하되,
    상기 이전 프레임에서의 특징 정보를 구성하는 상기 옷 색깔 정보이고, 상기 키 정보이고, 상기 얼굴 정보 중 적어도 2가지 정보와 상기 다음 프레임에서의 특징 정보를 구성하는 옷 색깔 정보이고, 상기 키 정보이고, 상기 얼굴 정보 중 적어도 2가지 정보를 각각 비교하여, 상기 현재 프레임에서 상기 제1 사람의 실루엣 영역과 상기 제2 사람의 실루엣 영역이 겹치는 경우가 발생하더라도 상기 제1 사람을 일관성 있게 추적하는 것을 특징으로 하는 객체 추적 방법.
  8. 제1항에 있어서, 상기 복수의 개체가 포함된 입력 영상에서 배경 영상이 제거되어, 상기 복수의 객체에 대응하는 복수의 실루엣 영역을 검출하는 단계는,
    상기 입력 영상에서 객체의 모션 영역 및 객체의 전신 영역을 검출하여 객체 영역을 출력하는 단계;
    상기 영상으로부터 상기 객체 영역을 제외한 배경 영상을 생성하여 출력하는 단계; 및
    상기 영상과 상기 배경 영상의 차이에 기초하여 상기 복수의 실루엣 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 객체 추적 방법.
  9. 제1 객체 및 제2 객체가 포함된 입력 영상에서 배경 영상이 제거된 상기 제1 및 제2 객체의 실루엣 영역을 각각 검출하는 객체 검출부;
    상기 검출된 상기 제1 및 제2 객체의 실루엣 영역을 프레임 단위로 입력받고, 상기 제1 및 제2 객체의 실루엣의 움직임에 따라 상기 제1 및 제2 객체의 실루엣 영역이 서로 분리된 상태와 제1 및 제2 객체의 실루엣 영역이 서로 겹쳐진 상태를 프레임 단위로 판단하는 겹침/분리 판단부; 및
    상기 겹침/분리 판단부의 판단 결과에 따라 상기 제1 및 제2 객체의 실루엣 영역이 서로 겹쳐진 상태에서 서로 분리된 경우, 겹쳐지기 이전의 상기 제1 및 제2 객체의 실루엣 영역 각각에 포함된 색깔 정보, 크기 정보 및 형태 정보가 조합된 제1 특징 정보와, 겹쳐진 후 서로 분리된 상기 제1 및 제2 객체의 실루엣 영역 각각에 포함된 상기 색깔 정보, 상기 크기 정보 및 상기 형태 정보가 조합된 제2 특징 정보를 비교하여, 상기 제1 및 제2 객체의 실루엣 영역이 서로 겹쳐진 상태에서 서로 분리된 경우에도 상기 제1 및 제2 객체를 일관성 있게 추적하는 객체 추적부;
    를 포함하는 객체 추적 장치.
  10. 제9항에 있어서, 상기 객체는 사람이고,
    상기 색깔 정보는 상기 사람의 옷 색깔 정보이고, 상기 크기 정보는 상기 사람의 키 정보이고, 상기 형태 정보는 상기 사람의 얼굴 정보인 것을 특징으로 하는 객체 추적 장치.
  11. 제10항에 있어서, 상기 제1 및 제2 특징 정보를 프레임 단위로 수집하는 정보 수집부를 더 포함하고,
    상기 정보 수집부는,
    색깔 항목, 크기 항목 및 형태 항목별로 정렬된 상기 제1 및 제2 특징 정보를 각각 수집하는 것을 특징으로 하는 객체 추적 장치.
  12. 제11항에 있어서, 상기 정보 수집부는 상기 객체 추적부의 내부에 구비된 것을 특징으로 하는 객체 추적 장치.
  13. 제9항에 있어서, 상기 겹침/분리 판단부는 상기 겹침/분리 판단부에 판단결과에 따라 상기 제1 및 제2 객체의 실루엣이 겹쳐진 경우, 겹쳐진 상기 제1 및 제2 객체의 실루엣을 포함하는 그룹영역을 생성하고,
    상기 생성된 그룹영역을 포함하는 이전 영상과 현재 영상 간의 차이를 이용하여 상기 그룹 영역을 추적하고, 추적 결과를 상기 객체 추적부에 제공하는 그룹 추적부를 더 포함하는 것을 특징으로 하는 객체 추적 장치.
  14. 제9항에 있어서, 상기 객체 검출부는,
    제1 객체 및 제2 객체가 포함된 입력 영상에서 상기 제1 및 제2 객체가 존재하지 않는 배경 영상을 검출하고, 상기 입력 영상과 상기 배경 영상 간의 차이에 근거하여 상기 제1 및 제2 객체의 실루엣 영역을 각각 검출하는 것을 특징으로 하는 객체 추적 장치.
KR1020100082072A 2010-08-24 2010-08-24 복수의 객체를 추적하는 객체 추적 방법 및 장치 KR101355974B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100082072A KR101355974B1 (ko) 2010-08-24 2010-08-24 복수의 객체를 추적하는 객체 추적 방법 및 장치
US13/215,797 US20120051594A1 (en) 2010-08-24 2011-08-23 Method and device for tracking multiple objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100082072A KR101355974B1 (ko) 2010-08-24 2010-08-24 복수의 객체를 추적하는 객체 추적 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120019008A true KR20120019008A (ko) 2012-03-06
KR101355974B1 KR101355974B1 (ko) 2014-01-29

Family

ID=45697328

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100082072A KR101355974B1 (ko) 2010-08-24 2010-08-24 복수의 객체를 추적하는 객체 추적 방법 및 장치

Country Status (2)

Country Link
US (1) US20120051594A1 (ko)
KR (1) KR101355974B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160028310A (ko) * 2014-09-03 2016-03-11 재단법인 실감교류인체감응솔루션연구단 이미지에서 제1 객체에 중첩된 제2 객체를 분리하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR20160108979A (ko) * 2015-03-09 2016-09-21 한화테크윈 주식회사 표적 추적 방법 및 장치
KR20170006840A (ko) * 2015-07-10 2017-01-18 고려대학교 산학협력단 축사내 개체 탐지 장치 및 방법
KR20170034608A (ko) * 2015-09-21 2017-03-29 한화테크윈 주식회사 전경의 색상 추출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
KR20170034607A (ko) * 2015-09-21 2017-03-29 한화테크윈 주식회사 전경의 색상 추출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
KR20180093402A (ko) * 2017-02-13 2018-08-22 한국전자통신연구원 다수 객체 추적 시스템 및 이의 객체 추적 방법
KR20200005930A (ko) 2018-07-09 2020-01-17 에스케이텔레콤 주식회사 객체 추적 서버, 객체 추적 시스템 및 객체 추적 방법을 수행하는 컴퓨터 판독 가능 기록매체에 저장된 프로그램
KR20210133562A (ko) * 2020-04-29 2021-11-08 군산대학교산학협력단 확률분포 간의 유사도를 이용한 다중 이동 객체 추적 방법 및 그 방법에 따른 객체 추적 시스템
KR20220066245A (ko) * 2020-11-11 2022-05-24 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 타깃 추적 방법 및 장치, 전자 기기 및 저장 매체
KR102435591B1 (ko) * 2022-01-04 2022-08-24 보은전자방송통신(주) 수업 자동 녹화 시스템 및 이를 이용한 관심대상 추적 방법
WO2023177222A1 (ko) * 2022-03-16 2023-09-21 에스케이텔레콤 주식회사 이미지 내 사람의 속성 추정 방법 및 장치

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010226558A (ja) * 2009-03-25 2010-10-07 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP5762730B2 (ja) * 2010-12-09 2015-08-12 パナソニック株式会社 人検出装置および人検出方法
TW201340907A (zh) * 2012-04-13 2013-10-16 Hon Hai Prec Ind Co Ltd 行李移動系統及其方法
CN103376803A (zh) * 2012-04-16 2013-10-30 鸿富锦精密工业（深圳）有限公司 行李移动系统及其方法
KR101993243B1 (ko) * 2013-02-06 2019-09-30 한국전자통신연구원 휴먼 정보 인식 방법 및 장치
JP6261190B2 (ja) * 2013-05-31 2018-01-17 キヤノン株式会社 設定装置および設定方法
JP5889247B2 (ja) * 2013-07-02 2016-03-22 キヤノン株式会社 画像処理装置、画像処理方法及び画像処理プログラム、並びに撮像装置
US9524440B2 (en) 2014-04-04 2016-12-20 Myscript System and method for superimposed handwriting recognition technology
US9384403B2 (en) 2014-04-04 2016-07-05 Myscript System and method for superimposed handwriting recognition technology
KR101608889B1 (ko) * 2015-04-06 2016-04-04 (주)유디피 대기열 모니터링 장치 및 방법
KR102582349B1 (ko) * 2016-02-19 2023-09-26 주식회사 케이쓰리아이 공간 증강 현실에서의 객체 중첩에 따른 오류 보정 장치 및 방법
IL246387A (en) * 2016-06-22 2017-05-29 Pointgrab Ltd METHOD AND SYSTEM FOR DETERMINING A BODY POSITION OF PRESENT
JP6750385B2 (ja) * 2016-08-10 2020-09-02 富士通株式会社 画像処理プログラム、画像処理方法および画像処理装置
KR102434397B1 (ko) 2017-07-10 2022-08-22 한국전자통신연구원 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법
TWI636428B (zh) * 2017-12-29 2018-09-21 晶睿通訊股份有限公司 影像分析方法、攝影機及其攝影系統
US10523864B2 (en) * 2018-04-10 2019-12-31 Facebook, Inc. Automated cinematic decisions based on descriptive models
US11303877B2 (en) 2019-08-13 2022-04-12 Avigilon Corporation Method and system for enhancing use of two-dimensional video analytics by using depth data
CN112184771B (zh) * 2020-09-30 2023-08-11 青岛聚好联科技有限公司 一种社区的人员轨迹跟踪的方法及装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5473369A (en) * 1993-02-25 1995-12-05 Sony Corporation Object tracking apparatus
US6295367B1 (en) * 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs
US6404900B1 (en) * 1998-06-22 2002-06-11 Sharp Laboratories Of America, Inc. Method for robust human face tracking in presence of multiple persons
US6567116B1 (en) * 1998-11-20 2003-05-20 James A. Aman Multiple object tracking system
US6707487B1 (en) * 1998-11-20 2004-03-16 In The Play, Inc. Method for representing real-time motion
US7167576B2 (en) * 2001-07-02 2007-01-23 Point Grey Research Method and apparatus for measuring dwell time of objects in an environment
US7688349B2 (en) * 2001-12-07 2010-03-30 International Business Machines Corporation Method of detecting and tracking groups of people
US7003136B1 (en) * 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
US20040113933A1 (en) * 2002-10-08 2004-06-17 Northrop Grumman Corporation Split and merge behavior analysis and understanding using Hidden Markov Models
US7394916B2 (en) * 2003-02-10 2008-07-01 Activeye, Inc. Linking tracked objects that undergo temporary occlusion
US20060170769A1 (en) * 2005-01-31 2006-08-03 Jianpeng Zhou Human and object recognition in digital video
GB0502369D0 (en) * 2005-02-04 2005-03-16 British Telecomm Classifying an object in a video frame
US8111873B2 (en) * 2005-03-18 2012-02-07 Cognimatics Ab Method for tracking objects in a scene
US20090041297A1 (en) * 2005-05-31 2009-02-12 Objectvideo, Inc. Human detection and tracking for security applications
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
US20100013935A1 (en) * 2006-06-14 2010-01-21 Honeywell International Inc. Multiple target tracking system incorporating merge, split and reacquisition hypotheses
KR20080073933A (ko) * 2007-02-07 2008-08-12 삼성전자주식회사 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치
WO2009006931A1 (en) * 2007-07-11 2009-01-15 Cairos Technologies Ag Video tracking method and apparatus arrangement for performing the method
KR20090093119A (ko) * 2008-02-28 2009-09-02 홍익대학교 산학협력단 움직이는 객체 추적을 위한 다중 정보의 융합 방법
US20090296989A1 (en) * 2008-06-03 2009-12-03 Siemens Corporate Research, Inc. Method for Automatic Detection and Tracking of Multiple Objects
US9031279B2 (en) * 2008-07-09 2015-05-12 Disney Enterprises, Inc. Multiple-object tracking and team identification for game strategy analysis
US20120020518A1 (en) * 2009-02-24 2012-01-26 Shinya Taguchi Person tracking device and person tracking program
US8218818B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object tracking
US8218819B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object detection in a video surveillance system

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160028310A (ko) * 2014-09-03 2016-03-11 재단법인 실감교류인체감응솔루션연구단 이미지에서 제1 객체에 중첩된 제2 객체를 분리하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR20160108979A (ko) * 2015-03-09 2016-09-21 한화테크윈 주식회사 표적 추적 방법 및 장치
KR20170006840A (ko) * 2015-07-10 2017-01-18 고려대학교 산학협력단 축사내 개체 탐지 장치 및 방법
KR20170034608A (ko) * 2015-09-21 2017-03-29 한화테크윈 주식회사 전경의 색상 추출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
KR20170034607A (ko) * 2015-09-21 2017-03-29 한화테크윈 주식회사 전경의 색상 추출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
US9852352B2 (en) 2015-09-21 2017-12-26 Hanwha Techwin Co., Ltd. System and method for determining colors of foreground, and computer readable recording medium therefor
KR20180093402A (ko) * 2017-02-13 2018-08-22 한국전자통신연구원 다수 객체 추적 시스템 및 이의 객체 추적 방법
KR20200005930A (ko) 2018-07-09 2020-01-17 에스케이텔레콤 주식회사 객체 추적 서버, 객체 추적 시스템 및 객체 추적 방법을 수행하는 컴퓨터 판독 가능 기록매체에 저장된 프로그램
KR20210133562A (ko) * 2020-04-29 2021-11-08 군산대학교산학협력단 확률분포 간의 유사도를 이용한 다중 이동 객체 추적 방법 및 그 방법에 따른 객체 추적 시스템
KR20220066245A (ko) * 2020-11-11 2022-05-24 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 타깃 추적 방법 및 장치, 전자 기기 및 저장 매체
KR102435591B1 (ko) * 2022-01-04 2022-08-24 보은전자방송통신(주) 수업 자동 녹화 시스템 및 이를 이용한 관심대상 추적 방법
WO2023177222A1 (ko) * 2022-03-16 2023-09-21 에스케이텔레콤 주식회사 이미지 내 사람의 속성 추정 방법 및 장치

Also Published As

Publication number Publication date
US20120051594A1 (en) 2012-03-01
KR101355974B1 (ko) 2014-01-29

Similar Documents

Publication Publication Date Title
KR101355974B1 (ko) 복수의 객체를 추적하는 객체 추적 방법 및 장치
US8254633B1 (en) Method and system for finding correspondence between face camera views and behavior camera views
EP3029604B1 (en) Area information estimating device, area information estimating method, and air conditioning apparatus
US8577151B2 (en) Method, apparatus, and program for detecting object
Xia et al. Human detection using depth information by kinect
CN105187785B (zh) 一种基于动态选取显著特征的跨卡口行人识别系统与方法
US9621779B2 (en) Face recognition device and method that update feature amounts at different frequencies based on estimated distance
CN107766819B (zh) 一种视频监控系统及其实时步态识别方法
Le et al. An analysis on human fall detection using skeleton from Microsoft Kinect
KR101839827B1 (ko) 원거리 동적 객체에 대한 얼굴 특징정보(연령, 성별, 착용된 도구, 얼굴안면식별)의 인식 기법이 적용된 지능형 감시시스템
Chen et al. Discovering social interactions in real work environments
JP6590609B2 (ja) 画像解析装置及び画像解析方法
JP5598751B2 (ja) 動作認識装置
US20090245575A1 (en) Method, apparatus, and program storage medium for detecting object
Xu et al. Integrated approach of skin-color detection and depth information for hand and face localization
Khan et al. Multiple human detection in depth images
Fujimura et al. Sign recognition using depth image streams
JP2021067469A (ja) 距離推定装置および方法
US20090245576A1 (en) Method, apparatus, and program storage medium for detecting object
Oliver et al. 3D descriptor for people re-identification
Haritaoglu et al. Ghost/sup 3D: detecting body posture and parts using stereo
CN112801038A (zh) 一种多视点的人脸活体检测方法及系统
JP5217917B2 (ja) 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム
JP2005250692A (ja) 物体の同定方法、移動体同定方法、物体同定プログラム、移動体同定プログラム、物体同定プログラム記録媒体、移動体同定プログラム記録媒体
An et al. Support vector machine algorithm for human fall recognition kinect-based skeletal data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161228

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171226

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee