KR101868894B1 - 로봇을 이용한 객체추적 시스템 및 그 추적방법 - Google Patents

로봇을 이용한 객체추적 시스템 및 그 추적방법 Download PDF

Info

Publication number
KR101868894B1
KR101868894B1 KR1020110137695A KR20110137695A KR101868894B1 KR 101868894 B1 KR101868894 B1 KR 101868894B1 KR 1020110137695 A KR1020110137695 A KR 1020110137695A KR 20110137695 A KR20110137695 A KR 20110137695A KR 101868894 B1 KR101868894 B1 KR 101868894B1
Authority
KR
South Korea
Prior art keywords
unit
image
movement pattern
detected
pattern
Prior art date
Application number
KR1020110137695A
Other languages
English (en)
Other versions
KR20130070394A (ko
Inventor
이대하
장민수
전서현
조영조
김재홍
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110137695A priority Critical patent/KR101868894B1/ko
Priority to US13/545,558 priority patent/US9305217B2/en
Publication of KR20130070394A publication Critical patent/KR20130070394A/ko
Application granted granted Critical
Publication of KR101868894B1 publication Critical patent/KR101868894B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

로봇을 이용한 객체추적 시스템 및 그 추적방법이 개시된다. 본 발명의 실시예에 따른 로봇을 이용한 객체추적 시스템은, 로봇의 전방에 대한 영상을 획득하는 영상획득부; 영상획득부에 의해 획득된 영상으로부터 객체를 검출하는 객체 검출부; 객체 검출부에 의해 검출된 객체에 대하여 로봇과의 거리 및 움직임방향을 포함하는 움직임패턴을 계산하는 움직임패턴 계산부; 움직임패턴 계산부에 의해 계산된 움직임패턴을 저장하는 움직임패턴 저장부; 및 영상획득부에 의해 현재 획득되는 영상에서 객체가 사라진 경우, 움직임패턴 저장부에 저장된 객체에 대한 움직임패턴에 기초하여 객체의 현재의 위치를 계산하는 현재위치 계산부를 포함하며, 현재위치 계산부에 의해 계산된 현재의 위치에 기반하여 영상획득부를 이동하여 객체에 대한 추적을 수행하는 것을 특징으로 한다.

Description

로봇을 이용한 객체추적 시스템 및 그 추적방법{Object Tracking System and Method Using Robot}
본 발명은 로봇을 이용한 객체추적 시스템 및 그 추적방법에 관한 것으로서, 보다 상세하게는 로봇을 이용한 영상기반의 객체(사람) 추적에 있어서, 객체가 카메라의 시야각을 벗어난 경우에도 해당 객체를 놓치는 일없이 계속적으로 객체추적을 수행할 수 있는 로봇을 이용한 객체추적 시스템 및 그 추적방법에 관한 것이다.
최근의 로봇사업은 정부주도하에 핵심사업으로 부각되어 많은 발전을 이루고 있다. 특히 지능로봇의 발전은 하루가 다르게 새로운 기술들을 양산해내고 있다. 특히 인간과의 상호작용분야에서의 발전이 두드러진다. 인간과의 원활한 상호작용이 이루어지기 위해서는 로봇이 사람을 찾고 쫓아가는 기본기능이 전제되어야 가능할 것이다.
로봇이 사람을 알아보고 그 사람을 따라간다거나, 외부 침입자를 알아보고 그 칩입자를 추적하는 등의 로봇 서비스는 인간과 로봇이 상호작용하는데 있어 필수적인 기술이라 할 수 있다.
로봇이 사람을 추적하는 방법에 대해 다양한 연구가 이루어져 왔는데, 최근에는 컬러정보를 이용한 영상 추적기술이 많이 사용되고 있다.
일반적으로 컬러정보를 이용한 영상 추적기술은 목표물의 컬러를 정규화(Normalization)된 R(Red)-G(Green)-B(Blue) 공간 혹은 H(Hue)-S(Saturation)-I(Intensity) 공간 등과 같은 조명 변화에 다소 강인하다고 알려진 컬러 모델들을 사용하여 구축된다.
그러나, 이러한 컬러 모델들은 목표물의 균일한 조명 변화에는 잘 적응하지만 조명과 목표물간의 각도 변화에 따른 목표물의 불규칙적인 밝기 변화 혹은 급작스런 밝기 변화에는 적용되지 못할 수 있으며, 그로 인해 사람의 추적이 실패하게 될 수 있다는 문제점이 있다.
또한, 사람이 카메라의 시야각을 벗어난 경우, 로봇은 추적하던 사람을 놓치게 되며, 그에 따라 사람의 추적은 실패하게 될 수 있다는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 창안된 것으로서, 로봇을 이용한 영상기반의 객체(사람) 추적에 있어서, 객체가 카메라의 시야각을 벗어난 경우에도 해당 객체를 놓치는 일없이 계속적으로 객체추적을 수행할 수 있는 로봇을 이용한 객체추적 시스템 및 그 추적방법을 제공하는 것을 목적으로 한다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 로봇을 이용한 객체추적 시스템은, 로봇의 전방에 대한 영상을 획득하는 영상획득부; 영상획득부에 의해 획득된 영상으로부터 객체를 검출하는 객체 검출부; 객체 검출부에 의해 검출된 객체에 대하여 로봇과의 거리 및 움직임방향을 포함하는 움직임패턴을 계산하는 움직임패턴 계산부; 움직임패턴 계산부에 의해 계산된 움직임패턴을 저장하는 움직임패턴 저장부; 및 영상획득부에 의해 현재 획득되는 영상에서 객체가 사라진 경우, 움직임패턴 저장부에 저장된 객체에 대한 움직임패턴에 기초하여 객체의 현재의 위치를 계산하는 현재위치 계산부를 포함하며, 현재위치 계산부에 의해 계산된 현재의 위치에 기반하여 영상획득부를 이동하여 객체에 대한 추적을 수행하는 것을 특징으로 한다.
객체 검출부는, 단위시간 동안 획득되는 영상의 프레임을 저장하는 영상프레임 저장부; 및 영상프레임 저장부에 저장된 영상프레임과 현재 획득되는 영상프레임을 비교하여 움직임 객체를 추출하는 움직임객체 추출부를 포함할 수 있다.
객체 검출부는, 검출된 객체에 대하여 얼굴영역을 검출하는 얼굴영역 검출부; 검출된 객체에 대하여 몸통영역을 검출하는 몸통영역 검출부; 및 얼굴영역 검출부에 의해 검출된 얼굴영역 및 몸통영역 검출부에 의해 검출된 몸통영역 중의 적어도 하나에 기초하여, 검출된 객체에 대한 추적영역을 설정하는 추적영역 설정부를 더 포함할 수 있다.
얼굴영역 검출부는, 얼굴 피부 컬러모델에 기초한 하르(haar) 모델을 이용할 수 있다.
또한, 몸통영역 검출부는, 객체의 옷색깔에 따른 R(Red)-G(Green)-B(Blue) 정보 또는 H(Hue)-S(Saturation)-I(Intensity) 정보에 기초하여 몸통영역을 검출할 수 있다.
객체 검출부는, 추적영역 설정부에 의해 설정된 추적영역 내에서 다리의 패턴을 검출하는 다리패턴 검출부를 더 포함할 수 있다. 이 경우, 움직임패턴 계산부는, 다리패턴 검출부에 의해 검출된 다리의 패턴에 기초하여 움직임패턴을 계산한다.
다리패턴 검출부는, 레이저 센서로 구현될 수 있다.
객체 검출부는, 검출된 객체에 대한 추적영역을 설정하는 추적영역 설정부를 더 포함할 수 있다. 이 경우, 움직임패턴 계산부는, 추적영역 설정부에 의해 설정된 추적영역 내에서의 객체에 대한 움직임패턴을 계산할 수 있다.
현재위치 계산부는, 영상획득부에 의해 현재 획득되는 영상에서 객체가 사라진 경우, 움직임패턴 저장부에 저장된 객체에 대한 이전의 추적영역에서의 움직임패턴에 기초하여 객체의 현재의 위치를 계산할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 로봇의 객체 추적방법은, 로봇의 전방에 대한 영상을 획득하는 단계; 영상획득단계에 의해 획득된 영상으로부터 객체를 검출하는 단계; 객체 검출단계에 의해 검출된 객체에 대하여 로봇과의 거리 및 움직임방향을 포함하는 움직임패턴을 계산하는 단계; 움직임패턴 계산단계에 의해 계산된 움직임패턴을 저장하는 단계; 영상획득단계에 의해 현재 획득되는 영상에서 객체가 사라진 경우, 움직임패턴 저장단계에 저장된 객체에 대한 움직임패턴에 기초하여 객체의 현재의 위치를 계산하는 단계; 및 현재위치 계산단계에 의해 계산된 현재의 위치에 기반하여 영상획득을 위한 위치를 이동하여 객체에 대한 추적을 수행하는 단계를 포함하는 것을 특징으로 한다.
객체 검출단계는, 단위시간 동안 획득되는 영상의 프레임을 저장하는 단계; 및 영상프레임 저장단계에 저장된 영상프레임과 현재 획득되는 영상프레임을 비교하여 움직임 객체를 추출하는 단계를 포함할 수 있다.
전술한 객체 추적방법은, 객체 검출단계에 의해 검출된 객체에 대하여 얼굴영역을 검출하는 단계; 객체 검출단계에 의해 검출된 객체에 대하여 몸통영역을 검출하는 단계; 및 얼굴영역 검출단계에 의해 검출된 얼굴영역 및 몸통영역 검출단계에 의해 검출된 몸통영역 중의 적어도 하나에 기초하여, 객체 검출단계에 의해 검출된 객체에 대한 추적영역을 설정하는 단계를 더 포함할 수 있다.
얼굴영역 검출단계는, 얼굴 피부 컬러모델에 기초한 하르(haar) 모델을 이용할 수 있다.
몸통영역 검출단계는, 객체의 옷색깔에 따른 R(Red)-G(Green)-B(Blue) 정보 또는 H(Hue)-S(Saturation)-I(Intensity) 정보에 기초하여 몸통영역을 검출할 수 있다.
전술한 객체 추적방법은, 추적영역 설정단계에 의해 설정된 추적영역 내에서 다리의 패턴을 검출하는 단계를 더 포함할 수 있다. 이 경우, 움직임패턴 계산단계는, 다리패턴 검출단계에 의해 검출된 다리의 패턴에 기초하여 움직임패턴을 계산할 수 있다.
전술한 객체 추적방법은, 객체 검출단계에 의해 검출된 객체에 대한 추적영역을 설정하는 단계를 더 포함할 수 있다. 이 경우, 움직임패턴 계산단계는, 추적영역 설정단계에 의해 설정된 추적영역 내에서의 객체에 대한 움직임패턴을 계산할 수 있다.
현재위치 계산단계는, 영상획득단계에 의해 현재 획득되는 영상에서 객체가 사라진 경우, 움직임패턴 저장단계에 의해 저장된 객체에 대한 이전의 추적영역에서의 움직임패턴에 기초하여 객체의 현재의 위치를 계산할 수 있다.
본 발명에 따르면, 카메라의 시야각에서 객체가 벗어날 경우, 로봇은 레이저 센서를 이용하여 객체의 움직임패턴을 검출하고, 이를 통해 객체의 위치를 파악한 다음, 카메라를 그 위치로 이동시킨 후, 영상 기반으로 객체를 검출할 수 있게 됨으로써 연속적으로 객체를 추적할 수 있게 된다.
도 1은 본 발명의 실시예에 따른 로봇을 이용한 객체추적 시스템을 개략적으로 도시한 도면이다.
도 2는 도 1의 객체 검출부의 일 예를 나타낸 도면이다.
도 3은 도 1의 객체 검출부의 다른 예를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 움직임패턴을 설명하기 위해 도시한 도면이다.
도 5는 추정영역에서의 다리패턴 검출을 설명하기 위해 도시한 도면이다.
도 6은 최종 추정영역 주변에서의 다리패턴 검출을 설명하기 위해 도시한 도면이다.
도 7은 본 발명의 실시예에 따른 로봇의 객체추적 방법을 나타낸 흐름도이다.
도 8은 도 7의 객체검출 과정을 나타낸 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 로봇을 이용한 객체추적 시스템 및 그 객체 추적방법을 첨부한 도 1 내지 도 9를 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 상세히 설명한다. 명세서 전체를 통하여 각 도면에서 제시된 동일한 참조 부호는 동일한 구성 요소를 나타낸다. 또한, 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 로봇을 이용한 객체추적 시스템을 개략적으로 도시한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 로봇을 이용한 객체추적 시스템(100)은 영상 획득부(110), 객체 검출부(120), 움직임패턴 계산부(130), 움직임패턴 저장부(140) 및 현재위치 계산부(150)를 포함할 수 있다.
영상 획득부(110)는 로봇에 설치된 카메라를 이용하여 로봇의 전방에 대한 영상을 획득한다. 이때, 영상 획득부(110)는 획득되는 영상의 품질 및 객체추적의 효율을 높이기 위하여, 일반 카메라와 적외선(IR: Infrared) 카메라가 결합된 형태의 이종센서 기반으로 일반 영상 및 적외선 영상을 획득할 수도 있다.
객체 검출부(120)는 영상 획득부(110)에 의해 획득된 영상으로부터 객체를 검출한다. 이를 위해 객체 검출부(120)는 도 2에 도시한 바와 같이, 단위시간 동안 획득되는 영상의 프레임을 저장하는 영상프레임 저장부(121), 및 영상프레임 저장부(121)에 저장된 영상프레임과 현재 획득되는 영상프레임을 비교하여 움직임 객체를 추출하는 움직임객체 추출부(122)를 구비할 수 있다. 이때, 움직임객체 추출부(122)는 저장된 영상프레임과 현재의 영상프레임의 비교 결과에 따라 관심영역(ROI: Region Of Interest)을 추정하며, 추정된 관심영역을 조합하여 객체를 분리할 수도 있다. 일반 카메라의 영상은 움직임을 감지하여 객체의 형태를 추정하고 이 결과에서 사람의 몸과 머리 부분을 추정 및 추출할 수 있다. 적외선 카메라 영상에서는 사람의 체온 데이터를 이용하여 먼저 관심 영역을 분리하고, 분리된 영역
내에서 사람의 몸과 머리 부분을 추정할 수 있다.
객체 검출과정에서 환경적 요인(조명 변화, 움직임 변화, 그림자)과 시공간 배경 변화를 해결하기 위해서 먼저 전경(foreground)과 배경(background)의 구분이 필요하다. 본 발명의 실시예에 따른 객체 추적 시스템에서 객체를 효과적으로 검출하기 위한 대표적인 방법은 장면차이(frame difference)와 배경차이(background difference)가 있다. 장면차이 방법은 연속되는 프레임간의 변화를 구하여 정지해 있는 부분을 제거하고 이동하는 부분만을 분할해내는 방법으로 배경 제거에는 용이하지만 정지해 있는 물체도 함께 제거되는 단점이 있다. 배경 차이 방법은 움직이는 물체가 없는 배경 영상과 움직임이 존재하는 입력 영상의 차분을 취함으로써 배경 부분을 제외한 이동 물체를 분할하기는 쉽지만 정확한 배경 영상을 획득하기에는 어려움이 있다. 따라서, 짧은 시간 간격 사이에 영상프레임 저장부(121)에 기억시킨 영상프레임과 현재의 영상프레임 사이의 차이는 물체의 이동 또는 운동에 관한 사항을 측정하거나 인식하는데 있어서 기초 자료가 될 수 있다. 이 두 영상프레임으로부터 동일한 물체의 차이는 물체가 이동한 거리와 방향 그리고 물체의 운동속도로 표현할 수 있다. 세밀한 광강도를 가진 두 개의 연속된 영상의 변화를 연속적 흐름으로 나타낼 수 있으며, 이를 광류(optical flow)라고 부른다.
또한, 객체 검출부(120)는 도 3에 도시한 바와 같이, 검출된 객체에 대하여 얼굴영역을 검출하는 얼굴영역 검출부(123), 검출된 객체에 대하여 몸통영역을 검출하는 몸통영역 검출부(124), 검출된 얼굴영역 및 검출된 몸통영역 중의 적어도 하나에 기초하여 객체에 대한 추적영역을 설정하는 추적영역 설정부(125), 및 추적영역 설정부(125)에 의해 설정된 추적영역 내에서 다리의 패턴을 검출하는 다리패턴 검출부(126)를 포함할 수도 있다. 여기서, 다리패턴 검출부(126)는 레이저 센서로 구현될 수 있다.
얼굴영역 검출부(123)는 얼굴 영역 검출을 하기 위해 얼굴 피부 컬러 모델에 따른 하르(haar) 모델을 적용할 수 있다. 이 경우, 하르 얼굴 검출기는 대략적인 얼굴 검출 수준에서 빠른 검출이 가능하기 때문에 많은 시스템에서 사용된다. 얼굴 피부 컬러 모델은 사람의 얼굴 영역의 색상을 미리 구분지음으로써 얼굴이 있는 영역과 없는 영역으로 구분된다.
몸통영역 검출부(124)는 객체의 옷색깔에 따른 R(Red)-G(Green)-B(Blue) 정보 또는 H(Hue)-S(Saturation)-I(Intensity) 정보에 기초하여 몸통영역을 검출할 수 있다. 또한, 몸통영역 검출부(124)는 얼굴영역 검출부(123)에 의해 검출된 얼굴 영역으로부터 그 비율에 따라 소정 거리 아래의 영역을 몸통영역으로 설정하고, 그에 대한 색깔 정보를 판단하여 기준 설정값으로 저장할 수도 있다.
움직임패턴 계산부(130)는 객체 검출부(120)에 의해 검출된 객체에 대하여 로봇과의 거리 및 움직임방향을 포함하는 움직임패턴을 계산한다. 즉, 움직임패턴 계산부(130)는 객체의 움직임에 대하여 시간의 변화에 따른 이동방향과 거리를 계산함으로써 객체의 움직임패턴을 계산할 수 있다. 이때, 움직임패턴 계산부(130)는 다리패턴 검출부(126)에 의해 검출된 다리의 패턴에 기초하여 움직임패턴을 계산할 수도 있다.
움직임패턴 저장부(140)는 움직임패턴 계산부(130)에 의해 계산된 움직임패턴을 저장한다. 이때, 움직임패턴 저장부(140)는 다리패턴 검출부(126)에 의해 검출된 다리패턴을 움직임패턴으로 저장할 수도 있다.
현재위치 계산부(150)는 영상획득부(110)에 의해 획득되는 현재의 영상에서 객체가 사라진 경우, 움직임패턴 저장부(140)에 저장된 객체에 대한 움직임패턴에 기초하여 객체의 현재의 위치를 계산할 수 있다. 이 경우, 현재위치 계산부(150)는 움직임패턴 저장부(140)에 저장된 객체에 대한 이전의 최종 추적영역에서의 움직임패턴에 기초하여 객체의 현재의 위치를 계산할 수 있다. 이를 통해, 본 발명의 실시예에 따른 로봇을 이용한 객체추적 시스템(100)은 현재위치 계산부(150)에 의해 계산된 현재의 위치에 기반하여 영상획득부(110)를 이동함으로써 객체에 대한 추적을 계속적으로 수행할 수 있다.
카메라의 시야각 내에서는 사람의 머리/얼굴/몸통을 검출할 수 있지만, 시야각을 벗어날 경우에는 영상기반으로는 사람을 검출할 수 없게 된다. 따라서, 본 발명의 실시예에 따른 로봇을 이용한 객체 추적 시스템(100)은 도 4 및 도 5에 도시한 바와 같이, 카메라의 시야각 내에 객체가 있을 경우에는 영상 기반으로 얼굴영역 검출부(123)에 의해 검출된 머리영역(123a) 또는 얼굴영역(123b), 및/또는 몸통영역 검출부(124)에 의해 검출된 몸통영역(124a)에 기초하여 객체를 검출하고, 추적할 영역을 설정한 다음, 추적영역 설정부(125)에 의해 설정된 추적 영역(125a) 내에서 다리패턴 검출부(126)를 통해 다리 패턴(126a)을 검출한다. 이때 검출된 다리 패턴(126a)이 움직임패턴(130a)으로 움직임패턴 저장부(140)에 저장될 수 있다. 카메라 시야각 내에 사람이 없을 경우, 도 6에 도시한 바와 같이 이전의 최종 추적영역을 기반으로 주변을 검색하여 다리 패턴(150a)을 검출한다. 다리 패턴이 검출되면, 그 영역에 객체가 있다는 것이므로, 객체추적 시스템(100)은 카메라를 해당 위치로 이동시켜 객체를 검출하게 된다. 이처럼, 영상 기반으로만 사람을 검출하여 추종하기에는 카메라의 제약 때문에 어려움이 있지만, 레이저 센서를 추가하여 이러한 제약사항들을 보완한다면, 끊김 없는 객체 추적을 수행할 수 있게 된다.
도 7은 본 발명의 실시예에 따른 로봇의 객체추적 방법을 나타낸 흐름도이다.
도 1 내지 도 7을 참조하면, 영상 획득부(110)는 로봇에 설치된 카메라를 이용하여 로봇의 전방에 대한 영상을 획득한다(S710).
객체 검출부(120)는 영상 획득부(110)에 의해 획득된 영상으로부터 객체를 검출한다(S720). 이때, 객체 검출부(120)는 도 8에 도시한 바와 같이, 단위시간 동안 획득되는 영상의 프레임을 영상프레임 저장부(121)에 저장하며(S721), 영상프레임 저장부(121)에 저장된 영상프레임과 현재 획득되는 영상프레임을 비교하여 움직임 객체를 추출할 수 있다(S722). 이때, 얼굴영역 검출부(123)는 비교된 결과에 기초하여 객체의 얼굴영역을 검출하며(S723), 몸통영역 검출부(124)는 비교된 결과에 기초하여 객체의 몸통영역을 검출할 수 있다(S724). 여기서, 얼굴영역 검출부(123)는 얼굴 피부 컬러모델에 기초한 하르(haar) 모델을 이용하여 얼굴영역을 검출할 수 있으며, 몸통영역 검출부(124)는 객체의 옷색깔에 따른 R(Red)-G(Green)-B(Blue) 정보 또는 H(Hue)-S(Saturation)-I(Intensity) 정보에 기초하여 몸통영역을 검출할 수 있다.
추적영역 설정부(125)는 얼굴영역 검출부(123)에 의해 검출된 얼굴영역 및/또는 몸통영역 검출부(124)에 의해 검출된 몸통영역에 기초하여 객체에 대한 추적영역을 설정한다(S725). 다리패턴 검출부(126)는 추적영역 설정부(125)에 의해 설정된 추적영역 내에서 객체의 다리패턴을 검출한다(S726).
이때, 움직임패턴 계산부(S726)는 객체 검출부(120)에 의해 검출된 객체의 움직임패턴 또는 다리패턴 검출부(126)에 의해 검출된 다리패턴에 기초하여 로봇과의 거리 및 이동방향을 계산할 수 있으며, 그에 따른 움직임패턴을 움직임패턴 저장부(140)에 저장시킬 수 있다.
만일, 획득한 영상에 대하여 얼굴영역 검출부(123)에 의한 얼굴영역이 검출되지 않고 몸통영역 검출부(124)에 몸통영역이 검출되지 않으면, 현재위치 계산부(150)는 움직임패턴 저장부(140)에 저장된 이전의 최종 추적영역 주변에서의 움직임패턴 또는 다리패턴을 검출하며, 검출된 움직임패턴 또는 다리패턴에 기초하여 현재의 객체의 위치를 판단할 수 있다.
움직임패턴 계산부(130)는 객체 검출부(120)에 의해 검출된 객체에 대하여 로봇과의 거리 및 움직임방향을 포함하는 움직임패턴을 계산한다(S730).
움직임패턴 저장부(140)는 움직임패턴 계산부(130)에 의해 계산된 움직임패턴을 저장한다(S740).
영상획득부(110)에 의해 획득되는 현재의 영상에 대하여 카메라의 시야 즉, 추적영역에서 객체가 검출되지 않는 경우(S750), 전술한 바와 같이 현재위치 계산부(150)는 움직임패턴 저장부(140)에 저장된 움직임패턴에 기초하여 객체의 현재의 위치를 계산할 수 있다(S760).
이로써, 본 발명의 실시예에 따른 로봇을 이용한 객체추적 시스템(100)은 영상획득부(110)의 방향을 현재위치 계산부(150)에 의해 계산된 위치로 이동시킴으로써 객체에 대한 추적을 계속적으로 수행할 수 있게 된다(S770).
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에 서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스 크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
본 발명에 의한 로봇을 이용한 객체추적 시스템 및 그 추적방법이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 로봇을 이용한 객체추적 시스템
110: 영상 획득부
120: 객체 검출부
130: 움직임패턴 계산부
140: 움직임패턴 저장부
150: 현재위치 계산부

Claims (17)

  1. 로봇의 전방에 대한 영상을 획득하는 영상획득부;
    상기 영상획득부에 의해 획득된 영상으로부터 객체를 검출하는 객체 검출부;
    상기 객체 검출부에 의해 검출된 객체에 대하여 상기 로봇과의 거리 및 움직임방향을 포함하는 움직임패턴을 계산하는 움직임패턴 계산부;
    상기 움직임패턴 계산부에 의해 계산된 움직임패턴을 저장하는 움직임패턴 저장부; 및
    상기 영상획득부에 의해 현재 획득되는 영상에서 상기 객체가 사라진 경우, 상기 움직임패턴 저장부에 저장된 상기 객체에 대한 움직임패턴에 기초하여 상기 객체의 현재의 위치를 계산하는 현재위치 계산부;
    를 포함하며, 상기 현재위치 계산부에 의해 계산된 현재의 위치에 기반하여 상기 영상획득부를 이동하여 상기 객체에 대한 추적을 수행하고,
    상기 현재위치 계산부는
    상기 영상획득부에 의해 현재 획득되는 영상에서 상기 객체의 얼굴영역 및 몸통영역이 검출되지 않은 경우, 상기 객체가 사라진 것으로 판단하고, 상기 움직임패턴 저장부에 저장된 이전의 최종 추적영역 주변에서의 다리 패턴을 검출하고, 상기 다리 패턴에 기초하여 현재의 객체의 위치를 판단하는 것을 특징으로 하는 로봇을 이용한 객체추적 시스템.
  2. 제 1항에 있어서, 상기 객체 검출부는,
    단위시간 동안 획득되는 영상의 프레임을 저장하는 영상프레임 저장부; 및
    상기 영상프레임 저장부에 저장된 영상프레임과 현재 획득되는 영상프레임을 비교하여 움직임 객체를 추출하는 움직임객체 추출부;
    를 포함하는 것을 특징으로 하는 로봇을 이용한 객체추적 시스템.
  3. 제 1항에 있어서, 상기 객체 검출부는,
    검출된 상기 객체에 대하여 얼굴영역을 검출하는 얼굴영역 검출부;
    검출된 상기 객체에 대하여 몸통영역을 검출하는 몸통영역 검출부; 및
    상기 얼굴영역 검출부에 의해 검출된 얼굴영역 및 상기 몸통영역 검출부에 의해 검출된 몸통영역 중의 적어도 하나에 기초하여, 검출된 상기 객체에 대한 추적영역을 설정하는 추적영역 설정부;
    를 더 포함하는 것을 특징으로 하는 로봇을 이용한 객체추적 시스템.
  4. 제 3항에 있어서, 상기 얼굴영역 검출부는,
    얼굴 피부 컬러모델에 기초한 하르(haar) 모델을 이용하는 것을 특징으로 하는 로봇을 이용한 객체추적 시스템.
  5. 제 3항에 있어서, 상기 몸통영역 검출부는,
    상기 객체의 옷색깔에 따른 R(Red)-G(Green)-B(Blue) 정보 또는 H(Hue)-S(Saturation)-I(Intensity) 정보에 기초하여 몸통영역을 검출하는 것을 특징으로 하는 로봇을 이용한 객체추적 시스템.
  6. 제 3항에 있어서, 상기 객체 검출부는,
    상기 추적영역 설정부에 의해 설정된 추적영역 내에서 다리의 패턴을 검출하는 다리패턴 검출부;
    를 더 포함하며, 상기 움직임패턴 계산부는 상기 다리패턴 검출부에 의해 검출된 다리의 패턴에 기초하여 움직임패턴을 계산하는 것을 특징으로 하는 로봇을 이용한 객체추적 시스템.
  7. 제 6항에 있어서, 상기 다리패턴 검출부는,
    레이저 센서에 의해 구현되는 것을 특징으로 하는 로봇을 이용한 객체추적 시스템.
  8. 제 1항에 있어서, 상기 객체 검출부는,
    검출된 상기 객체에 대한 추적영역을 설정하는 추적영역 설정부;
    를 더 포함하며, 상기 움직임패턴 계산부는 상기 추적영역 설정부에 의해 설정된 추적영역 내에서의 상기 객체에 대한 움직임패턴을 계산하는 것을 특징으로 하는 로봇을 이용한 객체추적 시스템.
  9. 제 8항에 있어서, 상기 현재위치 계산부는,
    상기 영상획득부에 의해 현재 획득되는 영상에서 상기 객체가 사라진 경우, 상기 움직임패턴 저장부에 저장된 상기 객체에 대한 이전의 추적영역에서의 움직임패턴에 기초하여 상기 객체의 현재의 위치를 계산하는 것을 특징으로 하는 로봇을 이용한 객체추적 시스템.
  10. 로봇의 객체 추적방법에 있어서,
    상기 로봇의 전방에 대한 영상을 획득하는 단계;
    상기 영상획득단계에 의해 획득된 영상으로부터 객체를 검출하는 단계;
    상기 객체 검출단계에 의해 검출된 객체에 대하여 상기 로봇과의 거리 및 움직임방향을 포함하는 움직임패턴을 계산하는 단계;
    상기 움직임패턴 계산단계에 의해 계산된 움직임패턴을 저장하는 단계;
    상기 영상획득단계에 의해 현재 획득되는 영상에서 상기 객체가 사라진 경우, 상기 움직임패턴 저장단계에 저장된 상기 객체에 대한 움직임패턴에 기초하여 상기 객체의 현재의 위치를 계산하는 단계; 및
    상기 현재위치 계산단계에 의해 계산된 현재의 위치에 기반하여 영상획득을 위한 위치를 이동하여 상기 객체에 대한 추적을 수행하는 단계;
    를 포함하고,
    상기 현재의 위치를 계산하는 단계는
    상기 영상을 획득하는 단계에서 획득한 현재 획득되는 영상에서 상기 객체의 얼굴영역 및 몸통영역이 검출되지 않은 경우, 상기 객체가 사라진 것으로 판단하고, 상기 움직임패턴을 저장하는 단계에서 저장된 이전의 최종 추적영역 주변에서의 다리 패턴을 검출하고, 상기 다리 패턴에 기초하여 현재의 객체의 위치를 판단하는 것을 특징으로 하는 로봇의 객체 추적방법.
  11. 제 10항에 있어서, 상기 객체 검출단계는,
    단위시간 동안 획득되는 영상의 프레임을 저장하는 단계; 및
    상기 영상프레임 저장단계에 저장된 영상프레임과 현재 획득되는 영상프레임을 비교하여 움직임 객체를 추출하는 단계;
    를 포함하는 것을 특징으로 하는 로봇의 객체 추적방법.
  12. 제 10항에 있어서,
    상기 객체 검출단계에 의해 검출된 객체에 대하여 얼굴영역을 검출하는 단계;
    상기 객체 검출단계에 의해 검출된 객체에 대하여 몸통영역을 검출하는 단계; 및
    상기 얼굴영역 검출단계에 의해 검출된 얼굴영역 및 상기 몸통영역 검출단계에 의해 검출된 몸통영역 중의 적어도 하나에 기초하여, 상기 객체 검출단계에 의해 검출된 객체에 대한 추적영역을 설정하는 단계;
    를 더 포함하는 것을 특징으로 하는 로봇의 객체 추적방법.
  13. 제 12항에 있어서, 상기 얼굴영역 검출단계는,
    얼굴 피부 컬러모델에 기초한 하르(haar) 모델을 이용하는 것을 특징으로 하는 로봇의 객체 추적방법.
  14. 제 12항에 있어서, 상기 몸통영역 검출단계는,
    상기 객체의 옷색깔에 따른 R(Red)-G(Green)-B(Blue) 정보 또는 H(Hue)-S(Saturation)-I(Intensity) 정보에 기초하여 몸통영역을 검출하는 것을 특징으로 하는 로봇의 객체 추적방법.
  15. 제 12항에 있어서,
    상기 추적영역 설정단계에 의해 설정된 추적영역 내에서 다리의 패턴을 검출하는 단계;
    를 더 포함하며, 상기 움직임패턴 계산단계는 상기 다리패턴 검출단계에 의해 검출된 다리의 패턴에 기초하여 움직임패턴을 계산하는 것을 특징으로 하는 로봇의 객체 추적방법.
  16. 제 10항에 있어서,
    상기 객체 검출단계에 의해 검출된 객체에 대한 추적영역을 설정하는 단계;
    를 더 포함하며, 상기 움직임패턴 계산단계는 상기 추적영역 설정단계에 의해 설정된 추적영역 내에서의 상기 객체에 대한 움직임패턴을 계산하는 것을 특징으로 하는 로봇의 객체 추적방법.
  17. 제 16항에 있어서, 상기 현재위치 계산단계는,
    상기 영상획득단계에 의해 현재 획득되는 영상에서 상기 객체가 사라진 경우, 상기 움직임패턴 저장단계에 의해 저장된 상기 객체에 대한 이전의 추적영역에서의 움직임패턴에 기초하여 상기 객체의 현재의 위치를 계산하는 것을 특징으로 하는 로봇의 객체 추적방법.

KR1020110137695A 2011-12-19 2011-12-19 로봇을 이용한 객체추적 시스템 및 그 추적방법 KR101868894B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110137695A KR101868894B1 (ko) 2011-12-19 2011-12-19 로봇을 이용한 객체추적 시스템 및 그 추적방법
US13/545,558 US9305217B2 (en) 2011-12-19 2012-07-10 Object tracking system using robot and object tracking method using a robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110137695A KR101868894B1 (ko) 2011-12-19 2011-12-19 로봇을 이용한 객체추적 시스템 및 그 추적방법

Publications (2)

Publication Number Publication Date
KR20130070394A KR20130070394A (ko) 2013-06-27
KR101868894B1 true KR101868894B1 (ko) 2018-06-20

Family

ID=48609751

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110137695A KR101868894B1 (ko) 2011-12-19 2011-12-19 로봇을 이용한 객체추적 시스템 및 그 추적방법

Country Status (2)

Country Link
US (1) US9305217B2 (ko)
KR (1) KR101868894B1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014108279A (ja) * 2012-12-03 2014-06-12 Omron Corp 遊技機
JP6089643B2 (ja) * 2012-12-03 2017-03-08 オムロン株式会社 画像合成装置及び画像合成方法
US10042031B2 (en) * 2015-02-11 2018-08-07 Xerox Corporation Method and system for detecting that an object of interest has re-entered a field of view of an imaging device
CN106803264A (zh) * 2015-11-25 2017-06-06 天津工业大学 一种用于多目标物体跟踪的图像匹配方法
CN107105193B (zh) 2016-02-23 2020-03-20 芋头科技（杭州）有限公司 基于人体信息的机器人监控系统
KR101906847B1 (ko) * 2016-06-29 2018-10-12 주식회사 크리에이츠 공 이미지 촬영을 위한 관심 영역을 결정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR102049960B1 (ko) * 2017-01-13 2019-11-28 주식회사 웨이브엠 사물인터넷 기반 운송 로봇 및 운송 로봇의 동작 방법
CN108734726A (zh) * 2017-12-04 2018-11-02 北京猎户星空科技有限公司 一种目标跟踪方法、装置、电子设备及存储介质
CN108259846B (zh) * 2018-03-30 2020-06-30 宁波高新区神台德机械设备有限公司 工业巡逻机器人系统
CN109040677A (zh) * 2018-07-27 2018-12-18 中山火炬高新企业孵化器有限公司 园区安防预警防御系统
CN110401799B (zh) * 2019-08-02 2020-12-15 睿魔智能科技（深圳）有限公司 一种自动跟踪拍摄方法及系统
CN110312078B (zh) * 2019-08-02 2021-06-29 睿魔智能科技（深圳）有限公司 一种自动环绕目标拍摄方法及系统
CN110460772B (zh) * 2019-08-14 2021-03-09 广州织点智能科技有限公司 摄像头自动调节方法、装置、设备和存储介质
AU2021286429A1 (en) * 2021-12-17 2023-07-06 Oxti Corporation Camera device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050041839A1 (en) * 2003-08-18 2005-02-24 Honda Motor Co., Ltd. Picture taking mobile robot
US20050244033A1 (en) * 2004-04-30 2005-11-03 International Business Machines Corporation System and method for assuring high resolution imaging of distinctive characteristics of a moving object
US20070100498A1 (en) * 2005-10-27 2007-05-03 Kosei Matsumoto Mobile robot
US20110129119A1 (en) * 2009-12-01 2011-06-02 Honda Research Institute Europe Gmbh Multi-object tracking with a knowledge-based, autonomous adaptation of the tracking modeling level

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7616782B2 (en) * 2004-05-07 2009-11-10 Intelliview Technologies Inc. Mesh based frame processing and applications
KR100647321B1 (ko) * 2005-02-07 2006-11-23 삼성전자주식회사 사용자 위치 추적 방법 및 장치
JP4709101B2 (ja) * 2006-09-01 2011-06-22 キヤノン株式会社 自動追尾カメラ装置
TWI405457B (zh) * 2008-12-18 2013-08-11 Ind Tech Res Inst 應用攝影機換手技術之多目標追蹤系統及其方法，與其智慧節點

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050041839A1 (en) * 2003-08-18 2005-02-24 Honda Motor Co., Ltd. Picture taking mobile robot
US20050244033A1 (en) * 2004-04-30 2005-11-03 International Business Machines Corporation System and method for assuring high resolution imaging of distinctive characteristics of a moving object
US20070100498A1 (en) * 2005-10-27 2007-05-03 Kosei Matsumoto Mobile robot
US20110129119A1 (en) * 2009-12-01 2011-06-02 Honda Research Institute Europe Gmbh Multi-object tracking with a knowledge-based, autonomous adaptation of the tracking modeling level

Also Published As

Publication number Publication date
US20130155226A1 (en) 2013-06-20
KR20130070394A (ko) 2013-06-27
US9305217B2 (en) 2016-04-05

Similar Documents

Publication Publication Date Title
KR101868894B1 (ko) 로봇을 이용한 객체추적 시스템 및 그 추적방법
US10417503B2 (en) Image processing apparatus and image processing method
Kondori et al. 3D head pose estimation using the Kinect
JP6007682B2 (ja) 画像処理装置、画像処理方法及びプログラム
Liu et al. Real-time human detection and tracking in complex environments using single RGBD camera
KR101634355B1 (ko) 동작 검출 장치 및 방법
JP6406345B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
KR20050066400A (ko) 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
Ahmad et al. Person detection from overhead view: A survey
JP6217635B2 (ja) 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム
KR101868903B1 (ko) 손 추적 장치 및 방법
KR101279561B1 (ko) 깊이정보 기반 고속 고정밀 얼굴 검출 및 추적 방법
JP5271227B2 (ja) 群衆監視装置および方法ならびにプログラム
JP2016057998A (ja) 物体識別方法
JP2012191354A (ja) 情報処理装置、情報処理方法及びプログラム
CN111034189A (zh) 拍摄对象追踪装置以及拍摄对象追踪方法
Zhu et al. 3d head pose estimation with optical flow and depth constraints
Swadzba et al. Tracking objects in 6D for reconstructing static scenes
KR20080079506A (ko) 촬영장치 및 이의 대상 추적방법
O'Malley et al. A review of automotive infrared pedestrian detection techniques
Nanda et al. A robust elliptical head tracker
Bien et al. Detection and recognition of indoor smoking events
Hansen et al. Automatic annotation of humans in surveillance video
KR101668649B1 (ko) 주변 환경 모델링 방법 및 이를 수행하는 장치
Kapuscinski et al. Recognition of signed dynamic expressions observed by ToF camera

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant