KR20140049152A - 사람 추종 방법 및 로봇 장치 - Google Patents

사람 추종 방법 및 로봇 장치 Download PDF

Info

Publication number
KR20140049152A
KR20140049152A KR1020120114537A KR20120114537A KR20140049152A KR 20140049152 A KR20140049152 A KR 20140049152A KR 1020120114537 A KR1020120114537 A KR 1020120114537A KR 20120114537 A KR20120114537 A KR 20120114537A KR 20140049152 A KR20140049152 A KR 20140049152A
Authority
KR
South Korea
Prior art keywords
user
image
following
target point
depth
Prior art date
Application number
KR1020120114537A
Other languages
English (en)
Inventor
윤영우
김도형
윤우한
윤호섭
이재연
김재홍
박종현
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120114537A priority Critical patent/KR20140049152A/ko
Priority to US14/021,983 priority patent/US9201425B2/en
Publication of KR20140049152A publication Critical patent/KR20140049152A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/12—Target-seeking control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

사람 추종 방법 및 로봇 장치가 개시된다. 컬러 영상 및 심도 영상으로 이루어진 영상 프레임을 제공받고, 이전 영상 프레임에서 사용자 추종에 성공했는지 여부를 판단하며, 상기 이전 영상 프레임에서 사용자 추종에 성공했을 경우, 상기 영상 프레임에서 컬러 영상과 심도 영상을 바탕으로 사용자 위치 및 장치가 이동할 목표 지점을 결정하는 사람 추종 방법은 심도 영상으로부터 사용자의 현재 위치를 예상하여, 빠르게 사용자를 추종하고, 사용자를 장애물 등의 이유로 포착에 실패하였을 때 추종 과정에서 획득한 사용자의 정보로 빠르게 사용자를 재검출해서 추종할 수 있다.

Description

사람 추종 방법 및 로봇 장치{METHOED FOR FOLLOWING PERSON AND ROBOT APPARTUS FOR THE PERFOMING THE SAME}
본 발명은 사람 추종 기술에 관한 것으로, 더욱 상세하게는 RGB-Depth 카메라를 이용한 사람 추종 방법 및 로봇 장치에 관한 것이다.
로봇이 카메라 영상 기반으로 사용자를 추종하는 것은 사람-로봇 상호작용(Human-Robot Interaction)의 한 방법으로 이동 로봇의 중요한 기능이다. 영상 기반으로 로봇이 사용자를 추종하는 것은 현재 위치해 있는 공간의 지도 정보가 없는 상황에서 사용자가 별도의 장치 없이 걸어서 움직이는 것만으로 로봇을 유도할 수 있는 기능이다.
이와 같은 사용자 추종 로봇 시스템은 여러 가지 방법으로 만들어 질 수 있다. 종래에 사용되던 방법은 레이저 레인지 파인더(Laser Range Finder, LRF)를 이용하여 사용자의 다리를 추적하는 방법이다. 레이저 레인지 파인더는 센서와 가로로 평행한 전 방향의 심도(depth) 정보를 출력한다. 심도 정보로부터 다리의 위치를 추정하고 그 위치를 입자필터(particle filter), 칼만 필터(kalman filter) 등을 이용하여 추적한다. 또 다른 종래의 기술로는 얼굴, 상반신, 전신 검출 기술이 있다. 로봇은 RGB 카메라 영상에서 얼굴, 상반신, 또는 전신을 검출하여 사용자가 위치한 방향으로 이동한다.
종래의 기술 중 LRF를 이용한 방법은 실내 외에서 효과적으로 작동하지만 LRF 센서의 가격이 높다는 단점이 있다. 또한, 얼굴, 상반신, 전신 검출을 이용한 방법은 검출 속도가 느려 로봇의 즉각적인 반응이 힘들다는 것과 검출에 실패할 확률이 높다는 단점이 있다.
상술한 바와 같은 단점을 극복하기 위한 본 발명의 목적은 로봇이 사용자를 안정적으로 추종할 수 있는 사람 추종 방법을 제공하는 것이다.
또한, 본 발명의 다른 목적은 안정적으로 추종할 수 있는 사람 추종 방법을 수행하는 로봇 장치를 제공하는 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 사람 추종 방법은 컬러 영상 및 심도 영상으로 이루어진 영상 프레임을 제공받고, 이전 영상 프레임에서 사용자 추종에 성공했는지 여부를 판단하며, 상기 이전 영상 프레임에서 사용자 추종에 성공했을 경우, 상기 영상 프레임에서 컬러 영상과 심도 영상을 바탕으로 사용자 위치와 장치가 이동할 목표 지점을 결정한다.
여기서, 상기 사용자 위치와 장치가 이동할 목표 지점을 결정하는 것은 상기 이전 영상 프레임에서 추종에 성공한 사용자의 위치를 바탕으로 현재 영상 프레임에서 심도 필터링을 하고, 상기 심도 필터링한 영상에서 컬러 기반 추종을 수행하며, 상기 컬러 기반 추종에서 사용자의 추종 성공일 경우, 사용자의 위치를 획득하고, 상기 사용자의 위치를 이동할 목표 지점으로 설정할 수 있다.
여기서, 상기 사람 추종 방법은 상기 이전 프레임에서 사용자 추종에 실패하였을 경우, 상기 영상 프레임에서 사용자를 검출하고 사용자의 위치와 장치가 이동할 목표 지점을 결정하는 단계를 더 포함할 수 있다.
여기서, 이전 프레임에서 사용자 추종에 실패하였을 경우, 상기 영상 프레임에서 사용자를 검출하고 사용자의 위치와 장치가 이동할 목표 지점을 결정하는 것은 컬러 영상과 심도 영상으로부터 사람을 검출하고, 검출된 적어도 하나의 사람에서 사용자의 컬러 정보와 키 정보로 사용자를 검출하고, 상기 검출에서 검출에 성공하면, 추종 정보를 저장하고 검출된 사용자의 위치를 이동할 목표 지점으로 결정할 수 있다.
여기서, 상기 사용자의 컬러 정보는 사용자 추종과정에서 추종 성공 시에 생성될 수 있다.
여기서, 상기 사용자의 키 정보는 사용자 추종과정에서 추종 성공 시에 카메라의 높이, 각도, 화각과 영상 프레임 내의 사용자 위치 및 심도 중 적어도 하나의 정보로부터 추정할 수 있다.
여기서, 상기 사람 추종 방법은 상기 검출에서 검출에 실패하면, 가장 최근에 설정된 목표 지점을 이동할 목표 지점으로 결정하는 단계를 더 포함할 수 있다.
본 발명의 다른 측면에 따른 사람 추종 로봇 장치는 사람을 추종하는 이동 로봇 장치에서, 추종할 목표인 사용자를 촬영하는 컬러 영상 및 심도 영상을 제공하는 입력부, 상기 제공받은 컬러 영상 및 심도 영상을 바탕으로 상기 사용자를 추종하는 제어부, 상기 제공받은 컬러 영상, 심도 영상 및 추종과정에서 발생하는 정보를 저장하는 저장부 및 상기 제어부가 추종한 상기 사용자의 위치로 이동 제어하는 이동 플랫폼부를 포함한다.
여기서, 상기 제어부는 컬러 영상 및 심도 영상으로 이루어진 영상 프레임을 제공받고, 이전 영상 프레임에서 사용자 추종에 성공했는지 여부를 판단하여 사용자 추종에 성공했을 경우, 상기 영상 프레임에서 컬러 영상과 심도 영상을 바탕으로 사용자 위치와 장치가 이동할 목표 지점을 결정할 수 있다.
여기서, 상기 이전 영상 프레임에서 사용자 추종에 성공했을 경우, 상기 영상 프레임에서 컬러 영상과 심도 영상을 바탕으로 사용자 위치와 장치가 이동할 목표 지점을 결정하는 상기 제어부는, 상기 이전 영상 프레임에서 추종에 성공한 사용자의 위치를 바탕으로 상기 영상 프레임에서 심도 필터링을 하고, 상기 심도 필터링한 영상에서 컬러 기반 추종을 수행하여 사용자를 추종 성공일 경우, 사용자의 위치와 사용자의 정보를 저장하고, 상기 사용자의 위치를 이동할 목표 지점으로 설정할 수 있다.
여기서, 상기 제어부는 이전 프레임에서 사용자 추종에 실패하였을 경우, 상기 영상 프레임에서 사용자를 검출하고 사용자의 위치와 장치가 이동할 목표 지점을 결정할 수 있다.
여기서, 이전 프레임에서 사용자 추종에 실패하였을 경우, 상기 영상 프레임에서 사용자를 검출하고 사용자의 위치와 장치가 이동할 목표 지점을 결정하는 상기 제어부는 컬러 영상과 심도 영상으로부터 사람을 검출하고, 검출된 적어도 하나의 사람에서 사용자의 컬러 정보와 키 정보로 사용자를 검출하고, 상기 검출에서 검출에 성공하면, 추종 정보를 저장하고 검출된 사용자의 위치를 이동할 목표 지점으로 결정할 수 있다.
상술한 바와 같은 사람 추종 방법 및 로봇 장치에 따르면, RGB-Depth 카메라가 촬영한 심도 영상으로부터 사용자의 현재 위치를 예상하여, 빠르게 사용자를 추종하고, 사용자를 장애물 등의 이유로 포착에 실패하였을 때 추종 과정에서 획득한 사용자의 정보로 빠르게 사용자를 재검출해서 추종할 수 있다. 따라서, 현재 위치해 있는 공간의 지도 정보가 없는 상황에서 사용자가 별도의 장치 없이 사용자가 걸어서 움직이는 것만으로 로봇을 유도할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 사람 추종과정의 간략한 순서도이다.
도 2는 본 발명의 일 실시예에 따른 사람 추종과정의 상세한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 사용자 추종 과정을 설명하기 위한 영상을 나타낸다.
도 4는 본 발명의 다른 실시예에 따른 사람 추종 로봇 장치의 구성도이다.
도 5는 본 발명의 다른 실시예에 따른 사람 추종 로봇 장치의 구성을 나타내는 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명은 저가의 RGB-Depth 카메라를 이용하여 로봇이 즉각적으로 반응하고 안정적으로 사용자를 추적할 수 있고, 사용자 가려짐, 장애물 회피의 상황을 고려한 사용자 추적 장치이다. 즉, RGB-Depth 카메라에서의 사용자 추적 과정을 제안한 사용자 추적, 장애물 회피, 사용자 검출의 연동 시스템 장치이다.
도 1은 본 발명의 일 실시예에 따른 사람 추종과정의 간략한 순서도이다.
본 순서도는 RGB-Depth 카메라에서 촬영된 영상의 매 프레임(Frame)에 적용되는 것이다. 여기서 RGB-Depth 카메라는 일반적인 RGB 영상과 Depth 영상을 출력하는 카메라로 예를 들어, Microsoft Kinect, ASUS xTion 등이 있다.
사람 추종은 여러 가지 방법으로 시작될 수 있다. 직접명령입력, 음성인식, 제스처인식 등의 다양한 방법이 가능하며 명령을 내린 사용자를 추종할 수 있다.
본 발명의 일 실시예에서는 영상 내에서 추종을 시작하고자 하는 사용자의 위치는 이미 인지하고 있는 상황으로 가정한다.
사람 추종 로봇 장치는 컬러 영상 및 심도 영상이 존재하는 현재 프레임이 입력되면, 이전 프레임에서 사용자의 추종 성공 여부를 판단한다(S100). 상술한 바와 같이 최초 추종을 시작할 때는 사용자의 위치를 알고 있다고 가정하였기 때문에, 추종을 위한 최초 영상 프레임에서 상기 판단의 결과는 추종 성공이다.
사람 추종 로봇 장치는 추종을 위한 최초 영상 프레임을 포함하여 이전 프레임에서 추종 성공일 경우, 사용자 추종을 수행한다(S110). 사용자 추종은 심도 필터링, 컬러 기반 추종(Color based Tracking) 및 목표지점 설정 등으로 이루어질 수 있다.
사용자 추종 수행 후, 사람 추종 로봇 장치는 사용자 추종 수행(S110)의 결과에 상응하는 목표지점으로 이동한다(S150). 사람 추종 로봇 장치는 목표지점으로 이동할 때, 전면의 장애물을 파악하여 장애물 존재시 회피하여 이동한다.
또한, 사람 추종 로봇 장치는 이전 프레임에서 추종 실패일 경우, 사용자 검출을 수행한다(S130). 사용자 검출은 머리-어깨 검출, 검출된 사람과 사용자 비교 및 목표지점 설정 등으로 이루어질 수 있다.
사용자 검출 수행 후, 사람 추종 로봇 장치는 사용자 검출 수행(S130)의 결과에 상응하는 목표지점으로 이동한다(S150).
도 2는 본 발명의 일 실시예에 따른 사람 추종과정의 상세한 순서도이다.
사람 추종 로봇 장치는 컬러 영상 및 심도 영상이 존재하는 현재 프레임이 입력되면, 이전 프레임에서 사용자의 추종 성공 여부를 판단한다(S100).
사람 추종 로봇 장치는 이전 프레임에서 추종 성공일 경우, 심도 필터링(Depth Filtering)을 수행한다(S111). 심도 필터링은 현재 영상 프레임에서 이전 프레임에서 사용자가 위치했던 심도(Depth)와 비슷한 심도의 부분만 남겨서 영상 프레임에서 사용자의 위치를 추적을 용이하게 한다.
사람 추종 로봇 장치는 심도 필터링 이후에는 컬러 기반 추종을 수행한다(S113). 컬러 기반 추종은 이전 프레임에서 추종 목표인 사용자의 위치를 바탕으로 수행한 심도 필터링(S111)에서 결정된 추종 영역 안에서 사용자의 현재 위치를 찾는다. 컬러 기반 추종의 기술은 예를 들어, 히스토그램 역투영(histogram back-projection)과 평균-이동 추종(mean-shift tracking)으로 구성될 수 있다. 히스토그램 역투영은 목표와 비슷한 색을 가진 영역을 추출하는 방법으로, 이 컬러 기반 기술은 추종하고자 하는 목표와 배경이 비슷한 색을 가지고 있을 때 추종 목표와 배경을 혼돈하는 단점이 있다. 따라서, 상기 단계 S111에서 심도를 기초로 하여 사용자, 즉 대상 목표의 영역을 한정 지으면, 심도가 다른 비슷한 색상을 가지는 배경에 의한 혼돈을 줄일 수 있다.
따라서, 이전 프레임의 사용자의 위치를 바탕으로 심도 필터링 후에, 히스토그램 역투영이 수행된 영역에서 로봇 장치의 평균??이동 추종은 추종하고자 하는 사용자의 위치와 비슷한 심도에서 사용자와 비슷한 색상을 가지는 영역에서 이루어지므로, 빠르고 안정적으로 수행된다.
여기서, 추종하는 목표가 사람이고, 사람은 많은 경우에 상반신과 하반신의 색상이 다른 특징을 가지므로, 히스토그램 생성시에 상반신과 하반신을 나누어서 계산하는 방법을 사용하면, 추종 성능을 향상시킬 수 있다.
사람 추종 로봇 장치는 컬러 기반 추종에서 색상의 일치 점수(matching score)를 계산하여 미리 설정된 값과 비교하여 현재 추종이 성공하였는지 실패하였는지 판단한다(S115). 예를 들면, 사용자가 장애물에 가려지거나 카메라에 포착되지 않는 지점으로 이동하였을 경우 추종이 실패할 수 있다.
상기 판단(S115)의 결과가 추종 실패이면, 추종 실패(Tracking False)를 설정하고, 목표지점을 가장 최근에 설정된 목표 지점(goal position)으로 유지한다(S117).
상기 판단(S115)의 결과가 추종 성공이면, 사용자의 위치와 사용자의 정보를 기록하고 상기 위치를 목표 지점으로 설정한다(S119).
여기서 기록한 사용자의 위치는 다음 프레임에서 심도 필터링을 수행할 때 사용되며, 기록한 사용자의 정보는 추종 실패 시 사용자를 검출하는 용도에 사용된다.
사람 추종 로봇 장치는 사용자 추종 결과에 상응하는 목표 지점으로 이동을 시도한다(S151). 사람 추종 로봇 장치는 목표 지점으로 이동을 진행할 때 안전한 이동을 위하여 전면에 장애물이 있는지 확인한다(S153).
여기서, 장애물의 감지는 심도(Depth) 영상을 이용한다. 심도 영상의 하단부는 지면 부분을 포함하고 있으므로, 심도 영상의 중앙 하단부에 심도가 미리 설정한 값(Threshold) 보다 낮은 물체, 즉 가까운 물체가 있을 경우에는 장애물이 있다고 판단할 수 있다.
상기 판단(S153)의 결과 장애물이 없을 경우 단순히 목표 방향으로 회전 및 이동한다(S155). 회전 및 이동은 예를 들어, 로봇의 각 바퀴를 제어하여 동작하는데, 목표 위치와 RGB-Depth 카메라를 이용한 사람 추종 로봇 장치의 거리에 따라서 속도를 조절하며, 이동 방향과 로봇 장치의 방향의 차이에 따라서 오른쪽, 왼쪽 바퀴의 속도를 조절하여 목표 지점으로 이동한다.
상기 판단(S153)의 결과 장애물이 존재할 경우 장애물을 회피하여 이동한다(S157). 장애물을 회피하는 방법은 예를 들어, 벡터 필드 히스토그램 (Vector Filed Histogram)을 사용할 수 있다.
또한, 사람 검출 로봇 장치는 이전 프레임에서 사용자의 추종 성공 여부를 판단한(S100) 결과가 실패일 경우, 즉 이전 프레임에서 목표가 장애물에 의해서 가리워지거나 목표가 카메라에 포착되지 않는 지점으로 이동하여 추종 실패가 기록되었으면, 머리-어깨 검출(Head-Shoulder detection)을 수행한다(S131). 상기 머리-어깨 검출은 잃어버린 사용자를 다시 찾는 과정으로 사람의 상반신인 머리-어깨 부분을 찾는다. 심도 영상으로부터 사람의 상반신인 머리-어깨 부분을 검출하는 방법은 예를 들어, 2D 에지 검출과 3D 형상 검출을 이용한 방법을 사용할 수 있다.
상기 단계 S131에서는 영상 프레임에 존재하는 모든 사람을 검출하게 된다. 따라서, 그 중에서 목표로 추종하고 있던 사용자를 선택할 필요가 있으므로, 사람 검출 로봇 장치는 상기 단계 S131에서 검출된 사람과 이전에 추종하던 사용자 정보를 비교한다(S133). 여기서 사용자 정보는 예를 들어, 컬러 정보와 키 정보를 이용할 수 있다. 추종이 성공하고 있는 상황에서는 사용자의 컬러 정보와 키 정보를 매 순간 저장할 수 있으므로 검출된 사람과 이전에 추종하던 사용자를 비교할 수 있다.
여기서 사용자 키 정보는 로봇 장치에 설치된 카메라의 높이, 각도, 화각(Field of View, FOV)으로부터 영상 내에서 사용자의 위치 및 심도를 이용하여 계산할 수 있다. 다만, 키 예측의 해상도가 높지 않으므로 사용자의 키와 큰 차이를 나타내는 후보를 제거하는 데만 사용한다.
여기서 컬러 정보를 비교하여 사용자를 검출하는 것은 상반신과 하반신으로 분할하여 수행하면, 검출 성능을 높일 수 있다.
사람 검출 로봇 장치는 검출된 사람과 사용자의 비교 결과를 바탕으로 사용자 검출을 판단한다(S135).
상기 단계 S135의 판단 결과, 추종 목표인 사용자를 찾았으면, 추종 성공(Tracking true)로 변경하여 설정하고, 사용자의 위치를 이동 목표지점으로 설정한다(S137).
상기 단계 S135의 판단 결과, 추종 목표인 사용자를 찾지 못하면, 목표지점을 가장 최근에 설정된 목표 지점으로 유지한다(S139).
사람 추종 로봇 장치는 사용자 검출 결과에 상응하는 목표 지점으로 이동을 시도한다(S151).
만약에, 사용자 검출을 실패한 경우는 다음 영상 프레임에서 사용자를 찾는 과정을 재수행하게 된다.
도 3은 본 발명의 일 실시예에 따른 사용자 추종 과정을 설명하기 위한 영상을 나타낸다.
도 3은 도 2의 단계 S111 내지 S113의 수행과정을 예시로 보여주는 것으로, 도 2a는 RGB 영상, 2b는 심도(Depth) 영상이다. 사용자 영역(100, 110)은 이전 영상 프레임에서 추종에 성공한 사용자의 영역을 나타낸다. 현재 예상되는 사용자 위치의 심도는 심도 영상에서 사용자영역(110)에 속한 값의 중간(median) 값을 취해 얻을 수 있다. 도 2c는 심도 필터링 후의 영상으로 현재 예상되는 사용자 위치의 심도에서 미리 설정된 값 K를 사용하여, 사용자 위치±K의 범위에 속하는 심도는 흰색으로, 나머지는 검정색으로 표현한 것이다.
도 2d는 단계 S113에서 히스토그램 역투영을 수행한 영상으로 현재 예상되는 사용자 위치의 심도 내 영상에서 비슷한 색상을 가진 영역을 추출한 것이다.
도 4는 본 발명의 다른 실시예에 따른 사람 추종 로봇 장치의 구성도이다.
사람 추종 로봇 장치(200)는 입력부(210), 제어부(220), 저장부(230), 이동 플랫폼부(240)를 적어도 하나를 포함하여 구성한다.
입력부(210)는 사람 추종을 수행하기 위한 컬러 영상 및 심도 영상을 제공하는 부분으로 예를 들어, RGB-Depth 카메라로서 마이크로소프트 Kinect 또는 ASUS xTion 등이 대표적이다.
제어부(220)는 입력부(210)로부터 컬러 영상 및 심도 영상을 제공 받고, 현재 프레임이 입력되면, 이전 프레임에서 사용자의 추종여부를 판단한다.
제어부(220)는 이전 프레임에서 추종 성공일 경우, 심도 필터링을 수행하고, 심도 필터링 이후에는 이전 프레임에서 추종 목표인 사용자의 위치를 바탕으로 수행한 심도 필터링에서 결정된 추종 영역 안에서 사용자의 현재 위치를 찾는 컬러 기반 추종을 수행한다.
제어부(220)는 컬러 기반 추종에서 색상의 일치 점수를 계산하여 미리 설정된 값과 비교하여 현재 추종이 성공하였는지 실패하였는지 판단하고, 상기 판단의 결과가 추종 실패이면, 추종 실패를 설정하고, 목표지점을 가장 최근에 설정된 목표 지점으로 유지한다.
또한, 제어부(220)는 상기 판단의 결과가 추종 성공이면, 사용자의 위치와 사용자의 정보를 기록하고 상기 위치를 목표 지점으로 설정한다.
또한, 제어부(220)는 이전 프레임에서 사용자의 추종 성공 여부를 판단한 결과가 실패일 경우, 머리-어깨 검출을 수행한다. 상기 검출에서는 영상 프레임에 존재하는 모든 사람을 검출하므로, 검출된 사람과 이전에 추종하던 사용자 정보를 비교하고, 상기 결과를 바탕으로 사용자 검출을 판단한다.
상기 판단 결과, 추종 목표인 사용자를 찾았으면, 제어부(220)는 추종 성공으로 변경하여 설정하고, 사용자의 위치를 이동 목표지점으로 설정한다.
상기 판단 결과, 추종 목표인 사용자를 찾지 못하면, 제어부(220)는 목표지점을 가장 최근에 설정된 목표 지점으로 유지한다.
또한, 제어부(220)는 목표 지점으로 사람 추종 로봇 장치를 이동하도록 이동 플랫폼부(240)에 정보를 제공한다.
제어부(220)는 사용자 추종 결과에 상응하는 목표 지점으로 이동을 시도하며, 안전한 이동을 위해서 심도 영상을 이용하여, 전면에 장애물이 있는지 확인한다. 상기 확인의 결과 장애물이 없을 경우 단순히 목표 방향으로 이동 플랫폼부(240)에게 정보를 제공하여 회전 및 이동한다. 회전 및 이동은 예를 들어, 로봇의 각 바퀴를 제어하여 동작하는데, 사람 추종 로봇 장치(200)와 사용자의 거리에 따라서 속도를 조절하며, 이동 방향과 로봇 장치의 방향의 차이에 따라서 오른쪽, 왼쪽 바퀴의 속도를 조절하여 목표 지점으로 이동한다.
상기 확인의 결과 장애물이 존재할 경우 제어부(220)는 이동 플랫폼부(240)에게 정보를 제공하여 장애물을 회피하여 이동한다.
저장부(230)는 상기 영상 입력부에서 전달 받은 컬러 영상과 심도 영상, 그리고 상기 제어부(220)가 추종과정을 수행하는 과정에서 발생하는 정보를 저장한다.
이동 플랫폼부(240)는 상기 로봇 장치가 이동할 수 있는 수단을 제공하는 것으로 예를 들어, 모터 및 바퀴로 이루어질 수 있다.
상기 실시예에서 사람 추종 로봇 장치(200)는 입력부(210), 제어부(220), 저장부(230), 이동 플랫폼부(240)로 나누어서 장치를 구성하였지만, 입력부(210), 제어부(220) 및 저장부(230)는 하나 또는 두 개의 모듈로서 합쳐서 구현될 수 있다.
도 5는 본 발명의 다른 실시예에 따른 사람 추종 로봇 장치의 구성을 나타내는 블록도이다.
본 발명을 실제로 구성한 예로서, 사람 추종 로봇 장치(300)는 입력부는 RGB-Depth 카메라(310), 제어부와 저장부는 랩탑 컴퓨터(320), 이동 플랫폼부는 모터와 바퀴(330)등으로 구성한 경우를 예를 들어 도시하였다. 그러나, 사람 추종 로봇 장치가 도 5에 도시한 바에 한정되는 것은 아니며, 전술한 사람 추종 기능을 수행하는 다양한 형태로 구성될 수 있다.
이상 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 사용자 영역 110 : 사용자 영역
200 : 이동 로봇 장치 210 : 입력부
220 : 제어부 230 : 저장부
240 : 이동 플랫폼부
300 : 이동 로봇 장치 310: RGB-Depth 카메라
320 : 랩탑 컴퓨터 330 : 모터와 바퀴

Claims (12)

  1. 컬러 영상 및 심도 영상으로 이루어진 영상 프레임을 제공받는 단계;
    이전 영상 프레임에서 사용자 추종에 성공했는지 여부를 판단하는 단계; 및
    상기 이전 영상 프레임에서 사용자 추종에 성공했을 경우, 상기 영상 프레임에서 컬러 영상과 심도 영상을 바탕으로 사용자 위치 및 장치가 이동할 목표 지점을 결정하는 단계를 포함하는 사람 추종 방법.
  2. 청구항 1에 있어서,
    상기 사용자 위치 및 장치가 이동할 목표 지점을 결정하는 단계는,
    상기 이전 영상 프레임에서 추종에 성공한 사용자의 위치를 바탕으로 현재 영상 프레임에서 심도 필터링을 하는 단계;
    상기 심도 필터링한 영상에서 컬러 기반 추종을 수행하는 단계;
    상기 컬러 기반 추종에서 사용자의 추종 성공일 경우, 사용자의 위치를 획득하는 단계; 및
    상기 사용자의 위치를 이동할 목표 지점으로 설정하는 단계를 포함하는 사람 추종 방법.
  3. 청구항 1에 있어서,
    상기 사람 추종 방법은,
    상기 이전 프레임에서 사용자 추종에 실패하였을 경우, 상기 영상 프레임에서 사용자를 검출하고 사용자의 위치 및 장치가 이동할 목표 지점을 결정하는 단계를 더 포함하는 사람 추종 방법.
  4. 청구항 3에 있어서,
    상기 이전 프레임에서 사용자 추종에 실패하였을 경우, 상기 영상 프레임에서 사용자를 검출하고 사용자의 위치 및 장치가 이동할 목표 지점을 결정하는 단계는,
    컬러 영상과 심도 영상으로부터 사람을 검출하고, 검출된 적어도 하나의 사람에서 사용자의 컬러 정보와 키 정보로 사용자를 검출하는 단계; 및
    상기 검출에서 검출에 성공하면, 추종 정보를 저장하고 검출된 사용자의 위치를 이동할 목표 지점으로 결정하는 단계를 포함하는 사람 추종 방법.
  5. 청구항 4에 있어서,
    상기 사용자의 컬러 정보는,
    사용자 추종과정에서 추종 성공 시에 생성된 사용자 컬러 정보인 사람 추종 방법.
  6. 청구항 4에 있어서,
    상기 사용자의 키 정보는,
    사용자 추종과정에서 추종 성공 시에 카메라의 높이, 각도, 화각과 영상 프레임 내의 사용자 위치 및 심도 중 적어도 하나의 정보로부터 추정한 키 정보인 사람 추종 방법.
  7. 청구항 4에 있어서,
    상기 사람 추종 방법은,
    상기 검출에서 검출에 실패하면, 가장 최근에 설정된 목표 지점을 이동할 목표 지점으로 결정하는 단계를 더 포함하는 사람 추종 방법.
  8. 추종할 목표인 사용자를 촬영하는 컬러 영상 및 심도 영상을 제공하는 입력부;
    상기 제공받은 컬러 영상 및 심도 영상을 바탕으로 상기 사용자를 추종하는 제어부;
    상기 제공받은 컬러 영상, 심도 영상 및 추종과정에서 발생하는 정보를 저장하는 저장부; 및
    상기 제어부가 추종한 상기 사용자의 위치로, 이동 제어하는 이동 플랫폼부를 포함하는 사람 추종 로봇 장치.
  9. 청구항 8에 있어서,
    상기 제어부는,
    컬러 영상 및 심도 영상으로 이루어진 영상 프레임을 제공받고, 이전 영상 프레임에서 사용자 추종에 성공했는지 여부를 판단하여 사용자 추종에 성공했을 경우, 상기 영상 프레임에서 컬러 영상과 심도 영상을 바탕으로 사용자 위치와 장치가 이동할 목표 지점을 결정하는 사람 추종 로봇 장치.
  10. 청구항 9에 있어서,
    상기 제어부는,
    상기 이전 영상 프레임에서 추종에 성공한 사용자의 위치를 바탕으로 상기 영상 프레임에서 심도 필터링을 하고, 상기 심도 필터링한 영상에서 컬러 기반 추종을 수행하여 사용자를 추종 성공일 경우, 사용자의 위치와 사용자의 정보를 저장하고, 상기 사용자의 위치를 이동할 목표 지점으로 설정하는 사람 추종 로봇 장치.
  11. 청구항 9에 있어서,
    상기 제어부는,
    상기 이전 프레임에서 사용자 추종에 실패하였을 경우, 상기 영상 프레임에서 사용자를 검출하고 사용자의 위치 및 장치가 이동할 목표 지점을 결정하는 사람 추종 로봇 장치.
  12. 청구항 11에 있어서,
    상기 제어부는,
    컬러 영상과 심도 영상으로부터 사람을 검출하고, 검출된 적어도 하나의 사람에서 사용자의 컬러 정보와 키 정보로 사용자를 검출하고, 상기 검출에서 검출에 성공하면, 추종 정보를 저장하고 검출된 사용자의 위치를 이동할 목표 지점으로 결정하는 사람 추종 로봇 장치.
KR1020120114537A 2012-10-16 2012-10-16 사람 추종 방법 및 로봇 장치 KR20140049152A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120114537A KR20140049152A (ko) 2012-10-16 2012-10-16 사람 추종 방법 및 로봇 장치
US14/021,983 US9201425B2 (en) 2012-10-16 2013-09-09 Human-tracking method and robot apparatus for performing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120114537A KR20140049152A (ko) 2012-10-16 2012-10-16 사람 추종 방법 및 로봇 장치

Publications (1)

Publication Number Publication Date
KR20140049152A true KR20140049152A (ko) 2014-04-25

Family

ID=50476107

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120114537A KR20140049152A (ko) 2012-10-16 2012-10-16 사람 추종 방법 및 로봇 장치

Country Status (2)

Country Link
US (1) US9201425B2 (ko)
KR (1) KR20140049152A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10362277B2 (en) 2016-11-23 2019-07-23 Hanwha Defense Co., Ltd. Following apparatus and following system
CN110517284A (zh) * 2019-08-13 2019-11-29 中山大学 一种基于激光雷达和ptz摄像机的目标追踪方法
US10534366B2 (en) 2016-12-23 2020-01-14 Korea Institute Of Science And Technology Moving and searching method of mobile robot for following human
CN112462782A (zh) * 2020-11-30 2021-03-09 北京航天光华电子技术有限公司 一种多功能智能跟随小车系统

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11615460B1 (en) 2013-11-26 2023-03-28 Amazon Technologies, Inc. User path development
US9870617B2 (en) * 2014-09-19 2018-01-16 Brain Corporation Apparatus and methods for saliency detection based on color occurrence analysis
JP6030617B2 (ja) * 2014-10-15 2016-11-24 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置および画像処理方法
US11205270B1 (en) 2015-03-25 2021-12-21 Amazon Technologies, Inc. Collecting user pattern descriptors for use in tracking a movement of a user within a materials handling facility
US10810539B1 (en) 2015-03-25 2020-10-20 Amazon Technologies, Inc. Re-establishing tracking of a user within a materials handling facility
US10679177B1 (en) 2015-03-25 2020-06-09 Amazon Technologies, Inc. Using depth sensing cameras positioned overhead to detect and track a movement of a user within a materials handling facility
US10586203B1 (en) * 2015-03-25 2020-03-10 Amazon Technologies, Inc. Segmenting a user pattern into descriptor regions for tracking and re-establishing tracking of a user within a materials handling facility
CN106056633A (zh) * 2016-06-07 2016-10-26 速感科技（北京）有限公司 运动控制方法、装置及系统
CN106426180A (zh) * 2016-11-24 2017-02-22 深圳市旗瀚云技术有限公司 一种基于人脸追踪进行智能跟随的机器人
CN107636680B (zh) * 2016-12-30 2021-07-27 达闼机器人有限公司 一种障碍物检测方法及装置
CN106842972A (zh) * 2017-03-14 2017-06-13 上海斐讯数据通信技术有限公司 一种智能家居设备的预测控制方法及系统
CN107608392A (zh) * 2017-09-19 2018-01-19 浙江大华技术股份有限公司 一种目标跟随的方法及设备
US11328513B1 (en) 2017-11-07 2022-05-10 Amazon Technologies, Inc. Agent re-verification and resolution using imaging
CN109885104A (zh) * 2017-12-06 2019-06-14 湘潭宏远电子科技有限公司 一种终端跟踪系统
CN108469729B (zh) * 2018-01-24 2020-11-27 浙江工业大学 一种基于rgb-d信息的人体目标识别与跟随方法
CN108334099B (zh) * 2018-01-26 2021-11-19 上海深视信息科技有限公司 一种高效的无人机人体跟踪方法
CN108334098B (zh) * 2018-02-28 2018-09-25 弗徕威智能机器人科技（上海）有限公司 一种基于多传感器的人体跟随方法
CN108664918B (zh) * 2018-05-09 2021-05-25 吉林大学 基于背景感知相关滤波器的智能车辆前方行人跟踪方法
CN110728684B (zh) * 2018-07-17 2021-02-02 北京三快在线科技有限公司 地图构建方法、装置、存储介质及电子设备
WO2020024234A1 (zh) * 2018-08-02 2020-02-06 深圳前海达闼云端智能科技有限公司 路径导航方法、相关装置及计算机可读存储介质
CN109389589A (zh) * 2018-09-28 2019-02-26 百度在线网络技术（北京）有限公司 用于统计人数的方法和装置
US11386306B1 (en) 2018-12-13 2022-07-12 Amazon Technologies, Inc. Re-identification of agents using image analysis and machine learning
CN109686031B (zh) * 2018-12-21 2020-10-27 北京智行者科技有限公司 基于安防的识别跟随方法
KR20200093094A (ko) 2019-01-10 2020-08-05 삼성전자주식회사 전자 장치 및 그 제어 방법
US11215988B2 (en) 2019-08-08 2022-01-04 Hanwoo Cho Accompanying control of locomotion device
CN110956094B (zh) * 2019-11-09 2023-12-01 北京工业大学 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
CN111884248B (zh) * 2019-11-12 2021-10-15 株洲中车时代电气股份有限公司 一种电压控制方法及系统
CN112731973A (zh) * 2020-12-02 2021-04-30 南京理工大学北方研究院 一种机器人跟踪系统
US20220350342A1 (en) * 2021-04-25 2022-11-03 Ubtech North America Research And Development Center Corp Moving target following method, robot and computer-readable storage medium
CN116129473B (zh) * 2023-04-17 2023-07-14 山东省人工智能研究院 基于身份引导的联合学习换衣行人重识别方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100134632A1 (en) 2008-12-03 2010-06-03 Electronics And Telecommunications Research Institute Apparatus for tracking an object using a moving camera and method thereof
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10362277B2 (en) 2016-11-23 2019-07-23 Hanwha Defense Co., Ltd. Following apparatus and following system
US10534366B2 (en) 2016-12-23 2020-01-14 Korea Institute Of Science And Technology Moving and searching method of mobile robot for following human
CN110517284A (zh) * 2019-08-13 2019-11-29 中山大学 一种基于激光雷达和ptz摄像机的目标追踪方法
CN110517284B (zh) * 2019-08-13 2023-07-14 中山大学 一种基于激光雷达和ptz摄像机的目标追踪方法
CN112462782A (zh) * 2020-11-30 2021-03-09 北京航天光华电子技术有限公司 一种多功能智能跟随小车系统
CN112462782B (zh) * 2020-11-30 2022-10-28 北京航天光华电子技术有限公司 一种多功能智能跟随小车系统

Also Published As

Publication number Publication date
US9201425B2 (en) 2015-12-01
US20140107842A1 (en) 2014-04-17

Similar Documents

Publication Publication Date Title
KR20140049152A (ko) 사람 추종 방법 및 로봇 장치
KR102465532B1 (ko) 객체 인식 방법 및 장치
US20240020980A1 (en) Active presence detection with depth sensing
US9977954B2 (en) Robot cleaner and method for controlling a robot cleaner
KR101173802B1 (ko) 대상물 추적 장치, 대상물 추적 방법, 및 제어 프로그램이 기록된 기록 매체
KR101551576B1 (ko) 로봇 청소기, 제스쳐 인식 장치 및 방법
JP6806188B2 (ja) 情報処理システム、情報処理方法及びプログラム
Basso et al. Fast and robust multi-people tracking from RGB-D data for a mobile robot
CN108089695B (zh) 一种控制可移动设备的方法和装置
KR101769601B1 (ko) 자동추적 기능을 갖는 무인항공기
US10169880B2 (en) Information processing apparatus, information processing method, and program
KR102349059B1 (ko) 영상의 관심영역으로부터 랜드마크를 결정하는 장치 및 방법
JP2008146356A (ja) 視線方向推定装置及び視線方向推定方法
JP5001930B2 (ja) 動作認識装置及び方法
CN107077138B (zh) 移动体控制装置和移动体
JP2012191354A (ja) 情報処理装置、情報処理方法及びプログラム
KR20190083727A (ko) 안내 로봇 및 그의 동작 방법
US20170270383A1 (en) Search assisting apparatus, search assisting method, and computer readable medium
CN110032186A (zh) 一种仿人机器人的迷宫特征识别和行走方法
Rangesh et al. Long-term multi-cue tracking of hands in vehicles
JP7327923B2 (ja) 情報処理装置、情報処理方法、システムおよびプログラム
Volkhardt et al. Finding people in apartments with a mobile robot
KR101656519B1 (ko) 확장칼만필터를 이용하여 추적성능을 높인 자동추적 기능을 갖는 무인항공기
KR101703690B1 (ko) 홍채 인식 장치 및 그 동작 방법
KR101561817B1 (ko) 얼굴과 손 인식을 이용한 생체 인증 장치 및 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid