KR100790860B1 - 사람 추적 장치 및 방법, 그 방법을 수행하기 위한프로그램이 저장된 기록매체와 그 장치를 포함하는 이동형전자기기 - Google Patents

사람 추적 장치 및 방법, 그 방법을 수행하기 위한프로그램이 저장된 기록매체와 그 장치를 포함하는 이동형전자기기 Download PDF

Info

Publication number
KR100790860B1
KR100790860B1 KR1020040105650A KR20040105650A KR100790860B1 KR 100790860 B1 KR100790860 B1 KR 100790860B1 KR 1020040105650 A KR1020040105650 A KR 1020040105650A KR 20040105650 A KR20040105650 A KR 20040105650A KR 100790860 B1 KR100790860 B1 KR 100790860B1
Authority
KR
South Korea
Prior art keywords
position information
tracking
leg
upper body
tracking target
Prior art date
Application number
KR1020040105650A
Other languages
English (en)
Other versions
KR20060066975A (ko
Inventor
홍영진
윤상민
이형기
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020040105650A priority Critical patent/KR100790860B1/ko
Priority to US11/241,968 priority patent/US7330567B2/en
Priority to EP05257657.6A priority patent/EP1672584B1/en
Priority to JP2005359745A priority patent/JP4815208B2/ja
Publication of KR20060066975A publication Critical patent/KR20060066975A/ko
Application granted granted Critical
Publication of KR100790860B1 publication Critical patent/KR100790860B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Steering Controls (AREA)
  • Studio Devices (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 사용자의 상체와 다리를 대상으로 사용자를 추적할 수 있는 사용자 추적 장치 및 방법, 그 방법을 수행하기 위한 프로그램이 저장된 저장 매체 및 그 사용자 추적 장치를 갖는 이동형 전자기기에 관한 것으로, 본 발명에 따른 장치는, 사람의 적어도 하나의 상체 위치 정보를 검출하는 상체 위치 정보 검출 모듈; 사람의 적어도 하나의 다리 위치 정보를 검출하는 다리 위치 정보 검출 모듈; 적어도 하나의 상체 위치 정보와 적어도 하나의 다리 위치 정보를 토대로 추적 대상을 선택하는 추적 대상 선택 모듈; 추적 대상 선택 모듈에서 선택된 추적 대상을 추적하기 위한 이동형 전자기기의 추적 속도 및 방향을 계산하는 추적 속도 및 방향 계산부; 및 추적 속도 및 방향 계산부에서 계산된 결과를 토대로 이동형 전자기기를 구동하기 위한 모터를 제어하는 모터 제어부를 포함하므로, 사용자가 별도의 휴대 장치를 구비할 필요가 없고, 사용자가 어떤 자세로 이동을 하여도 사용자를 추적할 수 있다.

Description

사람 추적 장치 및 방법, 그 방법을 수행하기 위한 프로그램이 저장된 기록매체와 그 장치를 포함하는 이동형 전자기기{Human tracking apparatus and method thereof, and recording media and removing electronic system therefor}
도 1은 본 발명의 일 실시 예에 따른 사람 추적 장치의 기능 블록이다.
도 2는 도 1에 도시된 상체 영상 취득부에 의해 취득되는 상체 영상 영역의 예시도이다.
도 3은 도 1에 도시된 상체 후보 검출부의 동작 흐름도이다.
도 4는 도 1에 도시된 영상 왜곡 보상부에서 출력되는 다리 영상의 예시도이다.
도 5는 도 1에 도시된 레이저 발신부와 제 2 카메라 및 발신된 레이저에 의해 형성되는 프로젝션 면(projection plane)간의 관계도이다.
도 6은 도 4에 상응하는 SL 레이저 라인 패턴이 표시된 2차원 영상을 도시한 것이다.
도 7은 첫 번째 프레임 영상에서 검출된 추적 대상을 기반으로 한 탐색 범위 설정 예시도이다.
도 8은 도 1의 추적 대상 선택부에서의 추적 대상 선택과정을 설명하기 위한 도면이다.
도 9는 추적 속도와 장애물 회피 속도간의 관계를 설명하기 위한 도면이다.
도 10은 도 1에 도시된 추적 속도 및 방향 계산부에서 이동형 전자기기의 좌우 회전 속도 결정과정을 설명하기 위한 도면이다.
도 11은 본 발명의 다른 실시 예에 따른 사람 추적 방법의 동작 흐름도이다.
본 발명은 이동형 전자기기에 있어서 사람 추적 기술에 관한 것으로, 특히, 전방 카메라(forwarding camera)와 구조적 광(structured light)을 이용하여 사람을 추적할 수 있는 사람 추적 장치 및 방법, 그 방법을 수행하기 위한 프로그램이 저장된 저장 매체와 그 장치를 포함하는 이동형 전자기기에 관한 것이다.
이동형 전자기기의 대표적인 예는 이동형 로봇(mobile robot)이다. 근래 들어 이동형 로봇(이하 로봇이라 약함)은 사람이 직접 작업하기 어려운 곳이나 가정에서의 단순 노동을 대신 처리해 줄 수 있는 시스템으로 주목받고 있다. 이러한 로봇의 기능은 현재 단순한 작업을 반복 수행하는 정도이다.
그러나, 좀더 지능적인 로봇이 요구됨에 따라 로봇과 사람간의 상호작용에 관련된 기술이 연구되고 있다. 로봇과 사람간의 원활한 상호작용을 위하여, 우선적으로 요구되는 과제는 로봇이 사람을 추적할 수 있어야 한다는 것이다.
기존에 제안된 사람 추적 기술(human tracking technique)로, 배경 영상과 입력 영상간의 차 영상을 이용하여 물체의 움직임을 검출하는 방법이 있다. 그러나 상기 차 영상을 이용하는 방법은 동일한 배경 영상을 이용하는 경우에 효율적이나 배경 영상이 계속 바뀔 경우에 비효율적이다. 이동성을 갖는 로봇은 배경 영상이 계속 바뀔 가능성이 높으므로, 상기 차 영상을 이용하는 방법으로 사람을 추적할 경우에 비효율적으로 운영될 수 있다.
또한, 전 방향(omni-directional) 카메라로부터 탬플릿 매칭(template matching)을 통해 검출된 사람 영역과 레이저 레인지 파인더(laser rangefinder)의 프로파일 데이터(profile data)를 비교하여 로봇과 사람간의 상대 위치에 따른 모터 제어 방식으로 사람을 추적하는 기술이 있다. 그러나 이 방법은, 전 방향 카메라 영상에서 탬플릿 매칭이 실패하는 경우에 추적 대상을 분실할 수 있고, 사람이 아닌 유사 패턴을 추적할 수 있다.
그리고 자석과 같은 발신장치를 사용자가 휴대하고, 로봇이 상기 발신장치를 감지하여 사용자를 추적하는 기술이 있다. 그러나 이 기술은 사용자가 별도의 발신장치를 항상 휴대하여야 하는 번거로움이 있다.
더욱이 상술한 기존의 사람 추적 기술들은 장애물을 고려하지 않고 있어 로봇이 장애물을 회피하면서 사람을 추적할 수 없고, 대부분 사용자의 얼굴을 토대로 추적하므로, 사용자의 뒷모습을 토대로 한 추적이 불가능하다.
본 발명이 이루고자 하는 기술적 과제는 전방 카메라와 구조적 광(Structured Light)을 이용하여 사용자를 추적할 수 있는 사용자 추적 장치 및 방법과 그 방법을 수행하기 위한 프로그램이 저장된 저장 매체를 제공하는데 그 목적 이 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 사용자의 상체와 다리를 대상으로 사용자를 추적할 수 있는 사용자 추적 장치 및 방법과 그 방법을 수행하기 위한 프로그램이 저장된 저장 매체를 제공하는데 그 목적이 있다.
본 발명이 이루고자 하는 또 다른 기술적 과제는 사용자를 추적하면서 장애물 회피가 가능한 사용자 추적 장치 및 방법과 그 방법을 수행하기 위한 프로그램이 저장된 저장 매체를 제공하는데 그 목적이 있다.
본 발명이 이루고자 하는 또 다른 기술적 과제는 사용자가 별도의 발신장치를 휴대하지 않아도 이동형 전자기기에 의한 사용자 추적을 가능하게 하는 사용자 추적 장치 및 방법과 그 방법을 수행하기 위한 프로그램이 저장된 저장 매체를 제공하는데 그 목적이 있다.
본 발명이 이루고자 하는 또 다른 기술적 과제는 상기 사람 추적 장치를 갖는 이동형 전자기기를 제공하는데 그 목적이 있다.
상기 기술적 과제를 달성하기 위하여 본 발명은, 사람의 적어도 하나의 상체 위치 정보를 검출하는 상체 위치 정보 검출 모듈; 상기 사람의 적어도 하나의 다리 위치 정보를 검출하는 다리 위치 정보 검출 모듈; 및 상기 적어도 하나의 상체 위치 정보와 상기 적어도 하나의 다리 위치 정보를 토대로 추적 대상을 선택하는 추적 대상 선택 모듈을 포함하는 사람 추적 장치를 제공한다.
상기 기술적 과제를 달성하기 위하여 본 발명은, 사람의 적어도 하나의 상체 위치 정보를 검출하는 상체 위치 정보 검출 모듈; 상기 사람의 적어도 하나의 다리 위치 정보를 검출하는 다리 위치 정보 검출 모듈; 상기 적어도 하나의 상체 위치 정보와 상기 적어도 하나의 다리 위치 정보를 토대로 추적 대상을 선택하는 추적 대상 선택 모듈; 상기 추적 대상 선택 모듈에서 선택된 추적 대상을 추적하기 위한 상기 이동형 전자기기의 추적 속도 및 방향을 계산하는 추적 속도 및 방향 계산부; 상기 이동형 전자기기를 구동하기 위한 모터; 및 상기 추적 속도 및 방향 계산부에서 계산된 결과를 토대로 상기 모터를 제어하는 모터 제어부를 포함하는 사람 추적 장치를 제공한다.
상기 사람 추적 장치는, 상기 추적 대상 선택 모듈에서 선택된 추적 대상의 위치 정보와 상기 다리 위치 정보 검출 모듈에서 검출된 위치 정보를 토대로 장애물을 검출하고, 검출된 장애물을 등록하는 장애물 등록부를 더 포함하는 것이 바람직하다. 상기 다리 위치 정보 검출 모듈에서 검출된 위치 정보는 취득된 레이저 라인 영상에 포함된 SL 레이저 라인 패턴을 기반으로 한 정보인 것이 바람직하다.
상기 추적 속도 및 방향 계산부는 상기 선택된 추적 대상의 위치 정보와 상기 장애물 등록부에 등록된 장애물의 위치 정보를 이용하여 상기 추적 속도 및 방향을 계산하는 것이 바람직하다.
상기 기술적 과제를 달성하기 위하여 본 발명은, 사람의 적어도 하나의 상체 위치 정보와 적어도 하나의 다리 위치 정보를 검출하는 단계; 상기 적어도 하나의 상체 위치 정보와 상기 적어도 하나의 다리 위치 정보를 토대로 추적 대상의 위치 정보를 선택하는 단계; 및 상기 선택된 추적 대상의 위치를 추적하는 단계를 포함 하는 사람 추적 방법을 제공한다.
상기 기술적 과제를 달성하기 위하여 본 발명은, 사람의 적어도 하나의 상체 위치 정보와 적어도 하나의 다리 위치 정보를 검출하는 단계; 상기 적어도 하나의 상체 위치 정보와 상기 적어도 하나의 다리 위치 정보를 토대로 추적 대상의 위치 정보를 선택하는 단계; 상기 선택된 추적 대상의 위치를 추적하기 위하여 상기 이동형 전자기기의 추적 속도 및 방향을 계산하는 단계; 상기 계산된 추적 속도 및 방향을 토대로 상기 이동형 전자기기의 구동을 제어하는 단계를 포함하는 사람 추적 방법을 제공한다.
상기 기술적 과제를 달성하기 위하여 본 발명은, 이동형 전자기기에서 사람을 추적하기 위한 방법을 수행하기 위한 프로그램이 저장된 저장매체에 있어서, 상기 사람 추적 방법은, 사람의 적어도 하나의 상체 위치 정보와 적어도 하나의 다리 위치 정보를 검출하는 단계; 상기 적어도 하나의 상체 위치 정보와 상기 적어도 하나의 다리 위치 정보를 토대로 추적 대상의 위치 정보를 선택하는 단계; 상기 선택된 추적 대상의 위치를 추적하기 위하여 상기 이동형 전자기기의 추적 속도 및 방향을 계산하는 단계; 상기 계산된 추적 속도 및 방향을 토대로 상기 이동형 전자기기의 구동을 제어하는 단계를 포함하는 기록 매체를 제공한다.
상기 기술적 과제를 달성하기 위하여 본 발명은, 사람의 적어도 하나의 상체 위치 정보를 검출하는 상체 위치 정보 검출 모듈; 상기 사람의 적어도 하나의 다리 위치 정보를 검출하는 다리 위치 정보 검출 모듈; 상기 적어도 하나의 상체 위치 정보와 상기 적어도 하나의 다리 위치 정보를 토대로 추적 대상을 선택하는 추적 대상 선택 모듈; 상기 추적 대상 선택 모듈에서 선택된 추적 대상을 추적하기 위한 상기 이동형 전자기기의 추적 속도 및 방향을 계산하는 추적 속도 및 방향 계산부; 상기 이동형 전자기기를 구동하는 모터; 및 상기 추적 속도 및 방향 계산부에서 계산된 결과를 토대로 상기 모터를 제어하는 모터 제어부를 포함하는 사람 추적 장치를 포함하는 이동형 전자기기를 제공한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 사람 추적 장치의 기능 블록도이다. 도 1을 참조하면, 상기 사람 추적 장치는, 상체 위치 정보 검출 모듈(100), 다리 위치 정보 검출 모듈(110), 추적 대상 선택모듈(130), 장애물 등록부(140), 추적 속도 및 방향 계산부(150), 모터 제어부(160), 및 모터(170)를 포함한다. 도 1에 도시된 사람 추적 장치는 로봇과 같은 이동형 전자기기에 포함될 수 있다.
상체 위치 정보 검출 모듈(100)은 제 1 카메라(101), 상체 영상 취득부(102), 및 상체 후보 검출부(103)를 포함한다.
제 1 카메라(101)는 소정 촬상 수단을 통해 촬상된 영상을 출력하는 것으로, 사람을 촬상할 수 있는 어떠한 형태의 카메라도 허용된다. 제 1 카메라(101)는 사용자가 추적 시작을 지시하면, 사전에 설정된 촬영 거리의 앞을 촬영한다. 상기 사전에 설정된 촬영 거리는 상기 사용자가 추적 시작을 요구할 때, 본 발명에 따른 사람 추적 장치를 구비한 이동형 전자기기가 상기 사용자의 상체를 촬영할 수 있는 거리이다.
상기 촬영 거리는 실험적인 결과를 토대로 사전에 결정할 수 있으나, 사용자의 추적 시작 지시를 토대로 결정할 수 있다. 예를 들어, 상기 이동형 전자기기가 사람의 음성 또는 박수 소리를 이용한 추적 시작 지시를 인식하도록 구현된 경우에, 수신된 음성 또는 박수 소리를 토대로 산출된 사용자와 이동형 전자기기간의 거리를 상기 촬영 거리로 결정할 수 있다. 상기 촬영 거리는 예를 들어 1미터(m)로 설정될 수 있다.
상체 영상 취득부(102)는 제 1 카메라(101)로부터 출력되는 영상에서 사전에 설정된 영역의 영상을 상체 영상으로서 취득한다. 즉 제 1 카메라(101)로부터 입력 영상이 제공되면, 도 2의 (201)영역의 영상을 상체 영상으로서 취득한다. (201)영역은 사전에 설정된 상체 영상 영역으로서, 제 1 카메라(101)에 의해 촬영된 영상에 포함된 상체 영상이 사용자의 정면이든, 후면이든, 좌측면이든, 우측면이든 관계없이 상기 상체 영상을 검출할 수 있는 영역이다. (201)영역에 대한 2차원 좌표 정보는 실험적인 결과를 토대로 사전에 설정된다.
상체 영상 취득부(102)는 취득된 (201) 영역내의 상체 영상에 대한 칼라 히스토그램(color histogram)을 이용하여 (201)영역내의 색상 수를 정량화(quantification)한 수치를 상체 후보 검출부(103)로 제공한다.
상체 후보 검출부(103)는 초기 프레임의 경우에, 사전에 설정된 (201)영역의 2차원 좌표 정보를 상체 후보의 위치 정보(또는 상대 좌표 값)로서 출력한다.
초기 프레임 이외의 프레임의 경우에, 상체 후보 검출부(103)는 상체 영상 취득부(102)로부터 제공된 상체 영상에 대한 정량화 된 수치를 기반으로 하여 제 1 카메라(101)로부터 제공되는 입력 영상에 대해 파티클 필터링(Particle filtering) 및 평균 이동 추적(mean-shift tracking)을 수행하여 상체 후보를 검출한다.
즉, 도 3에 도시된 바와 같이, 상체 후보 검출부(103)는 제 1 카메라(101)로부터 제공되는 현재 프레임 영상에 여러 개의 입자(particle)를 뿌리고, 상기 입자를 중심으로 여러 개의 윈도우를 형성한다(301). 만약 10개의 파티클을 이용한다면, 상기 10개의 윈도우가 형성된다. 상기 윈도우는 상기 (201)영역과 동일한 사이즈를 갖는다.
상체 후보 검출부(103)는 각 윈도우에 대한 칼라 히스토그램을 이용하여 윈도우 내의 색상 수를 정량화(quantification)한다(302).
상체 후보 검출부(103)는 각 윈도우에 대해 정량화된 수치를 바타야 계수(Bhattacharyya coefficient)로 변환하여, 이전 영상에서의 추적 대상 윈도우와 상기 현재 프레임 영상에 형성된 각 윈도우간의 유사도를 비교한다(303). 이전 영상에서의 추적 대상 윈도우에 대한 정보는 상체 영상 취득부(102)에서 취득한 (201)영상에 대한 정량화된 수치이다.
상체 후보 검출부(103)는 상기 현재 프레임 영상에 형성된 각 윈도우중 상기 이전 영상에서의 추적 대상 윈도우와 유사도가 높은 윈도우에 더 많은 가중치(weight)를 주어 상기 유사도가 높은 윈도우의 위치로 파티클을 모아 현재 프레임 영상에서의 상체 영상에 대한 후보 영역을 검출한다(304).
상체 후보 검출부(103)는 상술한 바와 같이 검출된 후보 영역(또는 파티클)에 대해 평균 이동 추적(mean-shift tracking) 방식을 적용한다. 즉, 상체 영상 취 득부(102)에서 취득된 상체 영상을 기준 모델(reference model)로 하여 상기 후보 영역중 상기 상체 영상 취득부(102)에서 취득한 상체 영상과 가장 인접하면서 유사도가 높은 후보 영역을 검색하고, 검색된 후보 영역의 위치를 추적된 상체 영상의 위치로 결정하고, 이 상체 영상의 위치 정보를 출력한다(305). 상기 위치 정보는 제 1 카메라(101)를 통해 입력되는 영상에서의 2차원 좌표값으로 상대 좌표값이라고도 한다. 상기 상체 영상의 위치 정보는 상체의 방향(orientation, θ)으로 표현될 수 있다. 상기 상체 영상 추적부(103)에서 출력되는 상체 영상의 위치 정보는 추적 대상 선택 모듈(130)로 제공된다.
한편, 다리 위치 정보 검출 모듈(110)은 레이저 발신부(111), 제 2 카메라(112), 다리 영상 취득부(113), 영상 왜곡 보상부(114), 및 다리 후보 검출부(115)를 포함한다.
사용자가 추적 시작을 지시하면, 다리 영상 취득부(113)는 레이저 발신부(111)를 제어하여 레이저를 가로선으로 프로젝션(projection)한다. 상기 프로젝션을 구조적 광(Structured Light, 이하 SL이라 약함)이라 한다. 상기 레이저는 적외선 레이저를 사용할 수 있다.
제 2 카메라(112)는 레이저 발신부(111)가 적외선 레이저를 발신하도록 구성된 경우에, 적외선 필터를 장착한 카메라를 사용한다. 제 2 카메라(112)는 레이저 발신부(111)로부터의 SL 레이저 라인을 촬상한 영상을 출력한다. 특히, 제 2 카메라(112)는 더 넓은 영역을 촬영하기 위하여 어안(魚眼) 렌즈가 장착될 수 있다.
다리 영상 취득부(113)는 레이저 발신부(111)를 제어하고, 제 2 카메라(112) 로부터 촬상된 입력 영상에서 다리 영상을 취득한다. 상기 취득되는 다리 영상은 프로젝션 프레임 영상이다. 다리 영상 취득부(113)에서 취득되는 다리 영상은 제 2 카메라(112)에서 출력되는 영상과 동일하다.
그러나, 다리 영상 취득부(113)는 상체 영상 취득부(102)와 같이 제 2 카메라(112)에서 촬영된 영상에 대해 사전에 설정된 특정 영역을 다리 영상으로 취득하도록 구현할 수 있다.
영상 왜곡 보상부(114)는 다리 영상 취득부(113)에서 취득된 프로젝션 프레임 영상의 왜곡을 보상한다. 상기 영상의 왜곡은 제 2 카메라(112)에 장착된 렌즈(미 도시됨)에 의한 기하학적 영상 왜곡이다. 따라서 상기 제 2 카메라(112)에 어안 렌즈가 장착된 경우에, 영상 왜곡 보상부(114)는 프로젝션 프레임 영상에 대한 방사상 방향의 왜곡과 접선 방향의 왜곡을 모두 보상한다. 따라서 영상 왜곡 보상부(114)로부터 출력되는 프로젝션 영상은 도 4에 도시된 바와 같이 렌즈에 의한 영상 왜곡이 보상된 영상이다.
다리 후보 검출부(115)는 영상 왜곡 보상부(114)로부터 왜곡이 보상된 프로젝션 영상이 입력되면, 입력된 프로젝션 영상에 포함된 SL 레이저 라인을 토대로 반사체의 각 픽셀의 거리를 구한다.
레이저 발신부(111)와 제 2 카메라(112) 및 SL에 의해 형성되는 프로젝션 면(projection plane)간의 관계는 도 5에 도시된 바와 같이 정의할 수 있다. 도 5에서 XpYpZp는 레이저 발신부(111)의 프레임이고, XcYcZc는 제 2 카메라(112)의 프레임이고, α는 카메라 프레임과 레이저 발신부 프레임 간의 X축을 중심으로 한 회전 각이다. Py는 제 2 카메라(112) 프레임과 레이저 발신부(111) 프레임사이의 Y축 방향으로의 오프셋(offset)거리이다. 레이저 발신부(111)의 프레임 XpYpZp와 제 2 카메라(112)의 프레임의 관계는 수학식 1과 같이 정의된다.
Figure 112004058936391-pat00001
상기 수학식 1에 정의된 바와 같은 레이저 발신부(111)와 제 2 카메라(112) 및 SL 프로젝션 면간의 관계식에 따라 다리 후보 검출부(115)는 취득된 다리 영상에 포함된 SL 레이저 라인 각각과 본원 발명에 따른 사람 추적장치를 구비한 이동형 전자기기간의 거리(Zp)와 상기 이동형 전자기기와 SL 레이저 라인간의 좌우 거리(Xp)를 구한다.
즉, SL 레이저 프로젝션 면상의 Yp가 0일 때, 제 2 카메라(112)의 프레임은 수학식 2와 같이 정의될 수 있다. 수학식 2에서 (Xs, Ys)는 물체의 영상 좌표이고, Sx/f, Sx/f는 상기 영상 좌표 (Xs, Ys)를 공간 좌표로 변환할 때의 스케일(scale)상수이다.
Figure 112004058936391-pat00002
SL 레이저 프로젝션 면상의 Yp=0인 조건과 수학식 2를 이용하면, 수학식 3과 같은 값을 얻을 수 있다.
Figure 112004058936391-pat00003
Figure 112004058936391-pat00004
수학식 1, 수학식 2 및 수학식 3으로부터 상기 SL 레이저 라인 각각과 본원 발명에 따른 사람 추적장치를 구비한 이동형 전자기기간의 거리(Zp)와 상기 이동형 전자기기와 SL 레이저 라인간의 좌우 거리(Xp)를 수학식 4와 같이 구할 수 있다.
Figure 112004058936391-pat00005
Figure 112004058936391-pat00006
이와 같이 이동형 전자기기와 사람의 다리 간의 거리 Zp와 이동형 전자기기와 다리의 좌우 거리 Xp가 구해지면, 다리 후보 검출부(115)는 구해진 Zp와 Xp를 2차원 매핑(mapping)한다.
따라서 다리 후보 검출부(115)는 도 6에 도시된 바와 같은 SL 레이저 라인 패턴이 표시된 2차원 영상을 얻는다.
도 6은 도 4에 도시된 프로젝션 프레임 영상에 상응하는 SL 레이저 라인 패 턴이 표시된 2차원 영상이다.
다리 후보 검출부(115)는 픽셀간의 거리에 따라 도 6에 도시된 바와 같이 2차원 매핑된 영상을 그루핑(groping) 및 클러스터링(clustering)하여 다리 후보를 검출한다. 즉, 2차원 매핑된 영상에 대해 상술한 그루핑 및 클러스터링을 시행하면, 도 6의 (610)영역에서 (611), (612)영역을 얻게 된다. (610)영역은 2차원 매핑된 영상을 확대하여 도시한 것이다.
다리 후보 검출부(115)는 상기 (611), (612)영역의 대각선 길이(l)를 검출하고, 검출된 대각선 길이(l)와 사전에 설정된 다리 패턴 크기에 대한 특성치를 비교하여 다리 후보를 검출한다. 이는 상기 그루핑 및 클러스터링에 의해 설정된 영역의 대각선 길이와 다리 패턴 크기에 대한 특성치가 근사한 값을 갖기 때문이다.
상술한 다리 패턴 크기는 최적의 다리패턴의 속성으로 정의할 수 있다. 상기 다리 패턴 크기는 이동형 전자기기가 사람을 정면, 후면, 측면(좌우면)을 보았을 때 1 미터(m)와 3 미터(m)에서 측정된 다수의 성인 남녀의 다리 패턴의 크기를 토대로 설정될 수 있다.
이와 같이 다리 후보 검출부(115)에서 검출된 다리 후보들의 2차원 좌표값(상대 좌표값)은 추적 대상 선택 모듈(130)로 전송된다.
추적 대상 선택 모듈(130)은 상체 영상 추적부(103)로부터 제공된 상체 영상의 2차원 좌표값과 다리 후보 검출부(115)로부터 제공된 다리 후보들의 2차원 좌표값을 이용하여 추적 대상을 선택한다.
추적 대상 선택 모듈(130)은 추적 후보 검출부(131) 및 추적 대상 선택부 (132)를 포함한다.
추적 후보 검출부(131)는 첫 번째 프레임 영상에 대한 추적 대상 선택 시에는, 다리 후보 검출부(115)에서 제공되는 다리 후보들과 상체 영상 추적부(103)로부터 제공된 상체 영상을 모두 추적 후보로 검출한다. 그러나, 두 번째 프레임 영상부터, 추적 후보 검출부(131)는 이전 프레임에서 추적 대상으로 선택된 다리 후보의 위치를 중심 좌표로 한 탐색 범위(search range)를 설정한다.
예를 들어, 도 7(a)에 도시된 프로젝션 프레임 영상에서 검출된 추적 대상이 도 7(b)에 (701) 및 (702)일 때, 탐색 범위는 (703)과 같이 설정될 수 있다. 상기 탐색 영역은 성인 남녀의 앞으로 걷는 경우와 옆으로 걷는 경우의 평균 보폭, 평균 속도, 이동형 전자기기의 반응 속도를 고려하여 결정될 수 있다.
추적 후보 검출부(131)는 상기 설정된 탐색 영역에 포함되는 모든 다리 후보를 추적 후보로 검출한다.
또한, 추적 후보 검출부(131)는 상기 탐색 범위가 설정되는 경우에, 상체 영상 추적부(103)로부터 제공된 상체 영상의 위치 정보(또는 2차원 좌표 정보)가 상기 탐색 영역내에 포함되는지 체크한다. 만약 상체 영상의 위치 정보가 상기 탐색 영역 밖으로 벗어나면, 추적 후보 검출부(131)는 상기 상체 영상의 위치 정보를 무시한다. 이는 잘못된 상체 영상의 위치 검출로 인한 오 추적을 방지하기 위한 것이다.
탐색 영역 밖으로 상체 영상의 위치 정보가 벗어나면, 추적 후보 검출부(131)는 사용자를 호출하거나 그 이외의 방법으로 추적 대상 분실 상태가 발생된 것을 사용자에게 통보할 수 있다.
입력된 다리 후보의 위치가 이전의 추적 대상 위치를 기준으로 설정된 탐색 범위 밖으로 벗어난 경우에도 추적 후보 검출부(131)는 사용자에게 추적 대상 분실 상태가 발생된 것을 알릴 수 있다.
상체 영상 추적부(103)로부터 상체 영상의 위치 정보가 제공되지 않거나 다리 후보 검출부(115)로부터 다리 후보의 위치 정보가 제공되지 않은 경우에도, 추적 후보 검출부(131)는 사용자를 호출하거나 그 이외의 방법으로 추적 대상 분실 상태가 발생된 것을 사용자에게 통보할 수 있다.
따라서 추적 후보 검출부(131)는 추적 후보 정보가 정상적으로 검출된 경우에, 검출된 추적 후보의 위치 정보를 추적 대상 선택부(132)로 출력한다.
추적 대상 선택부(132)는 추적 후보 검출부(131)로부터 상체 영상의 위치 정보와 추적 후보로 결정된 다리 후보의 위치 정보가 수신되면, 수신된 위치 정보들을 이용하여 최적의 추적 대상을 선택한다.
도 8에 도시된 바와 같이 이전 추적 대상 위치(801)를 기준으로 설정된 탐색 영역(800)에 포함되는 복수의 다리 후보(802, 803, 804, 805)에 대한 위치 정보와 상체 영상(811)의 위치 정보가 수신되면, 추적 대상 선택부(132)는 상체 영상의 위치(811)와 가장 가까운 거리에 위치한 다리 후보(804)를 추적 대상으로 선택하거나, 이전의 추적 대상 위치(801)에서 가장 가까운 다리 패턴 후보의 위치를 추적 대상으로 선택하거나, 이전의 추적 대상 위치(801)에서 상체 영상의 위치가 다른 다리 패턴 후보들의 위치보다 가까운 경우에, 상체 영상의 위치를 추적 대상으로 선택할 수 있다.
다리 후보의 위치와 상체 영상의 위치가 일치하지 않은 경우에, 추적 대상 선택부(132)는 이전 추적 위치에서 가장 변위량이 작은 위치를 추적 대상으로 선택할 수 있다.
이와 같이 추적 대상을 선택하기 위하여 추적 대상 선택부(132)는 다리 후보의 2차원 좌표값을 이용하여 방향 오차(orientation error)와 거리 오차(distance error)를 구하고, 상체 영상의 2차원 좌표값을 이용하여 방향 오차를 구한다. 상기 방향 오차 및 거리 오차는 수학식 5에 의해 구할 수 있다.
Figure 112004058936391-pat00007
Figure 112004058936391-pat00008
수학식 5에 D0는 이동형 전자기기와 사람간의 추적 유지 간격이고, x, y는 도 10에서 다리(1001)간의 중앙에 표시된 2차원 좌표 값 (x, y)에 해당된다.
수학식 5에 의해 구해진 방향 오차 및 거리 오차 값을 이용하여 탐색 범위내의 각 다리 후보들, 상체 후보, 및 이전 추적대상간의 위치 관계를 파악할 수 있다.
추적 대상이 선택되면, 추적 대상 선택부(132)는 선택된 추적 대상의 위치 정보를 장애물 등록부(140)와 추적 속도 및 방향 계산부(150)로 제공한다.
장애물 등록부(140)는 다리 후보 검출부(115)로부터 제공되는 취득된 다리 영상에서의 SL 레이저 라인 패턴을 기반으로 한 위치 정보와 추적 대상 선택부(132)로부터 제공되는 선택된 추적 대상의 위치 정보를 비교한다. 상기 SL 레이저 라인 패턴을 기반으로 한 위치 정보는 다리 후보 검출부(115)에서 다리 후보로 검출된 SL 레이저 라인 패턴의 위치 정보와 다리 후보로 검출되지 않은 SL 레이저 라인 패턴의 위치 정보를 모두 포함한다.
비교결과, 선택된 추적 대상의 위치 정보 이외의 SL 레이저 라인 패턴의 위치 정보가 검출되면, 장애물 등록부(140)는 상기 검출된 SL 레이저 라인 패턴의 위치 정보중에서 이동형 전자기기와 가장 가까운 곳의 위치 정보를 갖는 SL 레이저 라인 패턴을 이동형 전자기기가 피해야 하는 장애물로 인식한다.
따라서 장애물 등록부(140)는 상기 이동형 전자기기와 가장 가까운 곳에 위치한 SL 레이저 라인 패턴을 장애물로 선택하고, 선택된 장애물의 위치 정보를 등록한다. 장애물로 선택되는 SL 레이저 라인 패턴의 위치 정보는 SL 레이저 라인 패턴을 그루핑 및 클러스터링에 의해 얻어진 위치 정보일 수 있다.
추적 속도 및 방향 계산부(150)는 추적 대상 선택부(132)로부터 추적 대상의 위치 정보와 장애물 등록부(140)로부터 장애물의 위치 정보가 제공되면, 도 9에 도시된 바와 같이 사람(900)과 이동형 전자기기(901)간에는 인력(引力)이 작용하고, 회피해야 하는 장애물(902)과 이동형 전자기기(901)간에는 상호 척력(斥力)이 작용하도록 하여, 인력과 척력의 벡터합으로 이동형 전자기기(901)의 최종 추적 방향 및 속도를 결정한다.
즉, 추적 속도 및 방향 계산부(150)는 도 10에 도시된 바와 같이 선택된 추적 대상(1001)과 이동형 전자기기(1002)와의 거리(d)와 방향(θ)의 상대 오차를 반영하여 이동형 전자기기(1002)의 좌우 바퀴(1003, 1004)의 회전속도를 결정한다. 이 때, 추적 속도 및 방향 계산부(150)는 장애물의 위치와 역방향으로 이동형 전자기기(1002)가 이동하도록 이동형 전자기기(1002)의 좌우 바퀴(1003, 1004)의 회전속도를 결정할 수 있다. 좌우 바퀴(1003, 1004)의 회전속도를 결정하는 방법으로는 PID(Proportional Integral Derivative) 제어 알고리즘 등을 활용할 수 있다.
모터 제어부(160)는 상술한 바와 같이 계산된 추적 속도 및 방향에 따라 이동형 전자기기에 장착된 모터(170)의 회전 방향 및 속도를 제어한다. 상기 모터(170)는 도 10에서와 같이 이동형 전자기기(1002)에 장착된 좌우 바퀴(1003, 1004)를 회전시키는 모터이다.
추적 속도 및 방향 계산부(150), 모터 제어부(160) 및 모터(170)는 선택된 추적 대상을 추적하기 위해 사람 추적 장치를 구동하는 모듈로 정의될 수 있다. 그러나, 선택된 추적 대상을 추적하기 위해 사람 추적 장치는 고정된 위치에서 추적 방향만을 계산하고, 계산된 추적 방향을 토대로 추적 대상을 추적하도록 구현할 수 있다.
도 11은 본 발명의 다른 실시 예에 따른 사람 추적 방법이 동작 흐름도이다. 도 1을 참조하여 상세하게 설명하면 다음과 같다.
사용자의 음성 또는 박수소리에 의한 추적 시작 지시가 수신되면(1101), 이동형 전자기기는 제 1 카메라(101)를 제어하여 소정 거리 전방을 촬영한다. 이동형 전자기기는 촬영된 영상에서 사용자의 상체 영상을 취득한다(1102). 상체 영상은 도 1의 상체 영상 취득부(102)에서와 같은 방식으로 취득된다. 따라서 촬영된 영상이 사용자의 전면, 후면, 측면중 어느 하나여도 상체 영상은 취득될 수 있다.
이동형 전자기기는 상기 취득된 상체 영상을 기반으로 다음 프레임 영상에서의 상체 후보를 검출한다(1103). 상체 후보 검출은 도 1의 상체 후보 검출부(103)에서와 같이 파티클 필터링 및 평균 이동 추적방식에 의한다. 상기 상체 영상 추적에 의해 이동형 전자기기는 입력되는 영상에서의 상체 영상의 위치 정보를 검출한다. 상기 위치 정보는 2차원 좌표 정보일 수 있다(1103).
한편, 이동형 전자기기는 레이저 발신부(111)를 제어하여 레이저를 발신하고, 제 2 카메라(112)를 통해 SL 레이저 라인을 포함하는 프로젝션 영상을 다리 영상으로서 취득한다(1104).
다음, 이동형 전자기기는 취득된 다리 영상의 왜곡을 보상한다(1105). 보상되는 영상 왜곡은 제 2 카메라(112)에 장착된 렌즈에 의한 왜곡이다. 이동형 전자기기는 왜곡이 보상된 영상에서 도 1의 다리 후보 검출부(115)에서와 같이 왜곡이 보상된 영상의 SL 레이저 라인 패턴을 이용하여 다리 후보를 검출하고, 검출된 다리 후보의 위치 정보를 검출한다(116). 다리 후보의 위치 정보는 2차원 좌표 정보이다.
이동형 전자기기는 제 1103 단계에서 검출된 상체 영상의 위치 정보와 제 1106 단계에서 검출된 다리 후보의 위치 정보를 이용하여 추적 후보를 검출한다. 추적 후보는 도 1의 추적 후보 검출부(131)에서와 같이 검출한다. 따라서 상체 영 상이 위치 정보가 검출되지 않았거나 다리 후보의 위치 정보가 검출되지 않았거나 검출된 상체 영상의 위치 정보 또는 다리 후보의 위치 정보가 이전의 추적 대상을 기준으로 설정된 탐색영역을 벗어나면, 추적 대상 분실 상태를 사용자에게 알리도록 구현할 수 있다.
제 1107 단계에서 추적 후보가 검출되면, 이동형 전자기기는 검출된 추적 후보들에서 추적 대상을 선택한다(1108). 추적 대상은 도 1의 추적 대상 선택부(132)에서와 같이 선택된다.
추적 대상이 선택되면, 선택된 추적 대상의 위치 정보와 제 1106 단계에서 다리 후보를 검출하기 위해 이용된 SL 레이저 라인 패턴을 토대로 한 위치 정보를 이용하여 장애물을 등록한다(1109). 즉, 도 1의 장애물 등록부(140)에서와 같이 상기 SL 레이저 라인 패턴을 토대로 한 위치 정보에서 상기 선택된 추적 대상의 위치 정보를 제외시키고, 상기 선택된 추적 대상의 위치 정보가 제외된 SL 레이저 라인 패턴의 위치 정보중에서 이동형 전자기기에 가장 가까운 곳의 위치 정보를 갖는 SL 레이저 라인 패턴을 장애물로 등록한다. 등록 정보는 SL 레이저 라인 패턴의 위치 정보이다. 상기 SL 레이저 라인 패턴의 위치 정보는 그루핑 및 클러스터링에 의해 얻어진 위치 정보일 수 있다.
제 1108 단계에서 선택된 추적 대상의 위치 정보와 제 1109 단계에서 등록된 장애물의 위치 정보를 이용하여 이동형 전자기기는 추적 속도 및 방향을 도 1의 추적 속도 및 방향 계산부(150)에서와 같이 계산한다(1110).
계산된 추적 속도 및 방향을 기반으로 이동형 전자기기의 이동을 제어하는 모터(미 도시됨)를 제어한다(1111). 사용자에 의한 추적 종료가 수신되면, 이동형 전자기기는 상체 영상 및 다리 후보 추적 작업을 종료한다. 그러나 사용자에 의한 추적 종료가 수신되지 않으면, 제 1102 단계 및 제 1104 단계로 리턴되어 상술한 과정을 반복 수행한다.
본원 발명에 따른 이동형 전자기기에 있어서 사용자 추적 방법을 수행하기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 사용자 추적 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
상술한 바와 같이 본 발명에 의하면, 사용자가 별도의 발신장치를 휴대하지 않아도 이동형 전자기기(로봇)가 사용자를 추적할 수 있다. 또한 이동형 전자기기가 사용자의 정면, 후면, 및 측면을 모두 고려하여 상체 영상을 추적하므로, 사용자가 어떤 자세로 이동을 하여도 이동형 전자기기에 의한 사용자의 추적이 가능하다.
또한, 추적 대상과 장애물 검출 결과를 이용하여 이동형 전자기기의 추적 속도 및 방향을 제어함으로써, 사용자를 추적하면서 장애물 회피가 가능한 이동형 전자기기를 제공할 수 있다. 그리고 사용자의 상체 및 다리를 추적한 결과를 이용함으로써, 이동형 전자기기의 오 추적을 방지할 수 있다.

Claims (36)

  1. 사람 추적 장치에 있어서,
    사람의 적어도 하나의 상체 위치 정보를 검출하는 상체 위치 정보 검출 모듈;
    상기 사람의 적어도 하나의 다리 위치 정보를 검출하는 다리 위치 정보 검출 모듈;
    상기 적어도 하나의 상체 위치 정보와 상기 적어도 하나의 다리 위치 정보를 토대로 추적 대상을 선택하는 추적 대상 선택 모듈; 및
    상기 추적 대상 선택 모듈에서 선택된 추적 대상을 추적하도록 상기 사람 추적 장치를 구동하는 모듈을 포함하는 사람 추적 장치.
  2. 제 1 항에 있어서, 상기 추적 대상 선택 모듈은,
    상기 적어도 하나의 상체 위치 정보와 상기 적어도 하나의 다리 위치 정보중에서 소정의 탐색 범위에 포함되는 상체 위치 정보와 다리 위치 정보를 추적 후보 정보로 검출하는 추적 후보 검출부; 및
    상기 추적 후보 검출부에서 검출된 추적 후보 정보를 토대로 추적 대상을 선택하는 추적 대상 선택부를 포함하는 사람 추적 장치.
  3. 제 2 항에 있어서, 상기 소정의 탐색 범위는 이전에 선택된 추적 대상을 기준으로 설정되는 것을 특징으로 하는 사람 추적 장치.
  4. 제 2 항에 있어서, 상기 소정의 탐색 범위는 성인 남녀의 앞으로 걷는 경우와 옆으로 걷은 경우의 평균 보폭, 평균 속도, 및 상기 사람 추적 장치의 반응 속도를 기반으로 결정되는 것을 특징으로 하는 사람 추적 장치.
  5. 제 2 항에 있어서, 상기 추적 후보 검출부는,
    상기 소정의 탐색 범위에 적어도 하나의 상체 위치 정보가 포함되지 않거나 적어도 하나의 다리 위치 정보가 포함되지 않으면, 추적 대상 분실 상태를 알리는 신호를 출력하는 것을 특징으로 하는 사람 추적 장치.
  6. 제 2 항에 있어서, 상기 추적 대상 선택부는,
    상기 추적 후보에 포함된 다리 위치 정보가 복수 개이면, 상기 추적 후보에 포함되어 있는 상체 위치 정보에 근접한 다리 위치 정보를 추적 대상 정보로 선택하는 것을 특징으로 하는 사람 추적 장치.
  7. 제 2 항에 있어서, 상기 추적 대상 선택부는,
    상기 추적 후보에 포함된 다리 위치 정보가 복수 개이면, 이전의 추적 대상 위치에 근접한 다리 위치 정보를 추적 대상 정보로 선택하는 것을 특징으로 하는 사람 추적 장치.
  8. 제 1 항에 있어서, 상기 다리 위치 정보 검출 모듈은,
    레이저를 발신하는 레이저 발신부;
    상기 레이저 발신부로부터 발신된 레이저 라인을 촬상할 수 있는 카메라;
    상기 카메라를 통해 촬상된 레이저 라인 영상을 다리 영상으로 취득하는 다리 영상 취득부;
    상기 다리 영상 취득부로부터 취득된 다리 영상에서 상기 적어도 하나의 다 리 위치 정보를 다리 후보로서 검출하는 다리 후보 검출부를 포함하는 사람 추적 장치.
  9. 제 8 항에 있어서, 상기 다리 후보 검출부는
    상기 사람 추적 장치와 상기 레이저 라인간의 거리와 상기 사람 추적 장치와 상기 레이저 라인간의 좌우 거리를 구하고,
    상기 구해진 거리들을 이용하여 2차원 매핑한 영상을 얻고,
    상기 2차원 매핑된 영상에 대해 그루핑 및 클러스터링을 수행하고,
    상기 클러스터링에 의해 설정된 영상 영역들의 대각선 길이와 사전에 설정된 다리 패턴 속성을 비교하여 상기 적어도 하나의 다리 위치 정보를 검출하는 것을 특징으로 하는 사람 추적 장치.
  10. 제 9 항에 있어서, 상기 다리 패턴 속성은 상기 사람 추적 장치가 사람을 정면, 후면, 측면으로 보았을 때, 소정 거리에서 측정된 다수의 성인 남녀의 다리 패턴의 크기를 토대로 설정된 것을 특징으로 하는 사람 추적 장치.
  11. 이동형 전자기기에 이용되는 사람 추적 장치에 있어서,
    사람의 적어도 하나의 상체 위치 정보를 검출하는 상체 위치 정보 검출 모듈;
    상기 사람의 적어도 하나의 다리 위치 정보를 검출하는 다리 위치 정보 검출 모듈;
    상기 적어도 하나의 상체 위치 정보와 상기 적어도 하나의 다리 위치 정보를 토대로 추적 대상을 선택하는 추적 대상 선택 모듈;
    상기 추적 대상 선택 모듈에서 선택된 추적 대상을 추적하기 위한 추적 속도 및 방향을 계산하는 추적 속도 및 방향 계산부;
    상기 이동형 전자기기를 구동하는 모터; 및
    상기 추적 속도 및 방향 계산부에서 계산된 결과를 토대로 상기 모터를 제어하는 모터 제어부를 포함하는 사람 추적 장치.
  12. 제 11 항에 있어서, 상기 추적 대상 선택 모듈은,
    상기 적어도 하나의 상체 위치 정보와 상기 적어도 하나의 다리 위치 정보중에서 소정의 탐색 범위에 포함되는 상체 위치 정보와 다리 위치 정보를 추적 후보 정보로 검출하는 추적 후보 검출부; 및
    상기 추적 후보 검출부에서 검출된 추적 후보 정보를 토대로 추적 대상을 선택하는 추적 대상 선택부를 포함하는 사람 추적 장치.
  13. 제 12 항에 있어서, 상기 소정의 탐색 범위는 이전에 선택된 추적 대상을 기준으로 설정되는 것을 특징으로 하는 사람 추적 장치.
  14. 제 12 항에 있어서, 상기 소정의 탐색 범위는 성인 남녀의 앞으로 걷는 경우 와 옆으로 걷은 경우의 평균 보폭, 평균 속도, 및 상기 이동형 전자기기의 반응 속도를 기반으로 결정되는 것을 특징으로 하는 사람 추적 장치.
  15. 제 12 항에 있어서, 상기 추적 후보 검출부는,
    상기 소정의 탐색 범위에 적어도 하나의 상체 위치 정보가 포함되지 않거나 적어도 하나의 다리 위치 정보가 포함되지 않으면, 추적 대상 분실 상태를 알리는 신호를 출력하는 것을 특징으로 하는 사람 추적 장치.
  16. 제 12 항에 있어서, 상기 추적 대상 선택부는,
    상기 추적 후보에 포함된 다리 위치 정보가 복수 개이면, 상기 추적 후보에 포함되어 있는 상체 위치 정보에 근접한 다리 위치 정보를 추적 대상 정보로 선택하는 것을 특징으로 하는 사람 추적 장치.
  17. 제 12 항에 있어서, 상기 추적 대상 선택부는,
    상기 추적 후보에 포함된 다리 위치 정보가 복수 개이면, 이전의 추적 대상 위치에 근접한 다리 위치 정보를 추적 대상 정보로 선택하는 것을 특징으로 하는 사람 추적 장치.
  18. 제 11 항에 있어서, 상기 다리 위치 정보 검출 모듈은,
    레이저를 발신하는 레이저 발신부;
    상기 레이저 발신부로부터 발신된 레이저 라인을 촬상할 수 있는 카메라;
    상기 카메라를 통해 촬상된 레이저 라인 영상을 다리 영상으로 취득하는 다리 영상 취득부;
    상기 다리 영상 취득부로부터 취득된 다리 영상에서 상기 적어도 하나의 다리 위치 정보를 다리 후보로서 검출하는 다리 후보 검출부를 포함하는 사람 추적 장치.
  19. 제 18 항에 있어서, 상기 다리 후보 검출부는
    상기 이동형 전자기기와 상기 레이저 라인간의 거리와 상기 이동형 전자기기와 상기 레이저 라인간의 좌우 거리를 구하고,
    상기 구해진 거리들을 이용하여 2차원 매핑한 영상을 얻고,
    상기 2차원 매핑된 영상에 대해 그루핑 및 클러스터링을 수행하고,
    상기 클러스터링에 의해 설정된 영상 영역들의 대각선 길이와 사전에 설정된 다리 패턴 속성을 비교하여 상기 적어도 하나의 다리 위치 정보를 검출하는 것을 특징으로 하는 사람 추적 장치.
  20. 제 19 항에 있어서, 상기 다리 패턴 속성은 상기 이동형 전자기기가 사람을 정면, 후면, 측면으로 보았을 때, 소정 거리에서 측정된 다수의 성인 남녀의 다리 패턴의 크기를 토대로 설정된 것을 특징으로 하는 사람 추적 장치.
  21. 제 18 항에 있어서, 상기 사람 추적 장치는,
    상기 추적 대상 선택 모듈에서 선택된 추적 대상의 위치 정보와 상기 다리 위치 정보 검출 모듈에서 검출된 위치 정보를 토대로 장애물을 검출하고, 상기 검출된 장애물의 위치 정보를 등록하는 장애물 등록부를 더 포함하는 것을 특징으로 하는 사람 추적 장치.
  22. 제 21 항에 있어서, 상기 장애물 등록부는 상기 다리 위치 정보 검출 모듈에서 검출된 위치 정보에서 상기 선택된 추적 대상의 위치 정보를 제외한 위치 정보중에서 상기 이동형 전자기기와 가장 가까운 곳의 위치 정보를 상기 검출된 장애물의 위치 정보로 등록하는 것을 특징으로 하는 사람 추적 장치.
  23. 제 21 항에 있어서, 상기 다리 위치 정보 검출 모듈에서 검출된 위치 정보는 상기 레이저 라인 영상에 포함된 레이저 라인 패턴을 기반으로 한 정보인 것을 특징으로 하는 사람 추적 장치.
  24. 제 21 항에 있어서, 상기 추적 속도 및 방향 계산부는 상기 선택된 추적 대상의 위치 정보와 상기 장애물 등록부에 등록된 장애물의 위치 정보를 이용하여 상기 추적 속도 및 방향을 계산하는 것을 특징으로 하는 사람 추적 장치.
  25. 제 21 항에 있어서, 상기 추적 속도 및 방향 계산부는 상기 선택된 추적 대 상의 위치 정보와 상기 장애물 등록부에 등록된 장애물의 위치 정보를 기반으로 한 상기 사람과 상기 사람 추적 장치간의 인력 및 상기 장애물과 상기 이동형 전자기기간의 척력의 벡터합으로 상기 추적 속도 및 방향을 결정하는 것을 특징으로 하는 사람 추적 장치.
  26. 제 11 항에 있어서, 상기 사람 추적 장치는,
    상기 추적 대상 선택 모듈에서 선택된 추적 대상의 위치 정보와 상기 다리 위치 정보 검출 모듈에서 검출된 위치 정보를 토대로 장애물을 검출하고, 상기 검출된 장애물의 위치 정보를 등록하는 장애물 등록부를 더 포함하는 것을 특징으로 하는 사람 추적 장치.
  27. 제 11 항에 있어서, 상기 상체 위치 정보 검출 모듈은 상기 사람의 정면, 후면, 측면을 모두 고려한 영역을 기반으로 전방 카메라를 이용하여 촬상된 영상에서 상기 적어도 하나의 상체 위치 정보를 검출하는 것을 특징으로 하는 사람 추적 장치.
  28. 사람 추적 방법에 있어서,
    사람의 적어도 하나의 상체 위치 정보와 적어도 하나의 다리 위치 정보를 검출하는 단계;
    상기 적어도 하나의 상체 위치 정보와 상기 적어도 하나의 다리 위치 정보를 토대로 추적 대상의 위치 정보를 선택하는 단계; 및
    상기 선택된 추적 대상의 위치를 추적하는 단계를 포함하는 사람 추적 방법.
  29. 제 28 항에 있어서, 상기 추적 대상 위치를 선택하는 단계는,
    상기 적어도 하나의 상체 위치 정보와 상기 적어도 하나의 다리 위치 정보중에서 소정 탐색 범위에 포함되는 상체 위치 정보와 다리 위치 정보를 추적 후보의 위치 정보로 검출하고,
    상기 검출된 추적 후보의 위치 정보중에서 상기 추적 대상의 위치를 선택하는 것을 특징으로 하는 사람 추적 방법.
  30. 이동형 전자기기의 사람 추적 방법에 있어서,
    사람의 적어도 하나의 상체 위치 정보와 적어도 하나의 다리 위치 정보를 검출하는 단계;
    상기 적어도 하나의 상체 위치 정보와 상기 적어도 하나의 다리 위치 정보를 토대로 추적 대상의 위치 정보를 선택하는 단계;
    상기 선택된 추적 대상의 위치를 추적하기 위하여 상기 이동형 전자기기의 추적 속도 및 방향을 계산하는 단계;
    상기 계산된 추적 속도 및 방향을 토대로 상기 이동형 전자기기의 구동을 제어하는 단계를 포함하는 사람 추적 방법.
  31. 제 30 항에 있어서, 상기 추적 대상 위치를 선택하는 단계는,
    상기 적어도 하나의 상체 위치 정보와 상기 적어도 하나의 다리 위치 정보중에서 소정 탐색 범위에 포함되는 상체 위치 정보와 다리 위치 정보를 추적 후보의 위치 정보로 검출하고,
    상기 검출된 추적 후보의 위치 정보중에서 상기 추적 대상의 위치를 선택하는 것을 특징으로 하는 사람 추적 방법.
  32. 제 30 항에 있어서, 상기 사람 추적 방법은,
    상기 다리 위치 정보를 검출하기 위하여 취득된 다리 영상에서 검출된 위치 정보에서 상기 선택된 추적 대상의 위치정보를 제외한 위치 정보중에서 상기 이동형 전자기기와 가장 근접한 위치 정보를 장애물의 위치 정보로서 검출하고 장애물 위치 정보로 등록하는 단계를 더 포함하는 사람 추적 방법.
  33. 제 32 항에 있어서, 상기 취득된 다리 영상은 레이저 라인 패턴을 갖고, 상기 취득된 다리 영상에서 검출된 위치 정보는 상기 레이저 라인 패턴을 토대로 하는 사람 추적 방법.
  34. 제 32 항에 있어서, 상기 추적 속도 및 방향은 상기 선택된 추적 대상의 위치 정보와 상기 장애물 위치 정보를 기반으로 결정되는 것을 특징으로 하는 사람 추적 방법.
  35. 이동형 전자기기에서 사람을 추적하기 위한 방법을 수행하기 위한 프로그램이 저장된 기록 매체에 있어서,
    상기 사람 추적 방법은,
    사람의 적어도 하나의 상체 위치 정보와 적어도 하나의 다리 위치 정보를 검출하는 단계;
    상기 적어도 하나의 상체 위치 정보와 상기 적어도 하나의 다리 위치 정보를 토대로 추적 대상의 위치 정보를 선택하는 단계;
    상기 선택된 추적 대상의 위치를 추적하기 위하여 상기 이동형 전자기기의 추적 속도 및 방향을 계산하는 단계;
    상기 계산된 추적 속도 및 방향을 토대로 상기 이동형 전자기기의 구동을 제어하는 단계를 포함하는 기록 매체.
  36. 이동형 전자기기에 있어서,
    사람의 적어도 하나의 상체 위치 정보를 검출하는 상체 위치 정보 검출 모듈;
    상기 사람의 적어도 하나의 다리 위치 정보를 검출하는 다리 위치 정보 검출 모듈;
    상기 적어도 하나의 상체 위치 정보와 상기 적어도 하나의 다리 위치 정보를 토대로 추적 대상을 선택하는 추적 대상 선택 모듈;
    상기 추적 대상 선택 모듈에서 선택된 추적 대상을 추적하기 위한 상기 이동형 전자기기의 추적 속도 및 방향을 계산하는 추적 속도 및 방향 계산부;
    상기 이동형 전자기기를 구동하는 모터; 및
    상기 추적 속도 및 방향 계산부에서 계산된 결과를 토대로 상기 모터를 제어하는 모터 제어부를 포함하는 사람 추적 장치를 포함하는 이동형 전자기기.
KR1020040105650A 2004-12-14 2004-12-14 사람 추적 장치 및 방법, 그 방법을 수행하기 위한프로그램이 저장된 기록매체와 그 장치를 포함하는 이동형전자기기 KR100790860B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020040105650A KR100790860B1 (ko) 2004-12-14 2004-12-14 사람 추적 장치 및 방법, 그 방법을 수행하기 위한프로그램이 저장된 기록매체와 그 장치를 포함하는 이동형전자기기
US11/241,968 US7330567B2 (en) 2004-12-14 2005-10-04 Human tracking apparatus and method, storage medium storing program executing the method, and mobile electronic system including the apparatus
EP05257657.6A EP1672584B1 (en) 2004-12-14 2005-12-14 Human tracking apparatus and method, storage medium storing program executing the method, and mobile electronic system including the apparatus
JP2005359745A JP4815208B2 (ja) 2004-12-14 2005-12-14 人間追跡装置及び方法、その方法を行うためのプログラムが記録された記録媒体とその装置を備えた移動型電子機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040105650A KR100790860B1 (ko) 2004-12-14 2004-12-14 사람 추적 장치 및 방법, 그 방법을 수행하기 위한프로그램이 저장된 기록매체와 그 장치를 포함하는 이동형전자기기

Publications (2)

Publication Number Publication Date
KR20060066975A KR20060066975A (ko) 2006-06-19
KR100790860B1 true KR100790860B1 (ko) 2008-01-03

Family

ID=35811646

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040105650A KR100790860B1 (ko) 2004-12-14 2004-12-14 사람 추적 장치 및 방법, 그 방법을 수행하기 위한프로그램이 저장된 기록매체와 그 장치를 포함하는 이동형전자기기

Country Status (4)

Country Link
US (1) US7330567B2 (ko)
EP (1) EP1672584B1 (ko)
JP (1) JP4815208B2 (ko)
KR (1) KR100790860B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101014531B1 (ko) 2009-12-30 2011-02-14 고려대학교 산학협력단 거리 센서를 이용한 다리 추출 방법, 이를 이용한 이동 로봇의 사람 추종 주행 방법 및 이동 로봇
KR101573620B1 (ko) 2014-07-09 2015-12-02 고려대학교 산학협력단 Ｓｊｐｄａｆ기법을 기반으로 하는 다리 추종 방법

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450735B1 (en) * 2003-10-16 2008-11-11 University Of Central Florida Research Foundation, Inc. Tracking across multiple cameras with disjoint views
KR100647321B1 (ko) * 2005-02-07 2006-11-23 삼성전자주식회사 사용자 위치 추적 방법 및 장치
EP2743728B1 (de) 2006-01-13 2017-05-03 Leica Geosystems AG Tracking-Verfahren und Messsystem mit Lasertracker
WO2008048260A1 (en) * 2006-10-18 2008-04-24 Yutaka Kanayama Human-guided mapping method for mobile robot
KR101312625B1 (ko) * 2006-11-03 2013-10-01 삼성전자주식회사 동작 추적 장치 및 방법
JP5187878B2 (ja) * 2007-01-31 2013-04-24 国立大学法人 東京大学 物体測定システム
US7974460B2 (en) * 2007-02-06 2011-07-05 Honeywell International Inc. Method and system for three-dimensional obstacle mapping for navigation of autonomous vehicles
JP4315991B2 (ja) * 2007-04-20 2009-08-19 本田技研工業株式会社 車両周辺監視装置、車両周辺監視方法、車両周辺監視プログラム
JP4631036B2 (ja) * 2007-10-29 2011-02-16 東日本旅客鉄道株式会社 通行人行動解析装置及び通行人行動解析方法並びにそのプログラム
US8654197B2 (en) * 2009-03-04 2014-02-18 Raytheon Company System and method for occupancy detection
JP2010237872A (ja) * 2009-03-30 2010-10-21 Sogo Keibi Hosho Co Ltd 人物領域検出装置、人物領域検出方法、及び人物領域検出プログラム
JP5370009B2 (ja) * 2009-08-31 2013-12-18 株式会社メガチップス 監視システム
AU2009243528B2 (en) * 2009-12-04 2013-08-01 Canon Kabushiki Kaisha Location-based signature selection for multi-camera object tracking
KR101054736B1 (ko) * 2010-05-04 2011-08-05 성균관대학교산학협력단 3차원 물체 인식 및 자세 추정 방법
KR101103923B1 (ko) * 2010-10-20 2012-01-12 성균관대학교산학협력단 동영상을 촬영하는 카메라 로봇 및 카메라 로봇을 이용한 동영상 촬영 방법
US8520080B2 (en) 2011-01-31 2013-08-27 Hand Held Products, Inc. Apparatus, system, and method of use of imaging assembly on mobile terminal
US9321173B2 (en) 2012-06-22 2016-04-26 Microsoft Technology Licensing, Llc Tracking and following people with a mobile robotic device
JP6003942B2 (ja) * 2014-04-24 2016-10-05 トヨタ自動車株式会社 動作制限装置及び動作制限方法
US9943046B2 (en) 2014-09-29 2018-04-17 International Business Machines Corporation Targeted irrigation using a central pivot irrigation system with a sensor network
CN105652895A (zh) * 2014-11-12 2016-06-08 沈阳新松机器人自动化股份有限公司 基于激光传感器的移动机器人人体跟踪系统及跟踪方法
US9623560B1 (en) * 2014-11-26 2017-04-18 Daniel Theobald Methods of operating a mechanism and systems related therewith
US10044988B2 (en) * 2015-05-19 2018-08-07 Conduent Business Services, Llc Multi-stage vehicle detection in side-by-side drive-thru configurations
FR3048406B1 (fr) 2016-03-07 2019-08-16 Effidence Robot autonome avec guidage en mode poussee
TW201805598A (zh) * 2016-08-04 2018-02-16 鴻海精密工業股份有限公司 自主移動設備及建立導航路徑的方法
KR101932200B1 (ko) * 2016-11-07 2018-12-28 경일대학교산학협력단 이미지 인식을 이용한 보행자 보조 신호 제공 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR101907548B1 (ko) 2016-12-23 2018-10-12 한국과학기술연구원 휴먼 추종을 위한 이동로봇의 주행 및 탐색방법
KR102021833B1 (ko) 2017-09-26 2019-09-17 엘지전자 주식회사 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
TWI695180B (zh) * 2018-07-24 2020-06-01 國立交通大學 機器人導引方法
JP7318190B2 (ja) * 2018-09-28 2023-08-01 株式会社ニコン 形状測定装置、形状測定方法及び形状測定プログラム
JP7351083B2 (ja) * 2018-12-28 2023-09-27 富士フイルムビジネスイノベーション株式会社 自律移動装置およびプログラム
FR3091609A1 (fr) 2019-01-04 2020-07-10 Balyo Système de robot-compagnon comprenant un engin à guidage autonome
JP7192563B2 (ja) * 2019-02-21 2022-12-20 新東工業株式会社 自律移動ロボット

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07220047A (ja) * 1994-01-31 1995-08-18 Oki Electric Ind Co Ltd 人物認識方法
JP2001184488A (ja) 1999-12-27 2001-07-06 Matsushita Electric Ind Co Ltd 人物追跡装置、人物追跡方法及びそのプログラムを記録した記録媒体
JP2003346159A (ja) 2002-05-28 2003-12-05 Oki Electric Ind Co Ltd 人物追跡方法及び人物追跡装置
KR20050063401A (ko) * 2003-12-22 2005-06-28 한국전자통신연구원 인체 루트 위치 검출 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0973543A (ja) * 1995-09-06 1997-03-18 Toshiba Corp 画像処理装置
JPH0990026A (ja) * 1995-09-27 1997-04-04 Honda Motor Co Ltd 物体検出装置およびその方法
JP3577875B2 (ja) * 1997-03-06 2004-10-20 松下電器産業株式会社 移動物体抽出装置
JPH1196376A (ja) * 1997-09-24 1999-04-09 Oki Electric Ind Co Ltd 移動物体追跡装置及び方法
US6795567B1 (en) * 1999-09-16 2004-09-21 Hewlett-Packard Development Company, L.P. Method for efficiently tracking object models in video sequences via dynamic ordering of features
JP2001155164A (ja) * 1999-11-26 2001-06-08 Ntt Communications Kk 移動物体追跡装置
US6629028B2 (en) * 2000-06-29 2003-09-30 Riken Method and system of optical guidance of mobile body
JP3681620B2 (ja) * 2000-07-26 2005-08-10 株式会社デンソー 車両用障害物認識装置
US20020100884A1 (en) * 2001-01-29 2002-08-01 Maddock Brian L.W. Digital 3-D model production method and apparatus
JP3738694B2 (ja) * 2001-02-28 2006-01-25 株式会社日本自動車部品総合研究所 可動型ケース
JP3416666B2 (ja) * 2001-09-14 2003-06-16 三菱電機株式会社 頭部姿勢計測装置およびｃｇキャラクタ制御装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07220047A (ja) * 1994-01-31 1995-08-18 Oki Electric Ind Co Ltd 人物認識方法
JP2001184488A (ja) 1999-12-27 2001-07-06 Matsushita Electric Ind Co Ltd 人物追跡装置、人物追跡方法及びそのプログラムを記録した記録媒体
JP2003346159A (ja) 2002-05-28 2003-12-05 Oki Electric Ind Co Ltd 人物追跡方法及び人物追跡装置
KR20050063401A (ko) * 2003-12-22 2005-06-28 한국전자통신연구원 인체 루트 위치 검출 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101014531B1 (ko) 2009-12-30 2011-02-14 고려대학교 산학협력단 거리 센서를 이용한 다리 추출 방법, 이를 이용한 이동 로봇의 사람 추종 주행 방법 및 이동 로봇
KR101573620B1 (ko) 2014-07-09 2015-12-02 고려대학교 산학협력단 Ｓｊｐｄａｆ기법을 기반으로 하는 다리 추종 방법

Also Published As

Publication number Publication date
EP1672584A2 (en) 2006-06-21
KR20060066975A (ko) 2006-06-19
EP1672584B1 (en) 2016-04-27
JP4815208B2 (ja) 2011-11-16
JP2006221610A (ja) 2006-08-24
US7330567B2 (en) 2008-02-12
EP1672584A3 (en) 2009-07-15
US20060140450A1 (en) 2006-06-29

Similar Documents

Publication Publication Date Title
KR100790860B1 (ko) 사람 추적 장치 및 방법, 그 방법을 수행하기 위한프로그램이 저장된 기록매체와 그 장치를 포함하는 이동형전자기기
US8090193B2 (en) Mobile robot
JP4871160B2 (ja) ロボットおよびその制御方法
JP3927980B2 (ja) 物体検出装置、物体検出サーバおよび物体検出方法
KR101077967B1 (ko) 이동식 감시 및 추적 장치 및 방법
US7321386B2 (en) Robust stereo-driven video-based surveillance
JP4264380B2 (ja) 自己位置同定方法及び該装置
US9275472B2 (en) Real-time player detection from a single calibrated camera
Nair et al. Moving obstacle detection from a navigating robot
TWI481980B (zh) 電子裝置及其導航方法
KR20110011424A (ko) 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
KR101486308B1 (ko) 이동 객체를 추종하기 위한 이동로봇 제어 장치, 방법 및 이동로봇
WO2004072681A2 (en) Locating object using stereo vision
WO2009142841A2 (en) Rectangular table detection using hybrid rgb and depth camera sensors
JP2004171165A (ja) 移動装置
KR101634355B1 (ko) 동작 검출 장치 및 방법
KR20200102108A (ko) 차량의 객체 검출 장치 및 방법
KR101594113B1 (ko) 스케일을 고려한 이미지 패치 추적 장치 및 방법
CN111736596A (zh) 有手势控制功能的车辆、车辆的手势控制方法和存储介质
Jung et al. Tracking multiple moving targets using a camera and laser rangefinder
Dai et al. Robot tracking using vision and laser sensors
Ghidary et al. Localization and approaching to the human by mobile home robot
JP7354528B2 (ja) 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム
Einhorn et al. Monocular detection and estimation of moving obstacles for robot navigation
Jia et al. Obstacle recognition for a mobile robot in indoor environments using RFID and stereo vision

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121115

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131122

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141119

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee