KR20140022654A - 제스처 인식 기능을 구비한 청소 로봇 및, 그 제어 방법 - Google Patents

제스처 인식 기능을 구비한 청소 로봇 및, 그 제어 방법 Download PDF

Info

Publication number
KR20140022654A
KR20140022654A KR1020120089065A KR20120089065A KR20140022654A KR 20140022654 A KR20140022654 A KR 20140022654A KR 1020120089065 A KR1020120089065 A KR 1020120089065A KR 20120089065 A KR20120089065 A KR 20120089065A KR 20140022654 A KR20140022654 A KR 20140022654A
Authority
KR
South Korea
Prior art keywords
gesture
driving
image
user
unit
Prior art date
Application number
KR1020120089065A
Other languages
English (en)
Other versions
KR101385981B1 (ko
Inventor
온진욱
김연호
안재곤
Original Assignee
(주)동부로봇
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)동부로봇 filed Critical (주)동부로봇
Priority to KR1020120089065A priority Critical patent/KR101385981B1/ko
Publication of KR20140022654A publication Critical patent/KR20140022654A/ko
Application granted granted Critical
Publication of KR101385981B1 publication Critical patent/KR101385981B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2857—User input or output elements for control, e.g. buttons, switches or displays
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 제스처 인식 기능을 구비한 청소 로봇에 관한 것으로, 좀 더 구체적으로 연속적으로 촬영된 영상으로부터 벡터 성분을 추출하고, 추출된 벡터 성분으로부터 사용자의 제스처를 인식해 로봇의 구동을 제어할 수 있는 제스처 인식 기능을 구비한 청소 로봇에 관한 것이다. 본 발명에 따른 제스처 인식 기능을 구비한 청소 로봇은 제스처 인식 기능을 구비한 청소 로봇에 있어서, 사용자의 영상을 연속적으로 촬영하는 영상촬영부, 기설정된 특정 제스처를 저장하며, 구동 제스처를 인식하게 하는 인식 명령어를 저장하는 저장부 및, 연속적으로 촬영된 상기 영상으로부터 사용자의 특정 제스처와 구동 제스처를 인식하되, 상기 구동 제스처를 연산자로 하여 로봇의 구동을 제어하는 제어부를 포함하며, 상기 제어부는 특정 제스처가 식별되면 인식 명령어에 의해 구동 제스처를 인식하는 것을 특징으로 한다.

Description

제스처 인식 기능을 구비한 청소 로봇 및, 그 제어 방법{CLEANING ROBOT FOR HAVING GESTURE RECIGNITION FUNCTION, AND THE CONTOL METHOD}
본 발명은 제스처 인식 기능을 구비한 청소 로봇에 관한 것으로, 좀 더 구체적으로 연속적으로 촬영된 영상으로부터 벡터 성분을 추출하고, 추출된 벡터 성분으로부터 사용자의 제스처를 인식해 로봇의 구동을 제어할 수 있는 제스처 인식 기능을 구비한 청소 로봇에 관한 것이다.
기존의 산업용 로봇이 제조업 환경에서 작업하던 것에서 응용분야가 확장되면서, 최근에는 가정용, 의료용, 국방, 농업용 등과 같이 전산업 분야로 확장된 형태의 서비스 로봇 개발이 증가하고 있는 추세이다.
가정용 서비스 로봇은 인간에게 각종의 편리한 서비스를 제공하기 위한 미래의 지능형 로봇으로, 이 로봇이 제공하는 기능으로는 청소 서비스, 홈 모니터링, 교육, 날씨예보와 같은 서비스를 제공한다.
이러한 가정용 서비스 로봇은 타분야의 로봇보다 사용자와의 원활한 상호작용(HRI, Human-Robot Interface)을 필요로하며, 비구조화된 일반가정환경에서 작동하는 만큼, 환경인식이나 위치인식 등의 불확실성을 다루는 인공지능 기술을 필요로 한다.
그리고, 인간은 얼굴 표정, 손의 움직임, 시선 방향, 머리 동작 등의 비언어적인 수단(이하, 제스처: gesture)을 이용하여 많은 정보를 교환할 수 있다. 따라서, 인간과 로봇의 상호작용 기술에 제스처를 이용한 정보 교환 방식이 적용되면, 보다 인간 친화적인 기술의 구현이 가능하다.
청소 로봇은 사람마다 청소의 상태 등에 대해 편차가 있어 의심이 가는 구역을 한번 더 청소하거나 로봇의 위치를 이동할 경우가 생긴다. 이 경우 로봇을 직접 들어서 이동하거나 외부 장치를 연결하여 이동을 제어하였다.
종래의 청소 로봇의 제어는 직접 제어, 리모콘, 휴대폰 및 PC 등의 외부 연결 장치에 의한 제어로 이루어진다. 이와 같이 종래의 청소 로봇은 로봇에 직접적으로 제어를 하거나 외부 연결 장치에 의해 제어하게 되는데, 별도의 설치가 필요하거나 해당 제어 장치가 반드시 사용자의 주위에 있어야 한다는 단점이 있었다.
또한, 직접 제어 방식은 로봇의 동작을 멈추고 로봇에 직접 접촉하여 제어를 해야 하고, 외부 연결 장치에 의한 방식은 로봇의 동작을 멈출 필요는 없으나 사용자가 해당 제어 디바이스를 가지고 있어야 한다는 단점이 있다.
특히, 휴대폰이나 PC를 이용한 제어는 어느 정도 전문 지식을 가진 사람이 설치해야 할 뿐만 아니라 설치 이후에도 사용을 위해서는 접속을 해야하는 복잡성을 가지게 된다. 그리고, 네트워크를 이용해 제어하는 경우에는 네트워크 인증으로 인한 시간 할애가 필요하므로, 단순 지령이나 잦은 명령이 필요한 경우에는 적합하지 않게 된다.
따라서, 본 발명의 제스처 인식 기능을 구비한 청소 로봇은 사용자의 간단한 제스처를 인식해 로봇을 동작을 제어함으로써, 별도의 사용자 인식이 없어도 로봇을 직관적으로 제어할 수 있는 환경을 제공하고자 한다.
종래와 같은 문제를 해결하기 위해 본 발명의 목적은 사용자의 제스처를 통해 로봇의 동작을 제어함으로써, 외부 연결 장치를 이용하기 위한 별도의 추가적인 설치가 필요 없고 직관적으로 제어할 수 있는 환경을 제공하고자 한다.
또한, 본 발명의 다른 목적은 먼저 특정 제스처를 인식 명령어로 두고, 특정 제스처가 인식된 이후의 제스처를 구동을 위한 구동 제스처로 적용함으로써, 인식 오류 확률을 감소시킬 수 있는 환경을 제공하고자 한다.
또한, 본 발명의 다른 목적은 배경 이미지와 객체 이미지를 구분하고 각각의 움직임으로부터 벡터 성분을 추출해 구동을 위한 제스처들을 인식함으로써, 제스처 인식 확률을 높일 수 있는 환경을 제공하고자 한다.
상기 목적들을 달성하기 위한 본 발명의 제스처 인식 기능을 구비한 청소 로봇은 제스처 인식 기능을 구비한 청소 로봇에 있어서, 사용자의 영상을 연속적으로 촬영하는 영상촬영부, 기설정된 특정 제스처를 저장하며, 구동 제스처를 인식하게 하는 인식 명령어를 저장하는 저장부 및, 연속적으로 촬영된 상기 영상으로부터 사용자의 특정 제스처와 구동 제스처를 인식하되, 상기 구동 제스처를 연산자로 하여 로봇의 구동을 제어하는 제어부를 포함하며, 상기 제어부는 특정 제스처가 식별되면 인식 명령어에 의해 구동 제스처를 인식하는 것을 특징으로 한다.
또한, 상기 제어부는 연속적으로 촬영된 영상으로부터 벡터 성분을 추출하는 벡터추출부, 추출된 상기 벡터 성분을 분석해 사용자의 제스처를 인식하고, 인식된 상기 제스처로부터 상기 특정 제스처나 구동 제스처를 식별하는 제스처 인식부 및, 식별된 구동 제스처에 따른 구동 명령어를 도출해 로봇의 구동을 지령하는 지령부를 포함하는 것을 특징으로 한다.
또한, 상기 벡터추출부는 연속적으로 촬영된 상기 영상을 광류분석과 피부색 검출(skin color detection) 방법에 의해 배경 이미지(background image)와 객체 이미지(object image)로 분류하고, 상기 이미지들에 의한 화면상의 흐름으로부터 벡터 성분들을 추출하되, 상기 배경 이미지에 의한 화면상의 흐름이 상기 영상촬영부의 이동 벡터 성분이 되고, 상기 객체 이미지에 의한 화면상의 흐름이 지령 벡터 성분이 되는 것을 특징으로 한다.
또한, 상기 제스처 인식부는 상기 이동 벡터 성분과 지령 벡터 성분의 합으로부터 사용자의 구동 제스처를 인식하는 것을 특징으로 한다.
상기 목적들을 달성하기 위한 본 발명의 로봇 제어 방법은 제스처 인식을 통한 청소 로봇 제어 방법에 있어서, 사용자의 영상을 연속적으로 촬영하는 영상 촬영 단계, 연속적으로 촬영된 상기 영상으로부터 사용자의 제스처를 인식하는 인식 단계 및, 인식된 상기 제스처에 따라 로봇의 구동을 제어하는 제어 단계를 포함하는 것을 특징으로 한다.
또한, 상기 인식 단계는 기설정된 특정 제스처가 식별된 후에 구동 제스처를 인식하고, 상기 제어 단계에서 상기 구동 제스처에 따라 로봇의 구동을 제어하는 것을 특징으로 한다.
또한, 상기 인식 단계는 연속적으로 촬영된 상기 영상으로부터 벡터 성분을 추출하는 벡터 추출 단계 및, 추출된 상기 벡터 성분을 분석해 사용자의 제스처를 인식하는 제스처 인식 단계를 포함하는 것을 특징으로 한다.
또한, 상기 벡터 추출 단계는 연속적으로 촬영된 상기 영상을 광류분석과 피부색 검출(skin color detection) 방법에 의해 배경 이미지(background image)와 객체 이미지(object image)로 분류하고, 상기 이미지들에 의한 화면상의 흐름으로부터 벡터 성분들을 추출하되, 상기 배경 이미지에 의한 화면상의 흐름이 상기 영상촬영부의 이동 벡터 성분이 되고, 상기 객체 이미지에 의한 화면상의 흐름이 지령 벡터 성분이 되는 것을 특징으로 한다.
또한, 상기 제스처 인식 단계는 상기 이동 벡터 성분과 지령 벡터 성분의 합으로부터 사용자의 구동 제스처를 인식하는 것을 특징으로 한다.
상술한 바와 같이, 본 발명의 제스처 인식 기능을 구비한 청소 로봇은 사용자의 간단한 제스처를 인식해 로봇을 동작을 제어함으로써, 별도의 사용자 인식이 없어도 로봇을 직관적으로 제어할 수 있는 환경을 제공한다.
또한, 본 발명의 제스처 인식 기능을 구비한 청소 로봇은 사용자의 제스처를 통해 로봇의 동작을 제어함으로써, 외부 연결 장치를 이용하기 위한 별도의 추가적인 설치가 필요 없고 직관적으로 제어할 수 있는 환경을 제공한다.
또한, 본 발명의 제스처 인식 기능을 구비한 청소 로봇은 먼저 특정 제스처를 인식 명령어로 두고, 특정 제스처가 인식된 이후의 제스처를 구동을 위한 구동 제스처로 적용함으로써, 인식 오류 확률을 감소시킬 수 있는 환경을 제공한다.
또한, 본 발명의 제스처 인식 기능을 구비한 청소 로봇은 배경 이미지와 객체 이미지를 구분하고 각각의 움직임으로부터 벡터 성분을 추출해 구동을 위한 제스처들을 인식함으로써, 제스처 인식 확률을 높일 수 있는 환경을 제공한다.
도 1은 본 발명에 따른 제스처 인식 기능을 구비한 청소 로봇의 개략적인 구성을 나타내는 블록구성도이다.
도 2는 본 발명에 따른 사용자의 제스처를 인식하는 과정을 간략히 도시한 순서도이다.
도 3은 사용자의 제스처에 의해 청소 로봇의 구동을 제어하는 과정을 도시한 예이다.
도 4는 본 발명의 일실시예에 따라 촬영된 영상으로부터 벡터 성분을 추출하고, 이동 벡터 성분과 지령 벡터 성분을 분리한 것을 도시한 도면이다.
도 5는 도 4에 따른 벡터 성분으로부터 사용자의 제스처를 인식하는 예이다.
도 6은 본 발명의 일실시예에 따라 제스처 인식을 통한 청소 로봇의 제어 과정을 도시한 순서도이다.
본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 서술하는 실시예로 인해 한정되어지는 것으로 해석되어서는 안된다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서 도면에서의 구성 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어진 것이다.
이하 첨부된 도 1 내지 도 6을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명에 따른 제스처 인식 기능을 구비한 청소 로봇의 개략적인 구성을 나타내는 블록구성도이다.
도 1에 따른 본 발명의 제스처 인식 기능을 구비한 청소 로봇은 본 발명의 일실시예에 따라 영상촬영부(10), 저장부(20), 제어부(30) 및, 구동부(40)를 포함하는 것을 특징으로 한다.
영상촬영부(10)는 사용자의 영상을 연속적으로 촬영하는 수단이다. 영상촬영부(10)는 카메라로 구현되어 로봇에 장착될 수 있으며, 로봇이 정지 또는 움직이는 동안에 사용자를 연속적으로 촬영한다. 그리고, 영상촬영부(10)는 촬영된 영상을 하기 제어부(30)로 제공한다.
영상촬영부(10)는 사용자의 움직임을 촬영해야하므로, 본 발명의 일실시예에 따라 별도의 센서부(미도시)가 사용자의 움직임을 감지해서 영상촬영부(10)가 이때의 움직임을 촬영하도록 구현할 수도 있다.
저장부(20)는 기설정된 특정 제스처를 저장하며, 로봇을 구동하게 하는 구동 제스처를 인식하기 위한 인식 명령어 등을 저장한다. 그리고, 본 발명의 또 다른 실시예에 따라 별도의 구동 제스처와 그에 따른 구동 명령어를 저장해 하기 제어부(30)로 제공할 수도 있다.
여기서, 특정 제스처는 사전에 설정된 특정한 형태의 동작으로서, 로봇이 사용자에 의한 구동 제스처를 인식하게 하는 제스처이다.
본 발명은 일실시예에 따라 사용자가 손바닥을 펴고 원을 그리는 형태를 특정 제스처로 설정할 수 있으며, 이러한 특정 제스처의 형태는 사용자의 설정에 따라 다양한 변형 및 변경이 가능하다.
또한, 구동 제스처는 사용자가 실질적으로 로봇을 움직이게 하는 지령에 대한 제스처이다.
제어부(30)는 사용자의 움직임을 인식해 로봇의 동작을 제어하는 수단이다. 제어부(30)는 영상촬영부(10)에 의해 연속적으로 촬영된 영상으로부터 사용자의 다양한 형태의 제스처를 인식하거나 식별한다. 그리고, 제어부(30)는 구동 제스처를 연산자로 하여 로봇의 구동을 제어한다.
제어부(30)는 상기 특정 제스처를 식별한 뒤에, 로봇을 구동하기 위한 구동 제스처를 식별해 로봇을 구동시킨다. 따라서, 본 발명은 특정 제스처를 인식 명령어로 두고, 특정 제스처가 식별된 이후의 동작을 구동 제스처로 식별하게 된다.
여기서, 제어부(30)는 본 발명의 일실시예에 따라 벡터추출부(32), 제스처 인식부(34) 및, 지령부(36)를 포함해 구현할 수 있다.
벡터추출부(32)는 영상촬영부(10)의 연속된 영상으로부터 움직임에 따른 벡터 성분을 추출하는 수단이다. 그리고, 추출된 상기 벡터 성분은 로봇의 움직임과 사용자의 움직임에 따라 구분될 수 있다.
벡터추출부(32)는 연속된 영상을 광류분석과 피부색 검출(skin color detection) 방법에 의해 배경 이미지(background image)와 객체 이미지(object image)로 분류한다. 여기서, 배경 이미지는 지령을 위한 사용자의 동작이 발생되는 부분을 제외한, 주변 배경에 대한 이미지이며, 객체 이미지는 실질적인 지령을 발생시키는 사용자의 신체 일부분에 대한 이미지이다.
그리고, 벡터추출부(32)는 상기 이미지들에 의한 화면상의 흐름으로부터 벡터 성분들을 추출한다.
우선, 배경 이미지에 의한 화면상의 흐름은 상기 영상촬영부(10)의 이동 벡터 성분이며, 로봇의 이동에 의해 발생된다. 여기서, 이동 벡터 성분은 로봇의 이동이 배경 이미지의 움직임으로 표현되는 것이므로, 로봇의 이동 방향과 반대 방향으로 표시된다.
또한, 객체 이미지에 의한 화면상의 흐름은 지령 벡터 성분으로, 지령을 발생시키는 사용자의 움직임에 의해 발생된다.
제스처 인식부(34)는 벡터추출부(32)에서 추출된 벡터 성분을 분석하고, 사용자의 제스처를 인식한다. 그리고, 제스처 인식부(34)는 인식된 상기 제스처로부터 특정 제스처나 구동 제스처를 식별한다.
제스처 인식부(34)는 본 발명의 일실시예에 따라 상기 이동 벡터 성분과 상기 지령 벡터 성분의 합으로부터 사용자의 구동 제스처를 인식할 수 있다.
지령부(36)는 제스처 인식부(34)에서 식별된 구동 제스처에 따라 구동 명령어를 도출해 로봇의 구동을 지령하는 수단이다.
구동부(40)는 로봇을 구동시키는 수단이다. 구동부(40)는 본 발명의 일실시예에 따라 사용자의 구동 제스처에 의한 구동 명령어를 상기 지령부(36)로부터 제공받아 로봇의 간단한 동작을 수행한다.
도 2는 본 발명에 따른 사용자의 제스처를 인식하는 과정을 간략히 도시한 순서도이다.
도 2를 참조하면, 로봇이 사용자의 제스처를 인식하는 과정은 본 발명의 일실시예에 따라 영상 촬영 단계, 벡터 추출 단계, 제스처 인식 단계 및, 제스처 식별 단계를 포함한다.
영상 촬영 단계는 로봇이 정지 또는 움직이는 동안에 영상촬영부(10)가 사용자를 연속적으로 촬영하는 단계이다.
벡터 추출 단계는 연속적으로 촬영된 상기 영상으로부터 벡터 성분을 추출하는 단계이다. 그리고, 상기 벡터 추출 단계는 연속적으로 촬영된 상기 영상을 광류분석과 피부색 검출 방법에 의해 배경 이미지와 객체 이미지로 분류한다.
그리고 나서 벡터 추출 단계는 상기 이미지들에 의한 화면상의 흐름으로부터 벡터 성분들을 추출한다. 여기서, 상기 배경 이미지에 의한 화면상의 흐름이 상기 영상촬영부(10)의 이동 벡터 성분이 되고, 상기 객체 이미지에 의한 화면상의 흐름이 지령 벡터 성분이 된다.
제스처 인식 단계는 추출된 이동 벡터 성분과 지령 벡터 성분을 분석해 사용자의 제스처를 인식한다. 여기서, 제스처 인식 단계는 상기 이동 벡터 성분과 지령 벡터 성분의 합으로부터 사용자의 제스처를 인식할 수 있다.
제스처 식별 단계는 특정 제스처 또는 구동 제스처를 식별하는 단계이다. 본 발명은 먼저 특정 제스처를 인식 명령어로 두고, 특정 제스처가 인식된 이후의 제스처를 구동을 위한 구동 제스처로 적용하여 인식 오류 확률을 감소시키기 위함이다.
도 3은 사용자의 제스처에 의해 청소 로봇의 구동을 제어하는 과정을 도시한 예이다.
도 3(a)에서는 로봇(4)이 이동하며 사용자(4)를 연속적으로 촬영하게 된다. 본 발명은 일실시예에 따라 로봇(4)이 이동할 때에 별도의 센서부(미도시)가 사용자(2)의 움직임을 감지하고, 영상촬영부(10)가 이때 감지된 움직임을 촬영할 수 있다.
도 3(b)에서는 사용자(2)가 특정 제스처(A)를 수행하고, 로봇(4)이 영상촬영부(10)에 의해 촬영된 영상으로부터 상기 특정 제스처(A)를 인식하게 된다.
그리고, 도 3(c)에서는 특정 제스처(A)를 인식한 로봇(4)이 사용자(2)의 구동 제스처(B)를 인식하고, 구동 제스처(B)에 따라 동작함을 보여준다.
따라서, 본 발명은 먼저 특정 제스처를 인식 명령어로 두고, 특정 제스처가 인식된 이후의 제스처를 구동을 위한 구동 제스처로 적용함으로써, 인식 오류 확률을 감소시킬 수 있는 효과가 있다.
도 4는 본 발명의 일실시예에 따라 촬영된 영상으로부터 벡터 성분을 추출하고, 이동 벡터 성분과 지령 벡터 성분을 분리한 것을 도시한 도면이다.
도 4를 참조하면, 로봇(4)은 영상촬영부(10)에 의해 촬영된 영상을 배경 이미지와 객체 이미지로 분류하고, 사용자의 움직임으로부터 벡터 성분(x,y)을 추출한다.
그리고, 이때의 벡터 성분은 로봇(4)의 이동(a)에 따른 이동 벡터 성분(x)과 사용자의 구동 지령에 따른 지령 벡터 성분(y)으로 분리하게 됨을 보여준다.
도 5는 도 4에 따른 벡터 성분으로부터 사용자의 제스처를 인식하는 예이다.
도 5를 참조하면, 제어부(30)의 제스처 인식부(34)는 도 4의 이동 벡터 성분(x)과 지령 벡터 성분(y)의 벡터 합을 구한다.
그리고, 이동 벡터 성분(x)과 지령 벡터 성분(y)의 벡터 합(z)은 사용자의 팔의 동작으로부터 로봇이 실제로 인식한 사용자의 제스처가 된다.
여기서, 이동 벡터 성분(x)은 도 4에서의 로봇(4)의 이동(a)과 반대 방향이 되므로, 벡터 합(z)은 지령 벡터 성분(y)으로부터 로봇(4)의 이동(a)에 따른 벡터 성분의 차와 같게 됨을 알 수 있다.
따라서, 본 발명은 배경 이미지와 객체 이미지를 구분하고 각각의 움직임으로부터 벡터 성분을 추출해 구동을 위한 제스처들을 인식함으로써, 제스처 인식 확률을 높일 수 있는 환경을 제공한다.
도 6은 본 발명의 일실시예에 따라 제스처 인식을 통한 청소 로봇의 제어 과정을 도시한 순서도이다.
도 6을 참조하면, 로봇은 이동하면서 움직임을 감지해 사용자의 영상을 연속적으로 촬영한다(S20,S22).
그리고, 로봇은 이때 촬영된 영상으로부터 사용자의 제스처를 인식하며, 촬영된 영상이 특정 제스처인지를 판단한다(S24,S26).
또한, 로봇은 특정 제스처를 인식한 경우에 구동 제스처를 인식하고, 인식된 구동 제스처에 따라 구동된다(S28,S30).
상술한 바와 같이, 본 발명의 제스처 인식 기능을 구비한 청소 로봇은 사용자의 간단한 제스처를 인식해 로봇을 동작을 제어함으로써, 별도의 사용자 인식이 필요 없을 뿐만 아니라, 외부 연결 장치를 이용하기 위한 별도의 추가적인 설치가 필요 없어 직관적으로 로봇의 간단한 동작을 제어할 수 있게 된다.
이상에서, 본 발명에 따른 제스처 인식 기능을 구비한 청소 로봇 및 장치의 구성 및 작용을 상세한 설명과 도면에 따라 도시하였지만, 이는 실시예를 들어 설명한 것에 불과하며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능하다.
10: 영상촬영부 20: 저장부
30: 제어부 32: 벡터추출부
34: 제스처 인식부 36: 지령부
40: 구동부

Claims (9)

  1. 청소 로봇에 있어서,
    사용자의 영상을 연속적으로 촬영하는 영상촬영부;
    기설정된 특정 제스처를 저장하며, 구동 제스처를 인식하게 하는 인식 명령어를 저장하는 저장부; 및
    연속적으로 촬영된 상기 영상으로부터 사용자의 특정 제스처와 구동 제스처를 인식하되, 상기 구동 제스처를 연산자로 하여 로봇의 구동을 제어하는 제어부;를 포함하며,
    상기 제어부는 특정 제스처가 식별되면 인식 명령어에 의해 구동 제스처를 인식하는 것을 특징으로 하는 제스처 인식 기능을 구비한 청소 로봇.
  2. 제1항에 있어서,
    상기 제어부는
    연속적으로 촬영된 영상으로부터 벡터 성분을 추출하는 벡터추출부;
    추출된 상기 벡터 성분을 분석해 사용자의 제스처를 인식하고, 인식된 상기 제스처로부터 상기 특정 제스처나 구동 제스처를 식별하는 제스처 인식부; 및
    식별된 구동 제스처에 따른 구동 명령어를 도출해 로봇의 구동을 지령하는 지령부;를 포함하는 것을 특징으로 하는 제스처 인식 기능을 구비한 청소 로봇.
  3. 제2항에 있어서,
    상기 벡터추출부는
    연속적으로 촬영된 상기 영상을 광류분석과 피부색 검출(skin color detection) 방법에 의해 배경 이미지(background image)와 객체 이미지(object image)로 분류하고, 상기 이미지들에 의한 화면상의 흐름으로부터 벡터 성분들을 추출하되, 상기 배경 이미지에 의한 화면상의 흐름이 상기 영상촬영부의 이동 벡터 성분이 되고, 상기 객체 이미지에 의한 화면상의 흐름이 지령 벡터 성분이 되는 것을 특징으로 하는 제스처 인식 기능을 구비한 청소 로봇.
  4. 제3항에 있어서,
    상기 제스처 인식부는
    상기 이동 벡터 성분과 지령 벡터 성분의 합으로부터 사용자의 구동 제스처를 인식하는 것을 특징으로 하는 제스처 인식 기능을 구비한 청소 로봇.
  5. 청소 로봇 제어 방법에 있어서,
    사용자의 영상을 연속적으로 촬영하는 영상 촬영 단계;
    연속적으로 촬영된 상기 영상으로부터 사용자의 제스처를 인식하는 인식 단계; 및
    인식된 상기 제스처에 따라 로봇의 구동을 제어하는 제어 단계;를 포함하는 것을 특징으로 하는 제스처 인식을 통한 청소 로봇 제어 방법.
  6. 제5항에 있어서,
    상기 인식 단계는 기설정된 특정 제스처가 식별된 후에 구동 제스처를 인식하고, 상기 제어 단계에서 상기 구동 제스처에 따라 로봇의 구동을 제어하는 것을 특징으로 하는 제스처 인식을 통한 청소 로봇 제어 방법.
  7. 제5항 또는 제6항에 있어서,
    상기 인식 단계는
    연속적으로 촬영된 상기 영상으로부터 벡터 성분을 추출하는 벡터 추출 단계; 및
    추출된 상기 벡터 성분을 분석해 사용자의 제스처를 인식하는 제스처 인식 단계;를 포함하는 것을 특징으로 하는 제스처 인식을 통한 청소 로봇 제어 방법.
  8. 제7항에 있어서,
    상기 벡터 추출 단계는
    연속적으로 촬영된 상기 영상을 광류분석과 피부색 검출(skin color detection) 방법에 의해 배경 이미지(background image)와 객체 이미지(object image)로 분류하고, 상기 이미지들에 의한 화면상의 흐름으로부터 벡터 성분들을 추출하되, 상기 배경 이미지에 의한 화면상의 흐름이 상기 영상촬영부의 이동 벡터 성분이 되고, 상기 객체 이미지에 의한 화면상의 흐름이 지령 벡터 성분이 되는 것을 특징으로 하는 제스처 인식을 통한 청소 로봇 제어 방법.
  9. 제8항에 있어서,
    상기 제스처 인식 단계는
    상기 이동 벡터 성분과 지령 벡터 성분의 합으로부터 사용자의 구동 제스처를 인식하는 것을 특징으로 하는 제스처 인식을 통한 청소 로봇 제어 방법.
KR1020120089065A 2012-08-14 2012-08-14 제스처 인식 기능을 구비한 청소 로봇 및, 그 제어 방법 KR101385981B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120089065A KR101385981B1 (ko) 2012-08-14 2012-08-14 제스처 인식 기능을 구비한 청소 로봇 및, 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120089065A KR101385981B1 (ko) 2012-08-14 2012-08-14 제스처 인식 기능을 구비한 청소 로봇 및, 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20140022654A true KR20140022654A (ko) 2014-02-25
KR101385981B1 KR101385981B1 (ko) 2014-05-07

Family

ID=50268532

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120089065A KR101385981B1 (ko) 2012-08-14 2012-08-14 제스처 인식 기능을 구비한 청소 로봇 및, 그 제어 방법

Country Status (1)

Country Link
KR (1) KR101385981B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582711B2 (en) 2014-06-16 2017-02-28 Lg Electronics Inc. Robot cleaner, apparatus and method for recognizing gesture
CN107247466A (zh) * 2017-06-12 2017-10-13 中山长峰智能自动化装备研究院有限公司 一种机器人头部手势控制方法及系统
CN109199240A (zh) * 2018-07-24 2019-01-15 上海斐讯数据通信技术有限公司 一种基于手势控制的扫地机器人控制方法及系统
EP3524114A1 (de) * 2018-01-17 2019-08-14 BSH Hausgeräte GmbH Reinigungsroboter und verfahren zur steuerung eines reinigungsroboters
CN111376251A (zh) * 2018-12-28 2020-07-07 西安光启未来技术研究院 一种物流机器人

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160065574A (ko) 2014-12-01 2016-06-09 엘지전자 주식회사 로봇 청소기 및 그의 제어방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100769909B1 (ko) 2006-09-06 2007-10-24 엘지전자 주식회사 이동 로봇 및 그 동작방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582711B2 (en) 2014-06-16 2017-02-28 Lg Electronics Inc. Robot cleaner, apparatus and method for recognizing gesture
CN107247466A (zh) * 2017-06-12 2017-10-13 中山长峰智能自动化装备研究院有限公司 一种机器人头部手势控制方法及系统
EP3524114A1 (de) * 2018-01-17 2019-08-14 BSH Hausgeräte GmbH Reinigungsroboter und verfahren zur steuerung eines reinigungsroboters
CN109199240A (zh) * 2018-07-24 2019-01-15 上海斐讯数据通信技术有限公司 一种基于手势控制的扫地机器人控制方法及系统
CN109199240B (zh) * 2018-07-24 2023-10-20 深圳市云洁科技有限公司 一种基于手势控制的扫地机器人控制方法及系统
CN111376251A (zh) * 2018-12-28 2020-07-07 西安光启未来技术研究院 一种物流机器人

Also Published As

Publication number Publication date
KR101385981B1 (ko) 2014-05-07

Similar Documents

Publication Publication Date Title
KR101385981B1 (ko) 제스처 인식 기능을 구비한 청소 로봇 및, 그 제어 방법
US11317778B2 (en) Mobile robot
CN102193626B (zh) 手势识认装置、手势识认装置的控制方法
KR102465532B1 (ko) 객체 인식 방법 및 장치
WO2021185016A1 (en) Methods and systems for controlling device using hand gestures in multi-user environment
US10095033B2 (en) Multimodal interaction with near-to-eye display
KR100757500B1 (ko) 서비스 로봇과 사람 사이의 동작기반 인터페이스 시스템 및방법
CN102200830A (zh) 基于静态手势识别的非接触控制系统和控制方法
WO2021189173A1 (en) Methods and systems for hand gesture-based control of a device
Irie et al. Construction of an intelligent room based on gesture recognition: operation of electric appliances with hand gestures
CN111656313A (zh) 屏幕显示切换方法、显示设备、可移动平台
CN103780761A (zh) 一种控制红外设备的方法及装置
Lemley et al. Eye tracking in augmented spaces: A deep learning approach
JP2005242759A (ja) 行動・意図推定システム、行動・意図推定方法、行動・意図推定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN103135746A (zh) 基于静态姿势和动态姿势的非接触控制方法、系统和设备
WO2021184356A1 (en) Methods and systems for hand gesture-based control of a device
CN114333056A (zh) 一种手势控制的方法、系统、设备及存储介质
Chanhan et al. Gestures based wireless robotic control using image processing
Katkar et al. Hand Gesture Recognition And Device Control
CN112036213A (zh) 一种机器人的手势定位方法、机器人以及装置
KR20150005368A (ko) 카메라 모듈 및 그 제어 방법
CN219715857U (zh) 一种智能眼镜及智能控制系统
KR100504215B1 (ko) 지능형 비주얼 서보잉 시스템 및 방법
Manal et al. Catch Gesture: An Ultimate Action Recognition Technology Using IoT Device
WO2021112439A1 (ko) 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170410

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180410

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190410

Year of fee payment: 6