KR20120116278A - 로봇 청소기 및 이의 제어 방법 - Google Patents

로봇 청소기 및 이의 제어 방법 Download PDF

Info

Publication number
KR20120116278A
KR20120116278A KR1020110033924A KR20110033924A KR20120116278A KR 20120116278 A KR20120116278 A KR 20120116278A KR 1020110033924 A KR1020110033924 A KR 1020110033924A KR 20110033924 A KR20110033924 A KR 20110033924A KR 20120116278 A KR20120116278 A KR 20120116278A
Authority
KR
South Korea
Prior art keywords
user
information
robot cleaner
motion
unit
Prior art date
Application number
KR1020110033924A
Other languages
English (en)
Other versions
KR101842459B1 (ko
Inventor
장준호
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020110033924A priority Critical patent/KR101842459B1/ko
Publication of KR20120116278A publication Critical patent/KR20120116278A/ko
Application granted granted Critical
Publication of KR101842459B1 publication Critical patent/KR101842459B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2857User input or output elements for control, e.g. buttons, switches or displays
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/06Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Electric Vacuum Cleaner (AREA)
  • Image Analysis (AREA)
  • Manipulator (AREA)

Abstract

로봇 청소기 및 이의 제어 방법이 개시된다. 본 발명의 실시 예들은 로봇 청소기에 구비된 영상 검출 유닛을 이용하여 영상 정보를 검출하고, 영상 정보로부터 사용자 등의 제스처 등 사용자 동작 정보를 검출하며, 검출한 사용자 동작 정보를 근거로 동작한다. 본 발명의 실시 예들은 동작 명령의 개수에 비교적 제한이 없어 명령을 수행하는 단계를 간소화할 수 있고, 사용자 동작 정보와 이에 따른 제어 명령을 미리 패턴화, 데이터베이스화하여 이에 따라 로봇 청소기를 제어할 수 있다.

Description

로봇 청소기 및 이의 제어 방법{ROBOT CLEANER AND METHOD FOR CONTROLLING THE SAME}
본 발명은 사용자 등의 동작을 인식하여 이에 따라 구동되는 로봇 청소기와 이의 제어 방법에 관한 것이다.
일반적으로 로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다.
상기 가정용 로봇의 대표적인 예는 로봇 청소기로서, 일정 영역을 스스로 주행하면서 주변의 먼지 또는 이물질을 흡입하여 청소하는 가전기기의 일종이다. 이러한 로봇 청소기는 일반적으로 충전 가능한 배터리를 구비하고, 주행 중 장애물을 피할 수 있는 장애물 센서를 구비하여 스스로 주행하며 청소할 수 있다.
로봇 청소기를 제어하기 위한 방식으로는 사용자 인터페이스인 리모콘을 이용하는 방식, 로봇 청소기 본체에 구비된 버튼을 이용하는 방식 등이 있다.
본 발명의 실시 예들은 사용자 움직임에 따라 구동되는 로봇 청소기 및 이의 제어 방법을 제공함에 일 목적이 있다.
본 발명의 실시 예들은 영상 검출 유닛을 통해 검출한 주변 영상으로부터 사용자 동작을 추출하고, 추출한 동작에 따라 구동되는 로봇 청소기 및 이의 제어 방법을 제공함에 다른 목적이 있다.
상기 목적들을 달성하기 위한 일 실시 예에 따른 로봇 청소기는, 주변을 촬영하여 영상 정보를 획득하는 영상 검출 유닛과, 상기 영상 정보로부터 사용자 동작 정보를 추출하는 동작 추출 유닛과, 상기 사용자 동작 정보를 근거로 로봇 청소기의 동작을 제어하는 제어 유닛을 포함하여 구성된다.
상기 목적들을 달성하기 위한 일 실시 예에 따른 로봇 청소기의 제어 방법은, 주변을 촬영하여 영상 정보를 획득하는 단계와, 상기 영상 정보로부터 사용자 동작 정보를 추출하는 단계와, 상기 사용자 동작 정보와 미리 저장된 기준 동작 패턴을 비교하는 단계와, 상기 비교하는 단계의 비교 결과를 근거로 로봇 청소기의 동작을 제어하는 단계를 포함하여 구성된다.
본 발명의 실시 예들은 로봇 청소기에 구비된 영상 검출 유닛을 이용하여 영상 정보를 검출하고, 영상 정보로부터 사용자 등의 제스처 등 사용자 동작 정보를 검출하며, 검출한 사용자 동작 정보를 근거로 동작함으로써 리모콘이나 버튼 등을 이용하는 종래 기술에 따른 문제점 및 불편을 줄일 수 있다.
본 발명의 실시 예들은 동작 명령의 개수에 비교적 제한이 없어 명령을 수행하는 단계를 간소화할 수 있다.
본 발명의 실시 예들은 사용자 동작 정보와 이에 따른 제어 명령을 미리 패턴화, 데이터베이스화하여 저장하고, 사용자 동작 정보에 따른 제어 명령을 이용하여 로봇 청소기를 제어함으로써 로봇 청소기의 운전 효율을 높이고 사용자 편의성을 제고한다.
도 1은 본 발명에 따른 로봇 청소기의 일 예의 외관을 도시한 사시도;
도 2 및 도 3은 본 발명의 실시 예들에 따른 로봇 청소기의 구성을 개략적으로 도시한 블록도;
도 4 및 도 5는 본 발명의 실시 예들에 따른 로봇 청소기의 제어 방법을 개략적으로 도시한 흐름도;
도 6a 내지 도 6c는 본 발명의 실시 예들에 따라 사용자의 동작을 추출하는 동작을 설명하기 위한 도이다.
도 1 및 도 2를 참조하면, 일 실시 예에 따른 로봇 청소기는, 영상 검출 유닛(100)과, 동작 추출 유닛(200)과, 제어 유닛(300)을 포함하여 구성된다. 영상 검출 유닛(100)은 주변을 촬영하여 영상 정보를 획득한다. 동작 추출 유닛(200)은 상기 영상 검출 유닛이 획득한 영상 정보로부터 사용자 동작 정보를 추출한다. 제어 유닛(300)은 상기 동작 추출 유닛이 추출한 사용자 동작 정보를 근거로 로봇 청소기의 동작을 제어한다. 여기서, 상기 사용자 동작 정보는, 사용자의 제스처, 사용자 팔의 3차원 정보, 및 사용자 손의 위치 중 하나의 정보를 포함한다.
도 6a를 참조하면, 사용자의 제스처는 'v'자와 같은 체크 표시, 'x'자와 같은 취소 표시, 지그재그와 같은 삭제 표시 등을 의미한다. 사용자의 제스처 인식은 카메라로 사람 영상을 획득한 다음 의미 있는 제스처를 검출하고, 제스처를 계속 추적하면서 제스처의 의미를 분석하여 인식한다. 사용자의 제스처 인식은 고정된 카메라 시점에서 확연하게 구별 가능한 몇 가지 종류의 제스처를 인식 대상으로 한다. 사용자의 제스처를 인식하는 방식으로는 템플릿 매칭(template matching), 은닉 마르코프 모델(hidden Markov model), 신경망을 이용한 방식 등이 있다. 제스처 인식은 의미 있는 제스처의 추적을 통해 생긴 제스처의 궤적을 특징 정보로 하거나, 연속된 영상으로부터 제스처로 추출된 화소들을 모두 합하여 제스처 패턴을 구한 다음 통계적인 방법을 이용한다.
도 6b를 참조하면, 사용자 팔의 3차원 정보는 일정 위치(현재 위치)에서 다른 위치로의 이동, 청소 등을 지시할 수 있도록 형성된 정보이다. 즉, 사용자 팔의 3차원 정보는 사용자 팔에 대하여 복수의 영상 정보를 획득하여 추출된 3차원 정보이다. 사용자 팔의 3차원 정보를 인식하는 방법은 제스처 인식 방법에 한 차원의 데이터를 입력 추가하여 제스처를 인식한다. 인식 방법으로는 스테레오 블럽 추적기를 이용하여 3차원 손의 궤적 데이터를 입력하는 방법, 3차원 데이터를 이용하여 웨이브 제스처와 포인팅 제스처를 상태 기반 접근 방법에 의해 분할하는 방법 등이 있다.
도 6c를 참조하면, 사용자 손의 위치 정보는, 획득한 영상 정보를 둘 이상의 영역들로 구분하고(도 6c에서는 세 개의 영역들) 영역들 각각에 대하여 제어 명령을 매핑하여 생성된다. 상기 로봇 청소기는 상기 영역들 중 사용자 손이 위치한 위치에 따라 제어 명령을 실행한다. 예를 들어, 로봇 청소기는 연속된 영상 정보에서 사람의 피부색 정보를 이용하여 사람의 얼굴 영역과 손 영역을 추출한다. 사람의 얼굴 영역과 손 영역 이외의 다른 영역에서도 피부색에 해당되는 후보 영역들이 추출될 수 있다. 상기 로봇 청소기는 피부색 영역들에 대한 블럽 정보, 즉 블럽의 크기, 위치, 형태 등을 분석하여 사람의 얼굴과 손의 위치를 추출한다.
도 2를 참조하면, 상기 로봇 청소기는, 하나 이상의 기준 동작 패턴과 이에 따른 제어 명령을 미리 저장하는 저장 유닛(400)을 더 포함하여 구성된다. 여기서, 상기 제어 유닛(300)은 상기 사용자 동작 정보와 상기 기준 동작 패턴의 비교 결과를 근거로 상기 제어 명령을 실행한다. 여기서, 상기 기준 동작 패턴은 상기 사용자 동작 정보를 예상하여 미리 설정하고 저장한 패턴들이다. 상기 기준 동작 패턴은 사용자 동작 정보와 같이 사용자의 제스처, 사용자 팔의 3차원 정보, 및 사용자 손의 위치 등으로 구성된다. 또, 상기 저장 유닛은 상기 기준 동작 패턴에 대하여 각각 할당된 하나 이상의 제어 명령을 저장한다. 상기 제어 명령은, 예를 들어 청소 시작, 청소 중지, 청소 종료, 공간 확장, 청소 방식, 집중 청소, 충전, 예약 등을 의미한다.
상기 저장 유닛(400)은 기준 동작 패턴들과 이들에 따른 제어 명령들 이외에 영상 정보, 장애물 정보, 위치 정보, 청소 영역, 청소 지도 등을 더 저장할 수 있다. 상기 저장 유닛(400)은 비휘발성 메모리를 주로 사용한다. 여기서, 상기 비휘발성 메모리(Non-Volatile Memory, NVM, NVRAM)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 저장 장치이다. 비휘발성 메모리는 롬(ROM), 플래시 메모리(Flash Memory), 마그네틱 컴퓨터 기억 장치(예를 들어, 하드 디스크, 디스켓 드라이브, 마그네틱 테이프), 광디스크 드라이브, 마그네틱 RAM, PRAM 등을 포함한다.
도 3을 참조하면, 다른 실시 예에 따른 로봇 청소기는, 영상 검출 유닛(100)과, 동작 추출 유닛(200)과, 제어 유닛(300)과, 저장 유닛(400)과, 상기 사용자 동작 정보를 화면에 출력하는 출력 유닛(500)을 포함하여 구성된다. 상기 출력 유닛(500)은 상기 기준 동작 패턴 중 상기 사용자 동작 정보와 일정 값 이상의 유사도를 갖는 기준 동작 패턴을 상기 화면에 출력한다. 상기 제어 유닛(300)은 출력 유닛(500)으로 하여금 영상 정보로부터 추출한 사용자 동작 정보를 화면에 그대로 디스플레이하도록 한다. 또, 상기 제어 유닛(300)은, 사용자 동작 정보를 저장 유닛(400)에 저장된 기준 동작 패턴들과 비교한다. 제어 유닛은 비교 결과에 따라 미리 설정한 유사도 이상의 기준 동작 패턴을 읽어와서 상기 출력 유닛(500)이 화면에 디스플레이하도록 한다. 이 경우, 사용자 등이 새로운 동작을 하면, 예를 들어 체크 표시, 누름 표시 등, 해당 기준 동작 패턴이 선택되고, 로봇 청소기는 선택된 기준 동작 패턴에 따른 제어 명령을 수행한다.
상기 출력 유닛(500)은 사용자 동작 정보나 기준 동작 패턴 등의 출력 외에 장애물 정보, 위치 정보, 청소 영역, 청소 지도 등을 화면에 디스플레이할 수 있다. 또 상기 출력 유닛(500)은 로봇 청소기를 구성하는 각 유닛들의 현재 상태와, 현재 청소 상태 등의 상태 정보들을 더 표시할 수 있다. 상기 출력 유닛(500)은 발광다이오드(Light Emitting Diode; LED), 액정표시장치(Liquid Crystal Disply; LCD), 플라즈마표시패널(Plasma Display Panel), 유기발광다이오드(Organic Light Emitting Diode; OLED) 중 어느 하나의 소자로 형성될 수 있다.
또, 도 3을 참조하면, 상기 로봇 청소기는, 경고 신호에 따라 외부에 경고음을 출력하는 음성 출력 유닛(510)을 더 포함한다. 여기서, 상기 제어 유닛(300)은 상기 사용자 동작 정보와 일정 값 이상의 유사도를 갖는 기준 동작 패턴이 존재하지 아니하면 상기 경고 신호를 발생한다. 상기 음성 출력 유닛(510)은 비퍼(beeper), 스피커 등의 소리를 출력하는 수단을 포함한다. 음성 출력 유닛은 경고음을 출력하거나, 음성 패턴을 생성하는 수단을 구비하여 "다시 입력해 주십시오", "명령이 명확하지 않습니다" 등의 음성을 출력할 수 있다.
상기 로봇 청소기는 청소 영역에서 주변의 장애물을 검출하는 장애물 검출 유닛(900)을 더 포함한다. 장애물 검출 유닛(900)은, 청소 영역 내에서 이동 중이거나, 청소 중에 로봇 청소기 주변의 장애물을 검출한다. 장애물 검출 유닛은 상기 장애물의 유무, 또는 위치, 크기 등의 장애물 정보를 제어 유닛(300)에 출력한다. 장애물 검출 유닛(900)으로는 적외선 센서, 초음파 센서, RF 센서(Radio Frequency Sensor)나 범퍼(Bumper) 등을 사용할 수 있다. 제어 유닛(300)은, 장애물 검출 유닛(900)으로부터 출력된 장애물 정보를 근거로 청소 지도를 생성할 수 있다.
상기 로봇 청소기는, 청소 영역 내에서 로봇 청소기의 위치를 인식하는 위치 인식 유닛(미도시)을 더 포함할 수 있다. 위치 인식 유닛으로는 가속도 센서, 인코더, 자이로 센서, 레이저 스캐너 등의 센서를 사용한다. 가속도 센서는 로봇 청소기의 이동에 따른 속도 및 위치를 인식한다. 인코더는 로봇 청소기의 바퀴를 구동하는 휠모터와 연결되어 속도를 검출한다. 자이로 센서는 로봇 청소기의 회전 속도를 검출한다. 여기서, 제어 유닛(300)은 장애물 정보와 함께 로봇 청소기의 위치를 이용하여 청소 지도를 작성할 수 있다.
상기 영상 검출 유닛(100)은 하나의 위치 인식 유닛으로 사용될 수 있다. 상기 영상 검출 유닛(100), 도 1의 카메라,은 상방이나 전방을 향하도록 설치되어 로봇 청소기 주변을 촬영한다. 상기 로봇 청소기가 복수의 카메라를 구비하는 경우, 카메라들은 일정 거리 또는 일정 각도로 로봇 청소기의 상부나 옆면에 형성될 수 있다. 상기 로봇 청소기는, 카메라에 연결되어 피사체의 초점을 맞추는 렌즈와, 상기 카메라를 조절하는 조절부와, 상기 렌즈를 조절하는 렌즈 조절부를 더 포함할 수 있다. 상기 렌즈는 소정의 위치에서도 주변의 모든 영역, 예를 들어 상기 카메라가 상방일 때 천장의 모든 영역이 촬영될 수 있도록 화각이 넓은 렌즈를 사용한다. 예를 들어 화각이 160도 이상인 렌즈를 포함한다.
도 3을 참조하면, 실시 예들에 따른 로봇 청소기는, 입력 유닛(600), 구동 유닛(700), 전원 유닛(800)을 더 포함하여 구성된다.
사용자 등은 입력 유닛(600)을 통해 로봇 청소기에 직접 제어 명령을 입력한다. 또, 사용자 등은 입력 유닛을 통해 상기 저장 유닛(400)에 저장된 정보들 중 하나 이상의 정보를 출력하도록 하는 명령을 입력할 수 있다. 입력 유닛(600)은 확인버튼, 설정버튼 등의 입력 버튼을 구비한다. 확인버튼은 감지 정보, 장애물 정보, 위치 정보, 청소 영역이나 청소 지도를 확인하는 명령을 입력한다. 설정버튼은 상기 정보들을 설정하는 명령을 입력한다. 입력 유닛은 상기 정보들을 재설정하는 명령을 입력하는 재설정버튼, 삭제버튼, 청소시작버튼, 정지버튼 등을 구비할 수 있다. 상기 입력 유닛(600)과 출력 유닛(500)은 입력 또는 출력이 모두 가능한 터치스크린의 형태를 가질 수 있다.
구동 유닛(700)은 복수의 주바퀴와 하나 이상의 보조바퀴를 포함한 다수의 바퀴와 연결된다. 구동 유닛은 상기 바퀴들을 회전시키는 소정의 휠모터(Wheel Motor)를 구비하여, 상기 휠모터를 구동함으로써 로봇 청소기를 이동시킨다.
전원 유닛(800)은, 충전 가능한 전원 공급 수단을 구비하여 로봇 청소기 내로 전원을 공급한다. 상기 전원 유닛(800)은 로봇 청소기가 이동하고, 청소를 수행하는데 따른 동작 전원을 공급하며, 전원 잔량이 부족하면 충전대로 이동하여 충전 전류를 공급받아 충전된다.
상기 로봇 청소기는, 청소 유닛(미도시)을 더 포함할 수 있는데, 상기 청소 유닛은 공기를 흡입하는 소정의 흡입 모터와, 먼지를 응집하는 수단을 구비하고, 주변의 먼지 또는 이물질을 흡입한다.
도 4를 참조하면, 일 실시 예에 따른 로봇 청소기의 제어 방법은, 주변을 촬영하여 영상 정보를 획득하는 단계(S100)와, 상기 영상 정보로부터 사용자 동작 정보를 추출하는 단계(S200)와, 상기 사용자 동작 정보와 미리 저장된 기준 동작 패턴을 비교하는 단계(S300)와, 상기 비교하는 단계의 비교 결과를 근거로 로봇 청소기의 동작을 제어하는 단계(S400)를 포함하여 구성된다. 여기서, 상기 사용자 동작 정보는, 사용자의 제스처, 사용자 팔의 3차원 정보, 및 사용자 손의 위치 중 하나의 정보를 포함한다. 이하 장치의 구성은 도 1 내지 도 3을 참조한다.
상기 로봇 청소기는, 상방 또는 전방 카메라를 이용하여 청소 영역을 촬영하는데, 이때 사용자 등이 특정 움직임을 취하면 이를 촬영하여 영상 정보를 획득하고(S100), 사용자 동작 정보를 추출한다(S200). 이때, 로봇 청소기는 사용자의 움직임 중에서 미리 설정한 패턴을 가진 동작을 추출하게 된다. 예를 들어, 로봇 청소기는 도 6a 내지 도 6c에 도시한 동작들을 기준 동작 패턴으로 하여 영상 정보로부터 추출한 동작과 비교하고(S300), 비교 결과를 근거로 하여 제어 명령을 수행한다(S400).
도 6a를 참조하면, 사용자의 제스처는 'v'자와 같은 체크 표시, 'x'자와 같은 취소 표시, 지그재그와 같은 삭제 표시 등을 의미한다. 사용자의 제스처 인식은 카메라로 사람 영상을 획득한 다음 의미 있는 제스처를 검출하고, 제스처를 계속 추적하면서 제스처의 의미를 분석하여 인식한다. 사용자의 제스처 인식은 고정된 카메라 시점에서 확연하게 구별 가능한 몇 가지 종류의 제스처를 인식 대상으로 한다. 사용자의 제스처를 인식하는 방식으로는 템플릿 매칭(template matching), 은닉 마르코프 모델(hidden Markov model), 신경망을 이용한 방식 등이 있다. 제스처 인식은 의미 있는 제스처의 추적을 통해 생긴 제스처의 궤적을 특징 정보로 하거나, 연속된 영상으로부터 제스처로 추출된 화소들을 모두 합하여 제스처 패턴을 구한 다음 통계적인 방법을 이용한다.
도 6b를 참조하면, 사용자 팔의 3차원 정보는 일정 위치(현재 위치)에서 다른 위치로의 이동, 청소 등을 지시할 수 있도록 형성된 정보이다. 즉, 사용자 팔의 3차원 정보는 사용자 팔에 대하여 복수의 영상 정보를 획득하여 추출된 3차원 정보이다. 사용자 팔의 3차원 정보를 인식하는 방법은 제스처 인식 방법에 한 차원의 데이터를 입력 추가하여 제스처를 인식한다. 인식 방법으로는 스테레오 블럽 추적기를 이용하여 3차원 손의 궤적 데이터를 입력하는 방법, 3차원 데이터를 이용하여 웨이브 제스처와 포인팅 제스처를 상태 기반 접근 방법에 의해 분할하는 방법 등이 있다.
도 6c를 참조하면, 사용자 손의 위치 정보는, 획득한 영상 정보를 둘 이상의 영역들로 구분하고(도 6c에서는 세 개의 영역들) 영역들 각각에 대하여 제어 명령을 매핑하여 생성된다. 상기 로봇 청소기는 상기 영역들 중 사용자 손이 위치한 위치에 따라 제어 명령을 실행한다. 예를 들어, 로봇 청소기는 연속된 영상 정보에서 사람의 피부색 정보를 이용하여 사람의 얼굴 영역과 손 영역을 추출한다. 사람의 얼굴 영역과 손 영역 이외의 다른 영역에서도 피부색에 해당되는 후보 영역들이 추출될 수 있다. 상기 로봇 청소기는 피부색 영역들에 대한 블럽 정보, 즉 블럽의 크기, 위치, 형태 등을 분석하여 사람의 얼굴과 손의 위치를 추출한다.
도 5를 참조하면, 상기 제어 방법은, 상기 기준 동작 패턴과 이에 따른 제어 명령을 미리 저장하는 단계(S10)를 더 포함하여 구성된다. 상기 로봇 청소기는 상기 사용자 동작 정보와 상기 기준 동작 패턴이 일정 값 이상의 유사도를 갖는지 판단한다(S310). 상기 로봇 청소기는, 상기 사용자 동작 정보와 상기 기준 동작 패턴의 비교 결과를 근거로 상기 제어 명령을 실행한다. 여기서, 상기 기준 동작 패턴은 상기 사용자 동작 정보를 예상하여 미리 설정하고 저장한 패턴들이다. 상기 기준 동작 패턴은 사용자 동작 정보와 같이 사용자의 제스처, 사용자 팔의 3차원 정보, 및 사용자 손의 위치 등으로 구성된다. 또, 상기 로봇 청소기는 상기 기준 동작 패턴에 대하여 각각 할당된 하나 이상의 제어 명령을 저장한다. 상기 제어 명령은, 예를 들어 청소 시작, 청소 중지, 청소 종료, 공간 확장, 청소 방식, 집중 청소, 충전, 예약 등을 의미한다.
도 5를 참조하면, 상기 제어 방법은, 상기 비교하는 단계(S300, S310)의 비교 결과, 상기 사용자 동작 정보와 상기 일정 값 이상의 유사도를 갖는 기준 동작 패턴이 존재하면, 해당 기준 동작 패턴을 출력하는 단계(S610)를 더 포함하여 구성된다. 도 5를 참조하면, 상기 제어 방법은, 상기 사용자 동작 정보를 화면에 출력하는 단계(S500)를 더 포함하여 구성된다. 상기 로봇 청소기는 영상 정보로부터 추출한 사용자 동작 정보를 화면에 그대로 디스플레이한다(S500). 또, 상기 로봇 청소기는 사용자 동작 정보를 미리 저장한 기준 동작 패턴들과 비교하여 미리 설정한 유사도 이상의 기준 동작 패턴을 읽어와서 화면에 디스플레이한다(S610). 이 경우, 사용자 등이 새로운 동작을 하면, 예를 들어 체크 표시, 누름 표시 등, 해당 기준 동작 패턴이 선택되고, 로봇 청소기는 선택된 기준 동작 패턴에 따른 제어 명령을 수행한다.
또, 도 5를 참조하면, 상기 제어 방법은, 상기 비교하는 단계(S300, S310)의 비교 결과, 상기 사용자 동작 정보와 상기 일정 값 이상의 유사도를 갖는 기준 동작 패턴이 존재하지 아니하면, 경고음을 발생하는 단계(S620)를 더 포함하여 구성된다. 상기 로봇 청소기는 비퍼(beeper), 스피커 등의 소리를 출력하는 수단을 구비하여 경고음을 출력하거나, 음성 패턴을 생성하는 수단을 구비하여 "다시 입력해 주십시오", "명령이 명확하지 않습니다" 등의 음성을 출력한다(S620).
이상 설명한 바와 같이, 본 발명의 실시 예들에 따른 로봇 청소기 및 이의 제어 방법은, 상방 또는 전방 카메라를 이용하여 영상 정보를 검출하고, 영상 정보로부터 사용자 등의 제스처 등 동작을 검출하며, 검출된 동작을 근거로 로봇 청소기를 제어한다. 본 발명은 동작 명령의 개수에 비교적 제한이 없어 명령을 수행하는 단계를 간소화할 수 있고, 이에 따라 로봇 청소기의 운전 효율을 높이고 사용자 편의성을 제고한다.
100: 영상 검출 유닛 200: 동작 추출 유닛
300: 제어 유닛 400: 저장 유닛
500: 출력 유닛 510: 음성 출력 유닛

Claims (14)

  1. 주변을 촬영하여 영상 정보를 획득하는 영상 검출 유닛;
    상기 영상 정보로부터 사용자 동작 정보를 추출하는 동작 추출 유닛; 및
    상기 사용자 동작 정보를 근거로 로봇 청소기의 동작을 제어하는 제어 유닛;을 포함하는 로봇 청소기.
  2. 제1 항에 있어서,
    하나 이상의 기준 동작 패턴과 이에 따른 제어 명령을 미리 저장하는 저장 유닛;을 더 포함하는 로봇 청소기.
  3. 제2 항에 있어서, 상기 제어 유닛은,
    상기 사용자 동작 정보와 상기 기준 동작 패턴의 비교 결과를 근거로 상기 제어 명령을 실행하는 것을 특징으로 하는 로봇 청소기.
  4. 제1 항 내지 제3 항 중 어느 한 항에 있어서,
    상기 사용자 동작 정보를 화면에 출력하는 출력 유닛;을 더 포함하는 로봇 청소기.
  5. 제4 항에 있어서, 상기 출력 유닛은,
    상기 기준 동작 패턴 중 상기 사용자 동작 정보와 일정 값 이상의 유사도를 갖는 기준 동작 패턴을 상기 화면에 출력하는 것을 특징으로 하는 로봇 청소기.
  6. 제2 항에 있어서,
    경고 신호에 따라 외부에 경고음을 출력하는 음성 출력 유닛;을 더 포함하는 로봇 청소기.
  7. 제6 항에 있어서, 상기 제어 유닛은,
    상기 사용자 동작 정보와 일정 값 이상의 유사도를 갖는 기준 동작 패턴이 존재하지 아니하면 상기 경고 신호를 발생하는 것을 특징으로 하는 로봇 청소기.
  8. 제1 항에 있어서,
    상기 사용자 동작 정보는, 사용자의 제스처, 사용자 팔의 3차원 정보, 및 사용자 손의 위치 중 하나의 정보인 것을 특징으로 하는 로봇 청소기.
  9. 주변을 촬영하여 영상 정보를 획득하는 단계;
    상기 영상 정보로부터 사용자 동작 정보를 추출하는 단계;
    상기 사용자 동작 정보와 미리 저장된 기준 동작 패턴을 비교하는 단계; 및
    상기 비교하는 단계의 비교 결과를 근거로 로봇 청소기의 동작을 제어하는 단계;를 포함하는 로봇 청소기의 제어 방법.
  10. 제9 항에 있어서,
    상기 기준 동작 패턴과 이에 따른 제어 명령을 미리 저장하는 단계;를 더 포함하는 로봇 청소기의 제어 방법.
  11. 제10 항에 있어서, 상기 비교하는 단계는,
    상기 사용자 동작 정보와 상기 기준 동작 패턴이 일정 값 이상의 유사도를 갖는지 판단하는 단계인 것을 특징으로 하는 로봇 청소기의 제어 방법.
  12. 제11 항에 있어서,
    상기 비교하는 단계의 비교 결과, 상기 사용자 동작 정보와 상기 일정 값 이상의 유사도를 갖는 기준 동작 패턴이 존재하면, 해당 기준 동작 패턴을 출력하는 단계;를 더 포함하는 로봇 청소기의 제어 방법.
  13. 제11 항에 있어서,
    상기 비교하는 단계의 비교 결과, 상기 사용자 동작 정보와 상기 일정 값 이상의 유사도를 갖는 기준 동작 패턴이 존재하지 아니하면, 경고음을 발생하는 단계;를 더 포함하는 로봇 청소기의 제어 방법.
  14. 제9 항 내지 제13 항 중 어느 한 항에 있어서,
    상기 사용자 동작 정보를 화면에 출력하는 단계;를 더 포함하는 로봇 청소기의 제어 방법.
KR1020110033924A 2011-04-12 2011-04-12 로봇 청소기 및 이의 제어 방법 KR101842459B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110033924A KR101842459B1 (ko) 2011-04-12 2011-04-12 로봇 청소기 및 이의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110033924A KR101842459B1 (ko) 2011-04-12 2011-04-12 로봇 청소기 및 이의 제어 방법

Publications (2)

Publication Number Publication Date
KR20120116278A true KR20120116278A (ko) 2012-10-22
KR101842459B1 KR101842459B1 (ko) 2018-05-14

Family

ID=47284686

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110033924A KR101842459B1 (ko) 2011-04-12 2011-04-12 로봇 청소기 및 이의 제어 방법

Country Status (1)

Country Link
KR (1) KR101842459B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015008874A1 (ko) * 2013-07-15 2015-01-22 엘지전자 주식회사 로봇 청소기 및 그 로봇 청소기의 3d 센서 자가 교정 방법
WO2015016580A1 (en) * 2013-07-29 2015-02-05 Samsung Electronics Co., Ltd. Auto-cleaning system, cleaning robot and method of controlling the cleaning robot
EP2957206A1 (en) * 2014-06-16 2015-12-23 LG Electronics Inc. Robot cleaner and method for controlling the same
KR20160008780A (ko) * 2014-07-15 2016-01-25 엘지전자 주식회사 로봇 청소기의 정보표시장치
WO2017218084A1 (en) * 2016-06-17 2017-12-21 Intel Corporation Vision-based robot control system
US9977954B2 (en) 2014-12-01 2018-05-22 Lg Electronics Inc. Robot cleaner and method for controlling a robot cleaner
EP3524114A1 (de) * 2018-01-17 2019-08-14 BSH Hausgeräte GmbH Reinigungsroboter und verfahren zur steuerung eines reinigungsroboters
EP3498143A3 (en) * 2013-11-12 2019-10-23 iRobot Corporation Autonomous surface cleaning robot
US10513062B2 (en) 2016-03-10 2019-12-24 Han Sun Oh Press-molding apparatus for cosmetic patch
US11272822B2 (en) 2013-11-12 2022-03-15 Irobot Corporation Mobile floor cleaning robot with pad holder

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001188555A (ja) 1999-12-28 2001-07-10 Sony Corp 情報処理装置および方法、並びに記録媒体
US6804396B2 (en) 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
EP1408443B1 (en) 2002-10-07 2006-10-18 Sony France S.A. Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015008874A1 (ko) * 2013-07-15 2015-01-22 엘지전자 주식회사 로봇 청소기 및 그 로봇 청소기의 3d 센서 자가 교정 방법
US10307912B2 (en) 2013-07-15 2019-06-04 Lg Electronics Inc. Robot cleaner and method for auto-correcting 3D sensor of the robot cleaner
WO2015016580A1 (en) * 2013-07-29 2015-02-05 Samsung Electronics Co., Ltd. Auto-cleaning system, cleaning robot and method of controlling the cleaning robot
US9597804B2 (en) 2013-07-29 2017-03-21 Samsung Electronics Co., Ltd. Auto-cleaning system, cleaning robot and method of controlling the cleaning robot
RU2620236C1 (ru) * 2013-07-29 2017-05-23 Самсунг Электроникс Ко., Лтд. Система автоматической уборки, робот-уборщик и способ управления роботом-уборщиком
US10265858B2 (en) 2013-07-29 2019-04-23 Samsung Electronics Co., Ltd. Auto-cleaning system, cleaning robot and method of controlling the cleaning robot
EP3498143A3 (en) * 2013-11-12 2019-10-23 iRobot Corporation Autonomous surface cleaning robot
US11272822B2 (en) 2013-11-12 2022-03-15 Irobot Corporation Mobile floor cleaning robot with pad holder
EP2957206A1 (en) * 2014-06-16 2015-12-23 LG Electronics Inc. Robot cleaner and method for controlling the same
US9582711B2 (en) 2014-06-16 2017-02-28 Lg Electronics Inc. Robot cleaner, apparatus and method for recognizing gesture
KR20160008780A (ko) * 2014-07-15 2016-01-25 엘지전자 주식회사 로봇 청소기의 정보표시장치
US9977954B2 (en) 2014-12-01 2018-05-22 Lg Electronics Inc. Robot cleaner and method for controlling a robot cleaner
US10513062B2 (en) 2016-03-10 2019-12-24 Han Sun Oh Press-molding apparatus for cosmetic patch
US10377042B2 (en) 2016-06-17 2019-08-13 Intel Corporation Vision-based robot control system
WO2017218084A1 (en) * 2016-06-17 2017-12-21 Intel Corporation Vision-based robot control system
EP3524114A1 (de) * 2018-01-17 2019-08-14 BSH Hausgeräte GmbH Reinigungsroboter und verfahren zur steuerung eines reinigungsroboters

Also Published As

Publication number Publication date
KR101842459B1 (ko) 2018-05-14

Similar Documents

Publication Publication Date Title
KR101842459B1 (ko) 로봇 청소기 및 이의 제어 방법
KR101850386B1 (ko) 로봇 청소기 및 이의 제어 방법
TWI687784B (zh) 移動式機器人及其控制方法
KR101813922B1 (ko) 로봇 청소기 및 이의 제어 방법
KR101677634B1 (ko) 로봇 청소기 및 이의 제어 방법
KR101855831B1 (ko) 청소 장치, 및 복수의 로봇 청소기를 이용한 협동 청소 방법
KR101949277B1 (ko) 이동 로봇
KR102024092B1 (ko) 이동 로봇 시스템 및 그 제어방법
KR101649645B1 (ko) 로봇 청소기 및 이의 제어 방법
KR101954144B1 (ko) 로봇 청소기와, 이의 제어 방법, 및 이를 포함한 로봇 청소 시스템
US11537135B2 (en) Moving robot and controlling method for the moving robot
KR101976462B1 (ko) 로봇청소기 및 그 제어방법
KR101331952B1 (ko) 로봇 청소기 및 이의 제어 방법
KR20180098891A (ko) 이동 로봇 및 그 제어방법
KR20130031088A (ko) 이동 로봇 및 이의 제어 방법
KR20120044768A (ko) 로봇 청소기 및 이의 제어 방법
KR101832952B1 (ko) 로봇 청소기 및 이의 제어 방법
KR101951414B1 (ko) 로봇 청소기 및 이의 제어 방법
KR20120021064A (ko) 이동 로봇 및 이의 제어 방법
KR101303161B1 (ko) 이동 로봇 및 이의 제어 방법
KR20190119234A (ko) 이동 로봇 및 그 제어방법
KR20190103511A (ko) 이동 로봇 및 그 제어방법
KR20200100019A (ko) 이동 로봇 및 그 제어방법
KR101943359B1 (ko) 로봇 청소기 및 이의 제어 방법
KR20110085500A (ko) 로봇 청소기 및 이의 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant