KR102124509B1 - 청소 로봇 및 그 제어 방법 - Google Patents

청소 로봇 및 그 제어 방법 Download PDF

Info

Publication number
KR102124509B1
KR102124509B1 KR1020130067587A KR20130067587A KR102124509B1 KR 102124509 B1 KR102124509 B1 KR 102124509B1 KR 1020130067587 A KR1020130067587 A KR 1020130067587A KR 20130067587 A KR20130067587 A KR 20130067587A KR 102124509 B1 KR102124509 B1 KR 102124509B1
Authority
KR
South Korea
Prior art keywords
hand
cleaning
image
main body
cleaning robot
Prior art date
Application number
KR1020130067587A
Other languages
English (en)
Other versions
KR20140145328A (ko
Inventor
이동훈
박흠용
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130067587A priority Critical patent/KR102124509B1/ko
Priority to US14/282,482 priority patent/US9285804B2/en
Priority to EP14171609.2A priority patent/EP2837986B1/en
Priority to PCT/KR2014/005101 priority patent/WO2014200252A1/en
Priority to AU2014278987A priority patent/AU2014278987B2/en
Publication of KR20140145328A publication Critical patent/KR20140145328A/ko
Priority to IL242596A priority patent/IL242596B/en
Priority to US15/014,843 priority patent/US9658616B2/en
Priority to US15/491,422 priority patent/US10254756B2/en
Application granted granted Critical
Publication of KR102124509B1 publication Critical patent/KR102124509B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Electric Vacuum Cleaner (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 본체; 본체를 이동시키는 이동 어셈블리; 본체의 하부에 마련되어 바닥 면의 이물질을 수집하는 청소 툴; 본체 주변의 영상을 수집하는 영상부; 수집된 영상을 영상 처리하여 핸드 모션을 인식하고, 핸드 모션에 대응하는 제어 명령을 확인하고, 제어 명령에 기초하여 본체의 이동 방향 및 이동 거리를 계획하고, 계획된 이동 정보에 기초하여 이동 어셈블리의 동작을 제어하고, 청소 툴의 동작을 제어하는 제어부를 포함한다.
본 발명은 사용자가 직접 청소 로봇의 이동을 제어함으로써 청소 로봇과 인간과의 상호 작용성(Interactivity)을 향상시킬 수 있고, 사용자의 노동력 감소와 편의성을 증대시킬 수 있다.

Description

청소 로봇 및 그 제어 방법 {Cleaning robot and method for controlling the same}
본 발명은 노동력 감소, 편의성 증대 및 청소 효율을 향상시키기 위한 청소 로봇 및 그 제어 방법에 관한 것이다.
1990년대 이후로 산업용 로봇 시장이 점차 포화되면서 인간과 같이 판단하고 행동하는 지능형 서비스용 로봇 시장이 빠르게 성장하고 있다.
여기서 지능형 서비스용 로봇은, 사람에게 정보를 전달하고 감성적인 접근 등이 가능한 교육용 로봇, 개인용 로봇, 오락용 로봇 등과 같은 휴먼 서비스로봇(Human Service Robot)과, 가정에서 사람을 대신하여 업무를 수행하는 청소 로봇, 경비 로봇, 애완동물 관리 로봇 등과 같은 홈 서비스 로봇(Home Service Robot)을 포함한다.
이 중 청소 로봇은 사용자의 조작 없이도 청소하고자 하는 영역을 스스로 주행하면서 바닥으로부터 먼지 등의 이물질을 흡입함으로써, 청소 영역을 자동으로 청소하는 장치로, 가사 노동 시간을 줄여 준다.
청소 로봇은 청소 도구로서, 본체의 하부에 쌓인 먼지 등을 제거하는 메인 청소 툴과, 본체의 양 측면에 형성되되 본체의 내부에서 외부로 돌출 형성되고 장애물이 존재하거나 벽면 인접부 등 메인 청소 툴에 의해 청소가 잘 되지 않는 부분을 청소하는 보조 청소 툴을 포함한다.
청소 로봇은 미리 설정된 주행 패턴대로 주행하면서 메인 청소 툴과 보조 청소 툴을 이용하여 청소 작업을 반복적으로 수행하는데, 이때 각종 센서 등을 통해 청소 영역 내에 위치하는 장애물 또는 벽을 감지하고 감지 결과에 기초하여 경로 이동 및 청소 동작을 제어하면서 청소를 수행한다.
이러한 청소 로봇은 청소 능력 부족, 사용자 의도 파악 불가 및 조작의 어려움 등을 문제점으로 갖고 있다. 이로 인해 진공 청소기들을 선호하는 사용자들이 아직도 많은 실정이다.
하지만 일반 진공 청소기의 경우, 사용자의 힘으로 청소기를 이동시켜야 하기 때문에 사용자의 많은 노동력을 필요로 하는 문제가 있다. 또한 진공 청소기의 경우 흡입 능력이 커질수록 본체의 크기와 무게가 증가되며, 이로 인해 청소 시 사용자의 노동력이 증가하는 문제가 있다.
일 측면은 손을 추종하여 이동하는 청소 로봇 및 그 제어 방법을 제공한다.
다른 측면은 주변 영상에서 핸드를 인식하고, 인식된 핸드의 위치 및 형상에 기초하여 이동 및 청소 툴의 동작을 제어하는 청소 로봇 및 그 제어 방법을 제공한다.
또 다른 측면은 주변 영상에서 마커를 인식하고 인식된 마커의 위치에 기초하여 이동하는 청소 로봇 및 그 제어 방법을 제공한다.
또 다른 측면은 핸드의 형상에 기초하여 위치 간 이동 및 가상 벽을 설정하는 청소 로봇 및 그 제어 방법을 제공한다.
일 측면에 따른 청소 로봇은, 본체; 본체를 이동시키는 이동 어셈블리; 본체의 하부에 마련되어 바닥 면의 이물질을 수집하는 청소 툴; 본체 주변의 영상을 수집하는 영상부; 수집된 영상을 영상 처리하여 핸드 모션을 인식하고, 핸드 모션에 대응하는 제어 명령을 확인하고, 제어 명령에 기초하여 본체의 이동 방향 및 이동 거리를 계획하고, 계획된 이동 정보에 기초하여 이동 어셈블리의 동작을 제어하고, 청소 툴의 동작을 제어하는 제어부를 포함한다.
다른 측면에 따른 청소 로봇은, 본체; 본체를 이동시키는 이동 어셈블리; 본체의 하부에 마련되어 바닥 면의 이물질을 수집하는 청소 툴; 본체 주변의 영상을 수집하는 영상부; 수집된 영상에서 마커를 인식하고, 마커의 위치 변화를 확인하고 확인된 위치 변화에 기초하여 본체의 이동 방향 및 이동 거리를 계획하고, 계획된 이동 정보에 기초하여 이동 어셈블리의 동작을 제어하고, 청소 툴의 동작을 제어하는 제어부를 포함한다.
또 다른 측면에 따른 청소 로봇은, 본체; 본체를 이동시키는 이동 어셈블리; 본체의 하부에 마련되어 바닥 면의 이물질을 수집하는 청소 툴; 외부의 영상 기기와 통신을 수행하는 통신부; 통신부에 수신된 영상을 영상 처리하여 핸드 모션을 인식하고, 핸드 모션에 대응하는 제어 명령을 확인하고, 제어 명령에 기초하여 본체의 이동 방향 및 이동 거리를 계획하고, 계획된 이동 정보에 기초하여 이동 어셈블리의 동작을 제어하고, 청소 툴의 동작을 제어하는 제어부를 포함한다.
또 다른 측면에 따른 청소 로봇은, 본체; 본체를 이동시키는 이동 어셈블리; 본체 주변의 영상을 수집하는 영상부; 수집된 영상에서 핸드 영상을 인식하고, 핸드 영상의 움직임을 추종하기 위한 이동 거리 및 이동 방향을 계획하고 계획된 이동 정보에 기초하여 이동 어셈블리의 동작을 제어하는 제어부를 포함한다.
또 다른 측면에 따른 청소 로봇의 제어 방법은, 본체의 하부에 각각 마련된 이동 어셈블리와 청소 툴을 갖는 청소 로봇의 제어 방법에 있어서, 청소 모드를 확인하고, 확인된 청소 모드가 인터랙션 모드인지 판단하고, 청소 모드가 인터랙션 모드라고 판단되면 영상부를 이용하여 본체 주변의 영상을 수집하고, 수집된 영상에서 사용자의 핸드 영상을 인식하고, 인식된 핸드 영상에서 핸드 모션을 인식하고, 핸드 모션에 기초하여 본체가 이동할 이동 거리 및 이동 방향을 계획하고, 계획된 이동 정보에 기초하여 이동 어셈블리와 청소 툴의 동작 제어한다.
일 측면에 따르면 사용자가 직접 청소 로봇의 이동을 제어함으로써 청소 로봇과 인간과의 상호 작용성(Interactivity)을 향상시킬 수 있고, 사용자의 노동력 감소와 편의성을 증대시킬 수 있다.
손을 직접 이용하여 사용자의 의도대로 이동 및 동작을 제어함으로써 조작의 편이성 및 직관성을 향상시킬 수 있다.
또한 청소가 제대로 수행되지 않은 바닥 면이나, 사용자가 집중적으로 청소하고 싶은 바닥 면에 대해 청소를 선택적으로 수행할 수 있기 때문에 청소 효율을 향상시킬 수 있고, 사용자의 만족감을 향상시킬 수 있다.
또한 핸드의 형상에 기초하여 위치를 이동함으로써 공간 이동이 빠르고 용이하며 또한 핸드의 형상에 기초하여 가상 벽을 설정함으로써 가상 벽 설정을 위한 비컨을 없앨 수 있어 원가를 절감할 수 있다.
도 1은 일 실시 예에 따른 청소 로봇의 평면 사시도이다.
도 2는 일 실시예에 따른 청소 로봇의 저면 사시도이다.
도 3a 및 도 3b는 일 실시 예에 따른 청소 로봇의 제어 명령을 인식하기 위한 영상 인식 예시도이다.
도 4는 일 실시 예에 따른 청소 로봇의 제어 구성도이다.
도 5는 일 실시 예에 따른 청소 로봇에 마련된 사용자 인터페이스의 예시도이다.
도 6은 일 실시 예에 따른 청소 로봇의 제어부의 상세 구성도이다.
도 7 및 도 8은 일 실시 예에 따른 청소 로봇의 이동 제어 예시도이다.
도 9는 일 실시 예에 따른 청소 로봇의 동작 제어 예시도이다.
도 10은 일 실시 예에 따른 청소 로봇의 제어 순서도이다.
도 11은 일 실시 예에 따른 청소 로봇의 주행 패턴 설정 예시도이다.
도 12 및 도 13은 일 실시 예에 따른 청소 로봇의 이동 제어 예시도이다.
도 14는 다른 실시 예에 따른 청소 로봇의 예시도이다.
도 15는 다른 실시 예에 따른 청소 로봇의 제어 구성도이다.
도 16은 다른 실시 예에 따른 청소 로봇의 제어 순서도이다.
도 17은 또 다른 실시 예에 따른 청소 로봇의 제어 구성도이다.
도 18은 또 다른 실시 예에 따른 청소 로봇의 제어 순서도이다.
도 19는 또 다른 실시 예에 따른 청소 로봇의 제어 구성도이다.
도 20은 또 다른 실시 예에 따른 청소 로봇의 제어 순서도이다.
도 21은 또 다른 실시 예에 따른 청소 로봇의 위치 이동 예시도이다.
도 22는 또 다른 실시 예에 따른 청소 로봇의 가상 벽 설정 예시도이다.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.
청소 로봇(100)은 사용자의 청소 명령이 입력되거나 청소 예약 시간이 되면 청소 영역을 스스로 주행하거나 사용자와의 인터랙션을 통해 주행하면서 바닥면의 먼지와 같은 이물질을 흡입함으로써 청소를 수행한다.
이러한 청소 로봇(100)은 인터랙션 모드 및 자동 모드 중 사용자에 의해 선택된 청소 모드에 기초하여 주행하면서 청소를 수행한다. 아울러 청소 로봇(100)은 인터랙션 모드만으로 청소를 수행하는 것도 가능하다.
청소 로봇(100)은 사용자로부터 청소 종료 명령이 입력되거나, 청소가 완료되었다고 판단되거나 또는 배터리의 양이 기준 양보다 낮아지게 되면 충전대(200)와의 도킹을 수행하고, 도킹이 완료되면 충전대(200)로부터 전력을 공급받아 충전을 수행한다.
여기서 충전대(200)는 외부의 상용 교류 전원과 연결되어 외부의 상용 교류 전원을 공급받고 외부에서 공급된 상용 교류 전력을 변환하는 트랜스포머와, 변환된 전력을 반파 정류 또는 전파 정류하는 정류부와, 정류된 전력을 평활하는 평활부와, 평활된 전력을 일정 전압을 가진 직류 전력으로 출력하는 전압조절부를 포함하고, 전압 조절부에서 출력된 직류 전력을 전원 단자를 통해 청소 로봇(100)에 공급한다.
또한 충전대(200)는 청소 로봇(100)과의 도킹을 위한 도킹 신호를 청소 로봇(100)과 송수신하는 도킹 통신부(미도시)를 더 포함한다.
본 실시예에서는 인터랙션 모드 및 자동 모드 중 사용자에 의해 선택된 청소 모드로 청소를 수행하는 청소 로봇을 예를 들어 설명한다.
이러한 청소 로봇을 도 1 및 도 2를 참조하여 구체적으로 설명한다.
도 1은 청소 로봇의 평면 사시도이고, 도 2는 청소 로봇의 저면 사시도이다.
도 1에 도시된 바와 같이, 청소 로봇(100)은 외관을 형성하는 본체(110)와, 본체(110)의 전면에 장착되어 장애물과 충돌 시 충격을 완화시키는 범퍼(111)와, 본체(110)의 상부에 장착되어 동작 정보 및 예약 정보 등을 입력받고 동작 정보를 표시하는 사용자 인터페이스(120)와, 본체(110)의 상부에 일체로 고정 장착되어 청소 영역 내 본체 주변의 영상을 수집하는 영상부(130)와, 충전대(200)와 같은 외부 기기와 통신을 수행하는 통신부(140)를 포함한다.
범퍼(111)는 본체(110)의 후면에 더 장착되는 것도 가능하다.
청소 로봇(100)은 본체(110)의 후방에 마련되되 메인 청소 툴의 주변에 마련되어 메인 청소 툴(170)을 통해 집진된 먼지 등의 이물질을 모으는 집진부(112)를 더 포함한다.
청소 로봇(100)은 본체(110)의 전면 및 좌우 측면에 장착되어 청소 로봇의 전방 및 좌우 측방에 위치한 장애물을 검출하는 장애물 검출부(150)를 더 포함하는 것도 가능하다.
도 2에 도시된 바와 같이, 청소 로봇(100)은 본체(110)의 하부에 설치되어 본체(110)를 이동시키는 이동 어셈블리(160)와, 본체(110)의 하부에 설치되어 바닥의 먼지를 쓸거나 비산시키고 쓸리거나 비산된 먼지를 흡입하는 청소 툴(170)과, 각 구성부에 구동을 위한 전력을 공급하는 전원부(180)를 포함한다.
이동 어셈블리(160)는 본체(110)의 중앙 영역을 기준으로 좌우 가장자리에 설치되어 청소 로봇(100)을 전진, 후진 및 회전시키는 한 쌍의 휠(161, 162)과, 각 휠(161, 162)에 이동력을 인가하는 휠 모터(163, 164)와, 본체(110)의 전방에 설치되어 청소 로봇(100)이 이동하는 바닥 면의 상태에 따라 회전하여 각도가 변화하는 캐스터 휠(165)을 포함한다.
여기서 한 쌍의 휠(161, 162)은 본체(110)에 서로 대칭적으로 배치되어 있다.
캐스터 휠(165)은 청소 로봇(100)의 자세 안정 및 추락 방지 등에 활용되어 청소 로봇(100)을 지지하며, 롤러나 캐스터 형상의 휠로 이루어진다.
청소 툴(170, 174)은 본체(110)의 하부에 설치되어 바닥의 먼지를 쓸거나 비산시키고 쓸거나 비산된 먼지를 흡입하는 메인 브러시 어셈블리(170)와, 본체(110)의 하부에 설치되되 외부로 돌출 가능하게 설치되고 메인 브러시 어셈블리(170)에 의해 청소되는 영역과 다른 영역의 먼지를 쓸어 메인 브러시 어셈블리(170)로 전달하는 사이드 브러시 어셈블리(174: 174a, 174b)를 포함한다.
메인 브러시 어셈블리(170)는 본체(110)의 하부의 흡입구(171)에 마련되고 본체(110) 하측의 바닥 먼지를 쓸거나 비산시키는 메인 브러시(172)와, 메인 브러시(172)를 회전시키는 브러시 모터(173)를 포함한다.
여기서 메인 브러시(172)는 브러시 모터(173)에 기계적으로 연결된 롤러와, 롤러의 외주면에 장착된 브러시 부재를 포함한다. 즉 브러시 모터(173)의 구동에 의해 메인 브러시(172)의 롤러가 회전하면서, 롤러에 장착된 브러시 부재를 회전시킨다. 이때 메인 브러시(172)의 브러시 부재는 바닥면의 먼지를 흡입구(171)로 보낸다.
이러한 청소 로봇(100)은 흡입력을 이용하여 먼지 등의 이물질을 집진하는 것도 가능하다.
즉 메인 브러시 어셈블리(170)는 본체(110) 내부에 마련되되 메인 브러시의 주변에 마련되어 흡입구(171)의 내부로 흡입력을 발생시키는 흡입부를 더 포함하는 것도 가능하다.
여기서 흡입부는 송풍기를 포함한다. 즉, 메인 브러시 어셈블리(170)의 흡입부는 송풍기의 송풍력을 이용하여 흡입구(171)로 유입된 먼지를 집진부(112)로 안내하며 제어부의 제어에 따라 송풍력을 조절하는 것이 가능하다.
사이드 브러시 어셈블리(174)는 본체(110)의 전방 및 사이드 방향의 바닥 먼지와 메인 브러시(172)가 쓸지 못하는 곳의 바닥 먼지를 흡입구(171) 측으로 쓸어 주어 청소 효율을 향상시키기 위한 것으로, 본체(110)의 전면의 좌 측면에 위치한 제1 사이드 브러시 어셈블리(174a)와, 본체(110)의 전면의 우측면에 위치한 제2사이드 브러시 어셈블리(174b)를 포함한다.
이러한 좌우의 제1, 2 사이드 브러시 어셈블리(174a, 174b)는 본체(110)에 분리 가능하게 장착된 몸체와, 몸체에 회전 가능하게 장착되어 본체 외부로 돌출 가능한 사이드 암과, 본체(110)의 외부로 돌출 가능한 사이드 암에 회전 가능하게 장착된 사이드 브러시를 포함한다.
아울러, 제1, 2 사이드 브러시 어셈블리(174a, 174b)는 본체(110)의 전면 좌우 측면에 회전 가능하게 장착된 사이드 브러시만을 포함하는 것도 가능하다.
전원부(180)는 본체(110)에 장착된 각종 구성부와 전기적으로 연결되어 각종 구성부에 구동을 위한 전력을 공급하는 배터리를 포함한다.
여기서 배터리는 재충전이 가능한 2차 배터리로, 두 개의 충전단자(181)를 통해 충전대(200)와 전기적으로 연결되어 충전대(200)로부터 전력을 공급받아 충전을 수행한다.
이러한 청소 로봇(100)은 장애물 검출부(150) 등에서 검출된 장애물 검출 신호에 기초하여 청소 영역을 자동으로 주행하면서 청소를 수행할 뿐만 아니라, 사용자의 의도를 반영하여 청소 영역을 주행하면서 청소를 수행한다.
즉 청소 로봇(100)은 자동 모드로 청소 수행 시 장애물 검출부(150)를 통해 청소 영역 내에 설치된 가구나 사무용품, 벽 등의 장애물 및 그 장애물까지의 거리를 확인하고, 그 결과에 따라 이동 어셈블리(160)의 휠(161, 162)을 구동시켜 스스로 방향을 전환해가면서 청소 영역을 청소한다.
반면 청소 로봇(100)은 인터랙션 모드로 청소 수행 시 사용자의 의도가 반영된 핸드의 모션이나, 마커의 위치 변화 등에 기초하여 청소를 수행한다. 여기서 핸드의 모션은 핸드의 위치 변화 및 핸드의 형상 등을 포함한다.
도 3a을 참조하여 설명하면, 사용자는 청소 로봇과의 상호 작용을 이용하여 청소 영역(A)을 청소하고자 할 경우, 청소 로봇의 사용자 인터페이스(120)에 인터랙션 모드를 입력한다.
그리고 사용자는 청소 로봇(100)에 마련된 영상부(130) 주변, 즉 영상부(130)에 의해 촬영되는 촬영 범위(r) 내에 핸드(h)를 위치시키고, 촬영 범위(r) 내에서 원하는 위치로 핸드(h)를 이동시킨다.
청소 로봇(100)은 사용자 인터페이스(120)에 인터랙션 모드가 입력되면 영상부(130)를 동작시켜 본체(110) 주변의 영상을 수집하고, 수집된 영상에서 사용자의 핸드(h)에 해당하는 핸드 영상을 인식하며, 인식된 핸드 영상의 위치 변화를 판단하고 판단된 위치 변화에 기초하여 이동하면서 청소를 수행한다.
즉 청소 로봇(100)은 사용자의 핸드(h)를 추종하면서 이동한다.
이러한 청소 로봇(100)은 사용자의 핸드를 추종하면서 이동하고 이에 따라 본체의 위치와 손의 위치가 함께 변화되며, 이때 영상부(130)의 촬영 범위(r)도 함께 변화된다. 이를 통해 청소 로봇(100)은 사용자의 핸드에 대한 영상을 계속적으로 수집할 수 있다.
청소 로봇(100)은 사용자의 핸드에 해당하는 영상이 획득되지 않는다고 판단되면 알림 음을 출력하는 것도 가능하다.
아울러 도 3b에 도시된 바와 같이, 청소 로봇은 핸드(h)에 부착된 마커(M)를 인식하는 것도 가능하다. 즉 청소 로봇은 시간에 따라 이동하는 마커의 위치를 인식하고, 인식된 마커의 위치 변화를 판단한 후 판단된 위치 변화에 기초하여 본체를 이동시킨다.
이때 청소 로봇은 핸드의 형상을 인식하고 인식된 핸드의 형상에 기초하여 정지나 도킹 등의 동작을 제어하는 것도 가능하다.
이러한 청소 로봇의 제어 구성을 도 4를 참조하여 설명한다.
도 4는 일 실시 예에 따른 청소 로봇의 제어 구성도로, 청소 로봇은 사용자 인터페이스(120), 영상부(130), 통신부(140) 및 구동모듈(190)을 포함한다.
사용자 인터페이스(120)는 사용자로부터 명령을 입력받고 동작 상태 등을 표시한다.
이러한 사용자 인터페이스(120)는 청소 예약 정보, 청소 시작/종료, 운전 모드 및 주행 패턴 등을 입력받는 입력부(121)와, 청소 예약 정보, 충전 상태, 집진 상태, 주행 패턴 및 운전 모드 등을 표시하는 표시부(122)를 포함한다.
여기서 운전 모드는 자동 모드와 인터랙션 모드를 갖는 청소 모드, 대기 모드, 도킹 모드 등을 포함한다.
사용자 인터페이스(120)는 터치 스크린으로 구현 가능하다.
여기서 사용자 인터페이스의 전원 온 오프 버튼은 터치 스크린과 별도로 마련된 버튼일 수 있다.
도 5를 예를 들어 설명하면, 사용자 인터페이스(120)는 전원 버튼을 포함하고, 청소 모드, 주행 패턴, 대기 모드, 도킹 모드, 예약 설정 등을 선택 가능한 정보들로 표시한다. 이러한 정보들은 터치 입력에 의해 선택 가능하다.
청소 로봇의 사용자 인터페이스(120)는 사용자에 의해 청소 모드가 선택되면 청소 모드에 포함된 자동 모드와 인터랙션 모드를 버튼으로 표시하고, 사용자에 의해 자동 모드가 선택되면 주행 패턴을 표시하는데 이때 자동 모드에서 주행 가능한 주행 패턴을 표시한다.
예를 들어, 사용자 인터페이스(120)는 자동 모드가 선택된 경우, 자동 모드에서 주행 가능한 주행 패턴으로 지그재그 패턴과 스파이럴 패턴을 표시한다.
청소 로봇의 사용자 인터페이스(120)는 사용자에 의해 인터랙션 모드가 선택되면 주행 패턴을 표시하는데, 이때 인터랙션 모드에서 주행 가능한 주행 패턴을 표시한다.
예를 들어, 사용자 인터페이스(120)는 인터랙션 모드가 선택된 경우, 인터랙션 모드에서 주행 가능한 주행 패턴으로 사용자 설정 및 실시간 랜덤을 표시한다.
이때 청소 로봇은 사용자 설정 패턴이 선택되면 영상부에서 수집된 사용자의 핸드 영상의 움직임을 추종하여 사용자가 설정하는 주행 패턴을 인식한다.
여기서 실시간 랜덤은 사용자의 핸드를 실시간으로 추종하면서 주행하는 것이다.
대기는 청소 중 대기를 지시하는 버튼이고, 도킹은 청소 중 도킹을 지시하는 버튼이며, 예약 설정은 청소 예약을 위한 버튼이다. 사용자 인터페이스는 예약 설정을 위한 버튼이 선택되면 예약 입력 창을 표시한다.
사용자에 의해 주행 패턴이 선택되지 않은 경우, 미리 설정된 주행 패턴으로 주행하도록 하거나, 랜덤으로 주행하도록 한다.
아울러 사용자 인터페이스의 입력부는 터치 패드, 표시부는 액정디스플레이(LCD)로 구현 가능하다.
영상부(130)는 본체(110)의 주변 영상을 수집한다. 여기서 영상부(130)의 촬영 방향은 바닥면과 반대 방향인 상측 방향을 향한다.
이러한 영상부(130)는 2차원 카메라, 3차원 카메라, 적외선 카메라 등을 포함한다.
영상부(130)는 청소 모드가 인터랙션 모드일 때 제어 명령을 획득하기 위해 본체 주변의 영상을 수집하고, 청소 모드가 자동 모드일 때 본체의 위치 정보 및 장애물을 검출하기 위해 본체 주변의 영상을 수집한다.
즉, 청소 모드가 인터랙션 모드일 때 수집된 영상은 사용자의 의도에 대응하는 제어 명령을 인식하는데 사용되고, 청소 모드가 자동 모드일 때 수집된 영상은 청소 로봇의 위치를 인식하는데 사용된다.
통신부(140)는 도킹 모드 시에 충전대(200)와 통신을 수행하는 것으로, RF 통신, 적외선 통신, 초음파 통신 중 적어도 하나의 통신을 수행한다.
아울러 통신부(140)는 청소 로봇의 동작을 조작하는 리모컨(미도시)과 통신을 수행하는 것도 가능하다.
청소 로봇(100)은 본체(110)에 장착되어 청소 영역의 장애물을 검출하기 위한 장애물 검출부(150)를 포함하는 것도 가능하다.
청소 로봇(100)은 영상부(130)에서 수집된 영상 정보와, 장애물 검출부(150)에서 검출된 장애물의 검출 정보들을 이용하여 맵을 생성하고, 자동 모드 시에 생성된 맵을 이용하여 주행하는 것도 가능하다.
구동모듈(190)은 정보의 입출력을 위한 사용자 인터페이스(120), 영상 수집 동작을 위한 영상부(130)를 구동시키고, 또한 사용자 인터페이스에 입력된 정보 및 영상부에 수집된 영상에 기초하여 이동 어셈블리(160) 및 청소 툴(170)을 구동시키는 것으로, 제어부(191), 저장부(192) 및 복수의 구동부(193, 194)를 포함한다.
제어부(191)는 사용자 인터페이스(120)에 입력된 청소 모드가 자동 모드라고 판단되면 영상부(130)에서 수집된 영상 및 장애물 검출부(150)에서 검출된 장애물 검출 신호에 기초하여 이동 어셈블리(160) 및 청소 툴(170)의 동작을 제어한다.
제어부(191)는 자동 모드로 청소 시 사용자 인터페이스(120)에 입력된 주행 패턴으로 주행하도록 이동 어셈블리를 제어한다. 이때, 청소 로봇은 랜덤으로 주행하거나, 사용자 인터페이스(120)를 통해 입력된 주행 패턴으로 주행한다.
제어부(191)는 인터랙션 모드로 청소 시 사용자와 인터랙션을 수행하며 주행하도록 이동 어셈블리를 제어한다. 이때, 청소 로봇은 영상부(130)를 통해 수집된 핸드 영상에서 핸드의 움직임에 대응하는 주행 패턴으로 주행하거나, 또는 실시간으로 사용자의 핸드를 추종하면서 주행한다.
제어부(191)는 사용자 설정에 의한 주행 패턴 인식 시, 미리 설정된 일정 시간 간격으로 핸드의 위치를 판단하고, 판단된 위치를 연결하여 주행 패턴을 인식한다.
즉, 제어부(191)는 사용자 인터페이스(120)에 입력된 청소 모드가 인터랙션 모드라고 판단되면 영상부(130)에서 수집된 영상에 기초하여 이동 어셈블리(160) 및 청소 툴(170)의 동작을 제어한다.
이때 제어부(191)는 영상부(130)에서 수집된 영상을 영상 처리하여 핸드 영상을 획득하고, 획득된 핸드 영상의 모션을 인식한다. 여기서 모션은 핸드의 위치 및 핸드의 형상을 포함한다.
도 6에 도시된 바와 같이, 제어부(191)는 영상을 인식하기 위한 영상 처리부(191a), 모션 인식부(191b), 데이터 베이스부(191c), 이동 계획부(191d)를 포함한다.
영상 처리부(191a)는 수집된 영상을 영상 처리하여 수집된 영상에서 사용자의 손에 해당하는 핸드 영상을 인식한다.
모션 인식부(191b)는 핸드 영상에서 손바닥 부분을 인식하고, 손바닥 중 어느 한 점을 선택하고, 선택된 점의 위치 변화를 인식한다.
모션 인식부(191b)는 핸드 영상에서 손바닥 부분을 인식하고, 손바닥의 어느 한 점을 선택하고, 선택된 점의 위치를 인식한다. 그리고 모션 인식부(191b)는 이전 위치와 현재 위치를 비교하여 위치 변화를 산출한다.
여기서 손바닥의 어느 한 점은, 손바닥의 중심 점이다.
현재 위치는 현재 수집된 영상에서 손바닥의 중심 점의 위치이고, 이전 위치는 현재로부터 미리 설정된 일정 시간 전에 수집된 영상에서 손바닥의 중심 점의 위치이다.
또한 모션 인식부(191b)는 핸드 영상에 기초하여 핸드의 형상을 인식한다.
이때 모션 인식부(191b)는 핸드의 형상에 대응하는 영상 정보를 생성한다.
예를 들어, 모션 인식부(191b)는 핸드의 영상에서 특징 점을 찾거나, 에지를 찾는 과정을 통해 특징 점 정보 또는 에지 정보를 생성한다.
데이터 베이스부(191c)는 핸드의 복수 형상에 각각 대응하는 복수의 기준 영상 정보를 저장하고, 복수의 기준 영상 정보에 각각 대응하는 제어 명령 정보를 저장한다.
예를 들어, 데이터 베이스부(191c)는 손가락을 다 쥔 기준 주먹 영상 정보, 손가락을 두 개만 편 기준 가위 영상 정보, 손가락을 다 편 기준 보자기 영상 정보 등을 저장하고, 보자기 형상과 대응하는 주행 명령, 주먹 형상과 대응하는 정지 명령 등을 저장한다.
이동 계획부(191d)는 모션 인식부(191b)에서 핸드 형상의 영상 정보와 위치 변화 정보에 기초하여 이동을 계획한다.
이동 계획부(191d)는 모션 인식부(191b)에서 생성된 핸드 형상의 영상 정보와 데이터 베이스부(191c)에 저장된 형상별 기준 영상 정보를 비교함으로써 현재 수집된 핸드 영상에서 핸드의 형상을 인식하고, 인식된 핸드의 형상과 대응하는 제어 명령을 확인한다.
또한 이동 계획부(191d)는 인식된 핸드 형상이 주행 명령을 지시하는 형상이면 핸드의 위치 변화를 확인하고 확인된 위치 변화에 대응하는 거리 및 방향으로 이동하도록 이동 어셈블리의 동작을 계획한다.
즉 제어부(191)는 핸드의 위치 변화에 대응하는 이동 거리 및 이동 방향을 확인하고, 확인된 이동 거리 및 이동 방향에 기초하여 휠 모터(163, 164)의 구동을 제어한다.
도 7의 (a)에 도시된 바와 같이, 제어부(191)는 이전의 중심 점(p1)의 위치를 저장하고, 미리 설정된 일정 시간 경과 후 현재의 중심 점(p2)의 위치를 확인한다.
제어부(191)은 이전의 중심 점(p1)의 위치에서 현재의 중심 점(p2)의 위치를 비교하여 위치 변화를 산출하고, 산출된 위치 변화에 기초하여 핸드(h)가 이동한 거리(d1)를 판단한다.
도 7의 (b)에 도시된 바와 같이, 제어부는 본체가 핸드(h)의 이동 거리(d1)에 대응하는 거리(d2)만큼 이동되도록 휠 모터의 구동을 제어한다.
아울러 제어부(191)는 이전 중심점 위치에서 현재 중심 점의 위치로 위치 변화 시의 일정 시간 및 거리에 기초하여 핸드의 이동 속도를 산출하고, 산출된 이동 속도에 기초하여 이동 어셈블리의 이동 속도를 제어하는 것도 가능하다.
예를 들어, 제어부(191)는 핸드의 이동 속도가 V1에서 V2로 상승하면 본체의 이동 속도도 V1에서 V2로 상승되도록 휠 모터의 구동을 제어한다.
도 8에 도시된 바와 같이, 제어부(191)는 사용자의 손(h)의 손바닥에서 어느 하나의 중심 점(p)을 인식하고, 이 중심 점(p)이 이동하는 방향을 판단하고, 판단된 방향으로 본체가 이동되도록 휠 모터를 구동시킨다.
예를 들어, 제어부(191)는 중심 점이 전방(F1)으로 이동하면 본체가 전진(F2)하도록 하고, 중심 점이 후방(B1)으로 이동하면 본체가 후진(B2)하도록 하며, 중심 점이 회전(T1)하면 본체가 회전(T2)하도록 한다.
아울러, 청소 로봇이 휠의 회전을 통해 좌측 및 우측으로 이동 가능한 경우, 제어부(191)는 중심 점이 우측(R1)으로 이동하면 본체가 우측(R2)으로 이동하도록 하고, 중심 점이 좌측(L1)으로 이동하면 본체가 좌측(L2)으로 이동하도록 하는 것도 가능하다.
제어부(191)는 핸드의 형상을 인식하고, 인식된 형상에 대응하여 이동, 대기 또는 도킹 동작을 제어하고, 모드 전환을 제어한다.
도 9를 예를 들어 설명하면, 제어부(191)는 인식된 핸드의 형상이 손을 다 편 형상이면 본체가 이동하면서 청소하도록 휠 모터 및 브러시 모터를 구동 제어하고, 인식된 핸드의 형상이 손을 다 쥔 형상이면 본체가 정지하도록 휠 모터 및 브러시 모터의 구동을 정지 제어하며, 인식된 핸드의 형상이 손가락 두 개를 편 형상이면 도킹이 수행되도록 휠 모터의 구동을 제어하고 브러시 모터의 구동을 정지 제어한다.
아울러, 제어부(191)는 미리 설정된 시간 내에 손가락을 펴고 구부리는 형상이 반복되면 모드 전환 제어를 수행하는 것도 가능하다. 여기서 모드 전환은 자동 모드에서 인터랙션 모드로 전환과, 인터랙션 모드에서 자동 모드로 전환을 포함한다.
즉 제어부(191)는 자동 모드로 청소를 수행하면서 영상부에 핸드가 인식되면 인식된 핸드가 모드 전환을 위한 형상인지 판단하고, 모드 전환을 위한 형상이라고 판단되면 자동 모드에서 인터랙션 모드로 전환한다.
또한 제어부(191)는 인터랙션 모드로 청소를 수행하면서 영상부에 모드 전환을 위한 핸드 형상이 인식되면 청소 모드를 자동 모드로 전환한다.
또한 제어부(191)는 인터랙션 모드로 청소를 수행하면서 영상부에 핸드가 인식되지 않으면 이동 및 청소 동작이 정지되도록 이동 어셈블리 및 청소 툴의 동작을 정지 제어하고 핸드가 인식되지 않음을 알리는 알림 음을 출력 제어한다.
아울러 제어부(191)는 알림 음을 출력한 후 일정 시간이 경과하면 자동 모드로 전환하는 것도 가능하다.
저장부(192)는 핸드의 이동 거리별 청소 로봇의 이동 거리를 저장한다. 여기서 핸드의 이동 거리 대 로봇의 이동 거리는 1:1로 설정 가능하다.
저장부(192)는 위치 변화를 산출하기 위한 일정 시간 등을 저장한다.
제1구동부(193)는 제어부(191)의 명령에 기초하여 이동 어셈블리의 휠 모터(163, 164)를 구동시킨다. 이때 좌우 휠 모터(163, 164)의 회전속도를 달리함으로써 본체(110)의 회전이 가능하도록 한다.
제2구동부(194)는 제어부(191)의 명령에 기초하여 청소 툴(170)의 브러시 모터(173)를 구동시킨다.
도 10은 일 실시 예에 따른 청소 로봇의 제어 순서도이다.
청소 로봇은 전원이 온 되면 사용자 인터페이스의 표시부를 활성화시킨다.
청소 로봇은 사용자 인터페이스의 입력부를 통해 청소 모드를 입력(211)받는다.
청소 로봇은 입력된 청소 모드가 인터랙션 모드인지 판단(212)하고, 이때 입력된 청소 모드가 자동 모드이면 장애물 검출부(150)에 검출된 장애물 검출 신호에 기초하여 휠을 구동시키고 메인 브러시를 회전시킴으로써 청소 영역을 자동으로 이동하면서 청소를 수행(213)한다.
이때 청소 로봇은 미리 설정된 맵 정보를 이용하여 주행하거나, 또는 사용자에 의해 선택된 주행 패턴으로 주행한다. 아울러 청소 로봇은 랜덤 방식으로 주행하는 것도 가능하다.
청소 로봇은 자동 모드로 청소 영역을 이동하며 모드 전환을 위한 명령이 입력되었는지 판단(214)하고, 모드 전환을 위한 명령이 입력되지 않았다고 판단되면 청소 완료 여부를 판단(215)하고, 청소가 완료되었다고 판단하기 전까지 자동으로 이동하며 청소를 수행하고, 청소가 완료되었다고 판단되면 도킹을 수행(216)한다.
여기서 모드 전환을 위한 명령이 입력되었는지 판단하는 것은, 청소 영역을 청소하면서 영상부(130)에 사용자의 핸드가 인식되는지 판단하고, 영상부(130)에 사용자의 핸드가 인식되었다고 판단되면 청소 모드를 자동 모드에서 인터랙션 모드로 모드 전환을 위한 명령이 입력되었다고 판단하는 것을 포함한다.
이때 청소 로봇은 영상부(130)에 인식된 사용자의 핸드 형상이 모드 전환을 지시하는 형상인지 판단하고, 인식된 사용자의 핸드 형상이 모드 전환을 위한 형상이라고 판단되면 모드 전환을 수행하는 것도 가능하다.
아울러 모드 전환을 위한 명령이 입력되었는지 판단하는 것은, 자동 모드로 청소 중 사용자 인터페이스(120)에 인터랙션 모드가 입력되었는지 판단하고, 사용자 인터페이스에 인터랙션 모드가 입력되었다고 판단되면 청소 모드를 자동 모드에서 인터랙션 모드로 모드 전환을 위한 명령이 입력되었다고 판단하는 것을 더 포함한다.
청소 로봇은 사용자 인터페이스를 통해 인터랙션 모드가 입력되었거나, 또는 청소 모드가 자동 모드에서 인터랙션 모드로 전환된 경우, 영상부(130)를 통해 수집된 영상에 기초하여 이동하면서 청소를 수행(217)한다.
이를 좀 더 구체적으로 설명한다.
청소 로봇은 사용자 인터페이스(120)를 통해 인터랙션 모드가 입력되면 인터랙션 모드에서 주행 가능한 주행 패턴을 표시한다.
청소 로봇은 사용자에 의해 사용자 설정 패턴이 선택되면 영상부에 사용자의 핸드가 인식되는지 판단한다. 이때 청소 로봇은 사용자에게 주행 패턴을 설정할 것을 사운드 또는 문자로 지시한다.
그리고 청소 로봇은 영상부(130)에 사용자의 핸드가 인식된다고 판단되면 핸드의 움직임을 추종한다. 이때 미리 설정된 일정 시간 간격으로 핸드의 위치를 인식하고, 일정 시간 간격으로 인식된 위치들을 연결하여 주행 패턴을 설정한다.
도 11을 예를 들어 설명하면, 청소 로봇은 사용자의 손(h)의 손바닥에서 어느 하나의 점을 중심 점(p)으로 인식한다. 그리고 이 중심 점의 위치 정보를 저장한다.
청소 로봇은 제1 중심 점(p1)이 이동 후 정지되면 정지된 위치를 판단하고, 그 위치를 제2중심점(p2)으로 설정하며, 제2중심점(p2)이 이동 후 정지되면 정지된 위치를 판단하고 그 위치를 제3중심점(p3)으로 설정한다.
청소 로봇은 제3 중심 점(p3)이 이동 후 정지되면 정지된 위치를 판단하고, 그 위치를 제4중심점(p4)으로 설정하며, 제4중심점(p4)이 이동 후 정지되면 정지된 위치를 판단하고 그 위치를 제5중심점(p5)으로 설정하며 제5중심점(p5)이 이동 후 정지되면 정지된 위치를 판단하고 그 위치를 제6중심점(p6)으로 설정한다.
청소 로봇은 제6중심점이 인식된 후 더 이상 중심 점이 이동하지 않거나, 영상부에 수집된 영상 속에 핸드가 인식되지 않으면 주행 패턴 설정이 완료된 것으로 판단하고, 제1중심점부터 제6중심점을 순차적으로 이어서 주행 패턴을 설정한다.
여기서 중심점 설정 시, 정지 시점의 위치를 중심점의 위치로 설정하였지만, 미리 설정된 일정 시간 간격으로 중심점을 인식하고 인식된 중심 점을 이동 위치로 설정하는 것도 가능하다.
청소 로봇은 설정된 주행 패턴을 저장하고, 저장된 주행 패턴에 기초하여 청소 영역을 이동하면서 청소를 수행한다. 이때 청소 로봇은 미리 설정된 크기의 셀 단위로 이동하면서 청소를 수행하는 것도 가능하다.
청소 로봇은 인터랙션 모드가 선택된 상태에서 사용자에 의해 실시간 랜덤이 선택되면 영상부(130)를 통해 사용자의 핸드를 실시간으로 인식하고 인식된 핸드를 추종하면서 청소를 수행한다.
즉 청소 로봇은 영상부(130)에서 수집된 영상을 영상 처리하여 수집된 영상에서 사용자의 손에 해당하는 핸드 영상을 인식(217a)하고, 인식된 핸드 영상의 모션을 인식(217b)한 후 인식된 모션에 기초하여 동작(217c)한다.
여기서 핸드의 모션은 핸드의 형상 및 핸드의 위치를 포함한다.
핸드의 모션에 기초하여 동작하는 구성을 좀 더 구체적으로 설명한다.
청소 로봇은 핸드 영상에 기초하여 핸드의 형상을 인식하고, 핸드의 형상에 대응하는 영상 정보를 생성한다.
다음 청소 로봇은 생성된 핸드 형상의 영상 정보와 데이터 베이스부(191c)에 저장된 형상별 기준 영상 정보를 비교함으로써 현재 수집된 핸드 영상에서 핸드의 형상을 인식하고, 인식된 핸드의 형상과 대응하는 제어 명령을 확인한다.
청소 로봇은 인식된 핸드의 형상에 대응하는 제어 명령을 판단하고, 판단된 제어 명령에 대응하는 휠 모터 및 브러시 모터 중 적어도 하나의 모터를 제어하는데, 이때 판단된 제어 명령이 주행 명령이라고 판단되면 핸드의 위치 변화를 판단한다.
즉 청소 로봇은 인식된 핸드 영상에서 손바닥 부분을 인식하고, 손바닥 중 어느 한 점을 선택하고, 선택된 점의 위치 변화를 산출한다. 여기서 손바닥의 어느 한 점은, 손바닥의 중심 점이다.
즉 청소 로봇은 이전의 중심점의 위치와, 이전의 중심점이 인식된 시점부터 미리 설정된 시간이 경과한 시점에 인식된 현재의 중심점의 위치를 비교하여 위치 변화를 산출한다.
도 12를 참조하여 설명하면, 제1중심점(p1)이 인식된 시점부터 일정 시간(t)이 경과된 시점에 제2중심 점(p2)을 인식하고, 제1중심점(p1)을 축으로 하여 제2중심점(p2)까지의 위치 변화를 산출하며 산출된 위치 변화에 대응하는 거리 및 방향으로 이동한다.
그리고 제2중심점(p2)이 인식된 시점부터 일정 시간(t)이 경과된 시점에 제3중심 점(p3)을 인식하고 제2중심점(p2)을 축으로 하여 제3중심점(p3)까지의 위치 변화를 산출하며 산출된 위치 변화에 대응하는 거리 및 방향으로 이동한다.
그리고 제3중심 점(p3)이 인식된 시점부터 일정 시간(t)이 경과된 시점에 제4중심 점(p4)을 인식하고 제3중심점(p3)을 축으로 하여 제4중심점(p4)까지의 위치 변화를 산출하며 산출된 위치 변화에 대응하는 거리 및 방향으로 이동한다.
이때 서로 이웃한 두 중심점, 예를 들어, 제1중심점과 제2중심점, 제2중심점과 제3중심점, 제3중심점과 제4중심점이 한 번의 촬영 범위 내에 포함되도록 하는 시간을 일정 시간으로 설정하도록 한다.
청소 로봇은 핸드의 위치 변화에 대응하는 이동 거리 및 이동 방향을 확인하고, 확인된 이동 거리 및 이동 방향으로 이동한다.
이때 청소 로봇은 핸드(h)의 이동 거리(d1)에 대응하는 거리(d2)만큼 본체가 이동되도록 하고, 핸드가 이동한 방향으로 본체가 이동하도록 한다.
아울러 청소 로봇은 핸드가 이동한 속도에 기초하여 본체의 이동 속도를 제어하는 것도 가능하다. 예를 들어, 청소 로봇은 핸드의 이동 속도가 V1에서 V2로 상승하면 본체의 이동 속도도 V1에서 V2로 상승되도록 휠 모터의 구동을 제어한다.
이와 같이 청소 로봇은 사용자의 핸드의 움직임을 따라 청소 영역을 이동하면서 청소를 수행한다.
이에 따라 사용자가 집중 청소를 원하는 곳에서 사용자의 의도대로 집중 청소를 수행할 수 있다.
도 13을 예를 들어 설명하면, 장애물의 구석 부분을 집중 청소하고자 하는 경우, 사용자가 핸드를 왕복 이동시킴으로써 구성 부분에서 청소 로봇이 왕복 주행하도록 할 수 있다.
청소 로봇은 인터랙션 모드로 청소를 수행하면서 핸드의 형상을 계속적으로 인식하고, 인식된 형상에 대응하여 이동, 대기 또는 도킹 동작을 수행하거나, 또는 청소 모드를 전환한다.
즉 청소 로봇은 핸드 영상에 기초하여 핸드의 형상을 인식하고, 핸드의 형상에 대응하는 영상 정보를 생성한다.
다음 청소 로봇은 생성된 핸드 형상의 영상 정보와 데이터 베이스부(191c)에 저장된 형상별 기준 영상 정보를 비교함으로써 현재 수집된 핸드 영상에서 핸드의 형상을 인식하고, 인식된 핸드의 형상과 대응하는 제어 명령을 확인하고 확인된 제어 명령에 대응하는 동작을 수행한다.
예를 들어, 청소 로봇은 인식된 핸드의 형상이 손을 다 편 형상이면 본체가 이동하면서 청소하도록 휠 모터 및 브러시 모터를 구동시키고, 인식된 핸드의 형상이 손을 다 쥔 형상이면 본체가 정지하도록 휠 모터 및 브러시 모터의 구동을 정지시키며, 인식된 핸드의 형상이 손가락 두 개를 편 형상이면 도킹이 수행되도록 휠 모터를 구동시키고 브러시 모터의 구동을 정지시킨다.
아울러, 청소 로봇은 미리 설정된 시간 내에 손가락을 펴고 구부리는 형상이 반복되면 청소 모드를 인터랙션 모드에서 자동 모드로 전환시킨다.
청소 로봇은 인터랙션 모드로 청소를 수행하면서 영상부(130)에서 수집된 영상 속에 핸드가 인식되지 않으면 이동 및 청소 동작이 정지되도록 이동 어셈블리 및 청소 툴의 동작을 정지시키고 핸드가 인식되지 않음을 알리는 알림 음을 출력한다.
아울러 청소 로봇은 알림 음을 출력한 후 일정 시간이 경과하면 자동 모드로 전환하는 것도 가능하다.
청소 로봇은 인터랙션 모드로 청소를 수행하면서 모드 전환을 위한 명령이 입력되는지 판단(218)하고, 모드 전환을 위한 명령이 입력되었다고 판단되면 자동 모드로 청소를 수행하고, 모드 전환을 위한 명령이 입력되지 않았다고 판단되면 청소 완료를 판단(219)하고, 청소 완료 전까지 사용자의 핸드를 추종하면서 청소를 수행한다.
여기서 모드 전환을 위한 명령이 입력되었는지 판단하는 것은, 핸드의 형상이 모드 전환을 위한 형상인지 판단하는 것과, 사용자 인터페이스를 통해 자동 모드가 입력되었거나, 영상부에 손이 일정 시간 동안 인식되지 않았다고 판단하는 것을 포함한다.
청소 로봇은 사용자 인터페이스를 통해 청소 완료 명령이 입력되거나, 도킹 명령이 입력되면 충전대와의 도킹을 수행(216)하고, 도킹이 완료되면 충전을 수행한다.
아울러 청소 로봇은 사용자 핸드 추종을 통해 충전대와 도킹을 수행하는 것도 가능하다.
도 14는 다른 실시예에 따른 청소 로봇의 예시도이다.
청소 로봇(100)은 외관을 형성하는 본체(110)와, 본체(110)의 전면에 장착되어 장애물과 충돌 시 충격을 완화시키는 범퍼(111)와, 본체(110)의 상부에 장착되어 동작 정보 및 예약 정보 등을 입력받고 동작 정보를 표시하는 사용자 인터페이스(120)와, 충전대(200)와 통신을 수행하는 제1통신부(140)를 포함한다.
청소 로봇(100)은 본체(110)의 후방에 마련되되 메인 청소 툴의 주변에 마련되어 메인 청소 툴(170)을 통해 집진된 먼지 등의 이물질을 모으는 집진부(112)를 더 포함한다.
아울러 청소 로봇은 본체(110)의 상측 면에 형성되고 영상 기기(300)와 같은 외부 기기가 안착되는 안착부(113)를 더 포함하는 것도 가능하다. 즉 안착부(113)는 영상 기기가 외력에 의해 움직이는 것을 방지하기 위한 것이다.
여기서 영상 기기(300)는 청소 로봇의 주변 영상을 수집하고 수집된 영상을 청소 로봇에 전송하는 기기이다. 이때 수집된 영상은 사용자의 의도에 대응하는 청소 로봇의 이동 명령 및 제어 명령을 판단하기 위한 영상이다.
청소 로봇(100)은 본체(110)의 전면 및 좌우 측면에 장착되어 청소 로봇의 전방 및 좌우 측방에 위치한 장애물을 검출하는 장애물 검출부(150)를 더 포함하는 것도 가능하다.
또한 청소 로봇(100)은 본체(110)의 하부에 설치되어 본체(110)를 이동시키는 이동 어셈블리(160)와, 본체(110)의 하부에 설치되어 바닥의 먼지를 쓸거나 비산시키고 쓸리거나 비산된 먼지를 흡입하는 청소 툴(170)과, 각 구성부에 구동을 위한 전력을 공급하는 전원부(180)를 포함한다. 이들은 일 실시 예와 동일하여 자세한 설명을 생략하도록 한다.
도 15는 다른 실시예에 따른 청소 로봇의 제어 구성도로, 사용자 인터페이스(120), 제1통신부(140), 제 2 통신부(145) 및 구동 모듈(190)을 포함한다.
사용자 인터페이스(120)는 사용자로부터 명령을 입력받고 동작 상태 등을 표시한다. 사용자 인터페이스(120)는 터치 스크린으로 구현 가능하다. 이러한 사용자 인터페이스는 일 실시 예와 동일하여 설명을 생략한다.
제1통신부(140)는 도킹 모드 시에 충전대(200)와 통신을 수행하는 것으로, RF 통신, 적외선 통신, 초음파 통신 중 적어도 하나의 통신을 수행한다.
제2통신부(145)는 외부 기기인 영상 기기와 통신을 수행한다. 즉, 제2통신부(145)는 영상 기기(300)에서 전송된 영상을 수신하고 수신된 영상을 제어부(195)에 전송한다.
구동모듈(190)은 정보의 입출력을 위한 사용자 인터페이스(120)를 구동시키고, 또한 사용자 인터페이스에 입력된 정보 및 수신된 영상에 기초하여 이동 어셈블리(160) 및 청소 툴(170)을 구동시키는 것으로, 제어부(195), 저장부(192) 및 복수의 구동부(193, 194)를 포함한다.
제어부(195)는 사용자 인터페이스(120)에 입력된 청소 모드가 자동 모드라고 판단되면 장애물 검출부(150)에서 검출된 장애물 검출 신호에 기초하여 이동 어셈블리(160) 및 청소 툴(170)의 동작을 제어한다.
제어부(195)는 자동 모드로 청소 시 사용자 인터페이스(120)에 입력된 주행 패턴으로 주행하도록 이동 어셈블리의 휠 모터를 제어한다. 이때, 제어부(195)은 랜덤으로 주행하거나, 사용자 인터페이스(120)를 통해 입력된 주행 패턴으로 주행하도록 휠 모터를 제어한다.
제어부(195)는 인터랙션 모드로 청소 시 사용자 인터페이스(120)에 입력된 주행 패턴으로 주행하도록 이동 어셈블리의 휠 모터를 제어한다. 이때, 제어부(195)는 수신된 영상 내의 핸드 영상에서 핸드의 움직임에 대응하는 주행 패턴으로 주행하거나, 또는 실시간으로 사용자의 핸드를 추종하면서 주행하도록 제어한다.
즉, 제어부(195)는 사용자 인터페이스(120)에 입력된 청소 모드가 인터랙션 모드라고 판단되면 영상기기(300)에서 전송된 영상에 기초하여 이동 어셈블리(160) 및 청소 툴(170)의 동작을 제어한다.
이때 제어부(195)는 영상기기(300)에서 전송된 영상을 영상 처리하여 핸드 영상을 획득하고, 획득된 핸드 영상의 모션을 인식한다. 여기서 모션은 핸드의 위치 및 핸드의 형상을 포함한다.
제어부(195)는 영상을 인식하기 위한 영상 처리부, 모션 인식부, 데이터 베이스부, 이동 계획부를 포함하고, 이들은 일 실시 예와 동일하여 설명을 생략한다.
제어부(195)는 핸드의 위치 변화에 대응하는 이동 거리 및 이동 방향을 확인하고, 확인된 이동 거리 및 이동 방향에 기초하여 휠 모터(163, 164)의 구동을 제어한다.
제어부(195)는 인터랙션 모드로 청소를 수행하면서 영상기기(300)에서 전송된 영상의 핸드 형상이 모드 전환을 위한 형상이라고 판단되면 청소 모드를 자동 모드로 전환한다.
제어부(195)는 자동 모드로 청소를 수행하면서 영상기기(300)에서 전송된 영상의 핸드 형상이 모드 전환을 위한 형상이라고 판단되면 자동 모드에서 인터랙션 모드로 전환하는 것도 가능하다.
또한 제어부(195)는 인터랙션 모드로 청소를 수행하면서 영상기기에서 전송된 영상 내에 핸드 영상이 인식되지 않으면 이동 및 청소 동작이 정지되도록 이동 어셈블리 및 청소 툴의 동작을 정지 제어하고 핸드가 인식되지 않음을 알리는 알림 음을 출력 제어한다.
아울러 제어부(195)는 알림 음을 출력한 후 일정 시간이 경과하면 자동 모드로 전환하는 것도 가능하다.
저장부(192)는 핸드의 이동 거리별 청소 로봇의 이동 거리를 저장한다.
저장부(192)는 위치 변화를 산출하기 위한 일정 시간 등을 저장한다.
제1구동부(193)는 제어부(195)의 명령에 기초하여 이동 어셈블리의 휠 모터(163, 164)를 구동시킨다. 이때 좌우 휠 모터(163, 164)의 회전속도를 달리함으로써 본체(110)의 회전이 가능하도록 한다.
제2구동부(194)는 제어부(195)의 명령에 기초하여 청소 툴(170)의 브러시 모터(173)를 구동시킨다.
영상기기(300)는 2차원 카메라, 3차원 카메라, 적외선 카메라와 같은 이미지 센서를 포함하는 기기로, 영상 수집부(310), 영상 제어부(320) 및 영상 통신부(330)를 포함한다.
영상 수집부(310)는 청소 로봇의 본체(110)의 주변 영상을 수집한다. 여기서 영상 수집부(310)의 촬영 방향은 바닥면과 반대 방향인 상측 방향을 향한다.
영상 제어부(320)는 영상 수집부(310)에서 수집된 영상의 전송을 제어한다.
영상 제어부(320)는 청소 로봇의 청소 모드와 무관하게 영상의 실시간 전송을 제어하는 것도 가능하고, 또한 청소 로봇의 청소 모드가 인터랙션 모드일 때에만 영상의 전송을 제어하는 것도 가능하다.
즉, 영상 수집부에서 수집된 영상은, 청소 모드가 인터랙션 모드일 때 사용자의 의도에 대응하는 제어 명령을 인식하는데 사용되고, 청소 모드가 자동 모드일 때 청소 로봇의 위치를 인식하는데 사용된다.
영상 통신부(330)는 영상 제어부(320)의 명령에 기초하여 영상 수집부(310)에서 수집된 영상을 외부로 전송한다.
도 16은 다른 실시 예에 따른 청소 로봇의 제어 순서도이다.
청소 로봇은 전원이 온 되면 사용자 인터페이스의 표시부를 활성화시킨다.
청소 로봇은 사용자 인터페이스의 입력부를 통해 청소 모드를 입력(221)받는다.
청소 로봇은 입력된 청소 모드가 인터랙션 모드인지 판단(222)하고, 이때 입력된 청소 모드가 자동 모드이면 장애물 검출부(150)에 검출된 장애물 검출 신호에 기초하여 휠을 구동시키고 메인 브러시를 회전시킴으로써 청소 영역을 자동으로 이동하면서 청소를 수행(223)한다.
이때 청소 로봇은 미리 설정된 맵 정보를 이용하여 주행하거나, 또는 사용자에 의해 선택된 주행 패턴으로 주행한다. 아울러 청소 로봇은 랜덤 방식으로 주행하는 것도 가능하다.
청소 로봇은 자동 모드로 청소 영역을 이동하며 모드 전환을 위한 명령이 입력되었는지 판단(224)하고, 모드 전환을 위한 명령이 입력되지 않았다고 판단되면 청소 완료 여부를 판단(225)하고, 청소가 완료되었다고 판단하기 전까지 자동으로 이동하며 청소를 수행하고, 청소가 완료되었다고 판단되면 도킹을 수행(226)한다.
여기서 모드 전환을 위한 명령이 입력되었는지 판단하는 것은, 영상 기기(300)와 통신 가능한 상태인 경우 영상기기(300)에 사용자의 핸드가 인식되는지 판단하고, 사용자의 핸드가 인식되었다고 판단되면 청소 모드를 자동 모드에서 인터랙션 모드로 모드 전환을 위한 명령이 입력되었다고 판단하는 것을 포함한다.
이때 청소 로봇은 인식된 사용자의 핸드 형상이 모드 전환을 지시하는 형상인지 판단하고, 인식된 사용자의 핸드 형상이 모드 전환을 위한 형상이라고 판단되면 모드 전환을 수행하는 것도 가능하다.
아울러 모드 전환을 위한 명령이 입력되었는지 판단하는 것은, 자동 모드로 청소 중 사용자 인터페이스(120)에 인터랙션 모드가 입력되었는지 판단하고, 사용자 인터페이스에 인터랙션 모드가 입력되었다고 판단되면 청소 모드를 자동 모드에서 인터랙션 모드로 모드 전환을 위한 명령이 입력되었다고 판단하는 것을 더 포함한다.
청소 로봇은 사용자 인터페이스를 통해 인터랙션 모드가 입력되었거나, 또는 청소 모드가 자동 모드에서 인터랙션 모드로 전환된 경우, 영상기기(300)와 통신을 수행하고, 영상 기기(300)와 통신이 정상적으로 수행되고 있다고 판단되면 영상 기기(300)를 통해 수집된 영상을 수신하고 수신된 영상에 기초하여 이동하면서 청소를 수행(227)한다.
이를 좀 더 구체적으로 설명한다.
청소 로봇은 사용자 인터페이스(120)를 통해 인터랙션 모드가 입력되면 인터랙션 모드에서 주행 가능한 주행 패턴을 표시한다.
청소 로봇은 사용자에 의해 사용자 설정 패턴이 선택되면 영상기기에 사용자의 핸드가 인식되는지 판단한다. 이때 청소 로봇은 사용자에게 주행 패턴을 설정할 것을 사운드 또는 문자로 지시한다.
그리고 청소 로봇은 영상기기(300)에서 전송된 영상 속에 사용자의 핸드가 인식된다고 판단되면 핸드의 움직임을 추종한다. 이때 미리 설정된 일정 시간 간격으로 핸드의 위치를 인식하고, 일정 시간 간격으로 인식된 위치들을 연결하여 주행 패턴을 설정한다.
청소 로봇은 설정된 주행 패턴을 저장하고, 저장된 주행 패턴에 기초하여 청소 영역을 이동하면서 청소를 수행한다. 이때 청소 로봇은 미리 설정된 크기의 셀 단위로 이동하면서 청소를 수행하는 것도 가능하다.
청소 로봇은 인터랙션 모드가 선택된 상태에서 사용자에 의해 실시간 랜덤이 선택되면 영상기기(300)에서 전송된 영상을 실시간으로 수신하고, 수신된 영상에서 사용자의 핸드를 실시간으로 인식하고 인식된 핸드를 추종하면서 청소를 수행(227)한다.
즉 청소 로봇은 영상 기기(300)에서 전송된 영상을 수신하고 수신된 영상을 영상 처리하여 수집된 영상에서 사용자의 손에 해당하는 핸드 영상을 인식(227a)하고, 인식된 핸드 영상의 모션을 인식(227b)한 후 인식된 모션에 기초하여 동작(227c)한다.
여기서 핸드의 모션은 핸드의 형상 및 핸드의 위치를 포함한다.
핸드의 모션에 기초하여 동작하는 구성은 일 실시예와 동일하여 설명을 생략한다.
청소 로봇은 인터랙션 모드로 청소를 수행하면서 영상기기(300)에서 전송된 영상 속에 핸드가 인식되지 않으면 이동 및 청소 동작이 정지되도록 이동 어셈블리 및 청소 툴의 동작을 정지시키고 핸드가 인식되지 않음을 알리는 알림 음을 출력한다.
아울러 청소 로봇은 알림 음을 출력한 후 일정 시간이 경과하면 자동 모드로 전환하는 것도 가능하다.
청소 로봇은 인터랙션 모드로 청소를 수행하면서 모드 전환을 위한 명령이 입력되는지 판단(228)하고, 모드 전환을 위한 명령이 입력되었다고 판단되면 자동 모드로 청소를 수행하고, 모드 전환을 위한 명령이 입력되지 않았다고 판단되면 청소 완료를 판단(229)하고, 청소 완료 전까지 사용자의 핸드를 추종하면서 청소를 수행한다.
여기서 모드 전환을 위한 명령이 입력되었는지 판단하는 것은, 핸드의 형상이 모드 전환을 위한 형상인지 판단하는 것과, 사용자 인터페이스를 통해 자동 모드가 입력되었거나, 영상부에 손이 일정 시간 동안 인식되지 않았다고 판단하는 것을 포함한다.
청소 로봇은 사용자 인터페이스를 통해 청소 완료 명령이 입력되거나, 도킹 명령이 입력되면 충전대와의 도킹을 수행(226)하고, 도킹이 완료되면 충전을 수행한다.
아울러 청소 로봇은 사용자 핸드 추종을 통해 충전대와 도킹을 수행하는 것도 가능하다.
도 17은 또 다른 실시예에 따른 청소 로봇의 제어 구성도로, 사용자 인터페이스(120), 제1통신부(140), 제 2 통신부(145) 및 구동 모듈(190)을 포함한다.
우선 청소 로봇(100)의 외관을 도 14를 참조하여 간략하게 설명한다.
청소 로봇(100)은 외관을 형성하는 본체(110)와, 본체(110)의 전면에 장착되어 장애물과 충돌 시 충격을 완화시키는 범퍼(111)와, 본체(110)의 상부에 장착되어 동작 정보 및 예약 정보 등을 입력받고 동작 정보를 표시하는 사용자 인터페이스(120)와, 충전대(200)와 통신을 수행하는 제1통신부(140)를 포함한다.
청소 로봇(100)은 본체(110)의 후방에 마련되되 메인 청소 툴의 주변에 마련되어 메인 청소 툴(170)을 통해 집진된 먼지 등의 이물질을 모으는 집진부(112)를 더 포함한다.
아울러 청소 로봇은 본체(110)의 상측면에 형성되고 영상 기기(300)와 같은 외부 기기가 안착되는 안착부(113)를 더 포함하는 것도 가능하다. 즉 안착부(113)는 영상 기기가 외력에 의해 움직이는 것을 방지하기 위한 것이다.
여기서 영상 기기(300)는, 청소 로봇의 주변 영상을 수집하고 수집된 영상 내의 핸드 영상을 인식한 후 인식된 핸드 영상을 분석하여 사용자의 의도에 대응하는 이동 명령 및 제어 명령을 판단하고 판단된 제어 명령을 청소 로봇에 전송하는 기기이다.
아울러 영상 기기(300)는 카메라가 구비된 휴대 단말기일 수 있으며, 이 휴대 단말기는 스마트 폰일 수 있다. 아울러 스마트 폰인 경우 스마트 폰은 사용자의 핸드의 모션을 분석하고, 모션에 대응하는 제어 명령을 청소 로봇에 전송하기 위한 앱을 포함하는 것도 가능하다.
청소 로봇(100)은 본체(110)의 전면 및 좌우 측면에 장착되어 청소 로봇의 전방 및 좌우 측방에 위치한 장애물을 검출하는 장애물 검출부(150)를 더 포함하는 것도 가능하다.
또한 청소 로봇(100)은 본체(110)의 하부에 설치되어 본체(110)를 이동시키는 이동 어셈블리(160)와, 본체(110)의 하부에 설치되어 바닥의 먼지를 쓸거나 비산시키고 쓸리거나 비산된 먼지를 흡입하는 청소 툴(170)과, 각 구성부에 구동을 위한 전력을 공급하는 전원부(180)를 포함한다. 이들은 일 실시 예와 동일하여 자세한 설명을 생략하도록 한다.
사용자 인터페이스(120)는 사용자로부터 명령을 입력받고 동작 상태 등을 표시한다. 사용자 인터페이스(120)는 터치 스크린으로 구현 가능하다. 이러한 사용자 인터페이스는 일 실시 예와 동일하여 설명을 생략한다.
제1통신부(140)는 도킹 모드 시에 충전대(200)와 통신을 수행하는 것으로, RF 통신, 적외선 통신, 초음파 통신 중 적어도 하나의 통신을 수행한다.
제2통신부(145)는 외부 기기인 영상 기기(300)와 통신을 수행한다. 즉, 제2통신부(145)는 영상 기기(300)에서 전송된 동장 명령을 수신하고 수신된 제어 명령을 제어부(196)에 전송한다.
구동모듈(190)은 정보의 입출력을 위한 사용자 인터페이스(120)를 구동시키고, 또한 사용자 인터페이스에 입력된 정보 및 수신된 영상에 기초하여 이동 어셈블리(160) 및 청소 툴(170)을 구동시키는 것으로, 제어부(196), 저장부(192) 및 복수의 구동부(193, 194)를 포함한다.
제어부(196)는 사용자 인터페이스(120)에 입력된 청소 모드가 자동 모드라고 판단되면 장애물 검출부(150)에서 검출된 장애물 검출 신호에 기초하여 이동 어셈블리(160) 및 청소 툴(170)의 동작을 제어한다.
제어부(196)는 자동 모드로 청소 시 사용자 인터페이스(120)에 입력된 주행 패턴으로 주행하도록 이동 어셈블리의 휠 모터를 제어한다. 이때, 제어부(195)은 랜덤으로 주행하거나, 사용자 인터페이스(120)를 통해 입력된 주행 패턴으로 주행하도록 휠 모터를 제어한다.
제어부(196)는 인터랙션 모드로 청소 시 영상 기기(300)에서 전송된 제어 명령에 대응하여 이동 어셈블리(160) 및 청소 툴(170)의 동작을 제어한다.
여기서 제어 명령은 동작을 제어하기 위한 명령으로, 이동, 대기, 도킹, 정지, 모드 전환 등을 포함하고, 이동에 대한 명령일 경우 이동 거리 및 이동 방향의 정보를 포함한다.
제어부(196)는 영상 기기에서 전송된 이동 거리 및 이동 방향을 확인하고, 확인된 이동 거리 및 이동 방향에 기초하여 휠 모터(163, 164)의 구동을 제어한다.
제어부(196)는 인터랙션 모드로 청소를 수행하면서 영상기기(300)에서 전송된 제어 명령이 모드 전환이면 청소 모드를 자동 모드로 전환한다.
제어부(196)는 자동 모드로 청소를 수행하면서 영상기기(300)에서 전송된 제어 명령이 모드 전환이면 청소 모드를 인터랙션 모드로 전환한다.
저장부(192)는 핸드의 이동 거리별 청소 로봇의 이동 거리를 저장한다.
제1구동부(193)는 제어부(196)의 명령에 기초하여 이동 어셈블리의 휠 모터(163, 164)를 구동시킨다. 이때 좌우 휠 모터(163, 164)의 회전속도를 달리함으로써 본체(110)의 회전이 가능하도록 한다.
제2구동부(194)는 제어부(196)의 명령에 기초하여 청소 툴(170)의 브러시 모터(173)를 구동시킨다.
영상기기(300)는 2차원 카메라, 3차원 카메라, 적외선 카메라와 같은 이미지 센서를 포함하는 기기로, 청소 로봇의 본체 상측에 위치한다.
이러한 영상 기기(300)는 영상 수집부(340), 영상 제어부(350) 및 영상 통신부(360)를 포함한다.
영상 수집부(340)는 청소 로봇의 본체(110)의 주변 영상을 수집한다. 여기서 영상 수집부(330)의 촬영 방향은 바닥면과 반대 방향인 상측 방향을 향한다.
영상 제어부(350)는 영상 수집부(340)에서 수집된 영상을 영상 처리하여 핸드 영상을 획득하고, 획득된 핸드 영상의 모션을 인식한다. 여기서 모션은 핸드의 위치 및 핸드의 형상을 포함한다.
영상 제어부(350)는 영상을 인식하기 위한 영상 처리부, 모션 인식부, 데이터 베이스부, 이동 계획부를 포함하고, 이들은 일 실시 예의 제어부(191) 내의 영상 처리부, 모션 인식부, 데이터 베이스부, 이동 계획부와 동일하여 설명을 생략한다.
영상 제어부(350)는 인터랙션 모드로 청소 수행 중 인식된 모션에 대한 제어 명령의 전송을 제어한다.
여기서 제어 명령은 동작을 제어하기 위한 명령으로, 이동, 대기, 도킹, 정지, 모드 전환 등을 포함하고, 이동에 대한 명령일 경우 이동 거리 및 이동 방향의 정보를 포함한다.
영상 제어부(350)는 인터랙션 모드로 청소 수행 중 영상의 핸드 형상이 모드 전환을 위한 형상이라고 판단되면 모드 전환을 위한 명령의 전송을 제어하고, 영상 수집부의 모드를 정지 제어하는 것도 가능하다.
또한 영상 제어부(350)는 인터랙션 모드로 청소를 수행하면서 수집된 영상 내에 핸드 영상이 인식되지 않으면 이동 및 청소 동작의 정지 명령의 전송을 제어한다.
아울러 영상 제어부(350)는 핸드가 인식되지 않음을 사용자에게 알리는 알림 음이 출력되도록 제어하는 것도 가능하고, 또한 알림 음을 출력한 후 일정 시간이 경과하면 자동 모드로 모드 전환 명령을 전송하는 것도 가능하다.
영상 제어부(350)는 청소 로봇이 자동 모드로 청소 수행 시 청소 로봇의 본체 주변의 영상의 실시간 전송을 제어하는 것도 가능하고, 또한 청소 로봇의 청소 모드가 인터랙션 모드일 때에만 영상을 수집하도록 영상 수집부의 동작을 제어하고, 제어 명령의 전송을 제어하는 것도 가능하다.
즉, 영상 기기(300)는 청소 모드가 인터랙션 모드일 때 사용자의 의도에 대응하는 제어 명령을 인식하기 위해 본체 주변의 영상을 수집하고, 청소 모드가 자동 모드일 때 본체의 위치를 인식할 수 있도록 본체 주변의 영상을 수집하여 청소 로봇에 전송한다.
영상 통신부(330)는 영상 제어부(320)의 명령에 기초하여 제어 명령을 외부의 청소 로봇(100)으로 전송한다.
도 18은 또 다른 실시 예에 따른 청소 로봇의 제어 순서도이다.
청소 로봇은 전원이 온 되면 사용자 인터페이스의 표시부를 활성화시킨다.
청소 로봇은 사용자 인터페이스의 입력부를 통해 청소 모드를 입력(231)받는다.
청소 로봇은 입력된 청소 모드가 인터랙션 모드인지 판단(232)하고, 이때 입력된 청소 모드가 자동 모드이면 장애물 검출부(150)에 검출된 장애물 검출 신호에 기초하여 휠을 구동시키고 메인 브러시를 회전시킴으로써 청소 영역을 자동으로 이동하면서 청소를 수행(233)한다.
아울러 청소 로봇은 자동 모드로 청소 수행 시 영상 기기(300)로부터 본체 주변의 영상을 제공받고, 본체 주변의 영상을 이용하여 주행하는 것도 가능하다.
청소 로봇은 자동 모드로 청소 영역을 이동하며 모드 전환을 위한 명령이 입력되었는지 판단(234)하고, 모드 전환을 위한 명령이 입력되지 않았다고 판단되면 청소 완료 여부를 판단(235)하고, 청소가 완료되었다고 판단하기 전까지 자동으로 이동하며 청소를 수행하고, 청소가 완료되었다고 판단되면 도킹을 수행(236)한다.
여기서 모드 전환을 위한 명령이 입력되었는지 판단하는 것은, 영상 기기(300)에서 모드 전환을 위한 명령이 입력되었는지 판단하는 것을 포함한다.
이때 영상 기기는 인식된 사용자의 핸드 형상이 모드 전환을 지시하는 형상인지 판단하고, 인식된 사용자의 핸드 형상이 모드 전환을 위한 형상이라고 판단되면 청소 로봇으로 모드 전환을 위한 명령을 전송한다.
아울러 모드 전환을 위한 명령이 입력되었는지 판단하는 것은, 자동 모드로 청소 중 사용자 인터페이스(120)에 인터랙션 모드가 입력되었는지 판단하고, 사용자 인터페이스에 인터랙션 모드가 입력되었다고 판단되면 청소 모드를 자동 모드에서 인터랙션 모드로 모드 전환을 위한 명령이 입력되었다고 판단하는 것을 더 포함한다.
청소 로봇은 사용자 인터페이스를 통해 인터랙션 모드가 입력되었거나, 또는 청소 모드가 자동 모드에서 인터랙션 모드로 전환된 경우, 영상기기(300)와 통신을 수행하고, 영상 기기(300)와 통신이 정상적으로 수행되고 있다고 판단되면 영상 기기(300)로부터 실시간으로 제어 명령을 수신하고 수신된 제어 명령에 기초하여 동작을 수행(237)한다.
이때 청소 로봇은 사용자 인터페이스(120)를 통해 인터랙션 모드가 입력되면 인터랙션 모드에서 주행 가능한 주행 패턴을 표시한다.
청소 로봇은 사용자에 의해 사용자 설정 패턴이 선택되면 영상기기에서 설정된 주행 패턴을 제공받고, 영상 기기에서 제공된 주행패턴을 저장하고, 저장된 주행패턴으로 이동하며 청소를 수행한다.
이때 영상 기기(300)는 영상을 수집하고 수집된 영상 속에 사용자의 핸드를 인식하고, 인식된 핸드의 움직임을 추종한 후 추종된 핸드의 움직임을 연결하여 주행 패턴을 형성한다.
청소 로봇은 인터랙션 모드가 선택된 상태에서 사용자에 의해 실시간 랜덤이 선택되면 영상기기(300)에서 전송된 제어 명령에 기초하여 이동하면서 청소를 수행(237)한다.
여기서 이동 시 제어 명령은 이동 거리 및 이동 방향에 대한 정보를 포함한다.
청소 로봇은 인터랙션 모드로 청소를 수행하면서 영상기기(300)로부터 정지 명령이 수신되면 정지 동작을 수행하고, 영상 기기(300)로부터 도킹 명령이 수신되면 도킹 동작을 수행하며, 영상 기기(300)로부터 모드 전환을 위한 명령이 입력되면 현재 청소 모드와 다른 모드로 모드 전환을 수행한다.
청소 로봇은 인터랙션 모드로 청소를 수행하면서 모드 전환을 위한 명령이 입력되는지 판단(238)하고, 모드 전환을 위한 명령이 입력되었다고 판단되면 자동 모드로 청소를 수행하고, 모드 전환을 위한 명령이 입력되지 않았다고 판단되면 청소 완료를 판단(239)하고, 청소 완료 전까지 사용자의 핸드를 추종하면서 청소를 수행한다.
여기서 모드 전환을 위한 명령이 입력되었는지 판단하는 것은, 영상 기기로부터 모드 전환을 위한 명령이 수신되었는지 판단하는 것과, 사용자 인터페이스를 통해 자동 모드가 입력되었는지 판단하는 것을 포함한다.
청소 로봇은 사용자 인터페이스를 통해 청소 완료 명령이 입력되거나, 도킹 명령이 입력되면 충전대와의 도킹을 수행(236)하고, 도킹이 완료되면 충전을 수행한다.
아울러 청소 로봇은 사용자 핸드 추종을 통해 충전대와 도킹을 수행하는 것도 가능하다.
이와 같이 인터랙션 기술을 청소 로봇에 적용함으로써 적은 물리적인 힘으로 청소를 수행할 수 있고, 또한 청소 로봇을 사용자 의도대로 움직일 수 있어 사용자의 노동력을 감소시킬 수 있고 또한 사용자의 만족도를 향상시킬 수 있으며 직관적인 인터페이스를 제공할 수 있다.
또한 사용자의 핸드 모션을 이용하여 청소모드를 용이하게 변경할 수 있다.
이러한 청소 로봇의 기술을 응용하여 잔디 깎기, 휠체어 등의 이동수단에 확대 적용하는 것도 가능하다.
도 19는 또 다른 실시 예에 따른 청소 로봇의 제어 구성도로, 청소 로봇은 사용자 인터페이스(120), 영상부(130), 통신부(140) 및 구동모듈(190)을 포함한다.
사용자 인터페이스(120)는 사용자로부터 명령을 입력받고 동작 상태 등을 표시한다.
이러한 사용자 인터페이스(120)는 청소 예약 정보, 청소 시작/종료, 운전 모드 및 주행 패턴 등을 입력받는 입력부(121)와, 청소 예약 정보, 충전 상태, 집진 상태, 주행 패턴 및 운전 모드 등을 표시하는 표시부(122)를 포함한다.
여기서 운전 모드는 자동 모드와 인터랙션 모드를 갖는 청소 모드, 대기 모드, 도킹 모드 등을 포함한다.
사용자 인터페이스(120)는 터치 스크린으로 구현 가능하다.
영상부(130)는 본체(110)의 주변 영상을 수집한다. 여기서 영상부(130)의 촬영 방향은 바닥면과 반대 방향인 상측 방향을 향한다.
영상부(130)는 주행 방향의 전방 측을 향하는 것도 가능하다.
이러한 영상부(130)는 2차원 카메라, 3차원 카메라, 적외선 카메라 등을 포함한다.
영상부(130)는 청소 모드가 인터랙션 모드일 때 제어 명령을 획득하기 위해 본체 주변의 영상을 수집하고, 청소 모드가 자동 모드일 때 본체의 위치 정보 및 장애물을 검출하기 위해 본체 주변의 영상을 수집한다.
즉, 청소 모드가 인터랙션 모드일 때 수집된 영상은 사용자의 손의 영상 및 그 주변의 영상으로, 사용자의 손 영상은 사용자의 의도에 대응하는 제어 명령을 인식하는데 사용되고 손의 주변 영상은 본체의 위치를 인식하는데 사용되며, 청소 모드가 자동 모드일 때 수집된 영상은 본체 주변의 영상으로 본체의 위치 및 장애물을 인식하는데 사용된다.
통신부(140)는 도킹 모드 시에 충전대(200)와 통신을 수행하는 것으로, RF 통신, 적외선 통신, 초음파 통신 중 적어도 하나의 통신을 수행한다.
아울러 통신부(140)는 청소 로봇의 동작을 조작하는 리모컨(미도시)과 통신을 수행하는 것도 가능하다.
청소 로봇(100)은 본체(110)에 장착되어 청소 영역의 장애물을 검출하기 위한 장애물 검출부(150)를 포함하는 것도 가능하다.
청소 로봇(100)은 영상부(130)에서 수집된 영상 정보와, 장애물 검출부(150)에서 검출된 장애물의 검출 정보들을 이용하여 맵을 생성하고, 자동 모드 시에 생성된 맵을 이용하여 주행하는 것도 가능하다.
구동모듈(190)은 정보의 입출력을 위한 사용자 인터페이스(120), 영상 수집 동작을 위한 영상부(130)를 구동시키고, 또한 사용자 인터페이스(120)에 입력된 정보 및 영상부(130)에 수집된 영상에 기초하여 이동 어셈블리(160) 및 청소 툴(170)을 구동시키는 것으로, 제어부(197), 저장부(192) 및 복수의 구동부(193, 194)를 포함한다.
제어부(197)는 사용자 인터페이스(120)에 입력된 청소 모드가 자동 모드라고 판단되면 영상부(130)에서 수집된 영상 및 장애물 검출부(150)에서 검출된 장애물 검출 신호에 기초하여 이동 어셈블리(160) 및 청소 툴(170)의 동작을 제어한다.
제어부(197)는 인터랙션 모드로 청소 시 사용자와의 인터랙션을 수행하며 주행하도록 이동 어셈블리(160)를 제어한다.
이때, 청소 로봇은 영상부(130)를 통해 수집된 핸드 영상에서 핸드의 움직임에 대응하는 주행 패턴으로 주행하거나, 또는 실시간으로 사용자의 핸드를 추종하면서 주행하거나, 또는 손가락 수에 대응하는 영역으로 바로 주행한다.
제어부(197)는 영상부(130)에서 수집된 영상을 영상 처리하여 핸드 영상을 획득하고, 획득된 핸드 영상의 모션을 인식한다. 여기서 모션은 핸드의 위치 및 핸드의 형상을 포함한다.
제어부(197)는 핸드의 형상에 대응하는 제어 명령을 인식하고 인식된 제어 명령을 수행하도록 이동 어셈블리(160) 및 청소 툴(170) 중 적어도 하나의 동작을 제어한다.
제어부(197)는 제어 명령 인식 시 핸드의 형상에서 편 손가락의 수를 인식하고, 인식된 손가락의 수에 대응하는 영역을 판단하며 판단된 영역으로 이동하도록 이동 어셈블리(160)를 제어한다. 아울러 제어부(197)는 본체의 이동 시 청소 툴(170)의 동작을 정지 제어하는 것도 가능하다.
제어부(197)는 판단된 영역으로 이동이 완료되면 자동 모드로 청소를 수행하거나, 또는 사용자의 핸드가 인식되면 인식된 핸드의 모션에 기초하여 주행 및 청소 중 적어도 하나의 동작을 제어한다.
또한 제어부(197)는 제어 명령 인식 시 핸드의 형상이 가상 벽 설정을 위한 형상인지 판단하고, 가상 벽 설정을 위한 형상이라고 판단되면 가상 벽 설정을 위한 핸드의 형상이 인식된 시작 위치부터 종료 위치까지 위치 인식을 수행하고, 인식 위치를 가상 벽 위치로 설정 및 저장하고, 설정된 가상 벽 위치로 본체가 이동되지 않도록 이동 어셈블리(160)의 동작을 제어한다.
제어부(197)는 가상 벽 설정 시, 가상 벽 설정을 위한 핸드의 형상이 인식된 시작 위치부터 종류 위치까지의 이동 어셈블리의 이동 방향과 거리 등의 이동 정보를 획득하고, 획득된 이동 정보를 맵 정보에 적용함으로써 청소 영역에서의 가상 벽의 위치를 설정한다.
또한 제어부(197)는 가상 벽 설정 시, 핸드의 형상이 인식된 시작 위치부터 종류 위치까지 핸드 주변의 영상을 획득하고, 획득된 핸드 주변의 영상에서 특징적인 영상 정보들을 수집하고, 특징적인 영상 정보를 가진 위치들을 가상 벽의 위치로 설정하는 것도 가능하다.
제어부(197)는 설정된 가상 벽 위치로 이동하지 않도록 이동 어셈블리를 제어하면서 청소가 이루어지도록 청소 툴(170)을 제어하는 것도 가능하다.
제어부(197)는 일 실시 예와 동일하게 핸드 영상에서 핸드의 형상을 인식하고, 인식된 핸드의 형상과 대응하는 제어 명령을 확인하고, 확인된 제어 명령, 예를 들어 대기 및 도킹 등을 수행하는 것도 가능하다.
저장부(192)는 핸드의 형상별 기준 영상 정보를 저장하고, 복수의 핸드의 형상에 각각 대응하는 제어 명령을 저장한다.
저장부(192)는 핸드의 이동 거리별 청소 로봇의 이동 거리를 저장한다.
저장부(192)는 복수의 위치에 각각 대응하는 핸드의 형상 정보를 저장하고, 위치 간의 이동 경로를 저장하는 것도 가능하다. 여기서 복수의 위치는, 청소 영역의 룸이나, 공간일 수 있다.
예를 들어, 저장부(192)는 핸드의 형상이 손가락 한 개를 편 형상이면 룸1, 핸드의 형상이 손가락 두 개를 편 형상이면 룸2, 핸드의 형상이 손가락 세 개를 편 형상이면 룸3, 핸드의 형상이 손가락 네 개를 편 형상이면 룸4 등과 같이, 핸드의 손가락 수별 형상에 대응하는 룸 명을 저장한다.
또한 저장부(192)는 맵 정보를 저장하는 것도 가능하고, 또한 맵 정보 상에 가상 벽의 위치를 저장하는 것도 가능하다.
또한 저장부(192)는 가상 벽의 위치에 대응하는 영상 정보를 저장하는 것도 가능하다.
제1구동부(193)는 제어부(197)의 명령에 기초하여 이동 어셈블리(160)의 휠 모터(163, 164)를 구동시킨다. 이때 좌우 휠 모터(163, 164)의 회전속도를 달리함으로써 본체(110)의 회전이 가능하도록 한다.
제2구동부(194)는 제어부(197)의 명령에 기초하여 청소 툴(170)의 브러시 모터(173)를 구동시킨다.
도 20은 또 다른 실시 예에 따른 청소 로봇의 제어 순서도이다.
청소 로봇은 전원이 온 되면 사용자 인터페이스의 표시부(122)를 활성화시킨다.
청소 로봇은 사용자 인터페이스의 입력부를 통해 청소 모드를 입력(241)받는다.
청소 로봇은 입력된 청소 모드가 인터랙션 모드인지 판단(242)하고, 입력된 청소 모드가 자동 모드라고 판단되면 장애물 검출부(150)에 검출된 장애물 검출 신호에 기초하여 휠을 구동시키고 메인 브러시를 회전시킨다. 이를 통해 청소 로봇은 청소 영역을 자동으로 이동하면서 청소를 수행(243)한다.
청소 로봇은 자동 모드로 청소 영역을 이동하며 모드 전환을 위한 명령이 입력되었는지 판단(244)하고, 모드 전환을 위한 명령이 입력되지 않았다고 판단되면 청소 완료 여부를 판단(245)하고, 청소가 완료되었다고 판단하기 전까지 자동으로 이동하며 청소를 수행하고, 청소가 완료되었다고 판단되면 청소 툴을 정지시키고 충전대와의 도킹을 수행(246)한다.
청소 로봇은 사용자 인터페이스를 통해 인터랙션 모드가 입력되었거나, 또는 청소 모드가 자동 모드에서 인터랙션 모드로 전환된 경우, 영상부(130)를 통해 영상을 수집(247)하고 수집된 영상에서 핸드의 모션을 인식(248)하고, 인식된 핸드의 모션에 기초하여 이동 및 청소 중 적어도 하나의 동작을 수행한다. 여기서 핸드의 모션은 핸드의 형상 및 핸드의 위치를 포함한다.
핸드의 모션에 기초하여 동작하는 구성을 좀 더 구체적으로 설명한다.
청소 로봇은 핸드 영상에 기초하여 핸드의 형상을 인식하고, 핸드의 형상에 대응하는 영상 정보를 생성한다.
다음 청소 로봇은 생성된 핸드 형상의 영상 정보와 저장부(192)에 저장된 형상별 기준 영상 정보를 비교함으로써 현재 생성된 영상 정보에서 핸드의 형상을 인식하고, 인식된 핸드의 형상과 대응하는 제어 명령을 확인한다.
이때 청소 로봇은 확인된 제어 명령이 위치 이동 명령인지 판단(249)한다.
즉, 청소 로봇은 인식된 핸드의 형상이 어느 하나의 위치에 대응하는 형상이라고 판단되면 위치 이동 명령으로 판단하고, 인식된 핸드의 형상에 대응하는 위치를 확인한 후 확인된 위치로 이동(250)한다.
이를 도 21을 참조하여 설명한다.
도 21에 도시된 바와 같이 청소 로봇은 핸드의 형상이 손가락 한 개를 편 형상이면 룸1, 핸드의 형상이 손가락 두 개를 편 형상이면 룸2, 핸드의 형상이 손가락 세 개를 편 형상이면 룸3, 핸드의 형상이 손가락 네 개를 편 형상이면 룸4 등과 같이, 편 손가락의 수의 형상에 각각 대응하는 룸 명을 저장하고 있는 상태에서, 인식된 핸드의 형상이 손가락 세 개를 편 형상이라고 판단되면 룸 3으로의 위치 이동 명령으로 판단하고, 현재 위치인 룸1에서 룸3으로 이동을 수행한다.
이때 청소 로봇은 맵 정보 및 위치 간의 이동 경로에 기초하여 룸1에서 룸3으로 이동이 가능하다.
청소 로봇은 확인된 위치로 이동이 완료되면 수집된 영상에 핸드가 존재하는지 판단하고, 핸드가 존재하면 핸드의 움직임을 추종하며 청소를 수행한다.
아울러 청소 로봇은 수집된 영상 내에 핸드가 존재하지 않는다고 판단되면 청소 모드를 자동 모드로 전환한 후 자동으로 이동하면서 청소를 수행하는 것도 가능하다.
청소 로봇은 제어 명령이 위치 이동 명령이 아니라고 판단되면 인식된 핸드의 형상이 가상 벽 설정을 위한 형상인지 판단(251)한다.
즉 청소 로봇은 제어명령이 가상 벽 설정 명령인지 판단하고 제어명령이 가상 벽 설정 명령이라고 판단되면 가상 벽 설정을 위한 핸드의 형상이 인식된 시작 시점의 시작 위치에서 가상 벽 설정을 위한 핸드의 형상의 인식이 종료된 종료 시점의 종료 위치까지를 가상 벽 위치로 설정(252)한다.
이를 도 22를 참조하여 설명한다. 아울러 가상 벽 설정 명령에 대응하는 핸드의 형상은 일정 시간 동안 흔들리는 주먹의 형상으로 가정한다.
도 22에 도시된 바와 같이, 청소 로봇은 인식된 핸드의 형상이 주먹을 쥔 형상이라고 판단되면, 이 주먹의 형상이 일정 시간 동안 흔들리는지 판단한다.
다음 청소 로봇은 주먹의 형상이 일정 시간 동안 흔들렸다고 판단되면 가상 벽 설정 명령이라고 판단하고, 일정 시간 동안 주먹이 흔들린 시점(t1)에서의 위치를 시작 위치(w1)로 인식하고, 핸드의 형상, 즉 주먹 형상을 계속적으로 추종한다.
다음 청소 로봇은 주먹 형상의 핸드를 계속적으로 추종하면서 일정 시간 동안 주먹 형상이 흔들리는지 판단하고, 추종 중 일정 시간 동안 주먹 형상이 흔들렸다고 판단되면 일정 시간 동안 주먹이 흔들린 시점(t2)에서의 위치를 종료 위치(w2)로 인식하고, 시작 위치(w1)와 종료 위치(s2)를 연결하여 가상 벽으로 설정한다.
또는 추종 중 핸드가 정지한 시점의 위치를 종료 위치로 인식하는 것도 가능하다.
청소 로봇은 가상 벽 설정이 완료되면 가상 벽의 위치를 저장한다. 이때 청소 로봇은 맵(map) 정보에 가상 벽의 위치 정보를 매칭시킨다.
또한 청소 로봇은 가상 벽의 위치에서 수집된 영상 정보를 저장하는 것도 가능하다.
이 후 청소 로봇은 설정된 가상 벽 위치를 회피하면서 청소를 수행한다.
즉, 청소 로봇은 수집된 영상에 핸드가 존재하는지 판단하고, 핸드가 존재하면 핸드의 움직임을 추종하며 청소를 수행하되, 이동 중인 위치가 가상 벽의 위치이면 가상 벽 쪽으로 진입하지 않도록 가상 벽을 피하면서 주행한다.
청소 로봇은 수집된 영상 내에 핸드가 존재하지 않는다고 판단되면 청소 모드를 자동 모드로 전환한 후 자동으로 이동하면서 청소를 수행하는 것도 가능하다. 이때 역시 이동 중인 위치가 가상 벽의 위치이면 가상 벽 쪽으로 진입하지 않도록 가상 벽을 피하면서 주행한다.
반면 청소 로봇은 제어 명령이 가상 벽 설정 명령이 아니라고 판단되면 실시간으로 핸드의 위치를 추종하며 청소를 수행(253)한다.
아울러 청소 로봇은 실시간으로 핸드의 위치를 추종하며 청소하기 전에, 위치 이동 명령, 가상벽 설정 명령 이외의 제어 명령에 대응하는 동작을 수행하는 것도 가능하다.
예를 들어, 청소 로봇은 인식된 핸드의 형상이 손을 다 쥔 형상이면 본체가 정지하도록 휠 모터 및 브러시 모터의 구동을 정지시키며, 인식된 핸드의 형상이 손가락 다섯 개를 다 편 형상인 상태에서 일정 시간 동안 핸드를 흔드는 형상이면 도킹이 수행되도록 휠 모터를 구동시키고 브러시 모터의 구동을 정지시킨다.
다음 청소 로봇은 인터랙션 모드로 청소를 수행하면서 모드 전환을 위한 명령이 입력되는지 판단(254)하고, 모드 전환을 위한 명령이 입력되었다고 판단되면 자동 모드로 청소를 수행하고, 모드 전환을 위한 명령이 입력되지 않았다고 판단되면 청소 완료를 판단(255)하고, 청소 완료 전까지 사용자의 핸드를 추종하면서 청소를 수행한다.
아울러 청소 로봇은 인터랙션 모드로 청소를 수행하면서 영상부(130)에서 수집된 영상 속에 핸드가 인식되지 않으면 이동 및 청소 동작이 정지되도록 이동 어셈블리 및 청소 툴의 동작을 정지시키고 핸드가 인식되지 않음을 알리는 알림 음을 출력하는 것도 가능하다. 이때 청소 로봇은 알림 음을 출력한 후 일정 시간이 경과하면 자동 모드로 전환하는 것도 가능하다.
다음 청소 로봇은 사용자 인터페이스를 통해 청소 완료 명령이 입력되거나, 도킹 명령이 입력되면 충전대와의 도킹을 수행(246)하고, 도킹이 완료되면 충전을 수행한다.
아울러 청소 로봇은 사용자 핸드 추종을 통해 충전대와 도킹을 수행하는 것도 가능하다.
이와 같이 핸드의 형상에 기초하여 위치를 이동함으로써 공간 이동이 빠르고 용이하며 또한 핸드의 형상에 기초하여 가상 벽을 설정함으로써 가상 벽 설정을 위한 비컨을 없앨 수 있어 원가를 절감할 수 있다.
100: 청소 로봇 110: 본체
120: 사용자 인터페이스 130: 영상부
140: 통신부 150: 장애물 검출부
160: 이동 어셈블리 170: 청소 툴
180: 전원부 200: 충전대
300: 영상 기기

Claims (38)

  1. 본체;
    상기 본체를 이동시키는 이동 어셈블리;
    상기 본체의 하부에 마련되어 바닥 면의 이물질을 수집하는 청소 툴;
    상기 본체 주변의 영상을 수집하는 영상부;
    상기 수집된 영상을 영상 처리하여 핸드 모션을 인식하고, 상기 핸드 모션에 대응하는 제어 명령을 확인하고, 상기 확인된 제어 명령에 기초하여 상기 이동 어셈블리 및 상기 청소 툴 중 적어도 하나의 동작을 제어하는 제어부를 포함하고,
    상기 제어부는, 상기 확인된 제어 명령이 가상벽 설정 명령이면, 가상 벽 설정을 위한 핸드 모션이 인식된 시작 시점의 시작 위치와 종료 시점의 종료 위치를 인식하고, 상기 인식된 시작 위치와 종료 위치를 연결하여 가상 벽을 설정하는 청소 로봇.
  2. 제 1 항에 있어서,
    상기 핸드 모션은, 핸드 위치 및 핸드 형상을 포함하고,
    상기 제어 명령은, 상기 핸드 위치에 대응하는 이동 명령 및 상기 핸드 형상에 대응하는 동작 명령을 포함하는 청소 로봇.
  3. 제 2 항에 있어서, 상기 동작 명령은,
    상기 본체의 이동 동작, 정지 동작, 도킹 동작, 대기 동작, 청소 종료, 위치 이동 및 모드 전환 동작 중 적어도 하나를 더 포함하는 청소 로봇.
  4. 제 2 항에 있어서, 상기 제어부는,
    상기 핸드 위치의 변화를 시간에 따라 확인하고, 확인된 위치 변화에 기초하여 상기 핸드의 이동 거리 및 이동 방향을 판단하고 상기 핸드의 이동 거리 및 이동 방향에 기초하여 상기 본체의 이동 거리 및 이동 방향을 제어하는 청소 로봇.
  5. 제 4 항에 있어서, 상기 제어부는,
    상기 시간 및 이동 거리에 기초하여 핸드의 이동 속도를 판단하고, 상기 판단된 핸드의 이동 속도에 기초하여 상기 본체의 이동 속도를 제어하는 청소 로봇.
  6. 제 2 항에 있어서,
    스스로 이동하면서 청소하는 자동 모드와, 상기 핸드 모션에 기초하여 이동하면서 청소하는 인터랙션 모드를 포함하고,
    상기 제어부는, 상기 핸드의 형상이 모드 전환을 위한 형상이라고 판단되면 자동 모드와 인터랙션 모드 상호 간의 모드를 전환 제어하는 청소 로봇.
  7. 제 6 항에 있어서, 상기 제어부는,
    상기 수집된 영상에 핸드 영상이 인식되지 않으면 인터랙션 모드를 종료 제어하는 청소 로봇.
  8. 제 7 항에 있어서, 상기 제어부는,
    상기 인터랙션 모드를 종료하고 일정 시간이 경과되면 청소 모드를 자동 모드로 전환 제어하는 청소 로봇.
  9. 제 1 항에 있어서, 상기 제어부는,
    주행 패턴 설정 명령이 입력되면 상기 핸드의 시간에 따른 위치를 인식하고, 인식된 위치를 연결하여 주행 패턴을 설정하는 청소 로봇.
  10. 제 1 항에 있어서, 상기 영상부는,
    상기 본체의 상측에 위치하고, 상기 본체의 상측 방향을 촬영하는 청소 로봇.
  11. 본체;
    사용자 입력을 수신하는 입력부;
    상기 본체를 이동시키는 이동 어셈블리;
    상기 본체의 하부에 마련되어 바닥 면의 이물질을 수집하는 청소 툴;
    상기 본체 주변의 영상을 수집하는 영상부;
    상기 수집된 영상에서 마커를 인식하고, 상기 인식된 마커의 위치 변화를 확인하고 상기 확인된 마커의 위치 변화에 기초하여 상기 본체의 이동 방향 및 이동 거리를 계획하고, 상기 계획된 본체의 이동 방향 및 이동 거리에 기초하여 상기 이동 어셈블리의 동작을 제어하고, 상기 청소 툴의 동작을 제어하는 제어부를 포함하고,
    상기 제어부는, 상기 입력부에 수신된 사용자 입력이 주행 패턴의 설정 명령이면 상기 수집된 영상에서 마커를 인식하고, 상기 인식된 마커의 위치를 확인하고 상기 확인된 마커의 위치를 연결하여 주행패턴을 생성 및 설정하고, 상기 입력부에 수신된 사용자 입력이 자동 모드이면 상기 설정된 주행패턴에 기초하여 상기 이동 어셈블리의 동작을 제어하고 상기 청소 툴의 동작을 제어하는 청소 로봇.
  12. 제 11 항에 있어서, 상기 제어부는,
    상기 마커가 이동하는 시간 및 상기 마커가 이동한 이동 거리에 기초하여 상기 마커의 이동 속도를 판단하고, 상기 판단된 마커의 이동 속도에 기초하여 상기 본체의 이동 속도를 제어하는 청소 로봇.
  13. 제 11 항에 있어서, 상기 제어부는,
    상기 수집된 영상에서 마커가 인식되지 않으면 상기 자동 모드의 수행을 제어하는 청소 로봇.
  14. 본체;
    상기 본체를 이동시키는 이동 어셈블리;
    상기 본체의 하부에 마련되어 바닥 면의 이물질을 수집하는 청소 툴;
    외부의 영상 기기와 통신을 수행하는 통신부;
    상기 통신부에 수신된 영상을 영상 처리하고 상기 영상 처리된 영상에서 사용자의 핸드 영상을 인식하고, 상기 인식된 핸드 영상에서 펴진 손가락의 수를 확인하고 상기 확인된 펴진 손가락의 수에 대응하는 위치를 확인하고, 상기 확인된 위치로 이동하도록 상기 이동 어셈블리의 동작을 제어하고, 청소 모드를 수행할 때 상기 영상 처리된 영상에서 핸드 모션을 인식하고, 상기 인식된 핸드 모션에 대응하는 제어 명령을 확인하고 상기 확인된 제어 명령에 기초하여 상기 본체의 이동 방향 및 이동 거리를 계획하고, 상기 계획된 이동 방향 및 이동 거리에 기초하여 상기 이동 어셈블리와 상기 청소 툴의 동작을 제어하는 제어부를 포함하는 청소 로봇.
  15. 삭제
  16. 삭제
  17. 제 14 항에 있어서, 상기 제어부는,
    상기 인식된 핸드 모션에서 핸드 형상을 인식하고 인식된 핸드 형상에 대응하는 동작 명령을 확인하여 상기 동작 명령이 수행되도록 상기 이동 어셈블리 및 상기 청소 툴 중 적어도 하나의 동작을 제어하고,
    상기 동작 명령은, 상기 본체의 정지 동작, 도킹 동작, 대기 동작, 청소 종료, 가상 벽 설정 및 모드 전환 동작 중 적어도 하나를 포함하는 청소 로봇.
  18. 본체;
    상기 본체를 이동시키는 이동 어셈블리;
    상기 본체 주변의 영상을 수집하는 영상부;
    상기 수집된 영상에서 핸드 영상을 인식하고, 상기 핸드 영상의 움직임을 추종하기 위한 이동 거리 및 이동 방향을 계획하기 위해 상기 핸드 영상의 위치 변화를 확인하고 상기 확인된 위치 변화에 기초하여 상기 이동 어셈블리의 동작을 제어하는 제어부를 포함하고,
    상기 제어부는, 상기 인식된 핸드 영상에서 핸드 형상을 인식하고 상기 인식된 핸드 형상에 대응하는 동작 명령을 확인하고 상기 확인된 동작 명령이 가상벽 설정 명령이면, 가상 벽 설정을 위한 핸드 형상이 인식된 시작 시점의 시작 위치와 종료 시점의 종료 위치를 인식하고, 상기 인식된 시작 위치와 종료 위치를 연결하여 가상 벽을 설정하는 청소 로봇.
  19. 삭제
  20. 제 18 항에 있어서, 상기 제어부는,
    상기 핸드 영상의 위치 변화가 전방으로 이동하는 위치 변화이면 상기 본체가 전진하도록 상기 이동 어셈블리를 제어하고, 상기 핸드 영상의 위치 변화가 후방으로 이동하는 위치 변화이면 상기 본체가 후진하도록 상기 이동 어셈블리를 제어하고, 상기 핸드의 위치 변화가 회전 이동하는 위치 변화이면 상기 본체가 회전하도록 상기 이동 어셈블리를 제어하는 청소 로봇.
  21. 제 18 항에 있어서, 상기 제어부는,
    상기 핸드 영상이 이동한 거리와 동일한 거리로 상기 본체의 이동을 제어하고, 상기 핸드 영상이 이동한 방향과 동일한 방향으로 상기 본체의 이동을 제어하는 청소 로봇.
  22. 본체의 하부에 각각 마련된 이동 어셈블리와 청소 툴을 갖는 청소 로봇의 제어 방법에 있어서,
    청소 모드를 확인하고,
    상기 확인된 청소 모드가 인터랙션 모드인지 판단하고,
    상기 청소 모드가 인터랙션 모드라고 판단되면 영상부를 이용하여 상기 본체 주변의 영상을 수집하고,
    상기 수집된 영상에서 사용자의 핸드 영상을 인식하고,
    상기 인식된 핸드 영상에서 핸드 모션을 인식하고,
    상기 핸드 모션에 기초하여 상기 본체가 이동할 이동 거리 및 이동 방향을 계획하고,
    상기 계획된 이동 정보에 기초하여 상기 이동 어셈블리와 청소 툴의 동작 제어하고,
    상기 핸드 모션을 인식하는 것은, 핸드 형상 및 핸드 위치를 인식하는 것을 포함하고,
    상기 인식된 핸드 형상에 대응하는 동작 명령을 판단하고, 상기 핸드 형상에 대응하는 동작 명령이 가상 벽 설정 명령이면 가상 벽 설정을 위한 핸드 형상이 인식된 시작 시점의 시작 위치와 종료 시점의 종료 위치를 인식하고, 상기 시작 위치와 종료 위치를 연결하여 가상 벽을 설정하는 것을 더 포함하는 청소 로봇의 제어 방법.
  23. 삭제
  24. 제 22 항에 있어서, 상기 이동 거리 및 이동 방향을 계획하는 것은,
    상기 핸드 영상에서 어느 한 점을 선택하고,
    상기 선택된 점의 위치 변화를 판단하고,
    상기 위치 변화에 대응하는 상기 핸드의 이동 거리 및 이동 방향을 판단하고,
    상기 핸드의 이동 거리 및 이동 방향에 기초하여 상기 본체의 이동 거리 및 이동 방향을 계획하는 것을 포함하는 청소 로봇의 제어 방법.
  25. 제 24 항에 있어서, 상기 위치 변화를 판단하는 것은,
    미리 설정된 일정 시간 간격으로 상기 점의 위치를 인식하고,
    상기 인식된 점의 위치의 변화를 판단하는 것을 포함하는 청소 로봇의 제어 방법.
  26. 삭제
  27. 제 22 항에 있어서,
    상기 핸드 형상에 대응하는 동작 명령이 위치 이동 명령이면 상기 핸드 형상에서 펴진 손가락의 수를 확인하고,
    상기 확인된 손가락의 수에 대응하는 위치를 판단하고,
    상기 판단된 위치로 이동되도록 상기 이동 어셈블리를 동작시키는 것을 더 포함하는 청소 로봇의 제어 방법.
  28. 삭제
  29. 제 22 항에 있어서,
    상기 이동 거리 및 미리 설정된 일정 시간에 기초하여 상기 핸드의 이동 속도를 판단하고,
    상기 판단된 핸드의 이동 속도에 기초하여 상기 본체의 이동 속도를 제어하는 것을 더 포함하는 청소 로봇의 제어 방법.
  30. 제 22 항에 있어서,
    상기 청소 모드가 자동 모드라고 판단되면 장애물 검출부를 통해 검출된 장애물 검출 신호에 기초하여 청소 영역을 스스로 주행하면서 청소하도록 상기 이동 어셈블리 및 청소 툴을 동작시키는 것을 더 포함하는 청소 로봇의 제어 방법.
  31. 제 22 항에 있어서,
    상기 인식된 핸드 형상이 모드 전환을 위한 형상인지 판단하고,
    상기 인식된 핸드 형상이 모드 전환을 위한 형상이라고 판단되면 상기 인터랙션 모드를 자동 모드로 전환시키고,
    청소 영역을 스스로 주행하면서 청소하도록 상기 이동 어셈블리 및 청소 툴을 동작시키는 것을 더 포함하는 청소 로봇의 제어 방법.
  32. 제 22 항에 있어서,
    상기 수집된 영상에 핸드 영상이 인식되는지 판단하고,
    상기 핸드 영상이 인식되지 않는다고 판단되면 상기 인터랙션 모드를 종료시키는 것을 더 포함하는 청소 로봇의 제어 방법.
  33. 제 22 항에 있어서,
    상기 수집된 영상에 핸드 영상이 인식되는지 판단하고,
    상기 핸드 영상이 인식되지 않는다고 판단되면 상기 인터랙션 모드를 자동 모드로 전환시키고,
    청소 영역을 스스로 주행하면서 청소하도록 상기 이동 어셈블리 및 청소 툴을 동작시키는 것을 더 포함하는 청소 로봇의 제어 방법.
  34. 제 22 항에 있어서, 상기 청소 모드를 확인하는 것은,
    사용자 인터페이스에 입력된 청소 모드를 확인하는 것을 포함하는 청소 로봇의 제어 방법.
  35. 제 22 항에 있어서, 상기 본체의 주변 영상을 수집하는 것은,
    상기 본체의 상측 방향의 영상을 수집하는 것을 포함하는 청소 로봇의 제어 방법.
  36. 제 22 항에 있어서,
    주행 패턴 설정 명령이 입력되면 미리 설정된 시간 간격으로 핸드의 위치를 추종하고,
    상기 추종된 핸드의 위치를 연결하여 주행 패턴을 설정하고,
    상기 설정된 주행 패턴으로 상기 이동 어셈블리의 이동을 제어하는 것을 더 포함하는 청소 로봇의 제어 방법.
  37. 제 22 항에 있어서, 상기 본체가 이동할 이동 거리 및 이동 방향을 계획하는 것은,
    상기 수집된 영상에서 마커 영상을 인식하고,
    상기 인식된 마커 영상의 위치 변화를 확인하고,
    상기 확인된 위치 변화에 기초하여 상기 본체가 이동할 이동 거리 및 이동 방향을 계획하는 것을 포함하는 청소 로봇의 제어 방법.
  38. 제 22 항에 있어서, 상기 영상부를 이용하여 상기 본체 주변의 영상을 수집하는 것은,
    상기 본체와 분리되어 장착된 영상부인 영상 기기에서 전송된 상기 본체 주변의 영상을 수신하는 것을 포함하는 청소 로봇의 제어 방법.
KR1020130067587A 2013-06-13 2013-06-13 청소 로봇 및 그 제어 방법 KR102124509B1 (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
KR1020130067587A KR102124509B1 (ko) 2013-06-13 2013-06-13 청소 로봇 및 그 제어 방법
US14/282,482 US9285804B2 (en) 2013-06-13 2014-05-20 Cleaning robot and method for controlling the same
EP14171609.2A EP2837986B1 (en) 2013-06-13 2014-06-06 Cleaning robot and method for controlling the same
PCT/KR2014/005101 WO2014200252A1 (en) 2013-06-13 2014-06-11 Cleaning robot and method for controlling the same
AU2014278987A AU2014278987B2 (en) 2013-06-13 2014-06-11 Cleaning robot and method for controlling the same
IL242596A IL242596B (en) 2013-06-13 2015-11-15 A cleaning robot and a method for controlling it
US15/014,843 US9658616B2 (en) 2013-06-13 2016-02-03 Cleaning robot and method for controlling the same
US15/491,422 US10254756B2 (en) 2013-06-13 2017-04-19 Cleaning robot and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130067587A KR102124509B1 (ko) 2013-06-13 2013-06-13 청소 로봇 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20140145328A KR20140145328A (ko) 2014-12-23
KR102124509B1 true KR102124509B1 (ko) 2020-06-19

Family

ID=50976461

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130067587A KR102124509B1 (ko) 2013-06-13 2013-06-13 청소 로봇 및 그 제어 방법

Country Status (6)

Country Link
US (3) US9285804B2 (ko)
EP (1) EP2837986B1 (ko)
KR (1) KR102124509B1 (ko)
AU (1) AU2014278987B2 (ko)
IL (1) IL242596B (ko)
WO (1) WO2014200252A1 (ko)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014101840A1 (zh) 2012-12-28 2014-07-03 苏州宝时得电动工具有限公司 自动割草系统
KR102124509B1 (ko) * 2013-06-13 2020-06-19 삼성전자주식회사 청소 로봇 및 그 제어 방법
KR20160065574A (ko) * 2014-12-01 2016-06-09 엘지전자 주식회사 로봇 청소기 및 그의 제어방법
US10284537B2 (en) 2015-02-11 2019-05-07 Google Llc Methods, systems, and media for presenting information related to an event based on metadata
US11392580B2 (en) * 2015-02-11 2022-07-19 Google Llc Methods, systems, and media for recommending computerized services based on an animate object in the user's environment
US9769564B2 (en) 2015-02-11 2017-09-19 Google Inc. Methods, systems, and media for ambient background noise modification based on mood and/or behavior information
US11048855B2 (en) 2015-02-11 2021-06-29 Google Llc Methods, systems, and media for modifying the presentation of contextually relevant documents in browser windows of a browsing application
KR102328252B1 (ko) * 2015-02-13 2021-11-19 삼성전자주식회사 청소 로봇 및 그 제어방법
JP6598510B2 (ja) * 2015-05-20 2019-10-30 シャープ株式会社 自律走行装置の車輪清掃システム、自律走行装置の制御方法及び制御プログラム
CN107479544A (zh) * 2016-06-08 2017-12-15 科沃斯机器人股份有限公司 母子机协同工作系统及其工作方法
US10377042B2 (en) 2016-06-17 2019-08-13 Intel Corporation Vision-based robot control system
DE102016213921A1 (de) * 2016-07-28 2018-02-01 BSH Hausgeräte GmbH Reinigungsroboter und Robotersystem
CN106092091B (zh) * 2016-08-10 2019-07-02 京东方科技集团股份有限公司 电子机器设备
DE102016221861B4 (de) 2016-11-08 2022-05-05 Volkswagen Aktiengesellschaft Einrichtung und Verfahren zur Einwirkung auf Gegenstände
US11709489B2 (en) * 2017-03-02 2023-07-25 RobArt GmbH Method for controlling an autonomous, mobile robot
JP6871602B2 (ja) * 2017-03-09 2021-05-12 学校法人千葉工業大学 自律走行型掃除機
CN108803589A (zh) * 2017-04-28 2018-11-13 深圳乐动机器人有限公司 机器人虚拟墙系统
DE102017007908A1 (de) * 2017-08-21 2019-02-21 Hochschule Bochum Verfahren zur Steuerung der Bewegung eines mobilen Roboters
KR102219801B1 (ko) * 2017-09-22 2021-02-23 엘지전자 주식회사 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
KR102021833B1 (ko) * 2017-09-26 2019-09-17 엘지전자 주식회사 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
KR102060715B1 (ko) 2017-11-30 2019-12-30 엘지전자 주식회사 이동 로봇 및 그 제어방법
WO2019113860A1 (zh) * 2017-12-13 2019-06-20 广州艾若博机器人科技有限公司 基于色块标签的虚拟墙构建方法及装置、地图构建方法、可移动电子设备
CN109313822B (zh) * 2017-12-13 2020-04-10 广州艾若博机器人科技有限公司 基于机器视觉的虚拟墙构建方法及装置、地图构建方法、可移动电子设备
US10575699B2 (en) 2018-01-05 2020-03-03 Irobot Corporation System for spot cleaning by a mobile robot
JP7127303B2 (ja) * 2018-03-09 2022-08-30 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
CN108734082A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 对应关系的建立方法、装置、设备和存储介质
USD899948S1 (en) * 2018-06-26 2020-10-27 Deere & Company Housing for a navigation device
USD867176S1 (en) * 2018-06-26 2019-11-19 Deere & Company Housing for a navigation device
CN109199240B (zh) * 2018-07-24 2023-10-20 深圳市云洁科技有限公司 一种基于手势控制的扫地机器人控制方法及系统
CN109361665B (zh) * 2018-10-11 2022-01-11 高新兴科技集团股份有限公司 在移动端实现动态虚拟墙的方法和装置
KR20210110417A (ko) * 2019-01-28 2021-09-08 엘지전자 주식회사 송신모듈의 위치 정보에 기반하여 송신모듈을 추종하는 카트 및 이동 방법
JP2020181434A (ja) * 2019-04-26 2020-11-05 アマノ株式会社 自律走行作業装置および自律走行作業システム
IT201900010668A1 (it) * 2019-07-02 2021-01-02 Stiga S P A In Breve Anche St S P A Metodo di installazione di un dispositivo mobile per la manutenzione di terreni
TWI756560B (zh) * 2019-08-23 2022-03-01 和碩聯合科技股份有限公司 無線通信系統、無線通信方法以及自走式裝置
CN111475018B (zh) * 2020-03-24 2021-08-17 珠海格力电器股份有限公司 扫地机器人的控制方法、装置、扫地机器人及电子设备
US11730328B2 (en) * 2020-08-14 2023-08-22 Irobot Corporation Visual fiducial for behavior control zone
US20220104677A1 (en) * 2020-10-07 2022-04-07 Irobot Corporation Two in one mobile cleaning robot
CN113510707A (zh) * 2021-07-23 2021-10-19 上海擎朗智能科技有限公司 一种机器人的控制方法、装置、电子设备及存储介质
CN114081399B (zh) * 2021-11-16 2023-01-10 深圳市探博智能机器人有限公司 一种洗地机器人的清洁方法、系统、清洁设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070271004A1 (en) 2006-05-19 2007-11-22 Samsung Electronics Co., Ltd. Cleaning robot having carpet detector and method of detecting carpet boundary using the same
KR101033726B1 (ko) 2010-11-12 2011-05-09 주식회사 모뉴엘 모션제어 로봇시스템
US20120103367A1 (en) 2009-07-03 2012-05-03 Ecovacs Robotics (Suzhou ) Co., Ltd. Cleaning robot, dirt recognition device thereof and cleaning method of robot
US20130056032A1 (en) 2011-09-07 2013-03-07 Suuk Choe Robot cleaner, and system and method for remotely controlling the same

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060028293A (ko) * 2004-09-24 2006-03-29 엘지전자 주식회사 로봇청소기를 이용한 침입 감지 시스템 및 방법
KR20110003146A (ko) * 2009-07-03 2011-01-11 한국전자통신연구원 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법
KR20110055062A (ko) * 2009-11-19 2011-05-25 삼성전자주식회사 로봇 시스템 및 그 제어 방법
TWI423112B (zh) * 2009-12-09 2014-01-11 Ind Tech Res Inst 可攜式虛擬輸入操作裝置與其操作方法
KR101331952B1 (ko) * 2011-10-13 2013-11-26 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
KR102124509B1 (ko) * 2013-06-13 2020-06-19 삼성전자주식회사 청소 로봇 및 그 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070271004A1 (en) 2006-05-19 2007-11-22 Samsung Electronics Co., Ltd. Cleaning robot having carpet detector and method of detecting carpet boundary using the same
US20120103367A1 (en) 2009-07-03 2012-05-03 Ecovacs Robotics (Suzhou ) Co., Ltd. Cleaning robot, dirt recognition device thereof and cleaning method of robot
KR101033726B1 (ko) 2010-11-12 2011-05-09 주식회사 모뉴엘 모션제어 로봇시스템
US20130056032A1 (en) 2011-09-07 2013-03-07 Suuk Choe Robot cleaner, and system and method for remotely controlling the same

Also Published As

Publication number Publication date
US10254756B2 (en) 2019-04-09
EP2837986B1 (en) 2018-03-07
US20160161945A1 (en) 2016-06-09
WO2014200252A1 (en) 2014-12-18
US9658616B2 (en) 2017-05-23
EP2837986A3 (en) 2016-01-13
AU2014278987B2 (en) 2016-10-27
AU2014278987A1 (en) 2015-12-03
EP2837986A2 (en) 2015-02-18
US9285804B2 (en) 2016-03-15
US20140371909A1 (en) 2014-12-18
US20170220038A1 (en) 2017-08-03
KR20140145328A (ko) 2014-12-23
IL242596B (en) 2021-01-31

Similar Documents

Publication Publication Date Title
KR102124509B1 (ko) 청소 로봇 및 그 제어 방법
KR102082757B1 (ko) 청소 로봇 및 그 제어 방법
US9456725B2 (en) Robot cleaner and control method thereof
US9629514B2 (en) Traveling cleaning appliance and method for operating such an appliance
CN110313863B (zh) 自主移动清扫机、自主移动清扫机的清扫方法以及程序
CN112352244B (zh) 控制系统和更新存储器中的地图的方法
JP4181477B2 (ja) 自走式掃除機
JP3830905B2 (ja) ロボット掃除機とそのシステム及び制御方法
CN110313867B (zh) 自主移动清扫机、自主移动清扫机的清扫方法及记录介质
CN214484411U (zh) 自主式地板清洁器
CN111449589B (zh) 地面处理设备的系统和运行所述系统的方法
CN106200645A (zh) 自主机器人、控制装置和控制方法
KR20140145648A (ko) 청소 로봇 및 그 제어 방법
US20190227566A1 (en) Self-propelled vacuum cleaner
KR101938703B1 (ko) 로봇 청소기 및 그 제어방법
US20200033878A1 (en) Vacuum cleaner
US11819174B2 (en) Cleaning control method and device, cleaning robot and storage medium
KR101341221B1 (ko) 로봇 청소기
CN114938927A (zh) 自动清洁设备、控制方法及存储介质
KR101015465B1 (ko) 접이식 소형 진공청소기가 결합된 자동 청소로봇
US11397437B2 (en) System with a first floor processing device and a second floor processing device as well as a method for operating such a system
KR20220058528A (ko) 로봇 청소기 및 제어방법
CN217365667U (zh) 自动清洁设备
EP4293625A1 (en) Map display method and apparatus, medium, and electronic device
JP2017131557A (ja) 電気掃除機

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right