KR102423573B1 - 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법 - Google Patents

인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법 Download PDF

Info

Publication number
KR102423573B1
KR102423573B1 KR1020200002651A KR20200002651A KR102423573B1 KR 102423573 B1 KR102423573 B1 KR 102423573B1 KR 1020200002651 A KR1020200002651 A KR 1020200002651A KR 20200002651 A KR20200002651 A KR 20200002651A KR 102423573 B1 KR102423573 B1 KR 102423573B1
Authority
KR
South Korea
Prior art keywords
robot cleaner
map
image data
cleaning
robot
Prior art date
Application number
KR1020200002651A
Other languages
English (en)
Other versions
KR20210089462A (ko
Inventor
전형진
성철모
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020200002651A priority Critical patent/KR102423573B1/ko
Priority to PCT/KR2021/000167 priority patent/WO2021141396A1/en
Publication of KR20210089462A publication Critical patent/KR20210089462A/ko
Application granted granted Critical
Publication of KR102423573B1 publication Critical patent/KR102423573B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/009—Carrying-vehicles; Arrangements of trollies or wheels; Means for avoiding mechanical obstacles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A47L9/2826—Parameters or conditions being sensed the condition of the floor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2847—Surface treating elements
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2857—User input or output elements for control, e.g. buttons, switches or displays
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2894—Details related to signal transmission in suction cleaners
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/06—Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40411—Robot assists human in non-industrial environment like home or office
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45098—Vacuum cleaning robot

Abstract

본 발명에 따른 인공지능을 이용한 로봇 청소기는, 본체를 이동시키는 주행부; 청소 기능을 수행하는 청소부; 주행 변위를 감지하는 주행 변위 측정부; 주기적으로 상기 주변 환경을 촬영하여 영상 데이터를 수득하는 영상 감지부; 및 청소 구역에 청소를 진행하여, 상기 주행 변위 측정부 및 영상 감지부를 통해 감지된 정보 및 상기 영상 데이터를 기초로 상기 청소 구역에 대한 지도를 생성하고, 상기 영상 데이터의 변화를 판독하여 이상 주행 여부를 판단하여 상기 지도를 보정하여 제공하는 제어부를 포함하는 로봇 청소기를 제공한다. 따라서, 실제 실내 공간과 유사한 공간 지도를 제공하면서 3차원 센서를 통한 이미지를 주기적으로 대조함으로써 현재 로봇 청소기의 상태 정보를 판단할 수 있다. 또한, 공간 지도를 작성 시에, 로봇 청소기의 구속에 따라 휠 슬립이 발생한 것을 보상하여 정확한 공간 지도를 제공할 수 있다. 그리고, 로봇 청소기의 현재 상태를 사용자에게 알람하여 현재 구속 상태를 탈출하도록 유도하거나, 구속을 탈출하는 모션을 수행할 수 있다.

Description

인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법 {A ROBOT CLEANER USING ARTIFICIAL INTELLIGENCE AND CONTROL METHOD THEREOF}
본 발명은, 로봇 청소기 및 로봇 청소기의 제어방법에 관한 것으로, 보다 상세하게는 인공지능을 이용한 로봇 청소기의 감지 및 그에 따른 주행 기술에 관한 것이다.
로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다.
최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다. 이러한 로봇 중에서 자력으로 주행이 가능한 것을 이동 로봇이라고 한다. 가정에서 사용되는 이동 로봇의 대표적인 예는 로봇 청소기이다.
로봇 청소기에 구비된 여러 센서를 통하여 로봇 청소기 주변의 환경 및 사용자를 감지하는 여러 기술들이 알려져 있다. 또한, 로봇 청소기가 스스로 청소 구역을 학습하여 맵핑하고, 맵 상에서 현재 위치를 파악하는 기술들이 알려져 있다. 청소 구역을 기설정된 방식으로 주행하며 청소하는 로봇 청소기가 알려져 있다.
또한, 종래 기술(한국특허공개번호 10-2017-0003764)에는, 청소영역에 대한 지도(격자지도)를 사용자가 확인하기 용이한 형태로 가공하고 (외곽선 변경 등), 지도를 통해 입력되는 청소명령에 따라 청소영역에 대한 청소가 수행되도록 하는 방법이 개시되어 있다.
한편, 종래기술(한국 공개 특허 번호 10-2012-0065153)에서는 카메라와 레이저를 이용하여 3차원 센서로서 활용하면서 주행 시에 장애물을 감지하는 시스템이 개시되어 있다.
그러나, 이와 같은 장애물 감지 시스템은 주행 시에 상/하부의 장애물 및 벽, 낭떠러지 등을 회피하며 정밀 제어가 가능하나, 단편적인 장애물 정보만이 참조되므로 현재 로봇 청소기의 상태가 어떠한지에 대한 판단이 불가능하다.
한국공개특허번호 10-2017-0003764 (공개일자 : 2018년 07월 18일) 한국공개특허번호 10-2012-0065153 (공개일자 : 2012년 06월 18일)
제1 과제는 실제 실내 공간과 유사한 공간 지도를 제공하면서 3차원 센서를 통한 이미지를 주기적으로 대조함으로써 현재 로봇 청소기의 상태 정보를 판단할 수 있는 청소 로봇을 제공하는 것이다.
제2 과제는 공간 지도를 작성 시에, 로봇 청소기의 구속에 따라 휠 슬립이 발생한 것을 보상하여 정확한 공간 지도를 제공할 수 있는 청소 로봇을 제공하는 것이다.
그리고, 제3 과제는 주행 변위 측정뿐만 아니라, 영상 감지를 통해 실제로 주행이 이루어지는지를 주기적으로 판단함으로써 로봇 청소기의 현재 상태를 사용자에게 알람하거나, 구속을 탈출하는 모션을 수행할 수 있는 청소 로봇을 제공하는 것이다.
본 발명의 실시예는 본체를 이동시키는 주행부; 청소 기능을 수행하는 청소부; 주행 변위를 감지하는 주행 변위 측정부; 주기적으로 상기 주변 환경을 촬영하여 영상 데이터를 수득하는 영상 감지부; 및 청소 구역에 청소를 진행하여, 상기 주행 변위 측정부 및 영상 감지부를 통해 감지된 정보 및 상기 영상 데이터를 기초로 상기 청소 구역에 대한 지도를 생성하고, 상기 영상 데이터의 변화를 판독하여 이상 주행 여부를 판단하여 상기 지도를 보정하여 제공하는 제어부를 포함하는 로봇 청소기를 제공한다.
상기 지도는 상기 청소 구역에 대한 물리적인 형상 정보 및 상기 로봇 청소기의 현재 위치에 대한 정보를 포함할 수 있다.
상기 제어부는, 주기적으로 수득되는 상기 영상 데이터 사이에 차이가 없는 경우, 상기 로봇청소기가 이상 상태에 있는 것으로 판단할 수 있다.
상기 제어부는, 주기적으로 수득되는 상기 영상 데이터 사이에 차이가 없고, 상기 주행 변위 측정부로부터의 감지 신호가 상기 로봇 청소기가 주행하는 것으로 나타내는 경우, 상기 로봇 청소기가 이상 상태에 있는 것으로 판단할 수 있다.
상기 제어부는 상기 영상 데이터를 비교하여 상기 영상 데이터의 변동이 없는 시점부터의 상기 로봇 청소기의 주행 거리를 제거하는 지도 보정을 수행할 수 있다.
상기 제어부는 상기 로봇 청소기가 이상 상태에 있는 경우, 구속 탈출 모션을 진행하여 탈출을 유도할 수 있다.
상기 제어부는, 상기 로봇 청소기의 구속 탈출이 진행되지 않는 경우, 사용자 단말로 알람을 수행할 수 있다.
상기 사용자 단말은 상기 로봇 청소기를 제어하기 위한 어플리케이션이 설치되어 있으며, 상기 어플리케이션을 통해 보정된 상기 지도가 제공되고, 상기 로봇 청소기로부터 구속 탈출을 위한 알람이 전송될 수 있다.
상기 로봇 청소기는, 엣지 모드 또는 지그재그 모드로 청소를 진행하면서 상기 청소 구역에 대한 정보 및 영상 데이터를 수집할 수 있다.
한편, 실시예는 청소 구역을 주행하며 청소를 진행하여, 주행 변위를 감지하는 감지 신호를 수득하고, 주변 환경을 촬영하여 영상 데이터를 수득하는 단계; 상기 감지 신호, 상기 영상 데이터를 기초로 상기 청소 구역에 대한 지도를 생성하는 단계; 및 상기 영상 데이터의 변화를 판독하여 이상 주행 여부를 판단하여 상기 지도를 보정하는 단계를 포함하는 로봇 청소기의 제어 방법을 제공할 수 있다.
상기 지도는 상기 청소 구역에 대한 물리적인 형상 정보 및 상기 로봇 청소기의 현재 위치에 대한 정보를 포함할 수 있다.
상기 지도를 보정하는 단계는, 주기적으로 수득되는 상기 영상 데이터 사이에 차이가 없는 경우, 상기 로봇청소기가 이상 상태에 있는 것으로 판단할 수 있다.
상기 지도를 보정하는 단계는, 주기적으로 수득되는 상기 영상 데이터 사이에 차이가 없고, 상기 주행 변위의 감지 신호가 상기 로봇 청소기가 주행하는 것으로 나타내는 경우, 상기 로봇 청소기가 이상 상태에 있는 것으로 판단할 수 있다.
상기 지도를 보정하는 단계는, 상기 영상 데이터를 비교하여 상기 영상 데이터의 변동이 없는 시점부터의 상기 로봇 청소기의 주행 거리를 제거하는 지도 보정을 수행할 수 있다.
상기 로봇 청소기의 제어 방법은, 상기 로봇 청소기가 이상 상태에 있는 경우, 구속 탈출 모션을 진행하여 탈출을 유도하는 단계를 더 포함할 수 있다.
상기 탈출을 유도하는 단계는, 상기 로봇 청소기의 구속 탈출이 진행되지 않는 경우, 사용자 단말로 알람을 수행할 수 있다.
상기 사용자 단말은 상기 로봇 청소기를 제어하기 위한 어플리케이션이 설치되어 있으며, 상기 어플리케이션을 통해 보정된 상기 지도를 제공하고, 상기 로봇 청소기로부터 구속 탈출을 위한 알람을 전송할 수 있다.
상기 청소를 수행하는 단계는, 엣지 모드 또는 지그재그 모드로 청소를 진행하면서 상기 청소 구역에 대한 감지 신호 및 영상 데이터를 수집할 수 있다.
또한, 본 발명의 다른 실시예는 본체를 이동하면서 청소 구역의 청소를 진행하는 로봇 청소기로서, 주기적으로 주행 변위를 감지하는 주행 변위 측정부, 주기적으로 상기 주변 환경을 촬영하여 영상 데이터를 수득하는 영상 감지부, 및 청소 구역에 청소를 진행하여, 상기 주행 변위 측정부 및 영상 감지부를 통해 감지된 정보 및 상기 영상 데이터를 기초로 상기 청소 구역에 대한 지도를 생성하고, 상기 영상 데이터의 변화를 판독하여 이상 주행 여부를 판단하여 상기 지도를 보정하여 제공하는 제어부를 포함하는 로봇 청소기; 및 상기 로봇 청소기에 대한 청소 및 주행을 제어하는 어플리케이션이 설치되어 있으며, 상기 어플리케이션으로부터 상기 지도를 제공받아 상기 로봇 청소기의 이상 상태 여부를 알람받는 사용자 단말을 포함하는 로봇 청소기 시스템을 제공한다.
상기 로봇 청소기는 주기적으로 수득되는 상기 영상 데이터 사이에 차이가 없고, 상기 주행 변위의 감지 신호가 상기 로봇 청소기가 주행하는 것으로 나타내는 경우, 상기 로봇 청소기가 이상 상태에 있는 것으로 판단할 수 있다.
상기 사용자 단말은, 상기 영상 데이터를 비교하여 상기 영상 데이터의 변동이 없는 시점부터의 상기 로봇 청소기의 주행 거리가 제거된 상기 청소 구역의 지도를 제공받고, 상기 지도에서 상기 로봇 청소기의 현재 위치에 대한 정보를 제공받을 수 있다.
상기 해결 수단을 통하여, 본 발명은 실제 실내 공간과 유사한 공간 지도를 제공하면서 3차원 센서를 통한 이미지를 주기적으로 대조함으로써 현재 로봇 청소기의 상태 정보를 판단할 수 있다.
또한, 공간 지도를 작성 시에, 로봇 청소기의 구속에 따라 휠 슬립이 발생한 것을 보상하여 정확한 공간 지도를 제공할 수 있다. 그리고, 로봇 청소기의 현재 상태를 사용자에게 알람하여 현재 구속 상태를 탈출하도록 유도하거나, 구속을 탈출하는 모션을 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 로봇 청소기를 포함하는 스마트 홈 시스템 구성도이다.
도 2는 본 발명의 일 실시예에 따른 로봇 청소기 및 로봇 청소기를 충전시키는 충전대를 도시한 사시도이다.
도 3은 도 2의 로봇 청소기를 상측에서 바라본 입면도이다.
도 4는 도 2의 로봇 청소기를 정면에서 바라본 입면도이다.
도 5는 도 2의 로봇 청소기를 하측에서 바라본 입면도이다.
도 6은 도 2의 로봇 청소기의 주요 구성들 간의 제어관계를 도시한 블록도이다.
도 7은 본 발명의 일 실시예에 따른 로봇 청소기의 제어방법을 도시한 순서도이다.
도 8은 도 7의 로봇 청소기의 현재 상태 판단 방법을 나타내는 순서도이다.
도 9a 내지 도 13c는 도 7 및 도 8의 순서도를 설명하는 카메라 이미지, 로봇 청소기의 상태도 및 공간 지도에서의 로봇 청소기의 위치를 각각 나타내는 도면이다.
도 14는 도 8에 따른 사용자 단말의 표시 상태를 나타내는 것이다.
도 15a 및 도 15b는 도 7 및 도 8에 따른 공간 지도 보정을 나타내는 도면이다.
본 설명 전체에 걸쳐 언어적/수학적으로 표현된 대소비교에 있어서, '작거나 같음(이하)'과 '작음(미만)'은 통상의 기술자 입장에서 서로 용이하게 치환가능한 정도이며, '크거나 같음(이상)'과 '큼(초과)'은 통상의 기술자 입장에서 서로 용이하게 치환가능한 정도이며, 본 발명을 구현함에 있어서 치환하여도 그 효과 발휘에 문제가 되지 않음은 물론이다.
이하에서 언급되는 “전(F)/후(R)/좌(Le)/우(Ri)/상(U)/하(D)” 등의 방향을 지칭하는 표현은 도면에 표시된 바에 따라 정의하나, 이는 어디까지나 본 발명이 명확하게 이해될 수 있도록 설명하기 위한 것이며, 기준을 어디에 두느냐에 따라 각 방향들을 다르게 정의할 수도 있음은 물론이다.
예를 들어, 전방은 로봇청소기의 주 진행 방향 또는 로봇청소기의 패턴 주행의 주 진행 방향을 의미할 수 있다. 여기서, 주 진행 방향은 일정 시간 내에 진행하는 방향들의 벡터 합산 값을 의미할 수 있다.
이하에서 언급되는 구성요소 앞에 ‘제1, 제2' 등의 표현이 붙는 용어 사용은, 지칭하는 구성요소의 혼동을 피하기 위한 것일 뿐, 구성요소 들 사이의 순서, 중요도 또는 주종관계 등과는 무관하다. 예를 들면, 제1 구성요소 없이 제2 구성요소 만을 포함하는 발명도 구현 가능하다.
도면에서 각 구성의 두께나 크기는 설명의 편의 및 명확성을 위하여 과장되거나 생략되거나 또는 개략적으로 도시되었다. 또한 각 구성요소의 크기와 면적은 실제크기나 면적을 전적으로 반영하는 것은 아니다.
또한, 본 발명의 구조를 설명하는 과정에서 언급하는 각도와 방향은 도면에 기재된 것을 기준으로 한다. 명세서에서 구조에 대한 설명에서, 각도에 대한 기준점과 위치관계를 명확히 언급하지 않은 경우, 관련 도면을 참조하도록 한다.
도 1은 본 발명의 일 실시예에 따른 로봇 시스템의 구성도이다.
도 1을 참고하면, 본 발명의 실시예에 따른 로봇 시스템은, 하나 이상의 로봇청소기(100)를 구비하여 집 등의 규정된 장소에서 서비스를 제공할 수 있다. 예를 들어, 로봇 시스템은 가정 등에서 지정된 장소의 청소 서비스를 제공하는 로봇청소기(100)를 포함할 수 있다. 특히 이러한 로봇 청소기(100)는 포함하는 기능 블럭에 따라 건식, 습식 또는 건/습식의 청소 서비스를 제공할 수 있다.
바람직하게는, 본 발명의 일 실시예에 따른 로봇 시스템은, 복수의 인공지능 로봇청소기(100) 및 복수의 인공지능 로봇청소기(100)를 관리하고 제어할 수 있는 서버(2)를 포함할 수 있다.
서버(2)는 원격에서 복수의 로봇청소기(100)의 상태를 모니터링하고, 제어할 수 있고, 로봇 시스템은 복수의 로봇청소기(100)를 이용하여 더 효과적인 서비스 제공이 가능하다.
복수의 로봇 청소기(100) 및 서버(2)는 하나 이상의 통신 규격을 지원하는 통신 수단(미도시)을 구비하여, 상호 통신할 수 있다. 또한, 복수의 로봇청소기(100) 및 서버(2)는 PC, 이동 단말기, 외부의 다른 서버(2)와 통신할 수 있다.
예를 들어, 복수의 로봇청소기(100) 및 서버(2)는 IEEE 802.11 WLAN, IEEE 802.15 WPAN, UWB, Wi-Fi, Zigbee, Z-wave, Blue-Tooth 등과 같은 무선 통신 기술로 무선 통신하게 구현될 수 있다. 로봇청소기(100)는 통신하고자 하는 다른 장치 또는 서버(2)의 통신 방식이 무엇인지에 따라 달라질 수 있다.
특히, 복수의 로봇청소기(100)는 5G 네트워크를 통해 다른 로봇(100) 및/또는 서버(2)와 무선통신을 구현할 수 있다. 로봇청소기(100)가 5G 네트워크를 통해 무선 통신하는 경우, 실시간 응답 및 실시간 제어가 가능하다.
사용자는 PC, 이동 단말기 등의 사용자 단말(3)을 통하여 로봇 시스템 내의 로봇들(100)에 관한 정보를 확인할 수 있다.
서버(2)는 클라우드(cloud) 서버(2)로 구현되어, 로봇(100)에 클라우드 서버(2)가 연동되어 로봇청소기(100)를 모니터링, 제어하고 다양한 솔루션과 콘텐츠를 원격으로 제공할 수 있다.
서버(2)는, 로봇청소기(100), 기타 기기로부터 수신되는 정보를 저장 및 관리할 수 있다. 상기 서버(2)는 로봇청소기(100)의 제조사 또는 제조사가 서비스를 위탁한 회사가 제공하는 서버(2)일 수 있다. 상기 서버(2)는 로봇청소기(100)를 관리하고 제어하는 관제 서버(2)일 수 있다.
상기 서버(2)는 로봇청소기(100)를 일괄적으로 동일하게 제어하거나, 개별 로봇청소기(100) 별로 제어할 수 있다. 한편, 상기 서버(2)는, 복수의 서버로 정보, 기능이 분산되어 구성될 수도 있고, 하나의 통합 서버로 구성될 수도 있을 것이다.
로봇청소기(100) 및 서버(2)는 하나 이상의 통신 규격을 지원하는 통신 수단(미도시)을 구비하여, 상호 통신할 수 있다.
로봇청소기(100)는 공간(space), 사물(Object), 사용(Usage) 관련 데이터(Data)를 서버(2)로 전송할 수 있다.
여기서, 데이터는 공간(space), 사물(Object) 관련 데이터는 로봇청소기(100)가 인식한 공간(space)과 사물(Object)의 인식 관련 데이터이거나, 영상획득부가 획득한 공간(space)과 사물(Object)에 대한 이미지 데이터일 수 있다.
실시예에 따라서, 로봇청소기(100) 및 서버(2)는 사용자, 음성, 공간의 속성, 장애물 등 사물의 속성 중 적어도 하나를 인식하도록 학습된 소프트웨어 또는 하드웨어 형태의 인공신경망(Artificial Neural Networks: ANN)을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 로봇청소기(100) 및 서버(2)는 딥러닝(Deep Learning)으로 학습된 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(Deep Neural Network: DNN)을 포함할 수 있다. 예를 들어, 로봇청소기(100)의 제어부(140)에는 CNN(Convolutional Neural Network) 등 심층신경망 구조(DNN)가 탑재될 수 있다.
서버(2)는 로봇청소기(100)으로부터 수신한 데이터, 사용자에 의해 입력되는 데이터 등에 기초하여, 심층신경망(DNN)을 학습시킨 후, 업데이트된 심층신경망(DNN) 구조 데이터를 로봇(1)으로 전송할 수 있다. 이에 따라, 로봇(100)이 구비하는 인공지능(artificial intelligence)의 심층신경망(DNN) 구조를 업데이트할 수 있다.
또한, 사용(Usage) 관련 데이터(Data)는 로봇청소기(100)의 사용에 따라 획득되는 데이터로, 사용 이력 데이터, 센서부에서 획득된 감지 신호 등이 해당될 수 있다.
학습된 심층신경망 구조(DNN)는 인식용 입력 데이터를 입력받고, 입력 데이터에 포함된 사람, 사물, 공간의 속성을 인식하여, 그 결과를 출력할 수 있다.
또한, 상기 학습된 심층신경망 구조(DNN)는 인식용 입력 데이터를 입력받고, 로봇청소기(100)의 사용(Usage) 관련 데이터(Data)를 분석하고 학습하여 사용 패턴, 사용 환경 등을 인식할 수 있다.
한편, 공간(space), 사물(Object), 사용(Usage) 관련 데이터(Data)는 통신부를 통하여 서버(2)로 전송될 수 있다.
서버(2)는 수신한 데이터에 기초하여, 심층신경망(DNN)을 학습시킨 후, 업데이트된 심층신경망(DNN) 구조 데이터를 인공지능 로봇청소기(100)로 전송하여 업데이트하게 할 수 있다.
이에 따라, 로봇(100)이 점점 스마트하게 되며, 사용할수록 진화되는 사용자 경험(UX)을 제공할 수 있다.
한편, 서버(2)는 로봇청소기(100)의 제어 및 현재 상태 등에 대한 정보를 사용자 단말에 제공할 수 있으며, 이와 같은 로봇청소기(100)의 제어를 위한 어플리케이션을 생성하여 배포가능하다.
이러한 어플리케이션은 사용자 단말(3)로서 적용되는 PC용 어플리케이션일 수 있으며, 또는 스마트폰용 어플리케이션일 수 있다.
일 예로, 본 출원인의 다양한 전자제품을 동시에 제어하고 관리 감독가능한 어플리케이션인 SmartThinQ 어플리케이션과 같은 스마트 가전 제어를 위한 어플리케이션일 수 있다.
로봇 청소기(100)는 본체(110)를 포함한다. 이하, 본체(110)의 각부분을 정의함에 있어서, 주행구역 내의 천장을 향하는 부분을 상면부(도 3 참조)로 정의하고, 주행구역 내의 바닥을 향하는 부분을 저면부(도 5 참조)로 정의하고, 상기 상면부와 저면부 사이에서 본체(110)의 둘레를 이루는 부분 중 주행방향을 향하는 부분을 정면부(도 4 참조)라고 정의한다. 또한, 본체(110)의 정면부와 반대 방향을 향하는 부분을 후면부로 정의할 수 있다. 본체(110)는 로봇 청소기(100)를 구성하는 각종 부품들이 수용되는 공간을 형성하는 케이스(111)를 포함할 수 있다.
로봇 청소기(100)는 주변의 상황을 감지하는 센싱부(130)를 포함한다. 센싱부(130)는 로봇 청소기(100) 외부의 정보를 감지할 수 있다. 센싱부(130)는 로봇 청소기(100) 주변의 사용자를 감지한다. 센싱부(130)는 로봇 청소기(100) 주변의 물체를 감지할 수 있다.
센싱부(130)는 청소 구역에 대한 정보를 감지할 수 있다. 센싱부(130)는 주행면 상의 벽체, 가구 및 낭떠러지 등의 장애물을 감지할 수 있다. 센싱부(130)는 천장에 대한 정보를 감지할 수 있다. 센싱부(130)는, 주행면 상에 놓여진 물건 및/또는 외부의 상측 물체를 포함할 수 있다. 외부의 상측 물체는, 로봇 청소기(100)의 상측 방향에 배치되는 천장이나 가구의 하측면 등을 포함할 수 있다. 센싱부(130)가 감지한 정보를 통해, 로봇 청소기(100)는 청소 구역을 맵핑(Mapping)할 수 있다.
센싱부(130)는, 로봇 청소기(100) 주변의 사용자에 대한 정보를 감지할 수 있다. 센싱부(130)는, 상기 사용자의 위치 정보를 감지할 수 있다. 상기 위치 정보는, 로봇 청소기(100)에 대한 방향 정보를 포함할 수 있다. 상기 위치 정보는, 로봇 청소기(100)와 사용자 사이의 거리 정보를 포함할 수 있다. 센싱부(130)는 상기 사용자의 상기 로봇 청소기(100)에 대한 방향을 감지할 수 있다. 센싱부(130)는 상기 사용자와 로봇 청소기(100) 사이의 거리를 감지할 수 있다.
상기 위치 정보는, 센싱부(130)의 감지에 의해 곧바로 획득될 수도 있고, 제어부(140)에 의해 처리되어 획득될 수도 있다.
센싱부(130)는 주변의 영상을 감지하는 영상 감지부(135)를 포함할 수 있다. 영상 감지부(135)는 로봇 청소기(100)에 대한 특정 방향으로 영상을 감지할 수 있다. 예를 들어, 영상 감지부(135)는, 로봇 청소기(100)의 전방으로 영상을 감지할 수 있다. 영상 감지부(135)는 주행구역을 촬영하는 것으로, 디지털 카메라를 포함할 수 있다. 상기 디지털 카메라는 적어도 하나의 광학렌즈와, 상기 광학렌즈를 통과한 광에 의해 상이 맺히는 다수개의 광다이오드(photodiode, 예를 들어, pixel)를 포함하여 구성된 이미지센서(예를 들어, CMOS image sensor)와, 상기 광다이오드들로부터 출력된 신호를 바탕으로 영상을 구성하는 디지털 신호 처리기(DSP: Digital Signal Processor)를 포함할 수 있다. 상기 디지털 신호 처리기는 정지영상은 물론이고, 정지영상으로 구성된 프레임들로 이루어진 동영상을 생성하는 것도 가능하다.
센싱부(130)는 주변의 벽까지의 거리를 감지하는 거리 감지부(131)를 포함할 수 있다. 거리 감지부(131)를 통해 로봇 청소기(100)와 주변의 벽까지의 거리를 감지할 수 있다. 거리 감지부(131)는, 로봇 청소기(100)의 특정 방향으로 사용자까지의 거리를 감지한다. 거리 감지부(131)는 카메라, 초음파 센서 또는 IR(적외선) 센서 등을 포함할 수 있다.
거리 감지부(131)는 본체(110)의 정면부에 배치될 수 있고, 측방부에 배치될 수도 있다.
거리 감지부(131)는 주변의 장애물을 감지할 수 있다. 복수의 거리 감지부(131)가 구비될 수 있다.
센싱부(130)는 주행구역 내 바닥에 낭떠러지의 존재 여부를 감지하는 낭떠러지 감지부(132)를 포함할 수 있다. 복수의 낭떠러지 감지부(132)가 구비될 수 있다.
센싱부(130)는 바닥의 영상을 획득하는 하부 영상 센서(137)를 더 포함할 수 있다.
로봇 청소기(100)는 본체(110)를 이동시키는 주행부(160)를 포함한다. 주행부(160)는 바닥에 대해 본체(110)를 이동시킨다. 주행부(160)는 본체(110)를 이동시키는 적어도 하나의 구동 바퀴(166)를 포함할 수 있다. 주행부(160)는 구동 모터를 포함할 수 있다. 구동 바퀴(166)는 본체(110)의 좌, 우 측에 각각 구비될 수 있으며, 이하, 각각 좌륜(166(L))과 우륜(166(R))이라고 한다.
좌륜(166(L))과 우륜(166(R))은 하나의 구동 모터에 의해 구동될 수도 있으나, 필요에 따라 좌륜(166(L))을 구동시키는 좌륜 구동 모터와 우륜(166(R))을 구동시키는 우륜 구동 모터가 각각 구비될 수도 있다. 좌륜(166(L))과 우륜(166(R))의 회전 속도에 차이를 두어 좌측 또는 우측으로 본체(110)의 주행방향을 전환할 수 있다.
로봇 청소기(100)는 청소 기능을 수행하는 청소부(180)를 포함한다.
로봇 청소기(100)는 청소 구역을 이동하며 청소부(180)에 의해 바닥을 청소할 수 있다. 청소부(180)는, 이물질을 흡입하는 흡입 장치, 비질을 수행하는 브러시(184, 185), 흡입장치나 브러시에 의해 수거된 이물질을 저장하는 먼지통(미도시) 및/또는 걸레질을 수행하는 걸레부(미도시) 등을 포함할 수 있다.
본체(110)의 저면부에는 공기의 흡입이 이루어지는 흡입구(180h)가 형성될 수 있다. 본체(110) 내에는 흡입구(180h)를 통해 공기가 흡입될 수 있도록 흡입력을 제공하는 흡입장치(미도시)와, 흡입구(180h)를 통해 공기와 함께 흡입된 먼지를 집진하는 먼지통(미도시)이 구비될 수 있다.
케이스(111)에는 상기 먼지통의 삽입과 탈거를 위한 개구부가 형성될 수 있고, 상기 개구부를 여닫는 먼지통 커버(112)가 케이스(111)에 대해 회전 가능하게 구비될 수 있다.
흡입구(180h)를 통해 노출되는 솔들을 갖는 롤형의 메인 브러시(184)와, 본체(110)의 저면부 전방측에 위치하며, 방사상으로 연장된 다수개의 날개로 이루어진 솔을 갖는 보조 브러시(185)가 구비될 수 있다. 이들 브러시(184, 185)들의 회전에 의해 주행구역 내 바닥으로부터 먼지들이 제거되며, 이렇게 바닥으로부터 분리된 먼지들은 흡입구(180h)를 통해 흡입되어 먼지통에 모인다.
배터리(138)는 상기 구동 모터뿐만 아니라, 로봇 청소기(100)의 작동 전반에 필요한 전원을 공급할 수 있다. 배터리(138)가 방전될 시, 로봇 청소기(100)는 충전을 위해 충전대(200)로 복귀하는 주행을 실시할 수 있으며, 이러한 복귀 주행 중, 로봇 청소기(100)는 스스로 충전대(200)의 위치를 탐지할 수 있다.
충전대(200)는 소정의 복귀 신호를 송출하는 신호 송출부(미도시)를 포함할 수 있다. 상기 복귀 신호는 초음파 신호 또는 적외선 신호일 수 있으나, 반드시 이에 한정되어야 하는 것은 아니다.
한편, 영상감지부(135)는 본체(110)의 상면부에 구비되어, 청지역 내의 천장에 대한 영상을 획득하나, 영상감지부(135)의 위치와 촬영범위가 반드시 이에 한정되어야 하는 것은 아니다. 예를 들어, 영상감지부(135)는 본체(110) 전방의 영상을 획득하도록 구비될 수도 있다.
또한, 로봇 청소기(100)는 On/Off 또는 각종 명령을 입력할 수 있는 조작부(도시하지 않음)를 더 포함할 수 있다.
도 6을 참고하면, 로봇 청소기(100)은 각종 데이터를 저장하는 저장부(150)를 포함한다. 저장부(150)에는 로봇 청소기(100)의 제어에 필요한 각종 데이터 들이 기록될 수 있다. 저장부(150)는 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 상기 기록 매체는 마이크로 프로세서(micro processor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.
저장부(150)에는 청소 구역의 맵이 저장될 수 있다. 상기 맵은 로봇 청소기(100)와 유선 또는 무선 통신을 통해 정보를 교환할 수 있는 외부 단말기에 의해 입력된 것일 수도 있고, 로봇 청소기(100)가 스스로 학습을 하여 생성한 것일 수도 있다. 전자의 경우, 외부 단말기로는 맵 설정을 위한 어플리케이션(application)이 탑재된 리모컨, PDA, 랩탑(laptop), 스마트 폰, 태블렛 등을 예로 들 수 있다.
상기 맵에는 청소 구역 내의 복수의 지점에 대응(일대일대응)하는 복수의 노드의 위치가 표시될 수 있다. 상기 맵에는 청소 구역 내의 각 지역이 표시될 수 있다. 또한, 로봇 청소기(100)의 현재 위치가 상기 맵 상에 표시될 수 있다. 상기 맵 상에서의 로봇 청소기(100)의 현재 위치는 주행 과정에서 갱신될 수 있다.
주행 변위 측정부(165)는 상기 영상 감지부(135)에서 획득된 영상을 근거로 주행 변위를 측정할 수 있다. 주행 변위는, 로봇 청소기(100)의 이동 방향과 이동 거리를 포함하는 개념이다. 예를 들어, 주행 변위 측정부(165)는 로봇 청소기(100)의 연속적인 이동에 따라 달라지는 바닥 영상의 연속적인 픽셀(pixel) 비교를 통해서 주행 변위를 측정할 수 있다.
또한, 주행 변위 측정부(165)는 주행부(160)의 동작을 근거로 로봇 청소기(100)의 주행 변위를 측정할 수 있다. 예를 들어, 제어부(140)는 구동 바퀴(136)의 회전속도를 근거로 로봇 청소기(100)의 현재 또는 과거의 이동속도, 주행한 거리 등을 측정할 수 있으며, 각 구동 바퀴(136(L), 136(R))의 회전 방향에 따라 현재 또는 과거의 방향 전환 과정 또한 측정할 수 있다.
주행 변위 측정부(165)는 거리 감지부(131) 및 영상 감지부(135) 중 적어도 어느 하나를 이용하여 상기 주행 변위를 측정하는 것도 가능하다.
제어부(140)는 이렇게 측정된 주행 변위를 바탕으로, 맵 상에서 로봇 청소기(100)의 위치를 인식할 수 있다.
송신부(170)는 로봇 청소기의 정보를 다른 로봇 청소기나 중앙 서버에 송신해줄 수 있다. 수신부(190)는 다른 로봇 청소기나 중앙 서버로부터 정보를 수신할 수 있다. 송신부(170)가 송신하는 정보 또는 수신부(190)가 수신하는 정보는 로봇 청소기의 구성 정보를 포함할 수 있다.
로봇 청소기(100)는 각종 정보를 처리하고 판단하는 제어부(140)를 포함한다. 제어부(140)는 청소 구역을 학습하는 정보 처리를 수행할 수 있다. 제어부(140)는 맵 상의 현재 위치를 인식하는 정보 처리를 수행할 수 있다. 제어부(140)는 로봇 청소기(100)을 구성하는 각종 구성들(예를 들어, 주행 변위 측정부(165), 거리 감지부(131), 영상감지부(135), 주행부(160), 송신부(170), 수신부(190) 등)의 제어를 통해, 로봇 청소기(100)의 동작 전반을 제어할 수 있다.
본 실시예에 따른 제어방법은 제어부(140)에 의해 수행될 수 있다. 본 발명은 로봇 청소기(100)의 제어방법일 수 있으며, 상기 제어방법을 수행하는 제어부(140)를 포함하는 로봇 청소기(100)일 수도 있다. 본 발명은 상기 제어방법의 각 단계를 포함하는 컴퓨터 프로그램일 수 있고, 상기 제어방법을 컴퓨터로 구현하기 위한 프로그램이 기록된 기록매체일 수도 있다. 상기 '기록매체'는 컴퓨터로 판독 가능한 기록매체를 의미한다. 본 발명은 하드웨어와 소프트웨어를 모두 포함하는 이동 로봇 제어 시스템일 수 있다.
로봇 청소기(100)의 제어부(140)는 맵핑 및/또는 현재 위치를 인식하는 등 각종 정보를 처리하고 판단한다. 제어부(140)는 상기 영상 및 학습을 통해 청소 구역을 맵핑하고 현재 위치를 맵 상에서 인식 가능하게 구비될 수 있다. 즉, 제어부(140)는 슬램(SLAM : Simultaneous Localization and Mapping) 기능을 수행할 수 있다.
제어부(140)는 주행부(160)의 구동을 제어할 수 있다. 제어부(140)는 청소부(180)의 동작을 제어할 수 있다.
로봇 청소기(100)는 각종 데이터를 저장하는 저장부(150)를 포함한다. 저장부(150)는 로봇 청소기(100)의 제어에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다.
현실의 청소 구역은 맵 상의 청소 구역과 대응될 수 있다. 상기 청소 구역은 로봇 청소기(100)가 주행 경험이 있는 모든 평면 상의 구역 및 현재 주행하고 있는 평면 상의 구역을 모두 합한 범위로 정의될 수 있다.
제어부(140)는 주행부(160)의 동작을 바탕으로 로봇 청소기(100)의 이동 경로를 파악할 수도 있다. 예를 들어, 제어부(140)는 구동 바퀴(166)의 회전속도를 바탕으로 로봇 청소기(100)의 현재 또는 과거의 이동속도, 주행한 거리 등을 파악할 수 있으며, 각 구동 바퀴(166(L), 166(R))의 회전 방향에 따라 현재 또는 과거의 방향 전환 과정 또한 파악할 수 있다. 이렇게 파악된 로봇 청소기(100)의 주행 정보를 바탕으로, 맵 상에서 로봇 청소기(100)의 위치가 갱신될 수 있다. 또한, 상기 영상 정보를 이용하여, 맵 상에서 로봇 청소기(100)의 위치가 갱신될 수도 있다.
구체적으로, 제어부(140)는 로봇 청소기(100)의 주행을 제어하고, 설정되는 주행 모드에 따라 주행부(160)의 구동을 제어한다. 주행부(160)의 주행 모드로서, 지그재그 모드, 엣지 모드, 나선형 모드 또는 복합형 모드 등을 선택적으로 설정할 수 있다.
지그재그 모드는 벽면이나 장애물로부터 소정 거리 이상으로 이격되어 지그재그로 주행하면서 청소하는 모드로 정의한다. 엣지 모드는 벽면에 붙어서 지그재그로 주행하면서 청소하는 모드로 정의한다. 나선형 모드는 대기 중의 한 곳을 중심으로 일정 영역 내에서 나선형으로 청소하는 모드로 정의한다.
제어부(140)는 청소 구역의 맵을 생성한다. 즉, 제어부(140)는 선행 청소를 통해 인식된 위치 및 각 지점에서 획득한 영상을 통해 청소 구역의 공간 지도를 형성할 수 있다. 제어부(140)는 또한 기 생성된 지도를 갱신하고, 조건에 따라 생성된 공간 지도의 청소 구역의 형태를 분류하고, 분류된 형태에 따라 청소 방법을 매칭할 수 있다. 또한, 이러한 제어부(140)는 기본 모드로 청소를 진행하는 것과 매칭된 청소 방법으로 청소를 진행하는 것의 효율을 연산하여 효율이 높은 방법으로 로봇 청소기(100)의 청소를 실행한다.
이러한 제어부(140)는 센싱부(130)의 감지신호, 구체적으로는 주행 변위 측정부(165), 거리 감지부(131) 및 낭떠러지 감지부(132)로부터의 감지 신호에 따라 기초 맵을 생성한다. 이와 같은 기초 맵은 일반적인 격자 맵일 수 있으며, 실질적으로 로봇 청소기(100)가 주행을 하면서 회전하는 방향, 직진 이동 거리, 벽으로부터의 이격 거리 등을 기초로 작성될 수 있다.
이러한 제어부(140)는 영상 감지부(135)로부터의 영상 데이터로부터 공간 정보를 추출하고, 추출된 공간 정보를 기초 맵에 부가하여 공간 지도를 생성할 수 있다.
제어부(140)는 상기 공간 지도를 형성하기 위한 맵 형성부를 더 포함할 수 있으나, 제어부(140) 내에서 함께 프로세싱 가능하다.
맵 생성부는 선행 청소를 통해 획득되는 감지 신호를 통해 기초 맵을 생성하고, 기초 맵에 영상 데이터로부터의 공간 정보를 부가하여 공간 지도를 생성한다. 이때, 맵 생성부는 연속적으로 촬영되어 생성되는 영상 데이터로부터 공간에 대한 상세 정보인 공간 정보를 추출하여 공간 지도에 부가할 수 있다.
구체적으로, 맵 생성부는 연속적인 영상 데이터에서 직선 추출을 수행하고, 소실점을 추출하는 것이 가능하다. 또한, 직선을 정합하여 모서리를 추출할 수 있으며, 각도 계산이 가능하다. 또한 직선 깊이를 추측할 수 있도록 삼각 측량이 가능하다. 이와 같은 공간 정보에 의해 공간의 넓이, 공간의 높이 등도 추출이 가능하다. 또한, 맵 생성부는 영상 데이터로부터 장애물이 검출되면, 이와 같은 장애물을 컴볼루션 신경망 기법 등의 알고리즘을 통해 장애물의 크기를 폭과 길이뿐만 아니라 높이까지 판단가능하며, 해당 장애물이 어떠한 물품인지에 대한 정보까지 추출 가능하다. 이와 같이 장애물에 대한 명명과 크기가 정의 가능하며 장애물에 대한 정보 또한 공간 지도에 반영하여 최종 공간 지도를 형성할 수 있다.
이와 같은 최종 공간 지도는 일반적인 격자 구조를 가지는 2차원의 기초 맵과 달리, 공간을 구획할 수 있도록 벽과 벽으로 이루어져 있으며, 벽과 벽이 이루는 공간과 다른 공간을 구분할 수 있도록 구획 가능하게 도시되어 있다.
맵 생성부는 이러한 최종 공간 지도를 기초로 한번에 주행하여 청소를 진행할 수 있도록 복수의 청소 구역으로 구획할 수 있다.
이와 같은 최종 공간 지도의 형성 및 청소 구역 구획은 맵 생성부에서 진행 가능하나, 앞서 설명한 바와 같이 제어부(140)에서 일괄적으로 진행 가능하다.
제어부(140)는 맵핑된 청소 구역의 면적에 따라 청소 구역을 구획하여 구획된 각 서브 청소 구역의 형태에 따른 최적의 청소 방법을 매칭할 수 있다.
제어부(140)는 주행변위 측정부(165), 거리 감지부(131) 및 영상감지부(135) 중 적어도 어느 하나를 이용하여, 현재 위치를 인식할 수 있으며, 맵 상에서 현재 위치를 인식할 수 있다.
한편, 제어부(140)는 주행변위 측정부(165), 거리 감지부(131) 및 영상감지부(135)의 감지 신호를 복수 주기에 대하여 비교함으로써 현재 로봇 청소기(100)의 상태에 대하여 판단 가능하다.
즉, 주행변위 측정부(165), 거리 감지부(131) 및 영상감지부(135)로의 감지 신호 사이에 오류가 있는지를 판단함으로써 로봇 청소기(100)가 구속 상태인지를 판단하고, 이에 따라 기초 맵 또는 공간 지도를 보정하는 최종 맵을 산출할 수 있다.
입력부(171)는 On/Off 또는 각종 명령을 입력 받을 수 있다. 입력부(171)는 버튼, 키 또는 터치형 디스플레이 등을 포함할 수 있다. 입력부(171)는 음성 인식을 위한 마이크를 포함할 수 있다.
출력부(173)는 각종 정보를 사용자에게 알릴 수 있다. 출력부(173)는 스피커 및/또는 디스플레이를 포함할 수 있다.
이하에서는 도 7 내지 도 13c를 참고하여 본 발명의 실시예에 따른 제어 방법에 대하여 설명한다.
도 7은 본 발명의 일 실시예에 따른 로봇 청소기의 제어방법을 도시한 순서도이고, 도 8은 도 7의 로봇 청소기의 현재 상태 판단 방법을 나타내는 순서도이고, 도 9a 내지 도 13c는 도 7 및 도 8의 순서도를 설명하는 카메라 이미지, 로봇 청소기의 상태도 및 공간 지도에서의 로봇 청소기의 위치를 각각 나타내는 도면이다.
각 순서도들에서 서로 중복되는 내용은 동일한 도면 부호로 표기하고, 중복되는 설명은 생략한다.
제어방법은 제어부(140)에 의해 수행될 수 있다. 제어방법의 순서도 도면들의 각 단계와 순서도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션(instruction)들에 의해 수행될 수 있다. 상기 인스트럭션들은 범용 컴퓨터 또는 특수용 컴퓨터 등에 탑재될 수 있고, 상기 인스트럭션들이 순서도 단계(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
또한, 몇 가지 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
도 7을 참고하면, 일 실시예에 따른 제어 방법은 서버(2) 또는 사용자 단말(3)을 통해 청소 시작 정보를 수신한다(S100).
이때, 로봇 청소기(100)는 현재 위치에서부터 청소 구역의 청소를 진행한다(S110).
제어부(140)는 청소 구역의 주행을 진행하면서 청소를 수행하고, 청소 구역에 대한 감지를 수행하여 각 감지 신호를 축적한다. 이때, 청소 시의 주행은 엣지 모드 또는 지그재그 모드로 주행이 진행될 수 있다.
구체적으로 로봇 청소기(100)는 주기적으로 주행부(160)로부터의 휠 감지를 통한 주행 변위 측정부(165) 및 초음파 센서 등을 통한 거리 감지부(131)를 통해 이동 변위 및 주변 환경을 감지함으로써 도 9c와 같이 기초 맵을 위한 데이터를 획득한다(S120).
즉, 엣지 모드 또는 지그재그 모드로 진행하면서 장애물 감지 센서를 통해 거리 감지부(131)로부터 주행 가능 영역 및 주행 불가능 영역을 구분하면서 도 9c와 같은 기초 맵을 작성할 수 있다.
또한, 제어부(140)는 상기 주행 변위 측정부(165) 및 거리 감지부(131)의 감지 주기에 맞추어 영상 감지부(135)로부터 영상 데이터를 수신할 수 있다.
이와 같은 영상 데이터는 도 9a와 같이 로봇 청소기(100)의 전방을 촬영하는 정지 영상일 수 있으나 이에 한정되지 않는다
다만, 도 9a와 같이 로봇 청소기(100)로부터의 특정 방향에 대한 영상일 수 있으며, 동일한 방향에 대하여 주기적으로 영상을 촬영함으로써 특정 장애물 등으로부터의 거리가 연산 가능하다.
도 9a 및 도 9b를 참고하면, 이전 주기에서 촬영되는 영상 데이터는 정면의 장애물(ob)을 영상 감지부(135)를 통해 수득한 것으로서, 이때의 로봇 청소기(100)의 상태는 도 9b와 같다.
즉, 로봇 청소기(100)의 주행 방향에 대한 전방의 장애물(ob)에 대하여, 영상 감지부(135)의 카메라의 광각 내에 장애물이 위치하여 그에 대한 영상 데이터를 수득하게 된다.
이때, 기초 맵에서의 로봇 청소기(100)의 위치는 도 9c와 같이 x축으로 10, y축으로 100을 나타내며, 라인이 주행한 경로를 나타낸다.
각 주기에 대하여 기초 맵에 로봇 청소기(100)의 위치가 기록되며, 이와 같은 기초 맵이 저장부(150)에 기록되어 전체적인 청소 구역의 공간 지도를 나타낼 수 있다.
다음 주기에 대하여, 로봇 청소기(100)가 주행 방향을 따라 이동하면서 청소를 수행하고, 이전 주기와 같이 각 기능 블록으로부터 감지 신호를 수득한다.
이때, 영상 감지부(135)로부터의 현재 영상 데이터와 이전 주기의 영상 데이터를 서로 비교하여 차이가 있는지 판단할 수 있다(S130).
이와 같은 영상 데이터의 변화가 없는 경우, 로봇 청소기(100)의 상태에 이상이 발생한 것으로 판단하고, 이에 따라 작성된 기초 맵을 보정한다(S140).
이와 같은 이상 상태 판단과 기초 맵 보정은 도 8 내지 도 13을 참고하여 이후에 상세히 설명한다.
로봇 청소기(100)의 제어부(140)는 이상상태에 대하여 맵이 보정되면, 이에 따라 이상 상태를 벗어나도록 제어할 수 있다(S150).
따라서, 로봇 청소기(100)의 방향이 변화되어 주행 방향을 바꾸어 주행을 수행할 수 있으며, 이와 같은 방향 전환이 곤란한 경우, 사용자 단말(3)로 알람하여 위치 변경을 유도할 수 있다.
다음으로, 로봇 청소기(100)가 이상 상태로부터 벗어나면 정상 주행 및 청소를 진행하고, 보정된 기초 맵에 연속하여 맵핑을 수행할 수 있다(S160).
한편, 로봇 청소기(100)의 이상 상태 판단 및 기초 맵 보정에 대하여 상세히 설명한다.
먼저, 도 8과 같이, 이전 주기에서 각 기능 블록으로부터 감지 신호가 저장되고, 로봇 청소기(100)의 전방을 촬영한 영상 데이터가 저장되어 있는 상태에서 현재 주기에서의 감지 신호의 수득이 이루어진다(S131).
제어부(140)는 현재 주기에서 이전 주기와 동일하게 주행 변위 측정부(165)로부터 휠 센서를 통해 이동 거리 및 방향 전환에 대한 정보를 수득하고, 거리 감지부(131)로부터 전방의 장애물(ob)로부터의 이동 거리 등에 대한 감지 신호를 수득하고, 영상 감지부(135)로부터 전방의 영상 데이터를 수득한다.
이와 같이 수득된 다양한 기능 블록들의 감지 신호 및 영상 데이터는 이전 주기에 대한 값과 현재 주기에 대한 값을 서로 비교함으로써 현재 로봇 청소기(100)의 상태를 판단 할 수 있다.
즉, 도 8과 같이 이전 주기의 영상 데이터와 현재 주기의 영상 데이터가 동일한지 여부를 판단한다(S132).
도 10a와 같이 현재 주기의 영상 데이터가 수득되었을 때, 이전 주기의 영상 데이터인 도 9a와 현재 주기의 영상 데이터인 도 10a와의 차이가 있는지 비교할 수 있다. 이와 같은 비교 판단은 픽셀 샘플 비교 등을 수행할 수 있으며, 특징점 사이의 거리 비교 등을 통해 용이하게 연산 가능하다.
이때, 도 9 내지 도 13과 같이 주기가 매우 짧아 영상 데이터의 차이를 명확하게 판단하기 어려운 경우, 복수회의 주기에 대하여 영상 데이터를 비교할 수 있다.
즉, 도 11a와 같이 3회차에 대한 영상 데이터를 모두 수득하여 서로 비교 가능하다.
이때, 영상 데이터가 서로 다른 경우에는 정상 주행인 것으로 판단하고, 다음 주기의 감지 신호 수득할 때까지 주행을 계속한다.
한편, 복수 회차에 대한 영상 데이터가 동일하다고 판단되는 경우(S133), 기초 맵 에서의 로봇 청소기(100)의 위치 정보를 읽어들여 현재 로봇 청소기(100)가 전진 상태인지 판단한다(S133).
즉, 도 9c, 도 10c 및 도 11c를 참고하여 각 주기에서 로봇 청소기(100)의 휠이 회전하면서 주행을 하는 것으로 주행 변위 측정부(165)에서의 감지 신호가 나타내는지 판단한다.
도 9c에서의 로봇 청소기(100)의 좌표는 (10, 100), 도 10c에서의 좌표는 (10, 120), 도 11c에서의 로봇 청소기(100)의 좌표는 (10, 140)이며, y 축을 따라 주행하는 것으로 볼 수 있다.
따라서, 주행 변위 측정부(165)의 감지 신호로부터는 로봇 청소기(100)가 y축을 따라 주행을 진행하는 것으로 판단되나, 영상 데이터 상으로는 변화가 없을 때, 현재 로봇 청소기(100)에 이상이 발생한 것으로 최종적으로 판단된다(S134).
즉, 로봇 청소기(100)가 구속 상태에 놓여짐으로써 휠이 슬립하고 있는 상태로 판단한다.
다만, 이와 같은 상황에서도 주행 변위 측정부(165)의 기록만으로 맵핑이 계속되는 경우, 맵핑에 오류가 발생할 수 있어 기초 맵의 보정이 요구된다.
따라서, 제어부(140)는 이전 주기의 데이터들을 확보하여 상기 영상 데이터의 변동이 없는 상태가 언제부터인지를 탐색할 수 있다.
도 9a에서부터 도 11a까지의 영상 데이터만이 동일하게 나타나고 도 9a 이전 주기에서는 영상 데이터 사이에 차이가 발생하는 경우, 제어부(140)는 도 9c 주기에서의 좌표와 도 11c의 좌표의 차이 값만큼 기초 맵에서 보정을 수행할 수 있다(S135).
따라서, y 축 방향으로 40만큼의 이동 거리를 기초 맵에서 삭제함으로써 기초 맵 보정을 수행한다.
따라서, 현재 주기에서의 로봇 청소기(100)의 위치는 다시 (10, 100)을 충족하도록 보정된다.
이와 같은 연산 및 데이터 보정은 GKR(Global kidnap recovery) 알고리즘을 통해 수행될 수 있으나, 간단한 프로그램을 통해 수행 가능하다.
다음으로, 제어부(140)는 도 12b와 같이 구속 상태로부터 탈출 모션을 수행한다(S136).
즉, 제어부(140)는 주행부(160)를 제어하여 정해진 구속 탈출 모션을 수행하도록 제어할 수 있으며, 이와 같은 구속 탈출 모션은 주변의 장애물(ob)의 각도에 따라 회전, 급 백무빙 등으로 설정 가능하다.
도 12b와 같이 회전을 수행하면, 도 12a와 같이 영상 감지부(135)로부터 수신되는 다음 주기의 영상 데이터가 가변할 수 있다.
이때, 도 12c와 같이 기초 맵의 로봇 청소기(100)의 좌표는 보정된 현재 위치인 (10, 100)을 계속 유지할 수 있으며 방향만 변화할 수 있다.
다음으로 도 13b와 같이 이전 주행 방향과 반대 방향으로의 주행을 수행할 수 있으며, 마지막 맵핑을 수행하였던 지점(10, 100)에서 다시 맵핑이 진행된다.
따라서, 주행 방향이 도 13b와 같이 반대로 변화되며, 도 13a와 같은 영상 데이터가 수득될 수 있다.
도 12a 및 도 13a와 같이, 로봇 청소기(100)의 주행, 즉 위치 변동에 따라 촬영되는 영상 데이터가 확연하게 변화하여 로봇 청소기(100)가 정상 주행 상태임이 확인된다.
이와 같이, 로봇 청소기(100)가 주행을 수행하면서, 주행 변위 측정부(165)로부터 수득되는 데이터와 영상 감지부(135)로부터의 영상 데이터가 서로 다른 상태를 나타낼 때, 로봇 청소기(100)가 이상 상태에 놓여져 있는 것으로 판단하고 로봇 청소기(100)의 맵핑을 보정하여 정확한 맵을 제공할 수 있다.
이때, 로봇 청소기(100)의 이상 상태가 특정 위치에 구속되어 방향 전환 또는 백 무빙으로 탈출 불가능한 경우에는 로봇 청소기(100)는 도 14와 같이 사용자 단말(3)에 알람할 수 있다.
이하에서는 도 14 및 도 15를 참고하여 사용자 단말(3)에 제공되는 화면을 설명한다.
도 14는 도 8에 따른 사용자 단말의 표시 상태를 나타내는 것이고, 도 15a 및 도 15b는 도 7 및 도 8에 따른 공간 지도 보정을 나타내는 도면이다.
도 14를 참고하면, 로봇 청소기(100)를 포함하는 스마트 홈 시스템 내의 사용자 단말(3)은 로봇 청소기(100)를 제어하기 위한 어플리케이션이 설치되어 있다.
이와 같은 어플리케이션을 통해 해당 로봇 청소기(100)를 선택하면, 도 14와 같이 로봇 청소기(100)의 제어를 위한 아이콘이 표시된다.
이때, 사용자 단말(3)의 제어에 의해 로봇 청소기(100)가 청소를 수행하는 중 도 7 내지 도 13c와 같은 이상 상태에 놓이는 경우, 로봇 청소기(100)는 자체적으로 이상 상태를 벗어나기 위한 동작을 수행한다.
이와 같은 동작은 앞서 설명한 바와 같은 회전 또는 급 백무빙 등으로 설정가능하다.
다만, 로봇 청소기(100)가 단차진 영역에 놓여지거나 퇴로가 막힌 영역에 놓여지는 경우 등과 같이 자체적으로 탈출하기 어려운 상황인 경우, 사용자 단말(3)의 어플리케이션을 통해 사용자에게 알람 가능하다.
이와 같은 알람으로는 “탈출을 도와주세요” 등과 같은 문장으로 제공 가능하며, 시각적 및/또는 청각적으로 알람 가능하다.
이때, 로봇 청소기(100)는 보정된 기초 맵인 공간 지도에 대한 정보를 함께 제공하여 상기 로봇 청소기(100)의 현재 위치에 대한 정보를 제공할 수 있다.
이와 같은 공간 지도는 도 15a와 같이 로봇 청소기(100)의 구속에 의해 휠 슬립으로 인한 오류 영역(A)이 삭제되어 보정된 도 15b와 같은 지도일 수 있으며, 격자 지도의 형상을 가질 수 있다.
따라서, 사용자 단말(3)로부터의 알람에 의해 사용자가 해당 위치로 이동하여 직접 로봇 청소기(100)를 구속 상태로부터 해방시킬 수 있다.
즉, 구속 상태에 따라 로봇 청소기(100)는 자체적으로 탈출을 수행하거나, 사용자 알람을 통해 구속 상태로부터 해방될 수 있다.
이와 같이, 로봇 청소기(100)는 구속 상태인 경우를 판단하여 그에 따라 기초 맵을 보정함으로써 정확한 기초 맵의 생성이 가능하여 호밍의 성공률이 높아질 수 있다.
2: 서버 3: 사용자 단말
100 : 로봇 청소기 120 : 센싱부
140 : 제어부 150 : 저장부
160 : 주행부 131 : 거리 감지부
135: 영상 감지부 165: 주행 변위 측정부
180 : 청소부 200 : 충전대

Claims (21)

  1. 본체를 이동시키는 주행부;
    청소 기능을 수행하는 청소부;
    주행 변위를 감지하는 주행 변위 측정부;
    주기적으로 주변 환경을 촬영하여 영상 데이터를 수득하는 영상 감지부; 및
    청소 구역에 청소를 진행하여, 상기 주행 변위 측정부 및 영상 감지부를 통해 감지된 정보 및 상기 영상 데이터를 기초로 상기 청소 구역에 대한 지도를 생성하면서, 주기적으로 수득된 적어도 3회 주기에 대한 상기 영상 데이터 사이에 변화가 없고, 상기 주행 변위 측정부로부터의 감지 신호가 상기 본체가 주행하는 것으로 나타나는 경우, 현재 로봇 청소기가 이상 상태에 있는 것으로 판단하여, 실시간으로 상기 지도를 보정하여 제공하는 제어부;
    를 포함하는 로봇 청소기.
  2. 제1항에 있어서,
    상기 지도는
    상기 청소 구역에 대한 물리적인 형상 정보 및 상기 로봇 청소기의 현재 위치에 대한 정보를 포함하는 것을 특징으로 하는 로봇 청소기.
  3. 삭제
  4. 삭제
  5. 제2항에 있어서,
    상기 제어부는 상기 영상 데이터를 비교하여 상기 영상 데이터의 변동이 없는 시점부터의 상기 로봇 청소기의 주행 거리를 제거하는 지도 보정을 수행하는 것을 특징으로 하는, 로봇 청소기.
  6. 제5항에 있어서,
    상기 제어부는 상기 로봇 청소기가 이상 상태에 있는 경우, 구속 탈출 모션을 진행하여 탈출을 유도하는 것을 특징으로 하는, 로봇 청소기.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 로봇 청소기의 구속 탈출이 진행되지 않는 경우, 사용자 단말로 알람을 수행하는 것을 특징으로 하는, 로봇 청소기.
  8. 제7항에 있어서,
    상기 사용자 단말은 상기 로봇 청소기를 제어하기 위한 어플리케이션이 설치되어 있으며,
    상기 어플리케이션을 통해 보정된 상기 지도가 제공되고, 상기 로봇 청소기로부터 구속 탈출을 위한 알람이 전송되는 것을 특징으로 하는, 로봇 청소기.
  9. 제1항에 있어서,
    상기 로봇 청소기는,
    엣지 모드 또는 지그재그 모드로 청소를 진행하면서 상기 청소 구역에 대한 정보 및 영상 데이터를 수집하는 것을 특징으로 하는, 로봇 청소기.
  10. 청소 구역을 주행하며 청소를 진행하여, 주행 변위를 감지하는 감지 신호를 수득하고, 주변 환경을 촬영하여 영상 데이터를 수득하는 단계;
    상기 감지 신호, 상기 영상 데이터를 기초로 상기 청소 구역에 대한 지도를 생성하는 단계; 및
    주기적으로 수득된 적어도 3회 주기에 대한 상기 영상 데이터 사이에 변화가 없고, 상기 주행 변위 측정부로부터의 감지 신호가 본체가 주행하는 것으로 나타나는 경우, 현재 로봇 청소기가 이상 상태에 있는 것으로 판단하여, 실시간으로 상기 지도를 보정하는 단계
    를 포함하는 로봇 청소기의 제어 방법.
  11. 제10항에 있어서,
    상기 지도는 상기 청소 구역에 대한 물리적인 형상 정보 및 상기 로봇 청소기의 현재 위치에 대한 정보를 포함하는 것을 특징으로 하는 로봇 청소기의 제어 방법.
  12. 삭제
  13. 삭제
  14. 제11항에 있어서,
    상기 지도를 보정하는 단계는,
    상기 영상 데이터를 비교하여 상기 영상 데이터의 변동이 없는 시점부터의 상기 로봇 청소기의 주행 거리를 제거하는 지도 보정을 수행하는 것을 특징으로 하는, 로봇 청소기의 제어 방법.
  15. 제14항에 있어서,
    상기 로봇 청소기의 제어 방법은,
    상기 로봇 청소기가 이상 상태에 있는 경우, 구속 탈출 모션을 진행하여 탈출을 유도하는 단계를 더 포함하는 것을 특징으로 하는, 로봇 청소기의 제어 방법.
  16. 제15항에 있어서,
    상기 탈출을 유도하는 단계는,
    상기 로봇 청소기의 구속 탈출이 진행되지 않는 경우, 사용자 단말로 알람을 수행하는 것을 특징으로 하는, 로봇 청소기의 제어 방법.
  17. 제16항에 있어서,
    상기 사용자 단말은 상기 로봇 청소기를 제어하기 위한 어플리케이션이 설치되어 있으며,
    상기 어플리케이션을 통해 보정된 상기 지도를 제공하고, 상기 로봇 청소기로부터 구속 탈출을 위한 알람을 전송하는 것을 특징으로 하는, 로봇 청소기의 제어 방법.
  18. 제11항에 있어서,
    상기 청소를 수행하는 단계는,
    엣지 모드 또는 지그재그 모드로 청소를 진행하면서 상기 청소 구역에 대한 감지 신호 및 영상 데이터를 수집하는 것을 특징으로 하는, 로봇 청소기의 제어 방법.
  19. 본체를 이동하면서 청소 구역의 청소를 진행하는 로봇 청소기로서, 주기적으로 주행 변위를 감지하는 주행 변위 측정부, 주기적으로 주변 환경을 촬영하여 영상 데이터를 수득하는 영상 감지부, 및 청소 구역에 청소를 진행하여, 상기 주행 변위 측정부 및 영상 감지부를 통해 감지된 정보 및 상기 영상 데이터를 기초로 상기 청소 구역에 대한 지도를 생성하면서, 주기적으로 수득된 적어도 3회 주기에 대한 상기 영상 데이터 사이에 변화가 없고, 상기 주행 변위 측정부로부터의 감지 신호가 상기 본체가 주행하는 것으로 나타나는 경우, 현재 로봇 청소기가 이상 상태에 있는 것으로 판단하여, 실시간으로 상기 지도를 보정하여 제공하는 제어부를 포함하는 로봇 청소기; 및
    상기 로봇 청소기에 대한 청소 및 주행을 제어하는 어플리케이션이 설치되어 있으며, 상기 어플리케이션으로부터 상기 지도를 제공받아 상기 로봇 청소기의 이상 상태 여부를 알람받는 사용자 단말
    을 포함하는 로봇 청소기 시스템.
  20. 삭제
  21. 제19항에 있어서,
    상기 사용자 단말은,
    상기 영상 데이터를 비교하여 상기 영상 데이터의 변동이 없는 시점부터의 상기 로봇 청소기의 주행 거리가 제거된 상기 청소 구역의 지도를 제공받고, 상기 지도에서 상기 로봇 청소기의 현재 위치에 대한 정보를 제공받는 것을 특징으로 하는, 로봇 청소기 시스템.
KR1020200002651A 2020-01-08 2020-01-08 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법 KR102423573B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200002651A KR102423573B1 (ko) 2020-01-08 2020-01-08 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
PCT/KR2021/000167 WO2021141396A1 (en) 2020-01-08 2021-01-07 Robot cleaner using artificial intelligence and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200002651A KR102423573B1 (ko) 2020-01-08 2020-01-08 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법

Publications (2)

Publication Number Publication Date
KR20210089462A KR20210089462A (ko) 2021-07-16
KR102423573B1 true KR102423573B1 (ko) 2022-07-20

Family

ID=76788118

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200002651A KR102423573B1 (ko) 2020-01-08 2020-01-08 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법

Country Status (2)

Country Link
KR (1) KR102423573B1 (ko)
WO (1) WO2021141396A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11940800B2 (en) * 2021-04-23 2024-03-26 Irobot Corporation Navigational control of autonomous cleaning robots
CN113729578B (zh) * 2021-08-04 2022-12-06 深圳创动科技有限公司 清洁机器人及其运动状态监测方法、服务器以及存储介质
KR20230158668A (ko) * 2022-05-11 2023-11-21 삼성전자주식회사 로봇 및 그 제어 방법
WO2023222751A1 (en) * 2022-05-18 2023-11-23 Nilfisk A/S A method of estimating a position of a cleaning machine

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100406636B1 (ko) * 2001-04-18 2003-11-21 삼성광주전자 주식회사 로봇 청소기와 그 시스템 및 제어방법
KR101641244B1 (ko) * 2010-02-02 2016-07-20 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
JP2019054409A (ja) * 2017-09-15 2019-04-04 株式会社日立製作所 ロボット制御装置、システム、及び方法
KR102021834B1 (ko) * 2017-07-12 2019-09-17 엘지전자 주식회사 이동 로봇 시스템 및 그 제어방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120065153A (ko) 2010-12-10 2012-06-20 엘지전자 주식회사 보증금 지불 시스템 및 방법
KR20170003764A (ko) 2015-06-30 2017-01-10 넥서스환경디자인연구원(주) 맹꽁이 서식지 복원시설
KR20180121244A (ko) * 2017-04-28 2018-11-07 엘지전자 주식회사 이동 로봇 및 그 제어방법
US11586211B2 (en) * 2017-10-25 2023-02-21 Lg Electronics Inc. AI mobile robot for learning obstacle and method of controlling the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100406636B1 (ko) * 2001-04-18 2003-11-21 삼성광주전자 주식회사 로봇 청소기와 그 시스템 및 제어방법
KR101641244B1 (ko) * 2010-02-02 2016-07-20 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
KR102021834B1 (ko) * 2017-07-12 2019-09-17 엘지전자 주식회사 이동 로봇 시스템 및 그 제어방법
JP2019054409A (ja) * 2017-09-15 2019-04-04 株式会社日立製作所 ロボット制御装置、システム、及び方法

Also Published As

Publication number Publication date
WO2021141396A1 (en) 2021-07-15
KR20210089462A (ko) 2021-07-16

Similar Documents

Publication Publication Date Title
KR102423573B1 (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
KR102021833B1 (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
US11700989B2 (en) Mobile robot using artificial intelligence and controlling method thereof
EP3727122B1 (en) Robot cleaners and controlling method thereof
KR101366860B1 (ko) 이동 로봇 및 이의 제어 방법
EP3432107B1 (en) Cleaning robot and controlling method thereof
WO2017141536A1 (ja) 自律走行体
KR102275300B1 (ko) 이동 로봇 및 그 제어방법
US11537135B2 (en) Moving robot and controlling method for the moving robot
KR20180087798A (ko) 이동 로봇 및 그 제어방법
KR101974870B1 (ko) 인공지능 로봇 청소기 및 이를 구비하는 로봇 청소 시스템
US20220257074A1 (en) Mobile robot using artificial intelligence and controlling method thereof
KR102048365B1 (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
KR102428216B1 (ko) 인공지능을 이용한 이동 로봇, 이동 로봇의 제어방법, 및 이동 로봇의 제어 시스템
JP2022541736A (ja) 移動ロボット及びその制御方法
KR20200142865A (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
KR20210089461A (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
KR20200037200A (ko) 복수의 로봇 청소기 및 그 제어방법
KR20210113902A (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
KR102243178B1 (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
KR20210089463A (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
KR20180048088A (ko) 로봇 청소기 및 그 제어방법
KR20210089464A (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
KR102203438B1 (ko) 이동 로봇 및 이동 로봇의 제어방법
KR20230115158A (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant