KR20200142865A - 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법 - Google Patents

인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법 Download PDF

Info

Publication number
KR20200142865A
KR20200142865A KR1020190070276A KR20190070276A KR20200142865A KR 20200142865 A KR20200142865 A KR 20200142865A KR 1020190070276 A KR1020190070276 A KR 1020190070276A KR 20190070276 A KR20190070276 A KR 20190070276A KR 20200142865 A KR20200142865 A KR 20200142865A
Authority
KR
South Korea
Prior art keywords
robot cleaner
cleaning
map
spatial map
image data
Prior art date
Application number
KR1020190070276A
Other languages
English (en)
Inventor
신용민
조일수
이태재
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190070276A priority Critical patent/KR20200142865A/ko
Priority to PCT/KR2020/007574 priority patent/WO2020251274A1/en
Publication of KR20200142865A publication Critical patent/KR20200142865A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L13/00—Implements for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L13/10—Scrubbing; Scouring; Cleaning; Polishing
    • A47L13/20—Mops
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L13/00—Implements for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L13/10—Scrubbing; Scouring; Cleaning; Polishing
    • A47L13/42—Details
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A47L9/2826—Parameters or conditions being sensed the condition of the floor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A47L9/2831—Motor parameters, e.g. motor load or speed
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2847—Surface treating elements
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2857—User input or output elements for control, e.g. buttons, switches or displays
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2889—Safety or protection devices or systems, e.g. for prevention of motor over-heating or for protection of the user
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2894—Details related to signal transmission in suction cleaners
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/06—Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2201/00—Application
    • G05D2201/02—Control of position of land vehicles
    • G05D2201/0203—Cleaning or polishing vehicle

Abstract

본 발명에 따른 인공지능을 이용한 로봇 청소기는, 본체를 이동시키는 주행부; 청소 기능을 수행하는 청소부; 주변 환경을 감지하는 센싱부; 상기 주변 환경을 촬영하여 영상 데이터를 수득하는 영상 감지부; 및 선행 청소를 진행하여, 상기 센싱부 및 영상 감지부를 통해 감지된 정보 및 상기 영상 데이터를 기초로 청소 구역에 대한 공간 지도를 생성하고, 생성된 상기 공간 지도에 따라 청소 방법을 매칭하여 청소하도록 제어하는 제어부;를 포함한다. 따라서, 사용자에게 제공할 지도를 작성함에 있어, 카메라를 이용하여 3차원 공간에 대한 정보를 파악하여 실제 공간 도면과 유사한 지도를 제공할 수 있다.

Description

인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법 {A ROBOT CLEANER USING ARTIFICIAL INTELLIGENCE AND CONTROL METHOD THEREOF}
본 발명은, 로봇 청소기 및 로봇 청소기의 제어방법에 관한 것으로, 보다 상세하게는 인공지능을 이용한 로봇 청소기의 감지 및 그에 따른 주행 기술에 관한 것이다.
로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다.
최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다. 이러한 로봇 중에서 자력으로 주행이 가능한 것을 이동 로봇이라고 한다. 가정에서 사용되는 이동 로봇의 대표적인 예는 로봇 청소기이다.
로봇 청소기에 구비된 여러 센서를 통하여 로봇 청소기 주변의 환경 및 사용자를 감지하는 여러 기술들이 알려져 있다. 또한, 로봇 청소기가 스스로 청소 구역을 학습하여 맵핑하고, 맵 상에서 현재 위치를 파악하는 기술들이 알려져 있다. 청소 구역을 기설정된 방식으로 주행하며 청소하는 로봇 청소기가 알려져 있다.
또한, 종래 기술(한국특허공개번호 10-2017-0003764)에는, 청소영역에 대한 지도(격자지도)를 사용자가 확인하기 용이한 형태로 가공하고 (외곽선 변경 등), 지도를 통해 입력되는 청소명령에 따라 청소영역에 대한 청소가 수행되도록 하는 방법이 개시되어 있다.
한편, 종래 기술(한국등록특허번호 10-0791384)에는, 특징점을 이용한 영역 구분 방법 및 이를 이용한 이동 청소로봇에 대한 것으로, 격자 지도로부터 특징점을 이용하여 공간을 나누어 사용자가 편리하게 청소 명령을 내릴 수 있는 기술이 개시되어 있다.
그러나, 앞서 설명한 종래 기술의 경우, 일반적인 실내 환경에서는 침대 등의 가구가 많아 로봇이 작성한 격자 지도가 실제 공간 도면과 상당한 차이가 생기게 되고, 사용자가 직관적으로 공간에 대한 정보를 파악하기에 어려움이 있다.
한국공개특허공보 공개번호 10-2017-0003764 (공개일자 : 2018년 07월 18일) 한국공개특허번호 10-0791384 (공개일자 : 2008년 01월 07일)
제1 과제는 실제 실내 공간과 유사한 공간 지도를 제공할 수 있는 청소 로봇을 제공하는 것이다.
상기 종래기술은 청소영역에 대한 지도를 사용자가 확인하기 용이한 형태로 가공하고 (외곽선 변경 등), 지도를 통해 입력되는 청소명령에 따라 청소영역에 대한 청소가 수행되도록 하는 방법을 개시하고는 있으나, 일반적인 실내환경의 경우 침대 등의 가구가 많아 로봇이 작성한 격자지도가 실제 공간 도면과 상당한 차이가 생기게 된다.
따라서, 제2 과제는 사용자에게 제공할 지도를 작성함에 있어, 카메라를 이용하여 3차원 공간에 대한 정보를 파악하여 실제 공간 도면과 유사한 지도를 제공할 수 있는 청소 로봇을 제공하는 것이다.
또한, 종래 기술에서는 격자지도로부터 특징점을 이용하여 공간을 나누어 사용자가 편리하게 청소 명령을 내릴 수 있게 하고 있으나, 이와 같은 특징점이 입체적인 공간 정보를 포함하고 있지 않아 사용자가 실제 청소를 하는데 실제 공간과 지도 정보 사이의 차이에 의해 곤란이 발생할 수 있다. 따라서, 제3 과제는 물체 인식 정보를 지도에 표시함으로써 주행 불가능 영역에 존재하는 가구 등을 인식하여 지도에 표시하여 제공하는 청소 로봇을 제공하는 것이다.
본 발명의 실시예에 따른 로봇 청소기는, 본체를 이동시키는 주행부; 청소 기능을 수행하는 청소부; 주변 환경을 감지하는 센싱부; 상기 주변 환경을 촬영하여 영상 데이터를 수득하는 영상 감지부; 및 선행 청소를 진행하여, 상기 센싱부 및 영상 감지부를 통해 감지된 정보 및 상기 영상 데이터를 기초로 청소 구역에 대한 공간 지도를 생성하고, 생성된 상기 공간 지도에 따라 청소 방법을 매칭하여 청소하도록 제어하는 제어부;를 포함한다.
상기 로봇 청소기는, 엣지 모드 또는 지그재그 모드로 선행 청소를 진행하면서 상기 청소 구역에 대한 정보 및 영상 데이터를 수집할 수 있다.
상기 제어부는, 상기 센싱부로부터 수득된 감지된 정보로부터 상기 청소 구역에 대한 기초 맵을 작성할 수 있다.
상기 제어부는, 상기 청소 구역의 기초 맵에서 상기 영상 데이터로부터 수득된 공간 정보를 적용하여 상기 공간 지도를 형성할 수 있다.
상기 제어부는, 상기 영상 데이터로부터의 공간 정보를 기초로 직선 추출, 소실점 추출, 직선 정합, 직선 깊이 추측을 위한 삼각 측량의 알고리즘을 수행하여 상기 공간 지도를 형성할 수 있다.
상기 제어부는, 상기 영상 데이터로부터 장애물을 추출하여 상기 공간 지도에 적용하여 주행 불가능 영역을 표시할 수 있다.
상기 제어부는, 상기 영상 데이터로부터 장애물을 컨볼루션 신경망 기법을 통해 추출하고 추출된 상기 장애물에 대한 물체 정보를 상기 공간 지도에 적용하여 최종 공간 지도를 생성할 수 있다.
상기 제어부는, 상기 최종 공간 지도에 표시된 상기 청소 구역의 형상에 따라 복수의 영역으로 구획할 수 있다.
상기 제어부는, 구획된 각각의 영역의 형상에 따라 특정 주행 모드로 주행하여 청소를 진행하도록 제어할 수 있다.
상기 제어부는, 상기 최종 공간 지도를 2차원 또는 3차원의 형태로 상기 사용자에게 제공할 수 있다.
한편, 본 발명의 실시예는 청소 구역에 선행 청소를 진행하여, 센싱부를 통해 감지 신호를 수득하고, 영상 감지부로부터 주변 환경을 촬영하여 영상 데이터를 수득하는 단계; 상기 감지 신호 및 상기 영상 데이터를 기초로 청소 구역에 대한 공간 지도를 생성하는 단계; 및 생성된 상기 공간 지도에 따라 청소 방법을 매칭하여 청소를 진행하는 단계를 포함하는 로봇 청소기의 제어 방법을 제공한다.
엣지 모드 또는 지그재그 모드로 선행 청소를 진행하면서 상기 청소 구역에 대한 상기 감지 신호 및 영상 데이터를 수집할 수 있다.
상기 공간 지도를 생성하는 단계는, 상기 센싱부로부터 수득된 감지 신호로부터 상기 청소 구역에 대한 기초 맵을 작성하는 단계, 그리고 상기 청소 구역의 기초 맵에서 상기 영상 데이터로부터 수득된 공간 정보를 적용하여 상기 공간 지도를 형성할 수 있다.
상기 공간 정보를 적용하여 상기 공간 지도를 형성하는 단계는, 상기 영상 데이터로부터의 상기 공간 정보를 기초로 직선 추출, 소실점 추출, 직선 정합, 직선 깊이 추측을 위한 삼각 측량의 알고리즘을 수행하여 상기 공간 지도를 형성할 수 있다.
상기 영상 데이터로부터 장애물을 추출하여 상기 공간 지도에 적용하여 주행 불가능 영역을 표시할 수 있다.
상기 영상 데이터로부터 장애물을 컨볼루션 신경망 기법을 통해 추출하고 추출된 상기 장애물에 대한 물체 정보를 상기 공간 지도에 적용하여 최종 공간 지도를 생성할 수 있다.
상기 최종 공간 지도에 표시된 청소 구역의 형상에 따라 복수의 영역으로 구획할 수 있다.
구획된 각각의 영역의 형상에 따라 특정 주행 모드로 주행하여 청소를 진행하도록 제어할 수 있다.
상기 최종 공간 지도를 2차원 또는 3차원의 형태로 상기 사용자에게 제공할 수 있다.
3차원의 최종 공간 지도는 상기 장애물에 대한 정보를 나타내는 형상을 포함하도록 표시될 수 있다.
상기 해결 수단을 통하여, 본 발명은 실제 실내 공간과 유사한 공간 지도를 제공할 수 있다.
또한, 사용자에게 제공할 지도를 작성함에 있어, 카메라를 이용하여 3차원 공간에 대한 정보를 파악하여 실제 공간 도면과 유사한 지도를 제공할 수 있다.
그리고, 물체 인식 정보를 지도에 표시함으로써 주행 불가능 영역에 존재하는 가구 등을 인식하여 지도에 표시하여 제공하여 효율적이고 최적화된 공간 지도를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 로봇 청소기(100) 및 로봇 청소기를 충전시키는 충전대(200)를 도시한 사시도이다.
도 2는 도 1의 로봇 청소기(100)를 상측에서 바라본 입면도이다.
도 3은 도 1의 로봇 청소기(100)를 정면에서 바라본 입면도이다.
도 4는 도 1의 로봇 청소기(100)를 하측에서 바라본 입면도이다.
도 5는 도 1의 로봇 청소기(100)의 주요 구성들 간의 제어관계를 도시한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 로봇 청소기의 제어방법을 도시한 순서도이다.
도 7a 내지 도 7d은 도 6의 제어방법에 따라 진행되는 과정의 시나리오를 도시한 순서도이다.
도 8 및 도 9는 도 6의 시나리오에 따라 진행되는 공간 인식 상태를 나타내는 도면이다.
도 10은 도 6의 제어방법에 따라 최종적으로 제공되는 공간 지도를 나타내는 도면이다.
본 설명 전체에 걸쳐 언어적/수학적으로 표현된 대소비교에 있어서, '작거나 같음(이하)'과 '작음(미만)'은 통상의 기술자 입장에서 서로 용이하게 치환가능한 정도이며, '크거나 같음(이상)'과 '큼(초과)'은 통상의 기술자 입장에서 서로 용이하게 치환가능한 정도이며, 본 발명을 구현함에 있어서 치환하여도 그 효과 발휘에 문제가 되지 않음은 물론이다.
본 발명의 이동 로봇(100)은 바퀴 등을 이용하여 스스로 이동이 가능한 로봇을 의미하고, 가정 도우미 로봇 및 로봇 청소기 등이 될 수 있다.
이하 도 1 내지 도 5를 참조하여, 이동 로봇 중 로봇 청소기(100)를 예로 들어 설명하나, 이에 한정되지 않는다.
로봇 청소기(100)는 본체(110)를 포함한다. 이하, 본체(110)의 각부분을 정의함에 있어서, 주행구역 내의 천장을 향하는 부분을 상면부(도 2 참조)로 정의하고, 주행구역 내의 바닥을 향하는 부분을 저면부(도 4 참조)로 정의하고, 상기 상면부와 저면부 사이에서 본체(110)의 둘레를 이루는 부분 중 주행방향을 향하는 부분을 정면부(도 3 참조)라고 정의한다. 또한, 본체(110)의 정면부와 반대 방향을 향하는 부분을 후면부로 정의할 수 있다. 본체(110)는 로봇 청소기(100)를 구성하는 각종 부품들이 수용되는 공간을 형성하는 케이스(111)를 포함할 수 있다.
로봇 청소기(100)는 주변의 상황을 감지하는 센싱부(130)를 포함한다. 센싱부(130)는 로봇 청소기(100) 외부의 정보를 감지할 수 있다. 센싱부(130)는 로봇 청소기(100) 주변의 사용자를 감지한다. 센싱부(130)는 로봇 청소기(100) 주변의 물체를 감지할 수 있다.
센싱부(130)는 청소 구역에 대한 정보를 감지할 수 있다. 센싱부(130)는 주행면 상의 벽체, 가구 및 낭떠러지 등의 장애물을 감지할 수 있다. 센싱부(130)는 천장에 대한 정보를 감지할 수 있다. 센싱부(130)는, 주행면 상에 놓여진 물건 및/또는 외부의 상측 물체를 포함할 수 있다. 외부의 상측 물체는, 로봇 청소기(100)의 상측 방향에 배치되는 천장이나 가구의 하측면 등을 포함할 수 있다. 센싱부(130)가 감지한 정보를 통해, 로봇 청소기(100)는 청소 구역을 맵핑(Mapping)할 수 있다.
센싱부(130)는, 로봇 청소기(100) 주변의 사용자에 대한 정보를 감지할 수 있다. 센싱부(130)는, 상기 사용자의 위치 정보를 감지할 수 있다. 상기 위치 정보는, 로봇 청소기(100)에 대한 방향 정보를 포함할 수 있다. 상기 위치 정보는, 로봇 청소기(100)와 사용자 사이의 거리 정보를 포함할 수 있다. 센싱부(130)는 상기 사용자의 상기 로봇 청소기(100)에 대한 방향을 감지할 수 있다. 센싱부(130)는 상기 사용자와 로봇 청소기(100) 사이의 거리를 감지할 수 있다.
상기 위치 정보는, 센싱부(130)의 감지에 의해 곧바로 획득될 수도 있고, 제어부(140)에 의해 처리되어 획득될 수도 있다.
센싱부(130)는 주변의 영상을 감지하는 영상 감지부(135)를 포함할 수 있다. 영상 감지부(135)는 로봇 청소기(100)에 대한 특정 방향으로 영상을 감지할 수 있다. 예를 들어, 영상 감지부(135)는, 로봇 청소기(100)의 전방으로 영상을 감지할 수 있다. 영상 감지부(135)는 주행구역을 촬영하는 것으로, 디지털 카메라를 포함할 수 있다. 상기 디지털 카메라는 적어도 하나의 광학렌즈와, 상기 광학렌즈를 통과한 광에 의해 상이 맺히는 다수개의 광다이오드(photodiode, 예를 들어, pixel)를 포함하여 구성된 이미지센서(예를 들어, CMOS image sensor)와, 상기 광다이오드들로부터 출력된 신호를 바탕으로 영상을 구성하는 디지털 신호 처리기(DSP: Digital Signal Processor)를 포함할 수 있다. 상기 디지털 신호 처리기는 정지영상은 물론이고, 정지영상으로 구성된 프레임들로 이루어진 동영상을 생성하는 것도 가능하다.
센싱부(130)는 주변의 벽까지의 거리를 감지하는 거리 감지부(131)를 포함할 수 있다. 거리 감지부(131)를 통해 로봇 청소기(100)와 주변의 벽까지의 거리를 감지할 수 있다. 거리 감지부(131)는, 로봇 청소기(100)의 특정 방향으로 사용자까지의 거리를 감지한다. 거리 감지부(131)는 카메라, 초음파 센서 또는 IR(적외선) 센서 등을 포함할 수 있다.
거리 감지부(131)는 본체(110)의 정면부에 배치될 수 있고, 측방부에 배치될 수도 있다.
거리 감지부(131)는 주변의 장애물을 감지할 수 있다. 복수의 거리 감지부(131)가 구비될 수 있다.
센싱부(130)는 주행구역 내 바닥에 낭떠러지의 존재 여부를 감지하는 낭떠러지 감지부(132)를 포함할 수 있다. 복수의 낭떠러지 감지부(132)가 구비될 수 있다.
센싱부(130)는 바닥의 영상을 획득하는 하부 영상 센서(137)를 더 포함할 수 있다.
로봇 청소기(100)는 본체(110)를 이동시키는 주행부(160)를 포함한다. 주행부(160)는 바닥에 대해 본체(110)를 이동시킨다. 주행부(160)는 본체(110)를 이동시키는 적어도 하나의 구동 바퀴(166)를 포함할 수 있다. 주행부(160)는 구동 모터를 포함할 수 있다. 구동 바퀴(166)는 본체(110)의 좌, 우 측에 각각 구비될 수 있으며, 이하, 각각 좌륜(166(L))과 우륜(166(R))이라고 한다.
좌륜(166(L))과 우륜(166(R))은 하나의 구동 모터에 의해 구동될 수도 있으나, 필요에 따라 좌륜(166(L))을 구동시키는 좌륜 구동 모터와 우륜(166(R))을 구동시키는 우륜 구동 모터가 각각 구비될 수도 있다. 좌륜(166(L))과 우륜(166(R))의 회전 속도에 차이를 두어 좌측 또는 우측으로 본체(110)의 주행방향을 전환할 수 있다.
로봇 청소기(100)는 청소 기능을 수행하는 청소부(180)를 포함한다.
로봇 청소기(100)는 청소 구역을 이동하며 청소부(180)에 의해 바닥을 청소할 수 있다. 청소부(180)는, 이물질을 흡입하는 흡입 장치, 비질을 수행하는 브러시(184, 185), 흡입장치나 브러시에 의해 수거된 이물질을 저장하는 먼지통(미도시) 및/또는 걸레질을 수행하는 걸레부(미도시) 등을 포함할 수 있다.
본체(110)의 저면부에는 공기의 흡입이 이루어지는 흡입구(180h)가 형성될 수 있다. 본체(110) 내에는 흡입구(180h)를 통해 공기가 흡입될 수 있도록 흡입력을 제공하는 흡입장치(미도시)와, 흡입구(180h)를 통해 공기와 함께 흡입된 먼지를 집진하는 먼지통(미도시)이 구비될 수 있다.
케이스(111)에는 상기 먼지통의 삽입과 탈거를 위한 개구부가 형성될 수 있고, 상기 개구부를 여닫는 먼지통 커버(112)가 케이스(111)에 대해 회전 가능하게 구비될 수 있다.
흡입구(180h)를 통해 노출되는 솔들을 갖는 롤형의 메인 브러시(184)와, 본체(110)의 저면부 전방측에 위치하며, 방사상으로 연장된 다수개의 날개로 이루어진 솔을 갖는 보조 브러시(185)가 구비될 수 있다. 이들 브러시(184, 185)들의 회전에 의해 주행구역 내 바닥으로부터 먼지들이 제거되며, 이렇게 바닥으로부터 분리된 먼지들은 흡입구(180h)를 통해 흡입되어 먼지통에 모인다.
배터리(138)는 상기 구동 모터뿐만 아니라, 로봇 청소기(100)의 작동 전반에 필요한 전원을 공급할 수 있다. 배터리(138)가 방전될 시, 로봇 청소기(100)는 충전을 위해 충전대(200)로 복귀하는 주행을 실시할 수 있으며, 이러한 복귀 주행 중, 로봇 청소기(100)는 스스로 충전대(200)의 위치를 탐지할 수 있다.
충전대(200)는 소정의 복귀 신호를 송출하는 신호 송출부(미도시)를 포함할 수 있다. 상기 복귀 신호는 초음파 신호 또는 적외선 신호일 수 있으나, 반드시 이에 한정되어야 하는 것은 아니다.
한편, 영상감지부(135)는 본체(110)의 상면부에 구비되어, 청지역 내의 천장에 대한 영상을 획득하나, 영상감지부(135)의 위치와 촬영범위가 반드시 이에 한정되어야 하는 것은 아니다. 예를 들어, 영상감지부(135)는 본체(110) 전방의 영상을 획득하도록 구비될 수도 있다.
또한, 로봇 청소기(100)는 On/Off 또는 각종 명령을 입력할 수 있는 조작부(도시하지 않음)를 더 포함할 수 있다.
도 5를 참고하여, 로봇 청소기(100)은 각종 데이터를 저장하는 저장부(150)를 포함한다. 저장부(150)에는 로봇 청소기(100)의 제어에 필요한 각종 데이터 들이 기록될 수 있다. 저장부(150)는 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 상기 기록 매체는 마이크로 프로세서(micro processor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.
저장부(150)에는 청소 구역의 맵이 저장될 수 있다. 상기 맵은 로봇 청소기(100)와 유선 또는 무선 통신을 통해 정보를 교환할 수 있는 외부 단말기에 의해 입력된 것일 수도 있고, 로봇 청소기(100)가 스스로 학습을 하여 생성한 것일 수도 있다. 전자의 경우, 외부 단말기로는 맵 설정을 위한 어플리케이션(application)이 탑재된 리모컨, PDA, 랩탑(laptop), 스마트 폰, 태블렛 등을 예로 들 수 있다.
상기 맵에는 청소 구역 내의 복수의 지점에 대응(일대일대응)하는 복수의 노드의 위치가 표시될 수 있다. 상기 맵에는 청소 구역 내의 각 지역이 표시될 수 있다. 또한, 로봇 청소기(100)의 현재 위치가 상기 맵 상에 표시될 수 있다. 상기 맵 상에서의 로봇 청소기(100)의 현재 위치는 주행 과정에서 갱신될 수 있다.
주행 변위 측정부(165)는 상기 영상 감지부(135)에서 획득된 영상을 근거로 주행 변위를 측정할 수 있다. 주행 변위는, 로봇 청소기(100)의 이동 방향과 이동 거리를 포함하는 개념이다. 예를 들어, 주행 변위 측정부(165)는 로봇 청소기(100)의 연속적인 이동에 따라 달라지는 바닥 영상의 연속적인 픽셀(pixel) 비교를 통해서 주행 변위를 측정할 수 있다.
또한, 주행 변위 측정부(165)는 주행부(160)의 동작을 근거로 로봇 청소기(100)의 주행 변위를 측정할 수 있다. 예를 들어, 제어부(140)는 구동 바퀴(136)의 회전속도를 근거로 로봇 청소기(100)의 현재 또는 과거의 이동속도, 주행한 거리 등을 측정할 수 있으며, 각 구동 바퀴(136(L), 136(R))의 회전 방향에 따라 현재 또는 과거의 방향 전환 과정 또한 측정할 수 있다.
주행 변위 측정부(165)는 거리 감지부(131) 및 영상 감지부(135) 중 적어도 어느 하나를 이용하여 상기 주행 변위를 측정하는 것도 가능하다.
제어부(140)는 이렇게 측정된 주행 변위를 바탕으로, 맵 상에서 로봇 청소기(100)의 위치를 인식할 수 있다.
송신부(170)는 로봇 청소기의 정보를 다른 로봇 청소기나 중앙 서버에 송신해줄 수 있다. 수신부(190)는 다른 로봇 청소기나 중앙 서버로부터 정보를 수신할 수 있다. 송신부(170)가 송신하는 정보 또는 수신부(190)가 수신하는 정보는 로봇 청소기의 구성 정보를 포함할 수 있다.
로봇 청소기(100)는 각종 정보를 처리하고 판단하는 제어부(140)를 포함한다. 제어부(140)는 청소 구역을 학습하는 정보 처리를 수행할 수 있다. 제어부(140)는 맵 상의 현재 위치를 인식하는 정보 처리를 수행할 수 있다. 제어부(140)는 로봇 청소기(100)을 구성하는 각종 구성들(예를 들어, 주행 변위 측정부(165), 거리 감지부(131), 영상감지부(135), 주행부(160), 송신부(170), 수신부(190) 등)의 제어를 통해, 로봇 청소기(100)의 동작 전반을 제어할 수 있다.
본 실시예에 따른 제어방법은 제어부(140)에 의해 수행될 수 있다. 본 발명은 로봇 청소기(100)의 제어방법일 수 있으며, 상기 제어방법을 수행하는 제어부(140)를 포함하는 로봇 청소기(100)일 수도 있다. 본 발명은 상기 제어방법의 각 단계를 포함하는 컴퓨터 프로그램일 수 있고, 상기 제어방법을 컴퓨터로 구현하기 위한 프로그램이 기록된 기록매체일 수도 있다. 상기 '기록매체'는 컴퓨터로 판독 가능한 기록매체를 의미한다. 본 발명은 하드웨어와 소프트웨어를 모두 포함하는 이동 로봇 제어 시스템일 수 있다.
로봇 청소기(100)의 제어부(140)는 맵핑 및/또는 현재 위치를 인식하는 등 각종 정보를 처리하고 판단한다. 제어부(140)는 상기 영상 및 학습을 통해 청소 구역을 맵핑하고 현재 위치를 맵 상에서 인식 가능하게 구비될 수 있다. 즉, 제어부(140)는 슬램(SLAM : Simultaneous Localization and Mapping) 기능을 수행할 수 있다.
제어부(140)는 주행부(160)의 구동을 제어할 수 있다. 제어부(140)는 청소부(180)의 동작을 제어할 수 있다.
로봇 청소기(100)는 각종 데이터를 저장하는 저장부(150)를 포함한다. 저장부(150)는 로봇 청소기(100)의 제어에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다.
현실의 청소 구역은 맵 상의 청소 구역과 대응될 수 있다. 상기 청소 구역은 로봇 청소기(100)가 주행 경험이 있는 모든 평면 상의 구역 및 현재 주행하고 있는 평면 상의 구역을 모두 합한 범위로 정의될 수 있다.
제어부(140)는 주행부(160)의 동작을 바탕으로 로봇 청소기(100)의 이동 경로를 파악할 수도 있다. 예를 들어, 제어부(140)는 구동 바퀴(166)의 회전속도를 바탕으로 로봇 청소기(100)의 현재 또는 과거의 이동속도, 주행한 거리 등을 파악할 수 있으며, 각 구동 바퀴(166(L), 166(R))의 회전 방향에 따라 현재 또는 과거의 방향 전환 과정 또한 파악할 수 있다. 이렇게 파악된 로봇 청소기(100)의 주행 정보를 바탕으로, 맵 상에서 로봇 청소기(100)의 위치가 갱신될 수 있다. 또한, 상기 영상 정보를 이용하여, 맵 상에서 로봇 청소기(100)의 위치가 갱신될 수도 있다.
구체적으로, 제어부(140)는 로봇 청소기(100)의 주행을 제어하고, 설정되는 주행 모드에 따라 주행부(160)의 구동을 제어한다. 주행부(160)의 주행 모드로서, 지그재그 모드, 엣지 모드, 나선형 모드 또는 복합형 모드 등을 선택적으로 설정할 수 있다.
지그재그 모드는 벽면이나 장애물로부터 소정 거리 이상으로 이격되어 지그재그로 주행하면서 청소하는 모드로 정의한다. 엣지 모드는 벽면에 붙어서 지그재그로 주행하면서 청소하는 모드로 정의한다. 나선형 모드는 대기 중의 한 곳을 중심으로 일정 영역 내에서 나선형으로 청소하는 모드로 정의한다.
한편, 제어부(140)는 청소 구역의 맵을 생성한다. 즉, 제어부(140)는 선행 청소를 통해 인식된 위치 및 각 지점에서 획득한 영상을 통해 청소 구역의 공간 지도를 형성할 수 있다. 제어부(140)는 또한 기 생성된 지도를 갱신하고, 조건에 따라 생성된 공간 지도의 청소 구역의 형태를 분류하고, 분류된 형태에 따라 청소 방법을 매칭할 수 있다. 또한, 이러한 제어부(140)는 기본 모드로 청소를 진행하는 것과 매칭된 청소 방법으로 청소를 진행하는 것의 효율을 연산하여 효율이 높은 방법으로 로봇 청소기(100)의 청소를 실행한다.
이러한 제어부(140)는 센싱부(130)의 감지신호, 구체적으로는 거리 감지부(131) 및 낭떠러지 감지부(132)로부터의 감지 신호에 따라 기초 맵을 생성한다. 이와 같은 기초 맵은 일반적인 격자 맵일 수 있으며, 실질적으로 로봇 청소기(100)가 주행을 하면서 회전하는 방향, 직진 이동 거리, 벽으로부터의 이격 거리 등을 기초로 작성될 수 있다.
이러한 제어부(140)는 영상 감지부(135)로부터의 영상 데이터로부터 공간 정보를 추출하고, 추출된 공간 정보를 기초 맵에 부가하여 공간 지도를 생성할 수 있다.
제어부(140)는 상기 공간 지도를 형성하기 위한 맵 형성부를 더 포함할 수 있으나, 제어부(140) 내에서 함께 프로세싱 가능하다.
맵 생성부는 선행 청소를 통해 획득되는 감지 신호를 통해 기초 맵을 생성하고, 기초 맵에 영상 데이터로부터의 공간 정보를 부가하여 공간 지도를 생성한다. 이때, 맵 생성부는 연속적으로 촬영되어 생성되는 영상 데이터로부터 공간에 대한 상세 정보인 공간 정보를 추출하여 공간 지도에 부가할 수 있다.
구체적으로, 맵 생성부는 연속적인 영상 데이터에서 직선 추출을 수행하고, 소실점을 추출하는 것이 가능하다. 또한, 직선을 정합하여 모서리를 추출할 수 있으며, 각도 계산이 가능하다. 또한 직선 깊이를 추측할 수 있도록 삼각 측량이 가능하다. 이와 같은 공간 정보에 의해 공간의 넓이, 공간의 높이 등도 추출이 가능하다. 또한, 맵 생성부는 영상 데이터로부터 장애물이 검출되면, 이와 같은 장애물을 컴볼루션 신경망 기법 등의 알고리즘을 통해 장애물의 크기를 폭과 길이뿐만 아니라 높이까지 판단가능하며, 해당 장애물이 어떠한 물품인지에 대한 정보까지 추출 가능하다. 이와 같이 장애물에 대한 명명과 크기가 정의 가능하며 장애물에 대한 정보 또한 공간 지도에 반영하여 최종 공간 지도를 형성할 수 있다.
이와 같은 최종 공간 지도는 일반적인 격자 구조를 가지는 2차원의 기초 맵과 달리, 공간을 구획할 수 있도록 벽과 벽으로 이루어져 있으며, 벽과 벽이 이루는 공간과 다른 공간을 구분할 수 있도록 구획 가능하게 도시되어 있다.
맵 생성부는 이러한 최종 공간 지도를 기초로 한번에 주행하여 청소를 진행할 수 있도록 복수의 청소 구역으로 구획할 수 있다.
이와 같은 최종 공간 지도의 형성 및 청소 구역 구획은 맵 생성부에서 진행 가능하나, 앞서 설명한 바와 같이 제어부(140)에서 일괄적으로 진행 가능하다.
제어부(140)는 맵핑된 청소 구역의 면적에 따라 청소 구역을 구획하여 구획된 각 서브 청소 구역의 형태에 따른 최적의 청소 방법을 매칭할 수 있다. 또한, 제어부(140)는 장애물 유무에 대한 판단을 수행하여 장애물 있는 경우, 청소 구역을 구획하여 구획된 각 서브 청소 구역의 형태에 따른 최적의 청소 방법을 매칭할 수 있다.
제어부(140)는 거리 감지부(131) 및 영상감지부(135) 중 적어도 어느 하나를 이용하여, 현재 위치를 인식할 수 있으며, 맵 상에서 현재 위치를 인식할 수 있다.
입력부(171)는 On/Off 또는 각종 명령을 입력 받을 수 있다. 입력부(171)는 버튼, 키 또는 터치형 디스플레이 등을 포함할 수 있다. 입력부(171)는 음성 인식을 위한 마이크를 포함할 수 있다.
출력부(173)는 각종 정보를 사용자에게 알릴 수 있다. 출력부(173)는 스피커 및/또는 디스플레이를 포함할 수 있다.
이와 같이, 제어부(140)는 선행 청소를 수행하고 수득한 정보를 이용하여 청소 구역을 맵핑하며, 맵핑된 공간 지도를 2차원 또는 3차원으로 사용자에게 제공할 수 있으며, 사용자의 단말에 제공된 공간 지도에 대하여 사용자가 특정 주행 모드를 선택하여 해당 청소 구역의 청소를 진행할 수 있다.
이하에서는 도 6 내지 도 10을 참고하여 본 발명의 실시예에 따른 로봇 청소기의 청소 동작을 설명한다.
도 6은 본 발명의 일 실시예에 따른 로봇 청소기의 제어방법을 도시한 순서도이고, 도 7a 내지 도 7d은 도 6의 제어방법에 따라 진행되는 과정의 시나리오를 도시한 순서도이며, 도 8 및 도 9는 도 6의 시나리오에 따라 진행되는 공간 인식 상태를 나타내는 도면이다.
각 순서도들에서 서로 중복되는 내용은 동일한 도면 부호로 표기하고, 중복되는 설명은 생략한다.
제어방법은 제어부(140)에 의해 수행될 수 있다. 제어방법의 순서도 도면들의 각 단계와 순서도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션(instruction)들에 의해 수행될 수 있다. 상기 인스트럭션들은 범용 컴퓨터 또는 특수용 컴퓨터 등에 탑재될 수 있고, 상기 인스트럭션들이 순서도 단계(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다.
또한, 몇 가지 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
도 6을 참고하면, 일 실시예에 따른 제어방법은 선행 청소를 통한 기초 맵 생성 단계, 기초 맵의 영역 구분 단계, 영상 정보로부터 공간 지도 생성 단계, 최종 공간 지도 생성 단계, 사용자에게 공간 지도 제공 단계 등을 포함할 수 있다.
상기 로봇 청소기(100)는 동작이 시작되면, 선행 청소를 통한 청소 구역에 대한 맵핑 진행 단계를 수행한다(S10).
선행 청소는 청소 구역의 형태를 파악하기 위한 것으로, 청소를 진행할 공간의 크기 및 형태를 파악하기 위한 주행 모드로서, 엣지 모드 또는 지그재그 모드로 주행이 진행될 수 있다.
구체적으로 로봇 청소기(100)는 초음파 센서 등을 통한 거리 감지부(131)를 통해 주변 환경을 감지함으로써 도 7a와 같이 일반적인 격자 지도를 위한 데이터를 획득한다.
즉, 엣지 모드 또는 지그재그 모드로 진행하면서 장애물 감지 센서를 통해 거리 감지부로부터 주행 가능 영역 및 주행 불가능 영역을 구분하면서 도 7a와 같은 격자 지도를 작성할 수 있으며, 이때 작성된 격자 지도를 기초 맵으로 정의할 수 있다.
이때, 제어부(140)는 상기 기초 맵의 구역 형상을 기초로 한번에 주행 가능한 복수의 블록으로 분할하여 영역 구분을 진행할 수 있다(S11). 즉, 도 7b와 같이 기초 맵에서 형상이 크게 변화하는 영역으로 분할 가능하며, 이때, 꼭지점의 개수에 따라 분할 가능하다.
한편, 제어부(140)는 기초 맵을 형성하기 위한 선행 청소에서 거리 감지부(131)뿐만 아니라 영상 감지부(135)를 통해 카메라 모듈로부터 획득된 영상 데이터를 분석하여 공간 지도를 형성한다(S12).
즉, 도 7c 및 도 7d와 같이 영상 감지부(135)가 수득한 영상 데이터로부터 공간 정보를 판단할 수 있다. 즉, 연속적으로 촬영된 영상 데이터에서 파악한 공간 정보를 중첩하면 최종적인 공간 정보가 파악될 수 있다. 이때, 공간 정보 파악을 위해 제어부(140)는 도 7c와 같이 직선 추출, 소실점 추출, 직선 정합, 직선 깊이 추측을 위한 삼각 측량 등의 알고리즘을 수행할 수 있다.
이와 같은 공간 정보를 파악하여 도 7b와 같은 기초 맵에서 공간 정보를 대입함으로써 공간 지도를 형성할 수 있다.
도 7c와 같이 직선a 를 추출하고, 직선을 정합하며, 삼각측량을 통해 직선 깊이를 추출할 수 있다. 이와 같은 알고리즘을 수행하여 해당 공간에서의 거리 및 높이를 파악할 수 있다.
이와 같은 공간 지도로 도 8과 같이 새로운 공간 지도가 작성될 수 있다.
도 8의 경우, 도 7a의 초기 맵과 달리 영상 데이터로부터의 공간 정보가 대입되어 공간의 모서리, 벽(L1) 등이 명확하게 표시되며, 초기 맵보다 정확한 공간 표현이 가능하다.
도 8에서는 도 7b에서와 같이 공간의 형태에 따라 한번에 주행 가능한 복수의 청소 구역(B1, B2, B3)으로 새롭게 구획 가능하다.
이때, 제어부(140)는 공간 지도 내에 장애물이 있는지 파악하여 주행 불가능 영역이 존재하는지 판단할 수 있다(S13).
도 7d와 같이, 선행 청소에서 촬영한 영상에서 장애물(b), 일 예로 침대를 검출하고, 해당 장애물(b)의 크기 및 높이를 검출하기 위하여 컨볼루션 신경망(Convolution Neural Network) 기법 등의 알고리즘을 수행할 수 있다. 즉, 이와 같은 알고리즘을 수행하여 해당 영상 데이터에서 특정 장애물(b)을 파악하고, 해당 장애물(b)이 무엇인지까지 정의 가능하다.
이와 같이, 공간 지도 내에서 영상 데이터를 통해 장애물(b)이 판단되어 주행 불가능 영역이 파악되면, 이를 공간 지도 상에 반영하여 도 9와 같이 2차원의 최종 공간 지도를 형성할 수 있다(S14).
즉, 도 9와 같이 도 8의 공간 지도에서 영상 데이터로 파악된 장애물(B)을 대입하고, 장애물을 주행 불가능 영역(S)으로 표시하여 최종 공간 지도로 사용자에게 제공한다(S15).
이때, 주행 불가능 영역(S)은 그 장애물의 종류에 따라 특정 장애물을 나타내는 형상으로 표시할 수 있다. 즉, 주행 불가능 영역을 이루는 장애물이 어떠한 가구인지(일 예로, 침대, 탁자, 서랍장, 책상, 소파 등) 등에 대한 정보가 함께 제공될 수 있다.
이와 같이 생성된 최종 공간 지도는 사용자에게 로봇 청소기(100)와 연동되는 스마트폰 등의 휴대 단말 등으로 해당 정보를 제공할 수 있으며, 로봇 청소기(100)의 디스플레이에 해당 최종 공간 지도를 제공할 수 있다.
이때, 제어부(140)는 상기 최종 공간 지도를 도 10과 같이 3차원으로 변환하여 제공할 수 있다.
이와 같은 2차원 또는 3차원의 지도 제공은 사용자의 선택에 따라, 또는 디폴트로 설정되어 있는 정보에 따라 제공될 수 있다.
도 10과 같이 최종 공간 지도가 3차원으로 제공되는 경우, 주행 불가능 영역, 즉 장애물의 정보에 따라 해당 장애물을 나타내는 특정 형상(S1)으로 해당 장애물이 도시될 수 있다.
이와 같이 장애물이 특정 형상(S1)으로 도시되는 경우, 3차원 최종 공간 지도에서 해당 장애물의 높이에 대한 정보도 함께 제공될 수 있다.
제어부(140)는 최종 공간 지도를 사용자에게 전송하고, 이를 기초로 상기 주행 영역에 대한 청소를 진행한다.
즉, 상기 최종 공간 지도에 따라 청소 구역을 구획하고 구획된 청소 구역의 형태에 따라 주행 모드를 설정하여 설정된 주행 모드로 해당 청소 구역의 주행을 진행하여 청소를 수행한다.
청소 구역의 청소가 완료되면, 저장부(150)에 해당 청소 구역에 대한 청소 결과를 기록하여 다음 청소 진행 시에 참고할 수 있다.
이와 같이, 본 발명의 실시예에 따른 로봇 청소기(100)의 제어 방법은 선행 청소를 통한 청소 구역의 맵핑을 진행하고, 이때 영상 데이터를 적용하여 공간 지도를 생성함으로써 청소 구역의 형태를 정확하게 정의하고, 그에 따라 최적의 청소 모드로 청소를 진행할 수 있다.
100 : 로봇 청소기 120 : 센싱부
140 : 제어부 150 : 저장부
160 : 주행부 135: 영상 감지부
180 : 청소부 200 : 충전대

Claims (20)

  1. 본체를 이동시키는 주행부;
    청소 기능을 수행하는 청소부;
    주변 환경을 감지하는 센싱부;
    상기 주변 환경을 촬영하여 영상 데이터를 수득하는 영상 감지부; 및
    선행 청소를 진행하여, 상기 센싱부 및 영상 감지부를 통해 감지된 정보 및 상기 영상 데이터를 기초로 청소 구역에 대한 공간 지도를 생성하고, 생성된 상기 공간 지도에 따라 청소 방법을 매칭하여 청소하도록 제어하는 제어부;
    를 포함하는 로봇 청소기.
  2. 제1항에 있어서,
    상기 로봇 청소기는,
    엣지 모드 또는 지그재그 모드로 선행 청소를 진행하면서 상기 청소 구역에 대한 정보 및 영상 데이터를 수집하는 것을 특징으로 하는, 로봇 청소기.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 센싱부로부터 수득된 감지된 정보로부터 상기 청소 구역에 대한 기초 맵을 작성하는 것을 특징으로 하는, 로봇 청소기.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 청소 구역의 기초 맵에서 상기 영상 데이터로부터 수득된 공간 정보를 적용하여 상기 공간 지도를 형성하는 것을 특징으로 하는, 로봇 청소기.
  5. 제4항에 있어서,
    상기 제어부는,
    상기 영상 데이터로부터의 공간 정보를 기초로 직선 추출, 소실점 추출, 직선 정합, 직선 깊이 추측을 위한 삼각 측량의 알고리즘을 수행하여 상기 공간 지도를 형성하는 것을 특징으로 하는, 로봇 청소기.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 영상 데이터로부터 장애물을 추출하여 상기 공간 지도에 적용하여 주행 불가능 영역을 표시하는 것을 특징으로 하는, 로봇 청소기.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 영상 데이터로부터 장애물을 컨볼루션 신경망 기법을 통해 추출하고 추출된 상기 장애물에 대한 물체 정보를 상기 공간 지도에 적용하여 최종 공간 지도를 생성하는 것을 특징으로 하는, 로봇 청소기.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 최종 공간 지도에 표시된 상기 청소 구역의 형상에 따라 복수의 영역으로 구획하는 것을 특징으로 하는, 로봇 청소기.
  9. 제8항에 있어서,
    상기 제어부는,
    구획된 각각의 영역의 형상에 따라 특정 주행 모드로 주행하여 청소를 진행하도록 제어하는 것을 특징으로 하는, 로봇 청소기.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 최종 공간 지도를 2차원 또는 3차원의 형태로 상기 사용자에게 제공하는 것을 특징으로 하는, 로봇 청소기.
  11. 청소 구역에 선행 청소를 진행하여, 센싱부를 통해 감지 신호를 수득하고, 영상 감지부로부터 주변 환경을 촬영하여 영상 데이터를 수득하는 단계;
    상기 감지 신호 및 상기 영상 데이터를 기초로 청소 구역에 대한 공간 지도를 생성하는 단계; 및
    생성된 상기 공간 지도에 따라 청소 방법을 매칭하여 청소를 진행하는 단계
    를 포함하는 로봇 청소기의 제어 방법.
  12. 제11항에 있어서,
    엣지 모드 또는 지그재그 모드로 선행 청소를 진행하면서 상기 청소 구역에 대한 상기 감지 신호 및 영상 데이터를 수집하는 것을 특징으로 하는, 로봇 청소기의 제어 방법.
  13. 제11항에 있어서,
    상기 공간 지도를 생성하는 단계는,
    상기 센싱부로부터 수득된 감지 신호로부터 상기 청소 구역에 대한 기초 맵을 작성하는 단계, 그리고
    상기 청소 구역의 기초 맵에서 상기 영상 데이터로부터 수득된 공간 정보를 적용하여 상기 공간 지도를 형성하는 것을 특징으로 하는, 로봇 청소기의 제어 방법.
  14. 제13항에 있어서,
    상기 공간 정보를 적용하여 상기 공간 지도를 형성하는 단계는,
    상기 영상 데이터로부터의 상기 공간 정보를 기초로 직선 추출, 소실점 추출, 직선 정합, 직선 깊이 추측을 위한 삼각 측량의 알고리즘을 수행하여 상기 공간 지도를 형성하는 것을 특징으로 하는, 로봇 청소기의 제어 방법.
  15. 제14항에 있어서,
    상기 영상 데이터로부터 장애물을 추출하여 상기 공간 지도에 적용하여 주행 불가능 영역을 표시하는 것을 특징으로 하는, 로봇 청소기의 제어 방법.
  16. 제15항에 있어서,
    상기 영상 데이터로부터 장애물을 컨볼루션 신경망 기법을 통해 추출하고 추출된 상기 장애물에 대한 물체 정보를 상기 공간 지도에 적용하여 최종 공간 지도를 생성하는 것을 특징으로 하는, 로봇 청소기의 제어 방법.
  17. 제16항에 있어서,
    상기 최종 공간 지도에 표시된 청소 구역의 형상에 따라 복수의 영역으로 구획하는 것을 특징으로 하는, 로봇 청소기의 제어 방법.
  18. 제17항에 있어서,
    구획된 각각의 영역의 형상에 따라 특정 주행 모드로 주행하여 청소를 진행하도록 제어하는 것을 특징으로 하는, 로봇 청소기의 제어 방법.
  19. 제18항에 있어서,
    상기 최종 공간 지도를 2차원 또는 3차원의 형태로 상기 사용자에게 제공하는 것을 특징으로 하는, 로봇 청소기의 제어 방법.
  20. 제19항에 있어서,
    3차원의 최종 공간 지도는 상기 장애물에 대한 정보를 나타내는 형상을 포함하도록 표시되는 것을 특징으로 하는, 로봇 청소기의 제어 방법.
KR1020190070276A 2019-06-13 2019-06-13 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법 KR20200142865A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190070276A KR20200142865A (ko) 2019-06-13 2019-06-13 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
PCT/KR2020/007574 WO2020251274A1 (en) 2019-06-13 2020-06-11 Robot cleaner using artificial intelligence and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190070276A KR20200142865A (ko) 2019-06-13 2019-06-13 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법

Publications (1)

Publication Number Publication Date
KR20200142865A true KR20200142865A (ko) 2020-12-23

Family

ID=73781860

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190070276A KR20200142865A (ko) 2019-06-13 2019-06-13 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법

Country Status (2)

Country Link
KR (1) KR20200142865A (ko)
WO (1) WO2020251274A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113189993B (zh) * 2021-04-27 2023-08-29 北京石头创新科技有限公司 一种自行走设备避障方法、装置、介质和电子设备
WO2023155157A1 (en) * 2022-02-18 2023-08-24 Beijing Smorobot Technology Co., Ltd Method and apparatus for cleaning swimming pools, and electronic device and storage medium thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100791384B1 (ko) 2006-07-05 2008-01-07 삼성전자주식회사 특징점을 이용한 영역 구분 방법 및 장치와 이를 이용한이동 청소 로봇
KR20170003764A (ko) 2015-06-30 2017-01-10 넥서스환경디자인연구원(주) 맹꽁이 서식지 복원시설

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101649645B1 (ko) * 2010-02-08 2016-08-22 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
DE102010017689A1 (de) * 2010-07-01 2012-01-05 Vorwerk & Co. Interholding Gmbh Selbsttätig verfahrbares Gerät sowie Verfahren zur Orientierung eines solchen Gerätes
KR20180134230A (ko) * 2017-06-08 2018-12-18 삼성전자주식회사 청소 로봇 및 그 제어 방법
KR102314539B1 (ko) * 2017-06-09 2021-10-18 엘지전자 주식회사 인공지능 이동 로봇의 제어 방법
KR102016993B1 (ko) * 2017-09-29 2019-09-02 (주)다비오 로봇청소기 및 로봇청소기 청소 관리 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100791384B1 (ko) 2006-07-05 2008-01-07 삼성전자주식회사 특징점을 이용한 영역 구분 방법 및 장치와 이를 이용한이동 청소 로봇
KR20170003764A (ko) 2015-06-30 2017-01-10 넥서스환경디자인연구원(주) 맹꽁이 서식지 복원시설

Also Published As

Publication number Publication date
WO2020251274A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
JP7442063B2 (ja) 掃除機の制御方法及び制御システム
KR101366860B1 (ko) 이동 로봇 및 이의 제어 방법
TWI757570B (zh) 清掃機器人及其控制方法
KR102021833B1 (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
US11700989B2 (en) Mobile robot using artificial intelligence and controlling method thereof
KR20180087798A (ko) 이동 로봇 및 그 제어방법
JP7356566B2 (ja) 移動ロボット及びその制御方法
KR20180082264A (ko) 이동 로봇 및 그 제어방법
KR102423573B1 (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
WO2018083831A1 (ja) 電気掃除機
KR20190093800A (ko) 이동 로봇 및 이동 로봇의 제어방법
KR101303161B1 (ko) 이동 로봇 및 이의 제어 방법
KR20200142865A (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
JP2003339599A (ja) 自走式掃除機
US20220280007A1 (en) Mobile robot and method of controlling the same
KR102243178B1 (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
KR20210113902A (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
KR20200052388A (ko) 인공지능 이동 로봇의 제어 방법
KR20210089461A (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
CN111225592B (zh) 自主行走吸尘器和扩展区域识别方法
KR20230115158A (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
KR20230134800A (ko) 로봇 청소기 및 로봇 청소기의 제어방법
KR20230126868A (ko) 로봇 청소기 및 로봇 청소기의 제어방법
KR102203438B1 (ko) 이동 로봇 및 이동 로봇의 제어방법
KR20210089463A (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
E601 Decision to refuse application
E801 Decision on dismissal of amendment