KR20210007474A - 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법 - Google Patents

인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법 Download PDF

Info

Publication number
KR20210007474A
KR20210007474A KR1020190083998A KR20190083998A KR20210007474A KR 20210007474 A KR20210007474 A KR 20210007474A KR 1020190083998 A KR1020190083998 A KR 1020190083998A KR 20190083998 A KR20190083998 A KR 20190083998A KR 20210007474 A KR20210007474 A KR 20210007474A
Authority
KR
South Korea
Prior art keywords
distance
area
cleaning
mobile robot
information
Prior art date
Application number
KR1020190083998A
Other languages
English (en)
Other versions
KR102297496B1 (ko
Inventor
심미영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190083998A priority Critical patent/KR102297496B1/ko
Priority to US16/924,848 priority patent/US11700989B2/en
Priority to EP20837615.2A priority patent/EP3996883A4/en
Priority to PCT/KR2020/009048 priority patent/WO2021006677A2/en
Priority to JP2022500912A priority patent/JP7365486B2/ja
Publication of KR20210007474A publication Critical patent/KR20210007474A/ko
Application granted granted Critical
Publication of KR102297496B1 publication Critical patent/KR102297496B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • B25J11/0085Cleaning
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4063Driving means; Transmission means therefor
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805Parameters or conditions being sensed
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805Parameters or conditions being sensed
    • A47L9/2831Motor parameters, e.g. motor load or speed
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2857User input or output elements for control, e.g. buttons, switches or displays
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2868Arrangements for power supply of vacuum cleaners or the accessories thereof
    • A47L9/2873Docking units or charging stations
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2894Details related to signal transmission in suction cleaners
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/02Docking stations; Docking operations
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04Automatic control of the travelling movement; Automatic obstacle detection
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/06Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning
    • G05D2201/0203

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Electric Vacuum Cleaner (AREA)

Abstract

본 발명은 본체를 이동시키는 주행부; 청소 기능을 수행하는 청소부; 주변 환경을 감지하는 센싱부; 상기 주변 환경을 촬영하여 영상 데이터를 수득하는 영상 감지부; 및 선행 청소를 진행하여, 상기 센싱부 및 영상 감지부를 통해 감지된 정보 및 상기 영상 데이터를 기초로 청소 구역에 대하여 장애물로부터의 거리 정보를 나타내는 거리 맵을 생성하고, 상기 거리 맵의 상기 거리 정보에 따라 상기 청소 구역을 복수의 세부 영역으로 분할하여 상기 세부 영역마다 독립적으로 청소를 수행하도록 제어하는 제어부; 를 포함하는 로봇 청소기를 제공한다. 따라서, 청소 영역을 도시하는 맵에서 영역을 구획하여 직진 주행하는 이동 로봇에 최적화된 영역 분할을 제공할 수 있다. 또한, 대면적의 사무실 공간과 같은 상업 공간에서 영역을 분리하여 이동 로봇의 복잡한 이동 경로를 최소화할 수 있고, ㄱ자 형태의 경로를 가지는 청소 영역을 최소화함으로써 이동을 최소화할 수 있다.

Description

인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법 {A ROBOT CLEANER Using artificial intelligence AND CONTROL METHOD THEREOF}
본 발명은, 로봇 청소기 및 로봇 청소기의 제어방법에 관한 것으로, 보다 자세하게는 인공지능을 이용한 로봇 청소기의 감지 및 그에 따른 주행 기술에 관한 것이다.
로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다.
최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다. 이러한 로봇 중에서 자력으로 주행이 가능한 것을 이동 로봇이라고 한다. 가정에서 사용되는 이동 로봇의 대표적인 예는 로봇 청소기이다.
로봇 청소기에 구비된 여러 센서를 통하여 로봇 청소기 주변의 환경 및 사용자를 감지하는 여러 기술들이 알려져 있다. 또한, 로봇 청소기가 스스로 청소 구역을 학습하여 맵핑하고, 맵 상에서 현재 위치를 파악하는 기술들이 알려져 있다. 청소 구역을 기설정된 방식으로 주행하며 청소하는 로봇 청소기가 알려져 있다.
또한, 종래 기술(한국특허공개번호 10-2017-0003764)에는, 청소영역에 대한 지도(격자지도)를 사용자가 확인하기 용이한 형태로 가공하고 (외곽선 변경 등), 지도를 통해 입력되는 청소명령에 따라 청소영역에 대한 청소가 수행되도록 하는 방법이 개시되어 있다.
한편, 종래 기술(한국등록특허번호 10-0791384)에는, 특징점을 이용한 영역 구분 방법 및 이를 이용한 이동 청소로봇에 대한 것으로, 격자 지도로부터 특징점을 이용하여 공간을 나누어 사용자가 편리하게 청소 명령을 내릴 수 있는 기술이 개시되어 있다.
그러나, 앞서 설명한 종래 기술의 경우, 일반적인 실내 환경에서는 침대 등의 가구가 많아 로봇이 작성한 격자 지도가 실제 공간 도면과 상당한 차이가 생기게 되고, 사용자가 직관적으로 공간에 대한 정보를 파악하기에 어려움이 있다.
한편, 종래 기술(한국공개특허번호 10-2016-0036008)에는 영역 분할점을 검출하고, 분석하여 맵을 생성하며, 영역 분할점은 픽셀간의 너비에 기초해서 검출하는 을 개시하고 있다.
또한, 구조 분할점 또는 침식 팽창에 의한 영역 분할을 진행하는 종래 기술도 존재한다.
그러나, 이와 같이 청소 구역을 분할하여 청소를 진행하는 경우, 문과 같은 지점을 기점으로 분할이 이루어지게 된다. 가정 환경에서는 방과 같은 영역이 구조가 단순하여 방이 하나의 영역으로 설정될 수 있으나, 사무실과 같은 복잡한 환경에서는 좁은 영역이 많아 분할 기점이 적합한 곳에 매칭되지 않을 확률이 높다.
또한, 하나의 영역에 장애물이 많아 직진성을 가지는 패턴 주행에 적합하지 않다.
한국공개특허공보 공개번호 10-2017-0003764 (공개일자 : 2018년 07월 18일) 한국공개특허번호 10-0791384 (공개일자 : 2008년 01월 07일) 한국공개특허공보 공개번호 10-2016-0036008(공개일자: 2016년 04월 01일)
제1 과제는 청소 영역을 도시하는 맵에서 영역을 구획하여 직진 주행하는 이동 로봇에 최적화된 영역 분할을 제공하는 것이다.
제2 과제는 대면적의 사무실 공간과 같은 상업 공간에서 영역을 분리하여 이동 로봇의 복잡한 이동 경로를 최소화할 수 있는 영역 분할을 제공하는 것이다.
한편, 사무실과 같은 오피스 공간은 파티션에 의해 협소한 공간으로 분리되어 사용된다. 이와 같은 분리된 공간의 경우, 이동 로봇의 주행 경로가 복잡해지고, 장애물에 충돌 가능성이 커진다. 본 발명의 제3 과제는 청소 영역을 복수의 영역으로 분할할 때, ㄱ자 형태의 경로를 가지는 청소 영역을 최소화함으로써 이동을 최소화할 수 있는 방법을 제공하는 것이다.
또한, 제4 과제는 청소영역을 분할할 때, 토폴로지 노드 및 거리 맵을 활용하여 미청소 영역을 처리하기 위한 이동 로봇의 이동을 최소화할 수 있는 제어 방법을 제공하는 것이다.
본 발명은 본체를 이동시키는 주행부; 청소 기능을 수행하는 청소부; 주변 환경을 감지하는 센싱부; 상기 주변 환경을 촬영하여 영상 데이터를 수득하는 영상 감지부; 및 선행 청소를 진행하여, 상기 센싱부 및 영상 감지부를 통해 감지된 정보 및 상기 영상 데이터를 기초로 청소 구역에 대하여 장애물로부터의 거리 정보를 나타내는 거리 맵을 생성하고, 상기 거리 맵의 상기 거리 정보에 따라 상기 청소 구역을 복수의 세부 영역으로 분할하여 상기 세부 영역마다 독립적으로 청소를 수행하도록 제어하는 제어부; 를 포함하는 로봇 청소기를 제공한다.
상기 로봇 청소기는, 상기 거리 맵은 복수의 픽셀로 구성되며, 각 픽셀은 장애물로부터의 거리 정보를 포함할 수 있다.
상기 제어부는, 상기 거리 정보에 대하여 복수의 거리 레벨을 선정하고 상기 복수의 거리 레벨에 따라 상기 픽셀을 서로 연결하는 경계 루프를 형성할 수 있다.
상기 제어부는, 상기 복수의 거리 레벨은 동일한 상기 거리 정보를 가지는 픽셀의 수효가 임계값 이상인 거리 정보로 정의될 수 있다.
상기 제어부는, 각각의 상기 거리 레벨에 대하여, 상기 거리 레벨을 갖는 픽셀을 탐색하여 탐색된 상기 픽셀을 이웃한 픽셀끼리 연결하여 상기 경계 루프를 형성할 수 있다.
상기 제어부는, 상기 거리 레벨이 큰 순서로 상기 경계 루프를 형성할 수 있다.
상기 제어부는, 상기 경계 루프를 상기 장애물을 향해 확장하여 사각형의 형상을 가지는 상기 세부 영역을 형성할 수 있다.
상기 제어부는, 상기 청소 영역 내에 포함되는 최대 사각형을 형성하도록 상기 사각형을 벗어나는 픽셀을 절단하거나, 상기 사각형에 함몰되는 픽셀을 확장할 수 있다.
상기 제어부는, 상기 청소 영역이 복도 영역인 경우, 상기 복도 영역을 소정 거리로 절단하여 상기 세부 영역을 형성할 수 있다.
상기 제어부는, 상기 세부 영역에 대하여 지그재그 모드로 주행하도록 상기 주행부를 제어할 수 있다.
한편, 본 발명은 청소 구역에 선행 청소를 진행하여, 센싱부를 통해 감지 신호를 수득하고, 영상 감지부로부터 주변 환경을 촬영하여 영상 데이터를 수득하는 단계; 상기 감지 신호 및 상기 영상 데이터를 기초로 청소 구역에 대하여 장애물로부터의 거리 정보를 나타내는 거리 맵을 생성하는 단계; 및 상기 거리 맵의 상기 거리 정보에 따라 상기 청소 구역을 복수의 세부 영역으로 분할하는 단계를 포함하는 로봇 청소기의 제어 방법을 제공한다.
상기 거리 맵을 형성하는 단계는, 상기 거리 맵은 복수의 픽셀로 구성되며, 각 픽셀은 장애물로부터의 거리 정보를 포함할 수 있다.
상기 세부 영역으로 분할하는 단계는, 상기 거리 정보에 대하여 복수의 거리 레벨을 선정하고 상기 복수의 거리 레벨에 따라 상기 픽셀을 서로 연결하는 경계 루프를 형성할 수 있다.
상기 세부 영역으로 분할하는 단계는, 상기 복수의 거리 레벨은 동일한 상기 거리 정보를 가지는 픽셀의 수효가 임계값 이상인 거리 정보로 정의될 수 있다.
상기 세부 영역으로 분할하는 단계는, 각각의 상기 거리 레벨에 대하여, 상기 거리 레벨을 갖는 픽셀을 탐색하여 탐색된 상기 픽셀을 이웃한 픽셀끼리 연결하여 상기 경계 루프를 형성할 수 있다.
상기 세부 영역으로 분할하는 단계는, 상기 거리 레벨이 큰 순서로 상기 경계 루프를 형성할 수 있다.
상기 세부 영역으로 분할하는 단계는, 상기 경계 루프를 상기 장애물을 향해 확장하여 사각형의 형상을 가지는 상기 세부 영역을 형성할 수 있다.
상기 세부 영역으로 분할하는 단계는, 상기 청소 영역 내에 포함되는 최대 사각형을 형성하도록 상기 사각형을 벗어나는 픽셀을 절단하거나, 상기 사각형에 함몰되는 픽셀을 확장할 수 있다.
상기 청소 영역이 복도 영역인 경우, 상기 복도 영역을 소정 거리로 절단하여 상기 세부 영역을 형성할 수 있다.
상기 세부 영역에 대하여 지그재그 모드로 주행하는 단계를 더 포함할 수 있다.
본 발명의 실시예들 중 적어도 하나에 의하면, 청소 영역을 도시하는 맵에서 영역을 구획하여 직진 주행하는 이동 로봇에 최적화된 영역 분할을 제공할 수 있다.
또한, 대면적의 사무실 공간과 같은 상업 공간에서 영역을 분리하여 이동 로봇의 복잡한 이동 경로를 최소화할 수 있고, ㄱ자 형태의 경로를 가지는 청소 영역을 최소화함으로써 이동을 최소화할 수 있다.
그리고, 청소영역을 분할할 때, 토폴로지 노드 및 거리 맵을 활용하여 미청소 영역을 처리하기 위한 이동 로봇의 이동을 최소화할 수 있다.
한편, 그 외의 다양한 효과는 후술될 본 발명의 실시예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 것이다.
도 1은 본 발명의 일 실시예에 따른 이동 로봇의 전면도이다.
도 2는 본 발명의 다른 실시예에 따른 이동 로봇 및 이동 로봇을 충전시키는 충전대를 도시한 사시도이다.
도 3은 본 발명의 실시예에 따른 이동 로봇의 주요 구성들 간의 제어관계를 도시한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 이동 로봇의 제어 방법을 도시한 순서도이다.
도 5 내지 도 9는 도 4의 제어 방법에 관한 설명에 참조되는 도면이다.
도 10은 본 발명의 일 실시예에 따라 구획된 청소 구역을 나타내는 도면이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나 본 발명이 이러한 실시예에 한정되는 것은 아니며 다양한 형태로 변형될 수 있음은 물론이다.
한편, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
또한, 본 명세서에서, 다양한 요소들을 설명하기 위해 제1, 제2 등의 용어가 이용될 수 있으나, 이러한 요소들은 이러한 용어들에 의해 제한되지 아니한다. 이러한 용어들은 한 요소를 다른 요소로부터 구별하기 위해서만 이용된다.
본 발명의 일 실시예에 따른 이동 로봇(100)은 바퀴 등을 이용하여 스스로 이동이 가능한 로봇을 의미하고, 가정 도우미 로봇 및 로봇 청소기 등이 될 수 있다. 이하에서는, 도면들을 참조하여, 이동 로봇 중 청소 기능을 가지는 로봇 청소기를 예로 들어 설명하나, 본 발명은 이에 한정되지 않는다.
이동 로봇은 바퀴 등을 이용하여 스스로 이동이 가능한 로봇을 의미한다. 따라서, 이동 로봇은 스스로 이동 가능한 안내 로봇, 청소 로봇, 엔터테인먼트(Entertainment) 로봇, 가정 도우미 로봇, 경비 로봇 등일 수 있고, 본 발명은 이동 로봇의 종류에 한정되지 않는다.
도 1은 본 발명의 일 실시예로서, 청소 로봇인 이동 로봇(100)을 도시한다.
이동 로봇(100)은 브러시 등 청소 기구(135d)를 구비하여 스스로 이동하면서 특정 공간을 청소할 수 있다.
이동 로봇(100)은 주변에 대한 정보를 감지할 수 있는 센싱부(170:171, 175)를 포함한다.
이동 로봇(100)은 카메라를 이용하는 비전 기반의 위치 인식과 레이저를 이용하는 라이다 기반의 위치 인식 기술을 효과적으로 융합하여 조도 변화, 물품 위치 변경 등 환경 변화에 강인한 위치 인식 및 맵 생성을 수행할 수 있다.
영상획득부(120)는 주행 구역을 촬영하는 것으로, 본체 외부의 영상을 획득하는 하나 이상의 카메라 센서를 포함할 수 있다.
또한, 영상획득부(120)는 카메라 모듈을 포함할 수 있다. 상기 카메라 모듈은 디지털 카메라를 포함할 수 있다. 디지털 카메라는 적어도 하나의 광학렌즈와, 광학렌즈를 통과한 광에 의해 상이 맺히는 다수개의 광다이오드(photodiode, 예를 들어, pixel)를 포함하여 구성된 이미지센서(예를 들어, CMOS image sensor)와, 광다이오드들로부터 출력된 신호를 바탕으로 영상을 구성하는 디지털 신호 처리기(DSP: Digital Signal Processor)를 포함할 수 있다. 디지털 신호 처리기는 정지영상은 물론이고, 정지영상으로 구성된 프레임들로 이루어진 동영상을 생성하는 것도 가능하다.
본 실시예에서 영상획득부(120)는, 본체 전방의 영상을 획득하도록 구비되는 전면 카메라 센서를 구비하나, 영상획득부(120)의 위치와 촬영범위가 반드시 이에 한정되어야 하는 것은 아니다.
예를 들어, 이동 로봇(100)은 주행 구역 내의 전방에 대한 영상을 획득하는 카메라 센서만 구비하여, 비전(vision) 기반의 위치 인식 및 주행을 수행할 수 있다.
또는, 본 발명의 일 실시예에 따른 이동 로봇(100)의 영상획득부(120)는, 본체의 일면에 대하여 경사지게 배치되어 전방과 상방을 함께 촬영하도록 구성된 카메라 센서(미도시)를 포함할 수 있다. 즉, 하나의 카메라 센서로 전방과 상방을 함께 촬영할 수 있다. 이 경우에 제어부(140)는 카메라가 촬영하여 획득한 영상에서 전방 영상과 상방 영상을 화각을 기준으로 분리할 수 있다. 분리된 전방 영상은 전면 카메라 센서에서 획득된 영상과 같이 비전(vision) 기반의 사물 인식에 사용될 수 있다. 또한, 분리된 상방 영상은 상부 카메라 센서에서 획득된 영상과 같이 비전(vision) 기반의 위치 인식 및 주행에 사용될 수 있다.
본 발명에 따른 이동 로봇(100)은 주변의 이미지를 이미지 기반의 기저장된 정보와 비교하거나 획득되는 이미지들을 비교하여 현재 위치를 인식하는 비전 슬램을 수행할 수 있다.
한편, 영상획득부(120)는 전면 카메라 센서 및/또는 상부 카메라 센서를 복수개 구비하는 것도 가능하다. 또는 영상획득부(120)는 전방과 상방을 함께 촬영하도록 구성된 카메라 센서(미도시)를 복수개 구비하는 것도 가능하다.
본 실시예의 경우, 이동 로봇(100)의 일부 부위(ex, 전방, 후방, 저면)에 카메라가 설치되어 있으며, 청소 시에 촬상 영상을 지속적으로 획득할 수 있다. 이러한 카메라는 촬영 효율을 위해 각 부위별로 여러 개가 설치될 수도 있다. 카메라에 의해 촬상된 영상은 해당 공간에 존재하는 먼지, 머리카락, 바닥 등과 같은 물질의 종류 인식, 청소 여부, 또는 청소 시점을 확인하는데 사용할 수 있다.
전면 카메라 센서는 이동 로봇(100)의 주행 방향 전면에 존재하는 장애물 또는 청소 영역의 상황을 촬영할 수 있다.
본 발명의 일 실시예에 따르면, 상기 영상획득부(120)는 본체 주변을 연속적으로 촬영하여 복수의 영상을 획득할 수 있고, 획득된 복수의 영상은 저장부에 저장될 수 있다.
이동 로봇(100)은 복수의 영상을 이용하여 장애물 인식의 정확성을 높이거나, 복수의 영상 중 하나 이상의 영상을 선택하여 효과적인 데이터를 사용함으로써 장애물 인식의 정확성을 높일 수 있다.
센싱부(170)는 레이저를 이용하여 본체(110) 외부의 지형 정보를 획득하는 라이다 센서(175)를 포함할 수 있다.
라이다 센서(175)는 레이저를 출력하여 레이저를 반사시킨 객체의 거리, 위치 방향, 재질 등의 정보를 제공하며 주행 구역의 지형 정보를 획득할 수 있다. 이동 로봇(100)은 라이다 센서(175)로 360도의 지형(Geometry) 정보를 얻을 수 있다.
본 발명의 일 실시예에 따른 이동 로봇(100)은 라이다 센서(175)가 센싱한 객체들의 거리와 위치, 방향 등을 파악하고, 그에 따라 주행하면서 맵을 생성할 수 있다.
본 발명의 일 실시예에 따른 이동 로봇(100)은 외부에서 반사되어 수신되는 레이저의 시간차 또는 신호 강도 등 레이저 수신 패턴을 분석하여 주행 구역의 지형 정보를 획득할 수 있다. 또한, 이동 로봇(100)은 라이다 센서(175)를 통하여 획득한 지형 정보를 이용하여 맵을 생성할 수 있다.
예를 들어, 본 발명에 따른 이동 로봇(100)은 라이다 센서(175)를 통하여 현재 위치에서 획득된 주변 지형 정보를 라이다 센서 기반의 기저장된 지형 정보와 비교하거나 획득되는 지형 정보들을 비교하여 현재 위치를 인식하는 라이다 슬램을 수행할 수 있다.
더욱 바람직하게는, 본 발명에 따른 이동 로봇(100)은 카메라를 이용하는 비전 기반의 위치 인식과 레이저를 이용하는 라이다 기반의 위치 인식 기술을 효과적으로 융합하여 조도 변화, 물품 위치 변경 등 환경 변화에 강인한 위치 인식 및 맵 생성을 수행할 수 있다.
한편, 센싱부(170)는 이동 로봇의 동작, 상태와 관련된 각종 데이터를 센싱하는 센서들(171)을 포함할 수 있다.
예를 들어, 상기 센싱부(170)는 전방의 장애물을 감지하는 장애물 감지센서(171)를 포함할 수 있다. 또한, 상기 센싱부(170)는 주행 구역 내 바닥에 낭떠러지의 존재 여부를 감지하는 낭떠러지 감지센서와, 바닥의 영상을 획득하는 하부 카메라 센서를 더 포함할 수 있다.
도 1을 참조하면, 상기 장애물 감지센서(171)는 이동 로봇(100)의 외주면에 일정 간격으로 설치되는 복수의 센서를 포함할 수 있다.
상기 장애물 감지센서(171)는, 적외선 센서, 초음파 센서, RF 센서, 지자기 센서, PSD(Position Sensitive Device) 센서 등을 포함할 수 있다.
한편, 상기 장애물 감지센서(171)에 포함되는 센서의 위치와 종류는 이동 로봇의 기종에 따라 달라질 수 있고, 상기 장애물 감지센서(171)는 더 다양한 센서를 포함할 수 있다.
상기 장애물 감지센서(171)는 실내의 벽이나 장애물과의 거리를 감지하는 센서로, 본 발명은 그 종류에 한정되지 않으나, 이하에서는 초음파 센서를 예시하여 설명한다.
상기 장애물 감지센서(171)는 이동 로봇의 주행(이동) 방향에 존재하는 물체, 특히 장애물을 감지하여 장애물 정보를 제어부(140)에 전달한다. 즉, 상기 장애물 감지센서(171)는, 이동 로봇의 이동 경로, 전방이나 측면에 존재하는 돌출물, 집안의 집기, 가구, 벽면, 벽 모서리 등을 감지하여 그 정보를 제어 유닛에 전달할 수 있다.
이러한 이동 로봇(100)은 디스플레이(도시하지 않음)를 구비하여 유저 인터페이스 화면 등 소정 영상을 표시할 수 있다. 또한, 디스플레이는 터치스크린으로 구성되어 입력 수단으로도 사용될 수 있다.
또한, 이동 로봇(100)은, 터치, 음성 입력 등으로 사용자 입력을 수신하여, 사용자 입력에 대응하는 물체, 장소에 대한 정보를 디스플레이 화면에 표시할 수 있다.
이러한 이동 로봇(100)은 특정 공간을 주행하면서 부여된 임무, 즉 청소를 수행할 수 있다. 이동 로봇(100)은 스스로 소정 목적지까지의 경로를 생성하여 이동하는 자율 주행, 사람 또는 다른 로봇을 따라가며 이동하는 추종 주행을 수행할 수 있다. 안전사고 발생을 방지하기 위해서, 이동 로봇(100)은 영상획득부(120)를 통하여 획득되는 영상 데이터, 센싱부(170)에서 획득되는 감지 데이터 등에 기초하여 이동 중 장애물을 감지하여 회피하면서 주행할 수 있다.
도 1의 이동 로봇(100)은 다양한 공간, 예를 들어, 공항, 호텔, 마트, 의류매장, 물류, 병원 등의 공간, 특히 상업 공간과 같은 대면적의 공간에서 청소 서비스를 제공할 수 있는 청소 로봇(100)일 수 있다.
이동 로봇(100)은 이를 관리하고 제어할 수 있는 서버(도시하지 않음)와 연동될 수 있다.
서버는 원격에서 복수의 로봇(100)의 상태를 모니터링하고, 제어할 수 있으며 효과적인 서비스 제공이 가능하다.
이동 로봇(100) 및 서버는 하나 이상의 통신 규격을 지원하는 통신 수단(미도시)을 구비하여, 상호 통신할 수 있다. 또한, 이동 로봇(100) 및 서버는 PC, 이동 단말기, 외부의 다른 서버와 통신할 수 있다. 예를 들어, 이동 로봇(100) 및 서버\는 MQTT(Message Queueing Telemetry Transport) 방식 또는 HTTP(HyperText Transfer Protocol) 방식으로 통신할 수 있다. 또한, 이동 로봇(100) 및 서버는 HTTP 또는 MQTT 방식으로 PC, 이동 단말기, 외부의 다른 서버와 통신할 수 있다.
경우에 따라서, 이동 로봇(100) 및 서버는 2이상의 통신 규격을 지원하고, 통신 데이터의 종류, 통신에 참여하는 기기의 종류에 따라 최적의 통신 규격을 사용할 수 있다.
서버는 클라우드(cloud) 서버로 구현되어, 사용자는 PC, 이동 단말기 등 다양한 기기로 통신 연결된 서버에 저장된 데이터와 서버가 제공하는 기능, 서비스를 이용할 수 있다.
사용자는 PC, 이동 단말기 등을 통하여 로봇 시스템 내의 이동 로봇(100)에 관한 정보를 확인하거나 제어할 수 있다.
본 명세서에서 '사용자'는 적어도 하나의 로봇을 통한 서비스를 이용하는 사람으로, 로봇을 구매 또는 대여하여 가정 등에서 사용하는 개인 고객, 및, 로봇을 이용하여 직원 또는 고객에게 서비스를 제공하는 기업의 관리자, 직원들과 이러한 기업이 제공하는 서비스를 이용하는 고객들을 포함할 수 있다. 따라서, '사용자'는 개인 고객(Business to Consumer : B2C)과 기업 고객(Business to Business : B2B)을 포함할 수 있다.
사용자는 PC, 이동 단말기 등을 통하여 이동 로봇(100)의 상태, 위치를 모니터링하고, 콘텐츠 및 작업 스케줄을 관리할 수 있다. 한편, 서버는, 이동 로봇(100), 기타 기기로부터 수신되는 정보를 저장 및 관리할 수 있다.
이동 로봇(100) 및 서버는 하나 이상의 통신 규격을 지원하는 통신 수단(미도시)을 구비하여, 상호 통신할 수 있다. 이동 로봇(100)은, 서버로 공간(space), 사물(Object), 사용(Usage) 관련 데이터(Data)를 서버로 전송할 수 있다.
여기서, 공간(space), 사물(Object) 관련 데이터는 로봇(100)이 인식한 공간(space)과 사물(Object)의 인식 관련 데이터이거나, 영상획득부(120)가 획득한 공간(space)과 사물(Object)에 대한 이미지 데이터일 수 있다.
실시예에 따라서, 이동 로봇(100) 및 서버는 사용자, 음성, 공간의 속성, 장애물 등 사물의 속성 중 적어도 하나를 인식하도록 학습된 소프트웨어 또는 하드웨어 형태의 인공신경망(Artificial Neural Networks: ANN)을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 로봇(100) 및 서버는 딥러닝(Deep Learning)으로 학습된 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(Deep Neural Network: DNN)을 포함할 수 있다. 예를 들어, 로봇(100)의 제어부(도 3의 140 참조)에는 CNN(Convolutional Neural Network) 등 심층신경망 구조(DNN)가 탑재될 수 있다.
서버는 이동 로봇(100)으로부터 수신한 데이터, 사용자에 의해 입력되는 데이터 등에 기초하여, 심층신경망(DNN)을 학습시킨 후, 업데이트된 심층신경망(DNN) 구조 데이터를 로봇(100)으로 전송할 수 있다. 이에 따라, 이동 로봇(100)이 구비하는 인공지능(artificial intelligence)의 심층신경망(DNN) 구조를 업데이트할 수 있다.
또한, 사용(Usage) 관련 데이터(Data)는 소정 제품, 예를 들어, 로봇(100)의 사용에 따라 획득되는 데이터로, 사용 이력 데이터, 센싱부(170)에서 획득된 센싱 데이터 등이 해당될 수 있다.
학습된 심층신경망 구조(DNN)는 인식용 입력 데이터를 입력받고, 입력 데이터에 포함된 사람, 사물, 공간의 속성을 인식하여, 그 결과를 출력할 수 있다.
또한, 상기 학습된 심층신경망 구조(DNN)는 인식용 입력 데이터를 입력받고, 이동 로봇(100)의 사용(Usage) 관련 데이터(Data)를 분석하고 학습하여 사용 패턴, 사용 환경 등을 인식할 수 있다.
한편, 공간(space), 사물(Object), 사용(Usage) 관련 데이터(Data)는 통신부(도 3의 190 참조)를 통하여 서버로 전송될 수 있다.
서버는 수신한 데이터에 기초하여, 심층신경망(DNN)을 학습시킨 후, 업데이트된 심층신경망(DNN) 구조 데이터를 이동 로봇(100)으로 전송하여 업데이트하게 할 수 있다.
이에 따라, 이동 로봇(100)이 점점 더 똑똑해지고, 사용할수록 진화되는 사용자 경험(UX)을 제공할 수 있다.
로봇(100) 및 서버(10)는 외부 정보(external information)도 이용할 수 있다. 예를 들어, 서버(10)가 다른 연계 서비스 서버(20, 30)로부터 획득한 외부 정보를 종합적으로 사용하여 우수한 사용자 경험을 제공할 수 있다.
본 발명에 따르면, 이동 로봇(100) 및/또는 서버가 음성 인식을 수행할 수 있어, 로봇(100)의 제어를 위한 입력을 사용자 음성을 사용할 수 있다.
또한, 본 발명에 따르면, 이동 로봇(100)이 능동적으로 먼저 정보를 제공하거나 기능, 서비스를 추천하는 음성을 출력함으로써 사용자에게 더욱 다양하고 적극적인 제어 기능을 제공할 수 있다.
한편, 이와 같은 이동 로봇(100)은 도 2와 같은 실시예로 구현이 가능하다.
도 2는 본 발명의 다른 실시예에 따른 이동 로봇 및 이동 로봇을 충전시키는 충전대를 도시한 사시도이고, 도 3은 본 발명의 실시예에 따른 이동 로봇의 주요 구성들 간의 제어관계를 도시한 블록도이다. 도 3의 블록도는 도 1의 이동 로봇(100) 및 도 2의 이동 로봇(100b)에 모두 적용 가능하며, 이하에서는 도 2의 이동 로봇의 구성과 함께 설명한다.
도 2를 참고하면, 이동 로봇(100b)은 본체(110)를 이동시키는 주행부(160)를 포함한다. 주행부(160)는 본체(110)를 이동시키는 적어도 하나의 구동 바퀴(136)를 포함한다. 주행부(160)는 구동 바퀴(136)에 연결되어 구동 바퀴를 회전시키는 구동 모터(미도시)를 포함한다. 예를 들어, 구동 바퀴(136)는 본체(110)의 좌, 우 측에 각각 구비될 수 있으며, 이하, 각각 좌륜(L)과 우륜(R)이라고 한다.
좌륜(L)과 우륜(R)은 하나의 구동 모터에 의해 구동될 수도 있으나, 필요에 따라 좌륜(L)을 구동시키는 좌륜 구동 모터와 우륜(R)을 구동시키는 우륜 구동 모터가 각각 구비될 수도 있다. 좌륜(L)과 우륜(R)의 회전 속도에 차이를 두어 좌측 또는 우측으로 본체(110)의 주행방향을 전환할 수 있다.
이동 로봇(100, 100b)은 소정의 서비스를 제공하기 위한 서비스부(150)를 포함한다. 도 1 및 도 2에서는 서비스부(150)가 청소 작업을 수행하는 것으로 예를 들어 본 발명을 설명하나, 본 발명은 이에 한정되지 않는다. 예를 들어, 서비스부(150)는 청소(비질, 흡입청소, 걸레질 등), 설거지, 요리, 빨래, 쓰레기 처리 등의 가사 서비스를 사용자에게 제공하도록 구비될 수 있다. 또 다른 예로, 서비스부(150)는 주변의 외부 침입자나 위험 상황 등을 감지하는 보안 기능을 수행할 수 있다.
이동 로봇(100, 100b)은 주행 구역을 이동하며 서비스부(150)에 의해 바닥을 청소할 수 있다. 서비스부(150)는, 이물질을 흡입하는 흡입 장치, 비질을 수행하는 브러시(135, 155), 흡입장치나 브러시에 의해 수거된 이물질을 저장하는 먼지통(미도시) 및/또는 걸레질을 수행하는 걸레부(미도시) 등을 포함할 수 있다.
도 2의 이동 로봇(100b)의 본체(110)의 저면부에는 공기의 흡입이 이루어지는 흡입구가 형성될 수 있으며, 본체(110) 내에는 흡입구를 통해 공기가 흡입될 수 있도록 흡입력을 제공하는 흡입장치(미도시)와, 흡입구를 통해 공기와 함께 흡입된 먼지를 집진하는 먼지통(미도시)이 구비될 수 있다.
본체(110)는 이동 로봇(100b)을 구성하는 각종 부품들이 수용되는 공간을 형성하는 케이스(111)를 포함할 수 있다. 케이스(111)에는 상기 먼지통의 삽입과 탈거를 위한 개구부가 형성될 수 있고, 개구부를 여닫는 먼지통 커버(112)가 케이스(111)에 대해 회전 가능하게 구비될 수 있다.
흡입구를 통해 노출되는 솔들을 갖는 롤형의 메인 브러시와, 본체(110)의 저면부 전방측에 위치하며, 방사상으로 연장된 다수개의 날개로 이루어진 솔을 갖는 보조 브러시(155)가 구비될 수 있다. 이들 브러시(155)들의 회전에 의해 주행 구역 내 바닥으로부터 먼지들이 분리되며, 이렇게 바닥으로부터 분리된 먼지들은 흡입구를 통해 흡입되어 먼지통에 모인다.
배터리는 구동 모터뿐만 아니라, 이동 로봇(100b)의 작동 전반에 필요한 전원을 공급한다. 배터리가 방전될 시, 이동 로봇(100b)은 충전을 위해 충전대(200)로 복귀하는 주행을 실시할 수 있으며, 이러한 복귀 주행 중, 이동 로봇(100b)은 스스로 충전대(200)의 위치를 탐지할 수 있다.
충전대(200)는 소정의 복귀 신호를 송출하는 신호 송출부(미도시)를 포함할 수 있다. 복귀 신호는 초음파 신호 또는 적외선 신호일 수 있으나, 반드시 이에 한정되는 것은 아니다.
도 2의 이동 로봇(100b)은 복귀 신호를 수신하는 신호 감지부(미도시)를 포함할 수 있다. 충전대(200)는 신호 송출부를 통해 적외선 신호를 송출하고, 신호 감지부는 적외선 신호를 감지하는 적외선 센서를 포함할 수 있다. 이동 로봇(100b)은 충전대(200)로부터 송출된 적외선 신호에 따라 충전대(200)의 위치로 이동하여 충전대(200)와 도킹(docking)한다. 이러한 도킹에 의해 이동 로봇(100b)의 충전 단자(133)와 충전대(200)의 충전 단자(210) 간에 충전에 이루어진다.
이동 로봇(100b)은 이동 로봇(100b)의 내/외부의 정보를 감지하는 센싱부(170)를 포함할 수 있다.
예를 들어, 센싱부(170)는 주행 구역에 대한 각종 정보를 감지하는 하나 이상의 센서(171, 175), 주행 구역에 대한 영상 정보를 획득하는 영상획득부(120)를 포함할 수 있다. 실시예에 따라서, 영상획득부(120)는 센싱부(170) 외부에 별도로 구비될 수 있다.
이동 로봇(100b)은 센싱부(170)가 감지한 정보를 통해, 주행 구역을 맵핑(Mapping)할 수 있다. 예를 들어, 이동 로봇(100b)은 영상획득부(120)가 획득한 주행 구역의 천장 영상에 기초하여 비전(vision) 기반의 위치 인식 및 맵 생성을 수행할 수 있다. 또한, 이동 로봇(100b)은 레이저를 이용하는 라이다(Light Detection And Ranging: LiDAR) 센서(175) 기반의 위치 인식 및 맵 생성을 수행할 수 있다.
더욱 바람직하게는 본 발명에 따른 이동 로봇(100b)은 카메라를 이용하는 비전 기반의 위치 인식과 레이저를 이용하는 라이다 기반의 위치 인식 기술을 효과적으로 융합하여 조도 변화, 물품 위치 변경 등 환경 변화에 강인한 위치 인식 및 맵 생성을 수행할 수 있다.
한편, 영상획득부(120)는 주행 구역을 촬영하는 것으로, 본체(110) 외부의 영상을 획득하는 하나 이상의 카메라 센서를 포함할 수 있다.
또한, 영상획득부(120)는 카메라 모듈을 포함할 수 있다. 상기 카메라 모듈은 디지털 카메라를 포함할 수 있다. 디지털 카메라는 적어도 하나의 광학렌즈와, 광학렌즈를 통과한 광에 의해 상이 맺히는 다수개의 광다이오드(photodiode, 예를 들어, pixel)를 포함하여 구성된 이미지센서(예를 들어, CMOS image sensor)와, 광다이오드들로부터 출력된 신호를 바탕으로 영상을 구성하는 디지털 신호 처리기(DSP: Digital Signal Processor)를 포함할 수 있다. 디지털 신호 처리기는 정지영상은 물론이고, 정지영상으로 구성된 프레임들로 이루어진 동영상을 생성하는 것도 가능하다.
본 실시예에서 영상획득부(120)는, 본체(110) 전방의 영상을 획득하도록 구비되는 전면 카메라 센서(120a)와 본체(110)의 상면부에 구비되어, 주행 구역 내의 천장에 대한 영상을 획득하는 상부 카메라 센서(120b)를 구비하나, 영상획득부(120)의 위치와 촬영범위가 반드시 이에 한정되어야 하는 것은 아니다.
예를 들어, 이동 로봇(100b)은 주행 구역 내의 천장에 대한 영상을 획득하는 상부 카메라 센서(120b)만 구비하여, 비전(vision) 기반의 위치 인식 및 주행을 수행할 수 있다.
또는, 본 발명의 일 실시예에 따른 이동 로봇(100b)의 영상획득부(120)는, 본체(110)의 일면에 대하여 경사지게 배치되어 전방과 상방을 함께 촬영하도록 구성된 카메라 센서(미도시)를 포함할 수 있다. 즉, 하나의 카메라 센서로 전방과 상방을 함께 촬영할 수 있다. 이 경우에 제어부(140)는 카메라가 촬영하여 획득한 영상에서 전방 영상과 상방 영상을 화각을 기준으로 분리할 수 있다. 분리된 전방 영상은 전면 카메라 센서(120a)에서 획득된 영상과 같이 비전(vision) 기반의 사물 인식에 사용될 수 있다. 또한, 분리된 상방 영상은 상부 카메라 센서(120b)에서 획득된 영상과 같이 비전(vision) 기반의 위치 인식 및 주행에 사용될 수 있다.
본 발명에 따른 이동 로봇(100b)은 주변의 이미지를 이미지 기반의 기저장된 정보와 비교하거나 획득되는 이미지들을 비교하여 현재 위치를 인식하는 비전 슬램을 수행할 수 있다.
한편, 영상획득부(120)는 전면 카메라 센서(120a) 및/또는 상부 카메라 센서(120b)를 복수개 구비하는 것도 가능하다. 또는 영상획득부(120)는 전방과 상방을 함께 촬영하도록 구성된 카메라 센서(미도시)를 복수개 구비하는 것도 가능하다.
본 실시예의 경우, 이동 로봇의 일부 부위(ex, 전방, 후방, 저면)에 카메라가 설치되어 있으며, 청소 시에 촬상 영상을 지속적으로 획득할 수 있다. 이러한 카메라는 촬영 효율을 위해 각 부위별로 여러 개가 설치될 수도 있다. 카메라에 의해 촬상된 영상은 해당 공간에 존재하는 먼지, 머리카락, 바닥 등과 같은 물질의 종류 인식,청소 여부, 또는 청소 시점을 확인하는데 사용할 수 있다.
전면 카메라 센서(120a)는 이동 로봇(100b)의 주행 방향 전면에 존재하는 장애물 또는 청소 영역의 상황을 촬영할 수 있다.
본 발명의 일 실시예에 따르면, 상기 영상획득부(120)는 본체(110) 주변을 연속적으로 촬영하여 복수의 영상을 획득할 수 있고, 획득된 복수의 영상은 저장부(130)에 저장될 수 있다.
이동 로봇(100b)은 복수의 영상을 이용하여 장애물 인식의 정확성을 높이거나, 복수의 영상 중 하나 이상의 영상을 선택하여 효과적인 데이터를 사용함으로써 장애물 인식의 정확성을 높일 수 있다.
센싱부(170)는 레이저를 이용하여 본체(110) 외부의 지형 정보를 획득하는 라이다 센서(175)를 포함할 수 있다.
라이다 센서(175)는 레이저를 출력하여 레이저를 반사시킨 객체의 거리, 위치 방향, 재질 등의 정보를 제공하며 주행 구역의 지형 정보를 획득할 수 있다. 이동 로봇(100b)은 라이다 센서(175)로 360도의 지형(Geometry) 정보를 얻을 수 있다.
본 발명의 일 실시예에 따른 이동 로봇(100b)은 라이다 센서(175)가 센싱한 객체들의 거리와 위치, 방향 등을 파악하여 맵을 생성할 수 있다.
본 발명의 일 실시예에 따른 이동 로봇(100b)은 외부에서 반사되어 수신되는 레이저의 시간차 또는 신호 강도 등 레이저 수신 패턴을 분석하여 주행 구역의 지형 정보를 획득할 수 있다. 또한, 이동 로봇(100b)은 라이다 센서(175)를 통하여 획득한 지형 정보를 이용하여 맵을 생성할 수 있다.
예를 들어, 본 발명에 따른 이동 로봇(100b)은 라이다 센서(175)를 통하여 현재 위치에서 획득된 주변 지형 정보를 분석하여 이동 방향을 결정하는 라이다 슬램을 수행할 수 있다.
더욱 바람직하게는, 본 발명에 따른 이동 로봇(100b)은 카메라를 이용하는 비전 기반의 위치 인식과 레이저를 이용하는 라이다 기반의 위치 인식 기술 및 초음파 센서를 통해 장애물을 효과적으로 인식하고 변화량이 작은 최적의 이동 방향을 추출하여 맵 생성을 수행할 수 있다.
한편, 센싱부(170)는 이동 로봇의 동작, 상태와 관련된 각종 데이터를 센싱하는 센서들(171, 172, 179)을 포함할 수 있다.
예를 들어, 상기 센싱부(170)는 전방의 장애물을 감지하는 장애물 감지센서(171)를 포함할 수 있다. 또한, 상기 센싱부(170)는 주행 구역 내 바닥에 낭떠러지의 존재 여부를 감지하는 낭떠러지 감지센서(172)와, 바닥의 영상을 획득하는 하부 카메라 센서(179)를 더 포함할 수 있다.
상기 장애물 감지센서(171)는 이동 로봇(100b)의 외주면에 일정 간격으로 설치되는 복수의 센서를 포함할 수 있다.
상기 장애물 감지센서(171)는, 적외선 센서, 초음파 센서, RF 센서, 지자기 센서, PSD(Position Sensitive Device) 센서 등을 포함할 수 있다.
한편, 상기 장애물 감지센서(171)에 포함되는 센서의 위치와 종류는 이동 로봇의 기종에 따라 달라질 수 있고, 상기 장애물 감지센서(171)는 더 다양한 센서를 포함할 수 있다.
상기 장애물 감지센서(171)는 실내의 벽이나 장애물과의 거리를 감지하는 센서로, 본 발명은 그 종류에 한정되지 않으나, 이하에서는 초음파 센서를 예시하여 설명한다.
상기 장애물 감지센서(171)는 이동 로봇의 주행(이동) 방향에 존재하는 물체, 특히 장애물을 감지하여 장애물 정보를 제어부(140)에 전달한다. 즉, 상기 장애물 감지센서(171)는, 이동 로봇의 이동 경로, 전방이나 측면에 존재하는 돌출물, 집안의 집기, 가구, 벽면, 벽 모서리 등을 감지하여 그 정보를 제어부(140)에 전달할 수 있다.
이때, 제어부(140)는 초음파 센서를 통해 수신된 적어도 2 이상의 신호에 기초하여 장애물의 위치를 감지하고, 감지된 장애물의 위치에 따라 이동 로봇(100b)의 움직임을 제어하여 맵 생성 시에 최적의 이동 경로를 제공한다.
실시예에 따라서는, 케이스(110)의 외측면에 구비되는 장애물 감지 센서(131)는 발신부와 수신부를 포함하여 구성될 수 있다.
예를 들어, 초음파 센서는 적어도 하나 이상의 발신부 및 적어도 2 이상의 수신부가 서로 엇갈리도록 구비될 수 있다. 이에 따라, 다양한 각도로 신호를 방사하고, 장애물에 반사된 신호를 다양한 각도에서 수신할 수 있다.
실시예에 따라서는, 장애물 감지센서(171)에서 수신된 신호는, 증폭, 필터링 등의 신호 처리 과정을 거칠 수 있고, 이후 장애물까지의 거리 및 방향이 산출될 수 있다.
한편, 상기 센싱부(170)는 본체(110)의 구동에 따른 이동 로봇(100b)의 주행 동작을 감지하고 동작 정보를 출력하는 주행 감지 센서를 더 포함할 수 있다. 주행 감지 센서로는, 자이로 센서(Gyro Sensor), 휠 센서(Wheel Sensor), 가속도 센서(Acceleration Sensor) 등을 사용할 수 있다.
이동 로봇(100b)은 배터리의 충전 상태를 감지하고, 감지 결과를 제어부(140)에 전송하는 배터리 감지부(미도시)를 더 포함할 수 있다. 배터리는 배터리 감지부와 연결되어 배터리 잔량 및 충전 상태가 제어부(140)에 전달된다. 배터리 잔량은 출력부(미도시)의 화면에 표시될 수 있다.
또한, 이동 로봇(100b)은 온/오프(On/Off) 또는 각종 명령을 입력할 수 있는 조작부(137)를 포함한다. 조작부(137)를 통해 이동 로봇(100b)의 작동 전반에 필요한 각종 제어명령을 입력받을 수 있다. 또한, 이동 로봇(100b)은 출력부(미도시)를 포함하여, 예약 정보, 배터리 상태, 동작모드, 동작상태, 에러상태 등을 표시할 수 있다.
도 3을 참조하면, 이동 로봇(100b)은 현재 위치를 인식하는 등 각종 정보를 처리하고 판단하는 제어부(140), 및 각종 데이터를 저장하는 저장부(130)를 포함한다. 또한, 이동 로봇(100b)은 다른 기기와 데이터를 송수신하는 통신부(190)를 더 포함할 수 있다.
이동 로봇(100b)과 통신하는 기기 중 외부 단말기는 이동 로봇(100b)을 제어하기 위한 애플리케이션을 구비하고, 애플리케이션의 실행을 통해 이동 로봇(100b)이 청소할 주행 구역에 대한 맵을 표시하고, 맵 상에 특정 영역을 청소하도록 영역을 지정할 수 있다. 사용자 단말기는 이동 로봇(100b)과 통신하여, 맵과 함께 이동 로봇의 현재 위치를 표시할 수 있으며, 복수의 영역에 대한 정보가 표시될 수 있다. 또한, 사용자 단말기는 이동 로봇의 주행에 따라 그 위치를 갱신하여 표시한다.
제어부(140)는 이동 로봇(100b)을 구성하는 센싱부(170), 조작부(137), 주행부(160)를 제어하여, 이동 로봇(100b)의 동작 전반을 제어한다.
저장부(130)는 이동 로봇(100b)의 제어에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 기록 매체는 마이크로 프로세서(micro processor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, 그 종류나 구현 방식에 한정되지 않는다.
또한, 저장부(130)에는 주행 구역에 대한 맵(Map)이 저장될 수 있다. 맵은 이동 로봇(100b)과 유선 또는 무선 통신을 통해 정보를 교환할 수 있는 사용자 단말기, 서버 등에 의해 입력된 것일 수도 있고, 이동 로봇(100b)이 스스로 학습을 하여 생성한 것일 수도 있다.
맵에는 주행 구역 내의 방들의 위치가 표시될 수 있다. 또한, 이동 로봇(100b)의 현재 위치가 맵 상에 표시될 수 있으며, 맵 상에서의 이동 로봇(100b)의 현재의 위치는 주행 과정에서 갱신될 수 있다. 외부 단말기는 저장부(130)에 저장된 맵과 동일한 맵을 저장한다.
상기 저장부(130)는 청소 이력 정보를 저장할 수 있다. 이러한 청소 이력 정보는 청소를 수행할 때마다 생성될 수 있다.
상기 저장부(130)에 저장되는 주행 구역에 대한 맵(Map)은, 청소 중 주행에 사용되는 내비게이션 맵(Navigation map), 위치 인식에 사용되는 슬램(Simultaneous localization and mapping: SLAM) 맵, 장애물 등에 부딪히면 해당 정보를 저장하여 학습 청소 시 사용하는 학습 맵, 전역 위치 인식에 사용되는 전역 위치 맵, 인식된 장애물에 관한 정보가 기록되는 장애물 인식 맵 등일 수 있다.
한편, 상술한 바와 같이 용도별로 상기 저장부(130)에 맵들을 구분하여 저장, 관리할 수 있지만, 맵이 용도별로 명확히 구분되지 않을 수도 있다. 예를 들어, 적어도 2 이상의 용도로 사용할 수 있도록 하나의 맵에 복수의 정보를 저장할 수도 있다.
제어부(140)는 주행제어모듈(141), 위치인식모듈(142), 지도생성모듈(143) 및 장애물인식모듈(144)을 포함할 수 있다.
주행제어모듈(141)은 이동 로봇(100b)의 주행을 제어하는 것으로, 주행 설정에 따라 주행부(160)의 구동을 제어한다. 또한, 주행제어모듈(141)은 주행부(160)의 동작을 바탕으로 이동 로봇(100b)의 주행경로를 파악할 수 있다. 예를 들어, 주행제어모듈(141)은 구동 바퀴의 회전속도를 바탕으로 이동 로봇(100b)의 현재 또는 과거의 이동속도, 주행한 거리 등을 파악할 수 있으며, 각 구동 바퀴의 회전 방향에 따라 현재 또는 과거의 방향 전환 과정 또한 파악할 수 있다. 이렇게 파악된 이동 로봇(100b)의 주행 정보를 바탕으로, 맵 상에서 이동 로봇(100b)의 위치가 갱신될 수 있다.
지도생성모듈(143)은 주행 구역의 맵을 생성할 수 있다. 지도생성모듈(143)은 영상획득부(120)를 통해 획득한 영상을 처리하여 맵을 작성할 수 있다. 예를 들어, 주행 구역에 대응하는 맵, 청소 영역과 대응되는 청소 맵을 작성할 수 있다.
또한, 지도생성모듈(143)은 각 위치에서 영상획득부(120)를 통해 획득한 영상을 처리하여 맵과 연계시켜 전역위치를 인식할 수 있다.
또한, 지도생성모듈(143)은 라이다 센서(175)를 통해 획득한 정보에 기초하여 맵을 작성하고, 각 위치에서 라이다 센서(175)를 통해 획득한 정보에 기초하여 위치를 인식할 수 있다.
더욱 바람직하게는, 지도생성모듈(143)은 영상획득부(120)와 라이다 센서(175)를 통해 획득한 정보에 기초하여 맵을 작성하고 위치 인식을 수행할 수 있다.
위치인식모듈(142)은 현재 위치를 추정하여 인식한다. 위치인식모듈(142)은 영상획득부(120)의 영상 정보를 이용하여 지도생성모듈(143)과 연계하여 위치를 파악함으로써, 이동 로봇(100b)의 위치가 갑자기 변경되는 경우에도 현재 위치를 추정하여 인식할 수 있다.
이동 로봇(100b)은 위치인식모듈(142)을 통해 연속적인 주행 중에 위치 인식이 가능하고 또한, 위치인식모듈(142) 없이 주행제어모듈(141), 지도생성모듈(143), 장애물인식모듈(144)을 통해, 맵을 학습하고 현재 위치를 추정할 수 있다.
이동 로봇(100b)은 미지의 현재 위치에서 영상획득부(120)를 통해 획득영상을 획득한다. 영상을 통해 천장에 위치하는 조명들, 경계(edge), 코너(corner), 얼룩(blob), 굴곡(ridge) 등의 여러가지 특징(feature)들이 확인된다.
이와 같이, 제어부(140)는 주행 구역을 구분하고 복수의 영역으로 구성된 맵을 생성하거나, 기저장된 맵을 바탕으로 본체(110)의 현재 위치를 인식할 수 있다.
또한, 제어부(140)는 영상획득부(120)와 라이다 센서(175)를 통해 획득한 정보를 융합하여 맵을 작성하고 위치 인식을 수행할 수 있다.
제어부(140)는 맵이 생성되면, 생성된 맵을 통신부(190)를 통해 외부 단말기, 서버 등으로 전송할 수 있다. 또한, 제어부(140)는 앞서 설명한 바와 같이, 외부 단말기, 서버 등으로부터 맵이 수신되면, 저장부(130)에 저장할 수 있다.
또한 제어부(140)는 주행 중 맵이 갱신되는 경우 갱신된 정보를 외부 단말기로 전송하여 외부 단말기와 이동 로봇(100b)에 저장되는 맵이 동일하도록 한다. 외부 단말기와 이동 로봇(100b)에 저장된 맵이 동일하게 유지됨에 따라 이동 단말기로부터의 청소명령에 대하여, 이동 로봇(100b)이 지정된 영역을 청소할 수 있으며, 또한, 외부 단말기에 이동 로봇의 현재 위치가 표시될 수 있도록 하기 위함이다.
이때, 맵은 청소 영역을 복수의 영역으로 분할되고, 영역 내의 장애물에 대한 정보를 포함할 수 있다.
제어부(140)는 청소명령이 입력되면, 맵 상의 위치와 이동 로봇의 현재 위치가 일치하는지 여부를 판단한다. 청소명령은 리모컨, 조작부 또는 외부 단말기로부터 입력될 수 있다.
제어부(140)는 현재 위치가 맵 상의 위치와 일치하지 않는 경우, 또는 현재 위치를 확인할 수 없는 경우, 현재 위치를 인식하여 이동 로봇(100b)의 현재 위치를 복구한 한 후, 현재 위치를 바탕으로 지정영역으로 이동하도록 주행부(160)를 제어할 수 있다.
현재 위치가 맵 상의 위치와 일치하지 않는 경우 또는 현재 위치를 확인 할 수 없는 경우, 위치인식모듈(142)은 영상획득부(120)로부터 입력되는 획득영상 및/또는 라이다 센서(175)를 통해 획득된 지형 정보를 분석하여 맵을 바탕으로 현재 위치를 추정할 수 있다. 또한, 장애물인식모듈(144) 또는 지도생성모듈(143) 또한, 같은 방식으로 현재 위치를 인식할 수 있다.
위치를 인식하여 이동 로봇(100b)의 현재 위치를 복구한 후, 주행제어모듈(141)은 현재 위치로부터 지정영역으로 주행경로를 산출하고 주행부(160)를 제어하여 지정영역으로 이동한다.
서버로부터 청소 패턴 정보를 수신하는 경우, 주행제어모듈(141)은 수신한 청소 패턴 정보에 따라, 전체 주행 구역을 복수의 영역으로 나누고, 하나 이상의 영역을 지정영역으로 설정할 수 있다.
이러한 주행제어모듈(141)은 지도생성모듈(143)로부터 생성된 맵을 가공하여 복수의 세부 영역으로 분할한다. 주행제어모듈(141)은 토폴로지 노드로부터 장애물까지의 거리 맵에 근거하여 거리 레벨이 유사한 노드를 연결한 경계 루프로부터 확장된 세부 영역으로 분할한다. 이때, 분할되는 세부 영역은 사각의 형상을 가질 수 있으며, 이동 로봇(100)이 한번에 주행 가능한 영역으로 정의될 수 있다.
또한, 주행제어모듈(141)은 수신한 청소 패턴 정보에 따라 주행경로를 산출하고, 주행경로를 따라 주행하며, 청소를 수행할 수 있다.
제어부(140)는 설정된 지정영역에 대한 청소가 완료되면, 청소기록을 저장부(130)에 저장할 수 있다.
또한, 제어부(140)는 통신부(190)를 통해 이동 로봇(100b)의 동작상태 또는 청소상태를 소정 주기로 외부 단말기, 서버로 전송할 수 있다.
그에 따라 외부 단말기는 수신되는 데이터를 바탕으로, 실행중인 애플리케이션의 화면상에 맵과 함께 이동 로봇의 위치를 표시하고, 또한 청소 상태에 대한 정보를 출력한다.
본 발명의 실시예에 따른 이동 로봇(100b)은 일방향으로 장애물이나 벽면이 감지될 때까지 이동하다가, 장애물인식모듈(144)이 장애물을 인식하면, 인식된 장애물의 속성에 따라 직진, 회전 등 주행 패턴을 결정할 수 있다.
예를 들어, 인식된 장애물의 속성이 넘어갈 수 있는 종류의 장애물이면, 이동 로봇(100b)은 계속 직진할 수 있다. 또는, 인식된 장애물의 속성이 넘어갈 수 없는 종류의 장애물이면, 이동 로봇(100b)은 회전하여 일정거리 이동하고, 다시 최초 이동 방향의 반대방향으로 장애물이 감지되는 거리까지 이동하여 지그재그 형태로 주행할 수 있다
본 발명의 실시예에 따른 이동 로봇(100b)은, 머신 러닝(machine learning) 기반의 사람, 사물 인식 및 회피를 수행할 수 있다.
상기 제어부(140)는, 입력 영상에서 머신 러닝(machine learning)으로 기학습된 장애물을 인식하는 장애물인식모듈(144)과 상기 인식된 장애물의 속성에 기초하여, 상기 주행부(160)의 구동을 제어하는 주행제어모듈(141)을 포함할 수 있다.
장애물인식모듈(144)은 장애물의 속성이 학습된 소프트웨어 또는 하드웨어 형태의 인공신경망(ANN)을 포함할 수 있다.
예를 들어, 장애물인식모듈(144)은 딥러닝(Deep Learning)으로 학습된 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), DBN(Deep Belief Network) 등 심층신경망(Deep Neural Network: DNN)을 포함할 수 있다.
장애물인식모듈(144)은 상기 심층신경망(DNN)에 포함된 노드들 사이의 가중치(weight)들에 기초하여 입력되는 영상 데이터에 포함되는 장애물의 속성을 판별할 수 있다.
한편, 이동 로봇(100b)은 출력부(180)를 더 포함하여, 소정 정보를 영상으로 표시하거나 음향으로 출력할 수 있다.
출력부(180)는 사용자의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과, 동작모드, 동작상태, 에러상태 등을 영상으로 표시하는 디스플레이(미도시)를 포함할 수 있다.
실시예에 따라서는, 상기 디스플레이는 터치패드와 상호 레이어 구조를 이루어 터치스크린으로 구성될 수 있다. 이 경우에, 터치스크린으로 구성되는 디스플레이는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다.
또한, 출력부(180)는 오디오 신호를 출력하는 음향 출력부(미도시)를 포함할 수 있다. 음향 출력부는 제어부(140)의 제어에 따라 경고음, 동작모드, 동작상태, 에러상태 등의 알림 메시지, 사용자의 명령 입력에 대응하는 정보, 사용자의 명령 입력에 대응하는 처리 결과 등을 음향으로 출력할 수 있다. 음향 출력부는, 제어부(140)로부터의 전기 신호를 오디오 신호로 변환하여 출력할 수 있다. 이를 위해, 스피커 등을 구비할 수 있다.
이하에서는 도 3의 구성도를 가지는 도 1 또는 도 2의 이동 로봇(100, 100b)의 맵 가공을 위한 제어 방법을 설명한다.
도 4는 본 발명의 일 실시예에 따른 이동 로봇의 제어 방법을 도시한 순서도이고, 도 5 내지 도 9는 도 4의 제어 방법에 관한 설명에 참조되는 도면이다.
도 4를 참고하면, 본 발명의 일 실시예에 따른 이동 로봇(100)은 제어부(140)의 명령에 의해 저장되어 있는 거리 맵을 추출한다(S10).
이때, 거리 맵은 도 5와 같이 이진화 데이터일 수 있으며, 장애물이 존재하는지 존재하지 않는지 여부를 나타낼 수 있다.
이때, 장애물이 존재하는 지점의 픽셀을 1로서 표시하고, 장애물이 존재하지 않는 지점의 픽셀을 0으로 표시할 수 있다.
이러한 거리 맵 내에는 상기 거리 맵을 형성하면서 이동 로봇(100)이 주행한 주행 노드가 토폴로지 노드로서 표시될 수 있다.
이와 같은 토폴로지 노드는 일정한 시간 간격으로 이동 로봇(100)이 위치하는 지점을 나타내는 것으로 이동 로봇(100)의 해당 노드에서 검출된 장애물이 1을 나타내는 픽셀로 표시되어 있다.
이때, 거리 맵의 장애물이 존재하지 않는 지점의 픽셀에는 장애물로부터의 거리에 대한 정보를 각각 포함한다.
다음으로, 제어부(140)는 해당 청소 영역에 대하여 세부 영역으로 분할을 수행한다(S20).
구체적으로, 거리 맵에서 각 픽셀의 거리 정보를 읽어들이고, 단계별 거리 레벨을 추출한다(S30).
일 예로, 도 5에서와 같이 거리 맵이 형성되어 있는 경우, 장애물에 가까울수록 작은 값의 거리 정보를 갖게 되는데, 이때, 중심부에 위치한 픽셀의 거리 정보가 가장 큰 값을 갖게 된다.
이와 같은 거리 정보는 장애물이 이루는 경계에 따라 서로 다른 값을 가질 수 있으므로 동일한 횡 또는 열에 위치하더라도 서로 다른 거리 정보를 가질 수 있다.
따라서, 가장 큰 값의 거리 정보 및 각 거리 정보 값을 가지는 픽셀의 수효를 함께 읽어들여 기준이 되는 거리 레벨을 설정한다.
일 예로, 가장 큰 값의 거리 정보가 15인 경우, 15를 거리 정보로 가지는 픽셀의 수효가 2인 경우에는 15는 거리 레벨로 인정되지 않는다.
15보다 작은 값을 가지는 거리 정보 중 해당하는 픽셀의 수효가 임계 값 이상인 거리 정보를 추출할 수 있다.
예를 들어, 15에서 10까지는 임계 값 이하의 픽셀이 충족하고, 9의 거리 정보를 가지는 픽셀의 수효가 임계 값 이상인 경우 9는 제1 거리 레벨(D1)로 설정될 수 있다.
다음으로, 제1 거리 레벨(D1)보다 작은 값 중 임계값 이상의 픽셀 수효를 가지는 거리 정보를 제2 거리 레벨(D2)로 설정할 수 있다.
이와 같은 순서로 복수의 거리 레벨이 설정될 수 있으며, 일 예로 3개의 거리 레벨이 설정될 수 있다.
이때, 제어부(140)는 제1 거리 레벨(D1)에 따른 경계 루프를 생성한다(S40).
구체적으로, 도 6과 같이 시작 위치에서 제1 거리 레벨(D1)을 가지는 픽셀을 제1 노드(G1)로 설정하고, 제1 노드(G1) 주변으로 동일한 제1 거리 레벨(D1)을 가지는 픽셀을 탐색한다.
제1 노드(G1) 주변에 제1 거리 레벨(D1)을 가지는 가장 짧은 거리에 있는 픽셀을 제2 노드(G2)로 설정하고, 제2 노드(G2) 주위의 제1 거리 레벨(D1)을 가지는 가장 짧은 거리에 있는 픽셀을 제3 노드(G3)로 설정하며 이와 같은 동작을 반복하여 제1 거리 레벨(D1)을 가지는 이웃한 픽셀을 연속적으로 정의한다.
이와 같이 복수의 노드가 정의되면, 도 6과 같이 각 노드 사이를 연결하는 제1 경계 루프(C1)를 형성한다.
즉, 제1 경계 루프(C1)를 형성할 때, 제1 노드(G1)와 제2 노드(G2)를 연결하고, 제2 노드(G2)와 제3 노드(G3)를 연결하면서 제1 경계 루프(C1)가 확장되는 연산 과정을 반복한다.
이때, 연속한 두 개의 노드를 연결할 때, 해당 공간이 복도인지 여부를 판단한다(S50). 즉 동일한 거리 정보를 가지는 픽셀이 동일한 횡 또는 열에서 연속적으로 탐색되는지 판단한다.
이와 같이 해당 영역이 복도가 아닌 경우에는 이웃한 노드의 연결을 통해 제1 경계 루프(C1)는 폐곡선을 이루도록 도 7과 같이 형성된다.
도 7과 같이 장애물로부터의 제1 거리 레벨(D1)에 위치한 노드를 연결한 선이 폐곡선을 이루는 경우, 제어부(140)는 제1 경계 루프(C1)로부터 장애물을 향하여 영역 확장을 수행한다(S60).
이때, 제1 경계 루프(C1)로부터의 영역 확장은 제1 거리 레벨(D1)에 기준하여 진행될 수 있으며, 확장된 영역의 형상이 사각형을 갖도록 윤곽을 침식한다.
즉, 일부 영역이 사각형을 형성하지 않고 돌출될 경우, 해당 영역을 사각형의 변을 이루도록 침식하여 해당 청소 영역 내에 포함될 수 있는 가장 큰 사각형을 정의한다.
이때, 모든 사각형의 변이 장애물을 이루는 경계 픽셀 내에 존재하여 최대 크기의 사각형을 충족할 때, 소정 개수의 픽셀만이 최대 크기의 사각형으로부터 함몰되어 있는 경우에는 해당 픽셀을 확장하여 사각형을 충족시킬 수 있다.
이때, 해당 픽셀은 마킹을 진행하여 이동 로봇(100)의 주행 시에 주의할 수 있도록 제어할 수 있다.
이와 같이 제1 거리 레벨(D1)에 대하여 거리 맵의 영역 중 제1 경계 루프(C1)가 폐루프를 형성하는 영역에 대한 사각형의 세부 영역(R1)이 분할된다.
다음으로, 제1 거리 레벨(D1)에 대하여 폐루프를 형성하는 제1 경계 루프(C1)가 형성되지 않는 영역에 대하여, 제1 거리 레벨(D1)보다 작은 제2 거리 레벨(D2)에 대한 경계 루프를 형성한다(S70).
즉, 도 5의 제2 거리 레벨(D2)에 대하여 앞서 진행한 것과 같이 동일한 제2 거리 정보를 가지는 노드를 탐색하고, 각 노드를 연결하여 제2 거리 레벨(D2)에 대한 제2 경계 루프(C2)를 형성한다.
이때, 도 8과 같이 해당하는 영역이 복도 영역을 충족하는 경우, 동일한 거리 정보를 가지는 픽셀의 수효를 카운트하여 소정의 길이로 영역(R2, R3, R4,…)을 분할할 수 있다.
이때, 복도 영역의 경우에 제2 경계 루프(C2)가 변곡점을 가지는 부분이 있는 경우에는 해당 변곡점을 기준으로 영역을 분할할 수 있다.
이와 같이 복도 영역으로 판단되는 경우에는 오피스의 경우, 통로에 해당할 수 있으며, 벽으로 이루어진 통로가 아닌 의자 또는 책상으로 이루어지는 통로의 경우에는 서로 다른 거리 정보를 가지면서 통로를 이룰 수 있다.
이와 같이 서로 다른 거리 정보를 가지는 경우에는 거리 정보의 변곡점에서 분할함으로써 미청소 영역을 최소화하도록 청소 영역의 분할이 가능하다.
따라서, 복도 영역이 연속적으로 이어지는 도 9의 경우에도 일부 변곡점을 기준으로 서로 다른 사각형을 갖도록 세부 영역(R2, R3, R4….)으로 분할 가능하다.
다음으로, 이동 로봇(100)의 제어부(140)는 제3 거리 레벨(D3)에 대하여 동일한 연산을 수행하여 청소 영역을 복수의 사각형을 가지는 세부 영역으로 분할할 수 있다.
제어부(140)는 미확장 영역이 없다고 판단되는 경우, 즉 청소 영역이 모두 사각형의 세부 영역으로 분할되었다고 판단되면 거리 맵의 영역 분할을 종료하고 해당 정보가 포함된 보정된 거리 맵을 저장부(150)에 저장한다(S80).
이동 로봇(100)은 보정된 거리 맵을 기초로 청소 영역의 각 세부 영역마다 청소를 진행하도록 주행부(160)를 제어할 수 있다.
도 10은 본 발명의 일 실시예에 따라 구획된 청소 구역을 나타내는 도면이다.
도 10a와 같이 오피스 사무실 영역과 같은 대면적의 영역의 경우, 파티션 또는 책상, 의자 등의 가구에 의해 서로 거리가 상이한 복도 영역이 연속적으로 형성되어 있다.
이와 같은 오피스 사무실 영역과 같은 대면적의 영역을 이동 로봇(100)이 청소하는 경우, 선행 청소를 통한 거리 맵을 통하여 연속 주행을 수행하는 경우에는 이동 로봇(100)이 불필요한 경로를 반복적으로 주행하여야 하거나 미청소 영역이 많이 발생하게 된다.
따라서, 이와 같은 영역에 대하여 본 발명과 같이 장애물로부터의 거리에 따라 각 거리 레벨을 설정하여 필터링을 수행하고, 해당 필터링을 통해 형성된 경계 루프를 확장하여 최대값을 가지는 사각형의 세부 영역으로 분할을 수행하면 도 10b와 같은 보완된 거리 맵을 생성할 수 있다.
이와 같은 보완된 거리 맵을 통해 이동 로봇(100)은 해당 세부 영역의 사각형 내를 지그재그 모드 또는 에지 모드 등의 최적화된 주행 모드를 통해 미청소 영역 없이 청소를 진행할 수 있다. 이때, 이동 로봇(100)은 하나의 세부 영역의 청소를 독립적으로 진행하여 종료한 후 이웃한 세부 영역의 청소를 진행하는 순서로 전체 청소 영역의 청소가 가능하다.
따라서, 각 세부 영역 사이에 연결이 절단되고, 각 영역에 최적화된 거리 정보에 의해 주행을 수행함으로써 미청소 영역이 최소화될 수 있다.
본 발명에 따른 이동 로봇(100)은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나, 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.
한편, 본 발명의 실시예에 따른 이동 로봇의 제어 방법은, 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
이동 로봇: 100, 100b
본체: 110
조작부: 137
제어부: 140
서비스부: 150
주행부: 160
센싱부: 170
통신부: 190

Claims (20)

  1. 본체를 이동시키는 주행부;
    청소 기능을 수행하는 청소부;
    주변 환경을 감지하는 센싱부;
    상기 주변 환경을 촬영하여 영상 데이터를 수득하는 영상 감지부; 및
    선행 청소를 진행하여, 상기 센싱부 및 영상 감지부를 통해 감지된 정보 및 상기 영상 데이터를 기초로 청소 구역에 대하여 장애물로부터의 거리 정보를 나타내는 거리 맵을 생성하고, 상기 거리 맵의 상기 거리 정보에 따라 상기 청소 구역을 복수의 세부 영역으로 분할하여 상기 세부 영역마다 독립적으로 청소를 수행하도록 제어하는 제어부;
    를 포함하는 로봇 청소기.
  2. 제1항에 있어서,
    상기 로봇 청소기는,
    상기 거리 맵은 복수의 픽셀로 구성되며, 각 픽셀은 장애물로부터의 거리 정보를 포함하는 것을 특징으로 하는, 로봇 청소기.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 거리 정보에 대하여 복수의 거리 레벨을 선정하고 상기 복수의 거리 레벨에 따라 상기 픽셀을 서로 연결하는 경계 루프를 형성하는 것을 특징으로 하는, 로봇 청소기.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 복수의 거리 레벨은 동일한 상기 거리 정보를 가지는 픽셀의 수효가 임계값 이상인 거리 정보로 정의되는 것을 특징으로 하는, 로봇 청소기.
  5. 제4항에 있어서,
    상기 제어부는,
    각각의 상기 거리 레벨에 대하여, 상기 거리 레벨을 갖는 픽셀을 탐색하여 탐색된 상기 픽셀을 이웃한 픽셀끼리 연결하여 상기 경계 루프를 형성하는 것을 특징으로 하는, 로봇 청소기.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 거리 레벨이 큰 순서로 상기 경계 루프를 형성하는 것을 특징으로 하는, 로봇 청소기.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 경계 루프를 상기 장애물을 향해 확장하여 사각형의 형상을 가지는 상기 세부 영역을 형성하는 것을 특징으로 하는, 로봇 청소기.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 청소 영역 내에 포함되는 최대 사각형을 형성하도록 상기 사각형을 벗어나는 픽셀을 절단하거나, 상기 사각형에 함몰되는 픽셀을 확장하는 것을 특징으로 하는, 로봇 청소기.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 청소 영역이 복도 영역인 경우, 상기 복도 영역을 소정 거리로 절단하여 상기 세부 영역을 형성하는 것을 특징으로 하는, 로봇 청소기.
  10. 제1항에 있어서,
    상기 제어부는,
    상기 세부 영역에 대하여 지그재그 모드로 주행하도록 상기 주행부를 제어하는 것을 특징으로 하는, 로봇 청소기.
  11. 청소 구역에 선행 청소를 진행하여, 센싱부를 통해 감지 신호를 수득하고, 영상 감지부로부터 주변 환경을 촬영하여 영상 데이터를 수득하는 단계;
    상기 감지 신호 및 상기 영상 데이터를 기초로 청소 구역에 대하여 장애물로부터의 거리 정보를 나타내는 거리 맵을 생성하는 단계; 및
    상기 거리 맵의 상기 거리 정보에 따라 상기 청소 구역을 복수의 세부 영역으로 분할하는 단계
    를 포함하는 로봇 청소기의 제어 방법.
  12. 제11항에 있어서,
    상기 거리 맵을 형성하는 단계는,
    상기 거리 맵은 복수의 픽셀로 구성되며, 각 픽셀은 장애물로부터의 거리 정보를 포함하는 것을 특징으로 하는, 로봇 청소기의 제어 방법.
  13. 제12항에 있어서,
    상기 세부 영역으로 분할하는 단계는, 상기 거리 정보에 대하여 복수의 거리 레벨을 선정하고 상기 복수의 거리 레벨에 따라 상기 픽셀을 서로 연결하는 경계 루프를 형성하는 것을 특징으로 하는, 로봇 청소기의 제어 방법.
  14. 제13항에 있어서,
    상기 세부 영역으로 분할하는 단계는, 상기 복수의 거리 레벨은 동일한 상기 거리 정보를 가지는 픽셀의 수효가 임계값 이상인 거리 정보로 정의되는 것을 특징으로 하는, 로봇 청소기의 제어 방법.
  15. 제14항에 있어서,
    상기 세부 영역으로 분할하는 단계는, 각각의 상기 거리 레벨에 대하여, 상기 거리 레벨을 갖는 픽셀을 탐색하여 탐색된 상기 픽셀을 이웃한 픽셀끼리 연결하여 상기 경계 루프를 형성하는 것을 특징으로 하는, 로봇 청소기의 제어 방법.
  16. 제15항에 있어서,
    상기 세부 영역으로 분할하는 단계는, 상기 거리 레벨이 큰 순서로 상기 경계 루프를 형성하는 것을 특징으로 하는, 로봇 청소기의 제어 방법.
  17. 제16항에 있어서,
    상기 세부 영역으로 분할하는 단계는, 상기 경계 루프를 상기 장애물을 향해 확장하여 사각형의 형상을 가지는 상기 세부 영역을 형성하는 것을 특징으로 하는, 로봇 청소기의 제어 방법.
  18. 제17항에 있어서,
    상기 세부 영역으로 분할하는 단계는, 상기 청소 영역 내에 포함되는 최대 사각형을 형성하도록 상기 사각형을 벗어나는 픽셀을 절단하거나, 상기 사각형에 함몰되는 픽셀을 확장하는 것을 특징으로 하는, 로봇 청소기의 제어 방법.
  19. 제18항에 있어서,
    상기 청소 영역이 복도 영역인 경우, 상기 복도 영역을 소정 거리로 절단하여 상기 세부 영역을 형성하는 것을 특징으로 하는, 로봇 청소기의 제어 방법.
  20. 제11항에 있어서,
    상기 세부 영역에 대하여 지그재그 모드로 주행하는 단계를 더 포함하는 것을 특징으로 하는, 로봇 청소기의 제어 방법.
KR1020190083998A 2019-07-11 2019-07-11 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법 KR102297496B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020190083998A KR102297496B1 (ko) 2019-07-11 2019-07-11 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
US16/924,848 US11700989B2 (en) 2019-07-11 2020-07-09 Mobile robot using artificial intelligence and controlling method thereof
EP20837615.2A EP3996883A4 (en) 2019-07-11 2020-07-09 MOBILE ROBOT WITH ARTIFICIAL INTELLIGENCE AND CONTROL METHOD FOR IT
PCT/KR2020/009048 WO2021006677A2 (en) 2019-07-11 2020-07-09 Mobile robot using artificial intelligence and controlling method thereof
JP2022500912A JP7365486B2 (ja) 2019-07-11 2020-07-09 人工知能を利用した移動ロボット及び移動ロボットの制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190083998A KR102297496B1 (ko) 2019-07-11 2019-07-11 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법

Publications (2)

Publication Number Publication Date
KR20210007474A true KR20210007474A (ko) 2021-01-20
KR102297496B1 KR102297496B1 (ko) 2021-09-02

Family

ID=74102837

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190083998A KR102297496B1 (ko) 2019-07-11 2019-07-11 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법

Country Status (5)

Country Link
US (1) US11700989B2 (ko)
EP (1) EP3996883A4 (ko)
JP (1) JP7365486B2 (ko)
KR (1) KR102297496B1 (ko)
WO (1) WO2021006677A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115500740A (zh) * 2022-11-18 2022-12-23 科大讯飞股份有限公司 清洁机器人及清洁机器人控制方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102577907B1 (ko) 2021-03-02 2023-09-14 네이버랩스 주식회사 3차원 맵 생성 방법 및 시스템
WO2022228671A1 (en) * 2021-04-28 2022-11-03 Aktiebolaget Electrolux Cleaning method of a robotic cleaning device
CN113331743A (zh) * 2021-06-09 2021-09-03 苏州澜途科技有限公司 清洁机器人清洁地面的方法以及清洁机器人
CN113951761B (zh) * 2021-10-20 2022-10-14 杭州景吾智能科技有限公司 清洁空间矩形区域的机械臂运动规划方法及系统
CN118356131A (zh) * 2022-01-04 2024-07-19 北京石头世纪科技股份有限公司 清洁机器人划区清洁的控制方法、装置及清洁机器人
CN114831567A (zh) * 2022-03-31 2022-08-02 苏州三六零机器人科技有限公司 智能选择清扫路径方法、装置、设备及可读存储介质
CN114947653A (zh) * 2022-04-21 2022-08-30 上海景吾酷租科技发展有限公司 基于酒店清洁机器人的视觉与激光融合slam方法及系统
CN114983272B (zh) * 2022-05-30 2024-05-14 美智纵横科技有限责任公司 场景地图处理方法和装置、清洁组件和清洁设备
CN114872029B (zh) * 2022-06-09 2024-02-02 深圳市巨龙创视科技有限公司 一种机器人视觉识别系统
CN115211765B (zh) * 2022-07-19 2024-06-07 深圳胡杨智能创新有限公司 清洁机器人控制方法、清洁机器人及存储介质
CN115416040B (zh) * 2022-11-04 2022-12-27 东莞市喜成电子科技有限公司 一种可折叠的服务机器人

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100791384B1 (ko) 2006-07-05 2008-01-07 삼성전자주식회사 특징점을 이용한 영역 구분 방법 및 장치와 이를 이용한이동 청소 로봇
KR20110000848A (ko) * 2009-06-29 2011-01-06 (주)실리콘화일 3차원 거리정보 및 영상 획득 장치
KR20120047137A (ko) * 2010-11-03 2012-05-11 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
JP2014123200A (ja) * 2012-12-20 2014-07-03 Toyota Motor Corp 移動体制御装置、移動体制御方法及び制御プログラム
KR20160036008A (ko) 2014-09-24 2016-04-01 삼성전자주식회사 청소 로봇 및 청소 로봇의 제어 방법
KR20170003764A (ko) 2015-06-30 2017-01-10 넥서스환경디자인연구원(주) 맹꽁이 서식지 복원시설
KR20190103511A (ko) * 2018-02-12 2019-09-05 엘지전자 주식회사 이동 로봇 및 그 제어방법

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3528200B2 (ja) * 1993-05-24 2004-05-17 松下電器産業株式会社 自走式掃除機
DE4408328C2 (de) * 1994-03-11 2002-09-26 Siemens Ag Verfahren zum Aufbau einer zellular strukturierten Umgebungskarte von einer selbstbeweglichen mobilen Einheit, welche sich mit Hilfe von auf Wellenreflexion basierenden Sensoren orientiert
DE4408329C2 (de) * 1994-03-11 1996-04-18 Siemens Ag Verfahren zum Aufbau einer zellular strukturierten Umgebungskarte von einer selbstbeweglichen mobilen Einheit, welche sich mit Hilfe von auf Wellenreflexion basierenden Sensoren orientiert
DE59501570D1 (de) * 1994-06-22 1998-04-09 Siemens Ag Verfahren zur orientierung, fahrwegplanung und steuerung einer autonomen mobilen einheit
KR20020010257A (ko) * 2000-07-28 2002-02-04 김인광 로봇 시스템에서의 자기위치 인식 장치 및 방법
US6667592B2 (en) 2001-08-13 2003-12-23 Intellibot, L.L.C. Mapped robot system
US6728608B2 (en) * 2002-08-23 2004-04-27 Applied Perception, Inc. System and method for the creation of a terrain density model
US20050010331A1 (en) * 2003-03-14 2005-01-13 Taylor Charles E. Robot vacuum with floor type modes
US7805220B2 (en) * 2003-03-14 2010-09-28 Sharper Image Acquisition Llc Robot vacuum with internal mapping system
US20040244138A1 (en) * 2003-03-14 2004-12-09 Taylor Charles E. Robot vacuum
US20050273967A1 (en) * 2004-03-11 2005-12-15 Taylor Charles E Robot vacuum with boundary cones
US20060020369A1 (en) * 2004-03-11 2006-01-26 Taylor Charles E Robot vacuum cleaner
US9534899B2 (en) * 2005-03-25 2017-01-03 Irobot Corporation Re-localization of a robot for slam
KR100611328B1 (ko) 2005-06-30 2006-08-11 고려대학교 산학협력단 세선화 기반 위상지도의 작성방법 및 그 장치, 이동로봇의탐사를 통한 세선화 기반 위상지도 작성방법 및 그 장치
AU2006284577B2 (en) * 2005-09-02 2012-09-13 Neato Robotics, Inc. Multi-function robotic device
KR100715609B1 (ko) 2006-01-13 2007-05-07 학교법인 포항공과대학교 가정환경에서의 이동로봇의 위상학적 지도형성 및 자율주행방법
KR101543490B1 (ko) * 2008-04-24 2015-08-10 아이로보트 코퍼레이션 로봇 가능화 모바일 제품을 위한 위치 측정 시스템, 위치 결정 시스템 및 운전 시스템의 적용
KR101503903B1 (ko) 2008-09-16 2015-03-19 삼성전자 주식회사 이동 로봇의 지도 구성 장치 및 방법
KR101037379B1 (ko) 2008-12-18 2011-05-27 한국과학기술연구원 거리센서로부터 얻은 주변환경의 거리정보를 바탕으로 한 이동로봇탐사시스템 및 이를 이용한 탐사방법
KR101553654B1 (ko) 2009-02-13 2015-10-01 삼성전자 주식회사 이동 로봇 및 이동 로봇의 이동 방법
JP5212212B2 (ja) 2009-03-25 2013-06-19 株式会社Ihi 通路検出プログラム、通路検出装置及び方法
US8428776B2 (en) 2009-06-18 2013-04-23 Michael Todd Letsky Method for establishing a desired area of confinement for an autonomous robot and autonomous robot implementing a control system for executing the same
JP5803054B2 (ja) * 2009-12-02 2015-11-04 村田機械株式会社 自律移動装置
DE102010017689A1 (de) * 2010-07-01 2012-01-05 Vorwerk & Co. Interholding Gmbh Selbsttätig verfahrbares Gerät sowie Verfahren zur Orientierung eines solchen Gerätes
KR101761313B1 (ko) 2010-12-06 2017-07-25 삼성전자주식회사 로봇 및 로봇의 경로생성방법
KR101242252B1 (ko) 2011-02-10 2013-03-11 고려대학교 산학협력단 시맨틱 격자 지도 생성 방법 및 시맨틱 격자 지도를 활용한 시맨틱 격자 지도 기반 탐사 방법
FR2977023B1 (fr) * 2011-06-24 2014-02-21 Univ Angers Generation de donnees de carte
US8798840B2 (en) 2011-09-30 2014-08-05 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
KR101179075B1 (ko) 2012-02-28 2012-09-03 국방과학연구소 자율로봇의 경로계획방법 및 이를 구비한 경로계획장치
KR20130112507A (ko) 2012-04-04 2013-10-14 인하대학교 산학협력단 S* 알고리즘을 이용한 이동로봇의 안전경로계획 수립방법
CA2877919A1 (en) * 2012-06-27 2014-01-03 Pentair Water Pool And Spa, Inc. Pool cleaner with laser range finder system and method
KR20140009737A (ko) * 2012-07-12 2014-01-23 한국과학기술원 하이브리드 맵 기반 로봇의 위치인식방법
KR101427186B1 (ko) 2013-06-12 2014-08-07 건국대학교 산학협력단 미지환경에서 지능형 로봇의 이동경로 생성을 위한 영역탐색 및 매핑 장치
JP5897517B2 (ja) * 2013-08-21 2016-03-30 シャープ株式会社 自律移動体
KR102116596B1 (ko) 2013-12-19 2020-05-28 에이비 엘렉트로룩스 나선형 패턴으로 이동하는 사이드 브러시를 구비한 로봇 진공 청소기
US9436926B2 (en) * 2014-02-25 2016-09-06 Savioke, Inc. Entryway based authentication system
US10068373B2 (en) * 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
US10488865B2 (en) * 2014-12-16 2019-11-26 Al Incorporated Methods and systems for robotic surface coverage
US9704043B2 (en) * 2014-12-16 2017-07-11 Irobot Corporation Systems and methods for capturing images and annotating the captured images with information
US11400595B2 (en) 2015-01-06 2022-08-02 Nexus Robotics Llc Robotic platform with area cleaning mode
US9630319B2 (en) 2015-03-18 2017-04-25 Irobot Corporation Localization and mapping using physical features
JP6705636B2 (ja) * 2015-10-14 2020-06-03 東芝ライフスタイル株式会社 電気掃除機
JP6649743B2 (ja) 2015-10-28 2020-02-19 シャープ株式会社 一致性評価装置および一致性評価方法
DE102015119501A1 (de) * 2015-11-11 2017-05-11 RobArt GmbH Unterteilung von Karten für die Roboternavigation
DE102015119865B4 (de) * 2015-11-17 2023-12-21 RobArt GmbH Robotergestützte Bearbeitung einer Oberfläche mittels eines Roboters
CN205671994U (zh) 2015-12-16 2016-11-09 小米科技有限责任公司 自动清洁设备
DE102016102644A1 (de) * 2016-02-15 2017-08-17 RobArt GmbH Verfahren zur Steuerung eines autonomen mobilen Roboters
EP3508104B1 (en) 2016-08-31 2021-07-21 Murata Machinery, Ltd. Autonomously traveling floor cleaning machine
KR20180074537A (ko) * 2016-12-30 2018-07-03 엘지전자 주식회사 청소 로봇
US10653282B2 (en) 2016-12-23 2020-05-19 Lg Electronics Inc. Cleaning robot
KR20180082264A (ko) 2017-01-10 2018-07-18 엘지전자 주식회사 이동 로봇 및 그 제어방법
CN108318046B (zh) 2017-01-18 2020-12-15 华为技术有限公司 路径规划方法和装置
KR102012550B1 (ko) * 2017-02-20 2019-08-20 엘지전자 주식회사 돌발 장애물을 식별하는 방법 및 이를 구현하는 로봇
US10222215B2 (en) 2017-04-21 2019-03-05 X Development Llc Methods and systems for map generation and alignment
US9939814B1 (en) 2017-05-01 2018-04-10 Savioke, Inc. Computer system and method for automated mapping by robots
JP7087290B2 (ja) * 2017-07-05 2022-06-21 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
US10915114B2 (en) * 2017-07-27 2021-02-09 AI Incorporated Method and apparatus for combining data to construct a floor plan
US10583561B2 (en) * 2017-08-31 2020-03-10 Neato Robotics, Inc. Robotic virtual boundaries
KR102219801B1 (ko) * 2017-09-22 2021-02-23 엘지전자 주식회사 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
US10606270B2 (en) 2017-10-18 2020-03-31 Luminar Technologies, Inc. Controlling an autonomous vehicle using cost maps
CN107806881A (zh) 2017-10-25 2018-03-16 上海思岚科技有限公司 移动机器人构建结构地图的方法与设备
US11662467B2 (en) 2017-11-28 2023-05-30 Innoviz Technologies Ltd. MEMS mirror having spaced actuators
KR102561263B1 (ko) 2018-04-04 2023-07-28 삼성전자주식회사 지도 데이터를 생성하는 전자 장치 및 그 동작 방법
KR102466940B1 (ko) 2018-04-05 2022-11-14 한국전자통신연구원 로봇 주행용 위상 지도 생성 장치 및 방법
DE102019202702B3 (de) 2019-02-28 2020-08-13 Kuka Deutschland Gmbh Abfahren einer vorgegebenen Anordnung von Wegen mit einem mobilen Roboter
KR102296908B1 (ko) 2019-03-19 2021-09-02 한국전자통신연구원 특징점 지도 관리방법 및 장치
US11314254B2 (en) 2019-03-26 2022-04-26 Intel Corporation Methods and apparatus for dynamically routing robots based on exploratory on-board mapping

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100791384B1 (ko) 2006-07-05 2008-01-07 삼성전자주식회사 특징점을 이용한 영역 구분 방법 및 장치와 이를 이용한이동 청소 로봇
KR20110000848A (ko) * 2009-06-29 2011-01-06 (주)실리콘화일 3차원 거리정보 및 영상 획득 장치
KR20120047137A (ko) * 2010-11-03 2012-05-11 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
JP2014123200A (ja) * 2012-12-20 2014-07-03 Toyota Motor Corp 移動体制御装置、移動体制御方法及び制御プログラム
KR20160036008A (ko) 2014-09-24 2016-04-01 삼성전자주식회사 청소 로봇 및 청소 로봇의 제어 방법
KR20170003764A (ko) 2015-06-30 2017-01-10 넥서스환경디자인연구원(주) 맹꽁이 서식지 복원시설
KR20190103511A (ko) * 2018-02-12 2019-09-05 엘지전자 주식회사 이동 로봇 및 그 제어방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115500740A (zh) * 2022-11-18 2022-12-23 科大讯飞股份有限公司 清洁机器人及清洁机器人控制方法

Also Published As

Publication number Publication date
WO2021006677A2 (en) 2021-01-14
WO2021006677A3 (en) 2021-02-18
EP3996883A2 (en) 2022-05-18
EP3996883A4 (en) 2023-08-30
JP7365486B2 (ja) 2023-10-19
US11700989B2 (en) 2023-07-18
US20210007572A1 (en) 2021-01-14
JP2022540160A (ja) 2022-09-14
KR102297496B1 (ko) 2021-09-02

Similar Documents

Publication Publication Date Title
KR102297496B1 (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
JP7356567B2 (ja) 移動ロボット及びその制御方法
US11468588B1 (en) Method for estimating distance using point measurement and color depth
CN109998421B (zh) 移动清洁机器人组合及持久性制图
KR102348041B1 (ko) 복수의 이동 로봇을 포함하는 로봇 시스템의 제어 방법
CN109998429B (zh) 用于情境感知的移动清洁机器人人工智能
JP7356566B2 (ja) 移動ロボット及びその制御方法
AU2017363769B2 (en) Mobile robot and control method thereof
JP7055127B2 (ja) 移動ロボット及びその制御方法
KR102314539B1 (ko) 인공지능 이동 로봇의 제어 방법
US20220257074A1 (en) Mobile robot using artificial intelligence and controlling method thereof
JP2019528535A5 (ko)
JP2019525342A (ja) 自律移動ロボッを制御する方法
KR20180023301A (ko) 이동 로봇 및 그 제어방법
KR20180023302A (ko) 이동 로봇 및 그 제어방법
KR20210089462A (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
KR20180023303A (ko) 이동 로봇 및 그 제어방법
US11055341B2 (en) Controlling method for artificial intelligence moving robot
KR102224637B1 (ko) 이동 로봇 및 그 제어방법
KR102490755B1 (ko) 이동 로봇 시스템
KR20230161782A (ko) 이동 로봇 및 이동 로봇의 제어방법
JP7432701B2 (ja) 移動ロボット及びその制御方法
KR102500525B1 (ko) 이동 로봇
KR20230143800A (ko) 이동 로봇 및 그의 제어 방법
KR20240040180A (ko) 이동 로봇

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right