KR20160113857A - 로봇 청소기 및 이를 구비하는 로봇 청소 시스템 - Google Patents

로봇 청소기 및 이를 구비하는 로봇 청소 시스템 Download PDF

Info

Publication number
KR20160113857A
KR20160113857A KR1020150040090A KR20150040090A KR20160113857A KR 20160113857 A KR20160113857 A KR 20160113857A KR 1020150040090 A KR1020150040090 A KR 1020150040090A KR 20150040090 A KR20150040090 A KR 20150040090A KR 20160113857 A KR20160113857 A KR 20160113857A
Authority
KR
South Korea
Prior art keywords
image
cleaning
mobile terminal
information
robot cleaner
Prior art date
Application number
KR1020150040090A
Other languages
English (en)
Other versions
KR102314637B1 (ko
Inventor
서대근
이주완
김락용
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=55588123&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20160113857(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020150040090A priority Critical patent/KR102314637B1/ko
Priority to EP18158645.4A priority patent/EP3345525B1/en
Priority to EP16161607.3A priority patent/EP3072432B2/en
Priority to US15/077,684 priority patent/US9962054B2/en
Priority to EP20160760.3A priority patent/EP3679850B1/en
Priority to EP20160758.7A priority patent/EP3679849B1/en
Publication of KR20160113857A publication Critical patent/KR20160113857A/ko
Priority to KR1020210135723A priority patent/KR20210125974A/ko
Application granted granted Critical
Publication of KR102314637B1 publication Critical patent/KR102314637B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4063—Driving means; Transmission means therefor
    • A47L11/4066—Propulsion of the whole machine
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A47L9/2826—Parameters or conditions being sensed the condition of the floor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2847—Surface treating elements
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2857—User input or output elements for control, e.g. buttons, switches or displays
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2894—Details related to signal transmission in suction cleaners
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0022—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/06—Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/50—Receiving or transmitting feedback, e.g. replies, status updates, acknowledgements, from the controlled devices
    • G08C2201/51—Remote controlling of devices based on replies, status thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Robotics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electric Vacuum Cleaner (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 로봇 청소기 및 이를 구비하는 로봇 청소 시스템에 관한 것이다. 본 발명의 실시예에 따른 로봇 청소기는, 본체를 이동시키는 주행부와, 청소를 실행하는 청소부와, 이물질을 포함하는 이미지를 캡쳐하는 카메라와, 이동 단말기 또는 서버와 데이터를 교환하는 통신부와, 이물질을 포함하는 이미지와, 이미지 관련 정보를, 이동 단말기 또는 서버로 전송하도록 제어하며, 이동 단말기 또는 서버로부터의, 이물질에 대한 청소 실행 정보에 기초하여, 이물질 주변을 청소하거나, 이물질에 대한 청소 회피 정보에 기초하여, 이물질 주변을 청소하지 않도록 제어하는 제어부를 포함한다. 이에 따라, 이물질에 대해 선택적으로 청소를 수행할 수 있게 된다.

Description

로봇 청소기 및 이를 구비하는 로봇 청소 시스템{Robot cleaner, and robot cleaning system}
본 발명은 로봇 청소기 및 이를 구비하는 로봇 청소 시스템에 관한 것으로, 더욱 상세하게는, 이물질에 대해 선택적으로 청소를 수행할 수 있는 로봇 청소기 및 이를 구비하는 로봇 청소 시스템에 관한 것이다.
일반적으로, 청소기란, 바닥면의 이물질 등을 흡입하여 제거하는 가전기기이다. 최근에는, 이와 같은 청소기 중 특히, 자동으로 청소가 이루어지는 청소기를 로봇 청소기라 칭한다. 이와 같은 로봇 청소기는, 충전지에 의하여 동작하는 모터의 구동력에 의하여 이동하면서 바닥면의 이물질 등을 흡입하여 제거한다.
본 발명의 목적은, 이물질에 대해 선택적으로 청소를 수행할 수 있는 로봇 청소기 및 이를 구비하는 로봇 청소 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 로봇 청소기는, 본체를 이동시키는 주행부와, 청소를 실행하는 청소부와, 이물질을 포함하는 이미지를 캡쳐하는 카메라와, 이동 단말기 또는 서버와 데이터를 교환하는 통신부와, 이물질을 포함하는 이미지와, 이미지 관련 정보를, 이동 단말기 또는 서버로 전송하도록 제어하며, 이동 단말기 또는 서버로부터의, 이물질에 대한 청소 실행 정보에 기초하여, 이물질 주변을 청소하거나, 이물질에 대한 청소 회피 정보에 기초하여, 이물질 주변을 청소하지 않도록 제어하는 제어부를 포함한다.
또한, 상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 로봇 청소기는, 본체를 이동시키는 주행부와, 청소를 실행하는 청소부와, 이물질을 포함하는 이미지를 캡쳐하는 스테레오 카메라와, 이동 단말기 또는 서버와 데이터를 교환하는 통신부와, 스테레오 카메라로부터 획득된 이물질을 포함하는 이미지에 대한 신호 처리를 수행하여, 이미지 내의 이물질과 관련된 오브젝트를 확인하고, 확인된 이물질과 관련된 오브젝트에 기초하여, 이물질에 대한 청소 실행 정보 또는 청소 회피 정보를 생성하고, 청소 실행 정보에 기초하여, 이물질 주변을 청소하거나, 청소 회피 정보에 기초하여, 이물질 주변을 청소하지 않도록 제어하는 제어부를 포함한다.
또한, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 로봇 청소 시스템은, 이물질을 포함하는 이미지를 캡쳐하고, 이물질을 포함하는 이미지와, 이미지 관련 정보를, 이동 단말기 또는 서버로 전송하며, 이동 단말기 또는 서버로부터의, 이물질에 대한 청소 실행 정보에 기초하여, 이물질 주변을 청소하거나, 이물질에 대한 청소 회피 정보에 기초하여, 이물질 주변을 청소하지 않는 로봇 청소기와, 로봇 청소기로부터의 이미지를 표시하고, 표시된 이미지에 기초하여, 청소 실행 정보 또는 청소 회피 정보를 로봇 청소기로 전송하는 이동 단말기를 포함한다.
본 발명의 일실시예에 따르면, 로봇 청소기는, 본체를 이동시키는 주행부와, 청소를 실행하는 청소부와, 이물질을 포함하는 이미지를 캡쳐하는 카메라와, 이동 단말기 또는 서버와 데이터를 교환하는 통신부와, 이물질을 포함하는 이미지와, 이미지 관련 정보를, 이동 단말기 또는 서버로 전송하도록 제어하며, 이동 단말기 또는 서버로부터의, 이물질에 대한 청소 실행 정보에 기초하여, 이물질 주변을 청소하거나, 이물질에 대한 청소 회피 정보에 기초하여, 이물질 주변을 청소하지 않도록 제어하는 제어부를 포함함으로써, 이물질에 대해 선택적으로 청소를 수행할 수 있게 된다.
특히, 이동 단말기 또는 서버로부터의, 이물질에 대한 청소 실행 정보 또는 청소 회피 정보를 수신함으로써, 간단하게, 이물질에 대해 선택적으로 청소를 수행할 수 있게 된다.
본 발명의 다른 실시예에 따르면, 로봇 청소기는, 본체를 이동시키는 주행부와, 청소를 실행하는 청소부와, 이물질을 포함하는 이미지를 캡쳐하는 스테레오 카메라와, 이동 단말기 또는 서버와 데이터를 교환하는 통신부와, 스테레오 카메라로부터 획득된 이물질을 포함하는 이미지에 대한 신호 처리를 수행하여, 이미지 내의 이물질과 관련된 오브젝트를 확인하고, 확인된 이물질과 관련된 오브젝트에 기초하여, 이물질에 대한 청소 실행 정보 또는 청소 회피 정보를 생성하고, 청소 실행 정보에 기초하여, 이물질 주변을 청소하거나, 청소 회피 정보에 기초하여, 이물질 주변을 청소하지 않도록 제어하는 제어부를 포함함으로써, 이물질에 대해 선택적으로 청소를 수행할 수 있게 된다.
특히, 로봇 청소기 자체에서, 촬영된 스테레오 이미지에 기반하여 오브젝트를 확인하고, 확인된 오브젝트에 기초하여, 이물질에 대한 청소 실행 정보 또는 청소 회피 정보를 생성함으로써, 간편하게, 선택적으로 청소를 수행할 수 있게 된다.
도 1은 본 발명의 일실시예에 따른 로봇 청소 시스템 구성도의 일예이다.
도 2a는 도 1의 로봇 청소기를 도시한 사시도이다.
도 2b는 도 2a의 로봇 청소기의 저면도이다.
도 2c는 도 2a의 로봇 청소기의 분해 사시도이다.
도 3은 도 1의 로봇 청소기의 간략한 내부 블록도이다.
도 4는 도 1의 서버의 내부 블록도이다.
도 5는 도 1의 이동 단말기의 내부 블록도이다.
도 6는 본 발명의 일실시예에 따른 로봇 청소기의 동작방법을 도시한 순서도이다.
도 7 내지 도 12b는 도 6의 동작방법의 설명에 참조되는 도면이다.
도 13은 도 3의 제어부의 내부 블록도의 일예를 예시한다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
도 1은 본 발명의 일실시예에 따른 로봇 청소 시스템 구성도의 일예이다.
도면을 참조하면, 본 발명의 일실시예에 따른 로봇 청소 시스템(50)은, 로봇 청소기(200), AP 장치(400), 서버(500), 네트워크(550), 이동 단말기들(600a,600b)을 포함할 수 있다.
이 중 로봇 청소기(200), AP 장치(400), 이동 단말기들(600a) 등은 집과 ekx은 건물(10) 내에 배치될 수 있다.
로봇 청소기(200)는, 자동으로 청소가 이루어지는 청소기로서, 자동 주행 및 자동 청소를 수행할 수 있다.
한편, 로봇 청소기(200)는, 주행 기능 및 청소 기능 외에, 내부에 통신부(미도시)를 구비하고, 내부 네트워크(10) 내의 전자기기들 또는 외부 네트워크(550)를 통해 접속 가능한 전자기기들과 데이터를 교환할 수 있다. 이를 위해, 통신부(미도시)는, AP 장치(400)와 유, 무선으로 데이터 교환을 수행할 수 있다.
억세스 포인트(access point;AP) 장치(400)는, 인접 전자 기기(electric device)에 내부 네트워크(10)를 제공할 수 있다. 특히, 무선 네트워크를 제공할 수 있다.
한편, AP 장치(400)는, 내부 네트워크(10) 내의 전자 기기들에, 소정 통신 방식에 의한 무선 채널을 할당하고, 해당 채널을 통해, 무선 데이터 통신을 수행할 수 있다. 여기서, 소정 통신 방식은, WiFi 통신 방식일 수 있다.
이때, 내부 네트워크(10) 내에 위치하는 이동 단말기(600b)는, AP 장치(400)를 통해, 로봇 청소기(200)에 접속함으로써, 로봇 청소기(200)에 대한 모니터링, 원격제어 등을 수행할 수 있게 된다.
한편, AP 장치(400)는, 내부 네트워크(10) 외에, 외부 네트워크(550)를 통해, 외부 전자기기와 데이터 통신을 수행할 수 있다.
예를 들어, AP 장치(400)는, 외부 네트워크(550)를 통해, 외부에 위치하는 이동 단말기(600a)와 무선 데이터 통신을 수행할 수 있다.
이때, 외부 네트워크(550)에 위치하는 이동 단말기(600a)는, 외부 네트워크(550), 및 AP 장치(400)를 통해, 로봇 청소기(200)에 접속함으로써, 로봇 청소기(200)에 대한 모니터링, 원격제어 등을 수행할 수 있게 된다.
다른 예로, AP 장치(400)는, 외부 네트워크(550)를 통해, 외부에 위치하는 서버(500)와 무선 데이터 통신을 수행할 수 있다.
서버(500)는, 음성 인식 알고리즘을 구비할 수 있다. 그리고, 음성 데이터 수신시, 수신되는 음성 데이터를, 텍스트 형식의 데이터로 변환하여, 출력할 수 있다.
한편, 서버(500)는, 로봇 청소기(200)에 대한 펌웨어 정보, 운전 정보(코스 정보 등)를 저장하고, 로봇 청소기(200)에 대한 제품 정보를 등록할 수 있다. 예를 들어, 서버(500)는, 로봇 청소기(200) 제조자가 운영하는 서버일 수 있다. 다른 예로, 서버(500)는, 공개된 애플리케이션 스토어 운영자가 운영하는 서버일 수도 있다.
한편, 도면과 달리, 서버(500)는 댁 내에 구비되며, 댁 내 가전 기기들에 대한 상태 정보를 저장하거나, 댁 내 가전 기기에서 공유되는 컨텐츠를 저장하는 홈 서버일 수도 있다. 서버(500)가 홈 서버인 경우, 이물질과 관련된 정보, 예를 들어, 이물질 이미지 등을 저장할 수 있다.
한편, 본 발명의 일 실시예에 따른, 로봇 청소기(200)는, 내부에 구비되는 카메라를 통해, 이물질을 포함하는 이미지를 캡쳐하고, 이물질을 포함하는 이미지와, 이미지 관련 정보를, 이동 단말기(600) 또는 서버(500)로 전송하며, 이동 단말기(600) 또는 서버(500)로부터의, 이물질에 대한 청소 실행 정보에 기초하여, 이물질 주변을 청소하거나, 이물질에 대한 청소 회피 정보에 기초하여, 이물질 주변을 청소하지 않을 수 있다. 이에 따라, 이물질에 대해 선택적으로 청소를 수행할 수 있게 된다.
특히, 배설물과 같은 이물질에 대한 청소를 수행하지 않음으로써, 로봇 청소기(200)의 청소 모드로 인하여, 배설물 주변이 더 더러워지는 것을 방지할 수 있게 된다.
한편, 본 발명의 다른 실시예에 따르면, 로봇 청소기(200)는, 내부에 구비되는 스테레오 카메라를 통해, 이물질을 포함하는 이미지를 캡쳐하고, 스테레오 카메라로부터 획득된 이물질을 포함하는 이미지에 대한 신호 처리를 수행하여, 이미지 내의 이물질과 관련된 오브젝트를 확인하고, 확인된 이물질과 관련된 오브젝트에 기초하여, 이물질에 대한 청소 실행 정보 또는 청소 회피 정보를 생성하고, 청소 실행 정보에 기초하여, 이물질 주변을 청소하거나, 청소 회피 정보에 기초하여, 이물질 주변을 청소하지 않을 수 있다. 이에 따라, 이물질에 대해 선택적으로 청소를 수행할 수 있게 된다.
상술한 로봇 청소기(200)의 동작 또는 로봇 청소기(200)와 이동 단말기(600)의 동작 등에 대해서는, 도 6 이하를 참조하여 보다 상세히 기술한다.
도 2a는 본 발명의 일 실시예에 따른 로봇 청소기를 도시한 사시도이고, 도 2b는 도 2a의 로봇 청소기의 저면도이며, 도 2c는 도 2a의 로봇 청소기의 분해 사시도이다.
도 2a 내지 도 2c를 참조하면, 본 발명의 일 실시예에 따른 로봇 청소기(200)는 바닥을 향해 개구된 하방 개구부(210h)가 형성된 본체(210)를 포함한다.
본체(210)는 좌륜(261a)과 우륜(262a)이 회전함에 따라 청소하고자 하는 구역(이하, 청소구역이라고 함.)을 이동하며, 흡입유닛(270)을 통해 청소구역 내의 먼지나 쓰레기 등의 이물질을 흡입한다.
흡입유닛(270)은 본체(210)에 구비되어 흡입력을 발생시키는 흡입 팬(272)과, 흡입 팬(272)의 회전에 의해 생성된 기류가 흡입되는 흡입구(271)를 포함할 수 있다.
또한, 흡입유닛(270)은 흡입구(271)를 통해 흡입된 기류 중에서 이물질을 채집하는 필터(미도시)와, 상기 필터에 의해 채집된 이물질들이 축적되는 이물질 수용기(미도시)를 더 포함할 수 있다.
좌륜(261a)과 우륜(262a)을 구동시키는 주행 구동부(미도시)가 구비될 수 있다. 특히, 주행 구동부(미도시)는, 좌륜(261a)을 구동하는 좌륜 구동부(미도시)와, 우륜(262a)을 구동하는 우륜 구동부(미도시)를 포함할 수 있다.
제어부(도 3의 270) 제어에 의해 좌륜 구동부(미도시)와 우륜 구동부(미도시)의 작동이 독립적으로 제어됨으로써 본체(210)의 직진, 후진 또는 선회가 이루어질 수 있다. 예를 들어, 좌륜 구동부(미도시)에 의해 좌륜(261a)이 정방향으로 회전되고, 우륜 구동부(미도시)에 의해 우륜(262a)은 역방향으로 회전되는 경우 본체(210)가 좌측 또는 우측으로 회전된다. 제어부(도 3의 270)는 좌륜 구동부(미도시)와 우륜 구동부(미도시)의 회전 속도에 차이가 있도록 제어함으로써, 직진운동과 회전운동을 겸하는 본체(210)의 병진운동을 유도하는 것도 가능하다. 이와 같은 제어부(도 3의 270) 제어를 통한 본체(210)의 운동은 장애물에 대한 회피 또는 선회를 가능하게 한다. 본체(210)의 안정적인 지지를 위한 적어도 하나의 보조바퀴(213)가 더 구비될 수 있다.
본체(210)는 회전 구동부(미도시), 주행 구동부(미도시) 등을 수용하는 본체 하부(211)와, 본체 하부(211)를 덮는 본체 상부(212)를 포함할 수 있다.
투명부재(232)는 위치감지센서(220)에서 출력되는 광 또는 외부로부터 수신되는 광이 진행되는 경로상에 배치된다. 투명부재(232)는 본체(210)에 고정될 수 있다. 본체(210)는 전측에 개구부가 형성되고, 상기 개구부에 설치되는 투명부재 프레임(231)에 의해 투명부재(232)가 고정될 수 있다.
위치감지센서(220)는 장애물을 향해 광을 출사하여 장애물의 위치 또는 거리를 감지한다. 위치감지센서(220)는 본체(210)에 회전 가능하게 구비된다. 위치감지센서(220)는 광을 출력하는 송광부(미도시)와, 광을 수신하는 수광부(미도시)를 포함할 수 있다. 송광부(미도시)는, LED, 레이저 다이오드 등을 포함할 수 있다.
한편, 위치감지센서(200) 외에, 로봇 청소기(200) 전방에 위치하는 대상물을 파악하기 위해, 카메라(230)가 본체 상부(212)에 배치되는 것도 가능하다. 특히, 개구부가 설치되는 투명부재 프레임(231)과 투명부재(232) 상에 카메라(230)가 배치될 수 있다. 이에 의해, 로봇 청소기(200)의 상방 및 전방에 대한 영상을 촬영할 수 있게 된다.
도 3은 도 1의 로봇 청소기의 간략한 내부 블록도이다.
도면을 참조하면, 로봇 청소기(200)는, 센서부(220), 다른 외부 장치와의 통신을 위한 통신부(222), 카메라(230), 로봇 청소기의 동작 상태 등을 표시하는 표시부(231), 메모리(243), 청소부(245), 오디오 입력부(252), 오디오 출력부(254), 내부 제어를 위한 제어부(270), 로봇 청소기를 주행시키는 주행부(280), 사용자 입력을 위한 입력부(295)를 포함할 수 있다.
센서부(220)는, 로봇 청소기(200)의 위치 감지를 위한 위치감지센서를 구비할 수 있다. 즉, 도 2a 내지 도 2c 및 그에 대한 설명에서 기술한 바와 같이, 센서부(220)는, 위치감지센서를 구비할 수 있다. 위치감지센서는, 위치감지센서(220)는 광을 출력하는 송광부(미도시)와, 출력광에 대응하는 광을 수신하는 수광부(미도시)를 포함할 수 있다.
한편, 위치감지센서는, GPS 모듈을 구비하는 것도 가능하다. 그리고, GPS 신호를 수신하여, 로봇 청소기(200)의 위치를 감지할 수도 있다.
한편, 통신부(222)는, 적어도, 무선 통신이 가능한, 무선 통신부(미도시)를 포함할 수 있다.
통신부(222)는, AP 장치(400)와 무선 통신이 가능하도록, 무선 통신부(미도시)을 구비할 수 있다. 여기서, 무선 통신부(미도시)은, WiFi 통신을 수행할 수 있다. 통신부(222)는, AP 장치(400)를 통해, 이동 단말기(600)와 무선 데이터 통신을 수행할 수 있다. 예를 들어, 이동 단말기(600)로부터의 원격 제어 신호를 수신하고, 이를 제어부(270)에 전달할 수 있다.
한편, 통신부(222)는, 전력 정보 전송 장치(미도시)로부터의 전력 정보를 수신할 수 있다. 이를 위해, 통신부(222)는, 무선 통신부(미도시) 외에, 별도로, 통신 모듈(미도시)을 구비할 수 있다.
한편, 통신부(222)는, 로봇 청소기 내에 구비되는 것이 가능하나, 별도로, 로봇 청소기(200)의 케이스에 부착되고, 로봇 청소기의 내부 회로와 유선으로 접속될 수도 있다.
카메라(230)는, 한편, 위치감지센서(200) 외에, 로봇 청소기(200) 전방에 위치하는 대상물을 파악하기 위해, 본체 상부(212)에 배치될 수 있다.
카메라(230)는 CCD 모듈 또는 CMOS 모듈을 구비할 수 있다. 한편, 카메라(230)는, 외부 대상물에 대한 거리 검출을 위한 IR 방식의 카메라일 수도 있다.
한편, 카메라(230)는, 스테레오 카메라를 구비할 수 있다. 예를 들어, 소정 간격으로 이격된, 복수개의 RGB 카메라를 구비하는 것도 가능하다.
표시부(231)는, 제어부(270)의 제어에 의해, 로봇 청소기(200)의 동작 상태 등을 표시할 수 있다. 이를 위해, 표시부(231)는, LED를 구비할 수 있다. 또는 LCD 등을 구비하여, 각종 정보를 더 표시할 수도 있다.
메모리(243)는, 로봇 청소기(200) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. 한편, 메모리(243)는, 음성 인식 알고리즘을 구비하는 것도 가능하다.
청소부(245)는, 로봇 청소기(200) 하면에 위치하는 이물질을 흡입한다. 이를 위해, 로봇 청소기(200)는 주행부(280)에 의해 주행할 수 있으며, 주행 중 또는 일시 정지 중에, 청소부(245)가 동작하여, 이물질을 흡입할 수 있다.
이를 위해, 청소부(245)는, 도 2a 내지 도 2c 및 그에 대한 설명에서 기술한 바와 같이, 흡입유닛(270)을 구비할 수 있다. 여기서, 흡입유닛(270)은 본체(210)에 구비되어 흡입력을 발생시키는 흡입 팬(272)과, 흡입 팬(272)의 회전에 의해 생성된 기류가 흡입되는 흡입구(271)를 포함할 수 있다. 또한, 흡입유닛(270)은 흡입구(271)를 통해 흡입된 기류 중에서 이물질을 채집하는 필터(미도시)와, 상기 필터에 의해 채집된 이물질들이 축적되는 이물질 수용기(미도시)를 더 포함할 수 있다.
오디오 입력부(252)는, 사용자 음성을 입력받을 수 있다. 이를 위해, 마이크를 구비할 수 있다. 수신되는 음성은, 전기 신호로 변환하여, 제어부(270)로 전달될 수 있다.
오디오 출력부(254)는, 제어부(270)로부터의 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 스피커 등을 구비할 수 있다.
제어부(270)는, 로봇 청소기의 전반적인 동작을 제어할 수 있다. 제어부(270)는, 센서부(220), 통신부(222), 카메라(230), 표시부(231), 메모리(243), 청소부(245), 오디오 입력부(252), 오디오 출력부(254), 주행부(280), 입력부(295) 등의 동작을 제어할 수 있다.
주행부(280)는, 로봇 청소기를 주행시킬 수 있다. 이를 위해, 주행부(280)는, 도 2a 내지 도 2c 및 그에 대한 설명에서 기술한 바와 같이, 좌륜(261a)과 우륜(262a), 좌륜(261a)과 우륜(262a)을 구동시키는 주행 구동부(미도시)를 구비할 수 있다. 특히, 주행 구동부(미도시)는, 좌륜(261a)을 구동하는 좌륜 구동부(미도시)와, 우륜(262a)을 구동하는 우륜 구동부(미도시)를 포함할 수 있다.
한편, 주행부(280)는, 제어부(270) 제어에 의해, 좌륜(261a)과 우륜(262a)의 각각의 정회전 또는 역회전 중 어느 하나를 하도록 제어함으로써, 본체(210)의 직진, 후진 또는 선회 등이 수행되도록 할 수 있다.
예를 들어, 좌륜(261a)이 정방향으로 회전되고, 우륜(262a)은 역방향으로 회전되는 경우 본체(210)가 좌측 또는 우측으로 회전된다. 한편, 제어부(270)는 좌륜(261a)과 우륜(262a)의 회전 속도에 차이가 있도록 제어함으로써, 직진운동과 회전운동을 겸하는 본체(210)의 병진운동을 유도하는 것도 가능하다.
입력부(295)는, 사용자 입력을 위한 로컬키를 구비할 수 있다.
도 4는 도 1의 서버의 내부 블록도이다.
도면을 참조하면, 서버(500)는, 통신 모듈(530), 저장부(540), 및 프로세서(520)를 구비할 수 있다.
통신 모듈(530)은, 이동 단말기(600)로부터 로봇 청소기 관련 정보를 수신할 수 있다. 특히, 로봇 청소기 제품 정보를 수신할 수 있다. 그리고, 통신 모듈(530)은, 수신되는 로봇 청소기 제품 정보에 대한 제품 정보 등록 결과 정보를 이동 단말기(600)로 송신할 수 있다.
한편, 통신 모듈(530)은, 로봇 청소기(200)와 데이터를 교환할 수 있다. 예를 들어, 로봇 청소기(200)로부터 로봇 청소기 관련 정보를 수신할 수 있다. 다른 예로, 로봇 청소기(200)로, 청소 패턴 정보, 청소 코스 정보 등을 전송할 수 있다.
이를 위해, 통신 모듈(530)은, 인터넷 모듈 또는 이동 통신 모듈을 구비할 수 있다.
저장부(540)는, 수신되는 로봇 청소기의 제품 정보를 저장하고, 로봇 청소기의 제품 등록을 위해, 수신되는 제품 정보를 저장할 수 있다.
한편, 저장부(540)는, 로봇 청소기의 최신 청소 패턴 정보, 최신 청소 코스 정보 등을 저장할 수 있다.
프로세서(520)는, 서버(500)의 전반적인 동작을 제어할 수 있다.
한편, 프로세서(520)는, 이동 단말기(600)로부터 로봇 청소기의 제품 정보를 수신하는 경우, 로봇 청소기의 제품 등록 결과 정보를 생성하도록 제어할 수 있다. 그리고, 생성된 제품 등록 결과 정보를 이동 단말기(600)로 전송하도록 제어할 수 있다.
한편, 프로세서(520)는, 로봇 청소기의 최신 청소 패턴 정보, 최신 청소 코스 정보 등을, 로봇 청소기(200)로 전송하도록 제어할 수 있다.
한편, 서버(500)는, 로봇 청소기(200) 제조자가 운영하는 서버 또는 로봇 청소기(200) 관련 애플리케이션 스토어 운영자가 운영하는 서버일 수 있다.
도 5는 도 1의 이동 단말기의 내부 블록도이다.
도 5를 참조하면, 이동 단말기(600)는, 무선 통신부(610), A/V(Audio/Video) 입력부(620), 사용자 입력부(630), 센싱부(640), 출력부(650), 메모리(660), 인터페이스부(670), 제어부(680), 및 전원 공급부(690)를 포함할 수 있다.
본 발명의 실시예에 따른 무선 통신부(610)는, 네트워크 공유기(550)를 통해, 전력 관리부(500)와 무선으로 데이터를 교환할 수 있다. 예를 들어, 이동 단말기(100)가 내부 전력망에 대한 전력 모니터링 모드인 경우, 무선 통신부(610)는, 전력 모니터링 요청을 송신할 수 있으며, 그에 따라, 모니터링 정보를 수신할 수 있다. 다른 예로, 이동 단말기(100)가 내부 전력망에 대한 원격 제어 모드인 경우, 무선 통신부(610)는, 원격제어신호를 송신할 수 있다. 그리고, 원격제어에 대한 결과 정보를 수신할 수 있다.
한편, 무선 통신부(610)는, 방송수신 모듈(611), 이동통신 모듈(613), 무선 인터넷 모듈(615), NFC 모듈(617), 및 GPS 모듈(619) 등을 포함할 수 있다.
방송수신 모듈(611)은 방송 채널을 통하여 외부의 방송관리 서버로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신할 수 있다. 이때, 방송 채널은 위성 채널, 지상파 채널 등을 포함할 수 있다.
방송수신 모듈(611)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(660)에 저장될 수 있다.
이동통신 모듈(613)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(615)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(615)은 이동 단말기(600)에 내장되거나 외장될 수 있다. 예를 들어, 무선 인터넷 모듈(615)은, WiFi 기반의 무선 통신 또는 WiFi Direct 기반의 무선 통신을 수행할 수 있다.
NFC 모듈(617)은 근거리 자기장 통신을 수행할 수 있다. NFC 모듈(617)은, NFC 태그 또는 NFC 모듈이 탑재된 전자장치와 소정 거리 이내로 접근하는 경우, 즉 태깅하는 경우, 해당 전자장치로부터 데이터를 수신하거나, 해당 전자장치로 데이터를 전송할 수 있다.
그 외, 근거리 통신 기술로서, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다.
GPS(Global Position System) 모듈(619)은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신할 수 있다.
A/V(Audio/Video) 입력부(620)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(621)와 마이크(623) 등이 포함될 수 있다.
사용자 입력부(630)는 사용자가 단말기의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 이를 위해, 사용자 입력부(630)는, 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전) 등으로 구성될 수 있다. 특히, 터치 패드가 디스플레이(651)와 상호 레이어 구조를 이룰 경우, 이를 터치스크린(touch screen)이라 부를 수 있다.
센싱부(640)는 이동 단말기(600)의 개폐 상태, 이동 단말기(600)의 위치, 사용자 접촉 유무 등과 같이 이동 단말기(600)의 현 상태를 감지하여 이동 단말기(600)의 동작을 제어하기 위한 센싱 신호를 발생시킬 수 있다.
센싱부(640)는, 감지센서(641), 압력센서(643), 및 모션 센서(645) 등을 포함할 수 있다. 모션 센서(645)는 가속도 센서, 자이로 센서, 중력 센서 등을 이용하여 이동 단말기(600)의 움직임이나 위치 등을 감지할 수 있다. 특히, 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향(각도)을 감지할 수 있다.
출력부(650)는 디스플레이(651), 음향출력 모듈(653), 알람부(655), 및 햅틱 모듈(657) 등을 포함할 수 있다.
디스플레이(651)는 이동 단말기(600)에서 처리되는 정보를 표시 출력한다.
한편, 전술한 바와 같이, 디스플레이(651)와 터치패드가 상호 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이(651)는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다.
음향출력 모듈(653)은 무선 통신부(610)로부터 수신되거나 메모리(660)에 저장된 오디오 데이터를 출력한다. 이러한 음향출력 모듈(653)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(655)는 이동 단말기(600)의 이벤트 발생을 알리기 위한 신호를 출력한다. 예를 들면, 진동 형태로 신호를 출력할 수 있다. .
햅틱 모듈(haptic module)(657)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(657)이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다.
메모리(660)는 제어부(680)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.
인터페이스부(670)는 이동 단말기(600)에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 인터페이스부(670)는 이러한 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 이동 단말기(600) 내부의 각 구성 요소에 전달할 수 있고, 이동 단말기(600) 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.
제어부(680)는 통상적으로 상기 각부의 동작을 제어하여 이동 단말기(600)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행할 수 있다. 또한, 제어부(680)는 멀티 미디어 재생을 위한 멀티미디어 재생 모듈(681)을 구비할 수도 있다. 멀티미디어 재생 모듈(681)은 제어부(680) 내에 하드웨어로 구성될 수도 있고, 제어부(680)와 별도로 소프트웨어로 구성될 수도 있다.
전원 공급부(690)는, 제어부(680)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
한편, 도 5에 도시된 이동 단말기(600)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 이동 단말기(600)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 6는 본 발명의 일실시예에 따른 로봇 청소기의 동작방법을 도시한 순서도이고, 도 7 내지 도 12b는 도 6의 동작방법의 설명에 참조되는 도면이다.
먼저, 도 6을 참조하여 설명하면, 로봇 청소기(200)의 카메라(230)는, 이물질을 포함하는 이미지를 캡쳐할 수 있다(S610).
다음, 로봇 청소기(200)의 제어부(270)는, 캡쳐된 이미지와 이미지 관련 정보를 이동 단말기(600) 또는 서버(500)로 전송하도록 제어할 수 있다(S620).
다음, 이동 단말기(600)는, 로봇 청소기(200)로부터, 캡쳐된 이미지와 이미지 관련 정보를 수신할 수 있다(S625).
다음, 이동 단말기(600)의 제어부(680)는, 수신된 이미지와 이미지 관련 정보를 디스플레이부(651)에 표시하도록 제어할 수 있다(S627).
한편, 이동 단말기(600)의 제어부(680)는, 사용자 입력에 따라, 청소 실행 정보 또는 청소 회피 정보를 로봇 청소기(200)로 전송할 수 있다(S630).
다음, 로봇 청소기(200)의 제어부(270)는, 통신부(222)를 통해, 이동 단말기(600)로부터의 청소 실행 정보 또는 청소 회피 정보를 수신할 수 있다(S635).
다음, 로봇 청소기(200)의 제어부(270)는, 청소 실행 정보에 기초하여, 이물질 주변을 청소하거나, 청소 회피 정보에 기초하여, 이물질 주변을 청소하지 않도록 제어할 수 있다(S640). 즉, 로봇 청소기(200)의 제어부(270)는, 이물질 주변을 선택적으로 청소하도록 제어할 수 있다.
예를 들어, 이물질이, 반려 동물의 배설물인 경우, 원격지에 있는 사용자는 자신의 이동 단말기(600)에 표시되는 배설물 이미지를 확인하고, 청소 회피 정보를, 로봇 청소기(200)로 전송할 수 있다. 이에 따라, 로봇 청소기(200)는, 청소 모드인 경우일지라도, 배설물 주변을 청소하지 않음으로써, 청소로 인하여 배설물 주변이 더 더러워지는 것을 방지할 수 있게 된다.
다른 예로, 이물질이, 머리카락인 경우, 원격지에 있는 사용자는 자신의 이동 단말기(600)에 표시되는 머리카락 이미지를 확인하고, 청소 실행 정보를, 로봇 청소기(200)로 전송할 수 있다. 이에 따라, 로봇 청소기(200)는, 청소 모드가 아닐지라도, 머리카락 주변을 청소함으로써, 건물 내의 바닥을 청결하게 유지할 수 있게 된다.
한편, 제610 단계(S610)에서의 이미지 캡쳐는, 이동 단말기(600)로부터의 이물질 관련 이미지 캡쳐 명령에 기초하여, 수행될 수 있다.
예를 들어, 로봇 청소기(200)의 제어부(270)는, 통신부(222)를 통해, 이동 단말기(600)로부터의 이물질 관련 이미지 캡쳐 명령이 수신되는 경우, 집안 내를 주행하도록 주행부(280)를 제어할 수 있다. 그리고, 카메라(230)를 활성화시켜, 주행 중에, 집안 내의 이미지가 캡쳐되도록, 카메라(230)를 제어할 수 있다.
한편, 제610 단계(S610)에서의 이미지 캡쳐는, 로봇 청소기(200)의 주행 모드 도는 청소 모드 중 자동으로 수행되는 것도 가능하다. 즉, 이동 단말기(600)로부터의 이물질 관련 이미지 캡쳐 명령이 수신되지 않더라도, 로봇 청소기(200)의 제어부(270)는, 주행 모드 도는 청소 모드 중 자동으로 카메라(230)를 활성화시켜, 주행 중 또는 청소 중에, 집안 내의 이미지가 캡쳐되도록, 카메라(230)를 제어할 수 있다.
한편, 로봇 청소기(200)의 제어부(270)는, 이미지 캡쳐 명령의 수신 여부에 관계 없이, 캡쳐된 이미지를, 이동 단말기(600) 또는 서버(500) 중 적어도 하나에 전송하도록 제어할 수 있다.
또는, 로봇 청소기(200)의 제어부(270)는, 캡쳐된 이미지와 메모리(243)에 기저장된 이미지를 비교하여, 그 차이가 소정치 이상인 경우, 캡쳐된 이미지를, 이동 단말기(600) 또는 서버(500) 중 적어도 하나에 전송하도록 제어할 수 있다.
예를 들어, 로봇 청소기(200)의 제어부(270)는, 집안 바닥 내에, 이물질이 있는 경우에만, 이물질을 포함하는 캡쳐된 이미지를, 이동 단말기(600) 또는 서버(500) 중 적어도 하나에 전송하도록 제어할 수 있다.
한편, 로봇 청소기(200)의 제어부(270)는, 캡쳐된 이미지 전송시, 이미지 관련 정보를 함께 전송하도록 제어할 수 있다. 예를 들어, 로봇 청소기(200)의 제어부(270)는, 캡쳐된 이미지 전송시, '이물질이 발견되었어요'와 같은, 대화형 메시지가, 이동 단말기(600) 또는 서버(500) 중 적어도 하나에 전송하도록 제어할 수 있다.
한편, 제627 단계(S627)와 관련하여, 이동 단말기(600)의 제어부(680)는, 수신된 이미지와 관련 정보가, 대화창에 표시되도록 제어할 수 있다. 그리고, 이미지 관련 정보를 대화형 메시지로서 표시되도록 제어할 수도 있다.
예를 들어, 이동 단말기(600)의 제어부(680)는, 기기인 로봇 청소기(200)와 대화창을 통해, 대화 내용이 표시되도록 제어할 수 있다. 이에 의해, 사용자는, 실제 로봇 청소기(200)와 대화를 수행하는 것과 같은, 친밀한 느낌을 인지할 수 있게 된다.
한편, 제630 단계(S630)와 관련하여, 이동 단말기(600)의 제어부(680)는, 대화창에 입력되는 사용자의 입력 문자에 기초하여, 청소 실행 정보인지, 청소 회피 정보 인지를 구분하고, 청소 실행 정보 또는 청소 회피 정보를, 로봇 청소기(200)로 전송하도록 제어할 수 있다.
예를 들어, '그 주변은 청소 하지마'와 같은 사용자 대화 내용이 입력되는 경우, 이동 단말기(600)의 제어부(680)는, 청소 회피 정보로 판단하고, 청소 회피 정보를 로봇 청소기(200)로 전송하도록 제어할 수 있다.
한편, 로봇 청소기(200)의 제어부(270)는, 청소 실행 정보에 따른 이물질 주변 청소를 수행하고, 이물질 주변 청소 완료 후, 청소 완료 정보를, 이동 단말기(600)로 전송할 수 있다.
다른 예로, '청소해도 되는 것이야'와 같은, 사용자 대화 내용이 입력되는 경우, 이동 단말기(600)의 제어부(680)는, 청소 실행 정보로 판단하고, 청소 실행 정보를 로봇 청소기(200)로 전송하도록 제어할 수 있다.
한편, 로봇 청소기(200)의 제어부(270)는, 청소 회피 정보에 대응하는 응답 정보를 이동 단말기(600)로 전송하도록 제어할 수 있다.
한편, 로봇 청소기(200)의 제어부(270)는, 반려 동물 모드로 설정된 경우, 집안 내의 곳곳을 주행하면서, 집안 내의 이미지가 캡쳐되도록, 카메라(230)를 제어할 수 있다. 그리고, 로봇 청소기(200)의 제어부(270)는, 반려 동물 모드의 배설물과 관련된 이미지를 획득하는 경우, 배설물과 관련된 이미지와, 이미지 관련 정보를 자동으로 이동 단말기(600)로 전송하도록 제어할 수 있다.
도 7은 청소 회피 정보와 관련된 로봇 청소기(200)와 이동 단말기(600) 사이의 대화 내용이 이동 단말기(600)에 표시되는 것을 예시한다.
도면을 참조하면, 이동 단말기(600)에는, 로봇 청소기(200)와의 데이터 교환을 위한 대화창(700)이 표시될 수 있다.
먼저, 사용자 입력에 의해, 반려 동물 모드 명령과 관련된 텍스트(710)가 입력되는 경우, 이동 단말기(600)의 제어부(680)는, 텍스트(710)를 분석하여, 반려 동물 모드 명령을, 로봇 청소기(200)로 전송할 수 있다.
로봇 청소기(200)의 제어부(270)는, 통신부(222)를 통해, 반려 동물 모드 명령을 수신하고, 이에 응답하는 응답 메시지를 이동 단말기(600)로 전송할 수 있다.
이동 단말기(600)의 제어부(680)는, 응답 메시지에 대응하는 텍스트(720)가 대화창 내에 표시되도록 제어할 수 있다.
한편, 로봇 청소기(200)의 제어부(270)는, 반려 동물 모드가 수행되도록 제어할 수 있다. 즉, 주행부(280)를 제어하여, 로봇 청소기(200)가 집안 곳곳을 주행하도록 제어할 수 있다. 그리고, 주행 중, 카메라(230)를 제어하여, 집안 곳곳의 이미지를 캡쳐하도록 제어할 수 있다.
도 8a는 로봇 청소기(200)가 집안(10) 내 곳곳을 주행하는 것을 예시한다. 이러한 주행시에, 카메라(230)가 활성화될 수 있으며, 영상 촬영을 수행할 수 있다.
도 8b는 안방 촬영 영상(1109)을, 도 8c는 거실 촬영 영상(1109)을 예시한다.
한편, 로봇 청소기(200)의 제어부(270)는, 촬영 영상과 메모리(243)에 기 저장된 영상과 비교하여, 그 차이에 따라, 이물질 여부 등을 결정할 수 있다.
예를 들어, 로봇 청소기(200)의 제어부(270)는, 도 8b의 안방 촬영 영상(1109)과 메모리(243)에 기저장된 영상을 비교하여, 이물질이 있는 지 여부를 판단할 수 있다. 구체적으로, 도 8b의 안방 촬영 영상(1109)과 메모리(243)에 기저장된 영상의 차이가 소정치 이하인 경우, 이물질이 없는 것으로 판단할 수 있다.
다른 예로, 로봇 청소기(200)의 제어부(270)는, 도 8c는 거실 촬영 영상(1109)과 메모리(243)에 기저장된 영상을 비교하여, 이물질이 있는 지 여부를 판단할 수 있다. 구체적으로, 도 8c의 거실 촬영 영상(1109)과 메모리(243)에 기저장된 영상의 차이가 소정치 이하인 경우, 이물질이 없는 것으로 판단할 수 있다.
한편, 도 8d는, 집안 내의 거실에, 반려 동물(800)이 위치하고, 그 주변에, 배설물이 있는 경우를 예시한다.
로봇 청소기(200)의 제어부(270)는, 배설물을 포함하는 촬영 영상(876)과 기 저장된 영상을 비교하여, 그 차이가 소정치 이상인 경우, 이물질이 있는 것으로 판단할 수 있다.
그리고, 로봇 청소기(200)의 제어부(270)는, 이물질이 있는 것으로 판단되는 경우, 기 설정된, 사용자의 이동 단말기(600)로, 배설물을 포함하는 촬영 영상(876), 및 관련 정보를 전송하도록 제어할 수 있다.
도면에서는 촬영 영상(876), 및 관련 정보가, 서버(500)를 통해, 이동 단말기(600)로 전송되는 것을 예시하나, 서버(500) 경유 없이, 바로, 이동 단말기(600)로 전송되는 것도 가능하다.
이동 단말기(600)의 제어부(680)는, 집안 내의 간략 맵 이미지(879)와, 촬영 영상(877), 및 관련 정보(810)가 표시되도록 제어할 수 있다.
한편, 집안 내의 간략 맵 이미지(879)는, 로봇 청소기(200)로부터 수신될 수도 있으나, 이에 한정되지 않으며, 이동 단말기(600)의 메모리(660)에 저장된 것일 수도 있다.
한편, 사용자는, 표시되는, 집안 내의 간략 맵 이미지(879)와, 촬영 영상(877), 및 관련 정보(810) 등을 통해, 집안 내에, 반려 동물의 배설물이 발생한 것을 간단하게 알 수 있게 된다.
한편, 도 7의 대화창(700) 표시 중에, 집안 내의 이물질을 포함하는 이미지와 관련 정보가, 로봇 청소기(200)로부터 수신되는 경우, 이동 단말기(600)의 제어부(680)는, 도 7과 같이, 이물질을 포함하는 이미지(732)와 관련 정보(730)가 표시되도록 제어할 수 있다.
한편, 사용자 입력에 의해, '그 주변은 청소 하지마'와 같은 사용자 대화 내용(740)이 입력되는 경우, 이동 단말기(600)의 제어부(680)는, 청소 회피 정보로 판단하고, 청소 회피 정보를 로봇 청소기(200)로 전송하도록 제어할 수 있다.
로봇 청소기(200)의 제어부(270)는, 청소 회피 정보 수신에 응답하는 응답 정보를 이동 단말기(600)로 전송할 수 있다.
그리고, 이동 단말기(600)의 제어부(680)는, 청소 회피 정보에 대응하는 응답 정보(750)를 대화창(700) 내에 표시하도록 제어할 수 있다.
이러한, 대화창을 통한, 대화 내용을 통해, 사용자는 간편하게, 이물질, 특히, 반려 동물의 배설물과 같이, 로봇 청소기(200)로 청소가 어려운 경우, 청소가 수행되지 않도록 할 수 있다. 따라서, 사용자의 이용 편의성이 증대될 수 있게 된다.
도 9는 청소 실행 정보와 관련된 로봇 청소기(200)와 이동 단말기(600) 사이의 대화 내용이 이동 단말기에 표시되는 것을 예시한다.
도면을 참조하면, 이동 단말기(600)에는, 로봇 청소기(200)와의 데이터 교환을 위한 대화창(900)이 표시될 수 있다.
먼저, 사용자 입력에 의해, 반려 동물 모드 명령과 관련된 텍스트(910)가 입력되는 경우, 이동 단말기(600)의 제어부(680)는, 텍스트(910)를 분석하여, 반려 동물 모드 명령을, 로봇 청소기(200)로 전송할 수 있다.
로봇 청소기(200)의 제어부(270)는, 통신부(222)를 통해, 반려 동물 모드 명령을 수신하고, 이에 응답하는 응답 메시지를 이동 단말기(600)로 전송할 수 있다.
이동 단말기(600)의 제어부(680)는, 응답 메시지에 대응하는 텍스트(920)가 대화창 내에 표시되도록 제어할 수 있다.
한편, 로봇 청소기(200)의 제어부(270)는, 반려 동물 모드가 수행되도록 제어할 수 있다. 즉, 주행부(280)를 제어하여, 로봇 청소기(200)가 집안 곳곳을 주행하도록 제어할 수 있다. 그리고, 주행 중, 카메라(230)를 제어하여, 집안 곳곳의 이미지를 캡쳐하도록 제어할 수 있다.
도 10a는 로봇 청소기(200)가 집안(10) 내 곳곳을 주행하는 것을 예시한다. 이러한 주행시에, 카메라(230)가 활성화될 수 있으며, 영상 촬영을 수행할 수 있다.
도 10b는 중간방에 대한 촬영 영상(1139)를 예시한다.
한편, 로봇 청소기(200)의 제어부(270)는, 촬영 영상(1139)과 메모리(243)에 기 저장된 영상과 비교하여, 그 차이에 따라, 이물질 여부 등을 결정할 수 있다.
로봇 청소기(200)의 제어부(270)는, 촬영 영상(1139) 내에, 바닥에 머리카락(2406)이 떨어져 있으므로, 이물질이 발생한 것으로 판단할 수 있다.
그리고, 로봇 청소기(200)의 제어부(270)는, 이물질이 있는 것으로 판단되는 경우, 기 설정된, 사용자의 이동 단말기(600)로, 머리카락을 포함하는 촬영 영상(1139), 및 관련 정보를 전송하도록 제어할 수 있다.
한편, 도 9의 대화창(900) 표시 중에, 집안 내의 이물질을 포함하는 이미지와 관련 정보가, 로봇 청소기(200)로부터 수신되는 경우, 이동 단말기(600)의 제어부(680)는, 도 9과 같이, 이물질을 포함하는 이미지(832)와 관련 정보(930)가 표시되도록 제어할 수 있다.
한편, 사용자 입력에 의해, '청소 해도 되는 것이야'와 같은 사용자 대화 내용(940)이 입력되는 경우, 이동 단말기(600)의 제어부(680)는, 청소 실행 정보로 판단하고, 청소 실행 정보를 로봇 청소기(200)로 전송하도록 제어할 수 있다.
한편, 로봇 청소기(200)의 제어부(270)는, 수신되는 청소 실행 정보에 대응하는 응답 정보를 전송할 수 있다.
한편, 로봇 청소기(200)의 제어부(270)는, 청소 실행 정보에 대응하는 응답 정보(950)를 대화창(900) 내에 표시하도록 제어할 수 있다.
한편, 로봇 청소기(200)의 제어부(270)는, 청소 실행 정보에 대응하여, 청소 모드가 수행되도록 제어할 수 있다.
도 10c는, 로봇 청소기(200)가, 머리카락(2406) 주변으로 이동하여, 청소부(245)가 동작하는 것을 예시한다. 이에 의해, 이물질을 간편하게 제거할 수 있게 된다.
이러한, 대화창을 통한, 대화 내용을 통해, 사용자는 간편하게, 이물질, 특히, 머리카락과 같이, 청소가 가능한 이물질에 대해, 청소가 수행되도록 할 수 있다. 따라서, 사용자의 이용 편의성이 증대될 수 있게 된다.
한편, 로봇 청소기(200)의 제어부(270)는, 도 10d와 같이, 청소 완료 후, 청소 완료 정보를 이동 단말기(600)로 전송할 수 있다. 그리고, 이동 단말기(600)의 제어부(680)는, 도 10d와 같이, 청소 완료 정보를 표시하도록 제어할 수 있다. 이에 따라, 사용자는 간편하게 청소 완료를 인식할 수 있게 된다.
한편, 로봇 청소기(200)의 제어부(270)는, 이물질을 포함하는 이미지 전송과 별개로, 자동 주행 모드 또는 자동 청소 모드 중에, 카메라(230)가 동작하도록 제어하며, 집안 내 캡쳐된 이미지와 메모리(243)에 저장된 이미지를 비교하여, 그 차이가 소정치 이상인 경우, 이동 단말기(600)로, 캡쳐된 이미지와 알람 정보를 전송하도록 제어할 수도 있다.
도 11a는 로봇 청소기(200)에 의해 캡쳐된 이미지의 다양한 예를 예시한다.
도면을 참조하면, 로봇 청소기(200)는, 가스 밸브관 이미지(1110), 창문 이미지(1120), 컨센트 이미지(1130), 도어 이미지(1140) 등을 캡쳐할 수 있다.
예를 들어, 로봇 청소기(200)의 제어부(270)는, 자동 주행 모드 또는 자동 청소 모드 중에, 가스 밸브관 이미지(1110), 창문 이미지(1120), 컨센트 이미지(1130), 도어 이미지(1140) 등을 캡쳐할 수 있다.
그리고, 로봇 청소기(200)의 제어부(270)는, 가스 밸브관 이미지(1110), 창문 이미지(1120), 컨센트 이미지(1130), 도어 이미지(1140) 등과, 기 저장된 이미지를 비교하여, 그 차이가 소정치 이상인 이미지와 해당하는 알람 정보를, 이동 단말기(600)로, 전송하도록 제어할 수도 있다.
도 11b는 이동 단말기(600)에 대화창이 표시되는 것을 예시한다.
도면과 같이, 사용자 입력에 의해, 집안 점검 모드 명령과 관련된 텍스트(1152)가 입력되는 경우, 이동 단말기(600)의 제어부(680)는, 텍스트(1152)를 분석하여, 집안 점검 모드 명령을, 로봇 청소기(200)로 전송할 수 있다.
로봇 청소기(200)의 제어부(270)는, 통신부(222)를 통해, 집안 점검 모드 명령을 수신하고, 이에 응답하는 응답 메시지를 이동 단말기(600)로 전송할 수 있다.
이동 단말기(600)의 제어부(680)는, 응답 메시지에 대응하는 텍스트(154)가 대화창(1150) 내에 표시되도록 제어할 수 있다.
한편, 로봇 청소기(200)의 제어부(270)는, 집안 점검 모드가 수행되도록 제어할 수 있다. 즉, 주행부(280)를 제어하여, 로봇 청소기(200)가 집안 곳곳을 주행하도록 제어할 수 있다. 그리고, 주행 중, 카메라(230)를 제어하여, 집안 곳곳의 이미지를 캡쳐하도록 제어할 수 있다.
한편, 로봇 청소기(200)의 제어부(270)는, 캡쳐된 이미지를, 기 저장된 이미지와의 비교 없이, 이동 단말기(600)로 전송하도록 제어하는 것도 가능하다.
예를 들어, 캡쳐된 이미지는, 도 11a의 가스 밸브관 이미지(1110), 창문 이미지(1120), 컨센트 이미지(1130), 도어 이미지(1140) 일 수 있다.
도면에서는, 대화창(1150)에, 점검 포인트 안내 메시지(11156)와, 가스 밸브관 이미지(1110a), 창문 이미지(1120a), 컨센트 이미지(1130a), 도어 이미지(1140a)가 표시되는 것을 예시한다. 이에 의해, 사용자는, 집안 내 점검 포인트로 설정된 이미지를 간편하게 확인할 수 있게 된다.
한편, 로봇 청소기(200)의 제어부(270)는, 외부 서버(500)로부터 날씨 정보 등을 수신할 수 있다. 그리고, 서버(500)로부터 수신되는 날씨 정보에 기초하여, 집안 내 점검 포인트에 대한 이미지가 캡쳐가 수행되도록 제어할 수 있다.
도 12a는 서버(500)로부터의 날씨 정보(Swe)가 로봇 청소기(200)에 수신되고, 로봇 청소기(200)가 날씨 정보와 관련된 집안 내 점검 포인트에 대한 이미지를 캡쳐하는 것을 예시한다.
구체적으로, 가스 밸브관 이미지(1210), 창문 이미지(1220) 등이 캡쳐되는 것을 예시한다.
로봇 청소기(200)의 제어부(270)는, 캡쳐된 이미지와, 기 저장된 이미지를 비교하여, 그 차이가 소정치 이상인 경우, 이동 단말기(600)로, 캡쳐된 이미지, 및 관련 정보를 전송하도록 제어할 수 있다.
예를 들어, 가스 밸브관 이미지(1210) 내의 가스 밸브관이 열려 있거나, 창문 이미지(1220) 내의 창문이 열려 있는 경우, 로봇 청소기(200)의 제어부(270)는, 캡쳐된 이미지와, 기 저장된 이미지를 비교하여, 그 차이가 소정치 이상인 경우, 이동 단말기(600)로, 가스 밸브관 이미지(1210), 창문 이미지(1220), 및 관련 정보를 전송하도록 제어할 수 있다.
도 12b는 이동 단말기(600)에 대화창이 표시되는 것을 예시한다.
도면과 같이, 이동 단말기(600)의 제어부(680)는, 가스 밸브관 이미지(1210), 및 관련 정보에 기초하여, 대화창(1250)에, 가스 밸브 개방 정보(1252), 및 가스 밸브관 이미지(1210a)가 표시되도록 제어할 수 있다. 이에 의해, 사용자는, 가스 밸브가 개방되었음을 간단하게 인식할 수 있게 된다.
또한, 이동 단말기(600)의 제어부(680)는, 창문 이미지(1220), 및 관련 정보에 기초하여, 대화창(1250)에, 창문 개방 정보(1254), 및 창문 이미지(1220a)가 표시되도록 제어할 수 있다. 이에 의해, 사용자는, 가스 밸브가 개방되었음을 간단하게 인식할 수 있게 된다.
한편, 로봇 청소기(200)는, 스테레오 카메라(230)로부터 수신되는 스테레오 이미지를, 컴퓨터 비젼(computer vision) 기반을 바탕으로 신호 처리하여, 청소 실행 정보 또는 청소 회피 정보를 자체적으로 생성할 수도 있다. 이에 대해서는 도 13의 로봇 청소기(200)의 제어부(270)의 내부 블록도의 일예를 참조하여 기술한다.
도 13은 도 3의 제어부의 내부 블록도의 일예를 예시한다.
도면을 참조하면, 제어부(270)는, 영상 전처리부(410), 디스패러티 연산부(420), 오브젝트 검출부(434), 오브젝트 트래킹부(440), 및 어플리케이션부(450)를 구비할 수 있다.
영상 전처리부(image preprocessor)(410)는, 스테레오 카메라(230)로부터의 스테레오 이미지를 수신하여, 전처리(preprocessing)를 수행한다.
구체적으로, 영상 전처리부(410)는, 스테레오 이미지에 대한, 노이즈 리덕션(noise reduction), 렉티피케이션(rectification), 캘리브레이션(calibration), 색상 강화(color enhancement), 색상 공간 변환(color space conversion;CSC), 인터폴레이션(interpolation), 카메라 게인 컨트롤(camera gain control) 등을 수행할 수 있다. 이에 따라, 스테레오 카메라(230)에서 촬영된 스테레오 이미지 보다 선명한 스테레오 이미지를 획득할 수 있다.
디스패러티 연산부(disparity calculator)(420)는, 영상 전처리부(410)에서 신호 처리된, 스테레오 이미지를 수신하고, 수신된 스테레오 이미지들에 대한 스테레오 매칭(stereo matching)을 수행하며, 스테레오 매칭에 따른, 디스패러티 맵(dispartiy map)을 획득한다. 즉, 로봇 청소기 전방에 대한, 스테레오 이미지에 대한 디스패러티 정보를 획득할 수 있다.
이때, 스테레오 매칭은, 스테레오 이미지들의 픽셀 단위로 또는 소정 블록 단위로 수행될 수 있다. 한편, 디스패러티 맵은, 스테레오 이미지, 즉 좌,우 이미지의 시차(時差) 정보(binocular parallax information)를 수치로 나타낸 맵을 의미할 수 있다.
세그멘테이션부(segmentation unit)(432)는, 디스패러티 연산부(420)로부터의 디스페러티 정보에 기초하여, 스테레오 이미지 중 적어도 하나에 대해, 세그먼트(segment) 및 클러스터링(clustering)을 수행할 수 있다.
구체적으로, 세그멘테이션부(432)는, 디스페러티 정보에 기초하여, 스테레오 이미지 중 적어도 하나에 대해,배경(background)과 전경(foreground)을 분리할 수 있다.
예를 들어, 디스패리티 맵 내에서 디스페러티 정보가 소정치 이하인 영역을, 배경으로 연산하고, 해당 부분을 제외시킬 수 있다. 이에 의해, 상대적으로 전경이 분리될 수 있다.
다른 예로, 디스패리티 맵 내에서 디스페러티 정보가 소정치 이상인 영역을, 전경으로 연산하고, 해당 부분을 추출할 수 있다. 이에 의해, 전경이 분리될 수 있다.
이와 같이, 스테레오 이미지에 기반하여 추출된 디스페러티 정보 정보에 기초하여, 전경과 배경을 분리함으로써, 이후의, 오브젝트 검출시, 신호 처리 속도, 신호 처리 양 등을 단축할 수 있게 된다.
다음, 오브젝트 검출부(object detector)(434)는, 세그멘테이션부(432)로부터의 이미지 세그먼트에 기초하여, 오브젝트를 검출할 수 있다.
즉, 오브젝트 검출부(434)는, 디스페러티 정보 정보에 기초하여, 스테레오 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다.
구체적으로, 오브젝트 검출부(434)는, 스테레오 이미지 중 적어도 하나에 대해, 오브젝트를 검출할 수 있다. 예를 들어, 이미지 세그먼트에 의해 분리된 전경으로부터 오브젝트를 검출할 수 있다.
다음, 오브젝트 확인부(object verification unit)(436)는, 분리된 오브젝트를 분류하고(classify), 확인한다(verify).
이를 위해, 오브젝트 확인부(436)는, 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, 또는 HOG(Histograms of Oriented Gradients) 기법 등을 사용할 수 있다.
한편, 오브젝트 확인부(436)는, 메모리(140)에 저장된 오브젝트들과, 검출된 오브젝트를 비교하여, 오브젝트를 확인할 수 있다.
예를 들어, 오브젝트 확인부(436)는, 로봇 청소기 주변에 위치하는, 사람, 동물, 물체 등을 확인할 수 있다.
오브젝트 트래킹부(object tracking unit)(440)는, 확인된 오브젝트에 대한 트래킹을 수행한다. 예를 들어, 순차적으로, 획득되는 스테레오 이미지들에 내의, 오브젝트를 확인하고, 확인된 오브젝트의 움직임 또는 움직임 벡터를 연산하며, 연산된 움직임 또는 움직임 벡터에 기초하여, 해당 오브젝트의 이동 등을 트래킹할 수 있다. 이에 따라, 로봇 청소기 주변에 위치하는, 사람, 동물, 물체 등을 트래킹할 수 있게 된다.
다음, 어플리케이션부(450)는, 로봇 청소기 주변에, 위치하는 다양한 오브젝트들에 대한, 청소 실행 정보 또는 청소 회피 정보 등을 생성할 수 있다.
한편, 로봇 청소기(200)의 제어부(270)는, 도 13의 제어부(270) 내부에서 생성된 청소 실행 정보에 기초하여, 청소 모드가 수행되도록 제어할 수 있다.
한편, 로봇 청소기(200)의 제어부(270)는, 도 13의 제어부(270) 내부에서 생성된 청소 회피 정보에 기초하여, 청소 모드가 수행되지 않도록 제어할 수 있다.
본 발명에 따른 로봇 청소기 및 이를 구비하는 로봇 청소 시스템은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 로봇 청소기의 동작방법은, 로봇 청소기에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (18)

  1. 본체를 이동시키는 주행부;
    청소를 실행하는 청소부;
    이물질을 포함하는 이미지를 캡쳐하는 카메라;
    이동 단말기 또는 서버와 데이터를 교환하는 통신부;
    상기 이물질을 포함하는 이미지와, 이미지 관련 정보를, 상기 이동 단말기 또는 서버로 전송하도록 제어하며, 상기 이동 단말기 또는 서버로부터의, 상기 이물질에 대한 청소 실행 정보에 기초하여, 상기 이물질 주변을 청소하거나, 이물질에 대한 청소 회피 정보에 기초하여, 상기 이물질 주변을 청소하지 않도록 제어하는 제어부;를 포함하는 것을 특징으로 하는 로봇 청소기.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 이동 단말기 또는 서버로 대화형 메시지를 전송하도록 제어하는 것을 특징으로 하는 로봇 청소기.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 이동 단말기로부터의 이물질 관련 이미지 캡쳐 명령에 기초하여, 상기 카메라가 동작하도록 제어하며, 상기 카메라로부터 상기 이물질을 포함하는 상기 이미지를 획득하는 것을 특징으로 하는 로봇 청소기.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 이동 단말기로부터의 이물질 관련 이미지 캡쳐 명령에 기초하여, 상기 주행부가 동작하도록 제어하며, 주행 중에, 상기 카메라가 동작하도록 제어하며, 상기 카메라로부터 상기 이물질을 포함하는 상기 이미지를 획득하는 것을 특징으로 하는 로봇 청소기.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 청소 실행 정보에 따른 상기 이물질 주변 청소 완료 후, 청소 완료 정보를, 상기 이동 단말기로 전송하도록 제어하는 것을 특징으로 하는 로봇 청소기.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 청소 회피 정보에 대응하는 응답 정보를 상기 이동 단말기로 전송하도록 제어하는 것을 특징으로 하는 로봇 청소기.
  7. 제1항에 있어서,
    상기 제어부는,
    자동 주행 모드 또는 자동 청소 모드 중에, 상기 카메라가 동작하도록 제어하며, 상기 카메라로부터 상기 이물질을 포함하는 상기 이미지를 획득하는 경우, 상기 이물질을 포함하는 이미지와, 상기 이미지 관련 정보를, 상기 이동 단말기 또는 서버로 전송하도록 제어하는 것을 특징으로 하는 로봇 청소기.
  8. 제1항에 있어서,
    상기 제어부는,
    반려 동물 모드로 설정된 경우, 상기 카메라가 동작하도록 제어하며, 상기 반려 동물 모드의 배설물과 관련된 이미지를 획득하는 경우, 상기 배설물과 관련된 이미지와, 이미지 관련 정보를 상기 이동 단말기로 전송하도록 제어하는 것을 특징으로 하는 로봇 청소기.
  9. 제1항에 있어서,
    상기 제어부는,
    상기 이동 단말기로부터의 이미지 캡쳐 명령에 기초하여, 상기 카메라가 동작하도록 제어하며, 상기 카메라로부터 캡쳐된 이미지를 상기 이동 단말기로 전송하도록 제어하는 것을 특징으로 하는 로봇 청소기.
  10. 제1항에 있어서,
    상기 제어부는,
    자동 주행 모드 또는 자동 청소 모드 중에, 상기 카메라가 동작하도록 제어하며, 상기 카메라로부터 캡쳐된 이미지와 기 저장된 이미지를 비교하여, 그 차이가 소정치 이상인 경우, 상기 캡쳐된 이미지와, 알람 정보를 상기 이동 단말기로 전송하도록 제어하는 것을 특징으로 하는 로봇 청소기.
  11. 본체를 이동시키는 주행부;
    청소를 실행하는 청소부;
    이물질을 포함하는 이미지를 캡쳐하는 스테레오 카메라;
    이동 단말기 또는 서버와 데이터를 교환하는 통신부;
    상기 스테레오 카메라로부터 획득된 상기 이물질을 포함하는 이미지에 대한 신호 처리를 수행하여, 상기 이미지 내의 이물질과 관련된 오브젝트를 확인하고, 상기 확인된 이물질과 관련된 오브젝트에 기초하여, 상기 이물질에 대한 청소 실행 정보 또는 청소 회피 정보를 생성하고, 상기 청소 실행 정보에 기초하여, 상기 이물질 주변을 청소하거나, 상기 청소 회피 정보에 기초하여, 상기 이물질 주변을 청소하지 않도록 제어하는 제어부;를 포함하는 것을 특징으로 하는 로봇 청소기.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 스테레오 카메라로부터의 스테레오 이미지의 디스패러티(disparity) 연산을 수행하는 디스패러티 연산부;
    상기 스테레오 이미지의 디스패러티 정보에 기초하여, 상기 스테레오 이미지 중 적어도 하나에 대한, 오브젝트 검출을 수행하는 오브젝트 검출부;
    상기 검출된 오브젝트를 분류하는 오브젝트 확인부;를 포함하는 것을 특징으로 하는 로봇 청소기.
  13. 이물질을 포함하는 이미지를 캡쳐하고, 상기 이물질을 포함하는 이미지와, 이미지 관련 정보를, 이동 단말기 또는 서버로 전송하며, 상기 이동 단말기 또는 서버로부터의, 상기 이물질에 대한 청소 실행 정보에 기초하여, 상기 이물질 주변을 청소하거나, 이물질에 대한 청소 회피 정보에 기초하여, 상기 이물질 주변을 청소하지 않는 로봇 청소기; 및
    상기 로봇 청소기로부터의 이미지를 표시하고, 상기 표시된 이미지에 기초하여, 상기 청소 실행 정보 또는 상기 청소 회피 정보를 상기 로봇 청소기로 전송하는 이동 단말기;를 포함하는 것을 특징으로 하는 로봇 청소 시스템.
  14. 제13항에 있어서,
    상기 로봇 청소기는,
    상기 이동 단말기 또는 서버로 대화형 메시지를 전송하는 것을 특징으로 하는 로봇 청소 시스템.
  15. 제13항에 있어서,
    상기 로봇 청소기는,
    상기 이동 단말기로부터의 이물질 관련 이미지 캡쳐 명령에 기초하여, 주행부를 동작시키며, 주행 중에, 카메라를 동작시키며, 상기 카메라로부터 상기 이물질을 포함하는 상기 이미지를 획득하는 것을 특징으로 하는 로봇 청소 시스템.
  16. 제13항에 있어서,
    상기 로봇 청소기는,
    상기 청소 실행 정보에 따른 상기 이물질 주변 청소 완료 후, 청소 완료 정보를, 상기 이동 단말기로 전송하는 것을 특징으로 하는 로봇 청소 시스템.
  17. 제13항에 있어서,
    상기 로봇 청소기는,
    자동 주행 모드 또는 자동 청소 모드 중에, 카메라를 동작시키며, 상기 카메라로부터 상기 이물질을 포함하는 상기 이미지를 획득하는 경우, 상기 이물질을 포함하는 이미지와, 상기 이미지 관련 정보를, 상기 이동 단말기 또는 서버로 전송하는 것을 특징으로 하는 로봇 청소 시스템.
  18. 제13항에 있어서,
    상기 로봇 청소기는,
    반려 동물 모드로 설정된 경우, 카메라를 동작시키며, 상기 반려 동물 모드의 배설물과 관련된 이미지를 획득하는 경우, 상기 배설물과 관련된 이미지와, 이미지 관련 정보를 상기 이동 단말기로 전송하는 것을 특징으로 하는 로봇 청소 시스템.
KR1020150040090A 2015-03-23 2015-03-23 로봇 청소기 및 이를 구비하는 로봇 청소 시스템 KR102314637B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020150040090A KR102314637B1 (ko) 2015-03-23 2015-03-23 로봇 청소기 및 이를 구비하는 로봇 청소 시스템
EP18158645.4A EP3345525B1 (en) 2015-03-23 2016-03-22 Robot cleaner and robot cleaning system having the same and method for operating a robot cleaner
EP16161607.3A EP3072432B2 (en) 2015-03-23 2016-03-22 Robot cleaner and robot cleaning system having the same
US15/077,684 US9962054B2 (en) 2015-03-23 2016-03-22 Robot cleaner, robot cleaning system having the same, and method for operating a robot cleaner
EP20160760.3A EP3679850B1 (en) 2015-03-23 2016-03-22 Robot cleaner, robot cleaning system having the same
EP20160758.7A EP3679849B1 (en) 2015-03-23 2016-03-22 Robot cleaner and robot cleaning system having the same
KR1020210135723A KR20210125974A (ko) 2015-03-23 2021-10-13 로봇 청소기 및 이를 구비하는 로봇 청소 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150040090A KR102314637B1 (ko) 2015-03-23 2015-03-23 로봇 청소기 및 이를 구비하는 로봇 청소 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210135723A Division KR20210125974A (ko) 2015-03-23 2021-10-13 로봇 청소기 및 이를 구비하는 로봇 청소 시스템

Publications (2)

Publication Number Publication Date
KR20160113857A true KR20160113857A (ko) 2016-10-04
KR102314637B1 KR102314637B1 (ko) 2021-10-18

Family

ID=55588123

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020150040090A KR102314637B1 (ko) 2015-03-23 2015-03-23 로봇 청소기 및 이를 구비하는 로봇 청소 시스템
KR1020210135723A KR20210125974A (ko) 2015-03-23 2021-10-13 로봇 청소기 및 이를 구비하는 로봇 청소 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210135723A KR20210125974A (ko) 2015-03-23 2021-10-13 로봇 청소기 및 이를 구비하는 로봇 청소 시스템

Country Status (3)

Country Link
US (1) US9962054B2 (ko)
EP (4) EP3345525B1 (ko)
KR (2) KR102314637B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180039437A (ko) * 2016-10-10 2018-04-18 엘지전자 주식회사 공항용 청소 로봇 및 그의 동작 방법
WO2020013394A1 (ko) * 2018-07-09 2020-01-16 임세빈 반려동물용 모니터링 로봇
KR102117868B1 (ko) * 2019-02-28 2020-06-04 한국생산기술연구원 높이 조절이 가능한 라이다 구동부 및 이를 이용한 로봇 청소기
WO2021096144A1 (en) * 2019-11-12 2021-05-20 Samsung Electronics Co., Ltd. Mistakenly ingested object identifying robot cleaner and controlling method thereof

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9594567B2 (en) 2013-02-21 2017-03-14 Dell Products, Lp Configuring a trusted platform module
US9786997B2 (en) 2013-08-01 2017-10-10 Centurylink Intellectual Property Llc Wireless access point in pedestal or hand hole
US10276921B2 (en) 2013-09-06 2019-04-30 Centurylink Intellectual Property Llc Radiating closures
US10154325B2 (en) 2014-02-12 2018-12-11 Centurylink Intellectual Property Llc Point-to-point fiber insertion
KR102118049B1 (ko) * 2013-12-19 2020-06-09 엘지전자 주식회사 로봇 청소기, 로봇 청소기 시스템 및 그 제어방법
CA160344S (en) * 2014-08-01 2015-10-06 Toshiba Kk Controller for an autonomous coverage vacuum cleaner
US9916772B1 (en) * 2015-01-29 2018-03-13 Schell Games Llc Atomic and molecular modeling system
KR102314637B1 (ko) * 2015-03-23 2021-10-18 엘지전자 주식회사 로봇 청소기 및 이를 구비하는 로봇 청소 시스템
DE102015106536B4 (de) 2015-04-28 2016-11-10 Vorwerk & Co. Interholding Gmbh Haushaltsroboter und Verfahren zum Betreiben eines Haushaltsroboters
US10623162B2 (en) 2015-07-23 2020-04-14 Centurylink Intellectual Property Llc Customer based internet of things (IoT)
US10375172B2 (en) 2015-07-23 2019-08-06 Centurylink Intellectual Property Llc Customer based internet of things (IOT)—transparent privacy functionality
US10412064B2 (en) 2016-01-11 2019-09-10 Centurylink Intellectual Property Llc System and method for implementing secure communications for internet of things (IOT) devices
US10832665B2 (en) 2016-05-27 2020-11-10 Centurylink Intellectual Property Llc Internet of things (IoT) human interface apparatus, system, and method
US20170364091A1 (en) * 2016-06-15 2017-12-21 James Duane Bennett Modular multitier mobile units
US10249103B2 (en) 2016-08-02 2019-04-02 Centurylink Intellectual Property Llc System and method for implementing added services for OBD2 smart vehicle connection
US10110272B2 (en) 2016-08-24 2018-10-23 Centurylink Intellectual Property Llc Wearable gesture control device and method
AU2017323648B2 (en) 2016-09-09 2021-12-09 Dematic Corp. Free ranging automated guided vehicle and operational system
US10687377B2 (en) 2016-09-20 2020-06-16 Centurylink Intellectual Property Llc Universal wireless station for multiple simultaneous wireless services
CN106393141A (zh) * 2016-10-31 2017-02-15 江苏华航威泰机器人科技有限公司 一种机器人控制系统
US9867112B1 (en) 2016-11-23 2018-01-09 Centurylink Intellectual Property Llc System and method for implementing combined broadband and wireless self-organizing network (SON)
US10426358B2 (en) 2016-12-20 2019-10-01 Centurylink Intellectual Property Llc Internet of things (IoT) personal tracking apparatus, system, and method
US10150471B2 (en) 2016-12-23 2018-12-11 Centurylink Intellectual Property Llc Smart vehicle apparatus, system, and method
US10637683B2 (en) * 2016-12-23 2020-04-28 Centurylink Intellectual Property Llc Smart city apparatus, system, and method
US10193981B2 (en) 2016-12-23 2019-01-29 Centurylink Intellectual Property Llc Internet of things (IoT) self-organizing network
US10222773B2 (en) 2016-12-23 2019-03-05 Centurylink Intellectual Property Llc System, apparatus, and method for implementing one or more internet of things (IoT) capable devices embedded within a roadway structure for performing various tasks
US10735220B2 (en) 2016-12-23 2020-08-04 Centurylink Intellectual Property Llc Shared devices with private and public instances
US10146024B2 (en) 2017-01-10 2018-12-04 Centurylink Intellectual Property Llc Apical conduit method and system
CN108498009A (zh) * 2017-02-27 2018-09-07 康塔有限公司 家用电器
KR102017148B1 (ko) * 2017-03-03 2019-09-02 엘지전자 주식회사 장애물을 학습하는 인공지능 이동 로봇 및 그 제어방법
JP2018143649A (ja) * 2017-03-08 2018-09-20 オムロン株式会社 自走式移動体、湿度センサ、および液体検出装置
JP7042031B2 (ja) * 2017-03-17 2022-03-25 日立グローバルライフソリューションズ株式会社 自律走行型掃除機、及び、自律走行型掃除機と充電台とを有するシステム
US20180348783A1 (en) * 2017-05-31 2018-12-06 Neato Robotics, Inc. Asynchronous image classification
DE102017116658A1 (de) * 2017-07-24 2019-01-24 Vorwerk & Co. Interholding Gmbh Selbsttätig im Außenbereich verfahrbares Gerät mit einem Überwachungsmodul
DE102017116661A1 (de) 2017-07-24 2019-01-24 Vorwerk & Co. Interholding Gmbh System zur Erfassung von dreidimensionalen Umgebungsdaten, insbesondere zur Pflanzenpflege sowie Sensormodul
CN107995279A (zh) * 2017-11-28 2018-05-04 宁波高新区锦众信息科技有限公司 一种远程遥控打扫卫生的智能机器人及遥控方法
US10627794B2 (en) 2017-12-19 2020-04-21 Centurylink Intellectual Property Llc Controlling IOT devices via public safety answering point
WO2019183393A1 (en) * 2018-03-21 2019-09-26 Lei Zhou Controlling movement of an automated guided vehicle
JP7194914B2 (ja) * 2018-03-29 2022-12-23 パナソニックＩｐマネジメント株式会社 自律移動掃除機、自律移動掃除機による掃除方法、及び自律移動掃除機用プログラム
KR20190135394A (ko) * 2018-05-11 2019-12-06 삼성전자주식회사 청소 동작을 실행하는 청소 장치 및 청소 방법
US11457788B2 (en) 2018-05-11 2022-10-04 Samsung Electronics Co., Ltd. Method and apparatus for executing cleaning operation
US10713487B2 (en) 2018-06-29 2020-07-14 Pixart Imaging Inc. Object determining system and electronic apparatus applying the object determining system
US11157016B2 (en) * 2018-07-10 2021-10-26 Neato Robotics, Inc. Automatic recognition of multiple floorplans by cleaning robot
US10921819B2 (en) 2018-08-28 2021-02-16 Asi Technologies, Inc. Automated guided vehicle system and automated guided vehicle for use therein
JP6940461B2 (ja) * 2018-09-10 2021-09-29 日立グローバルライフソリューションズ株式会社 自律走行型掃除機
CN111432706B (zh) * 2018-11-09 2022-05-13 广东美的白色家电技术创新中心有限公司 扫地机器人
KR102286132B1 (ko) * 2019-07-31 2021-08-06 엘지전자 주식회사 인공지능 로봇 청소기
US20210137338A1 (en) 2019-11-13 2021-05-13 Emerson Electric Co. Vacuum cleaner motor assemblies and methods of operating same
CN113069573A (zh) * 2020-01-06 2021-07-06 丰疆智能(深圳)有限公司 清洗管理系统
CN113491479B (zh) * 2020-03-20 2022-06-28 俞海燕 一种具有气味检测的清扫装置
CN111736603B (zh) * 2020-06-22 2023-06-09 广州赛特智能科技有限公司 一种无人驾驶清扫车及其长距离贴边清扫方法
CN114727220B (zh) * 2020-08-05 2022-12-27 华为技术有限公司 一种设备搜寻方法以及电子设备
CN112729392A (zh) * 2020-12-21 2021-04-30 安徽中科晶格技术有限公司 一种无卡化便民出游服务系统
CN116172447A (zh) * 2021-08-23 2023-05-30 追觅创新科技(苏州)有限公司 移动机器人的清扫方法及装置、存储介质、电子装置
CN114431800B (zh) * 2022-01-04 2024-04-16 北京石头世纪科技股份有限公司 清洁机器人划区清洁的控制方法、装置及电子设备
DE102022118092A1 (de) * 2022-07-19 2024-01-25 Alfred Kärcher SE & Co. KG Selbstfahrendes und selbstlenkendes Bodenreinigungsgerät, Bodenreinigungssystem und Verfahren zum Betreiben eines Bodenreinigungsgerätes
US11935220B1 (en) * 2023-08-14 2024-03-19 Shiv S Naimpally Using artificial intelligence (AI) to detect debris

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100860741B1 (ko) * 2007-07-09 2008-09-29 (재)대구경북과학기술연구원 이미지 패턴 분석을 통한 모니터링 서비스 제공 방법 및 모니터링 서비스 제공 시스템
JP2014098962A (ja) * 2012-11-13 2014-05-29 Sharp Corp 行動制御装置、行動制御方法、および制御プログラム
KR20150009048A (ko) * 2013-07-11 2015-01-26 삼성전자주식회사 청소 로봇 및 그 제어 방법
JP2015027345A (ja) * 2013-07-30 2015-02-12 佐古　曜一郎 電気掃除装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7984529B2 (en) † 2007-01-23 2011-07-26 Radio Systems Corporation Robotic pet waste treatment or collection
CA2965207C (en) 2008-08-15 2020-12-15 Cascade Biosystems, Inc. Methods using enzymatic amplification cascades for detecting target nucleic acid in a sample
US8719998B1 (en) † 2010-05-12 2014-05-13 Bissell Homecare, Inc. Extractor with light-sensitive stain sensor
DE102011006062B4 (de) * 2011-03-24 2023-05-25 RobArt GmbH Verfahren zur autonomen Inspektion einer Umgebung oder Bearbeitung von Bodenflächen
KR101856502B1 (ko) * 2011-04-07 2018-05-11 엘지전자 주식회사 로봇 청소기, 이의 원격 제어 시스템 및 원격 제어 방법
KR101842460B1 (ko) * 2011-04-12 2018-03-27 엘지전자 주식회사 로봇 청소기, 이의 원격 감시 시스템 및 방법
DE102011050358B4 (de) 2011-05-13 2022-02-17 Vorwerk & Co. Interholding Gmbh Gas-Strömungskanal, insbesondere Saugkanal eines Staubsaugers
US20120316680A1 (en) * 2011-06-13 2012-12-13 Microsoft Corporation Tracking and following of moving objects by a mobile robot
US9582000B2 (en) 2011-09-07 2017-02-28 Lg Electronics Inc. Robot cleaner, and system and method for remotely controlling the same
US9776332B2 (en) * 2011-12-08 2017-10-03 Lg Electronics Inc. Automatic moving apparatus and manual operation method thereof
KR101949277B1 (ko) * 2012-06-18 2019-04-25 엘지전자 주식회사 이동 로봇
EP2689650B1 (en) * 2012-07-27 2014-09-10 Honda Research Institute Europe GmbH Trainable autonomous lawn mower
DE102012109004A1 (de) * 2012-09-24 2014-03-27 RobArt GmbH Roboter und Verfahren zur autonomen Inspektion oder Bearbeitung von Bodenflächen
JP6409003B2 (ja) 2013-01-18 2018-10-17 アイロボット コーポレイション ロボットを用いる方法及びそのコンピュータ可読記憶媒体
JP6132659B2 (ja) * 2013-02-27 2017-05-24 シャープ株式会社 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法
KR102020210B1 (ko) * 2013-04-11 2019-11-05 삼성전자주식회사 센서 모듈 및 이를 구비하는 로봇 청소기
JP5771885B2 (ja) * 2013-06-03 2015-09-02 みこらった株式会社 電気掃除装置
KR102154523B1 (ko) † 2013-10-04 2020-09-10 엘지전자 주식회사 제빙 유닛
KR102093177B1 (ko) * 2013-10-31 2020-03-25 엘지전자 주식회사 이동 로봇 및 그 동작방법
US9946263B2 (en) * 2013-12-19 2018-04-17 Aktiebolaget Electrolux Prioritizing cleaning areas
EP3091887A4 (en) * 2014-01-10 2017-09-13 iRobot Corporation Autonomous mobile robot
JP6221158B2 (ja) * 2014-08-27 2017-11-01 本田技研工業株式会社 自律行動ロボット、及び自律行動ロボットの制御方法
JP6621129B2 (ja) 2014-08-28 2019-12-18 東芝ライフスタイル株式会社 電気掃除機
US9519289B2 (en) * 2014-11-26 2016-12-13 Irobot Corporation Systems and methods for performing simultaneous localization and mapping using machine vision systems
US9751210B2 (en) * 2014-11-26 2017-09-05 Irobot Corporation Systems and methods for performing occlusion detection
US9704043B2 (en) * 2014-12-16 2017-07-11 Irobot Corporation Systems and methods for capturing images and annotating the captured images with information
KR102314637B1 (ko) * 2015-03-23 2021-10-18 엘지전자 주식회사 로봇 청소기 및 이를 구비하는 로봇 청소 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100860741B1 (ko) * 2007-07-09 2008-09-29 (재)대구경북과학기술연구원 이미지 패턴 분석을 통한 모니터링 서비스 제공 방법 및 모니터링 서비스 제공 시스템
JP2014098962A (ja) * 2012-11-13 2014-05-29 Sharp Corp 行動制御装置、行動制御方法、および制御プログラム
KR20150009048A (ko) * 2013-07-11 2015-01-26 삼성전자주식회사 청소 로봇 및 그 제어 방법
JP2015027345A (ja) * 2013-07-30 2015-02-12 佐古　曜一郎 電気掃除装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180039437A (ko) * 2016-10-10 2018-04-18 엘지전자 주식회사 공항용 청소 로봇 및 그의 동작 방법
WO2020013394A1 (ko) * 2018-07-09 2020-01-16 임세빈 반려동물용 모니터링 로봇
KR102117868B1 (ko) * 2019-02-28 2020-06-04 한국생산기술연구원 높이 조절이 가능한 라이다 구동부 및 이를 이용한 로봇 청소기
WO2021096144A1 (en) * 2019-11-12 2021-05-20 Samsung Electronics Co., Ltd. Mistakenly ingested object identifying robot cleaner and controlling method thereof
US11641994B2 (en) 2019-11-12 2023-05-09 Samsung Electronics Co., Ltd. Mistakenly ingested object identifying robot cleaner and controlling method thereof

Also Published As

Publication number Publication date
EP3345525A1 (en) 2018-07-11
EP3679850B1 (en) 2022-06-29
EP3072432B2 (en) 2023-09-20
EP3345525B1 (en) 2020-03-04
US9962054B2 (en) 2018-05-08
KR20210125974A (ko) 2021-10-19
EP3072432B1 (en) 2018-02-28
EP3072432A1 (en) 2016-09-28
EP3679849A1 (en) 2020-07-15
EP3679849B1 (en) 2022-06-29
US20160278599A1 (en) 2016-09-29
KR102314637B1 (ko) 2021-10-18
EP3679850A1 (en) 2020-07-15

Similar Documents

Publication Publication Date Title
KR20160113857A (ko) 로봇 청소기 및 이를 구비하는 로봇 청소 시스템
EP3590665B1 (en) Mobile robot and control method therefor
KR101976424B1 (ko) 이동 로봇
US11226633B2 (en) Mobile robot and method of controlling the same
EP2839769B1 (en) Robot cleaner and method for controlling the same
KR101356165B1 (ko) 로봇 청소기 및 이의 제어 방법
KR101356161B1 (ko) 로봇 청소기, 및 로봇 청소기의 원격 제어 시스템 및 방법
SE523438C2 (sv) Mobilt robotsystem med användning av RF-modul
JP6091771B2 (ja) 自走式電子機器および自走式電子機器の制御システム
US20200293050A1 (en) Mobile robot and method of controlling the same
KR20180074141A (ko) 이동 로봇
WO2018193653A1 (ja) 移動装置、物体検出方法及びプログラム
KR102081358B1 (ko) 로봇 청소기, 이동 단말기 및 그 동작방법
KR102178490B1 (ko) 로봇 청소기 및 그 동작방법
KR20150022550A (ko) 로봇 청소기 및 그 동작방법
KR102508073B1 (ko) 이동 로봇 및 이동 로봇의 제어방법
KR102093709B1 (ko) 로봇 청소기, 이동 단말기 및 그 동작방법
KR20150026529A (ko) 로봇 청소기, 이동 단말기 및 그 동작방법
KR102364623B1 (ko) 이동 로봇 및 그 제어방법
KR20210004679A (ko) 이동 로봇 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant