KR101976424B1 - 이동 로봇 - Google Patents

이동 로봇 Download PDF

Info

Publication number
KR101976424B1
KR101976424B1 KR1020170012266A KR20170012266A KR101976424B1 KR 101976424 B1 KR101976424 B1 KR 101976424B1 KR 1020170012266 A KR1020170012266 A KR 1020170012266A KR 20170012266 A KR20170012266 A KR 20170012266A KR 101976424 B1 KR101976424 B1 KR 101976424B1
Authority
KR
South Korea
Prior art keywords
image
home appliance
unit
appliance
map
Prior art date
Application number
KR1020170012266A
Other languages
English (en)
Other versions
KR20180087779A (ko
Inventor
김민수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020170012266A priority Critical patent/KR101976424B1/ko
Priority to PCT/KR2018/001101 priority patent/WO2018139865A1/ko
Priority to US16/480,775 priority patent/US11317778B2/en
Publication of KR20180087779A publication Critical patent/KR20180087779A/ko
Application granted granted Critical
Publication of KR101976424B1 publication Critical patent/KR101976424B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2809—Exchanging configuration information on appliance services in a home automation network indicating that an appliance service is present in a home automation network
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2894—Details related to signal transmission in suction cleaners
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0022—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/02—Docking stations; Docking operations
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/50—Machine tool, machine tool null till machine tool work handling
    • G05B2219/50391—Robot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

본 발명은, 주행 구역 내에 존재하는 가전 장치의 종류 및 위치를 판단하고, 제어 명령이나 상황에 따라 가전 장치를 제어하는 이동 로봇에 대한 것이다.
본 발명에 따른 이동 로봇은, 영상 획득부를 통하여 획득되는 영상에 기초하여, 주행 구역 내 배치된 가전 장치의 종류 및 위치를 판단하고, 가전 장치의 종류 및 위치 중 적어도 하나가 표시된 상기 주행 구역의 맵인 가전 장치 맵을 생성하고 출력하는 제어부를 포함한다.

Description

이동 로봇 {Moving Robot}
본 발명은 이동 로봇에 관한 것으로서, 구체적으로 조명 장치와 통신을 수행하여, 조명 장치의 위치를 판단하는 이동 로봇에 관한 것이다.
이동 로봇은 청소하고자 하는 영역을 스스로 주행하면서 바닥면으로부터 먼지 등의 이물질을 흡입하여 자동으로 청소하는 기기이다.
이동 로봇은 충전 가능한 배터리가 구비되어, 이동이 자유롭고 배터리의 동작전원을 이용한 스스로 이동이 가능하며, 이동 중 바닥면의 이물질을 흡입하여 청소를 실시하며, 필요 시 충전대로 복귀하여 배터리를 충전하도록 구성된다.
통상 이러한 이동 로봇은 주행 구역 내에 설치된 가구나 사무용품, 벽 등의 장애물까지의 거리를 감지하고, 좌륜과 우륜의 구동을 제어하여 장애물 회피 동작을 수행한다.
이동 로봇은, 주변 영상을 획득하고 주변에 존재하는 오브젝트를 감지하여 주행 구역에 대한 맵(Map)을 생성할 수 있다. 주행 구역의 맵에 대한 정보는, 기 저장된 정보이거나 외부에서 제공되는 정보일 수도 있다. 이동 로봇은, 주행 구역에 대한 맵에 기초하여, 주행 구역 내 특정 위치로 이동할 수 있고, 현재 위치를 판단할 수도 있다.
이동 로봇은, 주변 환경을 촬영한 영상으로부터 특징점을 추출하는 방식으로, 현재 위치를 판단할 수 있다. 또한, 이동 로봇은, 촬영한 영상으로부터 각종 오브젝트를 감지할 수도 있다.
사물 인터넷 환경에서 통신 가능한 디바이스들은 각각 통신을 수행할 수 있고, 상호 간의 유선 또는 무선 통신으로 연결될 수 있다. 이동 로봇이 주행하는 주행 구역 내에 배치된 다양한 가전 장치도 통신으로 연결될 수 있다. 이 경우, 이동 로봇은 가전 장치로부터 다양한 정보를 획득하거나, 가전 장치를 원격 제어할 수 있다. 예를 들어, 가전 장치는, 공기 조화기, 냉장고, 세탁믈 처리 장치, 조명 장치, 보안 장치, 컴퓨터, 선풍기, TV, 가습기 등 각종 전자 장치를 포함할 수 있다.
그러나, 이동 로봇이 주행 구역 내에 배치된 가전 장치를 활용하기 위해서는, 각 가전 장치의 위치 및 종류를 판단할 필요가 있다. 특히, 이동 로봇이 스스로 주행 구역 내에서 이동하면서 다양한 가전 장치를 감지하고, 감지된 가전 장치의 위치 및 종류와 같은 다양한 정보를 획득할 필요가 있다.
또한, 가전 장치를 감지하는 이동 로봇이 종류 및 위치가 판단된 가전 장치를 주행 구역의 맵에 표시하고, 이를 활용하여 다양한 상황에서 가전 장치를 원격 제어할 필요성이 있다.
본 발명의 실시예는 상기한 문제점을 해결하기 위하여, 주행 구역을 이동하면서 가전 장치의 위치 및 종류를 판단하는 이동 로봇을 제공하는데 목적이 있다.
또한, 본 발명의 실시예는, 가전 장치에 관련된 정보가 표시된 주행 구역의 맵을 출력하고, 사용자의 입력 또는 다양한 정보에 기초하여 가전 장치를 원격 제어하는 이동 로봇을 제공하는데 목적이 있다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 이동 로봇은, 본체가 주행 구역 내에서 이동하도록 주행부를 제어하고, 영상 획득부를 통하여 획득되는 영상에 기초하여, 상기 주행 구역 내 배치된 가전 장치의 종류 및 위치를 판단하는 제어부를 포함할 수 있다. 상기 제어부는, 상기 영상 획득부를 통하여 획득되는 영상에 기초하여, 적어도 하나의 오브젝트를 검출하고, 상기 오브젝트가 가전 장치인지 여부를 판단하여 상기 주행 구역 내 배치된 가전 장치의 종류 및 위치를 판단하여, 가전 장치 맵을 생성하고, 상기 통신부를 통하여 수신되는 정보에 기초하여, 상기 가전 장치가 통신 가능한 장치인지 판단하며, 상기 가전 장치가 통신 가능한 장치인 경우, 상기 영상 획득부가 획득하는 영상, 및 상기 가전 장치가 전송하는 정보 중 적어도 하나에 기초하여, 상기 가전 장치의 동작 상태를 판단하고, 상기 가전 장치가 통신 가능한 장치가 아닌 경우, 상기 영상에 나타나는 상기 가전 장치의 이미지에 기초하여, 상기 가전 장치의 동작 상태를 판단하여 상기 가전 장치를 제어한다.
또한, 상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 이동 로봇은, 가전 장치의 종류, 위치, 동작 상태, 및 제어 가부 등이 표시된 가전 장치 맵을 출력하고, 사용자의 제어 명령 또는 획득되는 정보에 기초하여, 특정 가전 장치를 원격 제어하는 제어부를 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 이동 로봇이 별도의 입력 없이도 자체적으로 주행 구역을 이동하면서 가전 장치의 종류 및 위치를 판단할 수 있어, 사용 편의성이 향상되는 효과가 있다.
둘째, 가전 장치에 관련된 정보가 표시된 주행 구역의 맵을 출력함으로써, 사용자가 가전 장치의 배치 및 상태를 직관적으로 인식할 수 있도록 하는 효과가 있다.
셋째, 사용자의 제어 명령에 따라 가전 장치를 원격 제어함은 물론, 제어 명령 없이도 획득되는 정보에 따라 상황을 판단하고, 특정 상황에 적합한 가전 장치를 제어할 수 있는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 이동 로봇 및 이동 로봇을 충전시키는 충전대를 도시한 사시도이다.
도 2는 본 발명의 일 실시예에 따른 이동 로봇의 상면부를 도시한 도이이다.
도 3은 본 발명의 일 실시예에 따른 이동 로봇의 정면부를 도시한 도이다.
도 4는 본 발명의 일 실시예에 따른 이동 로봇의 저면부를 도시한 도이다.
도 5는 본 발명의 일 실시예에 따른 이동 로봇의 구성 요소를 설명하기 위한 블록도이다.
도 6 내지 도 8은 본 발명에 따른 이동 로봇의 동작을 설명하기 위한 순서도이다.
도 9는 본 발명에 따른 이동 로봇이 가전 장치의 위치 및 종류를 판단하는 과정을 설명하기 위한 도면이다.
도 10 및 도 11은 본 발명에 따른 이동 로봇이 출력하는 가전 장치 맵을 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명에 따른 이동 로봇은, 주행 구역 내에서 이동하면서, 주행 구역 내에 배치된 다양한 가전 장치의 위치 및 종류를 판단할 수 있다. 가전 장치는, 주행 구역에 부치된 전자 장치일 수 있다. 예를 들어, 가전 장치는, 공기 조화기, 냉장고, 세탁믈 처리 장치, 조명 장치, 보안 장치, 컴퓨터, 선풍기, TV, 가습기 등 각종 전자 장치를 포함할 수 있다.
본 발명에 따른 이동 로봇은, 영상 획득부를 통하여 획득된 영상에 기초하여, 가전 장치의 위치 및 종류를 판단할 수 있다. 가전 장치의 종류는, 가전 장치의 모델명, 제조일, 종류, 기능, 제조사 등을 포함하는 개념이다. 이동 로봇은, 획득된 영상에 기초하여 딥러닝을 수행함으로써, 가전 장치의 종류를 판단할 수 있다.
본 발명에 따른 이동 로봇은, 통신부를 통하여 획득되는 정보 및 영상 획득부를 통하여 획득되는 영상 중 적어도 하나에 기초하여, 가전 장치의 동작 상태를 판단할 수 있다. 가전 장치가 통신 가능한 유닛을 포함하는 경우, 이동 로봇은 가전 장치와 통신을 수행함으로써, 가전 장치가 전송하는 각종 정보를 수신할 수 있다.
본 발명에 따른 이동 로봇은, 가전 장치의 종류, 위치 및 동작 상태 중 적어도 하나가 표시된 주행 구역의 맵인 가전 장치 맵을, 기 설정된 이동 단말기 또는 출력부를 통하여 출력할 수 있다.
본 발명에 따른 이동 로봇은, 가전 장치의 원격 제어 가부를 판단하여 표시할 수 있다. 이동 로봇은, 원격 제어 가능한 가전 장치에 대한 제어 명령이 수신되는 경우, 제어 명령에 기초하여 가전 장치를 원격 제어할 수 있다.
본 발명에 따른 이동 로봇은, 다양한 유닛을 통하여 획득되는 정보에 기초하여, 특정 가전 장치를 원격 제어할 수 있다. 예를 들어, 이동 로봇은, 획득되는 정보에 기초하여, 현재 상황을 판단하고, 가전 장치가 판단된 상황에 대응하는 동작을 수행하도록 제어할 수 있다.
이하에서는 도면을 참조하여 본 발명에 따른 이동 로봇에 대해서 구체적으로 설명한다. 도 1 내지 도 5를 참조하여 본 발명에 따른 이동 로봇의 외관 및 구성을 설명한다. 도 6 내지 도 11을 참조하여 본 발명에 따른 이동 로봇이 가전 장치에 대한 정보를 획득하고, 가전 장치를 제어하는 것을 설명한다.
도 1은 본 발명의 일 실시예에 따른 이동 로봇 및 이동 로봇을 충전시키는 충전대를 도시한 사시도이다.
도 2는 본 발명의 일 실시예에 따른 이동 로봇의 상면부를 도시한 도이이다.
도 3은 본 발명의 일 실시예에 따른 이동 로봇의 정면부를 도시한 도이다.
도 4는 본 발명의 일 실시예에 따른 이동 로봇의 저면부를 도시한 도이다.
도 1 내지 도 4에 도시된 바와 같이, 이동 로봇(100)은 본체(110)와, 본체(110) 주변의 영상을 획득하는 영상획득부(120)를 포함한다. 이하, 본체(110)의 각부분을 정의함에 있어서, 주행 구역 내의 천장을 향하는 부분을 상면부(도 2 참조)로 정의하고, 주행 구역 내의 바닥을 향하는 부분을 저면부(도 4 참조)로 정의하며, 상면부와 저면부 사이에서 본체(110)의 둘레를 이루는 부분 중 주행방향을 향하는 부분을 정면부(도 3 참조)라고 정의한다.
이동 로봇(100)은 본체(110)를 이동시키는 주행부(160)를 포함한다. 주행부(160)는 본체(110)를 이동시키는 적어도 하나의 구동 바퀴(136)를 포함한다. 주행부(160)는 구동 바퀴(136)에 연결되어 구동 바퀴를 회전시키는 구동 모터(미도시)를 포함 한다. 구동 바퀴(136)는 본체(110)의 좌, 우 측에 각각 구비될 수 있으며, 이하, 각각 좌륜(136(L))과 우륜(136(R))이라고 한다.
좌륜(136(L))과 우륜(136(R))은 하나의 구동 모터에 의해 구동될 수도 있으나, 필요에 따라 좌륜(136(L))을 구동시키는 좌륜 구동 모터와 우륜(136(R))을 구동시키는 우륜 구동 모터가 각각 구비될 수도 있다. 좌륜(136(L))과 우륜(136(R))의 회전 속도에 차이를 두어 좌측 또는 우측으로 본체(110)의 주행방향을 전환할 수 있다.
본체(110)의 저면부에는 공기의 흡입이 이루어지는 흡입구(110h)가 형성될 수 있으며, 본체(110) 내에는 흡입구(110h)를 통해 공기가 흡입될 수 있도록 흡입력을 제공하는 흡입장치(미도시)와, 흡입구(110h)를 통해 공기와 함께 흡입된 먼지를 집진하는 먼지통(미도시)이 구비될 수 있다.
본체(110)는 이동 로봇(100)을 구성하는 각종 부품들이 수용되는 공간을 형성하는 케이스(111)를 포함할 수 있다. 케이스(111)에는 상기 먼지통의 삽입과 탈거를 위한 개구부가 형성될 수 있고, 개구부를 여닫는 먼지통 커버(112)가 케이스(111)에 대해 회전 가능하게 구비될 수 있다.
흡입구(110h)를 통해 노출되는 솔들을 갖는 롤형의 메인 브러시(134)와, 본체(110)의 저면부 전방측에 위치하며, 방사상으로 연장된 다수개의 날개로 이루어진 솔을 갖는 보조 브러시(135)가 구비될 수 있다. 이들 브러시(134, 135)들의 회전에 의해 주행 구역 내 바닥으로부터 먼지들이 분리되며, 이렇게 바닥으로부터 분리된 먼지들은 흡입구(110h)를 통해 흡입되어 먼지통에 모인다.
배터리(138)는 구동 모터뿐만 아니라, 이동 로봇(100)의 작동 전반에 필요한 전원을 공급한다. 배터리(138)가 방전될 시, 이동 로봇(100)은 충전을 위해 충전대(200)로 복귀하는 주행을 실시할 수 있으며, 이러한 복귀 주행 중, 이동 로봇(100)은 스스로 충전대(200)의 위치를 탐지할 수 있다.
충전대(200)는 소정의 복귀 신호를 송출하는 신호 송출부(미도시)를 포함할 수 있다. 복귀 신호는 초음파 신호 또는 적외선 신호일 수 있으나, 반드시 이에 한정되어야하는 것은 아니다.
이동 로봇(100)은 복귀 신호를 수신하는 신호 감지부(미도시)를 포함할 수 있다. 충전대(200)는 신호 송출부를 통해 적외선 신호를 송출하고, 신호 감지부는 적외선 신호를 감지하는 적외선 센서를 포함할 수 있다. 이동 로봇(100)은 충전대(200)로부터 송출된 적외선 신호에 따라 충전대(200)의 위치로 이동하여 충전대(200)와 도킹(docking)한다. 이러한 도킹에 의해 이동 로봇(100)의 충전 단자(133)와 충전대(200)의 충전 단자(210) 간에 충전에 이루어진다.
영상획득부(120)는 주행 구역을 촬영하는 것으로, 디지털 카메라를 포함할 수 있다. 디지털 카메라는 적어도 하나의 광학렌즈와, 광학렌즈를 통과한 광에 의해 상이 맺히는 다수개의 광다이오드(photodiode, 예를들어, pixel)를 포함하여 구성된 이미지센서(예를들어, CMOS image sensor)와, 광다이오드들로부터 출력된 신호를 바탕으로 영상을 구성하는 디지털 신호 처리기(DSP: Digital Signal Processor)를 포함할 수 있다. 디지털 신호 처리기는 정지영상은 물론이고, 정지영상으로 구성된 프레임들로 이루어진 동영상을 생성하는 것도 가능하다.
바람직하게, 영상획득부(120)는 본체(110)의 상면부에 구비되어, 주행 구역 내의 천장에 대한 영상을 획득하나, 영상획득부(120)의 위치와 촬영범위가 반드시 이에 한정되어야 하는 것은 아니다. 예를들어, 영상획득부(120)는 본체(110) 전방의 영상을 획득하도록 구비될 수도 있다.
또한, 이동 로봇(100)은 전방의 장애물을 감지하는 장애물 감지센서(131)를 더 포함할 수 있다. 이동 로봇(100)은 주행 구역 내 바닥에 낭떠러지의 존재 여부를 감지하는 낭떠러지 감지센서(132)와, 바닥의 영상을 획득하는 하부 카메라 센서(139)를 더 포함할 수 있다.
또한, 이동 로봇(100)은 On/Off 또는 각종 명령을 입력할 수 있는 입력부(137)를 포함한다. 입력부(137)를 통해 이동 로봇(100)의 작동 전반에 필요한 각종 제어명령을 입력받을 수 있다. 또한, 이동 로봇(100)은 출력부(미도시)를 포함하여, 예약 정보, 배터리 상태, 동작모드, 동작상태, 에러상태 등을 표시할 수 있다.
도 5는 본 발명의 일 실시예에 따른 이동 로봇의 구성 요소를 설명하기 위한 블록도이다.
도 5를 참조하면, 이동 로봇(100)은, 영상획득부(120), 입력부(137), 제어부(140), 저장부(150), 주행부(160), 청소부(170), 출력부(180), 및 통신부(190)를 포함할 수 있다.
이동 로봇(100)은, 통신부(190)를 통하여, 리모컨(미도시) 또는 이동 단말기(미도시)가 전송하는 각종 명령을 수신할 수 있다. 이 경우, 리모컨 또는 이동 단말기는, 이동 로봇에 대한 사용자 명령을 수신하는 입력부(137)와 같은 기능을 수행할 수 있다.
예를 들어, 이동 단말기는 이동 로봇(100)을 제어하기 위한 어플리케이션을 구비하고, 어플리케이션의 실행을 통해 이동 로봇(100)이 청소할 주행 구역에 대한 맵을 표시하고, 맵 상에 특정 영역을 청소하도록 영역을 지정할 수 있다. 이동 단말기는 맵 설정을 위한 어플리케이션(application)이 탑재된 리모콘, PDA, 랩탑(laptop), 스마트 폰, 태블릿 등을 예로 들 수 있다.
리모컨이나 이동 단말기는, 이동 로봇이 전송하는 각종 정보를 출력할 수 있다. 이 경우, 리모컨이나 이동 단말기는, 각종 정보를 출력하는 출력부(180)와 같은 기능을 수행할 수 있다.
예를 들어, 이동 단말기는 이동 로봇(100)과 통신하여, 맵과 함께 이동 로봇의 현재 위치를 표시할 수 있으며, 복수의 영역에 대한 정보가 표시될 수 있다. 또한, 이동 단말기는 이동 로봇의 주행에 따라 그 위치를 갱신하여 표시한다.
제어부(140)는 이동 로봇(100)을 구성하는 영상획득부(120), 입력부(137), 주행부(160)를 제어하여, 이동 로봇(100)의 동작 전반을 제어한다.
저장부(150)는 이동 로봇(100)의 제어에 필요한 각종 정보들을 기록하는 것으로, 휘발성 또는 비휘발성 기록 매체를 포함할 수 있다. 기록 매체는 마이크로 프로세서(micro processor)에 의해 읽힐 수 있는 데이터를 저장한 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등을 포함할 수 있다.
저장부(150)에는 주행 구역에 대한 맵(Map)이 저장될 수 있다. 맵은 이동 로봇(100)과 유선 또는 무선 통신을 통해 정보를 교환할 수 있는 이동 단말기에 의해 입력된 것일 수도 있고, 이동 로봇(100)이 스스로 학습을 하여 생성한 것일 수도 있다.
맵에는 주행 구역 내의 방들의 위치가 표시될 수 있다. 또한, 이동 로봇(100)의 현재 위치가 맵 상에 표시될 수 있으며, 맵 상에서의 이동 로봇(100)의 현재의 위치는 주행 과정에서 갱신될 수 있다. 이동 단말기는 저장부(150)에 저장된 맵과 동일한 맵을 저장한다.
제어부(140)는, 이동 로봇(100)의 주행 제어 중, 청소부(170)를 가동시킴으로써, 이동 로봇(100) 주변의 먼지 또는 이물질이 흡수되도록 할 수 있다. 이 경우, 청소부(170)에 구비된 브러쉬(미도시)가 구동되어 이동 로봇(100) 주변의 먼지 또는 이물질을 흡입되기 용이한 상태로 만들수 있다. 청소부(170)에 구비된 흡입장치(미도시)는 먼지 또는 이물질을 흡입할 수 있다.
제어부(140)는, 이동 로봇(100)이 주행부(160)에 의하여 특정 영역으로 이동하면서 청소를 수행하도록 제어할 수 있다.
제어부(140)는 주행제어모듈(141), 구역구분모듈(142), 학습모듈(143) 및 인식모듈(144)을 포함할 수 있다.
주행제어모듈(141)은 이동 로봇(100)의 주행을 제어하는 것으로, 주행 설정에 따라 주행부(160)의 구동을 제어한다. 또한, 주행제어모듈(141)은 주행부(160)의 동작을 바탕으로 이동 로봇(100)의 이동 경로를 파악할 수 있다. 예를 들어, 주행제어모듈(141)은 구동 바퀴(136)의 회전속도를 바탕으로 이동 로봇(100)의 현재 또는 과거의 이동속도, 주행한 거리 등을 파악할 수 있으며, 각 구동 바퀴(136(L), 136(R))의 회전 방향에 따라 현재 또는 과거의 방향 전환 과정 또한 파악할 수 있다. 이렇게 파악된 이동 로봇(100)의 주행 정보를 바탕으로, 맵 상에서 이동 로봇(100)의 위치가 갱신될 수 있다.
구역구분모듈(142)은 소정 기준에 따라 주행 구역을 복수의 구역으로 구분할 수 있다. 주행 구역은 이동 로봇(100)이 주행 경험이 있는 모든 평면상의 구역 및 현재 주행하고 있는 평면상의 구역을 모두 합한 범위로 정의될 수 있다.
구역구분모듈(142)은 주행 구역을 복수의 소구역으로 구분하며, 소구역은 주행 구역 내의 각 실(방)을 근거로 구분될 수 있다. 또한, 구역구분모듈(142)은 주행 구역을 주행능력상 서로 분리된 복수의 대구역으로 구분할 수 있다. 예를 들면, 서로 동선상 완전히 분리된 두개의 실내공간은 각각 두개의 대구역으로 구분될 수 있다. 다른 예로, 같은 실내 공간이라 하더라도, 상기 대구역은 주행 구역 내의 각 층을 근거로 구분될 수 있다.
학습모듈(143)은 주행 구역의 맵을 생성할 수 있다. 또한, 학습모듈(143)은 각 위치에서 영상획득부(120)를 통해 획득한 영상을 처리하여 맵과 연계시켜 전역위치를 인식한다.
인식모듈(144)은 현재 위치를 추정하여 인식한다. 인식모듈(144)은 영상획득부(120)의 영상 정보를 이용하여 학습모듈(143)과 연계하여 위치를 파악함으로써, 이동 로봇(100)의 위치가 갑자기 변경되는 경우에도 현재 위치를 추정하여 인식할 수 있다.
이동 로봇(100)은 구역구분모듈(142)을 통해 연속적인 주행 중에 위치 인식이 가능하고 또한, 구역구분모듈(142) 없이 학습모듈(143) 및 인식모듈(144)을 통해, 맵을 학습하고 현재 위치를 추정할 수 있다.
이동 로봇(100)이 주행하는 중에, 영상획득부(120)는 이동 로봇(100) 주변의 영상들을 획득한다. 이하, 영상획득부(120)에 의해 획득된 영상을 '획득영상'이라고 정의한다. 획득영상에는 천장에 위치하는 조명들, 경계(edge), 코너(corner), 얼룩(blob), 굴곡(ridge) 등의 여러가지 특징(feature)들이 포함된다. 이하, 특징은 특징점으로 표현될 수도 있다.
학습모듈(143)은 획득영상들 각각으로부터 특징을 검출한다. 컴퓨터 비전(Computer Vision) 기술 분야에서 영상으로부터 특징을 검출하는 다양한 방법(Feature Detection)이 잘 알려져 있다. 이들 특징의 검출에 적합한 여러 특징검출기(feature detector)들이 알려져 있다. 예를들어, Canny, Sobel, Harris&Stephens/Plessey, SUSAN, Shi&Tomasi, Level curve curvature, FAST, Laplacian of Gaussian, Difference of Gaussians, Determinant of Hessian, MSER, PCBR, Grey-level blobs 검출기 등이 있다.
학습모듈(143)은 각 특징점을 근거로 디스크립터를 산출한다. 학습모듈(143)은 특징 검출을 위해 SIFT(Scale Invariant Feature Transform) 기법을 이용하여 특징점을 디스크립터(descriptor)로 변환할 수 있다. 디스크립터는 n차원 벡터(vector)로 표기될 수 있다.
SIFT는 촬영 대상의 스케일(scale), 회전, 밝기변화에 대해서 불변하는 특징을 검출할 수 있어, 같은 영역을 이동 로봇(100)의 자세를 달리하며 촬영하더라도 불변하는(즉, 회전 불변한(Rotation-invariant)) 특징을 검출할 수 있다. 물론, 이에 한정되지 않고 다른 다양한 기법(예를들어, HOG: Histogram of Oriented Gradient, Haar feature, Fems, LBP:Local Binary Pattern, MCT:Modified Census Transform)들이 적용될 수도 있다.
학습모듈(143)은 각 위치의 획득영상을 통해 얻은 디스크립터 정보를 바탕으로, 획득영상마다 적어도 하나의 디스크립터를 소정 하위 분류규칙에 따라 복수의 군으로 분류하고, 소정 하위 대표규칙에 따라 같은 군에 포함된 디스크립터들을 각각 하위 대표 디스크립터로 변환할 수 있다.
다른 예로, 실(room)과 같이 소정 구역내의 획득영상 들로부터 모인 모든 디스크립터를 소정 하위 분류규칙에 따라 복수의 군으로 분류하여 상기 소정 하위 대표규칙에 따라 같은 군에 포함된 디스크립터들을 각각 하위 대표 디스크립터로 변환할 수도 있다.
학습모듈(143)은 이 같은 과정을 거쳐, 각 위치의 특징분포를 구할 수 있다. 각 위치 특징분포는 히스토그램 또는 n차원 벡터로 표현될 수 있다. 또 다른 예로, 학습모듈(143)은 소정 하위 분류규칙 및 소정 하위 대표규칙을 거치지 않고, 각 특징점으로부터 산출된 디스크립터를 바탕으로 미지의 현재위치를 추정할 수 있다.
학습모듈(143)은 위치 도약 등의 이유로 이동 로봇(100)의 현재 위치가 미지의 상태가 된 경우에, 기 저장된 디스크립터 또는 하위 대표 디스크립터 등의 데이터를 근거로 현재 위치를 추정할 수 있다.
이동 로봇(100)은, 미지의 현재 위치에서 영상획득부(120)를 통해 획득영상을 획득한다. 영상을 통해 천장에 위치하는 조명들, 경계(edge), 코너(corner), 얼룩(blob), 굴곡(ridge) 등의 여러가지 특징(feature)들이 확인된다.
인식모듈(144)은 획득영상으로부터 특징들을 검출한다. 컴퓨터 비전 기술 분야에서 영상으로부터 특징을 검출하는 다양한 방법 및 이들 특징의 검출에 적합한 여러 특징검출기들에 대한 설명은 상기한 바와 같다.
인식모듈(144)은 각 인식 특징점을 근거로 인식 디스크립터 산출단계를 거쳐 인식 디스크립터를 산출한다. 이때 인식 특징점 및 인식 디스크립터는 인식모듈(144)에서 수행하는 과정을 설명하기 위한 것으로 학습모듈(143)에서 수행하는 과정을 설명하는 용어와 구분하기 위한 것이다. 다만, 이동 로봇(100)의 외부 세계의 특징이 각각 다른 용어로 정의되는 것에 불과하다.
인식모듈(144)은 본 특징 검출을 위해 SIFT(Scale Invariant Feature Transform) 기법을 이용하여 인식 특징점을 인식 디스크립터로 변환할 수 있다. 인식 디스크립터는 n차원 벡터(vector)로 표기될 수 있다.
SIFT는 앞서 설명한 바와 같이, 획득영상에서 코너점 등 식별이 용이한 특징점을 선택한 후, 각 특징점 주변의 일정한 구역에 속한 픽셀들의 밝기 구배(gradient)의 분포 특성(밝기 변화의 방향 및 변화의 급격한 정도)에 대해, 각 방향에 대한 변화의 급격한 정도를 각 차원에 대한 수치로 하는 n차원 벡터(vector)를 구하는 영상인식기법이다.
인식모듈(144)은 미지의 현재 위치의 획득영상을 통해 얻은 적어도 하나의 인식 디스크립터 정보를 근거로, 소정 하위 변환규칙에 따라 비교대상이 되는 위치 정보(예를 들면, 각 위치의 특징분포)와 비교 가능한 정보(하위 인식 특징분포)로 변환한다.
소정 하위 비교규칙에 따라, 각각의 위치 특징분포를 각각의 인식 특징분포와 비교하여 각각의 유사도를 산출할 수 있다. 각각의 위치에 해당하는 상기 위치 별로 유사도(확률)를 산출하고, 그 중 가장 큰 확률이 산출되는 위치를 현재위치로 결정할 수 있다.
이와 같이, 제어부(140)는 주행 구역을 구분하고 복수의 영역으로 구성된 맵을 생성하거나, 기 저장된 맵을 바탕으로 본체(110)의 현재 위치를 인식할 수 있다.
제어부(140)는 맵이 생성되면, 생성된 맵을 통신부(190)를 통해 이동 단말기로 전송한다. 또한, 제어부(140)는 앞서 설명한 바와 같이, 이동 단말기로부터 맵이 수신되면, 저장부(150)에 저장할 수 있다.
또한 제어부(140)는 주행 중 맵이 갱신되는 경우 갱신된 정보를 이동 단말기로 전송하여 이동 단말기와 이동 로봇(100)에 저장되는 맵이 동일하도록 한다. 이동 단말기와 이동 로봇(100)에 저장된 맵이 동일하게 유지됨에 따라 이동 단말기로부터의 청소명령에 대하여, 이동 로봇(100)이 지정된 영역을 청소할 수 있으며, 또한, 이동 단말기에 이동 로봇의 현재 위치가 표시될 수 있도록 하기 위함이다.
이때, 맵은 청소 영역을 복수의 영역으로 구분되고, 복수의 영역을 연결하는 연결통로가 포함하며, 영역 내의 장애물에 대한 정보를 포함한다. 청소 영역에 대한 구분은, 앞서 설명한 바와 같이 구역구분모듈(142)에 의해 소영역 및 대영역으로 구분된다.
제어부(140)는 청소명령이 입력되면, 맵 상의 위치와 이동 로봇의 현재위치가 일치하는지 여부를 판단한다. 청소명령은 리모컨, 입력부 또는 이동 단말기로부터 입력될 수 있다.
제어부(140)는 현재 위치가 맵 상의 위치와 일치하지 않는 경우, 또는 현재 위치를 확인할 수 없는 경우, 현재 위치를 인식하여 이동 로봇(100)의 현재 위치를 복구한 한 후, 현재 위치를 바탕으로 지정영역으로 이동하도록 주행부다.
현재 위치가 맵 상의 위치와 일치하지 않는 경우 또는 현재 위치를 확인 할 수 없는 경우, 인식모듈(144)은 영상획득부(120)로부터 입력되는 획득영상을 분석하여 맵을 바탕으로 현재 위치를 추정할 수 있다. 또한, 구역구분모듈(142) 또는 학습모듈(143) 또한, 앞서 설명한 바와 같이 현재 위치를 인식할 수 있다.
위치를 인식하여 이동 로봇(100)의 현재 위치를 복구한 후, 주행제어모듈(141)은 현재 위치로부터 지정영역으로 이동 경로를 산출하고 주행부(160)를 제어하여 지정영역으로 이동한다.
이동 단말기로부터 복수의 영역 중, 적어도 하나의 영역이 선택되는 경우, 주행제어모듈(141)은 선택된 영역을 지정영역으로 설정하고, 이동 경로를 산출한다. 주행제어모듈(141)은 지정영역 이동 후, 청소를 수행한다.
한편, 복수의 영역이 지정영역으로 선택된 경우, 주행제어모듈(141)은 복수의 영역 중 우선영역이 설정되었는지 여부 또는 선택된 복수의 지정영역에 대한 청소순서가 설정되었는지 여부를 판단한 후, 지정영역으로 이동하여 청소를 수행한다.
주행제어모듈(141)은 복수의 지정영역 중 어느 하나가 우선영역으로 설정된 경우, 복수의 지정영역 중 우선영역으로 이동하여, 우선영역을 제일 먼저 청소한 후 나머지 지정영역으로 이동하여 청소하도록 한다. 또한, 지정영역에 대한 청소순서가 설정된 경우 주행제어모듈(141)은 지정된 청소순서에 따라 지정영역을 순차적으로 이동하면서 청소를 수행한다.
또한, 주행제어모듈(141)은 맵 상의 복수의 영역에 대한 구분에 관계없이 새롭게 임의의 영역이 설정되는 경우, 설정된 지정영억으로 이동하여 청소를 수행하도록 한다.
제어부(140)는 설정된 지정영역에 대한 청소가 완료되면, 청소기록을 저장부(150)에 저장한다.
제어부(140)는 통신부(190)를 통해 이동 로봇(100)의 동작상태 또는 청소상태를 소정 주기로 이동 단말기로 전송한다. 그에 따라 이동 단말기는 수신되는 데이터를 바탕으로, 실행중인 어플리케이션의 화면상에 맵과 함게 이동 로봇의 위치를 표시하고, 또한 청소상태에 대한 정보를 출력한다.
출력부(180)는, 영상을 출력하는 디스플레이부(미도시) 및 음향을 출력하는 음향 출력부(180)를 포함할 수 있다. 예를 들어, 음향 출력부(180)는 스피커일 수 있다.
출력부(180)는, 제어부(140)의 제어에 따라 각종 정보를 출력할 수 있다. 예를 들어, 출력부(180)는, 제어부(140)에 제어에 따라, 주행 구역에 배치된 가전 장치의 종류 및 위치가 표시된 맵인 가전 장치 맵을 출력할 수 있다.
본 발명에 따른 이동 로봇(100)은, 카메라로 획득한 영상에서 검출된 특징점들을 이용하여 현재 위치를 판단할 수 있다. 이동 로봇(100)은, SLAM(Simultaneous Localization And Map-Building)을 통하여 판단된 위치 정보에 기초하여 주행 구역에 대한 맵을 생성할 수 있다.
이하, 도 6 내지 도 8을 참조하여 본 발명에 따른 이동 로봇(100)이 가전 장치의 종류, 위치, 및 동작 상태를 판단하고, 가전 장치 맵을 출력하는 과정을 설명한다.
도 6 내지 도 8은 본 발명에 따른 이동 로봇(100)의 동작을 설명하기 위한 순서도이다.
도 6을 참조하면, 제어부(140)는, 영상 획득부(120)를 통하여 본체 주변의 영상을 획득할 수 있다(S100).
제어부(140)는, 주행 구역 내에서 본체를 이동시키면서 영상 획득부(120)를 통하여 영상을 획득할 수 있다. 예를 들어, 제어부(140)는, 영상 획득부(120)를 통하여, 본체의 전방, 후방, 좌측, 우측, 상단 방향의 영상을 획득할 수 있다. 이를 위하여, 이동 로봇(100)은, 적어도 하나의 영상 획득부(120)를 구비할 수 있다.
제어부(140)는, 획득되는 영상에서 가전 장치가 검출되는지 판단할 수 있다(S200).
제어부(140)는, 획득되는 영상에 나타나는 각종 오브젝트를 검출하고, 검출된 오브젝트가 가전 장치인지 판단할 수 있다.
제어부(140)는, 영상에서 검출된 가전 장치의 종류 및 위치를 판단할 수 있다(S300).
제어부(140)가 획득된 영상에서 가전 장치를 검출하고, 검출된 가전 장치의 종류 및 위치를 판단하는 과정을 동시에 이루어질 수 있다.
제어부(140)는, 영상 획득부(120)를 통하여 획득되는 영상에 기초하여, 주행 구역 내 배치된 가전 장치의 종류 및 위치를 판단할 수 있다.
본체가 주행 구역 내에서 주행하는 경우, 제어부(140)는, 주행 구역 내에 대한 다양한 영상을 획득할 수 있다. 주행 구역 내에 대한 다양한 영상에는, 주행 구역에 배치된 다양한 가전 장치들이 나타날 수 있다. 예를 들어, 주행 구역의 천장을 촬영한 영상에는 천장에 배치된 조명 장치가 나타날 수 있고, 주행 구역의 벽면을 촬영한 영상에서는 벽면에 배치된 냉장고, 공기 조화기, 세탁기, 전자 레인지, TV 등이 나타날 수 있다.
제어부(140)는, 영상에 기초하여 딥러닝을 수행함으로써, 가전 장치의 종류를 판단할 수 있다. 본 발명의 실시예에서 가전 장치의 종류는, 가전 장치의 모델명, 기능, 제조사, 외형 등을 포함하는 개념일 수 있다.
딥러닝은 기계 학습 과정을 이용하여 데이터를 분석하는 것이다. 딥러닝은, 제어부(140)가 연결된 네트워크 망 및 저장부(150)에 존재하는 데이터에 기초하여, 영상에 나타나는 이미지를 분석하는 것이다.
예를 들어, 딥러닝은, 심층 신경망(DNN, Deep Neural Network)을 이용한 이미지 분석일 수 있다. 심층 신경망은, 입력 계층(input layer)과 출력 계층(output layer) 사이에 복수개의 은닉 계층(hidden layer)들로 이뤄진 인공신경망(ANN, Artificial Neural Network)이다. 심층 신경망은 복잡한 비선형 관계(non-linear relationship)들을 모델링할 수 있다. 이미지에 나타나는 사물울 식별하기 위한 심층 신경망 구조에서는, 이미지를 구성하는 요소들이 계층적 구조로 표현될 수 있다. 이러한 계층적 구조를 통하여 이미지에 나타나는 객체가 분석될 수 있다.
제어부(140)는, 획득되는 영상에 기초하여 딥러닝을 수행할 수 있다. 제어부(140)는, 획득되는 영상을 이용하여 딥러닝을 수행함으로써, 영상에 나타나는 오브젝트가 무엇인지 판단할 수 있다. 예를 들어, 제어부(140)는, 냉장고가 나타나는 영상에 기초하여 딥러닝을 수행함으로써, 영상에 나타나는 냉장고의 모델명, 제조사, 기능 등을 판단할 수 있다.
제어부(140)는, 획득되는 영상에 기초하여, 본체의 현재 위치를 판단할 수 있고, 본체의 위치 및 영상에 나타나는 가전 장치의 위치에 기초하여 주행 구역 내에서의 가전 장치의 위치를 판단할 수 있다.
제어부(140)는, 가전 장치의 종류 및 위치가 판단되면, 가전 장치 맵을 생성하고, 출력할 수 있다(S400).
저장부(150)에는 주행 구역의 지도 정보인 주행 구역의 맵(map)이 저장된다. 제어부(140)는, 주행 구역의 맵에 기초하여, 가전 장치의 종류 및 위치 중 적어도 하나가 표시된 주행 구역의 맵인 가전 장치 맵을 생성할 수 있다. 가전 장치 맵은 주행 구역맵에 가전 장치의 종류를 나타내는 아이콘이 표시된 지도 영상이다. 가전 장치에 대응하는 아이콘은, 주행 구역의 맵 내에서, 실제 가전 장치의 위치에 대응하는 지점에 표시될 수 있다.
제어부(140)는, 가전 장치 맵을, 기 설정된 이동 단말기 또는 출력부(180) 중 적어도 하나를 통하여 출력할 수 있다. 이 경우, 이동 로봇(100)과 연결된 이동 단말기나 이동 로봇(100)에 구비된 출력부(180)를 통하여 가전 장치 맵이 출력될 수 있다.
기 설정된 이동 단말기는, 이동 로봇(100)과 통신을 수행할 수 있다. 가전 장치 맵이 이동 단말기를 통하여 출력되는 경우, 제어부(140)는, 통신부(190)를 통하여 생성된 가전 장치 맵 데이터를 이동 단말기로 전송할 수 있다. 이동 단말기는 제어부(140)가 전송하는 가전 장치 맵을 디스플레이부에 표시할 수 있다. 이에 따라, 사용자는 이동 단말기를 통하여 주행 구역 내에서 어떤 가전 장치가 어떤 위치에 배치되는지 확인할 수 있다.
제어부(140)는, 가전 장치의 동작 상태를 판단할 수 있다(S500).
제어부(140)는, 통신부(190)를 통하여 수신되는 정보, 및 영상 획득부(120)를 통하여 획득되는 영상 중 적어도 하나에 기초하여, 가전 장치의 동작 상태를 판단할 수 있다. 이 경우 통신부(190)를 통하여 수신되는 정보는 가전 장치의 동작 상태를 나타내는 데이터일 수 있다. 가전 장치는 동작 상태에 대응하는 데이터를 이동 로봇(100)으로 전송할 수 있다.
가전 장치의 동작 상태는, 가전 장치가 수행하고 있는 동작에 관련된 각종 정보를 포함할 수 있다. 예를 들어, 냉장고의 동작 상태는, 각 칸의 설정 온도, 문 열림 여부 등을 포함할 수 있다. 예를 들어, 세탁기의 동작 상태는, 수행 중인 세탁 코스, 세탁 종료까지 남은 시간 등을 포함할 수 있다. 예를 들어, 공기 조화기의 동작 상태는 수행 중인 운전의 종류 및 설정, 설정 온도, 풍량 등을 포함할 수 있다.
제어부(140)는, 가전 장치의 동작 상태를 판단하기 전, 통신부(190)를 통하여 수신되는 정보에 기초하여, 가전 장치가 통신 가능한 장치인지 판단할 수 있다. 제어부(140)는, 통신부(190)를 통하여 통신 가능한 가전 장치를 감지할 수 있다.
이동 로봇(100)과 가전 장치는, 통신으로 연결될 수 있다. 예를 들어, 이동 로봇(100)과 가전 장치는, 블루투스(Bluetooth), 지그비(Zigbee), 와이 파이(Wi-Fi), 기타 근거리 무선 통신, 네트워크 통신망 기술 등을 통하여 통신을 수행할 수 있다. 이동 로봇(100)과 가전 장치는 각종 신호나 정보를 송수신할 수 있다. 예를 들어, 가전 장치는, 자신의 종류, 위치, 및 동작 상태 중 적어도 하나에 대응하는 데이터를 이동 로봇(100)에 전송할 수 있다. 예를 들어, 이동 로봇(100)의 제어부(140)는, 통신부(190)를 통하여 가전 장치가 전송하는 데이터를 수신하고, 가전 장치를 제어하기 위한 제어 신호를 가전 장치로 전송함으로써, 가전 장치를 원격으로 제어할 수 있다.
제어부(140)는, 위치 및 종류가 판단된 가전 장치가 통신 가능한 가전 장치로서 감지되는 경우, 영상 획득부(120)가 획득하는 영상, 및 가전 장치가 전송하는 정보 중 적어도 하나에 기초하여, 가전 장치의 동작 상태를 판단할 수 있다. 제어부(140)는, 획득되는 영상에 나타나는 가전 장치의 이미지를 딥러닝 과정으로 분석하여 가전 장치의 동작 상태를 판단할 수 있다. 제어부(140)는, 가전 장치가 전송하는 동작 상태에 대한 데이터에 기초하여, 가전 장치의 동작 상태를 판단할 수 있다.
예를 들어, 제어부(140)는, 세탁기가 전송하는 동작 상태 정보에 기초하여, 세탁기가 수행 중이 동작 및 세탁 종료시까지 남은 시간 등을 판단할 수 있다. 예를 들어, 제어부(140)는, 획득되는 영상에 나타나는 TV의 이미지에 기초하여, TV가 켜져 있는지 및 현재 채널이 무엇인지 등을 판단할 수 있다.
제어부(140)는, 종류 및 위치가 판단된 가전 장치가 통신 가능한 장치가 아닌 경우, 영상에 나타나는 가전 장치의 이미지에 기초하여, 가전 장치의 동작 상태를 판단할 수 있다.
제어부(140)는, 가전 장치의 동작 상태를 출력할 수 있다(S600).
제어부(140)는, 판단된 가전 장치의 동작 상태를 기 설정된 이동 단말기 또는 출력부(180)를 통하여 출력할 수 있다. 예를 들어, 제어부(140)는, 가전 장치의 동작 상태를 나타내는 문구나 인디케이터를 이동 단말기 또는 출력부(180)에 표시할 수 있다.
제어부(140)는, 가전 장치의 종류, 위치, 및 동작 상태 중 적어도 하나가 표시된 주행 구역의 맵인 가전 장치 맵을 생성할 수 있다. 이 경우, 가전 장치 맵에는 가전 장치의 종류 및 위치뿐만 아니라 동작 상태까지 표시될 수 있다. 제어부(140)는, 생성된 가전 장치 맵을 기 설정된 이동 단말기 또는 출력부(180) 중 적어도 하나를 통하여 출력할 수 있다.
제어부(140)는, 가전 장치의 원격 제어 가부를 판단할 수 있다.
제어부(140)는, 가전 장치가 통신 가능한 장치인 경우, 통신부(190)를 통하여 가전 장치로 제어 신호를 전송할 수 있다. 제어부(140)는, 제어 신호를 전송한 후, 가전 장치로부터 제어 신호에 대한 피드백 신호가 수신되거나, 획득되는 영상에 기초하여 가전 장치가 제어 신호에 따라 동작하는 것으로 판단되는 경우, 가전 장치가 원격 제어 가능한 것으로 판단할 수 있다.
제어부(140)는, 가전 장치가 통신이 불가한 장치인 경우, 기 판단된 가전 장치의 종류에 따라 가전 장치의 제어 방법을 판단할 수 있다. 가전 장치가 제어되는 방식은 가전 장치의 종류에 따라 판단될 수 있다. 가전 장치의 종류에는 구체적인 모델명 및 스펙에 대한 정보가 포함될 수 있다. 이에 따라, 제어부(140)는, 가전 장치의 종류를 판단함으로써, 가전 장치의 원격 제어 방법을 판단할 수 있다. 이 경우 제어부(140)는, 판단된 원격 제어 방법에 따라 제어 신호를 전송하여 가전 장치가 원격 제어 되는지 확인할 수 있다.
예를 들어, 특정 모델명의 TV가 적외선 신호를 통하여 원격 제어될 수 있는 가전 장치인 경우, 제어부(140)는, 상기 TV의 종류를 판단함으로써 상기 TV를 적외선 신호로 제어할 수 있다고 판단할 수 있다. 이 경우, 제어부(140)는, 상기 TV로 적외선 신호를 송출하고, 획득되는 영상을 통하여 상기 TV가 송출된 적외선 신호에 대응하여 동작하는지 확인할 수 있다. 제어부(140)는, 상기 TV가 송출된 적외선 신호에 대응하여 동작하면, 최종적으로 상기 TV가 적외선 신호로 원격 제어 가능하다고 판단할 수 있다.
제어부(140)는, 가전 장치의 원격 제어 가부를 기 설정된 이동 단말기 또는 출력부(180)를 통하여 출력할 수 있다.
제어부(140)는, 종류 및 위치가 판단된 가전 장치의 원격 제어 가부가 판단되는 경우, 가전 장치의 종류, 위치, 및 원격 제어 가부 중 적어도 하나가 표시된 주행 구역의 맵인 가전 장치 맵을 생성할 수 있다. 제어부(140)는, 생성된 가전 장치 맵을 이동 단말기 또는 출력부(180)를 통하여 출력할 수 있다.
제어부(140)는, 기 설정된 이동 단말기 또는 입력부(137)를 통하여, 가전 장치 맵에 나타난 복수의 가전 장치 중 하나에 대한 제어 명령이 수신되는 경우, 제어 명령에 기초하여, 선택된 가전 장치를 원격 제어할 수 있다.
이동 단말기 또는 입력부(137)를 통하여 수신되는 제어 명령은, 복수의 가전 장치 중 하나를 선택하고, 선택된 가전 장치가 수행할 동작을 지정하는 명령일 수 있다. 예를 들어, 이동 단말기에 가전 장치 맵이 표시되고, 가전 장치 맵에 표시된 복수의 가전 장치 각각에 대응하는 아이콘 중 세탁기에 대응하는 아이콘을 선택하는 터치 입력이 수신되는 경우, 이동 단말기는 선택된 세탁기가 수행할 동작에 대한 명령을 추가로 입력받을 수 있다. 이동 단말기는, 세탁기가 수행할 동작에 대한 명령의 입력이 완료되면, 제어 명령을 생성하여 이동 로봇(100)으로 전송할 수 있다. 제어부(140)는, 통신부(190)를 통하여 수신되는 제어 명령에 대응하여, 선택된 세탁기가 선택된 동작을 수행하도록 하는 제어 신호를 생성하여 선택된 세탁기로 전송할 수 있다. 선택된 세탁기는, 이동 로봇(100)으로부터 전송되는 제어 신호에 대응하여 선택된 동작을 수행할 수 있다.
제어부(140)는, 선택된 가전 장치의 원격 제어 방식에 대응하는 제어 가능 영역으로 본체를 이동시키고, 선택된 가전 장치를 원격 제어할 수 있다.
제어 가능 영역은, 이동 로봇(100)이 특정 가전 장치를 제어하기 위하여 본체가 위치해야 하는 영역이다. 본체가 제어 가능 영역에 위치하는 경우, 이동 로봇(100)은 가전 장치를 원격 제어할 수 있다.
이동 로봇(100)과 가전 장치의 통신 방식이나 가전 장치의 원격 제어 방식에 따라 제어 가능 영역이 존재할 수 있다. 예를 들어, 적외선 신호로 원격 제어되는 가전 장치의 경우, 적외선 신호가 가전 장치에 도달할 수 있는 영역이 제어 가능 영역일 수 있다. 와이 파이 통신을 통하여 제어 신호를 수신하는 가전 장치의 경우, 와이 파이 신호가 수신되는 영역이 제어 가능 영역일 수 있다. 블루투스나 지그비와 같은 근거리 무선 통신을 통하여 제어 신호를 수신하는 가전 장치의 경우, 가전 장치로부터 근거리 무선 통신이 가능한 거리 이내의 영역이 제어 가능 영역일 수 있다.
제어부(140)는, 가전 장치의 종류에 포함되는 스펙 정보, 가전 장치의 위치 정보, 및 주행 구역의 맵 정보에 기초하여, 가전 장치 별 제어 가능 영역을 판단할 수 있다. 예를 들어, 적외선 신호로 제어되는 TV의 전원을 온시키는 제어 명령이 수신되는 경우, 제어부(140)는, TV로 적외선 신호를 전송할 수 있는 제어 가능 영역을 판단할 수 있다. 제어부(140)는, 본체를 TV의 제어 가능 영역으로 이동시키고, TV의 전원을 온시키는 적외선 신호를 TV로 전송할 수 있다. 이 경우, TV의 전원이 켜질 수 있다.
이에 따라, 사용자는 이동 로봇(100)과 통신 연결된 이동 단말기나 리모컨을 활용하여 주행 구역 내에 존재하는 다양한 가전 장치를 제어할 수 있다.
도 7은 이동 로봇(100)이 가전 장치의 위치 및 종류를 판단하는 구체적인 과정을 설명하기 위한 순서도이다.
제어부(140)는, 영상에서 가전 장치가 검출되는 경우, 검출된 가전 장치의 종류 및 위치를 판단할 수 있다(S300).
제어부(140)는, 획득되는 영상에 기초하여, 가전 장치의 위치를 판단할 수 있다(S310).
제어부(140)는, 획득되는 영상에 기초하여, 본체의 현재 위치를 판단할 수 있다. 제어부(140)는, 판단된 본체의 위치와 영상에서의 가전 장치가 존재하는 방향 및 위치에 기초하여, 주행 구역 내에서의 가전 장치의 위치를 판단할 수 있다.
제어부(140)는, 가전 장치의 위치가 판단되는 경우, 판단된 가전 장치의 위치를 주행 구역의 맵에 표시함으로써, 가전 장치 맵을 생성하고 출력할 수 있다(S400).
제어부(140)는, 가전 장치의 위치가 판단되지 않는 경우, 기 설정된 이동 단말기나 입력부(137)를 통하여 가전 장치의 위치를 수동 입력받을 수 있다(S320).
이를 위하여, 제어부(140)는, 가전 장치의 위치가 판단되지 않는 경우, 이동 단말기나 출력부(180)를 통하여, 가전 장치의 위치를 판단할 수 없음을 알리는 메시지와, 가전 장치의 위치를 사용자가 직접 입력할 수 있도록 하는 입력 메뉴를 출력할 수 있다. 이 경우, 제어부(140)는, 위치가 판단되지 않는 가전 장치가 나타난 영상을 함께 출력할 수 있다.
제어부(140)는, 이동 단말기나 입력부(137)를 통하여 가전 장치의 위치가 입력되는 경우, 입력된 가전 장치의 위치를 주행 구역의 맵에 표시할 수 있다(S400).
제어부(140)는, 영상 획득부(120)를 통하여 획득되는 영상에 기초하여, 주행 구역 내 배치된 가전 장치의 종류를 판단할 수 있다(S330).
제어부(140)는, 영상에 기초하여 딥러닝을 수행함으로써, 가전 장치의 종류를 판단할 수 있다. 이에 따라, 제어부(140)는, 가전 장치의 모델명, 제조사, 제어 방식, 구동 방식, 타입, 기타 각종 스펙을 판단할 수 있다. 예를 들어, 제어부(140)는, 검출된 가전 장치가 세탁기인 것을 판단할 수 있고, 세탁기의 모델명, 제조사, 기능 등도 판단할 수 있다.
제어부(140)는, 가전 장치의 종류가 판단되는 경우, 판단된 가전 장치의 종류를 주행 구역의 맵에 표시함으로써, 가전 장치 맵을 생성하고 출력할 수 있다(S400).
제어부(140)는, 가전 장치의 종류가 판단되지 않는 경우, 기 설정된 이동 단말기나 입력부(137)를 통하여 가전 장치의 종류를 수동 입력받을 수 있다(S340).
이를 위하여, 제어부(140)는, 가전 장치의 종류가 판단되지 않는 경우, 이동 단말기나 출력부(180)를 통하여, 가전 장치의 종류를 판단할 수 없음을 알리는 메시지와, 가전 장치의 종류를 사용자가 직접 입력할 수 있도록 하는 입력 메뉴를 출력할 수 있다. 이 경우, 제어부(140)는, 종류가 판단되지 않는 가전 장치가 나타난 영상을 함께 출력할 수 있다.
제어부(140)는, 이동 단말기나 입력부(137)를 통하여 가전 장치의 종류가 입력되는 경우, 입력된 가전 장치의 종류를 주행 구역의 맵에 표시할 수 있다(S400).
제어부(140)가 검출된 가전 장치의 종류 및 위치를 판단하는 과정은 동시에 이루어질 수 있다.
도 8은 이동 로봇(100)이 가전 장치의 동작 상태를 판단하는 구체적인 과정을 설명하기 위한 순서도이다.
제어부(140)는, 가전 장치의 동작 상태를 판단할 수 있다(S500).
제어부(140)는, 통신부(190)를 통하여 수신되는 정보에 기초하여, 가전 장치가 통신 가능한 장치인지 판단할 수 있다(S510).
제어부(140)는, 통신부(190)를 통하여 통신 가능한 가전 장치를 감지할 수 있다. 제어부(140)는, 통신 가능한 것으로 감지되는 가전 장치와 종류 및 위치가 판단된 가전 장치를 매칭시킴으로써, 종류 및 위치가 판단된 가전 장치가 통신 가능한 장치인지 판단할 수 있다.
제어부(140)는, 위치 및 종류가 판단된 가전 장치가 통신 가능한 장치라고 판단되는 경우, 영상 획득부(120)가 획득하는 영상, 및 가전 장치가 전송하는 정보 중 적어도 하나에 기초하여, 가전 장치의 동작 상태를 판단할 수 있다(S520).
제어부(140)는, 획득되는 영상에 나타나는 가전 장치의 이미지를 딥러닝 과정으로 분석하여 가전 장치의 동작 상태를 판단할 수 있다. 제어부(140)는, 가전 장치가 전송하는 동작 상태에 대한 데이터에 기초하여, 가전 장치의 동작 상태를 판단할 수 있다.
제어부(140)는, 위치 및 종류가 판단된 가전 장치가 통신 가능한 장치가 아니라고 판단되는 경우, 영상에 나타나는 가전 장치의 이미지에 기초하여, 가전 장치의 동작 상태를 판단할 수 있다(S530).
이 경우, 가전 장치가 동작 상태에 대응하는 데이터를 전송할 수 없으므로, 제어부(140)는, 획득되는 영상에 나타나는 가전 장치의 이미지를 딥러닝 과정으로 분석하여 가전 장치의 동작 상태를 판단할 수 있다.
제어부(140)는, 가전 장치의 동작 상태가 판단되는 경우, 가전 장치의 동작 상태를 출력할 수 있다(S600).
제어부(140)는, 판단된 가전 장치의 동작 상태를 기 설정된 이동 단말기 또는 출력부(180)를 통하여 출력할 수 있다. 예를 들어, 제어부(140)는, 가전 장치의 동작 상태를 나타내는 문구나 인디케이터를 이동 단말기 또는 출력부(180)에 표시할 수 있다.
제어부(140)는, 가전 장치의 종류, 위치, 및 동작 상태 중 적어도 하나가 표시된 주행 구역의 맵인 가전 장치 맵을 생성할 수 있다. 이 경우, 가전 장치 맵에는 가전 장치의 종류 및 위치뿐만 아니라 동작 상태까지 표시될 수 있다. 제어부(140)는, 생성된 가전 장치 맵을 기 설정된 이동 단말기 또는 출력부(180) 중 적어도 하나를 통하여 출력할 수 있다.
제어부(140)는, 가전 장치의 동작 상태를 판단할 수 없는 경우, 가전 장치가 나타나는 영상을, 이동 단말기나 출력부(180)로 출력할 수 있다(S700).
이 경우, 이동 단말기나 출력부(180)로 영상이 표시되므로, 사용자가 직접 영상을 보고 가전 장치의 동작 상태를 판단할 수 있다.
도 9는 본 발명에 따른 이동 로봇(100)이 가전 장치의 위치 및 종류를 판단하는 과정을 설명하기 위한 도면이다.
(a)를 참조하면, 이동 로봇(100)은, 주행 구역을 이동하면서 주변 영상을 획득할 수 있다. 이동 로봇(100)은, 주행 구역의 모든 영역을 이동하면서, 주행 구역에 존재하는 대부분의 영역을 촬영할 수 있다.
주변 영상은, 본체의 전방, 후방, 좌측, 우측, 상단 중 적어도 하나의 방향에 대한 영상일 수 있다.
(b)를 참조하면, 제어부(140)는, 영상 획득부(120)를 통하여 가전 장치가 나타나는 영상(601)을 획득할 수 있다.
제어부(140)는, 획득되는 영상에 나타나는 오브젝트를 검출할 수 있다. 제어부(140)는, 획득되는 영상(601)에 기초하여 딥러닝 과정을 수행함으로써, 영상(601)에 나타나는 오브젝트가 무엇인지 판단할 수 있다.
(c)를 참조하면, 제어부(140)는, 획득되는 영상(601)에 기초하여 딥러닝 과정을 수행함으로써, 영상에 나타나는 오브젝트가 어떤 종류의 가전 장치인지 판단할 수 있다.
딥러닝은, 심층 신경망(DNN, Deep Neural Network)을 이용한 이미지 분석일 수 있다. 심층 신경망은, 입력 계층(input layer)과 출력 계층(output layer) 사이에 복수개의 은닉 계층(hidden layer)들로 이뤄진 인공신경망(ANN, Artificial Neural Network)이다. 심층 신경망은 복잡한 비선형 관계(non-linear relationship)들을 모델링할 수 있다. 이미지에 나타나는 사물울 식별하기 위한 심층 신경망 구조에서는, 이미지를 구성하는 요소들이 계층적 구조로 표현될 수 있다. 이러한 계층적 구조를 통하여 이미지에 나타나는 객체가 분석될 수 있다.
제어부(140)는, 획득되는 영상(601)에 기초하여 딥러닝을 수행할 수 있다. 제어부(140)는, 획득되는 영상(601)을 이용하여 딥러닝을 수행함으로써, 영상(601)에 나타나는 오브젝트가 무엇인지 판단할 수 있다. 예를 들어, 제어부(140)는, 가전 장치 중 공기 조화기(500)가 나타나는 영상에 기초하여 딥러닝을 수행함으로써, 영상에 나타나는 오브젝트가 공기 조화기(500)라는 것과, 공기 조화기(500)의 모델명, 제조사, 제조일자 등을 판단할 수 있다.
(d)를 참조하면, 제어부(140)는, 획득되는 영상에 기초하여, 본체의 현재 위치를 판단할 수 있고, 본체의 위치 및 영상에 나타나는 가전 장치의 위치에 기초하여 주행 구역 내에서의 가전 장치의 위치를 판단할 수 있다.
제어부(140)는, 판단된 가전 장치의 위치에 대응하는 주행 구역 맵의 일 지점에 가전 장치를 나타나는 아이콘을 표시할 수 있다. 가전 장치의 위치가 표시된 가전 장치 맵은, 이동 단말기나 출력부(180)를 통하여 출력될 수 있다.
도 10 및 도 11은 본 발명에 따른 이동 로봇(100)이 출력하는 가전 장치 맵을 설명하기 위한 도면이다.
도 10을 참조하면, 제어부(140)는, 이동 단말기(300)를 통하여 가전 장치 맵을 출력할 수 있다. 이 경우, 이동 단말기(300)의 디스플레이부에는 가전 장치 맵이 표시될 수 있다.
제어부(140)는, 통신부(190)를 통하여, 가전 장치 맵에 대응하는 데이터를 이동 단말기로 전송할 수 있고, 이동 단말기는, 제어부(140)가 전송한 데이터에 대응하는 가전 장치 맵을 표시할 수 있다.
가전 장치 맵은, 가전 장치의 동작 상태 및 이동 로봇(100)의 이동 상황에 대응하여 움직이는 영상의 형태일 수 있다. 예를 들어, 가전 장치 맵에 표시된 특정 가전 장치의 동작 상태가 변화하는 경우, 동작 상태가 변화한 가전 장치에 대응하는 아이콘이 변화하거나, 아이콘과 함께 표시되는 문구가 변화될 수 있다.
제어부(140)는, 이동 로봇(100)이 주행 구역을 이동하면서 획득한 영상으로부터 조명 장치(501, 502, 504, 505, 506, 507)의 위치를 판단하고, 조명 장치(501, 502, 504, 505, 506, 507)로부터 수신되는 동작 상태 정보에 기초하여 각 조명 장치(501, 502, 504, 505, 506, 507)의 동작 상태를 판단할 수 있다. 조명 장치(501, 502, 504, 505, 506, 507)가 통신이 안되는 경우, 제어부(140)는, 획득되는 영상에 기초하여, 조명 장치(501, 502, 504, 505, 506, 507)의 동작 상태를 판단할 수도 있다.
제어부(140)는, 주행 구역 맵에 각 조명 장치(501, 502, 504, 505, 506, 507)에 대응하는 아이콘을 각 조명 장치(501, 502, 504, 505, 506, 507)의 위치에 대응하는 지점에 표시할 수 있다. 제어부(140)는, 각 조명 장치(501, 502, 504, 505, 506, 507)의 동작 상태를 나타내는 문구를 각 조명 장치(501, 502, 504, 505, 506, 507)의 아이콘과 함께 표시할 수 있다.
제어부(140)는, 이동 로봇(100)이 주행 구역을 이동하면서 획득한 영상으로부터 공기 조화기(511), TV(512), 냉장고(510), 세탁기(503), 환풍기(509), 컴퓨터(508)의 위치를 판단하고, 공기 조화기(511), TV(512), 냉장고(510), 세탁기(503), 환풍기(509), 컴퓨터(508)로부터 수신되는 정보에 기초하여, 각 가전 장치의 동작 상태를 판단할 수 있다. 제어부(140)는, 각 가전 장치에 대응하는 아이콘 및 동작 상태를 나타내는 문구를, 주행 구역 맵 상에서 각 가전 장치의 위치에 대응하는 일 지점에 표시할 수 있다. 도면과 달리, 각 가전 장치의 동작 상태는, 문구 이외의 인디케이터로 표시될 수도 있다.
도 11을 참조하면, 이동 단말기(300)는, 가전 장치 맵에 표시된 아이콘 중 하나가 선택되는 입력이 수신되면, 선택된 아이콘에 대응하는 가전 장치가 선택된 것으로 판단할 수 있다.
이동 단말기(300)는, 가전 장치 맵에 표시된 아이콘 중 하나가 선택되는 입력이 수신되면, 선택된 아이콘에 대응하는 가전 장치에 대한 제어 명령을 수신하기 위한 제어 메뉴(301)를 화면에 표시할 수 있다.
제어 메뉴(301)는, 선택된 가전 장치가 수행할 수 있는 동작에 대응하는 버튼을 포함할 수 있다. 예를 들어, 이동 단말기는, TV에 대응하는 아이콘(512)이 선택되는 경우, TV를 제어하기 위한 제어 메뉴(301)를 화면에 표시할 수 있다. 이동 단말기(300)는, TV를 제어하기 위한 제어 메뉴(301)에 TV가 수행할 수 있는 동작인 채널 변경, 음량 조정, 및 전원에 대응하는 버튼들을 표시할 수 있다.
이동 단말기(300)는 제어 메뉴(301)에 대응하는 입력이 수신되는 경우, 선택된 가전 장치에 대한 제어 명령이 수신되는 것으로 판단할 수 있다. 이동 단말기(300)는, 제어 명령에 대응하는 신호를 이동 로봇(100)에 전송할 수 있다. 예를 들어, 이동 단말기(300)는, TV가 선택되고, 채널 변경에 대응하는 입력이 수신되는 경우, 사용자의 입력에 따라 선택된 TV의 채널을 변경하는 제어 명령을 이동 로봇(100)에 전송할 수 있다.
제어부(140)는, 이동 단말기(300)가 전송하는 제어 명령에 기초하여, 가전 장치를 원격 제어할 수 있다. 제어부(140)는, 제어 명령에 의하여 선택된 가전 장치가 제어 명령에 대응하는 동작을 수행하도록, 선택된 가전 장치에 제어 신호를 전송할 수 있다. 제어부(140)가 전송하는 제어 신호를 수신하는 가전 장치는, 제어 명령에 대응하는 동작을 수행할 수 있다. 예를 들어, 이동 단말기(300)를 통하여 TV의 채널 변경에 대응하는 제어 명령이 수신되는 경우, 제어부(140)는, 선택된 TV의 채널을 변경시키는 제어 신호를 TV로 전송함으로써, TV에서 출력되는 채널이 변경되도록 제어할 수 있다.
이하, 본 발명에 따른 이동 로봇(100)이 상황에 따라 다양한 가전 장치를 제어하는 실시예를 설명한다.
본 발명에 따른 이동 로봇(100)은, 오브젝트를 감지하는 센싱부(미도시)를 더 포함할 수 있다. 센싱부는, 일정 부피를 가지는 오브젝트를 감지할 수 있는 장치이다. 예를 들어, 센싱부는, 적외선 센서, 초음파 센서, 레이더, 및 라이다 중 적어도 하나를 포함할 수 있다. 이동 로봇(100)은 적어도 하나의 센싱부를 구비할 수 있다.
제어부(140)는, 센싱부를 통하여 본체 주변에 존재하는 오브젝트를 감지할 수 있다. 센싱부는, 오브젝트가 감지되는 경우, 오브젝트가 감지된 거리 및 방향에 대한 오브젝트 정보를 제어부(140)에 전달할 수 있다. 제어부(140)는, 센싱부가 전달하는 오브젝트 정보에 기초하여, 본체 주변에서 감지되는 오브젝트 위치를 판단할 수 있다.
제어부(140)는, 주행 구역에 배치된 복수의 가전 장치로부터 획득되는 정보, 영상 획득부(120)를 통하여 획득되는 영상 정보, 센싱부를 통하여 획득되는 오브젝트 정보, 및 통신부(190)를 통하여 획득되는 정보 중 적어도 하나에 기초하여, 복수의 가전 장치 중 적어도 하나를 제어할 수 있다.
본 발명의 일 실시예에서, 제어부(140)는, 주행 구역 내에서 청소를 수행하는 경우, 복수의 가전 장치 중 공기 상태를 감지하는 가전 장치로부터 획득되는 정보에 기초하여, 공기 상태를 판단하고, 판단된 공기 상태에 대응하여, 복수의 가전 장치 중 공기 상태에 영향을 미치는 가전 장치를 제어할 수 있다.
공기 상태는, 온도, 습도, 기압, 및 먼지의 양 중 적어도 하나를 포함하는 것이다. 공기 상태를 감지하는 가전 장치는, 온도, 습도, 기압, 및 먼저의 양 중 적어도 하나를 측정하는 장치일 수 있다. 예를 들어, 공기 상태를 감지하는 가전 장치는, 공기 조화기 또는 각종 측정 장치일 수 있다.
제어부(140)는, 청소를 수행하는 경우, 주행 구역 내에 존재하는 복수의 가전 장치 중 공기 상태에 영향을 미치는 가전 장치를 제어함으로써, 공기 상태를 조정할 수 있다. 공기 상태에 영향을 미치는 가전 장치는, 공기 조화기, 선풍기, 난방 장치, 냉방 장치, 공기 청정기 및 환풍기 등을 포함할 수 있다.
예를 들어, 제어부(140)는, 청소를 수행하는 경우, 공기 상태를 감지하는 가전 장치로부터 획득되는 정보에 기초하여, 주행 구역 내 먼지의 양이 설정량 이상인 것으로 판단되는 경우, 먼지의 양이 감소하도록, 주행 구역에 존재하는 공기 조화기, 공기 청정기, 및 환풍기 중 적어도 하나를 동작시킬 수 있다. 상기 설정량은, 먼지의 양에 대한 기준 값으로 실험에 의하여 결정될 수 있다. 설정량은 사용자가 설정할 수 있고, 저장부(150)에 저장된 값일 수 있다.
예를 들어, 제어부(140)는, 청소를 수행하는 경우, 획득되는 정보에 기초하여, 주행 구역의 온도, 습도, 및 기압 중 적어도 하나가 설정 범위를 벗어난 것으로 판단되는 경우, 온도, 습도, 및 기압 중 상기 설정 범위를 벗어난 값이 상기 설정 범위 내로 조정되도록, 주행 구역에 존재하는 공기 조화기, 공기 청정기, 냉방 장치, 난방 장치, 선풍기, 및 환풍기 중 적어도 하나를 동작시킬 수 있다. 상기 설정 범위는, 온도, 습도, 및 기압 각각에 대한 기준 범위일 수 있다. 설정 범위는 실험에 의하여 결정되거나 사용자가 설정한 것일 수 있다. 사용자가 설정한 설정 범위는, 저장부(150)에 저장될 수 있다.
본 발명의 일 실시예에서, 제어부(140)는, 방범 모드에서, 오브젝트 정보 및 영상 정보 중 적어도 하나에 기초하여, 이동하는 오브젝트가 존재한다고 판단되는 경우, 조명 장치를 동작시키고, 연락 장치를 통하여 비상 연락을 수행하고, 획득되는 영상을 저장할 수 있다.
방범 모드는, 이동 로봇(100)의 동작 모드 중 하나일 수 있다. 방범 모드에서 이동 로봇(100)은, 주행 구역에 제3자가 침입하는 것을 방지하기 위하여 침입자의 존재를 판단하고, 침입자가 감지되는 경우 이에 대응하는 동작을 수행할 수 있다.
제어부(140)는, 방범 모드에서 센싱부가 제공하는 오브젝트 정보 및 영상 획득부(120)가 제공하는 영상에 기초하여, 주행 구역에 침입자가 존재하는지 판단할 수 있다. 방범 모드에서, 제어부(140)는, 이동 로봇(100)이 주행 구역의 모든 영역을 감지할 수 있도록, 본체를 주행 구역 내에서 이동시킬 수 있다. 제어부(140)는, 본체의 이동 중, 오브젝트 정보 및 영상 정보 중 적어도 하나에 기초하여, 이동하는 오브젝트가 감지되는 경우, 감지되는 오브젝트가 침입자라고 판단할 수 있다.
제어부(140)는, 침입자가 감지되는 경우, 가전 장치에 포함되는 주행 구역 내의 조명 장치를 점등되도록 제어할 수 있다. 이에 따라, 주행 구역이 밝아지므로, 사용자가 침입자를 인지하거나, 영상 획득부(120)를 통하여 침입자에 대한 영상을 획득하는 것이 용이해질 수 있다.
제어부(140)는, 침입자가 감지되는 경우, 가전 장치에 포함되는 연락 장치를 통하여 비상 연락을 수행할 수 있다. 연락 장치는, 기 설정된 단말기로 메시지나 통화를 발신할 수 있는 장치이다. 비상 연락을 연락 장치가 기 설정된 단말기로 메시지나 통화를 발신하는 것일 수 있다. 예를 들어, 주행 구역에 존재하는 전화 장치는, 침입자가 감지되는 경우, 기 설정된 경찰서의 단말기로 전화를 발신함으로써, 비상 연락을 수행할 수 있다.
제어부(140)는, 침입자가 감지되는 경우, 영상 획득부(120)를 통하여 획득되는 영상을 저장부(150)에 저장할 수 있다. 제어부(140)는, 침입자가 검출되는 영상을 기 설정된 단말기에 전송할 수도 있다. 침입자가 나오는 영상은 차후 증거로 활용될 수 있다.
본 발명의 일 실시예에서, 제어부(140)는, 영상 정보에 기초하여 본체의 위치를 판단함에 있어서 조도가 필요한 것으로 판단되는 경우, 복수의 조명 장치 중 본체의 위치에 대응하는 적어도 하나를 점등시킬 수 있다.
제어부(140)는, 영상획득부(120)를 통하여 감지되는 조도가 설정 조도 이하인 경우, 가전 장치 맵에 기초하여, 주행 구역에 배치된 복수 개의 조명 장치 중, 본체(110)의 위치에 대응하는 것을 온 시킬 수 있다. 설정 조도는, 제어부(140)가 영상을 통하여 본체(110)의 위치를 판단하기 요구되는 최소한의 조도일 수 있다. 또한, 설정 조도는, 제어부(140)가 영상획득부(120)가 획득한 영상을 통하여 주변 장애물이나 주변 환경을 감지하고 판단하기 위하여 요구되는 조도일 수 있다. 설정 조도는 실험에 의하여 결정된 값일 수 있고 저장부에 저장된 값일 수 있다.
이동 로봇(100) 주변 환경의 조도가 이미 충분한 경우, 조명 장치를 온 시켜서 조도를 확보할 필요가 없으므로, 제어부(140)는, 주변 조도가 설정 조도를 초과하는 경우, 본체의 위치에 대응하는 조명 장치를 소등 시킴으로써, 에너지를 절약할 수 있다.
주행 구역(600)은, 복수 개의 방을 포함할 수 있고, 복수 개의 방에는, 각각 적어도 하나의 조명 장치(501, 502, 504, 505, 506, 507)가 배치될 수 있다. 이 경우, 가전 장치 맵은, 복수 개의 방 및 복수 개의 조명 장치(501, 502, 504, 505, 506, 507)가 나타날 수 있다.
제어부(140)는, 가전 장치 맵에 기초하여, 본체(110)가 진입하는 방에 배치된 조명 장치(501)를 온 시킬 수 있다. 제어부(140)는, 본체(110)가 진입하는 방에 배치된 조명 장치(501)을 온 시킴으로써, 주변 감지에 필요한 조도를 확보할 수 있다.
제어부(140)는, 가전 장치 맵에 기초하여, 본체(110)가 퇴장하는 방에 배치된 조명 장치(502, 504, 506, 507)를 오프 시킬 수 있다. 제어부(140)는, 본체(110)가 퇴장하는 방의 조명 장치를 오프시킴으로써, 에너지를 절약할 수 있다.
제어부(140)는, 이동 로봇(100)이 진입하는 방의 조명 장치(501)를 온 시키고, 진입했던 방에서 퇴장하는 경우 퇴장하는 방의 조명의 오프시킴으로써, 에너지 효율을 극대화할 수 있다.
본 발명의 다른 일 실시예에 따르면, 제어부(140)는, 영상획득부(120)를 통하여 획득되는 영상에 기초하여, 본체(110)의 위치를 판단하고, 영상의 조도가 낮아서 상기 본체(110)의 위치를 판단할 수 없다고 판단되는 경우, 복수 개의 조명 장치(501, 505)를 모두 온 시킬 수 있다. 주행 구역(600)에 배치된 조명 장치의 위치가 판단되지 않은 경우, 각 조명 장치의 위치를 알 수 없으므로, 제어부(140)는, 이동 로봇(100)의 현재 위치를 판단하기 위해서 추가적인 조도 확보가 필요하다고 판단되는 경우, 주행 구역(600) 내 모든 조명 장치를 온 시킬 수 있다.
본체(110)의 위치를 판단하기 위하여 필요한 최소한의 조도는 실험에 의하여 결정되어 저장부에 기 저장된 값일 수 있다. 제어부(140)는, 조명 장치의 위치를 알 수 없고, 현재 조도가 상기 최소한의 조도 이하인 경우, 주행 구역(600) 내 모든 조명 장치를 온 시킴으로써, 조도를 확보한 후, 이동 로봇(100)의 현재 위치를 판단할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 프로세서 또는 제어부를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100 : 이동 로봇

Claims (13)

  1. 본체;
    통신부;
    상기 본체를 이동시키는 주행부;
    상기 본체의 주변 영상을 획득하는 영상 획득부; 및
    상기 본체가 주행 구역 내에서 이동하도록 상기 주행부를 제어하는 제어부;
    상기 주행 구역의 맵이 저장된 저장부; 를 포함하고,
    상기 제어부는,
    상기 영상 획득부를 통하여 획득되는 영상에 기초하여, 적어도 하나의 오브젝트를 검출하고, 상기 오브젝트가 가전 장치인지 여부를 판단하여 상기 주행 구역 내 배치된 가전 장치의 종류 및 위치를 판단하여, 가전 장치 맵을 생성하고, 상기 통신부를 통하여 수신되는 정보에 기초하여, 상기 가전 장치가 통신 가능한 장치인지 판단하며,
    상기 가전 장치가 통신 가능한 장치인 경우, 상기 영상 획득부가 획득하는 영상, 및 상기 가전 장치가 전송하는 정보 중 적어도 하나에 기초하여, 상기 가전 장치의 동작 상태를 판단하고,
    상기 가전 장치가 통신 가능한 장치가 아닌 경우, 상기 영상에 나타나는 상기 가전 장치의 이미지에 기초하여, 상기 가전 장치의 동작 상태를 판단하여 상기 가전 장치를 제어하는 이동 로봇.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 영상에 기초하여 딥러닝을 수행함으로써, 상기 가전 장치의 종류를 판단하는 이동 로봇.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 주행 구역의 맵에 기초하여, 상기 가전 장치의 종류 및 위치 중 적어도 하나가 표시된 상기 주행 구역의 맵인 가전 장치 맵을 생성하고,
    상기 가전 장치 맵을, 기 설정된 이동 단말기 또는 출력부 중 적어도 하나를 통하여 출력하는 이동 로봇.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 제어부는,
    상기 가전 장치의 종류, 위치, 및 동작 상태 중 적어도 하나가 표시된 상기 주행 구역의 맵인 상기 가전 장치 맵을,
    기 설정된 이동 단말기 또는 출력부 중 적어도 하나를 통하여 출력하는 이동 로봇.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 가전 장치의 원격 제어 가부를 판단하고,
    상기 가전 장치의 종류, 위치, 및 원격 제어 가부 중 적어도 하나가 표시된 상기 주행 구역의 맵인 상기 가전 장치 맵을,
    기 설정된 이동 단말기 또는 출력부 중 적어도 하나를 통하여 출력하는 이동 로봇.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 이동 단말기 또는 입력부를 통하여, 상기 가전 장치 맵에 나타난 복수의 가전 장치 중 하나에 대한 제어 명령이 수신되는 경우,
    상기 제어 명령에 기초하여, 선택된 가전 장치를 원격 제어하는 이동 로봇.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 선택된 가전 장치의 원격 제어 방식에 대응하는 제어 가능 영역으로 상기 본체를 이동시키고, 상기 선택된 가전 장치를 원격 제어하는 이동 로봇.
  10. 제1항에 있어서,
    상기 오브젝트를 감지하는 센싱부; 를 더 포함하고,
    상기 제어부는,
    상기 주행 구역에 배치된 복수의 가전 장치로부터 획득되는 정보, 상기 영상 획득부를 통하여 획득되는 영상 정보, 상기 센싱부를 통하여 획득되는 오브젝트 정보, 및 상기 통신부를 통하여 획득되는 정보 중 적어도 하나에 기초하여,
    상기 복수의 가전 장치 중 적어도 하나를 제어하는 이동 로봇.
  11. 제10항에 있어서,
    상기 제어부는,
    상기 주행 구역 내에서 청소를 수행하는 경우,
    상기 복수의 가전 장치 중 공기 상태를 감지하는 가전 장치로부터 획득되는 정보에 기초하여, 공기 상태를 판단하고,
    상기 판단된 공기 상태에 대응하여, 상기 복수의 가전 장치 중 공기 상태에 영향을 미치는 가전 장치를 제어하는 이동 로봇.
  12. 제10항에 있어서,
    상기 복수의 가전 장치는, 조명 장치, 및 연락 장치를 포함하고,
    상기 제어부는,
    방범 모드에서, 상기 오브젝트 정보 및 상기 영상 정보 중 적어도 하나에 기초하여, 이동하는 오브젝트가 존재한다고 판단되는 경우,
    상기 조명 장치를 동작시키고, 상기 연락 장치를 통하여 비상 연락을 수행하고, 획득되는 영상을 저장하는 이동 로봇.
  13. 제10항에 있어서,
    상기 복수의 가전 장치는, 주행 구역에 배치된 복수의 조명 장치를 포함하고,
    상기 제어부는,
    상기 영상 정보에 기초하여 상기 본체의 위치를 판단함에 있어서 조도가 필요한 것으로 판단되는 경우,
    상기 복수의 조명 장치 중 상기 본체의 위치에 대응하는 적어도 하나를 점등시키는 이동 로봇.

KR1020170012266A 2017-01-25 2017-01-25 이동 로봇 KR101976424B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170012266A KR101976424B1 (ko) 2017-01-25 2017-01-25 이동 로봇
PCT/KR2018/001101 WO2018139865A1 (ko) 2017-01-25 2018-01-25 이동 로봇
US16/480,775 US11317778B2 (en) 2017-01-25 2018-01-25 Mobile robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170012266A KR101976424B1 (ko) 2017-01-25 2017-01-25 이동 로봇

Publications (2)

Publication Number Publication Date
KR20180087779A KR20180087779A (ko) 2018-08-02
KR101976424B1 true KR101976424B1 (ko) 2019-05-09

Family

ID=62979545

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170012266A KR101976424B1 (ko) 2017-01-25 2017-01-25 이동 로봇

Country Status (3)

Country Link
US (1) US11317778B2 (ko)
KR (1) KR101976424B1 (ko)
WO (1) WO2018139865A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022139164A1 (ko) * 2020-12-23 2022-06-30 삼성전자 주식회사 전자 장치 및 전자 장치에서 외부 장치들을 공간별로 그룹핑 하는 방법
WO2023287103A1 (ko) * 2021-07-15 2023-01-19 삼성전자 주식회사 청소 로봇을 제어하는 전자 장치 및 그 동작 방법
WO2023027334A1 (ko) * 2021-08-24 2023-03-02 삼성전자주식회사 로봇 청소기 및 그의 위치 식별 방법
US11719544B2 (en) 2019-06-03 2023-08-08 Samsung Electronics Co., Ltd. Electronic apparatus for object recognition and control method thereof

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190216283A1 (en) * 2018-01-16 2019-07-18 Avidbots Corp Detecting degradation of back squeegee water pick-up performance for autonomous floor scrubbers
KR102528737B1 (ko) * 2018-04-27 2023-05-08 삼성전자주식회사 외부 전자 장치를 제어하는 전자 장치 및 방법
KR102293551B1 (ko) 2018-07-27 2021-08-24 주식회사 엘지화학 점착제 조성물, 이를 포함하는 점착 필름, 점착 필름을 포함하는 백플레이트 필름 및 점착 필름을 포함하는 플라스틱 유기 발광 디스플레이
KR102544072B1 (ko) * 2018-09-04 2023-06-15 엘지전자 주식회사 로봇 청소기 및 그 로봇 청소기의 제어 방법
KR102285427B1 (ko) * 2018-11-28 2021-08-03 서울대학교산학협력단 물체 레이블을 활용한 Visual SLAM에서의 영상 특징점 강화 방법 및 장치
WO2020111844A2 (ko) * 2018-11-28 2020-06-04 서울대학교 산학협력단 물체 레이블을 활용한 비주얼 슬램에서의 영상 특징점 강화 방법 및 장치
KR102111268B1 (ko) 2018-11-30 2020-05-18 주식회사 이루미 환기용 공기청정기와 자율주행용 공기청정기를 이용한 실내공기 정화 시스템
CN109849005A (zh) * 2018-12-30 2019-06-07 周帆 一种可滑动便于拆卸的应急救援机器人
KR102508073B1 (ko) * 2019-03-25 2023-03-08 엘지전자 주식회사 이동 로봇 및 이동 로봇의 제어방법
CN110281245A (zh) * 2019-05-24 2019-09-27 山东新海软件股份有限公司 一种基于可移动底座的桌面小型机器人及其控制方法
KR102242744B1 (ko) * 2019-06-14 2021-04-20 고려대학교 산학협력단 이동 로봇과 이동 로봇의 엘리베이터 인식 방법
KR20210081048A (ko) * 2019-12-23 2021-07-01 엘지전자 주식회사 운송 로봇 및 그의 작동 방법
CN113616112A (zh) * 2020-05-07 2021-11-09 云米互联科技(广东)有限公司 扫地机控制方法、系统、扫地机及计算机可读存储介质
KR102412945B1 (ko) * 2020-10-23 2022-06-24 선문대학교 산학협력단 스마트 리빙 케어 로봇
USD989426S1 (en) * 2021-01-20 2023-06-13 Vorwerk & Co. Interholding Gmbh Robot vacuum cleaner
CN113110481B (zh) * 2021-04-26 2024-02-06 上海智蕙林医疗科技有限公司 一种应急避让实现方法、系统、机器人和存储介质
AT17724U1 (de) * 2021-06-10 2022-12-15 Ars Electronica Linz Gmbh & Co Kg System zur räumlich begrenzten Aktivierung einer Steuereinheit
KR20240014178A (ko) * 2022-07-25 2024-02-01 삼성전자주식회사 진단 로봇 및 그 진단 방법
KR20240028574A (ko) * 2022-08-24 2024-03-05 삼성전자주식회사 전자 장치를 관리하는 로봇 및 그 제어 방법
CN116319501B (zh) * 2023-05-25 2023-09-05 深圳市英创立电子有限公司 一种获取设备运行参数的网络系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010106845A (ko) 2000-05-23 2001-12-07 이정철 다기능 가정용 로봇 및 그의 제어방법
KR20020088880A (ko) * 2001-05-22 2002-11-29 안현기 다기능 로봇 및 그 제어 방법
JP4448024B2 (ja) * 2002-05-31 2010-04-07 富士通株式会社 遠隔操作ロボットおよびロボット自己位置同定方法
US20100231506A1 (en) * 2004-09-07 2010-09-16 Timothy Pryor Control of appliances, kitchen and home
KR100619745B1 (ko) * 2004-09-23 2006-09-12 엘지전자 주식회사 로봇 청소기를 이용한 원격 가전 제어시스템 및 방법
US9436276B2 (en) * 2009-02-25 2016-09-06 Microsoft Technology Licensing, Llc Second-person avatars
KR101764251B1 (ko) * 2011-04-19 2017-08-04 삼성전자주식회사 전력 사용 상태 표시 방법 및 이를 적용한 휴대기기
EP2562967B1 (en) * 2011-08-22 2015-01-14 LG Electronics Inc. Information management system for home appliance
WO2013128934A1 (ja) * 2012-02-28 2013-09-06 パナソニック株式会社 制御情報表示装置、制御情報表示方法、および、制御情報表示システム
US9674264B2 (en) * 2012-03-12 2017-06-06 Ntt Docomo, Inc. Remote control system, remote control method, communication device, and program
KR20130137379A (ko) * 2012-06-07 2013-12-17 삼성전자주식회사 홈 네트워크에서 사용자 정보를 저장하는 장치 및 방법
KR102058918B1 (ko) * 2012-12-14 2019-12-26 삼성전자주식회사 홈 모니터링 방법 및 장치
US20140316594A1 (en) * 2013-04-17 2014-10-23 Green Edge Technologies, Inc. Systems, devices, and methods for reducing safety risk and optimizing energy use
KR102061511B1 (ko) * 2013-04-26 2020-01-02 삼성전자주식회사 청소 로봇, 홈 모니터링 장치 및 그 제어 방법
JP6478472B2 (ja) * 2014-04-01 2019-03-06 東芝ライフスタイル株式会社 空気調和機と自走式掃除機の連携システム
US20170176967A1 (en) * 2014-07-25 2017-06-22 Sony Corporation Control apparatus, control method, information processing apparatus, information processing method, and program
US10091015B2 (en) * 2014-12-16 2018-10-02 Microsoft Technology Licensing, Llc 3D mapping of internet of things devices
KR101659037B1 (ko) * 2015-02-16 2016-09-23 엘지전자 주식회사 로봇 청소기, 이를 포함하는 원격 제어 시스템 및 이의 제어 방법
JP2016167200A (ja) * 2015-03-10 2016-09-15 東芝ライテック株式会社 表示制御システム、表示制御方法及び表示制御プログラム
KR20160118924A (ko) * 2015-04-03 2016-10-12 백인기 실,내외 환경 변화에 따른 스마트홈 시스템
US9408041B1 (en) * 2015-04-24 2016-08-02 Insensi, Inc. Premise occupancy detection based on smartphone presence
US10203748B2 (en) * 2015-06-30 2019-02-12 Google Llc Systems and methods for efficiently communicating between low-power devices

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11719544B2 (en) 2019-06-03 2023-08-08 Samsung Electronics Co., Ltd. Electronic apparatus for object recognition and control method thereof
WO2022139164A1 (ko) * 2020-12-23 2022-06-30 삼성전자 주식회사 전자 장치 및 전자 장치에서 외부 장치들을 공간별로 그룹핑 하는 방법
WO2023287103A1 (ko) * 2021-07-15 2023-01-19 삼성전자 주식회사 청소 로봇을 제어하는 전자 장치 및 그 동작 방법
WO2023027334A1 (ko) * 2021-08-24 2023-03-02 삼성전자주식회사 로봇 청소기 및 그의 위치 식별 방법

Also Published As

Publication number Publication date
US20190387945A1 (en) 2019-12-26
WO2018139865A1 (ko) 2018-08-02
KR20180087779A (ko) 2018-08-02
US11317778B2 (en) 2022-05-03

Similar Documents

Publication Publication Date Title
KR101976424B1 (ko) 이동 로봇
EP3349087B1 (en) Moving robot
US11226633B2 (en) Mobile robot and method of controlling the same
US10750920B2 (en) Control method of robot system including plurality of moving robots
US9962054B2 (en) Robot cleaner, robot cleaning system having the same, and method for operating a robot cleaner
US9974422B2 (en) Robot cleaner and method for controlling a robot cleaner
US11547261B2 (en) Moving robot and control method thereof
KR102021833B1 (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
US11700989B2 (en) Mobile robot using artificial intelligence and controlling method thereof
KR20180087798A (ko) 이동 로봇 및 그 제어방법
KR20180098891A (ko) 이동 로봇 및 그 제어방법
KR102621350B1 (ko) 로봇 청소기 시스템 및 그 동작 방법
KR20180023301A (ko) 이동 로봇 및 그 제어방법
KR20180098040A (ko) 이동 로봇 및 그 제어방법
KR20180023303A (ko) 이동 로봇 및 그 제어방법
KR20180074141A (ko) 이동 로봇
KR20180090565A (ko) 이동 로봇 및 그 제어방법
KR20180089660A (ko) 조명 제어 시스템
KR20190003120A (ko) 복수의 이동 로봇을 포함하는 로봇 시스템 및 이동 단말기
KR20180082242A (ko) 이동 로봇 및 그 제어 방법
KR20180048088A (ko) 로봇 청소기 및 그 제어방법
KR20180037516A (ko) 이동 로봇 및 그 제어방법
KR102203438B1 (ko) 이동 로봇 및 이동 로봇의 제어방법
KR20190003119A (ko) 이동 단말기 및 이를 포함하는 이동 로봇
KR102048363B1 (ko) 이동 로봇

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant