KR20230012368A - 청소 로봇을 제어하는 전자 장치 및 그 동작 방법 - Google Patents

청소 로봇을 제어하는 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20230012368A
KR20230012368A KR1020210093135A KR20210093135A KR20230012368A KR 20230012368 A KR20230012368 A KR 20230012368A KR 1020210093135 A KR1020210093135 A KR 1020210093135A KR 20210093135 A KR20210093135 A KR 20210093135A KR 20230012368 A KR20230012368 A KR 20230012368A
Authority
KR
South Korea
Prior art keywords
electronic device
cleaning robot
cleaning
location
area
Prior art date
Application number
KR1020210093135A
Other languages
English (en)
Inventor
은정휘
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210093135A priority Critical patent/KR20230012368A/ko
Priority to PCT/KR2022/009780 priority patent/WO2023287103A1/ko
Publication of KR20230012368A publication Critical patent/KR20230012368A/ko
Priority to US18/412,847 priority patent/US20240152156A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • G05D1/2462—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM] using feature-based mapping
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2857—User input or output elements for control, e.g. buttons, switches or displays
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2894—Details related to signal transmission in suction cleaners
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00—Specific applications of the controlled vehicles
    • G05D2105/10—Specific applications of the controlled vehicles for cleaning, vacuuming or polishing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00—Specific environments of the controlled vehicles
    • G05D2107/40—Indoor domestic environment
    • G05D2201/0203—

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Electric Vacuum Cleaner (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

청소 로봇을 제어하는 전자 장치 및 그 동작 방법을 제공한다. 본 개시의 일 실시예는, 무선 통신 네트워크를 이용하여 위치 추적 태그 장치의 위치, 청소 로봇의 주변에 위치하는 적어도 하나의 가전기기의 위치, 및 청소 로봇과 전자 장치 간의 상대적 위치 중 적어도 하나에 관한 위치 정보를 획득하고, 획득된 적어도 하나의 위치 정보에 기초하여 청소 대상 영역을 결정하고, 결정된 청소 대상 영역에 관한 정보를 청소 로봇에 전송하는 전자 장치를 제공한다.

Description

청소 로봇을 제어하는 전자 장치 및 그 동작 방법 {THE ELECTRONIC DEVICE CONTROLLING CLEANING ROBOT AND THE METHOD FOR OPERATING THE SAME}
본 개시는 청소 로봇을 제어하는 전자 장치 및 그 동작 방법에 관한 것이다. 구체적으로, 본 개시의 실시예들은 실내 공간 중 청소 로봇이 청소할 영역인 청소 대상 영역을 결정하고, 결정된 청소 대상 영역에 관한 정보를 청소 로봇에 전송하는 전자 장치 및 그 동작 방법에 관한 것이다.
최근에는 청소 로봇이 많이 보급되고, 사용되고 있다. 전용 리모콘을 통해 청소 로봇의 청소 대상 영역 설정 및 청소 동작 수행 등의 기능을 제어할 수 있다. 그러나, IoT 기능(Internet of Things)을 갖는 청소 로봇의 경우 와이파이(WiFi) 또는 블루투스 등 무선 네트워크를 통해 연결된 모바일 디바이스를 이용하여 외부에서 원격으로 청소 로봇을 제어하거나, 청소 대상 영역을 설정할 수 있다.
모바일 디바이스를 이용하여 청소 로봇의 청소 대상 영역을 설정하는 방법으로는, 모바일 디바이스에 의해 실행되는 애플리케이션을 통해 디스플레이되는 실내 공간의 맵(map) 상에서 청소하고자 하는 영역을 직접 선택하고, 영역의 확대 또는 축소를 통해 영역의 크기를 결정하며, 영역 추가 버튼을 입력하는 방식이 사용되고 있다. 그러나, 청소 로봇을 사용하는 경우, 특정 영역만 청소를 하면 되는 경우가 있을 수 있다. 이 경우, 사용자가 모바일 디바이스를 통해 디스플레이되는 맵 상에서 청소할 위치를 생각하고, 직접 영역을 선택하고, 영역의 크기도 직접 결정하여야 하며, 영역 추가 버튼을 입력하여야 하는 등 여러 단계를 거쳐야 한다. 실내 공간 전체 영역에 관한 청소가 아닌 청소하고자 하는 청소 대상 영역을 결정하기 위해서는 전술한 여러 단계를 거쳐야 하므로, 번거롭고 불편하며 사용자 편의성이 떨어지는 문제점이 있다. 또한, 사용자는 특정 영역에 관한 청소를 하고 싶더라도 청소 대상 영역을 결정하기가 귀찮고 번거로워서 특정 영역에 관한 청소 기능을 자주 사용하지 않을 수 있다.
본 개시는 청소 로봇의 청소 대상 영역을 자동으로 설정하는 전자 장치 및 그 동작 방법을 제공한다. 구체적으로, 본 개시의 일 실시예에 따르면, 위치 추적 태그 장치의 위치, 청소 로봇 주변에 위치하는 가전기기의 위치, 및 청소 로봇과 전자 장치 간의 상대적 위치 중 적어도 하나에 기초하여 청소 대상 영역을 결정하고, 결정된 청소 대상 영역에 관한 정보를 청소 로봇에 전송하는 전자 장치 및 그 동작 방법이 제공될 수 있다.
상술한 기술적 과제를 해결하기 위하여 본 개시는 청소 로봇을 제어하는 전자 장치를 제공한다. 본 개시의 일 실시예에 따른 전자 장치는, 무선 통신 네트워크를 이용하여 데이터 송수신을 수행하는 통신 인터페이스, 적어도 하나의 명령어들(instructions)를 저장하는 메모리, 및 상기 적어도 하나의 명령어들을 실행하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 통신 인터페이스를 이용하여, 위치 추적 태그 장치의 위치, 상기 청소 로봇의 주변에 위치하는 적어도 하나의 가전기기의 위치, 및 상기 청소 로봇과 상기 전자 장치 간의 상대적 위치 중 적어도 하나에 관한 위치 정보를 획득하고, 획득된 상기 적어도 하나의 위치 정보에 기초하여 청소 대상 영역을 결정하고, 결정된 상기 청소 대상 영역에 관한 정보를 상기 청소 로봇에 전송하도록 상기 통신 인터페이스를 제어할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는 획득된 상기 위치 추적 태그 장치의 위치를 중심으로 기 설정된 반경 내의 영역을 상기 청소 대상 영역으로 결정할 수 있다.
일 실시 예에서, 상기 청소 로봇은 무선으로 데이터 송수신을 수행하는 근거리 무선 통신 모듈을 포함하고, 상기 적어도 하나의 가전기기의 위치 정보는 상기 청소 로봇이 상기 근거리 무선 통신 모듈을 이용하여 상기 적어도 하나의 가전기기로부터 획득될 수 있다.
일 실시 예에서, 상기 전자 장치는 디스플레이부를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 통신 인터페이스를 이용하여, 상기 청소 로봇으로부터 상기 적어도 하나의 가전기기의 디바이스 식별 정보를 수신하고, 상기 수신된 디바이스 식별 정보에 기초하여 상기 적어도 하나의 가전기기의 타입(type)을 식별하고, 상기 적어도 하나의 가전기기의 타입 및 위치를 나타내는 UI(User Interface)를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
일 실시 예에서, 상기 전자 장치는 상기 UI를 통해 상기 적어도 하나의 가전기기의 타입 중 어느 하나의 타입을 선택하는 사용자 입력을 수신하는 사용자 입력부를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 수신된 사용자 입력에 기초하여 선택된 타입에 해당되는 가전기기의 위치를 식별하고, 상기 식별된 가전기기의 위치로부터 기 설정된 반경 이내의 영역을 상기 청소 대상 영역으로 결정할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는 상기 통신 인터페이스를 이용하여 상기 청소 로봇으로부터 실내 공간의 공기 질에 관한 정보를 획득하고, 상기 획득된 공기 질에 관한 정보에 기초하여, 상기 결정된 청소 대상 영역 중 공기 오염 정도가 기 설정된 임계치를 초과하는 영역을 집중 청소 대상 영역으로 결정할 수 있다.
일 실시 예에서, 상기 전자 장치는, 상기 전자 장치의 방위를 측정하는 지자기 센서(geomagnetic sensor), 및 상기 전자 장치의 회전각 또는 기울어진 각도를 측정하는 자이로 센서(gyro sensor) 및 가속도 센서(acceleration sensor)를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 지자기 센서를 이용하여 측정된 방위로부터 상기 전자 장치의 높이 및 방향에 관한 정보를 획득하고, 상기 자이로 센서 및 상기 가속도 센서를 이용하여 상기 전자 장치의 기울어진 각도에 관한 정보를 획득하며, UWB(Ultra Wide Band)를 이용하여 수신된 상기 청소 로봇의 위치 정보와 상기 전자 장치의 높이, 방향, 및 기울어진 각도 중 적어도 하나를 포함하는 상기 전자 장치 위치 정보를 이용하여 상기 청소 로봇과 상기 전자 장치 간의 상대적 위치에 관한 정보를 획득할 수 있다.
일 실시 예에서, 상기 전자 장치는 청소하고자 하는 영역을 촬영하는 카메라를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 카메라의 FOV(Field Of View) 및 상기 전자 장치와 상기 청소 로봇과의 상대적 위치 정보에 기초하여 상기 카메라에 의해 촬영된 영역을 식별하고, 상기 식별된 영역을 상기 청소 대상 영역으로 결정할 수 있다.
일 실시 예에서, 상기 전자 장치는 디스플레이부를 더 포함하고, 상기 적어도 하나의 프로세서는 실내 공간을 시각적으로 나타내는 지도 상에 상기 결정된 청소 대상 영역을 나타내는 UI를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
일 실시 예에서, 상기 전자 장치는 결정된 청소 대상 영역에 관한 청소 명령을 포함하는 음성 입력을 수신하는 마이크로폰을 더 포함하고, 상기 적어도 하나의 프로세서는 자연어 이해 모델을 이용한 상기 음성 입력의 해석 결과, 상기 음성 입력으로부터 상기 청소 명령을 식별하고, 상기 식별된 청소 명령으로부터 상기 청소 로봇의 동작을 제어하기 위한 제어 명령을 생성하고, 상기 제어 명령을 상기 청소 로봇에게 전송하도록 상기 통신 인터페이스를 제어할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는 상기 통신 인터페이스를 이용하여 상기 음성 입력에 관한 데이터를 서버로 전송하고, 상기 서버에 의한 상기 음성 입력의 해석 결과에 따라 상기 음성 입력으로부터 식별된 상기 위치 추적 태그 장치 또는 상기 가전기기의 타입에 관한 정보를 상기 서버로부터 수신하고, 상기 위치 추적 태그 장치 또는 상기 가전기기의 타입에 따라 결정된 상기 청소 대상 영역에 관한 청소 동작을 제어하는 상기 제어 명령을 생성할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시는 청소 로봇을 제어하는 방법을 제공한다. 본 개시의 일 실시예는, 무선 통신 네트워크를 이용하여 위치 추적 태그 장치의 위치, 상기 청소 로봇의 주변에 위치하는 적어도 하나의 가전기기의 위치, 및 상기 청소 로봇과 상기 전자 장치 간의 상대 위치 중 적어도 하나의 위치에 관한 정보를 획득하는 단계, 획득된 상기 적어도 하나의 위치 정보에 기초하여 청소 대상 영역을 결정하는 단계, 및 결정된 상기 청소 대상 영역에 관한 정보를 상기 청소 로봇에 전송하는 단계를 포함하는, 전자 장치가 청소 로봇을 제어하는 방법을 제공한다.
일 실시 예에서, 상기 청소 대상 영역을 결정하는 단계에서 전자 장치는 획득된 상기 위치 추적 태그 장치의 위치를 중심으로 기 설정된 반경 내의 영역을 상기 청소 대상 영역으로 결정할 수 있다.
일 실시 예에서, 상기 청소 로봇은 무선으로 데이터 송수신을 수행하는 근거리 무선 통신 모듈을 포함하고, 상기 적어도 하나의 가전기기의 위치 정보는, 상기 청소 로봇이 상기 근거리 무선 통신 모듈을 이용하여 상기 적어도 하나의 가전기기로부터 획득될 수 있다.
일 실시 예에서, 상기 방법은 상기 청소 로봇으로부터 상기 적어도 하나의 가전기기의 디바이스 식별 정보를 수신하는 단계, 상기 수신된 디바이스 식별 정보에 기초하여 상기 적어도 하나의 가전기기의 타입(type)을 식별하는 단계, 및 상기 적어도 하나의 가전기기의 타입 및 위치를 나타내는 UI(User Interface)를 디스플레이하는 단계를 더 포함할 수 있다.
일 실시 예에서, 상기 청소 대상 영역을 결정하는 단계는 상기 UI를 통해 상기 적어도 하나의 가전기기의 타입 중 어느 하나의 타입을 선택하는 사용자 입력을 수신하는 단계, 및 상기 수신된 사용자 입력에 기초하여 선택된 타입에 해당되는 가전기기의 위치를 식별하는 단계, 및 상기 식별된 가전기기의 위치로부터 기 설정된 반경 이내의 영역을 상기 청소 대상 영역으로 결정하는 단계를 포함할 수 있다.
일 실시 예에서, 상기 청소 대상 영역을 결정하는 단계는 카메라를 이용하여 사용자가 청소하고자 하는 영역을 촬영하는 단계, 상기 카메라의 FOV(Field Of View) 및 상기 전자 장치와 상기 청소 로봇과의 상대적 위치 정보에 기초하여 상기 카메라에 의해 촬영된 영역을 식별하는 단계, 및 상기 식별된 영역을 상기 청소 대상 영역으로 결정하는 단계를 포함할 수 있다.
일 실시 예에서, 상기 방법은 실내 공간을 시각적으로 나타내는 지도 상에 상기 결정된 청소 대상 영역을 나타내는 UI를 디스플레이하는 단계를 더 포함할 수 있다.
일 실시 예에서, 상기 방법은 상기 결정된 청소 대상 영역에 관한 청소 명령을 포함하는 음성 입력을 수신하는 단계, 자연어 이해 모델을 이용한 상기 음성 입력의 해석 결과, 상기 음성 입력으로부터 상기 청소 명령을 식별하는 단계, 상기 식별된 청소 명령으로부터 상기 청소 로봇의 동작을 제어하기 위한 제어 명령을 생성하는 단계, 및 상기 제어 명령을 상기 청소 로봇에게 전송하는 단계를 더 포함할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 다른 실시예는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
도 1은 본 개시의 일 실시예에 따른 전자 장치가 청소 대상 영역을 결정하고, 청소 대상 영역에 관한 정보를 청소 로봇에 전송하는 방법을 도시한 도면이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치의 구성 요소를 도시한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 전자 장치의 동작 방법을 도시한 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 전자 장치가 위치 추적 태그 장치의 위치에 기초하여 청소 로봇의 청소 대상 영역을 결정하는 방법을 도시한 도면이다.
도 5는 본 개시의 일 실시예에 따른 전자 장치가 가전기기의 위치 정보에 기초하여 청소 로봇의 청소 대상 영역을 결정하는 방법을 도시한 도면이다.
도 6은 본 개시의 일 실시예에 따른 전자 장치가 가전기기의 위치 정보에 기초하여 청소 로봇의 청소 대상 영역을 결정하는 방법을 도시한 흐름도이다.
도 7은 본 개시의 일 실시예에 따른 전자 장치가 실내 공간의 공기 질에 관한 정보에 기초하여 집중 청소 대상 영역을 결정하는 방법을 도시한 도면이다.
도 8a는 본 개시의 일 실시예에 따른 전자 장치가 청소 로봇과 전자 장치 간의 상대적 위치 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 8b는 본 개시의 일 실시예에 따른 전자 장치가 청소하고자 하는 영역을 촬영하고, 촬영된 영역을 디스플레이하는 방법을 설명하기 위한 도면이다.
도 8c는 본 개시의 일 실시예에 따른 전자 장치가 청소 로봇과의 상대적 위치 정보 및 카메라의 FOV(Field Of View)에 기초하여 청소 대상 영역을 결정하는 방법을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시예에 따른 전자 장치가 청소 로봇과의 상대적 위치 관계 및 카메라의 FOV에 기초하여 청소 대상 영역을 결정하는 방법을 도시한 흐름도이다.
도 10은 본 개시의 일 실시예에 따른 전자 장치가 사용자로부터 수신된 음성 입력에 기초하여 청소 대상 영역에 관한 청소 동작을 수행하도록 청소 로봇을 제어하는 방법을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시예에 따른 전자 장치가 청소 대상 영역에 관한 청소 동작을 수행하도록 청소 로봇을 제어하는 방법을 도시한 흐름도이다.
본 명세서의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하에서는 도면을 참조하여 본 개시의 실시예들을 상세하게 설명한다.
도 1은 본 개시의 일 실시예에 따른 전자 장치(1000)가 청소 대상 영역을 결정하고, 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송하는 방법을 도시한 도면이다.
본 개시의 일 실시예에 따른 전자 장치(1000)는 설치된 특정 플리케이션을 통해 서버 또는 외부 장치(예를 들어, 청소 로봇(2000), 위치 추적 태그 장치(4000), 또는 가전기기(5000))와 정보를 송수신하고, 청소 로봇(2000)의 동작을 제어할 수 있다. 일 실시예에서, 특정 애플리케이션은 사용자가 청소 로봇(2000)의 청소 대상 영역을 결정하거나, 청소 로봇(2000)의 청소 동작을 원격으로 제어하는 기능을 제공하는 애플리케이션일 수 있다.
본 개시의 일 실시예에 의하면, 전자 장치(1000)는, 청소 로봇(2000)과 동일한 사용자 계정 정보(user account)로 연결된 장치일 수 있다. 전자 장치(1000)는 청소 로봇(2000)과 근거리 통신 링크를 통해서 직접 연결될 수도 있고, 서버를 통해 청소 로봇(2000)과 간접적으로 연결될 수도 있다. 전자 장치(1000)는 예를 들어, 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(zigbee), WFD(Wi-Fi Direct), BLE (Bluetooth Low Energy), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, WiMAX), SWAP(Shared Wireless Access Protocol), 와이기그(Wireless Gigabit Allicance, WiGig) 및 RF 통신 중 적어도 하나의 데이터 통신 네트워크를 이용하여 청소 로봇(2000), 서버, 또는 외부 장치들과 연결되고, 데이터 송수신을 수행할 수 있다.
본 개시의 일 실시예에 따른 전자 장치(1000)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 개시의 전자 장치(1000)는 스마트 폰(smart phone), 태블릿 PC, 노트북 컴퓨터(laptop computer), 디지털 카메라, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, 또는 MP3 플레이어를 포함하는 모바일 단말 중 어느 하나일 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에서, 전자 장치(1000)는 웨어러블 디바이스(wearable device)일 수 있다. 웨어러블 디바이스는 액세서리 형 장치(예컨대, 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈), 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형 장치(예: 전자 의복), 신체 부착형 장치(예컨대, 스킨 패드(skin pad)), 또는 생체 이식형 장치(예: implantable circuit) 중 적어도 하나를 포함할 수 있다. 다른 실시예에서, 전자 장치(1000)는 TV, 컴퓨터, 디스플레이를 포함하는 냉장고, 또는 디스플레이를 포함하는 오븐 등으로 구현될 수도 있다.
이하에서는, 설명의 편의상 전자 장치(1000)가 스마트 폰인 경우를 예로 들어 설명하기로 한다.
도 1을 참조하면, 전자 장치(1000)는 위치 추적 태그 장치(4000)의 위치, 가전기기(5000)의 위치, 및 청소 로봇(2000)과 가전기기(5000)의 상대적 위치 중 적어도 하나의 위치에 기초하여 청소 대상 영역을 결정하고, 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송할 수 있다.
전자 장치(1000)는 위치 추적 태그 장치(4000)의 위치 정보를 위치 추적 태그 장치(4000)로부터 직접 수신하거나, 또는 서버로부터 수신할 수 있다. '위치 추적 태그 장치(4000)'는 휴대용 트래커(tracker) 장치로서, 위치 좌표 정보를 전자 장치(1000)에 제공하도록 구성되는 장치이다. 위치 추적 태그 장치(4000)는 예를 들어, 갤럭시 스마트태그TM일 수 있으나, 이에 한정되지 않는다. 일 실시예에서, 전자 장치(1000)는 위치 추적 태그 장치(4000)로부터 수신된 위치 좌표 정보로부터 위치 추적 태그 장치(4000)의 위치를 식별하고, 식별된 위치로부터 기 설정된 범위 내의 영역을 청소 대상 영역으로 결정할 수 있다. 예를 들어, 전자 장치(1000)는 위치 추적 태그 장치(4000)의 위치로부터 1m 또는 2m 의 반경 범위 내의 영역을 청소 대상 영역으로 결정할 수 있다.
전자 장치(1000)는 가전기기(5000)의 위치 정보를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)는 청소 로봇(2000)으로부터 청소 로봇(2000) 주변에 배치되는 적어도 하나의 가전기기(5000)의 위치 정보를 수신할 수 있다. 전자 장치(1000)는 가전기기(5000)의 위치로부터 기 설정된 범위 내의 영역을 청소 대상 영역으로 결정할 수 있다. 예를 들어, 전자 장치(1000)는 가전기기(5000)의 위치로부터 1m 또는 2m 의 반경 범위 내의 영역을 청소 대상 영역으로 결정할 수 있다.
전자 장치(1000)는 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보를 획득할 수 있다. 여기서, '청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치'는 전자 장치(1000)의 위치를 기준으로 한 청소 로봇(2000)의 위치 정보를 의미한다. 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보는 전자 장치(1000)로부터 청소 로봇(2000) 간의 이격된 거리 정보 및 전자 장치(1000)와 청소 로봇(2000) 사이에서 형성된 각도 정보를 포함할 수 있다. 일 실시예에서, 전자 장치(1000)는 UWB(Ultra Wide Band) 통신 네트워크를 이용하여 청소 로봇(2000)으로부터 청소 로봇(2000)의 위치 좌표 정보를 수신하고, 수신된 청소 로봇(2000)의 위치 좌표 정보와 전자 장치(1000)의 방향 및 기울어진 각도 정보에 기초하여 청소 로봇(2000)과의 상대적 위치 정보를 획득할 수 있다. 전자 장치(1000)는 카메라(1300, 도 2 참조)를 통해 청소하고자 하는 영역을 촬영하고, 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보 및 카메라(1300)의 FOV(Field Of View)에 기초하여 촬영된 영역의 위치를 식별할 수 있다. 전자 장치(1000)는 식별된 촬영 영역을 청소 대상 영역으로 결정할 수 있다.
전자 장치(1000)는 결정된 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송할 수 있다.
전자 장치(1000)는 실내 공간 지도(100)를 디스플레이부(1710) 상에 디스플레이할 수 있다. 실내 공간 지도(100)는 청소 로봇(2000)이 실내 공간의 이동 중 적어도 하나의 센서를 이용하여 실내 공간을 탐색함으로써 생성할 수 있다. 전자 장치(1000)는 청소 로봇(2000)으로부터 실내 공간 정보를 획득하고, 실내 공간 지도(100)를 디스플레이할 수 있다. 실내 공간 지도(100)에는 전자 장치(1000), 청소 로봇(2000), 위치 추적 태그 장치(4000), 및 가전기기(5000)의 위치를 나타내는 UI(User Interface)가 디스플레이될 수 있다. 일 실시예에서, UI들은 그래픽 UI(Graphic User Interface)일 수 있다. 도 1에 도시된 실시예에서, 실내 공간 지도(100)에는 전자 장치(1000)의 위치를 나타내는 전자 장치 아이콘(110), 청소 로봇(2000)의 위치를 나타내는 청소 로봇 아이콘(120), 위치 추적 태그 장치(4000)의 위치를 나타내는 위치 추적 태그 장치 아이콘(130), 및 가전기기(5000)의 위치를 나타내는 가전기기 아이콘(140)이 디스플레이될 수 있다. 일 실시예에서, 실내 공간 지도(100)에는 결정된 청소 대상 영역을 시각적으로 나타내는 청소 대상 영역 인디케이터(200, 202)가 디스플레이될 수 있다.
전자 장치(1000)는 디스플레이부(1710) 상에 디스플레이되는 청소 대상 영역 인디케이터(200, 202) 중 어느 하나를 선택하는 사용자 입력을 수신할 수 있다. 전자 장치(1000)는 수신된 사용자 입력에 따라 선택된 청소 대상 영역에 관한 청소 동작을 수행하도록 청소 로봇(2000)을 제어하기 위한 제어 명령을 생성하고, 제어 명령을 청소 로봇(2000)에 전송할 수 있다. 여기서, '제어 명령'은 청소 로봇(2000)이 동작 정보 내에 포함된 세부 동작들을 수행할 수 있도록, 청소 로봇(2000)이 판독하고 실행할 수 있는 명령어들을 의미한다. 일 실시예에서, 제어 명령은 청소 대상 영역에 관한 위치 정보 뿐만 아니라, 청소 대상 영역에 관한 청소 명령, 충전 스테이션으로의 복귀 명령, 방향 전환 명령, 또는 특정 동작 모드(예를 들어, 집중 모드, 일반 모드, 반복 모드)로 청소를 수행하는 명령 중 적어도 하나를 더 포함할 수 있다.
전술한 실시예에서, 전자 장치(1000)는 디스플레이부(1710) 상에 디스플레이되는 청소 대상 영역 인디케이터(200, 202)를 선택하는 사용자 입력을 통해 청소 대상 영역에 관한 청소를 수행하기 위한 제어 명령을 전송하는 것으로 설명되었지만, 이에 한정되는 것은 아니다. 일 실시예에서, 전자 장치(1000)는 사용자에 의해 발화된 청소 대상 영역에 관한 음성 입력을 수신할 수 있다. 전자 장치(1000)는 음성 입력에 관한 자연어 해석 결과에 기초하여 청소 대상 영역을 식별하고, 청소 대상 영역에 관한 청소 동작을 수행하기 위하여 청소 로봇(2000)을 제어하기 위한 제어 명령을 생성할 수 있다.
전술한 실시예들에서, 전자 장치(1000)는 청소 대상 영역에 관한 청소 명령을 사용자로부터 수신한 경우 청소 로봇(2000)에 제어 명령을 전송하는 것으로 설명되었지만, 본 개시가 상기 실시예들로 한정되는 것은 아니다. 일 실시예에서, 전자 장치(1000)는 사용자 입력이 없이도, 청소 대상 영역을 자동으로 청소하도록 청소 로봇(2000)을 제어할 수 있다.
기존 청소 로봇의 경우, 디스플레이부(1710) 상에 디스플레이되는 실내 공간 지도(100) 상에서 청소하고자 하는 영역을 직접 선택하고, 영역의 확대 또는 축소를 통해 영역의 크기를 직접 결정하며, 영역 추가 버튼을 입력함으로써 청소 대상 영역을 결정하는 방식을 사용하고 있다. 그러나, 이러한 방식의 경우, 사용자가 실내 공간 지도(100) 상에서 청소할 위치를 생각하고, 직접 영역을 선택하고, 영역의 크기도 직접 결정하여야 하며, 영역 추가 버튼을 입력하여야 하는 등 여러 단계를 거쳐야 하므로, 과정이 번거롭고 불편하여 사용자 편의성이 떨어지는 문제점이 있다.
본 개시의 일 실시예에 따른 전자 장치(1000)는 위치 추적 태그 장치(4000)의 위치, 가전기기(5000)의 위치, 및 청소 로봇(2000)과 전자 장치(1000)의 상대적 위치 중 적어도 하나에 기초하여 청소 대상 영역을 자동으로 결정하므로, 청소 대상 영역을 직접 결정하여야 하는 귀찮고 번거로운 과정을 생략할 수 있다. 이에 따라, 본 개시의 일 실시예에 따른 전자 장치(1000)는 사용자 편의성을 향상시킬 수 있다.
도 2는 본 개시의 일 실시예에 따른 전자 장치(1000)의 구성 요소를 도시한 블록도이다.
전자 장치(1000)는 위치 추적 태그 장치(4000, 도 1 참조)의 위치, 가전기기(5000, 도 1 참조)의 위치, 및 청소 로봇(2000, 도 1 참조)과 가전기기(5000)의 상대적 위치 중 적어도 하나의 위치에 기초하여 청소 대상 영역을 결정하고, 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송하도록 구성된다.
도 2를 참조하면, 전자 장치(1000)는 통신 인터페이스(1100), 센서부(1200), 카메라(1300), 프로세서(1400), 메모리(1500), 입력부(1600), 및 출력부(1700)를 포함할 수 있다. 통신 인터페이스(1100), 센서부(1200), 카메라(1300), 프로세서(1400), 메모리(1500), 입력부(1600), 및 출력부(1700)는 각각 전기적 및/또는 물리적으로 서로 연결될 수 있다.
도 2에 도시된 구성 요소는 본 개시의 일 실시예에 따른 것일 뿐, 전자 장치(1000)가 포함하고 있는 구성 요소가 도 2에 도시된 것으로 한정되는 것은 아니다. 전자 장치(1000)는 도 2에 도시된 구성 요소 중 일부를 포함하지 않을 수 있고, 도 2에 도시되지 않은 구성 요소를 더 포함할 수도 있다. 예를 들어, 전자 장치(1000)는 위치 정보를 획득할 수 있는 GPS 모듈을 더 포함할 수 있다.
통신 인터페이스(1100)는 청소 로봇(2000, 도 1 참조), 서버, 또는 외부 장치(예를 들어, 위치 추적 태그 장치(4000, 도 1 참조) 또는 가전기기(5000, 도 1 참조))와 데이터 통신을 수행하도록 구성된다. 통신 인터페이스(1100)는 근거리 통신 모듈(1110), UWB 통신 모듈(1120), 및 이동 통신 모듈(1130)을 포함할 수 있다.
근거리 통신 모듈(short-range wireless communication unit)(1110)는 와이파이(WiFi), WFD(Wi-Fi Direct) 통신부, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, NFC(Near Field Communication unit), 지그비(Zigbee) 통신부, Ant+ 통신부, 또는 마이크로 웨이브(μWave) 통신부 중 적어도 하나의 하드웨어 모듈로 구성될 수 있다. 그러나, 이에 한정되는 것은 아니다. 일 실시예에서, 근거리 통신 모듈(1110)은 프로세서(1400)의 제어에 의해 청소 로봇(2000)으로부터 청소 로봇(2000)의 위치 정보를 수신할 수 있다.
근거리 통신 모듈(1110)은 게이트웨이(gateway) 또는 라우터(router)를 통해 외부 서버와 데이터 통신을 수행할 수도 있다.
일 실시예에서, 근거리 통신 모듈(1110)은 프로세서(1400)의 제어에 의해 위치 추적 태그 장치(4000)의 위치 정보를 수신할 수 있다. 예를 들어, 근거리 통신 모듈(1110)은 BLE 통신을 이용하여 위치 추적 태그 장치(4000)로부터 위치 좌표 정보를 수신할 수 있다. 그러나, 이에 한정되는 것은 아니고, 근거리 통신 모듈(1110)은 서버로부터 위치 추적 태그 장치(4000)의 위치 좌표 정보를 수신할 수 있다.
UWB(Ultra Wide Band) 통신 모듈(1120)은 3.1GHz 내지 10.6GHz 사이의 초 광대역 주파수 대역을 이용하여 데이터 송수신을 수행하는 통신 모듈이다. UWB 통신 모듈(1120)은 최대 500Mbps 속도로 데이터를 송수신할 수 있다. 일 실시예에서, UWB 통신 모듈(1120)은 초 광대역 주파수를 이용하여, 청소 로봇(2000)으로부터 청소 로봇(2000)의 위치 좌표 정보를 수신할 수 있다. 일 실시예에서, UWB 통신 모듈(1120)은 프로세서(1400)의 제어에 의해 전자 장치(1000)의 위치 좌표 정보를 청소 로봇(2000)에 전송할 수도 있다.
이동 통신 모듈(1130)은 이동 통신망 상에서 기지국, 외부 디바이스, 또는 서버 중 적어도 하나와 무선 신호를 송수신하도록 구성되는 통신 모듈이다. 이동 통신 모듈은 예를 들어, 5G mmWave 통신, 5G Sub 6 통신, LTE(Long Term Evolution) 통신, 또는 3G 이동 통신 중 적어도 하나의 통신 방식을 이용하여 데이터를 송수신할 수 있다. 일 실시예에서, 이동 통신 모듈(1130)은 프로세서(1400)의 제어에 의해 서버와 데이터를 송수신할 수 있다.
센서부(1200)는 전자 장치(1000)의 방향, 기울어진 각도, 및 중력 가속도 중 적어도 하나를 측정하도록 구성되는 센서 장치이다. 센서부(1200)는 지자기 센서(1210), 자이로 센서(1220), 및 가속도 센서(1230)를 포함할 수 있다.
지자기 센서(geomagnetic sensor)(1210)는 전자 장치(1000)의 방향을 측정하도록 구성된다. 지자기 센서(1210)는 X축, Y축, 및 Z축 방향에서의 지구 자기장의 자력 값을 측정함으로써, 전자 장치(1000)의 방향에 관한 정보를 획득할 수 있다.
프로세서(1400)는 지자기 센서(1210)에 의해 측정된 자력값을 이용하여 전자 장치(1000)가 향하는 방위 정보를 획득할 수 있다. 프로세서(1400)는 지자기 센서(1210)를 이용하여 전자 장치(1000)의 높이에 관한 정보를 획득할 수도 있다. 일 실시예에서, 프로세서(1400)는 나침반 애플리케이션을 통해 방위 정보를 표시할 수 있다.
자이로 센서(gyro sensor)(1220)는 전자 장치(1000)의 회전각 또는 기울어진 각도를 측정하도록 구성된다. 일 실시예에서, 자이로 센서(1220)는 롤(roll), 피치(pitch), 및 요(yaw) 각속도를 측정하는 3축 각속도계를 포함할 수 있다.
가속도 센서(1230)는 전자 장치(1000)의 3축 가속도를 측정함으로써, 전자 장치(1000)의 기울어진 각도를 측정하도록 구성된다. 일 실시예에서, 가속도 센서(1230)는 행 방향, 횡 방향, 및 높이 방향의 가속도를 측정하는 3축 가속도계를 포함할 수 있다.
프로세서(1400)는 자이로 센서(1220) 및 가속도 센서(1230)를 함께 사용하여 전자 장치(1000)의 회전각 또는 기울어진 각도에 관한 정보를 획득할 수 있다.
카메라(1300)는 실내 공간을 촬영하도록 구성된다. 카메라(1300)는 예를 들어, 스테레오 카메라, 모노 카메라, 와이드 앵글 카메라, 어라운드 뷰 카메라 또는 3D 비전 센서 중 적어도 하나로 구성될 수 있다.
프로세서(1400)는 메모리(1500)에 저장된 하나 이상의 명령어들(instruction) 또는 프로그램 코드를 실행하고, 명령어들 또는 프로그램 코드에 대응되는 기능 및/또는 동작을 수행할 수 있다. 프로세서(1400)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다. 프로세서(1400)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), 애플리케이션 프로세서(Application Processor, AP), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다.
도 2에는 프로세서(1400)가 하나의 엘리먼트로 도시되었으나, 이에 한정되는 것은 아니다. 일 실시예에서, 프로세서(1400)는 하나 또는 하나 이상의 복수 개로 구성될 수 있다.
일 실시예에서, 프로세서(1400)는 인공 지능(Artificial Intelligence; AI) 학습을 수행하는 전용 하드웨어 칩으로 구성될 수도 있다.
메모리(1500)에는 프로세서(1400)가 판독할 수 있는 명령어들 및 프로그램 코드(program code)가 저장될 수 있다. 메모리(1500)는 예를 들어, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광 디스크 중 적어도 하나의 타입의 저장매체로 구성될 수 있다.
이하의 실시예에서, 프로세서(1400)는 메모리(1500)에 저장된 프로그램의 명령어들 또는 프로그램 코드들을 실행함으로써 구현될 수 있다.
프로세서(1400)는 통신 인터페이스(1100)를 이용하여 위치 추적 태그 장치(4000, 도 1 참조)의 위치, 가전기기(5000, 도 1 참조)의 위치, 및 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 중 적어도 하나의 위치에 관한 정보를 획득하고, 획득된 적어도 하나의 위치에 기초하여 청소 대상 영역을 결정할 수 있다. 일 실시예에서, 프로세서(1400)는 적어도 하나의 위치로부터 기 설정된 범위 내의 영역을 청소 대상 영역으로 결정할 수 있다. 프로세서(1400)는 결정된 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 통신 인터페이스(1100)를 제어할 수 있다.
일 실시예에서, 프로세서(1400)는 근거리 통신 모듈(1110)을 통해 위치 추적 태그 장치(4000, 도 1 참조)의 위치 정보를 획득할 수 있다. 프로세서(1400)는 예를 들어, BLE 통신을 통해 위치 추적 태그 장치(4000)와 직접 연결될 수 있다. 이 경우, 프로세서(1400)는 BLE 통신을 이용하여 위치 추적 태그 장치(4000)로부터 위치 좌표 정보를 획득할 수 있다.
그러나, 이에 한정되는 것은 아니고, 다른 실시예에서, 프로세서(1400)는 근거리 통신 모듈(1110)을 통해 서버로부터 위치 추적 태그 장치(4000)의 위치 좌표 정보를 획득할 수 있다. 이 경우, 위치 추적 태그 장치(4000)는 전자 장치(1000)의 사용자 계정(user account)을 통해 서버에 기 등록되고, 서버를 통해 전자 장치(1000)와 연결된 장치일 수 있다.
일 실시예에서, 프로세서(1400)는 획득된 위치 추적 태그 장치(4000)의 위치 좌표 정보로부터 위치 추적 태그 장치(4000)의 위치를 식별하고, 식별된 위치 추적 태그 장치(4000)의 위치를 중심으로 기 설정된 반경 내의 영역을 청소 대상 영역으로 결정할 수 있다. 프로세서(1400)는 예를 들어, 위치 추적 태그 장치(4000)의 위치를 중심으로 1m 또는 2m 거리 내의 영역을 청소 대상 영역으로 결정할 수 있다. 프로세서(1400)가 위치 추적 태그 장치(4000)의 위치에 기초하여 청소 대상 영역을 결정하는 구체적인 실시예에 대해서는 도 4에서 상세하게 설명하기로 한다.
일 실시예에서, 프로세서(1400)는 근거리 통신 모듈(1110)을 통해 청소 로봇(2000)으로부터 가전기기(5000, 도 1 참조)의 위치 정보를 획득할 수 있다. 청소 로봇(2000)은 실내 공간을 이동하면서 청소 로봇(2000)의 주변에 배치되는 적어도 하나의 가전기기(5000)의 위치 정보를 획득할 수 있다. 일 실시예에서, 청소 로봇(2000)은 주변에 배치된 적어도 하나의 가전기기(5000)로부터 출력되는 통신 세기 정보에 기초하여 적어도 하나의 가전기기(5000)의 위치 정보를 추정할 수 있다. 예를 들어, 청소 로봇(2000)은 적어도 하나의 가전기기(5000)와 근거리 무선 통신을 수행하기 위한 근거리 통신 모듈을 포함하고, 근거리 통신 모듈을 통해 적어도 하나의 가전기기들(5000)로부터 수신되는 수신 신호의 강도(RSSI: Received Signal Strength Indication)에 기초하여 적어도 하나의 가전기기(5000)의 위치를 추정할 수 있다. 프로세서(1400)는 예를 들어, 와이파이(WiFi), WFD(Wi-Fi Direct), 블루투스, BLE, NFC(Near Field Communication unit), 지그비(Zigbee), 또는 마이크로 웨이브(μWave) 통신 중 적어도 하나의 근거리 무선 통신 네트워크를 통해 청소 로봇(2000)으로부터 적어도 하나의 가전기기(5000) 각각의 위치 정보를 수신할 수 있다. 프로세서(1400)는 적어도 하나의 가전기기(5000) 각각의 위치를 중심으로 기 설정된 범위 내의 영역을 청소 대상 영역으로 결정할 수 있다. 프로세서(1400)는 예를 들어, 냉장고의 위치를 중심으로 1m 또는 2m 반경 내의 영역을 청소 대상 영역으로 결정할 수 있다.
일 실시예에서, 청소 로봇(2000)은 적어도 하나의 가전기기(5000) 각각의 디바이스 식별 정보를 획득하고, 획득된 디바이스 식별 정보를 전자 장치(1000)에 전송할 수 있다. 프로세서(1400)는 근거리 통신 모듈(1110)을 이용하여 청소 로봇(2000)으로부터 적어도 하나의 가전기기(5000)의 디바이스 식별 정보를 수신하고, 수신된 디바이스 식별 정보에 기초하여 적어도 하나의 가전기기(5000) 각각의 타입(type)을 식별할 수 있다. 프로세서(1400)는 식별된 적어도 하나의 가전기기(5000) 각각의 타입 및 위치를 나타내는 UI(User Interface)를 실내 공간 지도 상에 디스플레이하도록 디스플레이부(1710)를 제어할 수 있다.
프로세서(1400)는 디스플레이부(1710) 상에 디스플레이된 UI를 통해 적어도 하나의 가전기기(5000) 중 어느 하나의 타입을 선택하는 사용자 입력을 수신할 수 있다. 일 실시예에서, 프로세서(1400)는 사용자 입력부(1610)를 통해 사용자의 터치 입력을 수신하거나, 또는 마이크로폰(1620)을 통해 사용자의 발화로 구성되는 음성 입력을 수신할 수도 있다.
프로세서(1400)는 사용자 입력에 기초하여 선택된 타입에 해당되는 가전기기의 위치를 식별하고, 식별된 가전기기의 위치로부터 기 설정된 반경 내의 영역을 청소 대상 영역으로 결정할 수 있다. 예를 들어, 프로세서(1400)는 디스플레이부(1710) 상에 디스플레이되는 냉장고 아이콘, TV 아이콘, 에어컨 아이콘 중 냉장고 아이콘을 선택하는 사용자 입력을 수신하고, 사용자 입력에 기초하여 선택된 TV 아이콘에 해당되는 가전기기인 TV의 위치를 식별하며, TV의 위치로부터 1m 또는 2m 반경 내의 영역을 청소 대상 영역으로 결정할 수 있다. 프로세서(1400)가 가전기기의 타입 및 위치 정보에 기초하여 청소 대상 영역을 결정하는 구체적인 실시예에 대해서는 도 5 및 도 6에서 상세하게 설명하기로 한다.
일 실시예에서, 프로세서(1400)는 UWB 통신 모듈(1130)을 통해 청소 로봇(2000)으로부터 청소 로봇(2000)의 위치 정보를 획득할 수 있다. 프로세서(1400)는 지자기 센서(1210)를 이용하여 전자 장치(1000)의 방향에 관한 정보를 획득하고, 자이로 센서(1220) 및 가속도 센서(1230)를 이용하여 전자 장치(1000)의 기울어진 각도에 관한 정보를 획득할 수 있다. 프로세서(1400)는 청소 로봇(2000)의 위치 정보, 전자 장치(1000)의 방향 및 기울어진 각도에 관한 정보에 기초하여 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보를 획득할 수 있다. 여기서, '청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치'는 전자 장치(1000)의 위치를 기준으로 한 청소 로봇(2000)의 위치 정보를 의미한다. 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보는 전자 장치(1000)로부터 청소 로봇(2000) 간의 이격된 거리 정보 및 전자 장치(1000)와 청소 로봇(2000) 사이에서 형성된 각도 정보를 포함할 수 있다.
일 실시예에서, 프로세서(1400)는 카메라(1300)의 FOV(Field Of View) 및 청소 로봇(2000)과의 상대적 위치 정보에 기초하여, 카메라(1300)에 의해 촬영된 영역의 위치를 식별할 수 있다. 프로세서(1400)는 식별된 영역을 청소 대상 영역으로 결정할 수 있다. 프로세서(1400)가 카메라(1300)의 FOV 및 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보에 기초하여 청소 대상 영역을 결정하는 구체적인 실시예에 대해서는 도 8a 내지 도 8c, 도 9에서 상세하게 설명하기로 한다.
일 실시예에서, 프로세서(1400)는 청소 대상 영역에 관한 청소 명령을 포함하는 음성 입력을 수신하고, 수신된 음성 입력으로부터 청소 명령을 식별할 수 있다. 프로세서(1400)는 마이크로폰(1620)을 통해 사용자에 의해 발화된 음성 입력을 수신할 수 있다. 프로세서(1400)는 통신 인터페이스(1100)를 이용하여 음성 입력으로부터 변환된 음성 신호 데이터를 서버로 전송하고, 서버로부터 음성 신호 데이터의 자연어 해석 결과를 수신할 수 있다. 프로세서(1400)는 수신된 음성 신호 데이터의 자연어 해석 결과에 기초하여 청소 명령을 식별할 수 있다.
프로세서(1400)는 청소 명령에 따라 청소 대상 영역에 관한 청소 동작을 수행하도록 청소 로봇(2000)을 제어하는 제어 명령을 생성할 수 있다. 여기서, '제어 명령'은 동작 수행 장치(예를 들어, 청소 로봇(2000))가 동작 정보 내에 포함된 세부 동작들을 수행할 수 있도록, 동작 수행 디바이스가 판독하고 실행할 수 있는 명령어들을 의미한다. 일 실시예에서, 제어 명령은 청소 대상 영역에 관한 위치 정보뿐 아니라, 청소 대상 영역에 관한 청소 명령, 충전 스테이션으로의 복귀 명령, 방향 전환 명령, 또는 특정 동작 모드(예를 들어, 집중 모드, 일반 모드, 반복 모드)로 청소를 수행하는 명령 중 적어도 하나를 더 포함할 수 있다. 프로세서(1400)는 제어 명령을 청소 로봇(2000)에 전송하도록 통신 인터페이스(1100)를 제어할 수 있다. 프로세서(1400)가 사용자로부터 청소 명령에 관한 음성 입력을 수신하고, 음성 입력에 응답하여 청소 로봇(2000)에 청소 동작과 관련된 제어 명령을 전송하는 구체적인 실시예에 대해서는 도 10 및 도 11에서 상세하게 설명하기로 한다.
입력부(1600)는 사용자로부터 선택 입력을 수신하도록 구성된다. 일 실시예에서, 입력부(1600)는 적어도 하나의 가전기기(5000)의 타입 중 어느 하나를 선택하는 사용자 입력을 수신하거나, 또는 청소 명령을 위하여 청소 대상 영역을 선택하는 사용자 입력을 수신할 수 있다. 입력부(1600)는 사용자 입력부(1610) 및 마이크로폰(1620)을 포함할 수 있다.
사용자 입력부(1610)는 키 패드(key pad), 터치 패드, 트랙볼, 및 조그 스위치 등 하드웨어로 구성될 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에서, 사용자 입력부(1610)는 터치 입력을 수신하고, 그래픽 사용자 인터페이스(Graphical User Interface, GUI)를 표시하는 터치스크린으로 구성될 수도 있다.
마이크로폰(1620)은 사용자로부터 음성 입력(예를 들어, 사용자의 발화)을 수신하도록 구성된다. 마이크로폰(1620)은 수신된 음성 입력으로부터 음성 신호를 획득할 수 있다. 일 실시예에서, 마이크로폰(1620)은 수신된 음성 입력을 음향 신호로 변환하고, 음향 신호로부터 노이즈(예를 들어, 비음성 성분)를 제거하여 음성 신호를 획득할 수 있다. 마이크로폰(1620)은 음성 신호를 프로세서(1400)에 제공한다.
출력부(1700)는 비디오 신호 또는 오디오 신호를 출력하도록 구성된다. 출력부(1700)는 디스플레이부(1710) 및 스피커(1720)를 포함할 수 있다.
디스플레이부(1710)는 실내 공간을 시각적으로 나타내는 실내 공간 지도를 디스플레이할 수 있다. 일 실시예에서, 디스플레이부(1710)는 프로세서(1400)의 제어에 의해, 실내 공간 지도 상에 청소 로봇(2000)의 위치를 나타내는 인디케이터 UI(예를 들어, 아이콘), 가전기기의 타입 및 위치를 나타내는 인디케이터 UI를 디스플레이할 수 있다. 일 실시예에서, 디스플레이부(1710)는 프로세서(1400)의 제어에 의해, 실내 공간 지도 상에 청소 대상 영역을 나타내는 인디케이터 UI를 디스플레이할 수 있다.
디스플레이부(1710)는 예를 들어, 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함하는 물리적 장치로 구성될 수 있으나, 상기 나열된 예시로 한정되는 것은 아니다. 일 실시예에서, 디스플레이부(1710)는 터치 인터페이스를 포함하는 터치스크린으로 구성될 수도 있다. 디스플레이부(1710)가 터치스크린으로 구성되는 경우, 디스플레이부(1710)는 터치 패널로 구성되는 사용자 입력부(1610)와 통합되는 구성 요소일 수 있다.
스피커(1720)는 오디오 신호를 출력할 수 있다.
도 3은 본 개시의 일 실시예에 따른 전자 장치(1000)의 동작 방법을 도시한 흐름도이다.
단계 S310에서, 전자 장치(1000)는 무선 통신 네트워크를 이용하여 위치 추적 태그 장치의 위치, 청소 로봇 주변의 가전기기의 위치, 및 청소 로봇과 전자 장치 간의 상대적 위치 중 적어도 하나를 획득한다. 일 실시예에서, 전자 장치(1000)는 위치 추적 태그 장치의 위치 정보를 위치 추적 태그 장치로부터 직접 수신하거나, 또는 서버로부터 수신할 수 있다. 예를 들어, 전자 장치(1000)는 BLE 통신(Bluetooth Low Energy) 방식을 이용하여 위치 추적 태그 장치로부터 직접 위치 추적 태그 장치의 위치 정보를 수신할 수 있다.
일 실시예에서, 전자 장치(1000)는 근거리 무선 통신 네트워크를 통해, 청소 로봇(2000, 도 1 참조)에 의해 획득된 적어도 하나의 가전기기에 관한 위치 정보를 획득할 수 있다. 전자 장치(1000)는 예를 들어, 와이파이(WiFi), WFD(Wi-Fi Direct), 블루투스, BLE, NFC(Near Field Communication unit), 지그비(Zigbee), 또는 마이크로 웨이브(μWave) 통신 중 적어도 하나의 근거리 무선 통신 네트워크를 통해 청소 로봇(2000)으로부터 적어도 하나의 가전기기 각각의 위치 정보를 수신할 수 있다.
일 실시예에서, 전자 장치(1000)는 UWB(Ultra Wide Band) 통신 네트워크를 이용하여, 청소 로봇(2000)으로부터 청소 로봇(2000)의 위치 정보를 획득하고, 획득된 청소 로봇(2000)의 위치 정보, 전자 장치(1000)의 방향 및 기울어진 각도 정보에 기초하여 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)는 지자기 센서(1210, 도 2 참조)를 이용하여 전자 장치(1000)의 방위 정보를 획득하고, 자이로 센서(1220, 도 2 참조) 및 가속도 센서(1230, 도 2 참조)를 이용하여 전자 장치(1000)의 기울어진 각도 또는 회전각 정보를 획득할 수 있다.
단계 S320에서, 전자 장치(1000)는 획득된 적어도 하나의 위치에 기초하여 청소 대상 영역을 결정한다. 일 실시예에서, 전자 장치(1000)는 단계 S310에서 획득된 위치 중 어느 하나의 위치로부터 기 설정된 범위 내의 영역을 청소 대상 영역으로 결정할 수 있다.
일 실시예에서, 전자 장치(1000)는 위치 추적 태그 장치의 위치로부터 기 설정된 반경 내의 영역을 청소 대상 영역으로 결정할 수 있다. 예를 들어, 전자 장치(1000)는 위치 추적 태그 장치의 위치를 중심으로 1m 또는 2m 거리 내의 영역을 청소 대상 영역으로 결정할 수 있다.
일 실시예에서, 전자 장치(1000)는 적어도 하나의 가전기기의 위치를 중심으로 기 설정된 범위 내의 영역을 청소 대상 영역으로 결정할 수 있다. 일 실시예에서, 전자 장치(1000)는 청소 로봇(2000)으로부터 적어도 하나의 가전기기의 위치 정보 뿐만 아니라, 적어도 하나의 가전기기의 디바이스 식별 정보를 획득할 수도 있다. 전자 장치(1000)는 디바이스 식별 정보로부터 적어도 하나의 가전기기의 타입(type)을 식별할 수 있다. 전자 장치(1000)는 적어도 하나의 타입 중 어느 하나의 타입을 선택하는 사용자 입력을 수신하고, 사용자 입력에 의해 선택된 타입에 해당되는 가전기기의 위치를 식별하며, 식별된 위치를 중심으로 기 설정된 반경 내의 영역을 청소 대상 영역으로 결정할 수 있다.
일 실시예에서, 전자 장치(1000)는 카메라(1300, 도 2 참조)를 이용하여 청소하고자 하는 영역을 촬영하고, 카메라(1300)의 FOV(Field Of View) 및 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보에 기초하여 카메라(1300)에 의해 촬영된 영역의 위치를 식별할 수 있다. 전자 장치(1000)는 식별된 영역을 청소 대상 영역으로 결정할 수 있다.
단계 S330에서, 전자 장치(1000)는 결정된 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송한다. 전자 장치(1000)는 예를 들어, 와이파이(WiFi), WFD(Wi-Fi Direct), 블루투스, BLE, NFC(Near Field Communication unit), 지그비(Zigbee), 또는 마이크로 웨이브(μWave) 통신 중 적어도 하나의 근거리 무선 통신 네트워크를 이용하여 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송할 수 있다.
도 4는 본 개시의 일 실시예에 따른 전자 장치(1000)가 위치 추적 태그 장치의 위치에 기초하여 청소 로봇의 청소 대상 영역을 결정하는 방법을 도시한 도면이다.
도 4를 참조하면, 전자 장치(1000)는 위치 추적 태그 장치(4000)의 위치에 기초하여 청소 대상 영역(430)을 결정할 수 있다. '위치 추적 태그 장치(4000)'는 휴대용 트래커(tracker)로서, 위치 좌표 정보를 전자 장치(1000)에 제공하도록 구성되는 장치이다. 위치 추적 태그 장치(4000)는 예를 들어, 갤럭시 스마트태그TM일 수 있으나, 이에 한정되지 않는다.
단계 S410에서, 전자 장치(1000)는 위치 추적 태그 장치(4000)로부터, 위치 추적 태그 장치(4000)의 위치 정보를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)의 프로세서(1400, 도 2 참조)는 근거리 통신 모듈(1110, 도 2 참조) 중 BLE(Bluetooth Low Energy) 통신부를 통해 위치 추적 태그 장치(4000)와 연결되고, BLE 통신 방식을 이용하여 위치 추적 태그 장치(4000)의 위치 정보를 수신할 수 있다.
그러나, 이에 한정되는 것은 아니고, 다른 실시예에서, 프로세서(1400)는 근거리 통신 모듈(1110)을 통해 서버로부터 위치 추적 태그 장치(4000)의 위치 좌표 정보를 획득할 수 있다. 이 경우, 위치 추적 태그 장치(4000)는 전자 장치(1000)의 사용자 계정(user account)을 통해 서버에 기 등록되고, 서버를 통해 전자 장치(1000)와 연결된 장치일 수 있다.
일 실시예에서, 프로세서(1400)는 획득된 위치 추적 태그 장치(4000)의 위치 좌표 정보로부터 위치 추적 태그 장치(4000)의 위치를 식별하고, 식별된 위치 추적 태그 장치(4000)의 위치를 중심으로 기 설정된 반경 내의 영역을 청소 대상 영역으로 결정할 수 있다. 프로세서(1400)는 예를 들어, 위치 추적 태그 장치(4000)의 위치를 중심으로 1m 또는 2m 거리 내의 영역을 청소 대상 영역으로 결정할 수 있다. 프로세서(1400)가 위치 추적 태그 장치(4000)의 위치에 기초하여 청소 대상 영역을 결정하는 구체적인 실시예에 대해서는 도 4에서 상세하게 설명하기로 한다.
단계 S420에서, 전자 장치(1000)는 위치 추적 태그 장치(4000)의 위치에 기초하여 청소 대상 영역(430)을 결정할 수 있다. 일 실시예에서, 프로세서(1400)는 근거리 통신 모듈(1110)을 통해 획득된 위치 정보로부터 위치 추적 태그 장치(4000)의 위치를 식별하고, 식별된 위치 추적 태그 장치(4000)의 위치를 중심으로 기 설정된 반경(r) 내의 영역을 청소 대상 영역으로 결정할 수 있다. 프로세서(1400)는 예를 들어, 위치 추적 태그 장치(4000)의 위치를 중심으로 1m 또는 2m의 반경(r) 내의 영역을 청소 대상 영역(430)으로 결정할 수 있다.
일 실시예에서, 전자 장치(1000)는 디스플레이부(1710)를 통해 실내 공간 지도(400)를 디스플레이하고, 실내 공간 지도(400) 상에 위치 추적 태그 장치(4000)의 위치를 나타내는 위치 추적 태그 장치 아이콘(410) 및 청소 대상 영역(430)을 나타내는 청소 대상 영역 인디케이터(420)를 디스플레이할 수 있다. 위치 추적 태그 장치 아이콘(410) 및 청소 대상 영역 인디케이터(420)는 그래픽 UI일 수 있다.
도 4에 도시된 실시예에서, 전자 장치(1000)는 위치 추적 태그 장치(4000)의 위치에 기초하여 청소 대상 영역(430)을 자동으로 설정할 수 있다. 따라서, 본 개시의 실시예에 따르면, 사용자가 특정 영역을 청소하고 싶을 때 애플리케이션을 통해 특정 영역을 직접 선택하고, 영역의 크기를 확대 또는 축소하는 등 귀찮고 번거로운 작업을 하지 않더라도, 위치 추적 태그 장치(4000)만 원하는 장소에 갖다 놓으면 전자 장치(1000)가 자동으로 청소 대상 영역(430)을 설정하므로, 사용자 편의성이 향상될 수 있다.
도 5는 본 개시의 일 실시예에 따른 전자 장치(1000)가 적어도 하나의 가전기기(5000)의 위치 정보에 기초하여 청소 로봇의 청소 대상 영역을 결정하는 방법을 도시한 도면이다.
도 5를 참조하면, 전자 장치(1000)는 청소 로봇(2000)으로부터 실내 공간 내에 위치하는 적어도 하나의 가전기기(5000)의 위치 정보 및 디바이스 식별 정보를 획득하고, 획득된 적어도 하나의 가전기기(5000)의 위치 정보 및 디바이스 식별 정보에 기초하여 청소 대상 영역을 결정할 수 있다. 도 5에는 적어도 하나의 가전기기(5000)가 제1 가전기기(5001) 내지 제3 가전기기(5003)를 포함하는 복수로 도시되었지만, 이는 예시적인 것이고, 도시된 바와 같이 한정되는 것은 아니다. 일 실시예에서, 실내 공간 내에는 하나의 가전기기만 위치할 수도 있다.
단계 S510에서, 청소 로봇(2000)은 제1 가전기기(5001)의 위치 및 디바이스 식별 정보를 획득한다. 일 실시예에서, 청소 로봇(2000)은 적어도 하나의 가전기기(5000)와 근거리 무선 통신을 수행하기 위한 근거리 통신 모듈을 포함할 수 있다. 청소 로봇(2000)은 예를 들어, 와이파이(WiFi), WFD(Wi-Fi Direct), 블루투스, BLE, NFC(Near Field Communication unit), 지그비(Zigbee), 또는 마이크로 웨이브(μWave) 통신 중 적어도 하나의 근거리 무선 통신 네트워크를 통해 적어도 하나의 가전기기(5000)로부터 신호를 수신할 수 있다. 청소 로봇(2000)은 근거리 통신 모듈을 이용하여 제1 가전기기(5001)로부터 수신되는 수신 신호의 강도(RSSI: Received Signal Strength Indication)에 기초하여 제1 가전기기(5001)의 위치를 추정할 수 있다. 여기서, 수신되는 신호는 제1 가전기기(5001)의 디바이스 식별 정보를 포함할 수 있다. 디바이스 식별 정보는 예를 들어, 디바이스 id일 수 있다.
청소 로봇(2000)은 실내 공간 내에서 이동하면서 제2 가전기기(5002) 및 제3 가전기기(5003)로부터 수신되는 신호 강도에 기초하여 제2 가전기기(5002) 및 제3 가전기기(5003)의 위치를 추정할 수 있다. 청소 로봇(2000)은 제2 가전기기(5002) 및 제3 가전기기(5003)의 디바이스 식별 정보를 수신할 수 있다.
그러나, 이에 한정되는 것은 아니고, 청소 로봇(2000)은 카메라를 통해 획득되는 영상 정보를 분석함으로써, 적어도 하나의 가전기기(5000)의 위치를 추정할 수도 있다. 이 경우, 청소 로봇(2000)은 객체를 인식하도록 학습된 인공 지능 모델에 영상 정보를 적용하여 적어도 하나의 가전기기(5000) 각각의 위치를 추정할 수 있다. 예를 들어, 청소 로봇(2000)이 카메라를 통해 획득한 거실 이미지를 인공 지능 모델에 입력하는 경우, 청소 로봇(2000)은 인공 지능 모델로부터 거실의 좌측에 제2 가전기기(5002)인 에어컨이 위치하고, 거실 중앙에 제1 가전기기(5001)인 TV가 위치하며, 거실 오른쪽에 제3 가전기기(5003)인 냉장고가 위치한다는 정보를 결과 값으로 수신할 수 있다. 청소 로봇(2000)은 인공 지능 모델의 결과 값에 기초하여 적어도 하나의 가전기기(5000) 각각의 위치가 표시된 실내 공간 지도를 생성할 수 있다.
단계 S520에서, 전자 장치(1000)는 청소 로봇(2000)으로부터 적어도 하나의 가전기기(5000)의 위치 및 디바이스 식별 정보를 수신한다. 일 실시예에서, 전자 장치(1000)의 프로세서(1400, 도 2 참조)는 와이파이(WiFi), WFD(Wi-Fi Direct), 블루투스, BLE, NFC(Near Field Communication unit), 지그비(Zigbee), 또는 마이크로 웨이브(μWave) 통신 중 적어도 하나의 근거리 무선 통신 네트워크를 이용하여, 청소 로봇(2000)으로부터 적어도 하나의 가전기기(5000)의 위치 및 디바이스 식별 정보를 수신할 수 있다.
전자 장치(1000)는 수신된 적어도 하나의 가전기기(5000)의 디바이스 식별 정보에 기초하여, 적어도 하나의 가전기기(5000) 각각의 디바이스 타입(type)을 식별할 수 있다. 일 실시예에서, 전자 장치(1000)의 프로세서(1400)는 메모리(1500, 도 2 참조)에 저장되어 있는 디바이스 식별 정보와 디바이스 타입에 관한 매칭 정보를 이용하여, 적어도 하나의 가전기기(5000)의 디바이스 타입을 식별할 수 있다. 그러나, 이에 한정되는 것은 아니고, 프로세서(1400)는 통신 인터페이스(1100, 도 2 참조)를 이용하여 적어도 하나의 가전기기(5000)의 디바이스 식별 정보를 서버로 전송하고, 서버로부터 디바이스 식별 정보에 따른 디바이스 타입 정보를 수신할 수 있다. 프로세서(1400)는 서버로부터 수신된 디바이스 타입 정보에 기초하여, 적어도 하나의 가전기기(5000) 각각의 디바이스 타입을 식별할 수 있다.
전자 장치(1000)는 실내 공간 지도(500)를 디스플레이하고, 실내 공간 지도(500) 상에 식별된 적어도 하나의 가전기기(5000) 각각의 위치 및 디바이스 타입을 나타내는 UI(511 내지 513)를 디스플레이할 수 있다. 일 실시예에서, 프로세서(1400)는 실내 공간 지도(500) 상에 제1 가전기기(5001)의 위치 및 디바이스 타입을 나타내는 제1 UI(511), 제2 가전기기(5002)의 위치 및 디바이스 타입을 나타내는 제2 UI(512) 및 제3 가전기기(5003)의 위치 및 디바이스 타입을 나타내는 제3 UI(513)를 디스플레이하도록 디스플레이부(1710)를 제어할 수 있다. 도 5에 도시된 실시예에서, 제1 UI(511)는 'TV', 제2 UI(512)는 '에어컨', 제3 UI(513)는 '냉장고'라는 문자로 구성된 UI로 도시되었지만, 이에 한정되는 것은 아니다. 다른 실시예에서, 제1 UI(511) 내지 제3 UI(513)는 TV, 에어컨, 및 냉장고를 이미지 또는 아이콘으로 표시하는 그래픽 UI(GUI)로 구현될 수 있다.
전자 장치(1000)는 복수의 UI(511 내지 513) 중 어느 하나를 선택하는 사용자 입력을 수신할 수 있다. 일 실시예에서, 프로세서(1400)는 사용자 입력부(1610)를 통해 디스플레이부(1710) 상에 디스플레이된 제1 UI(511) 내지 제3 UI(513) 중 어느 하나를 선택하는 사용자의 터치 입력을 수신할 수 있다.
그러나, 이에 한정되는 것은 아니고, 다른 실시예에서 프로세서(1400)는 마이크로폰(1620)을 통해 사용자로부터 가전기기의 디바이스 타입을 발화하는 음성 입력을 수신할 수도 있다. 예를 들어, 마이크로폰(1620)은 사용자로부터 "TV 주위를 청소 영역으로 설정해줘~"라는 음성 입력을 수신할 수 있다.
전자 장치(1000)는 적어도 하나의 가전기기(5000) 중 사용자 입력에 기초하여 선택된 디바이스 타입에 해당되는 가전기기를 식별하고, 식별된 가전기기의 위치로부터 기 설정된 범위 내의 영역을 청소 대상 영역으로 결정할 수 있다. 도 5에 도시된 실시예에서, 사용자 입력을 통해 제1 UI(511)가 선택된 경우, 프로세서(1400)는 선택된 디바이스 타입인 TV를 식별하고, 적어도 하나의 가전기기(5000) 중 TV인 제1 가전기기(5001)를 식별할 수 있다. 프로세서(1400)는 제1 가전기기(5001)로부터 기 설정된 반경 내의 영역을 청소 대상 영역으로 결정할 수 있다. 프로세서(1400)는 예를 들어, 제1 가전기기(5001)인 TV로부터 1m 또는 2m 반경 내의 영역을 청소 대상 영역으로 결정할 수 있다.
단계 S530에서, 전자 장치(1000)는 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송한다. 일 실시예에서, 프로세서(1400)는 근거리 통신 모듈(1110)을 통해 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송할 수 있다.
도 6은 본 개시의 일 실시예에 따른 전자 장치(1000)가 가전기기(5000)의 위치 정보에 기초하여 청소 로봇(2000)의 청소 대상 영역을 결정하는 방법을 도시한 흐름도이다.
단계 S610에서, 청소 로봇(2000)은 가전기기(5000)의 디바이스 식별 정보를 요청하는 신호를 가전기기(5000)에 전송한다. 일 실시예에서, 청소 로봇(2000)은 실내 공간을 이동하면서, 가전기기(5000)에 디바이스 식별 정보를 요청하는 쿼리(query) 신호를 전송할 수 있다. 일 실시예에서, 디바이스 식별 정보는 가전기기(5000)의 디바이스 id에 관한 정보를 포함할 수 있다.
단계 S620에서, 청소 로봇(2000)은 가전기기(5000)로부터 디바이스 식별 정보를 수신한다. 일 실시예에서, 청소 로봇(2000)은 와이파이(WiFi), WFD(Wi-Fi Direct), 블루투스, BLE, NFC(Near Field Communication unit), 지그비(Zigbee), 또는 마이크로 웨이브(μWave) 통신 중 적어도 하나의 근거리 무선 통신 네트워크를 통해 적어도 하나의 가전기기(5000)로부터 신호를 수신하는 근거리 통신 모듈을 포함할 수 있다. 청소 로봇(2000)은 근거리 통신 모듈을 이용하여 가전기기(5000)로부터 디바이스 식별 정보를 수신할 수 있다.
단계 S630에서, 청소 로봇(2000)은 가전기기의 위치 및 디바이스 식별 정보를 획득한다. 일 실시예에서, 청소 로봇(2000)은 실내 공간을 이동하면서 가전기기(5000)로부터 수신되는 수신 신호의 강도(RSSI: Received Signal Strength Indication)에 기초하여 가전기기의 위치를 추정할 수 있다.
그러나, 이에 한정되는 것은 아니고, 다른 실시예에서 청소 로봇(2000)은 카메라를 통해 획득되는 영상 정보를 분석함으로써, 가전기기(5000)의 위치를 추정할 수도 있다. 이 경우, 청소 로봇(2000)은 객체를 인식하도록 학습된 인공 지능 모델에 영상 정보를 적용하여 가전기기(5000) 각각의 위치를 추정할 수 있다.
단계 S640에서, 청소 로봇(2000)은 가전기기(5000)의 위치 정보 및 디바이스 식별 정보를 전자 장치(1000)에 전송한다. 일 실시예에서, 청소 로봇(2000)은 와이파이(WiFi), WFD(Wi-Fi Direct), 블루투스, BLE, NFC(Near Field Communication unit), 지그비(Zigbee), 또는 마이크로 웨이브(μWave) 통신 중 적어도 하나의 근거리 무선 통신 네트워크를 통해 가전기기(5000)의 위치 정보 및 디바이스 식별 정보를 전자 장치(1000)에 전송할 수 있다.
단계 S650에서, 전자 장치(1000)는 디바이스 식별 정보로부터 가전기기(5000)의 타입(type)을 식별한다. 일 실시예에서, 전자 장치(1000)는 메모리(1500, 도 2 참조)에 저장되어 있는 디바이스 식별 정보와 디바이스 타입에 관한 매칭 정보를 이용하여, 가전기기(5000)의 디바이스 타입을 식별할 수 있다. 그러나, 이에 한정되는 것은 아니고, 전자 장치(1000)는 통신 인터페이스(1100, 도 2 참조)를 이용하여 가전기기(5000)의 디바이스 식별 정보를 서버로 전송하고, 서버로부터 디바이스 식별 정보에 따른 디바이스 타입에 관한 정보를 수신할 수 있다. 전자 장치(1000)는 서버로부터 수신된 디바이스 타입 정보에 기초하여, 가전기기(5000)의 디바이스 타입을 식별할 수 있다.
단계 S660에서, 전자 장치(1000)는 가전기기(5000)의 타입 및 위치를 나타내는 UI를 디스플레이한다. 일 실시예에서, 전자 장치(1000)는 실내 공간 지도 상에 가전기기(5000)의 타입 및 위치를 나타내는 UI를 디스플레이할 수 있다. 예를 들어, 전자 장치(1000)는 실내 공간 지도 상에 가전기기(5000)의 타입 및 위치를 시각적으로 표시하는 아이콘을 디스플레이할 수 있다. 그러나, 이에 한정되는 것은 아니고, 다를 예를 들어 전자 장치(1000)는 가전기기(5000)의 타입을 문자로 표시하는 UI를 디스플레이할 수도 있다.
단계 S670에서, 전자 장치(1000)는 디스플레이된 UI 중 가전기기의 타입을 선택하는 사용자의 입력을 수신한다. 일 실시예에서, 전자 장치(1000)는 UI가 나타내는 타입 중 어느 하나의 타입을 선택하는 사용자의 터치 입력을 수신할 수 있다.
다른 실시예에서 프로세서(1400)는 마이크로폰(1620)을 통해 사용자로부터 가전기기의 디바이스 타입을 발화하는 음성 입력을 수신할 수 있다. 이 경우, 프로세서(1400)는 사용자로부터 디바이스 타입뿐 아니라, 어느 위치에 위치하는 가전기기인지에 관한 음성 입력을 수신할 수도 있다. 예를 들어, 프로세서(1400)는 마이크로폰(1620)을 통해, "안방 TV 주변 청소해줘~"라는 음성 입력을 수신할 수 있다.
단계 S680에서, 전자 장치(1000)는 사용자 입력에 기초하여 선택된 타입에 해당되는 가전기기(5000)의 위치로부터 기 설정된 반경 내의 영역을 청소 대상 영역으로 결정한다.
단계 S690에서, 전자 장치(1000)는 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송한다.
도 5 및 도 6는 전자 장치(1000)가 외부 서버의 개입없이, 와이파이(WiFi), WFD(Wi-Fi Direct), 블루투스, BLE, NFC(Near Field Communication unit), 지그비(Zigbee), 또는 마이크로 웨이브(μWave) 통신 중 적어도 하나의 근거리 무선 통신 네트워크를 이용하여 청소 로봇(2000)과 데이터를 송수신하는 엣지 컴퓨팅(edge computing)을 통해 청소 대상 영역을 결정하는 실시예를 도시하였다. 전자 장치(1000)는 외부 서버의 개입이 없이, 엣지 컴퓨팅을 통해 청소 대상 영역을 결정하는 바, 네트워크 비용의 발생을 방지할 수 있고, 지연 시간(latency)을 줄일 수 있는 기술적 효과를 제공한다.
도 7은 본 개시의 일 실시예에 따른 전자 장치(1000)가 실내 공간의 공기 질에 관한 정보에 기초하여 집중 청소 대상 영역을 결정하는 방법을 도시한 도면이다.
도 7을 참조하면, 공기 질 측정 장치(700) 또는 공기 청정기(702)는 실내 공기 질을 측정하고, 실내 공기 질에 관한 정보를 청소 로봇(2000)에 전송할 수 있다.
공기 질 측정 장치(700)는 실내 공기의 질을 감지하여 공기 질 상태 정보를 제공하는 장치이다. 일 실시예에서, 공기 질 측정 장치(700)는 PM10 (Particular Matter 10), PM2.5 (Particular Matter 2.5), PM1.0(Particular Matter 1.0), 또는 TVOC(Total Volatile Organic Compounds) 중 적어도 하나를 포함하는 공기 오염 지수를 측정할 수 있다. 일 실시예에서, 공기 질 측정 장치(700)는 온도센서, 습도센서, 미세먼지 센서, TVOC 센서, CO2 센서, 및 라돈 센서 중 적어도 하나의 센서를 포함할 수 있다. 공기 질 측정 장치(700)는 예를 들어, 삼성 에어모니터TM일 수 있으나, 이에 한정되는 것은 아니다.
단계 S710에서, 청소 로봇(2000)은 공기 질 측정 장치(700) 또는 공기 청정기(702)로부터 실내 공기 질에 관한 정보를 수신한다. 청소 로봇(2000)은 주행 경로에 따라 실내 공간을 이동하면서, 실내 공간의 영역 별 공기 질 정보를 수신할 수 있다. 실내 공기 질에 관한 정보는, 실내 공간의 각 영역 별 PM10, PM2.5, PM1.0 및 TVOC 를 포함하는 공기 오염 지수 중 적어도 하나의 지수에 관한 정보를 포함할 수 있다.
일 실시예에서, 청소 로봇(2000)은 근거리 통신 모듈을 포함하고, 와이파이(WiFi), WFD(Wi-Fi Direct), 블루투스, BLE, NFC(Near Field Communication unit), 지그비(Zigbee), 또는 마이크로 웨이브(μWave) 통신 중 적어도 하나의 근거리 무선 통신 네트워크를 통해 공기 질 측정 장치(700) 또는 공기 청정기(702)로부터 실내 공기 질에 관한 정보를 수신할 수 있다.
단계 S720에서, 청소 로봇(2000)은 실내 공기 질에 관한 정보를 전자 장치(1000)에 전송한다. 일 실시예에서, 청소 로봇(2000)은 근거리 통신 모듈을 이용하여, 공기 질 측정 장치(700) 또는 공기 청정기(702)로부터 수신된 실내 공기 질에 관한 정보를 전자 장치(1000)에 전송할 수 있다.
단계 S730에서, 전자 장치(1000)는 공기 오염 정도가 기 설정된 임계치를 초과하는 영역을 집중 청소 대상 영역(710)으로 결정한다. 일 실시예에서, 전자 장치(1000)의 프로세서(1400, 도 2 참조)는 근거리 통신 모듈(1110, 도 2 참조)를 이용하여 청소 로봇(2000)으로부터 실내 공간의 영역 별 공기 질에 관한 정보를 수신하고, 수신된 영역 별 공기 질에 관한 정보로부터 공기 오염 정도를 식별할 수 있다. 프로세서(1400)는 공기 오염 정도를 기 설정된 임계치와 비교하고, 임계치를 초과하는 영역을 식별할 수 있다. 예를 들어, 프로세서(1400)는 PM2.5 값이 PM2.5 에 관한 임계치인 50을 초과하는 경우, 해당 영역을 공기 오염 정도가 높은 영역으로 식별할 수 있다.
프로세서(1400)는 식별된 영역을 집중 청소 대상 영역(710)으로 결정할 수 있다. 일 실시예에서, 집중 청소 대상 영역(710)은 미리 결정된 청소 대상 영역 중 일부 영역일 수 있다. 그러나, 이에 한정되는 것은 아니고, 프로세서(1400)는 공기 오염 정도가 높은 영역으로 식별된 영역을 청소 대상 영역으로 결정할 수도 있다.
단계 S740에서, 전자 장치(1000)는 집중 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송한다. 일 실시예에서, 프로세서(1400)는 근거리 통신 모듈(1110, 도 2 참조)를 이용하여 집중 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송할 수 있다.
도 8a는 본 개시의 일 실시예에 따른 전자 장치(1000)가 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 8a를 참조하면, 청소 로봇(2000)은 실내 공간 내에서 위치 정보를 획득하고, 위치 정보를 전자 장치(1000)에 전송할 수 있다. 일 실시예에서, 청소 로봇(2000)은 초음파 센서, 적외선 센서, 또는 라이다 센서(LiDAR, Light Detection And Ranging sensor) 중 적어도 하나의 센서를 포함하고, 적어도 하나의 센서를 이용하여 실내 공간을 탐색하고, 실내 공간 지도를 생성할 수 있다. 실내 공간은 청소 로봇(2000)이 실질적으로 자유롭게 이동할 수 있는 영역을 의미한다. '실내 공간 지도'는 예를 들어, 청소 중 주행에 사용되는 내비게이션 맵(Navigation map), 위치 인식에 사용되는 SLAM(Simultaneous localization and mapping) 맵, 및 인식된 장애물에 관한 정보가 기록되는 장애물 인식 맵 중 적어도 하나에 관한 데이터를 포함할 수 있다. 일 실시예에서, 청소 로봇(2000)은 SLAM(Simultaneous Localization and Mapping) 기술을 이용하여 실내 공간 지도 중 청소 로봇(2000)의 위치를 식별할 수 있다. 청소 로봇(2000)은 식별된 위치에 관한 정보를 전자 장치(1000)에 전송할 수 있다.
전자 장치(1000)는 청소 로봇(2000)으로부터 청소 로봇(2000)의 위치 정보를 수신할 수 있다. 전자 장치(1000)의 프로세서(1400, 도 2 참조)는 UWB 통신 모듈(1120, 도 2 참조)을 이용하여 청소 로봇(2000)으로부터 위치 정보를 수신할 수 있다. 프로세서(1400)는 UWB 통신 모듈(1120)을 이용하여 청소 로봇(2000)으로부터 실내 공간 지도 데이터를 수신할 수도 있다.
전자 장치(1000)는 청소 로봇(2000)으로부터 수신된 청소 로봇(2000)의 위치 정보 및 실내 공간 지도 데이터를 이용하여, 디스플레이부(1710) 상에 실내 공간 지도(800), 전자 장치(1000)의 위치를 나타내는 아이콘(810), 및 청소 로봇(2000)의 위치를 나타내는 아이콘(820)을 디스플레이할 수 있다.
전자 장치(1000)는, 전자 장치(1000)의 위치, 높이, 방향, 및 기울어진 각도 중 적어도 하나에 기초하여 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보를 획득할 수 있다. '청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치'는 전자 장치(1000)의 위치를 기준으로 한 청소 로봇(2000)의 위치 정보를 의미한다. 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보는 전자 장치(1000)로부터 청소 로봇(2000) 간의 이격된 거리 정보 및 전자 장치(1000)와 청소 로봇(2000) 사이에서 형성된 각도 정보를 포함할 수 있다.
일 실시예에서, 프로세서(1400)는 지자기 센서(1210, 도 2 참조)를 이용하여 전자 장치(1000)의 방향에 관한 정보를 획득하고, 자이로 센서(1220) 및 가속도 센서(1230)를 이용하여 전자 장치(1000)의 기울어진 각도에 관한 정보를 획득할 수 있다. 프로세서(1400)는 청소 로봇(2000)의 위치 정보, 전자 장치(1000)의 방향 및 기울어진 각도에 관한 정보에 기초하여 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보를 획득할 수 있다.
일 실시예에서, 프로세서(1400)는 전자 장치(1000)의 위치를 나타내는 UI(810)를 실내 공간 지도(800) 상에 디스플레이하도록 디스플레이부(1710)를 제어할 수 있다.
도 8b는 본 개시의 일 실시예에 따른 전자 장치(1000)가 청소하고자 하는 영역을 촬영하고, 촬영된 영역을 디스플레이하는 방법을 설명하기 위한 도면이다.
도 8b를 참조하면, 전자 장치(1000)는 카메라(1300, 도 2 참조)를 포함하고, 카메라(1300)를 이용하여 실내 공간 중 청소하고자 하는 영역을 촬영함으로써, 이미지를 획득할 수 있다. 카메라(1300)를 이용하여 촬영된 영역의 위치는 전자 장치(1000)가 향하는 방향, 기울어진 각도, 및 카메라(1300)의 FOV(Field Of View)에 따라 다르게 결정될 수 있다. '카메라(1300)의 FOV'는 카메라(1300)의 렌즈를 통해 관측하고, 촬영할 수 있는 영역의 크기를 나타내는 각(angle)을 의미한다. 카메라(1300)의 FOV는 카메라(1300)의 렌즈가 배치되는 위치 및 방향, 전자 장치(1000)의 방향 및 기울어진 각도에 따라 결정될 수 있다.
도 8c는 본 개시의 일 실시예에 따른 전자 장치(1000)가 청소 로봇(2000)과의 상대적 위치 정보 및 카메라의 FOV(Field Of View)에 기초하여 청소 대상 영역을 결정하는 방법을 설명하기 위한 도면이다.
도 8c를 참조하면, 전자 장치(1000)는 청소 로봇(2000)과의 상대적 위치 및 카메라(1300, 도 8b 참조)의 FOV에 기초하여, 청소 대상 영역(830)을 결정할 수 있다.
일 실시예에서, 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치는, 전자 장치(1000)의 위치를 기준으로 한 청소 로봇(2000)의 위치 정보를 의미한다. 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보는 전자 장치(1000)로부터 청소 로봇(2000) 간의 이격된 거리(d), 및 전자 장치(1000)와 청소 로봇(2000) 사이에서 형성된 각도(α)에 관한 정보를 포함할 수 있다.
도 8c에 도시된 실시예에서, 전자 장치(1000)는 X축 방향에 대하여 α 각도만큼 기울어져 있고, 바닥면으로부터 Z축 방향으로 h 높이만큼 이격되고, 청소 로봇(2000)을 향하는 방향에 대한 반대 방향으로 놓여 있을 수 있다. 전자 장치(1000)의 프로세서(1400, 도 2 참조)는 지자기 센서(1210, 도 2 참조)를 이용하여 전자 장치(1000)의 방위를 측정함으로써, 전자 장치(1000)가 높인 방향(ori)에 관한 정보를 획득할 수 있다. 프로세서(1400)는 자이로 센서(1220, 도 2 참조) 및 가속도 센서(1230, 도 2 참조)를 이용하여 전자 장치(1000)가 기울어진 각도를 측정함으로써, X축에 대하여 기울어진 각도(α) 값을 획득할 수 있다.
프로세서(1400)는 청소 로봇(2000)와 전자 장치(1000) 간의 상대적 위치, 전자 장치(1000)의 방향(ori) 정보, 기울어진 각도(α) 정보, 및 카메라(1300)의 FOV에 기초하여, 카메라(1300)에 의해 촬영된 영역의 위치를 식별할 수 있다. 도 8c에 도시된 실시예에서, 촬영 영역은 X축과 90˚-α 크기의 각을 형성하고, 바닥면으로부터 h 높이만큼 이격되므로, 프로세서(1400)는 삼각 함수 계산법을 이용하여 촬영 영역의 위치를 추정할 수 있다. 촬영 영역의 위치는 카메라(1300)의 렌즈를 통해 촬영할 수 있는 FOV에 의해 달라질 수 있으므로, 프로세서(1400)는 삼각 함수를 통해 추정된 영역을 FOV 정보를 이용하여 보정함으로써, 촬영 영역의 위치를 식별할 수 있다.
프로세서(1400)는 최종 식별된 영역을 청소 대상 영역으로 결정할 수 있다. 프로세서(1400)는 근거리 통신 모듈(1110, 도 2 참조)를 이용하여 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송할 수 있다.
도 9는 본 개시의 일 실시예에 따른 전자 장치(1000)가 청소 로봇(2000)과의 상대적 위치 관계 및 카메라의 FOV에 기초하여 청소 대상 영역을 결정하는 방법을 도시한 흐름도이다.
도 9에 도시된 단계들 중 S910 내지 S930은 도 3에 도시된 단계 S310을 구체화한 단계들이다. 도 9에 도시된 단계들 중 S940 내지 S960은 도 3에 도시된 단계 S320을 구체화한 단계들이다. 단계 S960이 수행된 이후에는, 도 3에 도시된 단계 S330이 수행될 수 있다.
단계 S910에서, 전자 장치(1000)는 UWB(Ultra Wide Band) 통신 네트워크를 이용하여, 청소 로봇(2000)의 위치 정보를 수신한다. 일 실시예에서, 전자 장치(1000)는 UWB 통신 모듈(1120, 도 2 참조)를 이용하여, 청소 로봇(2000)으로부터 위치 정보를 수신할 수 있다. UWB(Ultra Wide Band) 통신 모듈(1120)은 3.1GHz 내지 10.6GHz 사이의 초 광대역 주파수 대역을 이용하여 데이터 송수신을 수행하는 통신 모듈이다. UWB 통신 모듈(1120)은 최대 500Mbps 속도로 데이터를 송수신할 수 있다.
단계 S920에서 전자 장치(1000)는, 전자 장치(1000)의 방향 및 기울어진 각도를 측정한다. 일 실시예에서, 전자 장치(1000)는 지자기 센서(1210, 도 2 참조)를 이용하여 전자 장치(1000)의 방위를 측정하고, 측정된 방위에 기초하여 전자 장치(1000)가 향하는 방향 정보를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)는 자이로 센서(1220, 도 2 참조) 및 가속도 센서(1230, 도 2 참조)를 이용하여 전자 장치(1000)의 기울어진 각도에 관한 정보를 획득할 수 있다.
단계 S930에서, 전자 장치(1000)는 청소 로봇(2000)의 위치 및 전자 장치(1000)의 방향과 기울어진 각도에 기초하여, 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보를 획득한다. '청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치'는 전자 장치(1000)의 위치를 기준으로 한 청소 로봇(2000)의 위치 정보를 의미한다. 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보는 전자 장치(1000)로부터 청소 로봇(2000) 간의 이격된 거리 정보 및 전자 장치(1000)와 청소 로봇(2000) 사이에서 형성된 각도 정보를 포함할 수 있다.
단계 S940에서, 전자 장치(1000)는 카메라(1300, 도 2 참조)를 이용하여, 청소하고자 하는 영역을 촬영한다.
단계 S950에서, 전자 장치(1000)는 카메라(1300)의 FOV(Field Of View) 및 전자 장치(1000)와 청소 로봇(2000) 간의 상대적 위치 정보에 기초하여, 촬영 영역을 식별한다. 일 실시예에서, 전자 장치(1000)는 청소 로봇(2000)과의 이격된 거리, 청소 로봇(2000)과 전자 장치(1000) 사이에서 형성된 각도, 및 전자 장치(1000)와 바닥면 사이의 이격된 높이 값 정보를 이용하여, 삼각 함수 알고리즘을 통해 촬영 영역의 위치를 추정할 수 있다. 일 실시예에서, 전자 장치(1000)는 추정된 촬영 영역의 위치를 카메라(1300)의 FOV 정보를 이용하여 보정함으로써, 촬영 영역의 위치를 식별할 수 있다.
단계 S960에서, 전자 장치(1000)는 식별된 영역을 청소 대상 영역으로 결정한다.
도 8a 내지 도 8c, 및 도 9에 도시된 실시예에서, 전자 장치(1000)는 UWB 통신 네트워크를 통해 청소 로봇(2000)의 위치 정보를 수신하고, 전자 장치(1000)의 방향, 기울어진 각도, 및 카메라(1300)의 FOV에 기초하여 카메라(1300)를 통해 촬영된 영역을 청소 대상 영역으로 자동으로 결정할 수 있다. 본 개시의 일 실시예에 따른 전자 장치(1000)는 UWB 통신 네트워크를 이용함으로써, 청소 로봇(2000)과 전자 장치(1000)의 정확한 위치 정보를 획득할 수 있다. 또한, 본 개시의 일 실시예에 따른 전자 장치(1000)는 사용자가 특정 영역을 청소하고 싶을 때 애플리케이션을 통해 특정 영역을 직접 선택하고, 영역의 크기를 확대 또는 축소하는 등 귀찮고 번거로운 작업을 하지 않더라도, 카메라(1300)를 통해 촬영된 영역을 청소 대상 영역으로 자동으로 결정하므로, 사용자 편의성을 향상시킬 수 있다.
도 10은 본 개시의 일 실시예에 따른 전자 장치(1000)가 사용자로부터 수신된 음성 입력에 기초하여 청소 대상 영역에 관한 청소 동작을 수행하도록 청소 로봇(2000)을 제어하는 방법을 설명하기 위한 도면이다.
도 10을 참조하면, 단계 S1010에서 전자 장치(1000)는 마이크로폰(1620, 도 2 참조)을 통해 사용자로부터 청소 대상 영역에 관한 청소 명령을 포함하는 음성 입력을 수신할 수 있다. '음성 입력'은 사용자에 의해 발화된 음성일 수 있다. 일 실시예에서, 음성 입력은 웨이크 업(wake up) 음성을 포함할 수 있다. '웨이크 업 음성'은 전자 장치(1000)를 대기 모드에서 음성 인식 기능 모드로 전환하기 위한 신호로서, 예를 들어, '하이 빅스비' 또는 '오케이 구글' 등을 포함할 수 있다.
음성 입력은 청소 대상 영역을 특정하기 위한 정보를 포함할 수 있다. 일 실시예에서, 음성 입력은 위치 추적 태그 장치(4000, 도 4 참조) 또는 청소 로봇(2000) 주변에 위치하는 가전기기의 타입을 포함할 수 있다. 예를 들어, 음성 입력은 "스마트 태그 주변 청소해줘~" 또는 "TV 주변 청소해 줘~"와 같이 위치 추적 태그 장치(4000) 또는 가전기기의 타입에 관한 정보를 포함할 수 있다. 도 10에 도시된 실시예에서, 전자 장치(1000)는 마이크로폰(1620)을 통해 "하이 빅스비! 파워봇으로 TV 주변 청소해줘~"라는 음성 입력을 수신할 수 있다.
일 실시예에서, 마이크로폰(1620)은 수신된 음성 입력을 음향 신호로 변환하고, 음향 신호로부터 노이즈(예를 들어, 비음성 성분)를 제거하여 음성 신호를 획득할 수 있다.
단계 S1020에서, 전자 장치(1000)는 음성 입력의 데이터를 서버(3000)에 전송할 수 있다. 일 실시예에서, 전자 장치(1000)의 프로세서(1400, 도 2 참조)는 마이크로폰(1620)으로부터 획득한 음성 신호를 서버(3000)에 전송할 수 있다. 일 실시예에서, 프로세서(1400)는 통신 인터페이스(1100, 도 2 참조)를 이용하여 음성 신호를 서버(3000)에 전송할 수 있다.
서버(3000)는 음성 신호를 해석함으로써, 음성 신호에 포함되는 사용자의 의도(intent) 및 파라미터(parameter)를 인식할 수 있는 자연어 처리 능력을 가질 수 있다. 일 실시예에서, 서버(3000)는 전자 장치(1000)로부터 수신된 음성 신호를 컴퓨터로 판독할 수 있는 텍스트로 변환하고, 자연어 이해 모델(Natural Language Understanding model)을 이용하여 텍스트를 해석함으로써, 인텐트 및 파라미터 정보를 획득할 수 있다. 여기서, '인텐트'는 사용자의 발화 의도를 나타내는 정보로서, 사용자가 요청한 동작 수행 디바이스의 동작을 나타내는 정보일 수 있다. 예를 들어, "파워봇으로 TV 주변 청소해 줘~"라는 텍스트에서, 인텐트는 '청소 명령'일 수 있다. '파라미터'는 인텐트와 관련된 동작 수행 디바이스의 세부 동작들을 결정하기 위한 변수(variable) 정보를 의미한다. 예를 들어, "파워봇으로 TV 주변 청소해 줘~"라는 텍스트에서, 파라미터는 '파워봇'이라는 동작 수행 디바이스 명칭, 'TV 주변'이라는 청소 대상 영역일 수 있다.
단계 S1030에서, 서버(3000)는 음성 입력에 대한 자연어 해석 결과를 전자 장치(1000)에 전송한다. 자연어 해석 결과는, 음성 신호로부터 변환된 텍스트를 해석하여 획득한 인텐트 및 파라미터 정보를 포함할 수 있다. 도 10에 도시된 실시예에서, 서버(3000)는 '청소 명령'의 인텐트 및 '파워 봇'과 'TV 주변'의 파라미터 정보를 전자 장치(1000)에 전송할 수 있다.
단계 S1040에서, 전자 장치(1000)는 수신된 자연어 해석 결과로부터 청소 명령 및 청소 대상 영역에 관한 정보를 획득한다. 전자 장치(1000)의 프로세서(1400)는 인텐트로부터 청소 명령을, 파라미터로부터 청소 대상 영역에 관한 정보를 식별할 수 있다. 예를 들어, 프로세서(1400)는 '파워 봇'의 파라미터로부터 청소 로봇(2000)을 식별하고, 청소 로봇(2000)을 동작 수행 디바이스로 결정할 수 있다.
일 실시예에서, 프로세서(1400)는 파라미터 정보로부터, 청소 대상 영역을 특정하기 위한 위치 추적 태그 장치(4000) 또는 가전기기의 타입에 관한 정보를 획득할 수 있다. 예를 들어, 사용자로부터 수신된 음성 입력이 "스마트 태그 주변 청소해줘~"인 경우, 프로세서(1400)는 서버(3000)로부터 수신된 파라미터 정보로부터 위치 추적 태그 장치를 청소 대상 영역을 결정하기 위한 정보로 획득할 수 있다. 다른 예를 들어, 음성 입력이 "TV 주변 청소해 줘~"인 경우, 프로세서(1400)는 서버(3000)로부터 수신된 파라미터 정보로부터 가전기기의 타입(예를 들어, TV)을 청소 대상 영역을 결정하기 위한 정보로서 획득할 수 있다.
전자 장치(1000)는 동작 수행 디바이스인 청소 로봇(2000)을 제어하기 위한 제어 명령을 생성할 수 있다. '제어 명령'은 동작 수행 장치(도 10에 도시된 실시예에서, 청소 로봇(2000))가 동작 정보 내에 포함된 세부 동작들을 수행할 수 있도록, 동작 수행 디바이스가 판독하고 실행할 수 있는 명령어들을 의미한다. 일 실시예에서, 제어 명령은 청소 대상 영역에 관한 위치 정보 뿐만 아니라, 청소 대상 영역에 관한 청소 명령, 충전 스테이션으로의 복귀 명령, 방향 전환 명령, 또는 특정 동작 모드(예를 들어, 집중 모드, 일반 모드, 반복 모드)로 청소를 수행하는 명령 중 적어도 하나를 더 포함할 수 있다.
단계 S1050에서, 전자 장치(1000)는 제어 명령을 청소 로봇(2000)에 전송한다. 일 실시예에서, 전자 장치(1000)는 와이파이(WiFi), WFD(Wi-Fi Direct), 블루투스, BLE, NFC(Near Field Communication unit), 지그비(Zigbee), 또는 마이크로 웨이브(μWave) 통신 중 적어도 하나의 근거리 무선 통신 네트워크를 통해 청소 로봇(2000)에 제어 명령을 전송할 수 있다.
단계 S1060에서, 청소 로봇(2000)은 제어 명령에 따라 청소 동작을 수행한다. 도 10에 도시된 실시예에서, 제어 명령은 'TV 주변'이라는 청소 대상 영역에 관한 청소 동작을 수행하기 위한 세부 정보들을 포함할 수 있다. 청소 로봇(2000)은 제어 명령에 따라 TV로부터 기 설정된 범위 내의 영역에 대한 청소 경로를 계획하고, 계획된 청소 경로를 따라서 청소 동작을 완료할 수 있다. 청소 로봇(2000)이 청소하는 중에 TV 근처에서 장애물을 인식한 경우, 청소 로봇(2000)은 계획된 청소 경로를 변경할 수도 있고, TV 근처의 영역에 대한 청소를 중단할 수도 있다. 예를 들어, 장애물이 크지 않은 경우, 청소 로봇(2000)은 장애물을 피해서 청소하는 것으로 청소 경로를 변경할 수 있지만, 장애물이 커서 더 이상 청소를 진행할 수 없는 경우, 청소 로봇(2000)은 청소를 중단하고 충전 스테이션으로 복귀할 수 있다.
도 11은 본 개시의 일 실시예에 따른 전자 장치(1000)가 청소 대상 영역에 관한 청소 동작을 수행하도록 청소 로봇(2000)을 제어하는 방법을 도시한 흐름도이다.
도 11에 도시된 단계들은 도 3에 도시된 단계 S330이 수행된 이후에 수행된다. 도 11에 도시된 단계 S1110은 도 3의 단계 S330이 수행된 이후에 수행될 수 있다.
단계 S1110에서, 전자 장치(1000)는 사용자로부터 음성 입력을 수신한다. 일 실시예에서, 전자 장치(1000)는 마이크로폰(1620, 도 2 참조)을 통해 사용자로부터 청소 대상 영역에 관한 청소 명령을 포함하는 음성 입력을 수신할 수 있다. '음성 입력'은 사용자에 의해 발화된 음성일 수 있다.
단계 S1120에서, 전자 장치(1000)는 음성 신호 데이터를 서버(3000)에 전송한다. 일 실시예에서, 전자 장치(1000)의 마이크로폰(1620)은 수신된 음성 입력을 음향 신호로 변환하고, 음향 신호로부터 노이즈(예를 들어, 비음성 성분)를 제거하여 음성 신호를 획득할 수 있다. 전자 장치(1000)는 음성 신호의 데이터를 서버(3000)에 전송할 수 있다.
단계 S1130에서, 서버(3000)는 음성 신호 데이터를 텍스트로 변환한다. 일 실시예에서, 서버(3000)는 ASR 모델(Automatic Speech Recognition model)을 이용하여 ASR을 수행함으로써, 음성 신호를 컴퓨터로 판독 가능한 텍스트로 변환할 수 있다.
도 11에는 전자 장치(1000)가 음성 신호 데이터를 서버(3000)에 전송하고, 서버(3000)가 ASR을 수행하는 것으로 도시되었지만, 본 개시의 실시예가 도 11에 도시된 것으로 한정되는 것은 아니다. 다른 실시예에서, 전자 장치(1000)는 ASR 모델을 포함하고, 전자 장치(1000)의 프로세서(1400, 도 2 참조)는 ASR 모델을 이용하여 ASR을 수행함으로써 음성 신호를 텍스트로 변환할 수 있다. 프로세서(1400)는 통신 인터페이스(1100, 도 2 참조)를 통해 텍스트를 서버(3000)에 전송할 수 있다.
단계 S1140에서, 서버(3000)는 자연어 이해 모델(Natural Language Understanding model)을 이용하여 텍스트를 해석함으로써, 사용자의 의도(intent) 및 파라미터(parameter)를 인식한다. 일 실시예에서, 인텐트(intent)는 '청소 명령'이고, 파라미터는 '청소 대상 영역을 특정하기 위한 정보'일 수 있다. 파라미터 정보는 예를 들어, 위치 추적 태그 장치 또는 청소 로봇(2000) 주변의 가전기기의 타입에 관한 정보를 포함할 수 있다. 인텐트 및 파라미터에 관한 설명은 도 10에서 설명한 것과 동일하므로, 중복되는 설명은 생략한다.
단계 S1150에서, 서버(3000)는 인텐트 및 파라미터 정보를 전자 장치(1000)에 전송한다.
단계 S1160에서, 전자 장치(1000)는 인텐트 및 파라미터 정보로부터, 청소 명령 및 청소 대상 영역을 식별한다. 청소 대상 영역은 파라미터 정보로부터 식별될 수 있다. 예를 들어, 사용자로부터 수신된 음성 입력이 "스마트 태그 주변 청소해줘~"인 경우, 전자 장치(1000)는 서버(3000)로부터 수신된 파라미터 정보로부터 위치 추적 태그 장치로부터 기 설정된 범위 내의 영역을 청소 대상 영역으로 식별할 수 있다. 다른 예를 들어, 음성 입력이 "TV 주변 청소해 줘~"인 경우, 전자 장치(1000)는 서버(3000)로부터 수신된 파라미터 정보로부터 가전기기의 타입(예를 들어, TV)에 해당되는 가전기기로부터 기 설정된 범위 내의 영역을 청소 대상 영역으로 식별할 수 있다.
단계 S1170에서, 전자 장치(1000)는 청소 대상 영역에 관한 청소 동작을 수행하도록 청소 로봇(2000)을 제어하기 위한 제어 명령을 생성한다. '제어 명령'은 청소 로봇(2000)이 청소 동작을 위한 동작 정보 내에 포함된 세부 동작들을 수행할 수 있도록, 청소 로봇(2000)이 판독하고 실행할 수 있는 명령어들을 의미한다. 제어 명령에 관해서는 도 10에서 설명한 것과 동일하므로, 중복되는 설명은 생략한다.
단계 S1180에서, 전자 장치(1000)는 제어 명령을 청소 로봇(2000)에 전송한다.
단계 S1190에서, 청소 로봇(2000)은 제어 명령에 따라 청소 대상 영역에 관한 청소 동작을 수행한다.
본 명세서에서 설명된 전자 장치(1000)에 의해 실행되는 프로그램은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 프로그램은 컴퓨터로 읽을 수 있는 명령어들을 수행할 수 있는 모든 시스템에 의해 수행될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령어(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
또한, 본 명세서에 개시된 실시예들에 따른 프로그램은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예를 들어, 구글 플레이 스토어TM, 앱 스토어TM)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 차량 또는 전자 장치(1000)의 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 전자 장치(1000), 서버(3000, 도 10 및 도 11 참조) 및 타 전자 장치로 구성되는 시스템에서, 서버(3000)의 저장매체 또는 전자 장치의 저장매체를 포함할 수 있다. 또는, 전자 장치(1000)와 통신 연결되는 제3 장치가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 전자 장치(1000)로부터 전자 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 전자 장치로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.
이 경우, 전자 장치(1000), 서버(3000), 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 전자 장치(1000), 서버(3000), 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 전자 장치(1000)가 메모리(1500, 도 2 참조)에 저장된 컴퓨터 프로그램 제품을 실행하여, 전자 장치(1000)와 통신 연결된 타 전자 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 전자 장치가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 전자 장치(1000)로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드(pre-load)된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 컴퓨터 시스템 또는 모듈 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (20)

  1. 청소 로봇을 제어하는 전자 장치에 있어서,
    무선 통신 네트워크를 이용하여 데이터 송수신을 수행하는 통신 인터페이스;
    적어도 하나의 명령어들(instructions)를 저장하는 메모리; 및
    상기 적어도 하나의 명령어들을 실행하는 적어도 하나의 프로세서;
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 통신 인터페이스를 이용하여, 위치 추적 태그 장치의 위치, 상기 청소 로봇의 주변에 위치하는 적어도 하나의 가전기기의 위치, 및 상기 청소 로봇과 상기 전자 장치 간의 상대적 위치 중 적어도 하나에 관한 위치 정보를 획득하고,
    획득된 상기 적어도 하나의 위치 정보에 기초하여 청소 대상 영역을 결정하고,
    결정된 상기 청소 대상 영역에 관한 정보를 상기 청소 로봇에 전송하도록 상기 통신 인터페이스를 제어하는, 전자 장치.
  2. 제1 항에 있어서,
    상기 적어도 하나의 프로세서는,
    획득된 상기 위치 추적 태그 장치의 위치를 중심으로 기 설정된 반경 내의 영역을 상기 청소 대상 영역으로 결정하는, 전자 장치.
  3. 제1 항에 있어서,
    상기 청소 로봇은 무선으로 데이터 송수신을 수행하는 근거리 무선 통신 모듈을 포함하고,
    상기 적어도 하나의 가전기기의 위치 정보는, 상기 청소 로봇이 상기 근거리 무선 통신 모듈을 이용하여 상기 적어도 하나의 가전기기로부터 획득한 것인, 전자 장치.
  4. 제3 항에 있어서,
    디스플레이부; 를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 통신 인터페이스를 이용하여, 상기 청소 로봇으로부터 상기 적어도 하나의 가전기기의 디바이스 식별 정보를 수신하고, 상기 수신된 디바이스 식별 정보에 기초하여 상기 적어도 하나의 가전기기의 타입(type)을 식별하고,
    상기 적어도 하나의 가전기기의 타입 및 위치를 나타내는 UI(User Interface)를 디스플레이하도록 상기 디스플레이부를 제어하는, 전자 장치.
  5. 제4 항에 있어서,
    상기 UI를 통해 상기 적어도 하나의 가전기기의 타입 중 어느 하나의 타입을 선택하는 사용자 입력을 수신하는 사용자 입력부; 를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 수신된 사용자 입력에 기초하여 선택된 타입에 해당되는 가전기기의 위치를 식별하고, 상기 식별된 가전기기의 위치로부터 기 설정된 반경 이내의 영역을 상기 청소 대상 영역으로 결정하는, 전자 장치.
  6. 제1 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 통신 인터페이스를 이용하여 상기 청소 로봇으로부터 실내 공간의 공기 질에 관한 정보를 획득하고,
    상기 획득된 공기 질에 관한 정보에 기초하여, 상기 결정된 청소 대상 영역 중 공기 오염 정도가 기 설정된 임계치를 초과하는 영역을 집중 청소 대상 영역으로 결정하는, 전자 장치.
  7. 제1 항에 있어서,
    상기 전자 장치의 방위를 측정하는 지자기 센서(geomagnetic sensor); 및
    상기 전자 장치의 회전각 또는 기울어진 각도를 측정하는 자이로 센서(gyro sensor) 및 가속도 센서(acceleration sensor);
    를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 지자기 센서를 이용하여 측정된 방위로부터 상기 전자 장치의 높이 및 방향에 관한 정보를 획득하고, 상기 자이로 센서 및 상기 가속도 센서를 이용하여 상기 전자 장치의 기울어진 각도에 관한 정보를 획득하며,
    UWB(Ultra Wide Band)를 이용하여 수신된 상기 청소 로봇의 위치 정보와 상기 전자 장치의 높이, 방향, 및 기울어진 각도 중 적어도 하나를 포함하는 상기 전자 장치 위치 정보를 이용하여 상기 청소 로봇과 상기 전자 장치 간의 상대적 위치에 관한 정보를 획득하는, 전자 장치.
  8. 제7 항에 있어서,
    사용자가 청소하고자 하는 영역을 촬영하는 카메라; 를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 카메라의 FOV(Field Of View) 및 상기 전자 장치와 상기 청소 로봇과의 상대적 위치 정보에 기초하여 상기 카메라에 의해 촬영된 영역을 식별하고,
    상기 식별된 영역을 상기 청소 대상 영역으로 결정하는, 전자 장치.
  9. 제1 항에 있어서,
    디스플레이부; 를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    실내 공간을 시각적으로 나타내는 지도 상에 상기 결정된 청소 대상 영역을 나타내는 UI를 디스플레이하도록 상기 디스플레이부를 제어하는, 전자 장치.
  10. 제1 항에 있어서,
    상기 결정된 청소 대상 영역에 관한 청소 명령을 포함하는 음성 입력을 수신하는 마이크로폰; 을 더 포함하고,
    상기 적어도 하나의 프로세서는,
    자연어 이해 모델을 이용한 상기 음성 입력의 해석 결과, 상기 음성 입력으로부터 상기 청소 명령을 식별하고, 상기 식별된 청소 명령으로부터 상기 청소 로봇의 동작을 제어하기 위한 제어 명령을 생성하고,
    상기 제어 명령을 상기 청소 로봇에게 전송하도록 상기 통신 인터페이스를 제어하는, 전자 장치.
  11. 제10 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 통신 인터페이스를 이용하여 상기 음성 입력에 관한 데이터를 서버로 전송하고, 상기 서버에 의한 상기 음성 입력의 해석 결과에 따라 상기 음성 입력으로부터 식별된 상기 위치 추적 태그 장치 또는 상기 가전기기의 타입에 관한 정보를 상기 서버로부터 수신하고,
    상기 위치 추적 태그 장치 또는 상기 가전기기의 타입에 따라 결정된 상기 청소 대상 영역에 관한 청소 동작을 제어하는 상기 제어 명령을 생성하는, 전자 장치.
  12. 전자 장치가 청소 로봇을 제어하는 방법에 있어서,
    무선 통신 네트워크를 이용하여 위치 추적 태그 장치의 위치, 상기 청소 로봇의 주변에 위치하는 적어도 하나의 가전기기의 위치, 및 상기 청소 로봇과 상기 전자 장치 간의 상대 위치 중 적어도 하나의 위치에 관한 정보를 획득하는 단계;
    획득된 상기 적어도 하나의 위치 정보에 기초하여 청소 대상 영역을 결정하는 단계; 및
    결정된 상기 청소 대상 영역에 관한 정보를 상기 청소 로봇에 전송하는 단계;
    를 포함하는, 방법.
  13. 제12 항에 있어서,
    상기 청소 대상 영역을 결정하는 단계는,
    획득된 상기 위치 추적 태그 장치의 위치를 중심으로 기 설정된 반경 내의 영역을 상기 청소 대상 영역으로 결정하는, 방법.
  14. 제12 항에 있어서,
    상기 청소 로봇은 무선으로 데이터 송수신을 수행하는 근거리 무선 통신 모듈을 포함하고,
    상기 적어도 하나의 가전기기의 위치 정보는, 상기 청소 로봇이 상기 근거리 무선 통신 모듈을 이용하여 상기 적어도 하나의 가전기기로부터 획득한 것인, 방법.
  15. 제14 항에 있어서,
    상기 청소 로봇으로부터 상기 적어도 하나의 가전기기의 디바이스 식별 정보를 수신하는 단계;
    상기 수신된 디바이스 식별 정보에 기초하여 상기 적어도 하나의 가전기기의 타입(type)을 식별하는 단계; 및
    상기 적어도 하나의 가전기기의 타입 및 위치를 나타내는 UI(User Interface)를 디스플레이하는 단계;
    를 더 포함하는, 방법.
  16. 제15 항에 있어서,
    상기 청소 대상 영역을 결정하는 단계는,
    상기 UI를 통해 상기 적어도 하나의 가전기기의 타입 중 어느 하나의 타입을 선택하는 사용자 입력을 수신하는 단계; 및
    상기 수신된 사용자 입력에 기초하여 선택된 타입에 해당되는 가전기기의 위치를 식별하는 단계; 및
    상기 식별된 가전기기의 위치로부터 기 설정된 반경 이내의 영역을 상기 청소 대상 영역으로 결정하는 단계;
    를 포함하는, 방법.
  17. 제16 항에 있어서,
    상기 청소 대상 영역을 결정하는 단계는,
    카메라를 이용하여 사용자가 청소하고자 하는 영역을 촬영하는 단계;
    상기 카메라의 FOV(Field Of View) 및 상기 전자 장치와 상기 청소 로봇과의 상대적 위치 정보에 기초하여 상기 카메라에 의해 촬영된 영역을 식별하는 단계; 및
    상기 식별된 영역을 상기 청소 대상 영역으로 결정하는 단계;
    를 포함하는, 방법.
  18. 제12 항에 있어서,
    실내 공간을 시각적으로 나타내는 지도 상에 상기 결정된 청소 대상 영역을 나타내는 UI를 디스플레이하는 단계;
    를 더 포함하는, 방법.
  19. 제12 항에 있어서,
    상기 결정된 청소 대상 영역에 관한 청소 명령을 포함하는 음성 입력을 수신하는 단계;
    자연어 이해 모델을 이용한 상기 음성 입력의 해석 결과, 상기 음성 입력으로부터 상기 청소 명령을 식별하는 단계;
    상기 식별된 청소 명령으로부터 상기 청소 로봇의 동작을 제어하기 위한 제어 명령을 생성하는 단계; 및
    상기 제어 명령을 상기 청소 로봇에게 전송하는 단계;
    를 더 포함하는, 방법.
  20. 제12 항 내지 제19 항 중 어느 하나의 항에 기재된 방법을 구현하기 위한 적어도 하나의 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020210093135A 2021-07-15 2021-07-15 청소 로봇을 제어하는 전자 장치 및 그 동작 방법 KR20230012368A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210093135A KR20230012368A (ko) 2021-07-15 2021-07-15 청소 로봇을 제어하는 전자 장치 및 그 동작 방법
PCT/KR2022/009780 WO2023287103A1 (ko) 2021-07-15 2022-07-06 청소 로봇을 제어하는 전자 장치 및 그 동작 방법
US18/412,847 US20240152156A1 (en) 2021-07-15 2024-01-15 Electronic device for controlling cleaning robot, and operating method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210093135A KR20230012368A (ko) 2021-07-15 2021-07-15 청소 로봇을 제어하는 전자 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20230012368A true KR20230012368A (ko) 2023-01-26

Family

ID=84920100

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210093135A KR20230012368A (ko) 2021-07-15 2021-07-15 청소 로봇을 제어하는 전자 장치 및 그 동작 방법

Country Status (3)

Country Link
US (1) US20240152156A1 (ko)
KR (1) KR20230012368A (ko)
WO (1) WO2023287103A1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6684108B2 (ja) * 2016-02-17 2020-04-22 東芝ライフスタイル株式会社 電気掃除機
KR101976424B1 (ko) * 2017-01-25 2019-05-09 엘지전자 주식회사 이동 로봇
JP7089290B2 (ja) * 2019-07-04 2022-06-22 みこらった株式会社 掃除システム、掃除システムを構成するロボット掃除装置、飛行体及び空気清浄装置ならびにプログラム
KR20210084129A (ko) * 2019-12-27 2021-07-07 삼성전자주식회사 로봇 청소기 및 그 제어 방법

Also Published As

Publication number Publication date
US20240152156A1 (en) 2024-05-09
WO2023287103A1 (ko) 2023-01-19

Similar Documents

Publication Publication Date Title
CN107801413B (zh) 对电子设备进行控制的终端及其处理方法
US10362438B2 (en) Portable apparatus and method of controlling location information of portable apparatus
US11699271B2 (en) Beacons for localization and content delivery to wearable devices
US10984790B2 (en) Method of providing service based on location of sound source and speech recognition device therefor
CN106575150B (zh) 使用运动数据识别手势的方法和可穿戴计算设备
US20180164801A1 (en) Method for operating unmanned aerial vehicle and electronic device for supporting the same
KR102248474B1 (ko) 음성 명령 제공 방법 및 장치
US10110787B2 (en) Wearable video device and video system including the same
US11095472B2 (en) Vision-based object recognition device and method for controlling the same
US20190339856A1 (en) Electronic device and touch gesture control method thereof
KR102582863B1 (ko) 사용자 의도 기반 제스처 인식 방법 및 장치
KR102481486B1 (ko) 오디오 제공 방법 및 그 장치
US10123297B1 (en) System, method and devices for performing wireless tracking
US20130055103A1 (en) Apparatus and method for controlling three-dimensional graphical user interface (3d gui)
CN106465327B (zh) 移动终端的控制方法、装置及系统
KR102304260B1 (ko) 위치 결정 방법, 전자 장치 및 저장 매체
EP4309022A1 (en) Devices for gesture detection that incorporate ultra-wideband (uwb) transceivers
CN110570465A (zh) 实时定位与地图构建方法、装置及计算机可读存储介质
CN110633336B (zh) 激光数据搜索范围的确定方法、装置及存储介质
US9756475B2 (en) Mobile terminal and method for controlling place recognition
KR20230012368A (ko) 청소 로봇을 제어하는 전자 장치 및 그 동작 방법
US11662832B1 (en) System and method for enhancing functionality of electronic devices
JP2018064181A (ja) 位置通知装置、位置通知プログラムおよび位置通知制御方法
CN117406611A (zh) 电子设备交互方法、系统、终端和可读存储介质
CN117616783A (zh) 用于媒体切换的设备