WO2023287103A1 - 청소 로봇을 제어하는 전자 장치 및 그 동작 방법 - Google Patents

청소 로봇을 제어하는 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2023287103A1
WO2023287103A1 PCT/KR2022/009780 KR2022009780W WO2023287103A1 WO 2023287103 A1 WO2023287103 A1 WO 2023287103A1 KR 2022009780 W KR2022009780 W KR 2022009780W WO 2023287103 A1 WO2023287103 A1 WO 2023287103A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
cleaning robot
cleaning
location
information
Prior art date
Application number
PCT/KR2022/009780
Other languages
English (en)
French (fr)
Inventor
은정휘
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2023287103A1 publication Critical patent/WO2023287103A1/ko
Priority to US18/412,847 priority Critical patent/US20240152156A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • G05D1/2462—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM] using feature-based mapping
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2857—User input or output elements for control, e.g. buttons, switches or displays
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2894—Details related to signal transmission in suction cleaners
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/221—Remote-control arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00—Specific applications of the controlled vehicles
    • G05D2105/10—Specific applications of the controlled vehicles for cleaning, vacuuming or polishing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00—Specific environments of the controlled vehicles
    • G05D2107/40—Indoor domestic environment

Definitions

  • the present disclosure relates to an electronic device for controlling a cleaning robot and an operating method thereof.
  • embodiments of the present disclosure relate to an electronic device that determines a cleaning target area, which is an area to be cleaned by a cleaning robot, in an indoor space, and transmits information about the determined cleaning target area to the cleaning robot, and an operating method thereof.
  • an area to be cleaned is directly selected on a map of an indoor space displayed through an application executed by a mobile device, and the area is enlarged or A method of determining the size of an area through reduction and inputting an area addition button is used.
  • a cleaning robot there may be cases in which only a specific area needs to be cleaned. In this case, the user has to go through several steps, such as thinking about a location to be cleaned on a map displayed through a mobile device, directly selecting an area, directly determining the size of the area, and inputting an area addition button.
  • An object of the present disclosure is to provide an electronic device for automatically setting a cleaning target area of a cleaning robot and an operation method thereof.
  • An electronic device for controlling a cleaning robot.
  • An electronic device includes a communication interface for transmitting and receiving data using a wireless communication network, a memory for storing at least one instruction, and at least one or more instructions for executing the at least one instruction.
  • the at least one processor may use the communication interface to determine the location of the location tracking tag device, the location of at least one home appliance located around the cleaning robot, and the cleaning robot and the cleaning robot. Location information about at least one of relative locations between electronic devices may be obtained.
  • the at least one processor may determine a cleaning target area based on the obtained at least one location information.
  • the at least one processor may control the communication interface to transmit information about the determined area to be cleaned to the cleaning robot.
  • a method for controlling a cleaning robot includes a location tracking tag device, a location of at least one home appliance located around the cleaning robot, and the cleaning robot and the cleaning robot using a wireless communication network.
  • the method may include acquiring information about at least one location among relative locations between electronic devices.
  • a method of controlling a cleaning robot may include determining a cleaning target area based on the acquired at least one location information.
  • the method of controlling the cleaning robot may include transmitting information about the determined area to be cleaned to the cleaning robot.
  • one embodiment of the present disclosure provides a computer program product including a computer-readable storage medium recording a program for execution on a computer.
  • FIG. 1 is a diagram illustrating a method in which an electronic device determines an area to be cleaned and transmits information about the area to be cleaned to a cleaning robot according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating components of an electronic device according to an embodiment of the present disclosure.
  • FIG. 3 is a flowchart illustrating a method of operating an electronic device according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating a method for an electronic device to determine a cleaning target area of a cleaning robot based on a location of a location tracking tag device according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating a method for an electronic device to determine a cleaning target area of a cleaning robot based on location information of a home appliance according to an embodiment of the present disclosure.
  • FIG. 6 is a flowchart illustrating a method for an electronic device to determine a cleaning target area of a cleaning robot based on location information of a home appliance, according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating a method of determining, by an electronic device, an intensive cleaning target area based on information about air quality in an indoor space, according to an embodiment of the present disclosure.
  • 8A is a diagram for explaining a method for an electronic device to acquire relative location information between a cleaning robot and an electronic device according to an embodiment of the present disclosure.
  • 8B is a diagram for explaining a method of capturing an area to be cleaned by an electronic device and displaying the captured area according to an embodiment of the present disclosure.
  • FIG. 8C is a diagram for explaining a method for an electronic device to determine a cleaning target area based on relative location information with a cleaning robot and a field of view (FOV) of a camera, according to an embodiment of the present disclosure.
  • FIG. 9 is a flowchart illustrating a method for an electronic device to determine a cleaning target area based on a relative positional relationship with a cleaning robot and a FOV of a camera, according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram for explaining a method for an electronic device to control a cleaning robot to perform a cleaning operation on an area to be cleaned based on a voice input received from a user, according to an embodiment of the present disclosure.
  • FIG. 11 is a flowchart illustrating a method for an electronic device to control a cleaning robot to perform a cleaning operation on an area to be cleaned, according to an embodiment of the present disclosure.
  • a processor configured (or configured) to perform A, B, and C may include a dedicated processor (e.g., an embedded processor) to perform those operations, or by executing one or more software programs stored in memory; It may mean a general-purpose processor (eg, CPU or application processor) capable of performing corresponding operations.
  • a dedicated processor e.g., an embedded processor
  • It may mean a general-purpose processor (eg, CPU or application processor) capable of performing corresponding operations.
  • FIG. 1 is a diagram illustrating a method in which an electronic device 1000 determines a cleaning target area and transmits information about the cleaning target area to a cleaning robot 2000 according to an embodiment of the present disclosure.
  • the electronic device 1000 may communicate with a server or an external device (eg, a cleaning robot 2000, a location tracking tag device 4000, or a home appliance 5000) through a specific installed application. Information can be transmitted and received, and operations of the cleaning robot 2000 can be controlled.
  • the specific application may be an application that provides a function for a user to determine a cleaning target area of the cleaning robot 2000 or to remotely control a cleaning operation of the cleaning robot 2000 .
  • the electronic device 1000 may be a device connected to the cleaning robot 2000 with the same user account information.
  • the electronic device 1000 may be directly connected to the cleaning robot 2000 through a short-distance communication link or indirectly connected to the cleaning robot 2000 through a server.
  • the electronic device 1000 includes, for example, wireless LAN, Wi-Fi, Bluetooth, zigbee, Wi-Fi Direct (WFD), Bluetooth Low Energy (BLE), and WiBro. (Wireless Broadband Internet, Wibro), WiMAX (World Interoperability for Microwave Access, WiMAX), SWAP (Shared Wireless Access Protocol), WiGig (Wireless Gigabit Alliance, WiGig) and RF communication using at least one data communication network. It may be connected to the cleaning robot 2000, a server, or external devices and transmit/receive data.
  • the electronic device 1000 may be implemented in various forms.
  • the electronic device 1000 of the present disclosure includes a smart phone, a tablet PC, a laptop computer, a digital camera, an e-book terminal, a digital broadcasting terminal, a personal digital assistant (PDA), a PMP ( Portable Multimedia Player), navigation, or a mobile terminal including an MP3 player, but is not limited thereto.
  • the electronic device 1000 may be a wearable device.
  • Wearable devices include accessory-type devices (e.g., watches, rings, bracelets, anklets, necklaces, glasses, contact lenses), head-mounted-devices (HMDs), and textile or clothing integrated devices (e.g., electronic garments).
  • the electronic device 1000 may be implemented as a TV, a computer, a refrigerator including a display, or an oven including a display.
  • the electronic device 1000 is a smart phone.
  • an electronic device 1000 is a position of at least one of a location tracking tag device 4000, a home appliance 5000, and a cleaning robot 2000 relative to a home appliance 5000.
  • An area to be cleaned may be determined based on , and information on the area to be cleaned may be transmitted to the cleaning robot 2000 .
  • the electronic device 1000 may directly receive location information of the location tracking tag device 4000 from the location tracking tag device 4000 or receive it from a server.
  • the 'location tracking tag device 4000' is a portable tracker device configured to provide location coordinate information to the electronic device 1000.
  • the location tracking tag device 4000 may be, for example, a Galaxy Smart Tag TM , but is not limited thereto.
  • the electronic device 1000 identifies the location of the location tracking tag device 4000 from location coordinate information received from the location tracking tag device 4000, and selects an area within a preset range from the identified location as a cleaning target. area can be determined. For example, the electronic device 1000 may determine an area within a radius range of 1m or 2m from the location of the location tracking tag device 4000 as the cleaning target area.
  • the electronic device 1000 may acquire location information of the home appliance 5000 .
  • the electronic device 1000 may receive location information of at least one home appliance 5000 disposed around the cleaning robot 2000 from the cleaning robot 2000 .
  • the electronic device 1000 may determine an area within a preset range from the location of the home appliance 5000 as the cleaning target area. For example, the electronic device 1000 may determine an area within a radius range of 1 m or 2 m from the location of the home appliance 5000 as the cleaning target area.
  • the electronic device 1000 may obtain relative location information between the cleaning robot 2000 and the electronic device 1000 .
  • the 'relative position between the cleaning robot 2000 and the electronic device 1000' means location information of the cleaning robot 2000 based on the location of the electronic device 1000.
  • Relative position information between the cleaning robot 2000 and the electronic device 1000 includes distance information between the electronic device 1000 and the cleaning robot 2000 and angle information formed between the electronic device 1000 and the cleaning robot 2000.
  • the electronic device 1000 receives location coordinate information of the cleaning robot 2000 from the cleaning robot 2000 using a UWB (Ultra Wide Band) communication network, and receives the location of the cleaning robot 2000.
  • Relative positional information with the cleaning robot 2000 may be obtained based on the coordinate information and information about the direction and tilt angle of the electronic device 1000 .
  • the electronic device 1000 photographs an area to be cleaned through a camera 1300 (see FIG. 2 ), and information on the relative position between the cleaning robot 2000 and the electronic device 1000 and the field of view (FOV) of the camera 1300 ), it is possible to identify the location of the captured area based on.
  • the electronic device 1000 may determine the identified capturing area as a cleaning target area.
  • the electronic device 1000 may transmit information about the determined area to be cleaned to the cleaning robot 2000 .
  • the electronic device 1000 may display the indoor space map 100 on the display 1710 .
  • the indoor space map 100 may be created by the cleaning robot 2000 exploring the indoor space using at least one sensor while moving in the indoor space.
  • the electronic device 1000 may obtain indoor space information from the cleaning robot 2000 and display the indoor space map 100 .
  • a user interface (UI) representing the locations of the electronic device 1000 , the cleaning robot 2000 , the location tracking tag device 4000 , and the home appliance 5000 may be displayed on the indoor space map 100 .
  • the UIs may be graphical user interfaces (UIs).
  • the indoor space map 100 includes an electronic device icon 110 indicating the location of the electronic device 1000, a cleaning robot icon 120 indicating the location of the cleaning robot 2000, and location tracking.
  • a location tracking tag device icon 130 indicating the location of the tag device 4000 and a home appliance icon 140 indicating the location of the home appliance 5000 may be displayed.
  • cleaning target area indicators 200 and 202 visually indicating the determined cleaning target area may be displayed on the indoor space map 100 .
  • the electronic device 1000 may receive a user input for selecting one of the cleaning target area indicators 200 and 202 displayed on the display 1710 .
  • the electronic device 1000 may generate a control command for controlling the cleaning robot 2000 to perform a cleaning operation on the selected area to be cleaned according to the received user input, and transmit the control command to the cleaning robot 2000.
  • the 'control command' refers to commands that can be read and executed by the cleaning robot 2000 so that the cleaning robot 2000 can perform detailed operations included in the motion information.
  • the control command includes not only location information about the area to be cleaned, but also a command to clean the area to be cleaned, a command to return to the charging station, a command to change direction, or a specific operating mode (e.g., concentrated mode, normal mode). mode, repeat mode) may further include at least one of commands for performing cleaning.
  • the electronic device 1000 transmits a control command for cleaning the area to be cleaned through a user input for selecting the area to be cleaned indicators 200 and 202 displayed on the display 1710. It has been described as doing, but is not limited thereto.
  • the electronic device 1000 may receive a voice input related to a cleaning target region uttered by a user.
  • the electronic device 1000 may identify a cleaning target area based on a natural language analysis result of a voice input and generate a control command for controlling the cleaning robot 2000 to perform a cleaning operation on the cleaning target area. .
  • the electronic device 1000 transmits a control command to the cleaning robot 2000 when receiving a cleaning command for an area to be cleaned from a user, but the present disclosure is limited to the above embodiments. it is not going to be In an embodiment, the electronic device 1000 may control the cleaning robot 2000 to automatically clean the area to be cleaned without a user input.
  • an area to be cleaned is directly selected on the indoor space map 100 displayed on the display 1710, the size of the area is directly determined by enlarging or reducing the area, and an area addition button is input.
  • a method of determining the area to be cleaned is used.
  • the user has to go through several steps, such as thinking about a location to be cleaned on the indoor space map 100, directly selecting an area, directly determining the size of the area, and inputting an area addition button.
  • the process is cumbersome and inconvenient, resulting in poor user convenience.
  • the electronic device 1000 may include at least one of the location tracking tag device 4000, the home appliance 5000, and the relative location of the cleaning robot 2000 and the electronic device 1000. Since the area to be cleaned is automatically determined based on , the troublesome and cumbersome process of directly determining the area to be cleaned can be omitted. Accordingly, the electronic device 1000 according to an embodiment of the present disclosure can improve user convenience.
  • FIG. 2 is a block diagram illustrating components of an electronic device 1000 according to an embodiment of the present disclosure.
  • the electronic device 1000 determines the location of the location tracking tag device 4000 (see FIG. 1), the location of the home appliance 5000 (see FIG. 1), and the relative position of the cleaning robot 2000 (see FIG. 1) and the home appliance 5000.
  • An area to be cleaned is determined based on at least one of the locations, and information about the area to be cleaned is transmitted to the cleaning robot 2000 .
  • an electronic device 1000 includes a communication interface 1100, a sensor unit 1200, a camera 1300, a processor 1400, a memory 1500, an input interface 1600, and an output interface 1700. ) may be included.
  • the communication interface 1100, sensor unit 1200, camera 1300, processor 1400, memory 1500, input interface 1600, and output interface 1700 may be electrically and/or physically connected to each other, respectively. there is.
  • Components shown in FIG. 2 are merely according to an embodiment of the present disclosure, and components included in the electronic device 1000 are not limited to those shown in FIG. 2 .
  • the electronic device 1000 may not include some of the components shown in FIG. 2 and may further include components not shown in FIG. 2 .
  • the electronic device 1000 may further include a GPS module capable of obtaining location information.
  • the communication interface 1100 is a cleaning robot 2000 (see FIG. 1), a server, or an external device (eg, a location tracking tag device 4000 (see FIG. 1) or a home appliance 5000 (see FIG. 1)) and data. configured to perform communications.
  • the communication interface 1100 may include a short-distance communication module 1110 , a UWB communication module 1120 , and a mobile communication module 1130 .
  • the short-range wireless communication unit 1110 includes WiFi, a Wi-Fi Direct (WFD) communication unit, a Bluetooth communication unit, a Bluetooth Low Energy (BLE) communication unit, a Near Field Communication unit (NFC), and a ZigBee ( It may be composed of at least one hardware device of a Zigbee communication unit, an Ant+ communication unit, or a microwave ( ⁇ Wave) communication unit. However, it is not limited thereto.
  • the short-distance communication module 1110 may receive location information of the cleaning robot 2000 from the cleaning robot 2000 under the control of the processor 1400 .
  • the short-distance communication module 1110 may perform data communication with an external server through a gateway or a router.
  • the short-distance communication module 1110 may receive location information of the location tracking tag device 4000 under the control of the processor 1400 .
  • the short-distance communication module 1110 may receive location coordinate information from the location tracking tag device 4000 using BLE communication.
  • BLE communication BLE communication
  • the short-distance communication module 1110 may receive location coordinate information of the location tracking tag device 4000 from the server.
  • the UWB (Ultra Wide Band) communication module 1120 is a communication device that transmits and receives data using an ultra-wideband frequency band between 3.1 GHz and 10.6 GHz.
  • the UWB communication module 1120 may be configured as a hardware device.
  • the UWB communication module 1120 can transmit and receive data at a rate of up to 500 Mbps.
  • the UWB communication module 1120 may receive location coordinate information of the cleaning robot 2000 from the cleaning robot 2000 using an ultra-wideband frequency.
  • the UWB communication module 1120 may transmit location coordinate information of the electronic device 1000 to the cleaning robot 2000 under the control of the processor 1400 .
  • the mobile communication module 1130 is a communication device configured to transmit/receive a radio signal with at least one of a base station, an external device, or a server on a mobile communication network.
  • the mobile communication module 1130 may be configured as a hardware device.
  • the mobile communication module 1130 may transmit and receive data using at least one communication method among, for example, 5G mmWave communication, 5G Sub 6 communication, Long Term Evolution (LTE) communication, or 3G mobile communication.
  • the mobile communication module 1130 may transmit and receive data to and from the server under the control of the processor 1400 .
  • the sensor unit 1200 is a sensor device configured to measure at least one of a direction, an inclination angle, and gravitational acceleration of the electronic device 1000 .
  • the sensor unit 1200 may include a geomagnetic sensor 1210 , a gyro sensor 1220 , and an acceleration sensor 1230 .
  • a geomagnetic sensor 1210 is configured to measure the orientation of the electronic device 1000 .
  • the geomagnetic sensor 1210 may obtain information about the direction of the electronic device 1000 by measuring magnetic force values of the earth's magnetic field in the X-axis, Y-axis, and Z-axis directions.
  • the processor 1400 may obtain orientation information toward which the electronic device 1000 is heading using the magnetic force value measured by the geomagnetic sensor 1210 .
  • the processor 1400 may obtain information about the height of the electronic device 1000 using the geomagnetic sensor 1210 .
  • the processor 1400 may display bearing information through a compass application.
  • the gyro sensor 1220 is configured to measure a rotation angle or an inclination angle of the electronic device 1000 .
  • the gyro sensor 1220 may include a three-axis gyrometer that measures roll, pitch, and yaw angular velocities.
  • the acceleration sensor 1230 is configured to measure an inclination angle of the electronic device 1000 by measuring three-axis acceleration of the electronic device 1000 .
  • the acceleration sensor 1230 may include a three-axis accelerometer that measures acceleration in the vertical, horizontal, and height directions.
  • the processor 1400 may obtain information about a rotation angle or an inclination angle of the electronic device 1000 by using the gyro sensor 1220 and the acceleration sensor 1230 together.
  • the camera 1300 is configured to photograph an indoor space.
  • the camera 1300 may include, for example, at least one of a stereo camera, a mono camera, a wide angle camera, an around view camera, and a 3D vision sensor.
  • the processor 1400 may execute one or more instructions or program codes stored in the memory 1500 and perform functions and/or operations corresponding to the instructions or program codes.
  • the processor 1400 may be composed of hardware components that perform arithmetic, logic and input/output operations and signal processing.
  • the processor 1400 may include, for example, a central processing unit, a microprocessor, a graphic processing unit, an application processor (AP), application specific integrated circuits (ASICs), and DSPs. (Digital Signal Processors), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs), and Field Programmable Gate Arrays (FPGAs), but is not limited thereto.
  • processor 1400 is illustrated as one element in FIG. 2, it is not limited thereto. In one embodiment, the processor 1400 may be composed of one or a plurality of one or more.
  • the processor 1400 may be configured as a dedicated hardware chip that performs artificial intelligence (AI) learning.
  • AI artificial intelligence
  • the memory 1500 may be, for example, a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (eg SD or XD memory). etc.), RAM (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (ROM, Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic It may be composed of at least one type of storage medium among a memory, a magnetic disk, and an optical disk.
  • the processor 1400 may be implemented by executing instructions or program codes of a program stored in the memory 1500 .
  • the processor 1400 uses the communication interface 1100 to determine the location of the location tracking tag device 4000 (see FIG. 1), the location of the home appliance 5000 (see FIG. 1), the cleaning robot 2000, and the electronic device 1000. ) may obtain information about at least one position among relative positions between the objects, and determine a cleaning target area based on the obtained at least one position. In one embodiment, the processor 1400 may determine an area within a preset range from at least one location as the cleaning target area. The processor 1400 may control information about the determined cleaning target area to the cleaning robot 2000 through the communication interface 1100 .
  • the processor 1400 may obtain location information of the location tracking tag device 4000 (see FIG. 1) through the short range communication module 1110.
  • the processor 1400 may be directly connected to the location tracking tag device 4000 through BLE communication, for example.
  • the processor 1400 may obtain location coordinate information from the location tracking tag device 4000 using BLE communication.
  • the processor 1400 may obtain location coordinate information of the location tracking tag device 4000 from the server through the short range communication module 1110 .
  • the location tracking tag device 4000 may be a device previously registered in a server through a user account of the electronic device 1000 and connected to the electronic device 1000 through the server.
  • the processor 1400 identifies the location of the location tracking tag device 4000 from the acquired location coordinate information of the location tracking tag device 4000, and centers the identified location of the location tracking tag device 4000.
  • An area within a preset radius may be determined as a cleaning target area.
  • the processor 1400 may determine, for example, an area within a distance of 1 m or 2 m from the position of the location tracking tag device 4000 as a cleaning target area.
  • a specific embodiment in which the processor 1400 determines the area to be cleaned based on the location of the location tracking tag device 4000 will be described in detail with reference to FIG. 4 .
  • the processor 1400 may obtain location information of the home appliance 5000 (see FIG. 1 ) from the cleaning robot 2000 through the short-range communication module 1110 .
  • the cleaning robot 2000 may acquire location information of at least one home appliance 5000 disposed around the cleaning robot 2000 while moving in an indoor space.
  • the cleaning robot 2000 may estimate location information of at least one home appliance 5000 based on communication strength information output from at least one home appliance 5000 disposed nearby.
  • the cleaning robot 2000 includes a short-range communication module for performing short-range wireless communication with at least one home appliance 5000, and information received from the at least one home appliance 5000 is received through the short-range communication module.
  • the location of at least one home appliance 5000 may be estimated based on a received signal strength indication (RSSI).
  • RSSI received signal strength indication
  • the processor 1400 may, for example, use at least one of WiFi, Wi-Fi Direct (WFD), Bluetooth, BLE, Near Field Communication unit (NFC), Zigbee, or ⁇ Wave communication.
  • Location information of each of the at least one home appliance 5000 may be received from the cleaning robot 2000 through a short-range wireless communication network.
  • the processor 1400 may determine an area within a predetermined range around the location of each of the at least one home appliance 5000 as the cleaning target area. For example, the processor 1400 may determine an area within a radius of 1 m or 2 m from the location of the refrigerator as the cleaning target area.
  • the cleaning robot 2000 may acquire device identification information of each of the at least one home appliance 5000 and transmit the acquired device identification information to the electronic device 1000 .
  • the processor 1400 receives device identification information of at least one home appliance 5000 from the cleaning robot 2000 using the short-range communication module 1110, and based on the received device identification information, the at least one home appliance ( 5000) can identify each type.
  • the processor 1400 may control the display 1710 to display a User Interface (UI) indicating the type and location of each of the identified at least one home appliance 5000 on the indoor space map.
  • UI User Interface
  • the processor 1400 may receive a user input for selecting any one type of at least one home appliance 5000 through a UI displayed on the display 1710 .
  • the processor 1400 may receive a user's touch input through the user input interface 1610 or a voice input consisting of a user's speech through the microphone 1620 .
  • the processor 1400 may identify a location of a home appliance corresponding to the selected type based on a user input, and may determine an area within a predetermined radius from the location of the identified home appliance as a cleaning target area. For example, the processor 1400 receives a user input for selecting a refrigerator icon among a refrigerator icon, a TV icon, and an air conditioner icon displayed on the display 1710, and the home appliance corresponding to the TV icon selected based on the user input. The location of the TV is identified, and an area within a radius of 1m or 2m from the location of the TV may be determined as a cleaning target area. A specific embodiment in which the processor 1400 determines the area to be cleaned based on the type and location information of the home appliance will be described in detail with reference to FIGS. 5 and 6 .
  • the processor 1400 may obtain location information of the cleaning robot 2000 from the cleaning robot 2000 through the UWB communication module 1130 .
  • the processor 1400 obtains information about the direction of the electronic device 1000 using the geomagnetic sensor 1210 and uses the gyro sensor 1220 and the acceleration sensor 1230 to obtain the tilt angle of the electronic device 1000. information about can be obtained.
  • the processor 1400 may obtain relative position information between the cleaning robot 2000 and the electronic device 1000 based on information about the location of the cleaning robot 2000 and the direction and tilt angle of the electronic device 1000. there is.
  • the 'relative position between the cleaning robot 2000 and the electronic device 1000' means location information of the cleaning robot 2000 based on the location of the electronic device 1000.
  • Relative position information between the cleaning robot 2000 and the electronic device 1000 includes distance information between the electronic device 1000 and the cleaning robot 2000 and angle information formed between the electronic device 1000 and the cleaning robot 2000. can include
  • the processor 1400 may identify a location of an area photographed by the camera 1300 based on a field of view (FOV) of the camera 1300 and relative location information with the cleaning robot 2000. can The processor 1400 may determine the identified area as a cleaning target area. For a specific embodiment in which the processor 1400 determines the area to be cleaned based on the FOV of the camera 1300 and relative location information between the cleaning robot 2000 and the electronic device 1000, see FIGS. 8A to 8C and 9 Let's explain in detail.
  • FOV field of view
  • the processor 1400 may receive a voice input including a cleaning command for a cleaning target area and identify the cleaning command from the received voice input.
  • the processor 1400 may receive a voice input uttered by a user through the microphone 1620 .
  • the processor 1400 may transmit voice signal data converted from voice input to a server using the communication interface 1100 and receive a natural language analysis result of the voice signal data from the server.
  • the processor 1400 may identify a cleaning command based on a natural language interpretation result of the received voice signal data.
  • the processor 1400 may generate a control command for controlling the cleaning robot 2000 to perform a cleaning operation on an area to be cleaned according to the cleaning command.
  • the 'control command' refers to commands that can be read and executed by an operation performing device (eg, the cleaning robot 2000) so that the operation performing device can perform detailed operations included in the operation information.
  • the control command includes not only location information about the area to be cleaned, but also a command to clean the area to be cleaned, a command to return to the charging station, a command to change direction, or a specific operation mode (eg, intensive mode, normal mode). mode, repeat mode) may further include at least one of commands for performing cleaning.
  • the processor 1400 may control the communication interface 1100 to transmit a control command to the cleaning robot 2000 .
  • FIGS. 10 and 11 A specific embodiment in which the processor 1400 receives a voice input related to a cleaning command from a user and transmits a control command related to a cleaning operation to the cleaning robot 2000 in response to the voice input is described in detail with reference to FIGS. 10 and 11 . Let's explain.
  • Input interface 1600 is configured to receive a selection input from a user.
  • the input interface 1600 may receive a user input for selecting one of the types of at least one home appliance 5000 or a user input for selecting a cleaning target area for a cleaning command. there is.
  • the input interface 1600 may include a user input interface 1610 and a microphone 1620 .
  • the user input interface 1610 may include hardware such as a key pad, a touch pad, a track ball, and a jog switch, but is not limited thereto.
  • the user input interface 1610 may be configured as a touch screen that receives a touch input and displays a graphical user interface (GUI).
  • GUI graphical user interface
  • Microphone 1620 is configured to receive voice input from a user (eg, a user's speech). The microphone 1620 may obtain a voice signal from the received voice input. In an embodiment, the microphone 1620 may obtain a voice signal by converting the received voice input into a sound signal and removing noise (eg, non-voice components) from the sound signal. Microphone 1620 provides an audio signal to processor 1400 .
  • a user e.g, a user's speech
  • the microphone 1620 may obtain a voice signal from the received voice input.
  • the microphone 1620 may obtain a voice signal by converting the received voice input into a sound signal and removing noise (eg, non-voice components) from the sound signal.
  • Microphone 1620 provides an audio signal to processor 1400 .
  • the output interface 1700 is configured to output a video signal or an audio signal.
  • the output interface 1700 may include a display 1710 and a speaker 1720 .
  • the display 1710 may display an indoor space map visually representing an indoor space.
  • the display 1710 displays an indicator UI (eg, icon) representing the location of the cleaning robot 2000 on a map of the indoor space and the type and location of the home appliance under the control of the processor 1400.
  • the indicating indicator UI may be displayed.
  • the display 1710 may display an indicator UI indicating a cleaning target area on the indoor space map under the control of the processor 1400 .
  • the display 1710 may include, for example, a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, 3 It may be configured as a physical device including at least one of a 3D display and an electrophoretic display, but is not limited to the examples listed above.
  • the display 1710 may be configured as a touch screen including a touch interface.
  • the display 1710 may be a component integrated with the user input interface 1610 configured as a touch panel.
  • the speaker 1720 may output an audio signal.
  • FIG 3 is a flowchart illustrating an operating method of the electronic device 1000 according to an embodiment of the present disclosure.
  • the electronic device 1000 obtains at least one of the location tracking tag device location, the location of home appliances around the cleaning robot, and the relative location between the cleaning robot and the electronic device by using a wireless communication network.
  • the electronic device 1000 may receive location information of the location tracking tag device directly from the location tracking tag device or from a server.
  • the electronic device 1000 may directly receive location information of the location tracking tag device from the location tracking tag device using Bluetooth Low Energy (BLE) communication.
  • BLE Bluetooth Low Energy
  • the electronic device 1000 may obtain location information about at least one home appliance acquired by the cleaning robot 2000 (see FIG. 1 ) through a short-range wireless communication network.
  • the electronic device 1000 may include, for example, at least one of WiFi, Wi-Fi Direct (WFD), Bluetooth, BLE, Near Field Communication unit (NFC), Zigbee, or ⁇ Wave communication.
  • Location information of each of the at least one home appliance may be received from the cleaning robot 2000 through a short-distance wireless communication network.
  • the electronic device 1000 obtains location information of the cleaning robot 2000 from the cleaning robot 2000 using a UWB (Ultra Wide Band) communication network, and obtains the location of the cleaning robot 2000. Relative positional information between the cleaning robot 2000 and the electronic device 1000 may be obtained based on the information and the direction and tilt angle information of the electronic device 1000 .
  • the electronic device 1000 obtains orientation information of the electronic device 1000 by using a geomagnetic sensor 1210 (see FIG. 2 ), and a gyro sensor 1220 (see FIG. 2 ) and an acceleration sensor 1230 (see FIG. 2 ). 2) may be used to obtain tilt angle or rotation angle information of the electronic device 1000.
  • step S320 the electronic device 1000 determines a cleaning target area based on at least one acquired location.
  • the electronic device 1000 may determine an area within a preset range from any one of the locations acquired in step S310 as the cleaning target area.
  • the electronic device 1000 may determine an area within a predetermined radius from the location of the location tracking tag device as the cleaning target area. For example, the electronic device 1000 may determine an area within a distance of 1 m or 2 m from the location of the location tracking tag device as the cleaning target area.
  • the electronic device 1000 may determine an area within a preset range around the location of at least one home appliance as the cleaning target area. In an embodiment, the electronic device 1000 may obtain device identification information of the at least one home appliance as well as location information of at least one home appliance from the cleaning robot 2000 . The electronic device 1000 may identify the type of at least one home appliance from device identification information. The electronic device 1000 receives a user input for selecting one of at least one type, identifies a location of a home appliance corresponding to the type selected by the user input, and has a predetermined radius around the identified location. An inner area may be determined as a cleaning target area.
  • the electronic device 1000 captures an area to be cleaned using a camera 1300 (see FIG. 2 ), and the FOV (Field Of View) of the camera 1300 and the cleaning robot 2000 and the electronic device
  • the position of the region photographed by the camera 1300 may be identified based on the relative positional information between (1000).
  • the electronic device 1000 may determine the identified area as a cleaning target area.
  • the electronic device 1000 transmits information about the determined area to be cleaned to the cleaning robot 2000.
  • the electronic device 1000 may include, for example, at least one of WiFi, Wi-Fi Direct (WFD), Bluetooth, BLE, Near Field Communication unit (NFC), Zigbee, or ⁇ Wave communication.
  • Information on the area to be cleaned may be transmitted to the cleaning robot 2000 using a short-range wireless communication network.
  • FIG. 4 is a diagram illustrating a method of determining, by the electronic device 1000, a cleaning target area of a cleaning robot based on a location of a location tracking tag device according to an embodiment of the present disclosure.
  • the electronic device 1000 may determine a cleaning target area 430 based on the location of the location tracking tag device 4000 .
  • the 'location tracking tag device 4000' is a portable tracker and is configured to provide location coordinate information to the electronic device 1000.
  • the location tracking tag device 4000 may be, for example, a Galaxy Smart TagTM, but is not limited thereto.
  • the electronic device 1000 may obtain location information of the location tracking tag device 4000 from the location tracking tag device 4000.
  • the processor 1400 (see FIG. 2) of the electronic device 1000 is connected to the location tracking tag device 4000 through a Bluetooth Low Energy (BLE) communication unit of the short-range communication module 1110 (see FIG. 2).
  • BLE Bluetooth Low Energy
  • the processor 1400 may obtain location coordinate information of the location tracking tag device 4000 from the server through the short range communication module 1110 .
  • the location tracking tag device 4000 may be a device previously registered in a server through a user account of the electronic device 1000 and connected to the electronic device 1000 through the server.
  • the processor 1400 identifies the location of the location tracking tag device 4000 from the acquired location coordinate information of the location tracking tag device 4000, and centers the identified location of the location tracking tag device 4000.
  • An area within a preset radius may be determined as a cleaning target area.
  • the processor 1400 may determine, for example, an area within a distance of 1 m or 2 m from the position of the location tracking tag device 4000 as a cleaning target area.
  • a specific embodiment in which the processor 1400 determines the area to be cleaned based on the location of the location tracking tag device 4000 will be described in detail with reference to FIG. 4 .
  • the electronic device 1000 may determine the cleaning target area 430 based on the location of the location tracking tag device 4000.
  • the processor 1400 identifies the location of the location tracking tag device 4000 from the location information obtained through the short-range communication module 1110, and uses the location of the identified location tracking tag device 4000 as a center.
  • An area within a preset radius r may be determined as a cleaning target area.
  • the processor 1400 may determine, as the cleaning target area 430, an area within a radius r of 1m or 2m centered on the location tracking tag device 4000.
  • the electronic device 1000 displays the indoor space map 400 through the display 1710 and indicates the location of the geolocation tag device 4000 on the indoor space map 400.
  • An icon 410 and a cleaning target area indicator 420 representing the cleaning target area 430 may be displayed.
  • the location tracking tag device icon 410 and the area to be cleaned indicator 420 may be a graphic UI.
  • the electronic device 1000 may automatically set the cleaning target area 430 based on the location of the location tracking tag device 4000 . Therefore, according to an embodiment of the present disclosure, when a user wants to clean a specific area, the location tracking tag device ( Since the electronic device 1000 automatically sets the area to be cleaned 430 when only the 4000 is placed at a desired location, user convenience can be improved.
  • FIG. 5 is a diagram illustrating a method of determining, by the electronic device 1000, a cleaning target area of a cleaning robot based on location information of at least one home appliance 5000 according to an embodiment of the present disclosure.
  • the electronic device 1000 acquires location information and device identification information of at least one home appliance 5000 located in an indoor space from a cleaning robot 2000, and acquires at least one home appliance ( 5000), the area to be cleaned may be determined based on the location information and the device identification information.
  • at least one home appliance 5000 is illustrated as a plurality including a first home appliance 5001 to a third home appliance 5003 , but this is an example and is not limited thereto. In one embodiment, only one home appliance may be located in the indoor space.
  • the cleaning robot 2000 acquires the location and device identification information of the first home appliance 5001.
  • the cleaning robot 2000 may include a short-range communication module for performing short-range wireless communication with at least one home appliance 5000 .
  • the cleaning robot 2000 may, for example, use at least one of WiFi, Wi-Fi Direct (WFD), Bluetooth, BLE, Near Field Communication unit (NFC), Zigbee, or ⁇ Wave communication.
  • a signal may be received from at least one home appliance 5000 through a short-range wireless communication network.
  • the cleaning robot 2000 may estimate the location of the first home appliance 5001 based on a received signal strength indication (RSSI) received from the first home appliance 5001 using a short-range communication module. there is.
  • the received signal may include device identification information of the first home appliance 5001 .
  • the device identification information may be, for example, a device id.
  • the cleaning robot 2000 While moving within the indoor space, the cleaning robot 2000 cleans the second and third home appliances 5002 and 5003 based on signal strengths received from the second and third home appliances 5002 and 5003. position can be estimated.
  • the cleaning robot 2000 may receive device identification information of the second and third home appliances 5002 and 5003 .
  • the cleaning robot 2000 may estimate the location of at least one home appliance 5000 by analyzing image information acquired through a camera.
  • the cleaning robot 2000 may estimate the location of each of the at least one home appliance 5000 by applying image information to an artificial intelligence model learned to recognize an object. For example, when the cleaning robot 2000 inputs an image of a living room obtained through a camera to an artificial intelligence model, the cleaning robot 2000 determines that the second home appliance 5002, an air conditioner, is located on the left side of the living room from the artificial intelligence model.
  • the cleaning robot 2000 may generate an indoor space map in which the location of each of the at least one home appliance 5000 is displayed based on the result of the artificial intelligence model.
  • the electronic device 1000 receives the location and device identification information of at least one home appliance 5000 from the cleaning robot 2000.
  • the processor 1400 (see FIG. 2 ) of the electronic device 1000 includes WiFi, Wi-Fi Direct (WFD), Bluetooth, BLE, Near Field Communication Unit (NFC), Zigbee,
  • the location and device identification information of at least one home appliance 5000 may be received from the cleaning robot 2000 using at least one short-range wireless communication network among ⁇ Wave communication.
  • the electronic device 1000 may identify a device type of each of the at least one home appliance 5000 based on the received device identification information of the at least one home appliance 5000 .
  • the processor 1400 of the electronic device 1000 uses device identification information stored in the memory 1500 (see FIG. 2 ) and matching information about the device type to generate at least one home appliance 5000.
  • the device type of can be identified.
  • the present invention is not limited thereto, and the processor 1400 transmits device identification information of at least one home appliance 5000 to the server using the communication interface 1100 (see FIG. 2), and the server transmits the device identification information according to the device identification information.
  • Device type information may be received.
  • the processor 1400 may identify the device type of each of the at least one home appliance 5000 based on the device type information received from the server.
  • the electronic device 1000 displays the indoor space map 500 and displays UIs 511 to 513 indicating the location and device type of at least one home appliance 5000 identified on the indoor space map 500. can do.
  • the processor 1400 may display a first UI 511 representing the location and device type of the first home appliance 5001 on the indoor space map 500 and the location and device of the second home appliance 5002 .
  • the display 1710 may be controlled to display the second UI 512 indicating the type and the third UI 513 indicating the location and device type of the third home appliance 5003 .
  • the first UI 511 is shown as a UI consisting of 'TV', the second UI 512 'air conditioner', and the third UI 513 'refrigerator'. It is not limited to this.
  • the first UI 511 to the third UI 513 may be implemented as a graphic UI (GUI) displaying a TV, an air conditioner, and a refrigerator as images or icons.
  • GUI graphic UI
  • the electronic device 1000 may receive a user input for selecting one of the plurality of UIs 511 to 513 .
  • the processor 1400 receives a user's touch input for selecting any one of the first UI 511 to the third UI 513 displayed on the display 1710 through the user input interface 1610. can receive
  • the processor 1400 may receive a voice input for uttering the device type of the home appliance from the user through the microphone 1620 .
  • the microphone 1620 may receive a voice input from the user saying "Set the area around the TV as a cleaning area”.
  • the electronic device 1000 identifies a home appliance corresponding to a device type selected based on a user input among at least one home appliance 5000 and determines an area within a predetermined range from the location of the identified home appliance 5000 as a cleaning target area.
  • the processor 1400 identifies a TV as the selected device type, and first among at least one home appliance 5000 that is a TV
  • the home appliance 5001 may be identified.
  • the processor 1400 may determine an area within a predetermined radius from the first home appliance 5001 as a cleaning target area.
  • the processor 1400 may determine, for example, an area within a radius of 1m or 2m from the TV, which is the first home appliance 5001, as the cleaning target area.
  • step S530 the electronic device 1000 transmits information about the area to be cleaned to the cleaning robot 2000.
  • the processor 1400 may transmit information about the area to be cleaned to the cleaning robot 2000 through the short range communication module 1110 .
  • FIG. 6 is a flowchart illustrating a method of determining, by the electronic device 1000, a cleaning target area of the cleaning robot 2000 based on location information of the home appliance 5000, according to an embodiment of the present disclosure.
  • step S610 the cleaning robot 2000 transmits a signal requesting device identification information of the home appliance 5000 to the home appliance 5000.
  • the cleaning robot 2000 may transmit a query signal requesting device identification information to the home appliance 5000 while moving in an indoor space.
  • the device identification information may include information about the device id of the home appliance 5000 .
  • the cleaning robot 2000 receives device identification information from the home appliance 5000.
  • the cleaning robot 2000 uses at least one of WiFi, Wi-Fi Direct (WFD), Bluetooth, BLE, Near Field Communication unit (NFC), Zigbee, or ⁇ Wave communication. It may include a short-range communication module that receives a signal from at least one home appliance 5000 through one short-range wireless communication network. The cleaning robot 2000 may receive device identification information from the home appliance 5000 using a short-range communication module.
  • the cleaning robot 2000 acquires the location of the home appliance and device identification information.
  • the cleaning robot 2000 may estimate the position of the home appliance 5000 based on a received signal strength indication (RSSI) received from the home appliance 5000 while moving in an indoor space.
  • RSSI received signal strength indication
  • the cleaning robot 2000 may estimate the position of the home appliance 5000 by analyzing image information acquired through a camera. In this case, the cleaning robot 2000 may estimate the location of each home appliance 5000 by applying image information to an artificial intelligence model learned to recognize an object.
  • the cleaning robot 2000 transmits location information and device identification information of the home appliance 5000 to the electronic device 1000.
  • the cleaning robot 2000 uses at least one of WiFi, Wi-Fi Direct (WFD), Bluetooth, BLE, Near Field Communication unit (NFC), Zigbee, or ⁇ Wave communication.
  • Location information and device identification information of the home appliance 5000 may be transmitted to the electronic device 1000 through one short-range wireless communication network.
  • the electronic device 1000 identifies the type of the home appliance 5000 from the device identification information.
  • the electronic device 1000 may identify the device type of the home appliance 5000 by using device identification information stored in the memory 1500 (see FIG. 2 ) and matching information about the device type. .
  • the electronic device 1000 transmits the device identification information of the home appliance 5000 to the server using the communication interface 1100 (see FIG. 2), and the device type according to the device identification information from the server. information about can be received.
  • the electronic device 1000 may identify the device type of the home appliance 5000 based on the device type information received from the server.
  • the electronic device 1000 displays a UI indicating the type and location of the home appliance 5000.
  • the electronic device 1000 may display a UI indicating the type and location of the home appliance 5000 on an indoor space map.
  • the electronic device 1000 may display an icon visually displaying the type and location of the home appliance 5000 on an indoor space map.
  • the electronic device 1000 may display a UI displaying the type of the home appliance 5000 as text.
  • step S670 the electronic device 1000 receives a user's input for selecting the type of home appliance from the displayed UI.
  • the electronic device 1000 may receive a user's touch input for selecting any one type among the types represented by the UI.
  • the processor 1400 may receive a voice input for uttering the device type of the home appliance from the user through the microphone 1620 .
  • the processor 1400 may receive a voice input from the user regarding not only the device type but also the location of the home appliance.
  • the processor 1400 may receive a voice input saying "Clean around the TV in the living room” through the microphone 1620 .
  • step S680 the electronic device 1000 determines an area within a preset radius from the position of the home appliance 5000 corresponding to the selected type as the cleaning target area based on the user input.
  • step S690 the electronic device 1000 transmits information about the area to be cleaned to the cleaning robot 2000.
  • the electronic device 1000 uses Wi-Fi, Wi-Fi Direct (WFD), Bluetooth, BLE, Near Field Communication Unit (NFC), Zigbee, or microcontroller without the intervention of an external server.
  • Wi-Fi Wi-Fi Direct
  • NFC Near Field Communication Unit
  • Zigbee Zigbee
  • the electronic device 1000 determines the area to be cleaned through edge computing without intervention of an external server, thereby preventing network costs from occurring and providing technical effects of reducing latency.
  • FIG. 7 is a diagram illustrating a method of determining, by the electronic device 1000, an area to be intensively cleaned based on information about air quality in an indoor space, according to an embodiment of the present disclosure.
  • the air quality measuring device 700 or the air purifier 702 may measure indoor air quality and transmit information about the indoor air quality to the cleaning robot 2000 .
  • the air quality measuring device 700 is a device that detects indoor air quality and provides air quality condition information.
  • the air quality measuring device 700 measures at least one of PM10 (Particular Matter 10), PM2.5 (Particular Matter 2.5), PM1.0 (Particular Matter 1.0), or TVOC (Total Volatile Organic Compounds). It is possible to measure the air pollution index including
  • the air quality measuring device 700 may include at least one of a temperature sensor, a humidity sensor, a fine dust sensor, a TVOC sensor, a CO2 sensor, and a radon sensor.
  • the air quality measurement device 700 may be, for example, Samsung Air MonitorTM, but is not limited thereto.
  • the cleaning robot 2000 receives information about indoor air quality from the air quality measuring device 700 or the air purifier 702.
  • the cleaning robot 2000 may receive air quality information for each area of the indoor space while moving in the indoor space according to the driving route.
  • the information on indoor air quality may include information on at least one of air pollution indices including PM10, PM2.5, PM1.0, and TVOC for each area of the indoor space.
  • the cleaning robot 2000 includes a short-range communication module, and includes WiFi, Wi-Fi Direct (WFD), Bluetooth, BLE, Near Field Communication unit (NFC), Zigbee, or micro Information on indoor air quality may be received from the air quality measuring device 700 or the air purifier 702 through at least one short-range wireless communication network among ⁇ Wave communication.
  • WiFi Wireless Fidelity
  • WFD Wi-Fi Direct
  • BLE Bluetooth
  • NFC Near Field Communication unit
  • Zigbee Zigbee
  • micro Information on indoor air quality may be received from the air quality measuring device 700 or the air purifier 702 through at least one short-range wireless communication network among ⁇ Wave communication.
  • step S720 the cleaning robot 2000 transmits information about indoor air quality to the electronic device 1000.
  • the cleaning robot 2000 may transmit information about indoor air quality received from the air quality measuring device 700 or the air purifier 702 to the electronic device 1000 using a short-range communication module. .
  • step S730 the electronic device 1000 determines an area in which the degree of air pollution exceeds a preset threshold as the area 710 to be intensively cleaned.
  • the processor 1400 (see FIG. 2 ) of the electronic device 1000 receives information about air quality for each area of the indoor space from the cleaning robot 2000 using the short-range communication module 1110 (see FIG. 2 ). It is possible to identify the degree of air pollution from the received air quality information for each area.
  • the processor 1400 may compare the degree of air pollution with a preset threshold and identify an area exceeding the threshold. For example, if the value of PM2.5 exceeds 50, which is a threshold for PM2.5, the processor 1400 may identify the corresponding area as an area with a high degree of air pollution.
  • the processor 1400 may determine the identified area as the intensive cleaning target area 710 .
  • the intensive cleaning target area 710 may be a partial area among predetermined cleaning target areas.
  • the present invention is not limited thereto, and the processor 1400 may determine an area identified as an area with a high degree of air pollution as a cleaning target area.
  • step S740 the electronic device 1000 transmits information about the intensive cleaning target area to the cleaning robot 2000.
  • the processor 1400 may transmit information about an intensive cleaning target area to the cleaning robot 2000 using the short-range communication module 1110 (refer to FIG. 2 ).
  • FIG. 8A is a diagram for explaining a method of acquiring relative position information between the cleaning robot 2000 and the electronic device 1000 by the electronic device 1000 according to an embodiment of the present disclosure.
  • the cleaning robot 2000 may acquire location information within an indoor space and transmit the location information to the electronic device 1000 .
  • the cleaning robot 2000 includes at least one sensor among an ultrasonic sensor, an infrared sensor, and a LiDAR (Light Detection And Ranging sensor), and searches an indoor space using at least one sensor. and create an indoor space map.
  • the indoor space means an area in which the cleaning robot 2000 can move freely.
  • the 'indoor space map' includes, for example, a navigation map used for driving during cleaning, a simultaneous localization and mapping (SLAM) map used for location recognition, and an obstacle recognition map in which information about recognized obstacles is recorded. It may contain data about at least one of them.
  • the cleaning robot 2000 may identify a location of the cleaning robot 2000 in an indoor space map using Simultaneous Localization and Mapping (SLAM) technology. The cleaning robot 2000 may transmit information about the identified location to the electronic device 1000 .
  • SLAM Simultaneous Localization and Mapping
  • the electronic device 1000 may receive location information of the cleaning robot 2000 from the cleaning robot 2000 .
  • the processor 1400 of the electronic device 1000 may receive location information from the cleaning robot 2000 using the UWB communication module 1120 (see FIG. 2 ).
  • the processor 1400 may receive indoor space map data from the cleaning robot 2000 using the UWB communication module 1120 .
  • the electronic device 1000 uses the location information of the cleaning robot 2000 and the indoor space map data received from the cleaning robot 2000 to display the indoor space map 800 and the electronic device 1000 on the display 1710.
  • An icon 810 indicating the location and an icon 820 indicating the location of the cleaning robot 2000 may be displayed.
  • the electronic device 1000 may obtain relative location information between the cleaning robot 2000 and the electronic device 1000 based on at least one of a position, height, direction, and tilt angle of the electronic device 1000 .
  • the 'relative position between the cleaning robot 2000 and the electronic device 1000' refers to location information of the cleaning robot 2000 based on the location of the electronic device 1000.
  • Relative position information between the cleaning robot 2000 and the electronic device 1000 includes distance information between the electronic device 1000 and the cleaning robot 2000 and angle information formed between the electronic device 1000 and the cleaning robot 2000. can include
  • the processor 1400 obtains information about the direction of the electronic device 1000 using the geomagnetic sensor 1210 (see FIG. 2), and uses the gyro sensor 1220 and the acceleration sensor 1230 to obtain information about the direction of the electronic device 1000. Information about an inclined angle of the electronic device 1000 may be obtained.
  • the processor 1400 may obtain relative position information between the cleaning robot 2000 and the electronic device 1000 based on information about the location of the cleaning robot 2000 and the direction and tilt angle of the electronic device 1000. there is.
  • the processor 1400 may control the display 1710 to display the UI 810 indicating the location of the electronic device 1000 on the indoor space map 800 .
  • 8B is a diagram for explaining a method of capturing an area to be cleaned by the electronic device 1000 and displaying the captured area, according to an embodiment of the present disclosure.
  • the electronic device 1000 includes a camera 1300 (see FIG. 2 ), and uses the camera 1300 to capture an area of an indoor space to be cleaned, thereby obtaining an image.
  • the position of the area photographed using the camera 1300 may be determined differently according to the direction the electronic device 1000 is facing, the tilted angle, and the field of view (FOV) of the camera 1300 .
  • the 'FOV of the camera 1300' refers to an angle indicating the size of an area that can be observed and photographed through the lens of the camera 1300.
  • the FOV of the camera 1300 may be determined according to the position and direction in which the lens of the camera 1300 is disposed, and the direction and tilt angle of the electronic device 1000 .
  • FIG. 8C is for explaining a method for the electronic device 1000 to determine a cleaning target area based on relative location information with the cleaning robot 2000 and a field of view (FOV) of a camera, according to an embodiment of the present disclosure. It is a drawing
  • the electronic device 1000 may determine a cleaning target area 830 based on a relative position with the cleaning robot 2000 and a FOV of a camera 1300 (see FIG. 8B ).
  • the relative position between the cleaning robot 2000 and the electronic device 1000 means location information of the cleaning robot 2000 based on the location of the electronic device 1000 .
  • the relative positional information between the cleaning robot 2000 and the electronic device 1000 is a distance d between the electronic device 1000 and the cleaning robot 2000, and formed between the electronic device 1000 and the cleaning robot 2000.
  • Information about the angle ⁇ may be included.
  • the electronic device 1000 is inclined by an angle ⁇ with respect to the X-axis direction, is spaced apart from the floor by a height h in the Z-axis direction, and has a direction toward the cleaning robot 2000. It may lie in the opposite direction.
  • the processor 1400 (see FIG. 2 ) of the electronic device 1000 measures the orientation of the electronic device 1000 using the geomagnetic sensor 1210 (see FIG. 2 ), so that the direction ori of the electronic device 1000 is elevated. information can be obtained.
  • the processor 1400 measures the tilted angle of the electronic device 1000 using the gyro sensor 1220 (see FIG. 2) and the acceleration sensor 1230 (see FIG. 2), thereby determining the tilted angle ⁇ with respect to the X-axis. value can be obtained.
  • the processor 1400 is based on the relative position between the cleaning robot 2000 and the electronic device 1000, the direction (ori) information of the electronic device 1000, the inclination angle ( ⁇ ) information, and the FOV of the camera 1300. , the position of the region photographed by the camera 1300 may be identified.
  • the processor 1400 determines the position of the imaging area using a trigonometric function calculation method. can be estimated. Since the location of the capture area may vary depending on the FOV that can be captured through the lens of the camera 1300, the processor 1400 identifies the location of the capture area by correcting the area estimated through the trigonometric function using FOV information. can do.
  • the processor 1400 may determine the finally identified area as a cleaning target area.
  • the processor 1400 may transmit information about an area to be cleaned to the cleaning robot 2000 using the short-range communication module 1110 (see FIG. 2 ).
  • FIG. 9 is a flowchart illustrating a method of determining, by the electronic device 1000, an area to be cleaned based on a relative positional relationship with the cleaning robot 2000 and an FOV of a camera, according to an embodiment of the present disclosure.
  • steps S910 to S930 embody step S310 shown in FIG. 3 .
  • steps S940 to S960 embody step S320 shown in FIG. 3 .
  • step S330 shown in FIG. 3 may be performed.
  • the electronic device 1000 receives location information of the cleaning robot 2000 using a UWB (Ultra Wide Band) communication network.
  • the electronic device 1000 may receive location information from the cleaning robot 2000 using the UWB communication module 1120 (see FIG. 2 ).
  • the UWB (Ultra Wide Band) communication module 1120 is a communication module that transmits and receives data using an ultra-wideband frequency band between 3.1 GHz and 10.6 GHz.
  • the UWB communication module 1120 can transmit and receive data at a rate of up to 500 Mbps.
  • the electronic device 1000 measures the direction and tilt angle of the electronic device 1000.
  • the electronic device 1000 measures the orientation of the electronic device 1000 using the geomagnetic sensor 1210 (see FIG. 2 ), and based on the measured orientation, the electronic device 1000 receives direction information toward which the electronic device 1000 is heading. can be obtained
  • the electronic device 1000 may obtain information about an inclination angle of the electronic device 1000 by using a gyro sensor 1220 (see FIG. 2 ) and an acceleration sensor 1230 (see FIG. 2 ). .
  • step S930 the electronic device 1000 obtains relative position information between the cleaning robot 2000 and the electronic device 1000 based on the position of the cleaning robot 2000 and the direction and tilt angle of the electronic device 1000.
  • the 'relative position between the cleaning robot 2000 and the electronic device 1000' refers to location information of the cleaning robot 2000 based on the location of the electronic device 1000.
  • Relative position information between the cleaning robot 2000 and the electronic device 1000 includes distance information between the electronic device 1000 and the cleaning robot 2000 and angle information formed between the electronic device 1000 and the cleaning robot 2000. can include
  • step S940 the electronic device 1000 captures an area to be cleaned using the camera 1300 (see FIG. 2).
  • the electronic device 1000 identifies a capturing area based on the field of view (FOV) of the camera 1300 and relative location information between the electronic device 1000 and the cleaning robot 2000 .
  • the electronic device 1000 may include a spaced distance from the cleaning robot 2000, an angle formed between the cleaning robot 2000 and the electronic device 1000, and a distance between the electronic device 1000 and the floor.
  • the location of the photographing area may be estimated through a trigonometric function algorithm.
  • the electronic device 1000 may identify the location of the capturing area by correcting the estimated location of the capturing area using FOV information of the camera 1300 .
  • step S960 the electronic device 1000 determines the identified area as a cleaning target area.
  • the electronic device 1000 receives location information of the cleaning robot 2000 through a UWB communication network, and the direction and tilt angle of the electronic device 1000.
  • An area photographed through the camera 1300 may be automatically determined as the cleaning target area based on , and the FOV of the camera 1300 .
  • the electronic device 1000 according to an embodiment of the present disclosure may obtain accurate location information of the cleaning robot 2000 and the electronic device 1000 by using a UWB communication network.
  • the electronic device 1000 according to an embodiment of the present disclosure when the user wants to clean a specific area, directly selects the specific area through an application and does not perform cumbersome tasks such as enlarging or reducing the size of the area. , Since the area photographed by the camera 1300 is automatically determined as the cleaning target area, user convenience can be improved.
  • FIG. 10 is a diagram for explaining a method for the electronic device 1000 to control a cleaning robot 2000 to perform a cleaning operation on an area to be cleaned based on a voice input received from a user, according to an embodiment of the present disclosure. to be.
  • the electronic device 1000 may receive a voice input including a cleaning command for a cleaning target area from a user through a microphone 1620 (see FIG. 2 ).
  • 'Voice input' may be a voice uttered by a user.
  • the voice input may include a wake up voice.
  • the 'wake-up voice' is a signal for switching the electronic device 1000 from a standby mode to a voice recognition function mode, and may include, for example, 'Hi Bixby' or 'Okay Google'.
  • the voice input may include information for specifying a cleaning target area.
  • the voice input may include the location tracking tag device 4000 (see FIG. 4) or the type of home appliance located around the cleaning robot 2000.
  • the voice input may include information about the location tracking tag device 4000 or the type of home appliance, such as "Clean around the smart tag” or "Clean around the TV”.
  • the electronic device 1000 may receive a voice input of “Hi Bixby! Clean the TV area with the Powerbot ⁇ ” through the microphone 1620 .
  • the microphone 1620 may obtain a voice signal by converting the received voice input into a sound signal and removing noise (eg, non-voice components) from the sound signal.
  • noise eg, non-voice components
  • the electronic device 1000 may transmit voice input data to the server 3000.
  • the processor 1400 (see FIG. 2 ) of the electronic device 1000 may transmit a voice signal acquired from the microphone 1620 to the server 3000 .
  • the processor 1400 may transmit a voice signal to the server 3000 using the communication interface 1100 (see FIG. 2).
  • the server 3000 may have a natural language processing capability capable of recognizing a user's intent and parameters included in the voice signal by interpreting the voice signal.
  • the server 3000 converts the voice signal received from the electronic device 1000 into computer-readable text and interprets the text using a natural language understanding model, thereby Tent and parameter information may be acquired.
  • 'intent' is information representing the user's utterance intention, and may be information representing the operation of a device for performing an operation requested by the user.
  • the intent may be 'cleaning command'.
  • a 'parameter' refers to variable information for determining detailed operations of an operation performing device related to an intent.
  • the parameters may be the name of the device performing the operation “Powerbot” and the area to be cleaned “around the TV”.
  • the server 3000 transmits the natural language analysis result for the voice input to the electronic device 1000.
  • the natural language analysis result may include intent and parameter information obtained by interpreting the text converted from the voice signal.
  • the server 3000 may transmit the intent of the 'cleaning command' and parameter information of 'power bot' and 'TV surroundings' to the electronic device 1000 .
  • step S1040 the electronic device 1000 obtains a cleaning command and information about a cleaning target area from the received natural language analysis result.
  • the processor 1400 of the electronic device 1000 may identify a cleaning command from an intent and information about a cleaning target area from a parameter.
  • the processor 1400 may identify the cleaning robot 2000 from parameters of 'power bot' and determine the cleaning robot 2000 as an operation performing device.
  • the processor 1400 may obtain information about the location tracking tag device 4000 for specifying the cleaning target area or the type of home appliance from the parameter information. For example, when the voice input received from the user is "Clean around the smart tag", the processor 1400 uses the parameter information received from the server 3000 to determine the cleaning target area of the location tracking tag device. can be obtained with For another example, when the voice input is "Clean around the TV", the processor 1400 selects the type of home appliance (eg, TV) from the parameter information received from the server 3000 as the area to be cleaned. It can be obtained as information for making a decision.
  • the type of home appliance eg, TV
  • the electronic device 1000 may generate a control command for controlling the cleaning robot 2000, which is an operation performing device.
  • a 'control command' refers to commands that can be read and executed by an operation performing device (the cleaning robot 2000 in the embodiment shown in FIG. 10 ) to perform detailed operations included in the operation information. do.
  • the control command includes not only location information about the area to be cleaned, but also a command to clean the area to be cleaned, a command to return to the charging station, a command to change direction, or a specific operating mode (e.g., concentrated mode, normal mode). mode, repeat mode) may further include at least one of commands for performing cleaning.
  • step S1050 the electronic device 1000 transmits a control command to the cleaning robot 2000.
  • the electronic device 1000 performs at least one of WiFi, Wi-Fi Direct (WFD), Bluetooth, BLE, Near Field Communication unit (NFC), Zigbee, or ⁇ Wave communication.
  • a control command may be transmitted to the cleaning robot 2000 through one short-range wireless communication network.
  • the cleaning robot 2000 performs a cleaning operation according to a control command.
  • the control command may include detailed information for performing a cleaning operation on a cleaning target area 'around the TV'.
  • the cleaning robot 2000 may plan a cleaning path for an area within a preset range from the TV according to a control command, and complete a cleaning operation along the planned cleaning path. If the cleaning robot 2000 recognizes an obstacle near the TV while cleaning, the cleaning robot 2000 may change a planned cleaning path or stop cleaning the area near the TV. For example, if the obstacle is not large, the cleaning robot 2000 may change the cleaning path by cleaning while avoiding the obstacle. and return to the charging station.
  • FIG. 11 is a flowchart illustrating a method of controlling the cleaning robot 2000 so that the electronic device 1000 performs a cleaning operation on an area to be cleaned, according to an embodiment of the present disclosure.
  • Steps shown in FIG. 11 are performed after step S330 shown in FIG. 3 is performed.
  • Step S1110 shown in FIG. 11 may be performed after step S330 of FIG. 3 is performed.
  • the electronic device 1000 receives a voice input from the user.
  • the electronic device 1000 may receive a voice input including a cleaning command for a cleaning target area from a user through a microphone 1620 (see FIG. 2 ).
  • 'Voice input' may be a voice uttered by a user.
  • step S1120 the electronic device 1000 transmits voice signal data to the server 3000.
  • the microphone 1620 of the electronic device 1000 may obtain a voice signal by converting the received voice input into a sound signal and removing noise (eg, non-voice components) from the sound signal. .
  • the electronic device 1000 may transmit data of a voice signal to the server 3000 .
  • the server 3000 converts the voice signal data into text.
  • the server 3000 may convert a voice signal into computer-readable text by performing ASR using an Automatic Speech Recognition model (ASR model).
  • ASR model Automatic Speech Recognition model
  • FIG. 11 illustrates that the electronic device 1000 transmits voice signal data to the server 3000 and the server 3000 performs ASR
  • the embodiment of the present disclosure is not limited to that shown in FIG. 11 .
  • the electronic device 1000 includes an ASR model, and the processor 1400 (see FIG. 2 ) of the electronic device 1000 converts a voice signal into text by performing ASR using the ASR model.
  • the processor 1400 may transmit text to the server 3000 through the communication interface 1100 (see FIG. 2).
  • the server 3000 recognizes the user's intent and parameters by interpreting the text using a natural language understanding model.
  • the intent may be a 'cleaning command' and the parameter may be 'information for specifying a cleaning target area'.
  • the parameter information may include, for example, a location tracking tag device or information about the type of home appliance around the cleaning robot 2000 . Descriptions of intents and parameters are the same as those described in FIG. 10, so duplicate descriptions are omitted.
  • step S1150 the server 3000 transmits intent and parameter information to the electronic device 1000.
  • the electronic device 1000 identifies a cleaning command and a cleaning target area from the intent and parameter information.
  • the area to be cleaned may be identified from parameter information. For example, when the voice input received from the user is "Clean around the smart tag", the electronic device 1000 cleans an area within a preset range from the location tracking tag device based on the parameter information received from the server 3000. can be identified as a target area. For another example, when the voice input is "Clean around the TV", the electronic device 1000 determines the type of home appliance (eg, TV) from the parameter information received from the server 3000. An area within a predetermined range from the device may be identified as a cleaning target area.
  • the type of home appliance eg, TV
  • step S1170 the electronic device 1000 generates a control command for controlling the cleaning robot 2000 to perform a cleaning operation on the area to be cleaned.
  • the 'control command' refers to commands that the cleaning robot 2000 can read and execute so that the cleaning robot 2000 can perform detailed operations included in motion information for cleaning operations. Since the control commands are the same as those described in FIG. 10 , overlapping descriptions are omitted.
  • step S1180 the electronic device 1000 transmits a control command to the cleaning robot 2000.
  • step S1190 the cleaning robot 2000 performs a cleaning operation on the area to be cleaned according to the control command.
  • An electronic device includes a communication interface for transmitting and receiving data using a wireless communication network, a memory for storing at least one instruction, and at least one or more instructions for executing the at least one instruction.
  • the at least one processor determines the position of the location tracking tag device, the position of at least one home appliance located around the cleaning robot, and the cleaning robot and the electronic device by using the communication interface. Positional information about at least one of the relative positions of the liver may be obtained.
  • the at least one processor may determine a cleaning target area based on the obtained at least one location information.
  • the at least one processor may control the communication interface to transmit information about the determined area to be cleaned to the cleaning robot.
  • the at least one processor may determine an area within a predetermined radius around the obtained position of the location tracking tag device as the cleaning target area.
  • the cleaning robot includes a short-distance wireless communication module that wirelessly transmits and receives data, and the location information of the at least one home appliance is stored by the cleaning robot using the short-range wireless communication module. It can be obtained from at least one home appliance.
  • the electronic device further includes a display unit, and the at least one processor receives device identification information of the at least one home appliance from the cleaning robot using the communication interface, and The display unit may be controlled to identify a type of the at least one home appliance based on the received device identification information and display a user interface (UI) indicating the type and location of the at least one home appliance.
  • UI user interface
  • the electronic device further includes a user input unit that receives a user input for selecting one of the at least one type of home appliance through the UI, and the at least one processor A location of a home appliance corresponding to a selected type may be identified based on the received user input, and an area within a predetermined radius from the location of the identified home appliance may be determined as the cleaning target area.
  • the at least one processor obtains information about air quality of an indoor space from the cleaning robot using the communication interface, and based on the obtained information about air quality, the determined information is obtained.
  • An area in which the degree of air pollution exceeds a predetermined threshold among the areas to be cleaned may be determined as the area to be intensively cleaned.
  • the electronic device may include a geomagnetic sensor for measuring the orientation of the electronic device, and a gyro sensor and acceleration for measuring a rotation angle or an inclination angle of the electronic device.
  • An acceleration sensor may be further included, and the at least one processor obtains information about a height and a direction of the electronic device from an orientation measured using the geomagnetic sensor, and obtains information about a height and a direction of the electronic device using the gyro sensor and the acceleration sensor.
  • Obtaining information about the tilted angle of the electronic device including at least one of location information of the cleaning robot and height, direction, and tilted angle of the electronic device received using UWB (Ultra Wide Band) Information about a relative position between the cleaning robot and the electronic device may be obtained using the electronic device location information.
  • UWB Ultra Wide Band
  • the electronic device further includes a camera for capturing an area to be cleaned, and the at least one processor controls a field of view (FOV) of the camera and communication between the electronic device and the cleaning robot.
  • FOV field of view
  • An area photographed by the camera may be identified based on the relative location information, and the identified area may be determined as the cleaning target area.
  • the electronic device may further include a display unit, and the at least one processor may control the display unit to display a UI indicating the determined cleaning target area on a map visually representing an indoor space. there is.
  • the electronic device further includes a microphone for receiving a voice input including a cleaning command for the determined cleaning target region, and the at least one processor interprets the voice input using a natural language understanding model.
  • the communication interface is controlled to identify the cleaning command from the voice input, generate a control command for controlling the operation of the cleaning robot from the identified cleaning command, and transmit the control command to the cleaning robot.
  • the at least one processor transmits data related to the voice input to a server using the communication interface, and according to a result of analyzing the voice input by the server, the voice input is identified.
  • the control command for receiving information on the type of the location tracking tag device or the home appliance from the server and controlling a cleaning operation for the cleaning target area determined according to the type of the location tracking tag device or the home appliance can create
  • a method for controlling a cleaning robot includes a location tracking tag device, a location of at least one home appliance located around the cleaning robot, and the cleaning robot and the cleaning robot using a wireless communication network.
  • the method may include acquiring information about at least one location among relative locations between electronic devices.
  • a method of controlling a cleaning robot may include determining a cleaning target area based on the acquired at least one location information.
  • the method of controlling the cleaning robot may include transmitting information about the determined area to be cleaned to the cleaning robot.
  • the electronic device in the step of determining the cleaning target area, may determine, as the cleaning target area, an area within a predetermined radius around the acquired position of the location tracking tag device.
  • the cleaning robot includes a short-distance wireless communication module that transmits and receives data wirelessly, and the location information of the at least one home appliance is obtained by the cleaning robot using the short-range wireless communication module. It may be obtained from the at least one home appliance.
  • the method may include receiving device identification information of the at least one home appliance from the cleaning robot, and determining a type of the at least one home appliance based on the received device identification information.
  • the method may further include identifying and displaying a user interface (UI) indicating a type and location of the at least one home appliance.
  • UI user interface
  • the determining of the area to be cleaned may include receiving a user input for selecting one of the types of the at least one home appliance through the UI, and the received user input.
  • the method may include identifying a location of a home appliance corresponding to the selected type based on , and determining an area within a predetermined radius from the location of the identified home appliance as the cleaning target area.
  • the determining of the area to be cleaned may include photographing an area to be cleaned by a user using a camera, a Field Of View (FOV) of the camera, the electronic device, and the cleaning robot.
  • the method may include identifying an area photographed by the camera based on relative location information of and determining the identified area as the cleaning target area.
  • FOV Field Of View
  • the method may further include displaying a UI indicating the determined cleaning target area on a map visually representing an indoor space.
  • the method may include receiving a voice input including a cleaning command related to the determined cleaning target area, an analysis result of the voice input using a natural language understanding model, and a cleaning command from the voice input.
  • the method may further include identifying, generating a control command for controlling an operation of the cleaning robot from the identified cleaning command, and transmitting the control command to the cleaning robot.
  • One embodiment of the present disclosure provides a computer program product including a computer-readable storage medium recording a program to be executed on a computer.
  • the storage medium uses a wireless communication network to store the location tracking tag device, the location of at least one home appliance located around the cleaning robot, and the relative location between the cleaning robot and the electronic device.
  • the electronic device may include instructions related to a method of controlling the cleaning robot.
  • a program executed by the electronic device 1000 described in this specification may be implemented as a hardware component, a software component, and/or a combination of hardware components and software components.
  • a program can be executed by any system capable of executing computer readable instructions.
  • Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. You can command the device.
  • Computer-readable recording media include, for example, magnetic storage media (e.g., read-only memory (ROM), random-access memory (RAM), floppy disk, hard disk, etc.) and optical reading media (e.g., CD-ROM) (CD-ROM) and DVD (Digital Versatile Disc).
  • ROM read-only memory
  • RAM random-access memory
  • CD-ROM CD-ROM
  • DVD Digital Versatile Disc
  • a computer-readable recording medium may be distributed among computer systems connected through a network, and computer-readable codes may be stored and executed in a distributed manner. The medium may be readable by a computer, stored in a memory, and executed by a processor.
  • a computer-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' only means that the storage medium does not contain a signal and is tangible, but does not distinguish whether data is stored semi-permanently or temporarily in the storage medium.
  • the 'non-temporary storage medium' may include a buffer in which data is temporarily stored.
  • program according to the embodiments disclosed in this specification may be included in a computer program product and provided.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product may include a software program and a computer-readable storage medium in which the software program is stored.
  • a computer program product is a product in the form of a software program (eg, a downloadable application) distributed electronically through a manufacturer of an electronic device or an electronic marketplace (eg, Google Play Store TM , App Store TM ). application)).
  • a software program eg, a downloadable application
  • an electronic marketplace e.g, Google Play Store TM , App Store TM ). application
  • the storage medium may be a server of a manufacturer of the vehicle or electronic device 1000, a server of an electronic market, or a storage medium of a relay server temporarily storing a software program.
  • the computer program product may include a storage medium of the server 3000 or a storage medium of the electronic device in a system composed of the electronic device 1000, the server 3000 (see FIGS. 10 and 11), and other electronic devices. .
  • the computer program product may include a storage medium of the third device.
  • the computer program product may include a software program itself transmitted from the electronic device 1000 to the electronic device or a third device, or transmitted from the third device to the electronic device.
  • one of the electronic device 1000, the server 3000, and the third device may execute the computer program product to perform the method according to the disclosed embodiments.
  • two or more of the electronic device 1000, the server 3000, and the third device may execute the computer program product to implement the method according to the disclosed embodiments in a distributed manner.
  • the electronic device 1000 executes a computer program product stored in the memory 1500 (see FIG. 2) to control another electronic device communicatively connected to the electronic device 1000 to perform a method according to the disclosed embodiments. can do.
  • the third device may execute a computer program product to control an electronic device communicatively connected to the third device to perform the method according to the disclosed embodiment.
  • the third device may download the computer program product from the electronic device 1000 and execute the downloaded computer program product.
  • the third device may perform the method according to the disclosed embodiments by executing a computer program product provided in a pre-loaded state.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Electric Vacuum Cleaner (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

청소 로봇을 제어하는 전자 장치 및 그 동작 방법을 제공한다. 본 개시의 일 실시예는, 무선 통신 네트워크를 이용하여 위치 추적 태그 장치의 위치, 청소 로봇의 주변에 위치하는 적어도 하나의 가전기기의 위치, 및 청소 로봇과 전자 장치 간의 상대적 위치 중 적어도 하나에 관한 위치 정보를 획득하고, 획득된 적어도 하나의 위치 정보에 기초하여 청소 대상 영역을 결정하고, 결정된 청소 대상 영역에 관한 정보를 청소 로봇에 전송하는 전자 장치를 제공한다.

Description

청소 로봇을 제어하는 전자 장치 및 그 동작 방법
본 개시는 청소 로봇을 제어하는 전자 장치 및 그 동작 방법에 관한 것이다. 구체적으로, 본 개시의 실시예들은 실내 공간 중 청소 로봇이 청소할 영역인 청소 대상 영역을 결정하고, 결정된 청소 대상 영역에 관한 정보를 청소 로봇에 전송하는 전자 장치 및 그 동작 방법에 관한 것이다.
최근에는 청소 로봇이 많이 보급되고, 사용되고 있다. 전용 리모콘을 통해 청소 로봇의 청소 대상 영역 설정 및 청소 동작 수행 등의 기능을 제어할 수 있다. 그러나, IoT 기능(Internet of Things)을 갖는 청소 로봇의 경우 와이파이(WiFi) 또는 블루투스 등 무선 네트워크를 통해 연결된 모바일 디바이스를 이용하여 외부에서 원격으로 청소 로봇을 제어하거나, 청소 대상 영역을 설정할 수 있다.
모바일 디바이스를 이용하여 청소 로봇의 청소 대상 영역을 설정하는 방법으로는, 모바일 디바이스에 의해 실행되는 애플리케이션을 통해 디스플레이되는 실내 공간의 맵(map) 상에서 청소하고자 하는 영역을 직접 선택하고, 영역의 확대 또는 축소를 통해 영역의 크기를 결정하며, 영역 추가 버튼을 입력하는 방식이 사용되고 있다. 그러나, 청소 로봇을 사용하는 경우, 특정 영역만 청소를 하면 되는 경우가 있을 수 있다. 이 경우, 사용자가 모바일 디바이스를 통해 디스플레이되는 맵 상에서 청소할 위치를 생각하고, 직접 영역을 선택하고, 영역의 크기도 직접 결정하여야 하며, 영역 추가 버튼을 입력하여야 하는 등 여러 단계를 거쳐야 한다.
본 개시는 청소 로봇의 청소 대상 영역을 자동으로 설정하는 전자 장치 및 그 동작 방법을 제공하는 것을 목적으로 한다.
상술한 기술적 과제를 해결하기 위하여 본 개시는 청소 로봇을 제어하는 전자 장치를 제공한다. 본 개시의 일 실시예에 따른 전자 장치는, 무선 통신 네트워크를 이용하여 데이터 송수신을 수행하는 통신 인터페이스, 적어도 하나의 명령어들(instructions)를 저장하는 메모리, 및 상기 적어도 하나의 명령어들을 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서는 상기 통신 인터페이스를 이용하여, 위치 추적 태그 장치의 위치, 상기 청소 로봇의 주변에 위치하는 적어도 하나의 가전기기의 위치, 및 상기 청소 로봇과 상기 전자 장치 간의 상대적 위치 중 적어도 하나에 관한 위치 정보를 획득할 수 있다. 본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서는 획득된 상기 적어도 하나의 위치 정보에 기초하여 청소 대상 영역을 결정할 수 있다. 본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서는 결정된 상기 청소 대상 영역에 관한 정보를 상기 청소 로봇에 전송하도록 상기 통신 인터페이스를 제어할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시는 전자 장치가 청소 로봇을 제어하는 방법을 제공한다. 본 개시의 일 실시예에서, 청소 로봇을 제어하는 방법은 무선 통신 네트워크를 이용하여 위치 추적 태그 장치의 위치, 상기 청소 로봇의 주변에 위치하는 적어도 하나의 가전기기의 위치, 및 상기 청소 로봇과 상기 전자 장치 간의 상대 위치 중 적어도 하나의 위치에 관한 정보를 획득하는 단계를 포함할 수 있다. 본 개시의 일 실시예에서, 청소 로봇을 제어하는 방법은 획득된 상기 적어도 하나의 위치 정보에 기초하여 청소 대상 영역을 결정하는 단계를 포함할 수 있다. 본 개시의 일 실시예에서, 청소 로봇을 제어하는 방법은 결정된 상기 청소 대상 영역에 관한 정보를 상기 청소 로봇에 전송하는 단계를 포함할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품(Computer Program Product)를 제공한다.
본 개시는, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 본 개시의 일 실시예에 따른 전자 장치가 청소 대상 영역을 결정하고, 청소 대상 영역에 관한 정보를 청소 로봇에 전송하는 방법을 도시한 도면이다.
도 2는 본 개시의 일 실시예에 따른 전자 장치의 구성 요소를 도시한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 전자 장치의 동작 방법을 도시한 흐름도이다.
도 4는 본 개시의 일 실시예에 따른 전자 장치가 위치 추적 태그 장치의 위치에 기초하여 청소 로봇의 청소 대상 영역을 결정하는 방법을 도시한 도면이다.
도 5는 본 개시의 일 실시예에 따른 전자 장치가 가전기기의 위치 정보에 기초하여 청소 로봇의 청소 대상 영역을 결정하는 방법을 도시한 도면이다.
도 6은 본 개시의 일 실시예에 따른 전자 장치가 가전기기의 위치 정보에 기초하여 청소 로봇의 청소 대상 영역을 결정하는 방법을 도시한 흐름도이다.
도 7은 본 개시의 일 실시예에 따른 전자 장치가 실내 공간의 공기 질에 관한 정보에 기초하여 집중 청소 대상 영역을 결정하는 방법을 도시한 도면이다.
도 8a는 본 개시의 일 실시예에 따른 전자 장치가 청소 로봇과 전자 장치 간의 상대적 위치 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 8b는 본 개시의 일 실시예에 따른 전자 장치가 청소하고자 하는 영역을 촬영하고, 촬영된 영역을 디스플레이하는 방법을 설명하기 위한 도면이다.
도 8c는 본 개시의 일 실시예에 따른 전자 장치가 청소 로봇과의 상대적 위치 정보 및 카메라의 FOV(Field Of View)에 기초하여 청소 대상 영역을 결정하는 방법을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시예에 따른 전자 장치가 청소 로봇과의 상대적 위치 관계 및 카메라의 FOV에 기초하여 청소 대상 영역을 결정하는 방법을 도시한 흐름도이다.
도 10은 본 개시의 일 실시예에 따른 전자 장치가 사용자로부터 수신된 음성 입력에 기초하여 청소 대상 영역에 관한 청소 동작을 수행하도록 청소 로봇을 제어하는 방법을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시예에 따른 전자 장치가 청소 대상 영역에 관한 청소 동작을 수행하도록 청소 로봇을 제어하는 방법을 도시한 흐름도이다.
본 명세서의 실시예들에서 사용되는 용어는 본 개시의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.
본 개시 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 본 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 시스템"이라는 표현은, 그 시스템이 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하에서는 도면을 참조하여 본 개시의 실시예들을 상세하게 설명한다.
도 1은 본 개시의 일 실시예에 따른 전자 장치(1000)가 청소 대상 영역을 결정하고, 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송하는 방법을 도시한 도면이다.
본 개시의 일 실시예에 따른 전자 장치(1000)는 설치된 특정 플리케이션을 통해 서버 또는 외부 장치(예를 들어, 청소 로봇(2000), 위치 추적 태그 장치(4000), 또는 가전기기(5000))와 정보를 송수신하고, 청소 로봇(2000)의 동작을 제어할 수 있다. 일 실시예에서, 특정 애플리케이션은 사용자가 청소 로봇(2000)의 청소 대상 영역을 결정하거나, 청소 로봇(2000)의 청소 동작을 원격으로 제어하는 기능을 제공하는 애플리케이션일 수 있다.
본 개시의 일 실시예에 의하면, 전자 장치(1000)는, 청소 로봇(2000)과 동일한 사용자 계정 정보(user account)로 연결된 장치일 수 있다. 전자 장치(1000)는 청소 로봇(2000)과 근거리 통신 링크를 통해서 직접 연결될 수도 있고, 서버를 통해 청소 로봇(2000)과 간접적으로 연결될 수도 있다. 전자 장치(1000)는 예를 들어, 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(zigbee), WFD(Wi-Fi Direct), BLE (Bluetooth Low Energy), 와이브로(Wireless Broadband Internet, Wibro), 와이맥스(World Interoperability for Microwave Access, WiMAX), SWAP(Shared Wireless Access Protocol), 와이기그(Wireless Gigabit Allicance, WiGig) 및 RF 통신 중 적어도 하나의 데이터 통신 네트워크를 이용하여 청소 로봇(2000), 서버, 또는 외부 장치들과 연결되고, 데이터 송수신을 수행할 수 있다.
본 개시의 일 실시예에 따른 전자 장치(1000)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 개시의 전자 장치(1000)는 스마트 폰(smart phone), 태블릿 PC, 노트북 컴퓨터(laptop computer), 디지털 카메라, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, 또는 MP3 플레이어를 포함하는 모바일 단말 중 어느 하나일 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에서, 전자 장치(1000)는 웨어러블 디바이스(wearable device)일 수 있다. 웨어러블 디바이스는 액세서리 형 장치(예컨대, 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈), 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형 장치(예: 전자 의복), 신체 부착형 장치(예컨대, 스킨 패드(skin pad)), 또는 생체 이식형 장치(예: implantable circuit) 중 적어도 하나를 포함할 수 있다. 다른 실시예에서, 전자 장치(1000)는 TV, 컴퓨터, 디스플레이를 포함하는 냉장고, 또는 디스플레이를 포함하는 오븐 등으로 구현될 수도 있다.
이하에서는, 설명의 편의상 전자 장치(1000)가 스마트 폰인 경우를 예로 들어 설명하기로 한다.
도 1을 참조하면, 전자 장치(1000)는 위치 추적 태그 장치(4000)의 위치, 가전기기(5000)의 위치, 및 청소 로봇(2000)과 가전기기(5000)의 상대적 위치 중 적어도 하나의 위치에 기초하여 청소 대상 영역을 결정하고, 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송할 수 있다.
전자 장치(1000)는 위치 추적 태그 장치(4000)의 위치 정보를 위치 추적 태그 장치(4000)로부터 직접 수신하거나, 또는 서버로부터 수신할 수 있다. '위치 추적 태그 장치(4000)'는 휴대용 트래커(tracker) 장치로서, 위치 좌표 정보를 전자 장치(1000)에 제공하도록 구성되는 장치이다. 위치 추적 태그 장치(4000)는 예를 들어, 갤럭시 스마트태그TM일 수 있으나, 이에 한정되지 않는다. 일 실시예에서, 전자 장치(1000)는 위치 추적 태그 장치(4000)로부터 수신된 위치 좌표 정보로부터 위치 추적 태그 장치(4000)의 위치를 식별하고, 식별된 위치로부터 기 설정된 범위 내의 영역을 청소 대상 영역으로 결정할 수 있다. 예를 들어, 전자 장치(1000)는 위치 추적 태그 장치(4000)의 위치로부터 1m 또는 2m 의 반경 범위 내의 영역을 청소 대상 영역으로 결정할 수 있다.
전자 장치(1000)는 가전기기(5000)의 위치 정보를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)는 청소 로봇(2000)으로부터 청소 로봇(2000) 주변에 배치되는 적어도 하나의 가전기기(5000)의 위치 정보를 수신할 수 있다. 전자 장치(1000)는 가전기기(5000)의 위치로부터 기 설정된 범위 내의 영역을 청소 대상 영역으로 결정할 수 있다. 예를 들어, 전자 장치(1000)는 가전기기(5000)의 위치로부터 1m 또는 2m 의 반경 범위 내의 영역을 청소 대상 영역으로 결정할 수 있다.
전자 장치(1000)는 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보를 획득할 수 있다. 여기서, '청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치'는 전자 장치(1000)의 위치를 기준으로 한 청소 로봇(2000)의 위치 정보를 의미한다. 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보는 전자 장치(1000)로부터 청소 로봇(2000) 간의 이격된 거리 정보 및 전자 장치(1000)와 청소 로봇(2000) 사이에서 형성된 각도 정보를 포함할 수 있다. 일 실시예에서, 전자 장치(1000)는 UWB(Ultra Wide Band) 통신 네트워크를 이용하여 청소 로봇(2000)으로부터 청소 로봇(2000)의 위치 좌표 정보를 수신하고, 수신된 청소 로봇(2000)의 위치 좌표 정보와 전자 장치(1000)의 방향 및 기울어진 각도 정보에 기초하여 청소 로봇(2000)과의 상대적 위치 정보를 획득할 수 있다. 전자 장치(1000)는 카메라(1300, 도 2 참조)를 통해 청소하고자 하는 영역을 촬영하고, 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보 및 카메라(1300)의 FOV(Field Of View)에 기초하여 촬영된 영역의 위치를 식별할 수 있다. 전자 장치(1000)는 식별된 촬영 영역을 청소 대상 영역으로 결정할 수 있다.
전자 장치(1000)는 결정된 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송할 수 있다.
전자 장치(1000)는 실내 공간 지도(100)를 디스플레이(1710) 상에 디스플레ㅇ이할 수 있다. 실내 공간 지도(100)는 청소 로봇(2000)이 실내 공간의 이동 중 적어도 하나의 센서를 이용하여 실내 공간을 탐색함으로써 생성할 수 있다. 전자 장치(1000)는 청소 로봇(2000)으로부터 실내 공간 정보를 획득하고, 실내 공간 지도(100)를 디스플레이할 수 있다. 실내 공간 지도(100)에는 전자 장치(1000), 청소 로봇(2000), 위치 추적 태그 장치(4000), 및 가전기기(5000)의 위치를 나타내는 UI(User Interface)가 디스플레이될 수 있다. 일 실시예에서, UI들은 그래픽 UI(Graphic User Interface)일 수 있다. 도 1에 도시된 실시예에서, 실내 공간 지도(100)에는 전자 장치(1000)의 위치를 나타내는 전자 장치 아이콘(110), 청소 로봇(2000)의 위치를 나타내는 청소 로봇 아이콘(120), 위치 추적 태그 장치(4000)의 위치를 나타내는 위치 추적 태그 장치 아이콘(130), 및 가전기기(5000)의 위치를 나타내는 가전기기 아이콘(140)이 디스플레이될 수 있다. 일 실시예에서, 실내 공간 지도(100)에는 결정된 청소 대상 영역을 시각적으로 나타내는 청소 대상 영역 인디케이터(200, 202)가 디스플레이될 수 있다.
전자 장치(1000)는 디스플레이(1710) 상에 디스플레이되는 청소 대상 영역 인디케이터(200, 202) 중 어느 하나를 선택하는 사용자 입력을 수신할 수 있다. 전자 장치(1000)는 수신된 사용자 입력에 따라 선택된 청소 대상 영역에 관한 청소 동작을 수행하도록 청소 로봇(2000)을 제어하기 위한 제어 명령을 생성하고, 제어 명령을 청소 로봇(2000)에 전송할 수 있다. 여기서, '제어 명령'은 청소 로봇(2000)이 동작 정보 내에 포함된 세부 동작들을 수행할 수 있도록, 청소 로봇(2000)이 판독하고 실행할 수 있는 명령어들을 의미한다. 일 실시예에서, 제어 명령은 청소 대상 영역에 관한 위치 정보 뿐만 아니라, 청소 대상 영역에 관한 청소 명령, 충전 스테이션으로의 복귀 명령, 방향 전환 명령, 또는 특정 동작 모드(예를 들어, 집중 모드, 일반 모드, 반복 모드)로 청소를 수행하는 명령 중 적어도 하나를 더 포함할 수 있다.
전술한 실시예에서, 전자 장치(1000)는 디스플레이(1710) 상에 디스플레이되는 청소 대상 영역 인디케이터(200, 202)를 선택하는 사용자 입력을 통해 청소 대상 영역에 관한 청소를 수행하기 위한 제어 명령을 전송하는 것으로 설명되었지만, 이에 한정되는 것은 아니다. 일 실시예에서, 전자 장치(1000)는 사용자에 의해 발화된 청소 대상 영역에 관한 음성 입력을 수신할 수 있다. 전자 장치(1000)는 음성 입력에 관한 자연어 해석 결과에 기초하여 청소 대상 영역을 식별하고, 청소 대상 영역에 관한 청소 동작을 수행하기 위하여 청소 로봇(2000)을 제어하기 위한 제어 명령을 생성할 수 있다.
전술한 실시예들에서, 전자 장치(1000)는 청소 대상 영역에 관한 청소 명령을 사용자로부터 수신한 경우 청소 로봇(2000)에 제어 명령을 전송하는 것으로 설명되었지만, 본 개시가 상기 실시예들로 한정되는 것은 아니다. 일 실시예에서, 전자 장치(1000)는 사용자 입력이 없이도, 청소 대상 영역을 자동으로 청소하도록 청소 로봇(2000)을 제어할 수 있다.
기존 청소 로봇의 경우, 디스플레이(1710) 상에 디스플레이되는 실내 공간 지도(100) 상에서 청소하고자 하는 영역을 직접 선택하고, 영역의 확대 또는 축소를 통해 영역의 크기를 직접 결정하며, 영역 추가 버튼을 입력함으로써 청소 대상 영역을 결정하는 방식을 사용하고 있다. 그러나, 이러한 방식의 경우, 사용자가 실내 공간 지도(100) 상에서 청소할 위치를 생각하고, 직접 영역을 선택하고, 영역의 크기도 직접 결정하여야 하며, 영역 추가 버튼을 입력하여야 하는 등 여러 단계를 거쳐야 하므로, 과정이 번거롭고 불편하여 사용자 편의성이 떨어지는 문제점이 있다.
본 개시의 일 실시예에 따른 전자 장치(1000)는 위치 추적 태그 장치(4000)의 위치, 가전기기(5000)의 위치, 및 청소 로봇(2000)과 전자 장치(1000)의 상대적 위치 중 적어도 하나에 기초하여 청소 대상 영역을 자동으로 결정하므로, 청소 대상 영역을 직접 결정하여야 하는 귀찮고 번거로운 과정을 생략할 수 있다. 이에 따라, 본 개시의 일 실시예에 따른 전자 장치(1000)는 사용자 편의성을 향상시킬 수 있다.
도 2는 본 개시의 일 실시예에 따른 전자 장치(1000)의 구성 요소를 도시한 블록도이다.
전자 장치(1000)는 위치 추적 태그 장치(4000, 도 1 참조)의 위치, 가전기기(5000, 도 1 참조)의 위치, 및 청소 로봇(2000, 도 1 참조)과 가전기기(5000)의 상대적 위치 중 적어도 하나의 위치에 기초하여 청소 대상 영역을 결정하고, 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송하도록 구성된다.
도 2를 참조하면, 전자 장치(1000)는 통신 인터페이스(1100), 센서부(1200), 카메라(1300), 프로세서(1400), 메모리(1500), 입력 인터페이스(1600), 및 출력 인터페이스(1700)를 포함할 수 있다. 통신 인터페이스(1100), 센서부(1200), 카메라(1300), 프로세서(1400), 메모리(1500), 입력 인터페이스(1600), 및 출력 인터페이스(1700)는 각각 전기적 및/또는 물리적으로 서로 연결될 수 있다.
도 2에 도시된 구성 요소는 본 개시의 일 실시예에 따른 것일 뿐, 전자 장치(1000)가 포함하고 있는 구성 요소가 도 2에 도시된 것으로 한정되는 것은 아니다. 전자 장치(1000)는 도 2에 도시된 구성 요소 중 일부를 포함하지 않을 수 있고, 도 2에 도시되지 않은 구성 요소를 더 포함할 수도 있다. 예를 들어, 전자 장치(1000)는 위치 정보를 획득할 수 있는 GPS 모듈을 더 포함할 수 있다.
통신 인터페이스(1100)는 청소 로봇(2000, 도 1 참조), 서버, 또는 외부 장치(예를 들어, 위치 추적 태그 장치(4000, 도 1 참조) 또는 가전기기(5000, 도 1 참조))와 데이터 통신을 수행하도록 구성된다. 통신 인터페이스(1100)는 근거리 통신 모듈(1110), UWB 통신 모듈(1120), 및 이동 통신 모듈(1130)을 포함할 수 있다.
근거리 통신 모듈(short-range wireless communication unit)(1110)는 와이파이(WiFi), WFD(Wi-Fi Direct) 통신부, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, NFC(Near Field Communication unit), 지그비(Zigbee) 통신부, Ant+ 통신부, 또는 마이크로 웨이브(μWave) 통신부 중 적어도 하나의 하드웨어 장치로 구성될 수 있다. 그러나, 이에 한정되는 것은 아니다. 일 실시예에서, 근거리 통신 모듈(1110)은 프로세서(1400)의 제어에 의해 청소 로봇(2000)으로부터 청소 로봇(2000)의 위치 정보를 수신할 수 있다.
근거리 통신 모듈(1110)은 게이트웨이(gateway) 또는 라우터(router)를 통해 외부 서버와 데이터 통신을 수행할 수도 있다.
일 실시예에서, 근거리 통신 모듈(1110)은 프로세서(1400)의 제어에 의해 위치 추적 태그 장치(4000)의 위치 정보를 수신할 수 있다. 예를 들어, 근거리 통신 모듈(1110)은 BLE 통신을 이용하여 위치 추적 태그 장치(4000)로부터 위치 좌표 정보를 수신할 수 있다. 그러나, 이에 한정되는 것은 아니고, 근거리 통신 모듈(1110)은 서버로부터 위치 추적 태그 장치(4000)의 위치 좌표 정보를 수신할 수 있다.
UWB(Ultra Wide Band) 통신 모듈(1120)은 3.1GHz 내지 10.6GHz 사이의 초 광대역 주파수 대역을 이용하여 데이터 송수신을 수행하는 통신 장치이다. UWB 통신 모듈(1120)은 하드웨어 장치로 구성될 수 있다. UWB 통신 모듈(1120)은 최대 500Mbps 속도로 데이터를 송수신할 수 있다. 일 실시예에서, UWB 통신 모듈(1120)은 초 광대역 주파수를 이용하여, 청소 로봇(2000)으로부터 청소 로봇(2000)의 위치 좌표 정보를 수신할 수 있다. 일 실시예에서, UWB 통신 모듈(1120)은 프로세서(1400)의 제어에 의해 전자 장치(1000)의 위치 좌표 정보를 청소 로봇(2000)에 전송할 수도 있다.
이동 통신 모듈(1130)은 이동 통신망 상에서 기지국, 외부 디바이스, 또는 서버 중 적어도 하나와 무선 신호를 송수신하도록 구성되는 통신 장치이다. 이동 통신 모듈(1130)은 하드웨어 장치로 구성될 수 있다. 이동 통신 모듈(1130)은 예를 들어, 5G mmWave 통신, 5G Sub 6 통신, LTE(Long Term Evolution) 통신, 또는 3G 이동 통신 중 적어도 하나의 통신 방식을 이용하여 데이터를 송수신할 수 있다. 일 실시예에서, 이동 통신 모듈(1130)은 프로세서(1400)의 제어에 의해 서버와 데이터를 송수신할 수 있다.
센서부(1200)는 전자 장치(1000)의 방향, 기울어진 각도, 및 중력 가속도 중 적어도 하나를 측정하도록 구성되는 센서 장치이다. 센서부(1200)는 지자기 센서(1210), 자이로 센서(1220), 및 가속도 센서(1230)를 포함할 수 있다.
지자기 센서(geomagnetic sensor)(1210)는 전자 장치(1000)의 방향을 측정하도록 구성된다. 지자기 센서(1210)는 X축, Y축, 및 Z축 방향에서의 지구 자기장의 자력 값을 측정함으로써, 전자 장치(1000)의 방향에 관한 정보를 획득할 수 있다.
프로세서(1400)는 지자기 센서(1210)에 의해 측정된 자력값을 이용하여 전자 장치(1000)가 향하는 방위 정보를 획득할 수 있다. 프로세서(1400)는 지자기 센서(1210)를 이용하여 전자 장치(1000)의 높이에 관한 정보를 획득할 수도 있다. 일 실시예에서, 프로세서(1400)는 나침반 애플리케이션을 통해 방위 정보를 표시할 수 있다.
자이로 센서(gyro sensor)(1220)는 전자 장치(1000)의 회전각 또는 기울어진 각도를 측정하도록 구성된다. 일 실시예에서, 자이로 센서(1220)는 롤(roll), 피치(pitch), 및 요(yaw) 각속도를 측정하는 3축 각속도계를 포함할 수 있다.
가속도 센서(1230)는 전자 장치(1000)의 3축 가속도를 측정함으로써, 전자 장치(1000)의 기울어진 각도를 측정하도록 구성된다. 일 실시예에서, 가속도 센서(1230)는 행 방향, 횡 방향, 및 높이 방향의 가속도를 측정하는 3축 가속도계를 포함할 수 있다.
프로세서(1400)는 자이로 센서(1220) 및 가속도 센서(1230)를 함께 사용하여 전자 장치(1000)의 회전각 또는 기울어진 각도에 관한 정보를 획득할 수 있다.
카메라(1300)는 실내 공간을 촬영하도록 구성된다. 카메라(1300)는 예를 들어, 스테레오 카메라, 모노 카메라, 와이드 앵글 카메라, 어라운드 뷰 카메라 또는 3D 비전 센서 중 적어도 하나로 구성될 수 있다.
프로세서(1400)는 메모리(1500)에 저장된 하나 이상의 명령어들(instruction) 또는 프로그램 코드를 실행하고, 명령어들 또는 프로그램 코드에 대응되는 기능 및/또는 동작을 수행할 수 있다. 프로세서(1400)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다. 프로세서(1400)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), 애플리케이션 프로세서(Application Processor, AP), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다.
도 2에는 프로세서(1400)가 하나의 엘리먼트로 도시되었으나, 이에 한정되는 것은 아니다. 일 실시예에서, 프로세서(1400)는 하나 또는 하나 이상의 복수 개로 구성될 수 있다.
일 실시예에서, 프로세서(1400)는 인공 지능(Artificial Intelligence; AI) 학습을 수행하는 전용 하드웨어 칩으로 구성될 수도 있다.
메모리(1500)에는 프로세서(1400)가 판독할 수 있는 명령어들 및 프로그램 코드(program code)가 저장될 수 있다. 메모리(1500)는 예를 들어, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광 디스크 중 적어도 하나의 타입의 저장매체로 구성될 수 있다.
이하의 실시예에서, 프로세서(1400)는 메모리(1500)에 저장된 프로그램의 명령어들 또는 프로그램 코드들을 실행함으로써 구현될 수 있다.
프로세서(1400)는 통신 인터페이스(1100)를 이용하여 위치 추적 태그 장치(4000, 도 1 참조)의 위치, 가전기기(5000, 도 1 참조)의 위치, 및 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 중 적어도 하나의 위치에 관한 정보를 획득하고, 획득된 적어도 하나의 위치에 기초하여 청소 대상 영역을 결정할 수 있다. 일 실시예에서, 프로세서(1400)는 적어도 하나의 위치로부터 기 설정된 범위 내의 영역을 청소 대상 영역으로 결정할 수 있다. 프로세서(1400)는 결정된 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 통신 인터페이스(1100)를 제어할 수 있다.
일 실시예에서, 프로세서(1400)는 근거리 통신 모듈(1110)을 통해 위치 추적 태그 장치(4000, 도 1 참조)의 위치 정보를 획득할 수 있다. 프로세서(1400)는 예를 들어, BLE 통신을 통해 위치 추적 태그 장치(4000)와 직접 연결될 수 있다. 이 경우, 프로세서(1400)는 BLE 통신을 이용하여 위치 추적 태그 장치(4000)로부터 위치 좌표 정보를 획득할 수 있다.
그러나, 이에 한정되는 것은 아니고, 다른 실시예에서, 프로세서(1400)는 근거리 통신 모듈(1110)을 통해 서버로부터 위치 추적 태그 장치(4000)의 위치 좌표 정보를 획득할 수 있다. 이 경우, 위치 추적 태그 장치(4000)는 전자 장치(1000)의 사용자 계정(user account)을 통해 서버에 기 등록되고, 서버를 통해 전자 장치(1000)와 연결된 장치일 수 있다.
일 실시예에서, 프로세서(1400)는 획득된 위치 추적 태그 장치(4000)의 위치 좌표 정보로부터 위치 추적 태그 장치(4000)의 위치를 식별하고, 식별된 위치 추적 태그 장치(4000)의 위치를 중심으로 기 설정된 반경 내의 영역을 청소 대상 영역으로 결정할 수 있다. 프로세서(1400)는 예를 들어, 위치 추적 태그 장치(4000)의 위치를 중심으로 1m 또는 2m 거리 내의 영역을 청소 대상 영역으로 결정할 수 있다. 프로세서(1400)가 위치 추적 태그 장치(4000)의 위치에 기초하여 청소 대상 영역을 결정하는 구체적인 실시예에 대해서는 도 4에서 상세하게 설명하기로 한다.
일 실시예에서, 프로세서(1400)는 근거리 통신 모듈(1110)을 통해 청소 로봇(2000)으로부터 가전기기(5000, 도 1 참조)의 위치 정보를 획득할 수 있다. 청소 로봇(2000)은 실내 공간을 이동하면서 청소 로봇(2000)의 주변에 배치되는 적어도 하나의 가전기기(5000)의 위치 정보를 획득할 수 있다. 일 실시예에서, 청소 로봇(2000)은 주변에 배치된 적어도 하나의 가전기기(5000)로부터 출력되는 통신 세기 정보에 기초하여 적어도 하나의 가전기기(5000)의 위치 정보를 추정할 수 있다. 예를 들어, 청소 로봇(2000)은 적어도 하나의 가전기기(5000)와 근거리 무선 통신을 수행하기 위한 근거리 통신 모듈을 포함하고, 근거리 통신 모듈을 통해 적어도 하나의 가전기기들(5000)로부터 수신되는 수신 신호의 강도(RSSI: Received Signal Strength Indication)에 기초하여 적어도 하나의 가전기기(5000)의 위치를 추정할 수 있다. 프로세서(1400)는 예를 들어, 와이파이(WiFi), WFD(Wi-Fi Direct), 블루투스, BLE, NFC(Near Field Communication unit), 지그비(Zigbee), 또는 마이크로 웨이브(μWave) 통신 중 적어도 하나의 근거리 무선 통신 네트워크를 통해 청소 로봇(2000)으로부터 적어도 하나의 가전기기(5000) 각각의 위치 정보를 수신할 수 있다. 프로세서(1400)는 적어도 하나의 가전기기(5000) 각각의 위치를 중심으로 기 설정된 범위 내의 영역을 청소 대상 영역으로 결정할 수 있다. 프로세서(1400)는 예를 들어, 냉장고의 위치를 중심으로 1m 또는 2m 반경 내의 영역을 청소 대상 영역으로 결정할 수 있다.
일 실시예에서, 청소 로봇(2000)은 적어도 하나의 가전기기(5000) 각각의 디바이스 식별 정보를 획득하고, 획득된 디바이스 식별 정보를 전자 장치(1000)에 전송할 수 있다. 프로세서(1400)는 근거리 통신 모듈(1110)을 이용하여 청소 로봇(2000)으로부터 적어도 하나의 가전기기(5000)의 디바이스 식별 정보를 수신하고, 수신된 디바이스 식별 정보에 기초하여 적어도 하나의 가전기기(5000) 각각의 타입(type)을 식별할 수 있다. 프로세서(1400)는 식별된 적어도 하나의 가전기기(5000) 각각의 타입 및 위치를 나타내는 UI(User Interface)를 실내 공간 지도 상에 디스플레이하도록 디스플레이(1710)를 제어할 수 있다.
프로세서(1400)는 디스플레이(1710) 상에 디스플레이된 UI를 통해 적어도 하나의 가전기기(5000) 중 어느 하나의 타입을 선택하는 사용자 입력을 수신할 수 있다. 일 실시예에서, 프로세서(1400)는 사용자 입력 인터페이스(1610)를 통해 사용자의 터치 입력을 수신하거나, 또는 마이크로폰(1620)을 통해 사용자의 발화로 구성되는 음성 입력을 수신할 수도 있다.
프로세서(1400)는 사용자 입력에 기초하여 선택된 타입에 해당되는 가전기기의 위치를 식별하고, 식별된 가전기기의 위치로부터 기 설정된 반경 내의 영역을 청소 대상 영역으로 결정할 수 있다. 예를 들어, 프로세서(1400)는 디스플레이(1710) 상에 디스플레이되는 냉장고 아이콘, TV 아이콘, 에어컨 아이콘 중 냉장고 아이콘을 선택하는 사용자 입력을 수신하고, 사용자 입력에 기초하여 선택된 TV 아이콘에 해당되는 가전기기인 TV의 위치를 식별하며, TV의 위치로부터 1m 또는 2m 반경 내의 영역을 청소 대상 영역으로 결정할 수 있다. 프로세서(1400)가 가전기기의 타입 및 위치 정보에 기초하여 청소 대상 영역을 결정하는 구체적인 실시예에 대해서는 도 5 및 도 6에서 상세하게 설명하기로 한다.
일 실시예에서, 프로세서(1400)는 UWB 통신 모듈(1130)을 통해 청소 로봇(2000)으로부터 청소 로봇(2000)의 위치 정보를 획득할 수 있다. 프로세서(1400)는 지자기 센서(1210)를 이용하여 전자 장치(1000)의 방향에 관한 정보를 획득하고, 자이로 센서(1220) 및 가속도 센서(1230)를 이용하여 전자 장치(1000)의 기울어진 각도에 관한 정보를 획득할 수 있다. 프로세서(1400)는 청소 로봇(2000)의 위치 정보, 전자 장치(1000)의 방향 및 기울어진 각도에 관한 정보에 기초하여 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보를 획득할 수 있다. 여기서, '청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치'는 전자 장치(1000)의 위치를 기준으로 한 청소 로봇(2000)의 위치 정보를 의미한다. 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보는 전자 장치(1000)로부터 청소 로봇(2000) 간의 이격된 거리 정보 및 전자 장치(1000)와 청소 로봇(2000) 사이에서 형성된 각도 정보를 포함할 수 있다.
일 실시예에서, 프로세서(1400)는 카메라(1300)의 FOV(Field Of View) 및 청소 로봇(2000)과의 상대적 위치 정보에 기초하여, 카메라(1300)에 의해 촬영된 영역의 위치를 식별할 수 있다. 프로세서(1400)는 식별된 영역을 청소 대상 영역으로 결정할 수 있다. 프로세서(1400)가 카메라(1300)의 FOV 및 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보에 기초하여 청소 대상 영역을 결정하는 구체적인 실시예에 대해서는 도 8a 내지 도 8c, 도 9에서 상세하게 설명하기로 한다.
일 실시예에서, 프로세서(1400)는 청소 대상 영역에 관한 청소 명령을 포함하는 음성 입력을 수신하고, 수신된 음성 입력으로부터 청소 명령을 식별할 수 있다. 프로세서(1400)는 마이크로폰(1620)을 통해 사용자에 의해 발화된 음성 입력을 수신할 수 있다. 프로세서(1400)는 통신 인터페이스(1100)를 이용하여 음성 입력으로부터 변환된 음성 신호 데이터를 서버로 전송하고, 서버로부터 음성 신호 데이터의 자연어 해석 결과를 수신할 수 있다. 프로세서(1400)는 수신된 음성 신호 데이터의 자연어 해석 결과에 기초하여 청소 명령을 식별할 수 있다.
프로세서(1400)는 청소 명령에 따라 청소 대상 영역에 관한 청소 동작을 수행하도록 청소 로봇(2000)을 제어하는 제어 명령을 생성할 수 있다. 여기서, '제어 명령'은 동작 수행 장치(예를 들어, 청소 로봇(2000))가 동작 정보 내에 포함된 세부 동작들을 수행할 수 있도록, 동작 수행 디바이스가 판독하고 실행할 수 있는 명령어들을 의미한다. 일 실시예에서, 제어 명령은 청소 대상 영역에 관한 위치 정보뿐 아니라, 청소 대상 영역에 관한 청소 명령, 충전 스테이션으로의 복귀 명령, 방향 전환 명령, 또는 특정 동작 모드(예를 들어, 집중 모드, 일반 모드, 반복 모드)로 청소를 수행하는 명령 중 적어도 하나를 더 포함할 수 있다. 프로세서(1400)는 제어 명령을 청소 로봇(2000)에 전송하도록 통신 인터페이스(1100)를 제어할 수 있다. 프로세서(1400)가 사용자로부터 청소 명령에 관한 음성 입력을 수신하고, 음성 입력에 응답하여 청소 로봇(2000)에 청소 동작과 관련된 제어 명령을 전송하는 구체적인 실시예에 대해서는 도 10 및 도 11에서 상세하게 설명하기로 한다.
입력 인터페이스(1600)는 사용자로부터 선택 입력을 수신하도록 구성된다. 일 실시예에서, 입력 인터페이스(1600)는 적어도 하나의 가전기기(5000)의 타입 중 어느 하나를 선택하는 사용자 입력을 수신하거나, 또는 청소 명령을 위하여 청소 대상 영역을 선택하는 사용자 입력을 수신할 수 있다. 입력 인터페이스(1600)는 사용자 입력 인터페이스(1610) 및 마이크로폰(1620)을 포함할 수 있다.
사용자 입력 인터페이스(1610)는 키 패드(key pad), 터치 패드, 트랙볼, 및 조그 스위치 등 하드웨어로 구성될 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에서, 사용자 입력 인터페이스(1610)는 터치 입력을 수신하고, 그래픽 사용자 인터페이스(Graphical User Interface, GUI)를 표시하는 터치스크린으로 구성될 수도 있다.
마이크로폰(1620)은 사용자로부터 음성 입력(예를 들어, 사용자의 발화)을 수신하도록 구성된다. 마이크로폰(1620)은 수신된 음성 입력으로부터 음성 신호를 획득할 수 있다. 일 실시예에서, 마이크로폰(1620)은 수신된 음성 입력을 음향 신호로 변환하고, 음향 신호로부터 노이즈(예를 들어, 비음성 성분)를 제거하여 음성 신호를 획득할 수 있다. 마이크로폰(1620)은 음성 신호를 프로세서(1400)에 제공한다.
출력 인터페이스(1700)는 비디오 신호 또는 오디오 신호를 출력하도록 구성된다. 출력 인터페이스(1700)는 디스플레이(1710) 및 스피커(1720)를 포함할 수 있다.
디스플레이(1710)는 실내 공간을 시각적으로 나타내는 실내 공간 지도를 디스플레이할 수 있다. 일 실시예에서, 디스플레이(1710)는 프로세서(1400)의 제어에 의해, 실내 공간 지도 상에 청소 로봇(2000)의 위치를 나타내는 인디케이터 UI(예를 들어, 아이콘), 가전기기의 타입 및 위치를 나타내는 인디케이터 UI를 디스플레이할 수 있다. 일 실시예에서, 디스플레이(1710)는 프로세서(1400)의 제어에 의해, 실내 공간 지도 상에 청소 대상 영역을 나타내는 인디케이터 UI를 디스플레이할 수 있다.
디스플레이(1710)는 예를 들어, 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함하는 물리적 장치로 구성될 수 있으나, 상기 나열된 예시로 한정되는 것은 아니다. 일 실시예에서, 디스플레이(1710)는 터치 인터페이스를 포함하는 터치스크린으로 구성될 수도 있다. 디스플레이(1710)가 터치스크린으로 구성되는 경우, 디스플레이(1710)는 터치 패널로 구성되는 사용자 입력 인터페이스(1610)와 통합되는 구성 요소일 수 있다.
스피커(1720)는 오디오 신호를 출력할 수 있다.
도 3은 본 개시의 일 실시예에 따른 전자 장치(1000)의 동작 방법을 도시한 흐름도이다.
단계 S310에서, 전자 장치(1000)는 무선 통신 네트워크를 이용하여 위치 추적 태그 장치의 위치, 청소 로봇 주변의 가전기기의 위치, 및 청소 로봇과 전자 장치 간의 상대적 위치 중 적어도 하나를 획득한다. 일 실시예에서, 전자 장치(1000)는 위치 추적 태그 장치의 위치 정보를 위치 추적 태그 장치로부터 직접 수신하거나, 또는 서버로부터 수신할 수 있다. 예를 들어, 전자 장치(1000)는 BLE 통신(Bluetooth Low Energy) 방식을 이용하여 위치 추적 태그 장치로부터 직접 위치 추적 태그 장치의 위치 정보를 수신할 수 있다.
일 실시예에서, 전자 장치(1000)는 근거리 무선 통신 네트워크를 통해, 청소 로봇(2000, 도 1 참조)에 의해 획득된 적어도 하나의 가전기기에 관한 위치 정보를 획득할 수 있다. 전자 장치(1000)는 예를 들어, 와이파이(WiFi), WFD(Wi-Fi Direct), 블루투스, BLE, NFC(Near Field Communication unit), 지그비(Zigbee), 또는 마이크로 웨이브(μWave) 통신 중 적어도 하나의 근거리 무선 통신 네트워크를 통해 청소 로봇(2000)으로부터 적어도 하나의 가전기기 각각의 위치 정보를 수신할 수 있다.
일 실시예에서, 전자 장치(1000)는 UWB(Ultra Wide Band) 통신 네트워크를 이용하여, 청소 로봇(2000)으로부터 청소 로봇(2000)의 위치 정보를 획득하고, 획득된 청소 로봇(2000)의 위치 정보, 전자 장치(1000)의 방향 및 기울어진 각도 정보에 기초하여 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)는 지자기 센서(1210, 도 2 참조)를 이용하여 전자 장치(1000)의 방위 정보를 획득하고, 자이로 센서(1220, 도 2 참조) 및 가속도 센서(1230, 도 2 참조)를 이용하여 전자 장치(1000)의 기울어진 각도 또는 회전각 정보를 획득할 수 있다.
단계 S320에서, 전자 장치(1000)는 획득된 적어도 하나의 위치에 기초하여 청소 대상 영역을 결정한다. 일 실시예에서, 전자 장치(1000)는 단계 S310에서 획득된 위치 중 어느 하나의 위치로부터 기 설정된 범위 내의 영역을 청소 대상 영역으로 결정할 수 있다.
일 실시예에서, 전자 장치(1000)는 위치 추적 태그 장치의 위치로부터 기 설정된 반경 내의 영역을 청소 대상 영역으로 결정할 수 있다. 예를 들어, 전자 장치(1000)는 위치 추적 태그 장치의 위치를 중심으로 1m 또는 2m 거리 내의 영역을 청소 대상 영역으로 결정할 수 있다.
일 실시예에서, 전자 장치(1000)는 적어도 하나의 가전기기의 위치를 중심으로 기 설정된 범위 내의 영역을 청소 대상 영역으로 결정할 수 있다. 일 실시예에서, 전자 장치(1000)는 청소 로봇(2000)으로부터 적어도 하나의 가전기기의 위치 정보 뿐만 아니라, 적어도 하나의 가전기기의 디바이스 식별 정보를 획득할 수도 있다. 전자 장치(1000)는 디바이스 식별 정보로부터 적어도 하나의 가전기기의 타입(type)을 식별할 수 있다. 전자 장치(1000)는 적어도 하나의 타입 중 어느 하나의 타입을 선택하는 사용자 입력을 수신하고, 사용자 입력에 의해 선택된 타입에 해당되는 가전기기의 위치를 식별하며, 식별된 위치를 중심으로 기 설정된 반경 내의 영역을 청소 대상 영역으로 결정할 수 있다.
일 실시예에서, 전자 장치(1000)는 카메라(1300, 도 2 참조)를 이용하여 청소하고자 하는 영역을 촬영하고, 카메라(1300)의 FOV(Field Of View) 및 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보에 기초하여 카메라(1300)에 의해 촬영된 영역의 위치를 식별할 수 있다. 전자 장치(1000)는 식별된 영역을 청소 대상 영역으로 결정할 수 있다.
단계 S330에서, 전자 장치(1000)는 결정된 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송한다. 전자 장치(1000)는 예를 들어, 와이파이(WiFi), WFD(Wi-Fi Direct), 블루투스, BLE, NFC(Near Field Communication unit), 지그비(Zigbee), 또는 마이크로 웨이브(μWave) 통신 중 적어도 하나의 근거리 무선 통신 네트워크를 이용하여 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송할 수 있다.
도 4는 본 개시의 일 실시예에 따른 전자 장치(1000)가 위치 추적 태그 장치의 위치에 기초하여 청소 로봇의 청소 대상 영역을 결정하는 방법을 도시한 도면이다.
도 4를 참조하면, 전자 장치(1000)는 위치 추적 태그 장치(4000)의 위치에 기초하여 청소 대상 영역(430)을 결정할 수 있다. '위치 추적 태그 장치(4000)'는 휴대용 트래커(tracker)로서, 위치 좌표 정보를 전자 장치(1000)에 제공하도록 구성되는 장치이다. 위치 추적 태그 장치(4000)는 예를 들어, 갤럭시 스마트태그TM일 수 있으나, 이에 한정되지 않는다.
단계 S410에서, 전자 장치(1000)는 위치 추적 태그 장치(4000)로부터, 위치 추적 태그 장치(4000)의 위치 정보를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)의 프로세서(1400, 도 2 참조)는 근거리 통신 모듈(1110, 도 2 참조) 중 BLE(Bluetooth Low Energy) 통신부를 통해 위치 추적 태그 장치(4000)와 연결되고, BLE 통신 방식을 이용하여 위치 추적 태그 장치(4000)의 위치 정보를 수신할 수 있다.
그러나, 이에 한정되는 것은 아니고, 다른 실시예에서, 프로세서(1400)는 근거리 통신 모듈(1110)을 통해 서버로부터 위치 추적 태그 장치(4000)의 위치 좌표 정보를 획득할 수 있다. 이 경우, 위치 추적 태그 장치(4000)는 전자 장치(1000)의 사용자 계정(user account)을 통해 서버에 기 등록되고, 서버를 통해 전자 장치(1000)와 연결된 장치일 수 있다.
일 실시예에서, 프로세서(1400)는 획득된 위치 추적 태그 장치(4000)의 위치 좌표 정보로부터 위치 추적 태그 장치(4000)의 위치를 식별하고, 식별된 위치 추적 태그 장치(4000)의 위치를 중심으로 기 설정된 반경 내의 영역을 청소 대상 영역으로 결정할 수 있다. 프로세서(1400)는 예를 들어, 위치 추적 태그 장치(4000)의 위치를 중심으로 1m 또는 2m 거리 내의 영역을 청소 대상 영역으로 결정할 수 있다. 프로세서(1400)가 위치 추적 태그 장치(4000)의 위치에 기초하여 청소 대상 영역을 결정하는 구체적인 실시예에 대해서는 도 4에서 상세하게 설명하기로 한다.
단계 S420에서, 전자 장치(1000)는 위치 추적 태그 장치(4000)의 위치에 기초하여 청소 대상 영역(430)을 결정할 수 있다. 일 실시예에서, 프로세서(1400)는 근거리 통신 모듈(1110)을 통해 획득된 위치 정보로부터 위치 추적 태그 장치(4000)의 위치를 식별하고, 식별된 위치 추적 태그 장치(4000)의 위치를 중심으로 기 설정된 반경(r) 내의 영역을 청소 대상 영역으로 결정할 수 있다. 프로세서(1400)는 예를 들어, 위치 추적 태그 장치(4000)의 위치를 중심으로 1m 또는 2m의 반경(r) 내의 영역을 청소 대상 영역(430)으로 결정할 수 있다.
일 실시예에서, 전자 장치(1000)는 디스플레이(1710)를 통해 실내 공간 지도(400)를 디스플레이하고, 실내 공간 지도(400) 상에 위치 추적 태그 장치(4000)의 위치를 나타내는 위치 추적 태그 장치 아이콘(410) 및 청소 대상 영역(430)을 나타내는 청소 대상 영역 인디케이터(420)를 디스플레이할 수 있다. 위치 추적 태그 장치 아이콘(410) 및 청소 대상 영역 인디케이터(420)는 그래픽 UI일 수 있다.
도 4에 도시된 실시예에서, 전자 장치(1000)는 위치 추적 태그 장치(4000)의 위치에 기초하여 청소 대상 영역(430)을 자동으로 설정할 수 있다. 따라서, 본 개시의 실시예에 따르면, 사용자가 특정 영역을 청소하고 싶을 때 애플리케이션을 통해 특정 영역을 직접 선택하고, 영역의 크기를 확대 또는 축소하는 등 귀찮고 번거로운 작업을 하지 않더라도, 위치 추적 태그 장치(4000)만 원하는 장소에 갖다 놓으면 전자 장치(1000)가 자동으로 청소 대상 영역(430)을 설정하므로, 사용자 편의성이 향상될 수 있다.
도 5는 본 개시의 일 실시예에 따른 전자 장치(1000)가 적어도 하나의 가전기기(5000)의 위치 정보에 기초하여 청소 로봇의 청소 대상 영역을 결정하는 방법을 도시한 도면이다.
도 5를 참조하면, 전자 장치(1000)는 청소 로봇(2000)으로부터 실내 공간 내에 위치하는 적어도 하나의 가전기기(5000)의 위치 정보 및 디바이스 식별 정보를 획득하고, 획득된 적어도 하나의 가전기기(5000)의 위치 정보 및 디바이스 식별 정보에 기초하여 청소 대상 영역을 결정할 수 있다. 도 5에는 적어도 하나의 가전기기(5000)가 제1 가전기기(5001) 내지 제3 가전기기(5003)를 포함하는 복수로 도시되었지만, 이는 예시적인 것이고, 도시된 바와 같이 한정되는 것은 아니다. 일 실시예에서, 실내 공간 내에는 하나의 가전기기만 위치할 수도 있다.
단계 S510에서, 청소 로봇(2000)은 제1 가전기기(5001)의 위치 및 디바이스 식별 정보를 획득한다. 일 실시예에서, 청소 로봇(2000)은 적어도 하나의 가전기기(5000)와 근거리 무선 통신을 수행하기 위한 근거리 통신 모듈을 포함할 수 있다. 청소 로봇(2000)은 예를 들어, 와이파이(WiFi), WFD(Wi-Fi Direct), 블루투스, BLE, NFC(Near Field Communication unit), 지그비(Zigbee), 또는 마이크로 웨이브(μWave) 통신 중 적어도 하나의 근거리 무선 통신 네트워크를 통해 적어도 하나의 가전기기(5000)로부터 신호를 수신할 수 있다. 청소 로봇(2000)은 근거리 통신 모듈을 이용하여 제1 가전기기(5001)로부터 수신되는 수신 신호의 강도(RSSI: Received Signal Strength Indication)에 기초하여 제1 가전기기(5001)의 위치를 추정할 수 있다. 여기서, 수신되는 신호는 제1 가전기기(5001)의 디바이스 식별 정보를 포함할 수 있다. 디바이스 식별 정보는 예를 들어, 디바이스 id일 수 있다.
청소 로봇(2000)은 실내 공간 내에서 이동하면서 제2 가전기기(5002) 및 제3 가전기기(5003)로부터 수신되는 신호 강도에 기초하여 제2 가전기기(5002) 및 제3 가전기기(5003)의 위치를 추정할 수 있다. 청소 로봇(2000)은 제2 가전기기(5002) 및 제3 가전기기(5003)의 디바이스 식별 정보를 수신할 수 있다.
그러나, 이에 한정되는 것은 아니고, 청소 로봇(2000)은 카메라를 통해 획득되는 영상 정보를 분석함으로써, 적어도 하나의 가전기기(5000)의 위치를 추정할 수도 있다. 이 경우, 청소 로봇(2000)은 객체를 인식하도록 학습된 인공 지능 모델에 영상 정보를 적용하여 적어도 하나의 가전기기(5000) 각각의 위치를 추정할 수 있다. 예를 들어, 청소 로봇(2000)이 카메라를 통해 획득한 거실 이미지를 인공 지능 모델에 입력하는 경우, 청소 로봇(2000)은 인공 지능 모델로부터 거실의 좌측에 제2 가전기기(5002)인 에어컨이 위치하고, 거실 중앙에 제1 가전기기(5001)인 TV가 위치하며, 거실 오른쪽에 제3 가전기기(5003)인 냉장고가 위치한다는 정보를 결과 값으로 수신할 수 있다. 청소 로봇(2000)은 인공 지능 모델의 결과 값에 기초하여 적어도 하나의 가전기기(5000) 각각의 위치가 표시된 실내 공간 지도를 생성할 수 있다.
단계 S520에서, 전자 장치(1000)는 청소 로봇(2000)으로부터 적어도 하나의 가전기기(5000)의 위치 및 디바이스 식별 정보를 수신한다. 일 실시예에서, 전자 장치(1000)의 프로세서(1400, 도 2 참조)는 와이파이(WiFi), WFD(Wi-Fi Direct), 블루투스, BLE, NFC(Near Field Communication unit), 지그비(Zigbee), 또는 마이크로 웨이브(μWave) 통신 중 적어도 하나의 근거리 무선 통신 네트워크를 이용하여, 청소 로봇(2000)으로부터 적어도 하나의 가전기기(5000)의 위치 및 디바이스 식별 정보를 수신할 수 있다.
전자 장치(1000)는 수신된 적어도 하나의 가전기기(5000)의 디바이스 식별 정보에 기초하여, 적어도 하나의 가전기기(5000) 각각의 디바이스 타입(type)을 식별할 수 있다. 일 실시예에서, 전자 장치(1000)의 프로세서(1400)는 메모리(1500, 도 2 참조)에 저장되어 있는 디바이스 식별 정보와 디바이스 타입에 관한 매칭 정보를 이용하여, 적어도 하나의 가전기기(5000)의 디바이스 타입을 식별할 수 있다. 그러나, 이에 한정되는 것은 아니고, 프로세서(1400)는 통신 인터페이스(1100, 도 2 참조)를 이용하여 적어도 하나의 가전기기(5000)의 디바이스 식별 정보를 서버로 전송하고, 서버로부터 디바이스 식별 정보에 따른 디바이스 타입 정보를 수신할 수 있다. 프로세서(1400)는 서버로부터 수신된 디바이스 타입 정보에 기초하여, 적어도 하나의 가전기기(5000) 각각의 디바이스 타입을 식별할 수 있다.
전자 장치(1000)는 실내 공간 지도(500)를 디스플레이하고, 실내 공간 지도(500) 상에 식별된 적어도 하나의 가전기기(5000) 각각의 위치 및 디바이스 타입을 나타내는 UI(511 내지 513)를 디스플레이할 수 있다. 일 실시예에서, 프로세서(1400)는 실내 공간 지도(500) 상에 제1 가전기기(5001)의 위치 및 디바이스 타입을 나타내는 제1 UI(511), 제2 가전기기(5002)의 위치 및 디바이스 타입을 나타내는 제2 UI(512) 및 제3 가전기기(5003)의 위치 및 디바이스 타입을 나타내는 제3 UI(513)를 디스플레이하도록 디스플레이(1710)를 제어할 수 있다. 도 5에 도시된 실시예에서, 제1 UI(511)는 'TV', 제2 UI(512)는 '에어컨', 제3 UI(513)는 '냉장고'라는 문자로 구성된 UI로 도시되었지만, 이에 한정되는 것은 아니다. 다른 실시예에서, 제1 UI(511) 내지 제3 UI(513)는 TV, 에어컨, 및 냉장고를 이미지 또는 아이콘으로 표시하는 그래픽 UI(GUI)로 구현될 수 있다.
전자 장치(1000)는 복수의 UI(511 내지 513) 중 어느 하나를 선택하는 사용자 입력을 수신할 수 있다. 일 실시예에서, 프로세서(1400)는 사용자 입력 인터페이스(1610)를 통해 디스플레이(1710) 상에 디스플레이된 제1 UI(511) 내지 제3 UI(513) 중 어느 하나를 선택하는 사용자의 터치 입력을 수신할 수 있다.
그러나, 이에 한정되는 것은 아니고, 다른 실시예에서 프로세서(1400)는 마이크로폰(1620)을 통해 사용자로부터 가전기기의 디바이스 타입을 발화하는 음성 입력을 수신할 수도 있다. 예를 들어, 마이크로폰(1620)은 사용자로부터 "TV 주위를 청소 영역으로 설정해줘~"라는 음성 입력을 수신할 수 있다.
전자 장치(1000)는 적어도 하나의 가전기기(5000) 중 사용자 입력에 기초하여 선택된 디바이스 타입에 해당되는 가전기기를 식별하고, 식별된 가전기기의 위치로부터 기 설정된 범위 내의 영역을 청소 대상 영역으로 결정할 수 있다. 도 5에 도시된 실시예에서, 사용자 입력을 통해 제1 UI(511)가 선택된 경우, 프로세서(1400)는 선택된 디바이스 타입인 TV를 식별하고, 적어도 하나의 가전기기(5000) 중 TV인 제1 가전기기(5001)를 식별할 수 있다. 프로세서(1400)는 제1 가전기기(5001)로부터 기 설정된 반경 내의 영역을 청소 대상 영역으로 결정할 수 있다. 프로세서(1400)는 예를 들어, 제1 가전기기(5001)인 TV로부터 1m 또는 2m 반경 내의 영역을 청소 대상 영역으로 결정할 수 있다.
단계 S530에서, 전자 장치(1000)는 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송한다. 일 실시예에서, 프로세서(1400)는 근거리 통신 모듈(1110)을 통해 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송할 수 있다.
도 6은 본 개시의 일 실시예에 따른 전자 장치(1000)가 가전기기(5000)의 위치 정보에 기초하여 청소 로봇(2000)의 청소 대상 영역을 결정하는 방법을 도시한 흐름도이다.
단계 S610에서, 청소 로봇(2000)은 가전기기(5000)의 디바이스 식별 정보를 요청하는 신호를 가전기기(5000)에 전송한다. 일 실시예에서, 청소 로봇(2000)은 실내 공간을 이동하면서, 가전기기(5000)에 디바이스 식별 정보를 요청하는 쿼리(query) 신호를 전송할 수 있다. 일 실시예에서, 디바이스 식별 정보는 가전기기(5000)의 디바이스 id에 관한 정보를 포함할 수 있다.
단계 S620에서, 청소 로봇(2000)은 가전기기(5000)로부터 디바이스 식별 정보를 수신한다. 일 실시예에서, 청소 로봇(2000)은 와이파이(WiFi), WFD(Wi-Fi Direct), 블루투스, BLE, NFC(Near Field Communication unit), 지그비(Zigbee), 또는 마이크로 웨이브(μWave) 통신 중 적어도 하나의 근거리 무선 통신 네트워크를 통해 적어도 하나의 가전기기(5000)로부터 신호를 수신하는 근거리 통신 모듈을 포함할 수 있다. 청소 로봇(2000)은 근거리 통신 모듈을 이용하여 가전기기(5000)로부터 디바이스 식별 정보를 수신할 수 있다.
단계 S630에서, 청소 로봇(2000)은 가전기기의 위치 및 디바이스 식별 정보를 획득한다. 일 실시예에서, 청소 로봇(2000)은 실내 공간을 이동하면서 가전기기(5000)로부터 수신되는 수신 신호의 강도(RSSI: Received Signal Strength Indication)에 기초하여 가전기기의 위치를 추정할 수 있다.
그러나, 이에 한정되는 것은 아니고, 다른 실시예에서 청소 로봇(2000)은 카메라를 통해 획득되는 영상 정보를 분석함으로써, 가전기기(5000)의 위치를 추정할 수도 있다. 이 경우, 청소 로봇(2000)은 객체를 인식하도록 학습된 인공 지능 모델에 영상 정보를 적용하여 가전기기(5000) 각각의 위치를 추정할 수 있다.
단계 S640에서, 청소 로봇(2000)은 가전기기(5000)의 위치 정보 및 디바이스 식별 정보를 전자 장치(1000)에 전송한다. 일 실시예에서, 청소 로봇(2000)은 와이파이(WiFi), WFD(Wi-Fi Direct), 블루투스, BLE, NFC(Near Field Communication unit), 지그비(Zigbee), 또는 마이크로 웨이브(μWave) 통신 중 적어도 하나의 근거리 무선 통신 네트워크를 통해 가전기기(5000)의 위치 정보 및 디바이스 식별 정보를 전자 장치(1000)에 전송할 수 있다.
단계 S650에서, 전자 장치(1000)는 디바이스 식별 정보로부터 가전기기(5000)의 타입(type)을 식별한다. 일 실시예에서, 전자 장치(1000)는 메모리(1500, 도 2 참조)에 저장되어 있는 디바이스 식별 정보와 디바이스 타입에 관한 매칭 정보를 이용하여, 가전기기(5000)의 디바이스 타입을 식별할 수 있다. 그러나, 이에 한정되는 것은 아니고, 전자 장치(1000)는 통신 인터페이스(1100, 도 2 참조)를 이용하여 가전기기(5000)의 디바이스 식별 정보를 서버로 전송하고, 서버로부터 디바이스 식별 정보에 따른 디바이스 타입에 관한 정보를 수신할 수 있다. 전자 장치(1000)는 서버로부터 수신된 디바이스 타입 정보에 기초하여, 가전기기(5000)의 디바이스 타입을 식별할 수 있다.
단계 S660에서, 전자 장치(1000)는 가전기기(5000)의 타입 및 위치를 나타내는 UI를 디스플레이한다. 일 실시예에서, 전자 장치(1000)는 실내 공간 지도 상에 가전기기(5000)의 타입 및 위치를 나타내는 UI를 디스플레이할 수 있다. 예를 들어, 전자 장치(1000)는 실내 공간 지도 상에 가전기기(5000)의 타입 및 위치를 시각적으로 표시하는 아이콘을 디스플레이할 수 있다. 그러나, 이에 한정되는 것은 아니고, 다를 예를 들어 전자 장치(1000)는 가전기기(5000)의 타입을 문자로 표시하는 UI를 디스플레이할 수도 있다.
단계 S670에서, 전자 장치(1000)는 디스플레이된 UI 중 가전기기의 타입을 선택하는 사용자의 입력을 수신한다. 일 실시예에서, 전자 장치(1000)는 UI가 나타내는 타입 중 어느 하나의 타입을 선택하는 사용자의 터치 입력을 수신할 수 있다.
다른 실시예에서 프로세서(1400)는 마이크로폰(1620)을 통해 사용자로부터 가전기기의 디바이스 타입을 발화하는 음성 입력을 수신할 수 있다. 이 경우, 프로세서(1400)는 사용자로부터 디바이스 타입뿐 아니라, 어느 위치에 위치하는 가전기기인지에 관한 음성 입력을 수신할 수도 있다. 예를 들어, 프로세서(1400)는 마이크로폰(1620)을 통해, "안방 TV 주변 청소해줘~"라는 음성 입력을 수신할 수 있다.
단계 S680에서, 전자 장치(1000)는 사용자 입력에 기초하여 선택된 타입에 해당되는 가전기기(5000)의 위치로부터 기 설정된 반경 내의 영역을 청소 대상 영역으로 결정한다.
단계 S690에서, 전자 장치(1000)는 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송한다.
도 5 및 도 6는 전자 장치(1000)가 외부 서버의 개입없이, 와이파이(WiFi), WFD(Wi-Fi Direct), 블루투스, BLE, NFC(Near Field Communication unit), 지그비(Zigbee), 또는 마이크로 웨이브(μWave) 통신 중 적어도 하나의 근거리 무선 통신 네트워크를 이용하여 청소 로봇(2000)과 데이터를 송수신하는 엣지 컴퓨팅(edge computing)을 통해 청소 대상 영역을 결정하는 실시예를 도시하였다. 전자 장치(1000)는 외부 서버의 개입이 없이, 엣지 컴퓨팅을 통해 청소 대상 영역을 결정하는 바, 네트워크 비용의 발생을 방지할 수 있고, 지연 시간(latency)을 줄일 수 있는 기술적 효과를 제공한다.
도 7은 본 개시의 일 실시예에 따른 전자 장치(1000)가 실내 공간의 공기 질에 관한 정보에 기초하여 집중 청소 대상 영역을 결정하는 방법을 도시한 도면이다.
도 7을 참조하면, 공기 질 측정 장치(700) 또는 공기 청정기(702)는 실내 공기 질을 측정하고, 실내 공기 질에 관한 정보를 청소 로봇(2000)에 전송할 수 있다.
공기 질 측정 장치(700)는 실내 공기의 질을 감지하여 공기 질 상태 정보를 제공하는 장치이다. 일 실시예에서, 공기 질 측정 장치(700)는 PM10 (Particular Matter 10), PM2.5 (Particular Matter 2.5), PM1.0(Particular Matter 1.0), 또는 TVOC(Total Volatile Organic Compounds) 중 적어도 하나를 포함하는 공기 오염 지수를 측정할 수 있다. 일 실시예에서, 공기 질 측정 장치(700)는 온도센서, 습도센서, 미세먼지 센서, TVOC 센서, CO2 센서, 및 라돈 센서 중 적어도 하나의 센서를 포함할 수 있다. 공기 질 측정 장치(700)는 예를 들어, 삼성 에어모니터TM일 수 있으나, 이에 한정되는 것은 아니다.
단계 S710에서, 청소 로봇(2000)은 공기 질 측정 장치(700) 또는 공기 청정기(702)로부터 실내 공기 질에 관한 정보를 수신한다. 청소 로봇(2000)은 주행 경로에 따라 실내 공간을 이동하면서, 실내 공간의 영역 별 공기 질 정보를 수신할 수 있다. 실내 공기 질에 관한 정보는, 실내 공간의 각 영역 별 PM10, PM2.5, PM1.0 및 TVOC 를 포함하는 공기 오염 지수 중 적어도 하나의 지수에 관한 정보를 포함할 수 있다.
일 실시예에서, 청소 로봇(2000)은 근거리 통신 모듈을 포함하고, 와이파이(WiFi), WFD(Wi-Fi Direct), 블루투스, BLE, NFC(Near Field Communication unit), 지그비(Zigbee), 또는 마이크로 웨이브(μWave) 통신 중 적어도 하나의 근거리 무선 통신 네트워크를 통해 공기 질 측정 장치(700) 또는 공기 청정기(702)로부터 실내 공기 질에 관한 정보를 수신할 수 있다.
단계 S720에서, 청소 로봇(2000)은 실내 공기 질에 관한 정보를 전자 장치(1000)에 전송한다. 일 실시예에서, 청소 로봇(2000)은 근거리 통신 모듈을 이용하여, 공기 질 측정 장치(700) 또는 공기 청정기(702)로부터 수신된 실내 공기 질에 관한 정보를 전자 장치(1000)에 전송할 수 있다.
단계 S730에서, 전자 장치(1000)는 공기 오염 정도가 기 설정된 임계치를 초과하는 영역을 집중 청소 대상 영역(710)으로 결정한다. 일 실시예에서, 전자 장치(1000)의 프로세서(1400, 도 2 참조)는 근거리 통신 모듈(1110, 도 2 참조)를 이용하여 청소 로봇(2000)으로부터 실내 공간의 영역 별 공기 질에 관한 정보를 수신하고, 수신된 영역 별 공기 질에 관한 정보로부터 공기 오염 정도를 식별할 수 있다. 프로세서(1400)는 공기 오염 정도를 기 설정된 임계치와 비교하고, 임계치를 초과하는 영역을 식별할 수 있다. 예를 들어, 프로세서(1400)는 PM2.5 값이 PM2.5 에 관한 임계치인 50을 초과하는 경우, 해당 영역을 공기 오염 정도가 높은 영역으로 식별할 수 있다.
프로세서(1400)는 식별된 영역을 집중 청소 대상 영역(710)으로 결정할 수 있다. 일 실시예에서, 집중 청소 대상 영역(710)은 미리 결정된 청소 대상 영역 중 일부 영역일 수 있다. 그러나, 이에 한정되는 것은 아니고, 프로세서(1400)는 공기 오염 정도가 높은 영역으로 식별된 영역을 청소 대상 영역으로 결정할 수도 있다.
단계 S740에서, 전자 장치(1000)는 집중 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송한다. 일 실시예에서, 프로세서(1400)는 근거리 통신 모듈(1110, 도 2 참조)를 이용하여 집중 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송할 수 있다.
도 8a는 본 개시의 일 실시예에 따른 전자 장치(1000)가 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보를 획득하는 방법을 설명하기 위한 도면이다.
도 8a를 참조하면, 청소 로봇(2000)은 실내 공간 내에서 위치 정보를 획득하고, 위치 정보를 전자 장치(1000)에 전송할 수 있다. 일 실시예에서, 청소 로봇(2000)은 초음파 센서, 적외선 센서, 또는 라이다 센서(LiDAR, Light Detection And Ranging sensor) 중 적어도 하나의 센서를 포함하고, 적어도 하나의 센서를 이용하여 실내 공간을 탐색하고, 실내 공간 지도를 생성할 수 있다. 실내 공간은 청소 로봇(2000)이 실질적으로 자유롭게 이동할 수 있는 영역을 의미한다. '실내 공간 지도'는 예를 들어, 청소 중 주행에 사용되는 내비게이션 맵(Navigation map), 위치 인식에 사용되는 SLAM(Simultaneous localization and mapping) 맵, 및 인식된 장애물에 관한 정보가 기록되는 장애물 인식 맵 중 적어도 하나에 관한 데이터를 포함할 수 있다. 일 실시예에서, 청소 로봇(2000)은 SLAM(Simultaneous Localization and Mapping) 기술을 이용하여 실내 공간 지도 중 청소 로봇(2000)의 위치를 식별할 수 있다. 청소 로봇(2000)은 식별된 위치에 관한 정보를 전자 장치(1000)에 전송할 수 있다.
전자 장치(1000)는 청소 로봇(2000)으로부터 청소 로봇(2000)의 위치 정보를 수신할 수 있다. 전자 장치(1000)의 프로세서(1400, 도 2 참조)는 UWB 통신 모듈(1120, 도 2 참조)을 이용하여 청소 로봇(2000)으로부터 위치 정보를 수신할 수 있다. 프로세서(1400)는 UWB 통신 모듈(1120)을 이용하여 청소 로봇(2000)으로부터 실내 공간 지도 데이터를 수신할 수도 있다.
전자 장치(1000)는 청소 로봇(2000)으로부터 수신된 청소 로봇(2000)의 위치 정보 및 실내 공간 지도 데이터를 이용하여, 디스플레이(1710) 상에 실내 공간 지도(800), 전자 장치(1000)의 위치를 나타내는 아이콘(810), 및 청소 로봇(2000)의 위치를 나타내는 아이콘(820)을 디스플레이할 수 있다.
전자 장치(1000)는, 전자 장치(1000)의 위치, 높이, 방향, 및 기울어진 각도 중 적어도 하나에 기초하여 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보를 획득할 수 있다. '청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치'는 전자 장치(1000)의 위치를 기준으로 한 청소 로봇(2000)의 위치 정보를 의미한다. 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보는 전자 장치(1000)로부터 청소 로봇(2000) 간의 이격된 거리 정보 및 전자 장치(1000)와 청소 로봇(2000) 사이에서 형성된 각도 정보를 포함할 수 있다.
일 실시예에서, 프로세서(1400)는 지자기 센서(1210, 도 2 참조)를 이용하여 전자 장치(1000)의 방향에 관한 정보를 획득하고, 자이로 센서(1220) 및 가속도 센서(1230)를 이용하여 전자 장치(1000)의 기울어진 각도에 관한 정보를 획득할 수 있다. 프로세서(1400)는 청소 로봇(2000)의 위치 정보, 전자 장치(1000)의 방향 및 기울어진 각도에 관한 정보에 기초하여 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보를 획득할 수 있다.
일 실시예에서, 프로세서(1400)는 전자 장치(1000)의 위치를 나타내는 UI(810)를 실내 공간 지도(800) 상에 디스플레이하도록 디스플레이(1710)를 제어할 수 있다.
도 8b는 본 개시의 일 실시예에 따른 전자 장치(1000)가 청소하고자 하는 영역을 촬영하고, 촬영된 영역을 디스플레이하는 방법을 설명하기 위한 도면이다.
도 8b를 참조하면, 전자 장치(1000)는 카메라(1300, 도 2 참조)를 포함하고, 카메라(1300)를 이용하여 실내 공간 중 청소하고자 하는 영역을 촬영함으로써, 이미지를 획득할 수 있다. 카메라(1300)를 이용하여 촬영된 영역의 위치는 전자 장치(1000)가 향하는 방향, 기울어진 각도, 및 카메라(1300)의 FOV(Field Of View)에 따라 다르게 결정될 수 있다. '카메라(1300)의 FOV'는 카메라(1300)의 렌즈를 통해 관측하고, 촬영할 수 있는 영역의 크기를 나타내는 각(angle)을 의미한다. 카메라(1300)의 FOV는 카메라(1300)의 렌즈가 배치되는 위치 및 방향, 전자 장치(1000)의 방향 및 기울어진 각도에 따라 결정될 수 있다.
도 8c는 본 개시의 일 실시예에 따른 전자 장치(1000)가 청소 로봇(2000)과의 상대적 위치 정보 및 카메라의 FOV(Field Of View)에 기초하여 청소 대상 영역을 결정하는 방법을 설명하기 위한 도면이다.
도 8c를 참조하면, 전자 장치(1000)는 청소 로봇(2000)과의 상대적 위치 및 카메라(1300, 도 8b 참조)의 FOV에 기초하여, 청소 대상 영역(830)을 결정할 수 있다.
일 실시예에서, 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치는, 전자 장치(1000)의 위치를 기준으로 한 청소 로봇(2000)의 위치 정보를 의미한다. 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보는 전자 장치(1000)로부터 청소 로봇(2000) 간의 이격된 거리(d), 및 전자 장치(1000)와 청소 로봇(2000) 사이에서 형성된 각도(α)에 관한 정보를 포함할 수 있다.
도 8c에 도시된 실시예에서, 전자 장치(1000)는 X축 방향에 대하여 α 각도만큼 기울어져 있고, 바닥면으로부터 Z축 방향으로 h 높이만큼 이격되고, 청소 로봇(2000)을 향하는 방향에 대한 반대 방향으로 놓여 있을 수 있다. 전자 장치(1000)의 프로세서(1400, 도 2 참조)는 지자기 센서(1210, 도 2 참조)를 이용하여 전자 장치(1000)의 방위를 측정함으로써, 전자 장치(1000)가 높인 방향(ori)에 관한 정보를 획득할 수 있다. 프로세서(1400)는 자이로 센서(1220, 도 2 참조) 및 가속도 센서(1230, 도 2 참조)를 이용하여 전자 장치(1000)가 기울어진 각도를 측정함으로써, X축에 대하여 기울어진 각도(α) 값을 획득할 수 있다.
프로세서(1400)는 청소 로봇(2000)와 전자 장치(1000) 간의 상대적 위치, 전자 장치(1000)의 방향(ori) 정보, 기울어진 각도(α) 정보, 및 카메라(1300)의 FOV에 기초하여, 카메라(1300)에 의해 촬영된 영역의 위치를 식별할 수 있다. 도 8c에 도시된 실시예에서, 촬영 영역은 X축과 90˚-α 크기의 각을 형성하고, 바닥면으로부터 h 높이만큼 이격되므로, 프로세서(1400)는 삼각 함수 계산법을 이용하여 촬영 영역의 위치를 추정할 수 있다. 촬영 영역의 위치는 카메라(1300)의 렌즈를 통해 촬영할 수 있는 FOV에 의해 달라질 수 있으므로, 프로세서(1400)는 삼각 함수를 통해 추정된 영역을 FOV 정보를 이용하여 보정함으로써, 촬영 영역의 위치를 식별할 수 있다.
프로세서(1400)는 최종 식별된 영역을 청소 대상 영역으로 결정할 수 있다. 프로세서(1400)는 근거리 통신 모듈(1110, 도 2 참조)를 이용하여 청소 대상 영역에 관한 정보를 청소 로봇(2000)에 전송할 수 있다.
도 9는 본 개시의 일 실시예에 따른 전자 장치(1000)가 청소 로봇(2000)과의 상대적 위치 관계 및 카메라의 FOV에 기초하여 청소 대상 영역을 결정하는 방법을 도시한 흐름도이다.
도 9에 도시된 단계들 중 S910 내지 S930은 도 3에 도시된 단계 S310을 구체화한 단계들이다. 도 9에 도시된 단계들 중 S940 내지 S960은 도 3에 도시된 단계 S320을 구체화한 단계들이다. 단계 S960이 수행된 이후에는, 도 3에 도시된 단계 S330이 수행될 수 있다.
단계 S910에서, 전자 장치(1000)는 UWB(Ultra Wide Band) 통신 네트워크를 이용하여, 청소 로봇(2000)의 위치 정보를 수신한다. 일 실시예에서, 전자 장치(1000)는 UWB 통신 모듈(1120, 도 2 참조)를 이용하여, 청소 로봇(2000)으로부터 위치 정보를 수신할 수 있다. UWB(Ultra Wide Band) 통신 모듈(1120)은 3.1GHz 내지 10.6GHz 사이의 초 광대역 주파수 대역을 이용하여 데이터 송수신을 수행하는 통신 모듈이다. UWB 통신 모듈(1120)은 최대 500Mbps 속도로 데이터를 송수신할 수 있다.
단계 S920에서 전자 장치(1000)는, 전자 장치(1000)의 방향 및 기울어진 각도를 측정한다. 일 실시예에서, 전자 장치(1000)는 지자기 센서(1210, 도 2 참조)를 이용하여 전자 장치(1000)의 방위를 측정하고, 측정된 방위에 기초하여 전자 장치(1000)가 향하는 방향 정보를 획득할 수 있다. 일 실시예에서, 전자 장치(1000)는 자이로 센서(1220, 도 2 참조) 및 가속도 센서(1230, 도 2 참조)를 이용하여 전자 장치(1000)의 기울어진 각도에 관한 정보를 획득할 수 있다.
단계 S930에서, 전자 장치(1000)는 청소 로봇(2000)의 위치 및 전자 장치(1000)의 방향과 기울어진 각도에 기초하여, 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보를 획득한다. '청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치'는 전자 장치(1000)의 위치를 기준으로 한 청소 로봇(2000)의 위치 정보를 의미한다. 청소 로봇(2000)과 전자 장치(1000) 간의 상대적 위치 정보는 전자 장치(1000)로부터 청소 로봇(2000) 간의 이격된 거리 정보 및 전자 장치(1000)와 청소 로봇(2000) 사이에서 형성된 각도 정보를 포함할 수 있다.
단계 S940에서, 전자 장치(1000)는 카메라(1300, 도 2 참조)를 이용하여, 청소하고자 하는 영역을 촬영한다.
단계 S950에서, 전자 장치(1000)는 카메라(1300)의 FOV(Field Of View) 및 전자 장치(1000)와 청소 로봇(2000) 간의 상대적 위치 정보에 기초하여, 촬영 영역을 식별한다. 일 실시예에서, 전자 장치(1000)는 청소 로봇(2000)과의 이격된 거리, 청소 로봇(2000)과 전자 장치(1000) 사이에서 형성된 각도, 및 전자 장치(1000)와 바닥면 사이의 이격된 높이 값 정보를 이용하여, 삼각 함수 알고리즘을 통해 촬영 영역의 위치를 추정할 수 있다. 일 실시예에서, 전자 장치(1000)는 추정된 촬영 영역의 위치를 카메라(1300)의 FOV 정보를 이용하여 보정함으로써, 촬영 영역의 위치를 식별할 수 있다.
단계 S960에서, 전자 장치(1000)는 식별된 영역을 청소 대상 영역으로 결정한다.
도 8a 내지 도 8c, 및 도 9에 도시된 실시예에서, 전자 장치(1000)는 UWB 통신 네트워크를 통해 청소 로봇(2000)의 위치 정보를 수신하고, 전자 장치(1000)의 방향, 기울어진 각도, 및 카메라(1300)의 FOV에 기초하여 카메라(1300)를 통해 촬영된 영역을 청소 대상 영역으로 자동으로 결정할 수 있다. 본 개시의 일 실시예에 따른 전자 장치(1000)는 UWB 통신 네트워크를 이용함으로써, 청소 로봇(2000)과 전자 장치(1000)의 정확한 위치 정보를 획득할 수 있다. 또한, 본 개시의 일 실시예에 따른 전자 장치(1000)는 사용자가 특정 영역을 청소하고 싶을 때 애플리케이션을 통해 특정 영역을 직접 선택하고, 영역의 크기를 확대 또는 축소하는 등 귀찮고 번거로운 작업을 하지 않더라도, 카메라(1300)를 통해 촬영된 영역을 청소 대상 영역으로 자동으로 결정하므로, 사용자 편의성을 향상시킬 수 있다.
도 10은 본 개시의 일 실시예에 따른 전자 장치(1000)가 사용자로부터 수신된 음성 입력에 기초하여 청소 대상 영역에 관한 청소 동작을 수행하도록 청소 로봇(2000)을 제어하는 방법을 설명하기 위한 도면이다.
도 10을 참조하면, 단계 S1010에서 전자 장치(1000)는 마이크로폰(1620, 도 2 참조)을 통해 사용자로부터 청소 대상 영역에 관한 청소 명령을 포함하는 음성 입력을 수신할 수 있다. '음성 입력'은 사용자에 의해 발화된 음성일 수 있다. 일 실시예에서, 음성 입력은 웨이크 업(wake up) 음성을 포함할 수 있다. '웨이크 업 음성'은 전자 장치(1000)를 대기 모드에서 음성 인식 기능 모드로 전환하기 위한 신호로서, 예를 들어, '하이 빅스비' 또는 '오케이 구글' 등을 포함할 수 있다.
음성 입력은 청소 대상 영역을 특정하기 위한 정보를 포함할 수 있다. 일 실시예에서, 음성 입력은 위치 추적 태그 장치(4000, 도 4 참조) 또는 청소 로봇(2000) 주변에 위치하는 가전기기의 타입을 포함할 수 있다. 예를 들어, 음성 입력은 "스마트 태그 주변 청소해줘~" 또는 "TV 주변 청소해 줘~"와 같이 위치 추적 태그 장치(4000) 또는 가전기기의 타입에 관한 정보를 포함할 수 있다. 도 10에 도시된 실시예에서, 전자 장치(1000)는 마이크로폰(1620)을 통해 "하이 빅스비! 파워봇으로 TV 주변 청소해줘~"라는 음성 입력을 수신할 수 있다.
일 실시예에서, 마이크로폰(1620)은 수신된 음성 입력을 음향 신호로 변환하고, 음향 신호로부터 노이즈(예를 들어, 비음성 성분)를 제거하여 음성 신호를 획득할 수 있다.
단계 S1020에서, 전자 장치(1000)는 음성 입력의 데이터를 서버(3000)에 전송할 수 있다. 일 실시예에서, 전자 장치(1000)의 프로세서(1400, 도 2 참조)는 마이크로폰(1620)으로부터 획득한 음성 신호를 서버(3000)에 전송할 수 있다. 일 실시예에서, 프로세서(1400)는 통신 인터페이스(1100, 도 2 참조)를 이용하여 음성 신호를 서버(3000)에 전송할 수 있다.
서버(3000)는 음성 신호를 해석함으로써, 음성 신호에 포함되는 사용자의 의도(intent) 및 파라미터(parameter)를 인식할 수 있는 자연어 처리 능력을 가질 수 있다. 일 실시예에서, 서버(3000)는 전자 장치(1000)로부터 수신된 음성 신호를 컴퓨터로 판독할 수 있는 텍스트로 변환하고, 자연어 이해 모델(Natural Language Understanding model)을 이용하여 텍스트를 해석함으로써, 인텐트 및 파라미터 정보를 획득할 수 있다. 여기서, '인텐트'는 사용자의 발화 의도를 나타내는 정보로서, 사용자가 요청한 동작 수행 디바이스의 동작을 나타내는 정보일 수 있다. 예를 들어, "파워봇으로 TV 주변 청소해 줘~"라는 텍스트에서, 인텐트는 '청소 명령'일 수 있다. '파라미터'는 인텐트와 관련된 동작 수행 디바이스의 세부 동작들을 결정하기 위한 변수(variable) 정보를 의미한다. 예를 들어, "파워봇으로 TV 주변 청소해 줘~"라는 텍스트에서, 파라미터는 '파워봇'이라는 동작 수행 디바이스 명칭, 'TV 주변'이라는 청소 대상 영역일 수 있다.
단계 S1030에서, 서버(3000)는 음성 입력에 대한 자연어 해석 결과를 전자 ㅈ장치(1000)에 전송한다. 자연어 해석 결과는, 음성 신호로부터 변환된 텍스트를 해석하여 획득한 인텐트 및 파라미터 정보를 포함할 수 있다. 도 10에 도시된 실시예에서, 서버(3000)는 '청소 명령'의 인텐트 및 '파워 봇'과 'TV 주변'의 파라미터 정보를 전자 장치(1000)에 전송할 수 있다.
단계 S1040에서, 전자 장치(1000)는 수신된 자연어 해석 결과로부터 청소 명령 및 청소 대상 영역에 관한 정보를 획득한다. 전자 장치(1000)의 프로세서(1400)는 인텐트로부터 청소 명령을, 파라미터로부터 청소 대상 영역에 관한 정보를 식별할 수 있다. 예를 들어, 프로세서(1400)는 '파워 봇'의 파라미터로부터 청소 로봇(2000)을 식별하고, 청소 로봇(2000)을 동작 수행 디바이스로 결정할 수 있다.
일 실시예에서, 프로세서(1400)는 파라미터 정보로부터, 청소 대상 영역을 특정하기 위한 위치 추적 태그 장치(4000) 또는 가전기기의 타입에 관한 정보를 획득할 수 있다. 예를 들어, 사용자로부터 수신된 음성 입력이 "스마트 태그 주변 청소해줘~"인 경우, 프로세서(1400)는 서버(3000)로부터 수신된 파라미터 정보로부터 위치 추적 태그 장치를 청소 대상 영역을 결정하기 위한 정보로 획득할 수 있다. 다른 예를 들어, 음성 입력이 "TV 주변 청소해 줘~"인 경우, 프로세서(1400)는 서버(3000)로부터 수신된 파라미터 정보로부터 가전기기의 타입(예를 들어, TV)을 청소 대상 영역을 결정하기 위한 정보로서 획득할 수 있다.
전자 장치(1000)는 동작 수행 디바이스인 청소 로봇(2000)을 제어하기 위한 제어 명령을 생성할 수 있다. '제어 명령'은 동작 수행 장치(도 10에 도시된 실시예에서, 청소 로봇(2000))가 동작 정보 내에 포함된 세부 동작들을 수행할 수 있도록, 동작 수행 디바이스가 판독하고 실행할 수 있는 명령어들을 의미한다. 일 실시예에서, 제어 명령은 청소 대상 영역에 관한 위치 정보 뿐만 아니라, 청소 대상 영역에 관한 청소 명령, 충전 스테이션으로의 복귀 명령, 방향 전환 명령, 또는 특정 동작 모드(예를 들어, 집중 모드, 일반 모드, 반복 모드)로 청소를 수행하는 명령 중 적어도 하나를 더 포함할 수 있다.
단계 S1050에서, 전자 장치(1000)는 제어 명령을 청소 로봇(2000)에 전송한다. 일 실시예에서, 전자 장치(1000)는 와이파이(WiFi), WFD(Wi-Fi Direct), 블루투스, BLE, NFC(Near Field Communication unit), 지그비(Zigbee), 또는 마이크로 웨이브(μWave) 통신 중 적어도 하나의 근거리 무선 통신 네트워크를 통해 청소 로봇(2000)에 제어 명령을 전송할 수 있다.
단계 S1060에서, 청소 로봇(2000)은 제어 명령에 따라 청소 동작을 수행한다. 도 10에 도시된 실시예에서, 제어 명령은 'TV 주변'이라는 청소 대상 영역에 관한 청소 동작을 수행하기 위한 세부 정보들을 포함할 수 있다. 청소 로봇(2000)은 제어 명령에 따라 TV로부터 기 설정된 범위 내의 영역에 대한 청소 경로를 계획하고, 계획된 청소 경로를 따라서 청소 동작을 완료할 수 있다. 청소 로봇(2000)이 청소하는 중에 TV 근처에서 장애물을 인식한 경우, 청소 로봇(2000)은 계획된 청소 경로를 변경할 수도 있고, TV 근처의 영역에 대한 청소를 중단할 수도 있다. 예를 들어, 장애물이 크지 않은 경우, 청소 로봇(2000)은 장애물을 피해서 청소하는 것으로 청소 경로를 변경할 수 있지만, 장애물이 커서 더 이상 청소를 진행할 수 없는 경우, 청소 로봇(2000)은 청소를 중단하고 충전 스테이션으로 복귀할 수 있다.
도 11은 본 개시의 일 실시예에 따른 전자 장치(1000)가 청소 대상 영역에 관한 청소 동작을 수행하도록 청소 로봇(2000)을 제어하는 방법을 도시한 흐름도이다.
도 11에 도시된 단계들은 도 3에 도시된 단계 S330이 수행된 이후에 수행된다. 도 11에 도시된 단계 S1110은 도 3의 단계 S330이 수행된 이후에 수행될 수 있다.
단계 S1110에서, 전자 장치(1000)는 사용자로부터 음성 입력을 수신한다. 일 실시예에서, 전자 장치(1000)는 마이크로폰(1620, 도 2 참조)을 통해 사용자로부터 청소 대상 영역에 관한 청소 명령을 포함하는 음성 입력을 수신할 수 있다. '음성 입력'은 사용자에 의해 발화된 음성일 수 있다.
단계 S1120에서, 전자 장치(1000)는 음성 신호 데이터를 서버(3000)에 전송한다. 일 실시예에서, 전자 장치(1000)의 마이크로폰(1620)은 수신된 음성 입력을 음향 신호로 변환하고, 음향 신호로부터 노이즈(예를 들어, 비음성 성분)를 제거하여 음성 신호를 획득할 수 있다. 전자 장치(1000)는 음성 신호의 데이터를 서버(3000)에 전송할 수 있다.
단계 S1130에서, 서버(3000)는 음성 신호 데이터를 텍스트로 변환한다. 일 실시예에서, 서버(3000)는 ASR 모델(Automatic Speech Recognition model)을 이용하여 ASR을 수행함으로써, 음성 신호를 컴퓨터로 판독 가능한 텍스트로 변환할 수 있다.
도 11에는 전자 장치(1000)가 음성 신호 데이터를 서버(3000)에 전송하고, 서버(3000)가 ASR을 수행하는 것으로 도시되었지만, 본 개시의 실시예가 도 11에 도시된 것으로 한정되는 것은 아니다. 다른 실시예에서, 전자 장치(1000)는 ASR 모델을 포함하고, 전자 장치(1000)의 프로세서(1400, 도 2 참조)는 ASR 모델을 이용하여 ASR을 수행함으로써 음성 신호를 텍스트로 변환할 수 있다. 프로세서(1400)는 통신 인터페이스(1100, 도 2 참조)를 통해 텍스트를 서버(3000)에 전송할 수 있다.
단계 S1140에서, 서버(3000)는 자연어 이해 모델(Natural Language Understanding model)을 이용하여 텍스트를 해석함으로써, 사용자의 의도(intent) 및 파라미터(parameter)를 인식한다. 일 실시예에서, 인텐트(intent)는 '청소 명령'이고, 파라미터는 '청소 대상 영역을 특정하기 위한 정보'일 수 있다. 파라미터 정보는 예를 들어, 위치 추적 태그 장치 또는 청소 로봇(2000) 주변의 가전기기의 타입에 관한 정보를 포함할 수 있다. 인텐트 및 파라미터에 관한 설명은 도 10에서 설명한 것과 동일하므로, 중복되는 설명은 생략한다.
단계 S1150에서, 서버(3000)는 인텐트 및 파라미터 정보를 전자 장치(1000)에 전송한다.
단계 S1160에서, 전자 장치(1000)는 인텐트 및 파라미터 정보로부터, 청소 명령 및 청소 대상 영역을 식별한다. 청소 대상 영역은 파라미터 정보로부터 식별될 수 있다. 예를 들어, 사용자로부터 수신된 음성 입력이 "스마트 태그 주변 청소해줘~"인 경우, 전자 장치(1000)는 서버(3000)로부터 수신된 파라미터 정보로부터 위치 추적 태그 장치로부터 기 설정된 범위 내의 영역을 청소 대상 영역으로 식별할 수 있다. 다른 예를 들어, 음성 입력이 "TV 주변 청소해 줘~"인 경우, 전자 장치(1000)는 서버(3000)로부터 수신된 파라미터 정보로부터 가전기기의 타입(예를 들어, TV)에 해당되는 가전기기로부터 기 설정된 범위 내의 영역을 청소 대상 영역으로 식별할 수 있다.
단계 S1170에서, 전자 장치(1000)는 청소 대상 영역에 관한 청소 동작을 수행하도록 청소 로봇(2000)을 제어하기 위한 제어 명령을 생성한다. '제어 명령'은 청소 로봇(2000)이 청소 동작을 위한 동작 정보 내에 포함된 세부 동작들을 수행할 수 있도록, 청소 로봇(2000)이 판독하고 실행할 수 있는 명령어들을 의미한다. 제어 명령에 관해서는 도 10에서 설명한 것과 동일하므로, 중복되는 설명은 생략한다.
단계 S1180에서, 전자 장치(1000)는 제어 명령을 청소 로봇(2000)에 전송한다.
단계 S1190에서, 청소 로봇(2000)은 제어 명령에 따라 청소 대상 영역에 관한 청소 동작을 수행한다.
본 개시의 일 실시예에 따른 전자 장치는, 무선 통신 네트워크를 이용하여 데이터 송수신을 수행하는 통신 인터페이스, 적어도 하나의 명령어들(instructions)를 저장하는 메모리, 및 상기 적어도 하나의 명령어들을 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서는 상기 통신 인터페이스를 이용하여 위치 추적 태그 장치의 위치, 청소 로봇의 주변에 위치하는 적어도 하나의 가전기기의 위치, 및 상기 청소 로봇과 상기 전자 장치 간의 상대적 위치 중 적어도 하나에 관한 위치 정보를 획득할 수 있다. 본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서는 획득된 상기 적어도 하나의 위치 정보에 기초하여 청소 대상 영역을 결정할 수 있다. 본 개시의 일 실시예에서, 상기 적어도 하나의 프로세서는 결정된 상기 청소 대상 영역에 관한 정보를 상기 청소 로봇에 전송하도록 상기 통신 인터페이스를 제어할 수 있다.
본 개시의 일 실시 예에서, 상기 적어도 하나의 프로세서는 획득된 상기 위치 추적 태그 장치의 위치를 중심으로 기 설정된 반경 내의 영역을 상기 청소 대상 영역으로 결정할 수 있다.
본 개시의 일 실시 예에서, 상기 청소 로봇은 무선으로 데이터 송수신을 수행하는 근거리 무선 통신 모듈을 포함하고, 상기 적어도 하나의 가전기기의 위치 정보는 상기 청소 로봇이 상기 근거리 무선 통신 모듈을 이용하여 상기 적어도 하나의 가전기기로부터 획득될 수 있다.
본 개시의 일 실시 예에서, 상기 전자 장치는 디스플레이부를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 통신 인터페이스를 이용하여, 상기 청소 로봇으로부터 상기 적어도 하나의 가전기기의 디바이스 식별 정보를 수신하고, 상기 수신된 디바이스 식별 정보에 기초하여 상기 적어도 하나의 가전기기의 타입(type)을 식별하고, 상기 적어도 하나의 가전기기의 타입 및 위치를 나타내는 UI(User Interface)를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
본 개시의 일 실시 예에서, 상기 전자 장치는 상기 UI를 통해 상기 적어도 하나의 가전기기의 타입 중 어느 하나의 타입을 선택하는 사용자 입력을 수신하는 사용자 입력부를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 수신된 사용자 입력에 기초하여 선택된 타입에 해당되는 가전기기의 위치를 식별하고, 상기 식별된 가전기기의 위치로부터 기 설정된 반경 이내의 영역을 상기 청소 대상 영역으로 결정할 수 있다.
본 개시의 일 실시 예에서, 상기 적어도 하나의 프로세서는 상기 통신 인터페이스를 이용하여 상기 청소 로봇으로부터 실내 공간의 공기 질에 관한 정보를 획득하고, 상기 획득된 공기 질에 관한 정보에 기초하여, 상기 결정된 청소 대상 영역 중 공기 오염 정도가 기 설정된 임계치를 초과하는 영역을 집중 청소 대상 영역으로 결정할 수 있다.
본 개시의 일 실시 예에서, 상기 전자 장치는, 상기 전자 장치의 방위를 측정하는 지자기 센서(geomagnetic sensor), 및 상기 전자 장치의 회전각 또는 기울어진 각도를 측정하는 자이로 센서(gyro sensor) 및 가속도 센서(acceleration sensor)를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 지자기 센서를 이용하여 측정된 방위로부터 상기 전자 장치의 높이 및 방향에 관한 정보를 획득하고, 상기 자이로 센서 및 상기 가속도 센서를 이용하여 상기 전자 장치의 기울어진 각도에 관한 정보를 획득하며, UWB(Ultra Wide Band)를 이용하여 수신된 상기 청소 로봇의 위치 정보와 상기 전자 장치의 높이, 방향, 및 기울어진 각도 중 적어도 하나를 포함하는 상기 전자 장치 위치 정보를 이용하여 상기 청소 로봇과 상기 전자 장치 간의 상대적 위치에 관한 정보를 획득할 수 있다.
본 개시의 일 실시 예에서, 상기 전자 장치는 청소하고자 하는 영역을 촬영하는 카메라를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 카메라의 FOV(Field Of View) 및 상기 전자 장치와 상기 청소 로봇과의 상대적 위치 정보에 기초하여 상기 카메라에 의해 촬영된 영역을 식별하고, 상기 식별된 영역을 상기 청소 대상 영역으로 결정할 수 있다.
본 개시의 일 실시 예에서, 상기 전자 장치는 디스플레이부를 더 포함하고, 상기 적어도 하나의 프로세서는 실내 공간을 시각적으로 나타내는 지도 상에 상기 결정된 청소 대상 영역을 나타내는 UI를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.
본 개시의 일 실시 예에서, 상기 전자 장치는 결정된 청소 대상 영역에 관한 청소 명령을 포함하는 음성 입력을 수신하는 마이크로폰을 더 포함하고, 상기 적어도 하나의 프로세서는 자연어 이해 모델을 이용한 상기 음성 입력의 해석 결과, 상기 음성 입력으로부터 상기 청소 명령을 식별하고, 상기 식별된 청소 명령으로부터 상기 청소 로봇의 동작을 제어하기 위한 제어 명령을 생성하고, 상기 제어 명령을 상기 청소 로봇에게 전송하도록 상기 통신 인터페이스를 제어할 수 있다.
본 개시의 일 실시 예에서, 상기 적어도 하나의 프로세서는 상기 통신 인터페이스를 이용하여 상기 음성 입력에 관한 데이터를 서버로 전송하고, 상기 서버에 의한 상기 음성 입력의 해석 결과에 따라 상기 음성 입력으로부터 식별된 상기 위치 추적 태그 장치 또는 상기 가전기기의 타입에 관한 정보를 상기 서버로부터 수신하고, 상기 위치 추적 태그 장치 또는 상기 가전기기의 타입에 따라 결정된 상기 청소 대상 영역에 관한 청소 동작을 제어하는 상기 제어 명령을 생성할 수 있다.
본 개시의 일 실시예에서, 청소 로봇을 제어하는 방법은 무선 통신 네트워크를 이용하여 위치 추적 태그 장치의 위치, 상기 청소 로봇의 주변에 위치하는 적어도 하나의 가전기기의 위치, 및 상기 청소 로봇과 상기 전자 장치 간의 상대 위치 중 적어도 하나의 위치에 관한 정보를 획득하는 단계를 포함할 수 있다. 본 개시의 일 실시예에서, 청소 로봇을 제어하는 방법은 획득된 상기 적어도 하나의 위치 정보에 기초하여 청소 대상 영역을 결정하는 단계를 포함할 수 있다. 본 개시의 일 실시예에서, 청소 로봇을 제어하는 방법은 결정된 상기 청소 대상 영역에 관한 정보를 상기 청소 로봇에 전송하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에서, 상기 청소 대상 영역을 결정하는 단계에서 전자 장치는 획득된 상기 위치 추적 태그 장치의 위치를 중심으로 기 설정된 반경 내의 영역을 상기 청소 대상 영역으로 결정할 수 있다.
본 개시의 일 실시 예에서, 상기 청소 로봇은 무선으로 데이터 송수신을 수행하는 근거리 무선 통신 모듈을 포함하고, 상기 적어도 하나의 가전기기의 위치 정보는, 상기 청소 로봇이 상기 근거리 무선 통신 모듈을 이용하여 상기 적어도 하나의 가전기기로부터 획득될 수 있다.
본 개시의 일 실시 예에서, 상기 방법은 상기 청소 로봇으로부터 상기 적어도 하나의 가전기기의 디바이스 식별 정보를 수신하는 단계, 상기 수신된 디바이스 식별 정보에 기초하여 상기 적어도 하나의 가전기기의 타입(type)을 식별하는 단계, 및 상기 적어도 하나의 가전기기의 타입 및 위치를 나타내는 UI(User Interface)를 디스플레이하는 단계를 더 포함할 수 있다.
본 개시의 일 실시 예에서, 상기 청소 대상 영역을 결정하는 단계는 상기 UI를 통해 상기 적어도 하나의 가전기기의 타입 중 어느 하나의 타입을 선택하는 사용자 입력을 수신하는 단계, 및 상기 수신된 사용자 입력에 기초하여 선택된 타입에 해당되는 가전기기의 위치를 식별하는 단계, 및 상기 식별된 가전기기의 위치로부터 기 설정된 반경 이내의 영역을 상기 청소 대상 영역으로 결정하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에서, 상기 청소 대상 영역을 결정하는 단계는 카메라를 이용하여 사용자가 청소하고자 하는 영역을 촬영하는 단계, 상기 카메라의 FOV(Field Of View) 및 상기 전자 장치와 상기 청소 로봇과의 상대적 위치 정보에 기초하여 상기 카메라에 의해 촬영된 영역을 식별하는 단계, 및 상기 식별된 영역을 상기 청소 대상 영역으로 결정하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에서, 상기 방법은 실내 공간을 시각적으로 나타내는 지도 상에 상기 결정된 청소 대상 영역을 나타내는 UI를 디스플레이하는 단계를 더 포함할 수 있다.
본 개시의 일 실시 예에서, 상기 방법은 상기 결정된 청소 대상 영역에 관한 청소 명령을 포함하는 음성 입력을 수신하는 단계, 자연어 이해 모델을 이용한 상기 음성 입력의 해석 결과, 상기 음성 입력으로부터 상기 청소 명령을 식별하는 단계, 상기 식별된 청소 명령으로부터 상기 청소 로봇의 동작을 제어하기 위한 제어 명령을 생성하는 단계, 및 상기 제어 명령을 상기 청소 로봇에게 전송하는 단계를 더 포함할 수 있다.
본 개시의 일 실시예는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품(Computer Program Product)를 제공한다. 본 개시의 일 실시예에서, 상기 저장 매체는 무선 통신 네트워크를 이용하여 위치 추적 태그 장치의 위치, 청소 로봇의 주변에 위치하는 적어도 하나의 가전기기의 위치, 및 상기 청소 로봇과 전자 장치 간의 상대 위치 중 적어도 하나의 위치에 관한 정보를 획득하는 동작, 획득된 상기 적어도 하나의 위치 정보에 기초하여 청소 대상 영역을 결정하는 동작, 및 결정된 상기 청소 대상 영역에 관한 정보를 상기 청소 로봇에 전송하는 동작을 포함하는, 상기 전자 장치가 상기 청소 로봇을 제어하는 방법에 관한 명령어들(instructions)을 포함할 수 있다.
본 명세서에서 설명된 전자 장치(1000)에 의해 실행되는 프로그램은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 프로그램은 컴퓨터로 읽을 수 있는 명령어들을 수행할 수 있는 모든 시스템에 의해 수행될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령어(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다. 예를 들어, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
또한, 본 명세서에 개시된 실시예들에 따른 프로그램은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예를 들어, 구글 플레이 스토어TM, 앱 스토어TM)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 차량 또는 전자 장치(1000)의 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 전자 장치(1000), 서버(3000, 도 10 및 도 11 참조) 및 타 전자 장치로 구성되는 시스템에서, 서버(3000)의 저장매체 또는 전자 장치의 저장매체를 포함할 수 있다. 또는, 전자 장치(1000)와 통신 연결되는 제3 장치가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 전자 장치(1000)로부터 전자 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 전자 장치로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.
이 경우, 전자 장치(1000), 서버(3000), 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 전자 장치(1000), 서버(3000), 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 전자 장치(1000)가 메모리(1500, 도 2 참조)에 저장된 컴퓨터 프로그램 제품을 실행하여, 전자 장치(1000)와 통신 연결된 타 전자 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 전자 장치가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 전자 장치(1000)로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드(pre-load)된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 컴퓨터 시스템 또는 모듈 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (15)

  1. 청소 로봇을 제어하는 전자 장치에 있어서,
    무선 통신 네트워크를 이용하여 데이터 송수신을 수행하는 통신 인터페이스;
    적어도 하나의 명령어들(instructions)를 저장하는 메모리; 및
    상기 적어도 하나의 명령어들을 실행하는 적어도 하나의 프로세서;
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 통신 인터페이스를 이용하여, 위치 추적 태그 장치의 위치, 상기 청소 로봇의 주변에 위치하는 적어도 하나의 가전기기의 위치, 및 상기 청소 로봇과 상기 전자 장치 간의 상대적 위치 중 적어도 하나에 관한 위치 정보를 획득하고,
    획득된 상기 적어도 하나의 위치 정보에 기초하여 청소 대상 영역을 결정하고,
    결정된 상기 청소 대상 영역에 관한 정보를 상기 청소 로봇에 전송하도록 상기 통신 인터페이스를 제어하는, 전자 장치.
  2. 제1 항에 있어서,
    상기 적어도 하나의 프로세서는,
    획득된 상기 위치 추적 태그 장치의 위치를 중심으로 기 설정된 반경 내의 영역을 상기 청소 대상 영역으로 결정하는, 전자 장치.
  3. 제1 항에 있어서,
    상기 청소 로봇은 무선으로 데이터 송수신을 수행하는 근거리 무선 통신 모듈을 포함하고,
    상기 적어도 하나의 가전기기의 위치 정보는, 상기 청소 로봇이 상기 근거리 무선 통신 모듈을 이용하여 상기 적어도 하나의 가전기기로부터 획득한 것인, 전자 장치.
  4. 제3 항에 있어서,
    디스플레이;
    를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 통신 인터페이스를 이용하여, 상기 청소 로봇으로부터 상기 적어도 하나의 가전기기의 디바이스 식별 정보를 수신하고, 상기 수신된 디바이스 식별 정보에 기초하여 상기 적어도 하나의 가전기기의 타입(type)을 식별하고,
    상기 적어도 하나의 가전기기의 타입 및 위치를 나타내는 UI(User Interface)를 디스플레이하도록 상기 디스플레이를 제어하는, 전자 장치.
  5. 제1 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 통신 인터페이스를 이용하여 상기 청소 로봇으로부터 실내 공간의 공기 질에 관한 정보를 획득하고,
    상기 획득된 공기 질에 관한 정보에 기초하여, 상기 결정된 청소 대상 영역 중 공기 오염 정도가 기 설정된 임계치를 초과하는 영역을 집중 청소 대상 영역으로 결정하는, 전자 장치.
  6. 제1 항에 있어서,
    상기 전자 장치의 방위를 측정하는 지자기 센서(geomagnetic sensor); 및
    상기 전자 장치의 회전각 또는 기울어진 각도를 측정하는 자이로 센서(gyro sensor) 및 가속도 센서(acceleration sensor);
    를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 지자기 센서를 이용하여 측정된 방위로부터 상기 전자 장치의 높이 및 방향에 관한 정보를 획득하고, 상기 자이로 센서 및 상기 가속도 센서를 이용하여 상기 전자 장치의 기울어진 각도에 관한 정보를 획득하며,
    UWB(Ultra Wide Band)를 이용하여 수신된 상기 청소 로봇의 위치 정보와 상기 전자 장치의 높이, 방향, 및 기울어진 각도 중 적어도 하나를 포함하는 상기 전자 장치 위치 정보를 이용하여 상기 청소 로봇과 상기 전자 장치 간의 상대적 위치에 관한 정보를 획득하는, 전자 장치.
  7. 제6 항에 있어서,
    사용자가 청소하고자 하는 영역을 촬영하는 카메라; 를 더 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 카메라의 FOV(Field Of View) 및 상기 전자 장치와 상기 청소 로봇과의 상대적 위치 정보에 기초하여 상기 카메라에 의해 촬영된 영역을 식별하고,
    상기 식별된 영역을 상기 청소 대상 영역으로 결정하는, 전자 장치.
  8. 제1 항에 있어서,
    상기 결정된 청소 대상 영역에 관한 청소 명령을 포함하는 음성 입력을 수신하는 마이크로폰;
    을 더 포함하고,
    상기 적어도 하나의 프로세서는,
    자연어 이해 모델을 이용한 상기 음성 입력의 해석 결과, 상기 음성 입력으로부터 상기 청소 명령을 식별하고, 상기 식별된 청소 명령으로부터 상기 청소 로봇의 동작을 제어하기 위한 제어 명령을 생성하고,
    상기 제어 명령을 상기 청소 로봇에게 전송하도록 상기 통신 인터페이스를 제어하는, 전자 장치.
  9. 전자 장치가 청소 로봇을 제어하는 방법에 있어서,
    무선 통신 네트워크를 이용하여 위치 추적 태그 장치의 위치, 상기 청소 로봇의 주변에 위치하는 적어도 하나의 가전기기의 위치, 및 상기 청소 로봇과 상기 전자 장치 간의 상대 위치 중 적어도 하나의 위치에 관한 정보를 획득하는 단계;
    획득된 상기 적어도 하나의 위치 정보에 기초하여 청소 대상 영역을 결정하는 단계; 및
    결정된 상기 청소 대상 영역에 관한 정보를 상기 청소 로봇에 전송하는 단계;
    를 포함하는, 방법.
  10. 제9 항에 있어서,
    상기 청소 대상 영역을 결정하는 단계는,
    획득된 상기 위치 추적 태그 장치의 위치를 중심으로 기 설정된 반경 내의 영역을 상기 청소 대상 영역으로 결정하는, 방법.
  11. 제9 항에 있어서,
    상기 청소 로봇은 무선으로 데이터 송수신을 수행하는 근거리 무선 통신 모듈을 포함하고,
    상기 적어도 하나의 가전기기의 위치 정보는, 상기 청소 로봇이 상기 근거리 무선 통신 모듈을 이용하여 상기 적어도 하나의 가전기기로부터 획득한 것인, 방법.
  12. 제11 항에 있어서,
    상기 청소 로봇으로부터 상기 적어도 하나의 가전기기의 디바이스 식별 정보를 수신하는 단계;
    상기 수신된 디바이스 식별 정보에 기초하여 상기 적어도 하나의 가전기기의 타입(type)을 식별하는 단계; 및
    상기 적어도 하나의 가전기기의 타입 및 위치를 나타내는 UI(User Interface)를 디스플레이하는 단계;
    를 더 포함하는, 방법.
  13. 제9 항에 있어서,
    상기 청소 대상 영역을 결정하는 단계는,
    카메라를 이용하여 사용자가 청소하고자 하는 영역을 촬영하는 단계;
    상기 카메라의 FOV(Field Of View) 및 상기 전자 장치와 상기 청소 로봇과의 상대적 위치 정보에 기초하여 상기 카메라에 의해 촬영된 영역을 식별하는 단계; 및
    상기 식별된 영역을 상기 청소 대상 영역으로 결정하는 단계;
    를 포함하는, 방법.
  14. 제9 항에 있어서,
    상기 결정된 청소 대상 영역에 관한 청소 명령을 포함하는 음성 입력을 수신하는 단계;
    자연어 이해 모델을 이용한 상기 음성 입력의 해석 결과, 상기 음성 입력으로부터 상기 청소 명령을 식별하는 단계;
    상기 식별된 청소 명령으로부터 상기 청소 로봇의 동작을 제어하기 위한 제어 명령을 생성하는 단계; 및
    상기 제어 명령을 상기 청소 로봇에게 전송하는 단계;
    를 더 포함하는, 방법.
  15. 컴퓨터로 판독 가능한 저장 매체를 포함하는 컴퓨터 프로그램 제품(Computer Program Product)에 있어서,
    상기 저장 매체는,
    무선 통신 네트워크를 이용하여 위치 추적 태그 장치의 위치, 청소 로봇의 주변에 위치하는 적어도 하나의 가전기기의 위치, 및 상기 청소 로봇과 전자 장치 간의 상대 위치 중 적어도 하나의 위치에 관한 정보를 획득하는 동작;
    획득된 상기 적어도 하나의 위치 정보에 기초하여 청소 대상 영역을 결정하는 동작; 및
    결정된 상기 청소 대상 영역에 관한 정보를 상기 청소 로봇에 전송하는 동작;
    을 포함하는, 상기 전자 장치가 상기 청소 로봇을 제어하는 방법에 관한 명령어들(instructions)을 포함하는 컴퓨터 프로그램 제품.
PCT/KR2022/009780 2021-07-15 2022-07-06 청소 로봇을 제어하는 전자 장치 및 그 동작 방법 WO2023287103A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/412,847 US20240152156A1 (en) 2021-07-15 2024-01-15 Electronic device for controlling cleaning robot, and operating method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210093135A KR20230012368A (ko) 2021-07-15 2021-07-15 청소 로봇을 제어하는 전자 장치 및 그 동작 방법
KR10-2021-0093135 2021-07-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/412,847 Continuation US20240152156A1 (en) 2021-07-15 2024-01-15 Electronic device for controlling cleaning robot, and operating method therefor

Publications (1)

Publication Number Publication Date
WO2023287103A1 true WO2023287103A1 (ko) 2023-01-19

Family

ID=84920100

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/009780 WO2023287103A1 (ko) 2021-07-15 2022-07-06 청소 로봇을 제어하는 전자 장치 및 그 동작 방법

Country Status (3)

Country Link
US (1) US20240152156A1 (ko)
KR (1) KR20230012368A (ko)
WO (1) WO2023287103A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180090565A (ko) * 2017-02-03 2018-08-13 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR101976424B1 (ko) * 2017-01-25 2019-05-09 엘지전자 주식회사 이동 로봇
JP2019202160A (ja) * 2019-07-04 2019-11-28 みこらった株式会社 掃除システム及び掃除システムを構成するロボット掃除装置並びに飛行体装置
JP6684108B2 (ja) * 2016-02-17 2020-04-22 東芝ライフスタイル株式会社 電気掃除機
KR20210084129A (ko) * 2019-12-27 2021-07-07 삼성전자주식회사 로봇 청소기 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6684108B2 (ja) * 2016-02-17 2020-04-22 東芝ライフスタイル株式会社 電気掃除機
KR101976424B1 (ko) * 2017-01-25 2019-05-09 엘지전자 주식회사 이동 로봇
KR20180090565A (ko) * 2017-02-03 2018-08-13 엘지전자 주식회사 이동 로봇 및 그 제어방법
JP2019202160A (ja) * 2019-07-04 2019-11-28 みこらった株式会社 掃除システム及び掃除システムを構成するロボット掃除装置並びに飛行体装置
KR20210084129A (ko) * 2019-12-27 2021-07-07 삼성전자주식회사 로봇 청소기 및 그 제어 방법

Also Published As

Publication number Publication date
KR20230012368A (ko) 2023-01-26
US20240152156A1 (en) 2024-05-09

Similar Documents

Publication Publication Date Title
WO2018110848A1 (en) Method for operating unmanned aerial vehicle and electronic device for supporting the same
WO2017164567A1 (en) Intelligent electronic device and method of operating the same
WO2013154321A1 (en) User terminal device and control method thereof
WO2012133983A1 (ko) 차량에 장착되는 영상표시기기에서의 이미지 처리
WO2011059202A2 (en) Display device and method of controlling the same
WO2020050636A1 (ko) 사용자 의도 기반 제스처 인식 방법 및 장치
WO2017095082A1 (ko) 오디오 제공 방법 및 그 장치
WO2016137294A1 (en) Electronic device and control method thereof
WO2020022780A1 (en) Method and apparatus for establishing device connection
WO2016204357A1 (ko) 이동 단말기 및 그 제어 방법
EP3808097A1 (en) Method and apparatus for establishing device connection
WO2020055112A1 (en) Electronic device and method for identifying location by electronic device
WO2020130691A1 (en) Electronic device and method for providing information thereof
WO2021047070A1 (zh) 终端拍摄方法、装置、移动终端及可读存储介质
WO2017014453A1 (en) Apparatus for displaying an image and method of operating the same
WO2022025706A1 (en) Angle of arrival capability in electronic devices
WO2019172642A1 (ko) 심장 박동을 측정하기 위한 전자 장치 및 방법
WO2020091248A1 (ko) 음성 명령에 응답하여 컨텐츠를 표시하기 위한 방법 및 그 전자 장치
WO2019245331A1 (ko) 텍스트 입력 디바이스 및 그 방법
WO2020153766A1 (en) Method for displaying visual information associated with voice input and electronic device supporting the same
WO2016032039A1 (ko) 영상 투사 장치 및 그의 동작 방법
WO2019190171A1 (ko) 전자 장치 및 그 제어 방법
WO2023287103A1 (ko) 청소 로봇을 제어하는 전자 장치 및 그 동작 방법
WO2023033456A1 (ko) 전자 장치 및 전자 장치의 제어 방법
WO2017119536A1 (ko) 모바일 디바이스 및 모바일 디바이스의 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22842365

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE