WO2020262808A1 - 영역(zone)을 형성하여 전자 장치에 관한 서비스를 제공하는 방법 및 그 장치 - Google Patents

영역(zone)을 형성하여 전자 장치에 관한 서비스를 제공하는 방법 및 그 장치 Download PDF

Info

Publication number
WO2020262808A1
WO2020262808A1 PCT/KR2020/004451 KR2020004451W WO2020262808A1 WO 2020262808 A1 WO2020262808 A1 WO 2020262808A1 KR 2020004451 W KR2020004451 W KR 2020004451W WO 2020262808 A1 WO2020262808 A1 WO 2020262808A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
user
service
area
master device
Prior art date
Application number
PCT/KR2020/004451
Other languages
English (en)
French (fr)
Inventor
이우섭
강성남
박순
이해권
곽원근
최세환
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2020262808A1 publication Critical patent/WO2020262808A1/ko
Priority to US17/560,591 priority Critical patent/US20220113395A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/70—Radar-tracking systems; Analogous systems for range tracking only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04—Systems determining presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/581—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/582—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/74—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems
    • G01S13/76—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems wherein pulse-type signals are transmitted
    • G01S13/765—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems wherein pulse-type signals are transmitted with exchange of information between interrogator and responder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/74—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems
    • G01S13/76—Systems using reradiation of radio waves, e.g. secondary radar systems; Analogous systems wherein pulse-type signals are transmitted
    • G01S13/767—Responders; Transponders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]

Definitions

  • the present disclosure relates to a method and apparatus for providing a service related to an electronic device by forming an area.
  • IoT Internet of Things
  • IoT Internet Technology
  • IoT Internet Technology
  • fields such as smart home, smart building, smart city, smart car or connected car, smart grid, healthcare, smart home appliance, and advanced medical service through convergence and combination between existing IT technology and various industries. have.
  • a method of providing a service for an electronic device using a master device in a zone is an operation of checking whether a user exists in the zone using a radar, and when it is confirmed that the user exists , An operation of tracking the movement of the user within the area, and an operation of providing a service related to the electronic device to the user, wherein the electronic device is included in the predetermined area and is controlled by the master device. To do.
  • a master device that provides a service for an electronic device in a zone uses a radar communication module, a short-range communication module, and the radar communication module to check whether a user exists in the area, and the user exists. If it is confirmed that the movement of the user within the area, and a control unit for providing a service related to the electronic device to the user, the electronic device is included in the predetermined area and controlled by the master device It is characterized by being.
  • the user's location may be determined and a service related to the electronic device may be provided to the user.
  • the service related to the electronic device may be a service necessary for the user in addition to a service according to the user's command. In addition, even if the user moves, the service can be provided seamlessly.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments.
  • FIG. 2 is a diagram showing a state in which a user controls IoT devices with a portable terminal.
  • FIG 3 is a diagram illustrating a zone formed to control a plurality of IoT devices according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating an operation principle of measuring a distance from a user by a master device using a radar as an example of the present disclosure.
  • FIG. 5 is a diagram illustrating an example of providing information on an electronic device in an area as a service provided by a master device according to the present disclosure.
  • FIG. 6 is a diagram illustrating an example of controlling an electronic device in an area with a gesture as a service provided by a master device according to the present disclosure.
  • FIG. 7 is a diagram illustrating an example of controlling an electronic device using a portable terminal as a service provided by a master device according to the present disclosure.
  • FIG. 8 is a sequence diagram in which a master device registers an electronic device using a Wi-Fi aware P2P ranging function according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram for explaining handover of a master device according to the present disclosure.
  • FIG. 10 is a view showing an example of the internal configuration of the master device according to the present disclosure.
  • FIG. 11 is a diagram illustrating a flowchart of a master device controlling an electronic device in an area according to the present disclosure.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (eg, a short-range wireless communication network), or a second network 199 It is possible to communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network).
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input device 150, an audio output device 155, a display device 160, an audio module 170, and a sensor module ( 176, interface 177, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196, or antenna module 197 ) Can be included.
  • a sensor module 176, interface 177, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196, or antenna module 197
  • at least one of these components may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components may be implemented as one integrated circuit.
  • the sensor module 176 eg, a fingerprint sensor, an iris sensor, or an illuminance sensor
  • the display device 160 eg, a display.
  • the processor 120 for example, executes software (eg, a program 140) to implement at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and can perform various data processing or operations. According to an embodiment, as at least part of data processing or operation, the processor 120 may store commands or data received from other components (eg, the sensor module 176 or the communication module 190) to the volatile memory 132 The command or data stored in the volatile memory 132 may be processed, and result data may be stored in the nonvolatile memory 134.
  • software eg, a program 140
  • the processor 120 may store commands or data received from other components (eg, the sensor module 176 or the communication module 190) to the volatile memory 132
  • the command or data stored in the volatile memory 132 may be processed, and result data may be stored in the nonvolatile memory 134.
  • the processor 120 includes a main processor 121 (eg, a central processing unit or an application processor), and a secondary processor 123 (eg, a graphics processing unit, an image signal processor) that can be operated independently or together , A sensor hub processor, or a communication processor). Additionally or alternatively, the coprocessor 123 may be set to use less power than the main processor 121 or to be specialized for a designated function. The secondary processor 123 may be implemented separately from the main processor 121 or as a part thereof.
  • the coprocessor 123 is, for example, on behalf of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, an application is executed). ) While in the state, together with the main processor 121, at least one of the components of the electronic device 101 (for example, the display device 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the functions or states related to. According to an embodiment, the coprocessor 123 (eg, an image signal processor or a communication processor) may be implemented as part of another functionally related component (eg, the camera module 180 or the communication module 190). have.
  • an image signal processor or a communication processor may be implemented as part of another functionally related component (eg, the camera module 180 or the communication module 190). have.
  • the memory 130 may store various data used by at least one component of the electronic device 101 (eg, the processor 120 or the sensor module 176).
  • the data may include, for example, software (eg, the program 140) and input data or output data for commands related thereto.
  • the memory 130 may include a volatile memory 132 or a nonvolatile memory 134.
  • the program 140 may be stored as software in the memory 130, and may include, for example, an operating system 142, middleware 144, or an application 146.
  • the input device 150 may receive a command or data to be used for a component of the electronic device 101 (eg, the processor 120) from an outside (eg, a user) of the electronic device 101.
  • the input device 150 may include, for example, a microphone, a mouse, a keyboard, or a digital pen (eg, a stylus pen).
  • the sound output device 155 may output an sound signal to the outside of the electronic device 101.
  • the sound output device 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback, and the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display device 160 may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display device 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display device 160 may include a touch circuitry set to sense a touch, or a sensor circuit (eg, a pressure sensor) set to measure the strength of a force generated by the touch. have.
  • the audio module 170 may convert sound into an electric signal or, conversely, convert an electric signal into sound. According to an embodiment, the audio module 170 acquires sound through the input device 150, the sound output device 155, or an external electronic device directly or wirelessly connected to the electronic device 101 (for example, Sound may be output through the electronic device 102) (for example, a speaker or headphones).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101, or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 is, for example, a gesture sensor, a gyro sensor, an atmospheric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared (IR) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more designated protocols that may be used for the electronic device 101 to connect directly or wirelessly with an external electronic device (eg, the electronic device 102 ).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • the connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that a user can perceive through a tactile or motor sense.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture a still image and a video.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, electronic device 102, electronic device 104, or server 108). It is possible to support establishment and communication through the established communication channel.
  • the communication module 190 operates independently of the processor 120 (eg, an application processor), and may include one or more communication processors that support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg : A LAN (local area network) communication module, or a power line communication module) may be included.
  • a corresponding communication module is a first network 198 (for example, a short-range communication network such as Bluetooth, WiFi direct or IrDA (infrared data association)) or a second network 199 (for example, a cellular network, the Internet, or It can communicate with external electronic devices through a computer network (for example, a telecommunication network such as a LAN or WAN).
  • the wireless communication module 192 uses subscriber information stored in the subscriber identification module 196 (eg, International Mobile Subscriber Identifier (IMSI)) within a communication network such as the first network 198 or the second network 199.
  • IMSI International Mobile Subscriber Identifier
  • the antenna module 197 may transmit a signal or power to the outside (eg, an external electronic device) or receive from the outside.
  • the antenna module may include one antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 197 may include a plurality of antennas. In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is, for example, provided by the communication module 190 from the plurality of antennas. Can be chosen.
  • the signal or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, RFIC
  • other than the radiator may be additionally formed as part of the antenna module 197.
  • At least some of the components are connected to each other through a communication method (e.g., a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI))) between peripheral devices E.g. commands or data) can be exchanged with each other.
  • a communication method e.g., a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the electronic devices 102 and 104 may be a device of the same or different type as the electronic device 101.
  • all or part of the operations executed by the electronic device 101 may be executed by one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 needs to perform a function or service automatically or in response to a request from a user or another device, the electronic device 101 does not execute the function or service by itself.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit the execution result to the electronic device 101.
  • the electronic device 101 may process the result as it is or additionally and provide it as at least part of a response to the request.
  • cloud computing, distributed computing, or client-server computing technology Can be used.
  • Electronic devices may be devices of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a smart bracelet
  • FIG. 2 is a diagram showing a state in which a user controls IoT devices with a portable terminal.
  • a number of IoT devices that is, electronic devices, are placed in the house. 2, a refrigerator 210, a TV 220, an air conditioner 230, a light 240, an air purifier 250, a washing machine (not shown), a robot cleaner (not shown), etc. It can be controlled by the user's portable terminal 270 if each includes a communication function. For example, the user can turn on or off the light 240 using the portable terminal 270 rather than a switch attached to the wall, and the food ingredients in the refrigerator 210 can also be checked using the portable terminal 270. In addition, the user may receive a notification in real time from the washing machine when washing is finished through the portable terminal 270, and may receive a message indicating that floor cleaning is required from the robot cleaner. In addition, the user can check the visitor using the portable terminal 270, TV 220, refrigerator 210 monitor, or the like, and can transmit pictures stored in the portable terminal 270 to the family through various monitors.
  • FIG 3 is a diagram illustrating a zone formed to control a plurality of IoT devices according to an embodiment of the present disclosure.
  • a place where a plurality of IoT devices are arranged is a house, and each of a living room, a kitchen, and a room may be divided into one area. Each area may include one master device having a radar.
  • an AI (Artificial Intelligence) speaker is described as an example as the master device.
  • the AI speaker may receive a user's voice through a microphone, and may determine whether a user exists or not using a radar.
  • the AI speaker may determine an IoT device close to the user by using the size of the received voice and/or a radar, and provide a necessary service to the user. For example, when the AI speaker uses a radar, an IoT device close to the user may be determined using a 60GHz Radar Channel Impulse Response (CIR) equation.
  • CIR 60GHz Radar Channel Impulse Response
  • a zone may mean an area including IoT devices that are adjacent to a master device (AI speaker in FIG. 3) or an area including IoT devices that can be controlled by the master device, and the The area is an area that can be detected by the radar of the master device.
  • the first area 310 may be a living room including a TV, an air conditioner, and a robot cleaner in addition to the first AI speaker as a master device.
  • the second area 320 may be a kitchen including a refrigerator, washing machine, and microwave in addition to the second AI speaker as a master device
  • the third area 330 is a mobile phone, laptop, or tablet in addition to the third AI speaker as a master device. It may be a room including a PC or the like.
  • IoT devices included in each area can communicate with each other using various communication methods (eg, Wi-Fi, etc.), and can also communicate with master devices in other areas.
  • the master devices located in each area determine whether a user exists in each area using a radar, and when it is determined that the user exists, can provide various services.
  • master devices located in each area can provide a service to the user seamlessly by tracking the movement of the user.
  • the master device may include a microphone for communication with the user, and in this case, the master device may receive the user's voice command.
  • the number of master devices capable of receiving a user's voice command may vary according to the number of regions, the size of the region, and the voice of the user. If the master device that has received the user's voice command responds, a plurality of master devices may respond or none of the master devices may respond. Alternatively, it is possible to determine the master device to respond with the volume of the received voice, which can also cause problems. For example, even in the same environment, the volume of the voice received by the master device may vary depending on the location of the master device or the presence or absence of an obstacle.
  • the master device may include a radar capable of measuring a distance to a user. Furthermore, the master device may track the user using the radar and determine an area in which the user is located. If only one master device is tracking the user, the one master device can respond to the user's voice command. If multiple master devices are tracking a user, the master device closest to the user may respond to the user's voice command. In this case, the plurality of master devices may share distance information with the user measured through communication. Alternatively, a master device within a predetermined distance from the user may be set to respond.
  • FIG. 4 is a diagram illustrating an operation principle of measuring a distance from a user by a master device using a radar as an example of the present disclosure.
  • the master device may transmit 410 a pulse and receive 420 a reflected radio wave. Using the received radio waves, the master device can measure and determine whether the distance to the reflected object, whether the reflected object is a person, that is, a user, and if the reflected object is a user, whether the user moves. I can.
  • the master device may determine the location of the user existing in the area by measuring the distance to the user using a radar. In addition, when it is determined that the user is located within the area, the master device may track the user using the radar.
  • the master device may use a radar to detect whether a user is present in the area, and this may be referred to as a detection mode.
  • the master device is in close proximity using at least one of a few (1 to 5) patches, a half patch, and a dipole antenna at a low period (for example, 10 to 50 fps). You can determine if there is a user. Meanwhile, the master device may determine whether it is a person using a phase characteristic of the reflected signal.
  • the master device may track the user using a radar, which may be referred to as a tracking mode.
  • a radar which may be referred to as a tracking mode.
  • the master device may track the user by using at least one of a plurality (1 to 20) of patches, half patches, and dipole antennas at a higher period than the detection mode (for example, 30 to 100 fps).
  • beamforming may be performed using an array antenna, and multiple users may be simultaneously tracked.
  • Such a tracking mode may be continuously performed in a short cycle in order to detect and grasp the user's location and provide a quick response to the user.
  • the radar used in the detection mode and the radar used in the detection mode do not necessarily have to be the same. Even if you use the same radar, you can use it differently.
  • both the master devices of both areas can track the user.
  • the master device in the deviated area may switch back to the sensing mode.
  • the service may include providing information on an electronic device, controlling an electronic device using a gesture, and controlling an electronic device using a portable terminal.
  • FIG. 5 is a diagram illustrating an example of providing information on an electronic device in an area as a service provided by a master device according to the present disclosure.
  • the electronic device may be, for example, an air cleaner 520, and the air cleaner 520 may be included in an area and controlled by the master device 510.
  • the master device 510 may detect whether the user 530 enters the area, and track the user 530 when the user 530 enters the area.
  • the master device 510 may inform the user 530 of information about the air purifier 520.
  • the master device 510 may provide information on a filter replacement cycle of the air purifier 520.
  • the master device 510 may notify the information by voice, or may notify the information by using a lamp of the air purifier 520 or the like.
  • the master device may notify information on foods with an imminent expiration date by voice or through a monitor of the refrigerator. That is, the master device can provide a service related to the electronic device included in the area to the user simply by entering the area of the user or being located within a certain radius of the electronic device without any command from the user. have.
  • FIG. 6 is a diagram illustrating an example of controlling an electronic device in an area with a gesture as a service provided by a master device according to the present disclosure.
  • the electronic device may be a TV 620, and the TV 620 may be included in an area and controlled by the master device 610.
  • the master device 610 may detect whether a user enters the area and track the user when the user enters the area.
  • the master device 610 may inform the user of information about the TV 620 (eg, a program currently being aired).
  • the user can control the TV 620 using a hand.
  • the master device 610 may increase or decrease the volume of the TV 620.
  • the user may adjust the channel of the TV 620 by moving his or her hand left or right.
  • an air conditioner is located in the area, a user located around the air conditioner may control the air conditioner using the same gesture.
  • FIG. 7 is a diagram illustrating an example of controlling an electronic device using a portable terminal as a service provided by a master device according to the present disclosure.
  • the master device may perform an application related to a controllable electronic device installed in the portable terminal, or provide a function screen to execute.
  • the controllable electronic device may be a plurality of electronic devices located in the area and controllable by the master device.
  • FIG. 7 in detail, when a refrigerator is located in the area and the user who has the portable terminal moves around the refrigerator, an application capable of controlling the refrigerator previously installed is executed on the portable terminal. Is shown.
  • the first method of registering an electronic device that can be controlled by the master device is for a user to directly register the electronic device in the master device. For example, if a TV, an air conditioner, and a robot cleaner are located around the first master device, the user can directly register the TV, air conditioner, and robot cleaner from the first master device.
  • a second method of registering an electronic device that can be controlled by the master device is to register an electronic device located within a predetermined distance from the master device by using the function of the master device.
  • the function of the master device may be a Wi-Fi aware P2P ranging function.
  • FIG. 8 is a sequence diagram in which a master device registers an electronic device using a Wi-Fi aware P2P ranging function according to an embodiment of the present disclosure.
  • the master device 820 may transmit a Fine Timing Measurement (FTM) Request to measure a distance to the electronic device 810 (830).
  • FTM Fine Timing Measurement
  • the electronic device 810 may transmit an ACK for the FTM Request to the master device 820 in response thereto (835).
  • the electronic device 810 may transmit a message M notifying the start of distance measurement (840 ). At this time, the electronic device 810 checks the transmission time (ToD, Time of Delivery) t 1 of the message, and the master device 820 checks the time of reception (ToA, Time of Arrival) t 2 of the message.
  • ToD Time of Delivery
  • ToA Time of Arrival
  • the master device 820 may transmit an ACK for the message to the electronic device 810 (845).
  • the master device 820 checks the transmission time t 3 of the ACK, and the electronic device 810 checks the time t 4 when the message is received.
  • the electronic device 810 may transmit the time t 1 at which the message is transmitted and the time t 4 at which the ACK for the message is transmitted to the master device 820 (850 ).
  • the master device 820 calculates the distance D to the electronic device 810 using ⁇ Equation 1> based on the time transmitted from the electronic device 810.
  • the master device 820 may determine whether to register the electronic device 810 based on the calculated distance and transmit the result to the electronic device 810 (855).
  • a third method of registering an electronic device that can be controlled by the master device is for a user to directly register with the master device from the electronic device.
  • the user may directly store and register an area where the user is located in the electronic device by using a physical button of the electronic device.
  • the master device registering the electronic device according to at least one of the above-described methods may additionally set the area.
  • the user may directly set a predetermined radius as the area from the master device, otherwise, the area may be set according to a predetermined value (default value).
  • the master device may determine the distance to another master device using a Wi-Fi aware function or a 60GHz Wi-Fi ranging function to set an area.
  • the areas may overlap each other. In this case, it may be a problem when the distance between the master devices is closer than a predetermined value. In the most simple way, it is possible to set the area so as not to overlap by halving the identified distances.
  • the identified distance between each other may be set as an area by 2/3, and in this case, the areas between each other overlap.
  • this fact may be notified to the user by voice.
  • a user may be free to move between areas. Therefore, when the user instructs a voice command in the first area and leaves the first area and enters the second area, it may be a problem.
  • the electronic device related to the voice command may directly respond to the user without passing through the master device. For example, if the user commands to turn on the TV in the first area, the master device in the first area turns on the TV. In this case, the TV may directly inform the user that it is turned on.
  • the voice command is received by the master device in the first area, but the master device in the first area transmits the information related to the voice command to the master device in the second area, and the second The zone's master device can respond. That is, handover between master devices may occur.
  • FIG. 9 is a diagram for explaining handover between master devices according to the present disclosure.
  • each of the three master devices has an area of the same size, and some areas may overlap.
  • the first master device 910 may track the user 930. Thereafter, when the user 930 is located in an area where the area of the first master device 910 and the area of the second master device 920 overlap, the second master device 920 in addition to the first master device 910 is also a user. (930) can be traced.
  • the first master device 910 tracks the user 930, and the second master device 920 is in a sensing mode. Can be operated as
  • the second master device 920 tracks the user 930, and the first master device 910 enters the sensing mode. It can work.
  • the master device of the area where the user 930 was located immediately before The first master device 910 may track the user 930.
  • the user's gesture may not be recognized.
  • the master device of the area to which the user first enters may provide information on the electronic device in the area to the user's portable terminal.
  • FIG. 10 is a view showing an example of the internal configuration of the master device according to the present disclosure.
  • the master device may include a transmitter 1010, a receiver 1030, a duplexer 1040, a servo controller 1070, and the like.
  • the transmitter 1010 may transmit a radar using the duplexer 1040, and the receiver 1030 may receive the radar using the duplexer 1040.
  • the duplexer 1040 may switch some configurations according to whether the master device transmits or receives a radar.
  • the Range/Doppler Gating 1050 receives transmission/reception time and frequency information from the Time & Frequency 1060 to perform distance and Doppler gating. have.
  • the receiver 1030 may transmit information received from the Range/Doppler Gating 1050 as the Angle Error 1020 to determine an error with respect to an angle.
  • the servo controller 1070 may control a mode of the master device based on the error information transmitted from the Angle Error 1020.
  • the description is divided into a plurality of configurations, but the Angle Error 1020, Range/Doppler Gating 1050, Time & Frequency 1060, and the servo controller 1070 may be configured as a control unit.
  • the description has been divided into a transmission unit 1010, a reception unit 1030, and a duplexer 1040, it may be configured as a transmission/reception unit.
  • the configuration of FIG. 1 may be performed by the processor 120 or the communication module 190.
  • FIG. 11 is a flowchart illustrating a flow chart of a master device providing a service for an electronic device in an area according to the present disclosure.
  • the master device may check whether a user exists in the area using a radar (1110). Specifically, the master device may determine whether a user exists, a distance to the user, or the like by checking a radar transmission/reception time, a page (phase) change, and the like.
  • the master device may track the movement of the user within the area (1120).
  • the master device may provide a service related to the electronic device to the user (1130).
  • the electronic device may be included in the area and controlled by the master.
  • the service related to the electronic device may be a service that provides information on the electronic device when the user enters the area or is located within a certain radius of the electronic device.
  • the service for the electronic device may be a service performed by recognizing a command for the electronic device for the user's specific gesture.
  • the service related to the electronic device may be a service in which an application related to the electronic device is executed using a mobile terminal possessed by the user.
  • the master device may check whether the user leaves the area and transmit information on the user to another master device.
  • the master device may add a new electronic device to a device existing in the area, and at this time, use the Wi-Fi aware P2P function of the master device.
  • the area may be set within a certain radius of the master device, and when the area overlaps an area of another master device, the distance to the other master device may be checked and the area may be set based on the identified distance.
  • the master device may check the distance to the other master device by using a Wi-Fi aware function or a 60GHz Wi-Fi ranging function.
  • a master device that provides a service for an electronic device in a zone uses a radar communication module, a short range communication module, and the radar communication module to check whether a user exists in the area, When it is confirmed that the user is present, a control unit that tracks the movement of the user within the area and provides a service related to the electronic device to the user is included, and the electronic device is included in the predetermined area and the master Can be controlled by the device.
  • the service related to the electronic device of the master device is a service that provides information on the electronic device when the user enters the area or is located within a certain radius of the electronic device. I can.
  • the service related to the electronic device of the master device may be a service performed by recognizing a command for the electronic device by the user's specific gesture.
  • the service related to the electronic device of the master device may be a service in which an application related to the electronic device is executed using a portable terminal possessed by the user.
  • control unit of the master device may check whether the user leaves the area and transmit information about the user to another master device.
  • the controller of the master device may add a new electronic device to a device existing in the area.
  • control unit of the master device may add the new electronic device using a Wi-Fi aware P2P function of the master device.
  • the area of the master device may be set within a predetermined radius of the master device.
  • control unit of the master device may check the distance to the other master device and set the area based on the identified distance. have.
  • control unit of the master device may check the distance to the other master device by using a Wi-Fi aware function or a 60GHz Wi-Fi ranging function.
  • a method of providing a service related to an electronic device using a master device in a zone is an operation of checking whether a user exists in the zone using a radar, and the user exists. If it is confirmed that the movement of the user within the area, and providing a service related to the electronic device to the user, the electronic device is included in the area and controlled by the master device. Can be.
  • the service related to the electronic device in the method for providing the service related to the electronic device is related to the electronic device when the user enters the area or is located within a certain radius of the electronic device. It may be a service that provides information.
  • the service related to the electronic device of the method for providing the service related to the electronic device may be a service performed by recognizing a command for the electronic device by the user's specific gesture.
  • the service related to the electronic device in the method for providing the service related to the electronic device may be a service in which an application related to the electronic device is executed using a mobile terminal possessed by the user. .
  • a method of providing a service regarding the electronic device may further include an operation of checking whether the user is out of the area, and transmitting information about the user to another master device. .
  • the method of providing a service for the electronic device may further include an operation of adding a new electronic device to a device existing in the area.
  • adding the new electronic device may be an operation of adding using a Wi-Fi aware P2P function of the master device.
  • the area of the method for providing a service related to the electronic device may be set within a predetermined radius of the master device.
  • a distance to the other master device is checked, and the area is determined based on the identified distance. Can be set.
  • a distance from the other master device may be identified using a Wi-Fi aware function or a 60GHz Wi-Fi ranging function.
  • phrases such as “at least one of, B, or C” may include any one of the items listed together in the corresponding one of the phrases, or all possible combinations thereof.
  • Terms such as “first”, “second”, or “first” or “second” may be used simply to distinguish the component from other corresponding components, and the components may be referred to in other aspects (eg, importance or Order) is not limited.
  • Some (eg, a first) component is referred to as “coupled” or “connected” with or without the terms “functionally” or “communicatively” to another (eg, second) component. When mentioned, it means that any of the above components can be connected to the other components directly (eg by wire), wirelessly, or via a third component.
  • module used in this document may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, parts, or circuits.
  • the module may be an integrally configured component or a minimum unit of the component or a part thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document include one or more instructions stored in a storage medium (eg, internal memory 136 or external memory 138) readable by a machine (eg, electronic device 101). It may be implemented as software (for example, the program 140) including them.
  • the processor eg, the processor 120 of the device (eg, the electronic device 101) may call and execute at least one command among one or more commands stored from a storage medium. This makes it possible for the device to be operated to perform at least one function according to the at least one command invoked.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • a method according to various embodiments disclosed in the present document may be provided by being included in a computer program product.
  • Computer program products can be traded between sellers and buyers as commodities.
  • Computer program products are distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play StoreTM) or two user devices (e.g. It can be distributed (e.g., downloaded or uploaded) directly between, e.g. smartphones).
  • a device e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (e.g., downloaded or uploaded) directly between, e.g. smartphones).
  • at least a portion of the computer program product may be temporarily stored or temporarily generated in a storage medium that can be read by a device such as a server of a manufacturer, a server of an application store, or a memory of a relay server.
  • each component eg, a module or program of the above-described components may include a singular number or a plurality of entities.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar to that performed by the corresponding component among the plurality of components prior to the integration.
  • operations performed by modules, programs, or other components are sequentially, parallel, repeatedly, or heuristically executed, or one or more of the above operations are executed in a different order or omitted. Or one or more other actions may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 개시는 영역을 형성하여 전자 장치를 제어하는 방법 및 그 장치에 관한 것이다. 본 개시에 따른 영역(zone)내의 마스터 장치를 이용하여 전자 장치에 관한 서비스를 제공하는 방법은, 레이더(radar)를 이용해 상기 영역 내에 사용자가 존재하는지 확인하는 동작, 상기 사용자가 존재하는 것으로 확인되면, 상기 영역 내에서 상기 사용자의 이동을 추적하는 동작, 및 상기 사용자에게 상기 전자 장치에 관한 서비스를 제공하는 동작을 포함하고, 상기 전자 장치는 상기 정해진 영역 내에 포함되어 상기 마스터 장치에 의해 제어됨을 특징으로 한다.

Description

영역(ZONE)을 형성하여 전자 장치에 관한 서비스를 제공하는 방법 및 그 장치
본 개시는 영역을 형성하여 전자 장치에 관한 서비스를 제공하는 방법 및 그 장치에 관한 것이다.
무선 통신 기술의 발전으로 인하여 다양한 사물에 통신기능이 포함되어 네트워크를 형성함으로써 편리하게 사물을 제어할 수 있게 되었다. 이와 같이 사물에 통신기능을 포함하여 네트워크로 연결하는 것을 사물 인터넷(IoT: Internet Of Things)이라 하며 실생활에 폭넓게 사용되고 있다.
IoT를 구현하기 위해서, 센싱 기술, 유무선 통신 및 네트워크 인프라, 서비스 인터페이스 기술, 및 보안 기술 등과 같은 다양한 기술들이 요구되어, 최근에는 사물간의 연결을 위한 센서 네트워크(sensor network), 사물 통신(Machine to Machine, M2M), MTC(Machine Type Communication) 등의 기술이 연구되고 있다.
IoT 환경에서는 연결된 사물들에서 생성된 데이터를 수집, 분석하여 인간의 삶에 새로운 가치를 창출하는 지능형 IT(Internet Technology) 서비스가 제공될 수 있다. IoT는 기존의 IT 기술과 다양한 산업 간의 융합 및 복합을 통하여 스마트홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 스마트 그리드, 헬스 케어, 스마트 가전, 첨단의료서비스 등의 분야에 응용될 수 있다.
통신 기능을 갖는 전자 장치들이 늘어나고 그 기능이 다양해짐에 따라 사용자는 각 전자 장치들의 사용법을 배우게 된다. 다양한 전자 장치들을 제어하기 위해서 이들 전자 장치들과 통신할 수 있는 별도의 전자 장치가 필요할 수도 있다. 하지만, 사용자는 집안에서와 같이 특정 장소에서는 휴대 단말 등을 소지하지 않고 활동하는 시간이 더 많다. 만약 사용자가 상기 전자 장치들을 제어하기 위해 휴대 단말 등을 소지해야 한다면, 오히려 더 불편할 수 있다.
본 개시에 따른 영역(zone)내의 마스터 장치를 이용하여 전자 장치에 관한 서비스를 제공하는 방법은, 레이더(radar)를 이용해 상기 영역 내에 사용자가 존재하는지 확인하는 동작, 상기 사용자가 존재하는 것으로 확인되면, 상기 영역 내에서 상기 사용자의 이동을 추적하는 동작, 및 상기 사용자에게 상기 전자 장치에 관한 서비스를 제공하는 동작을 포함하고, 상기 전자 장치는 상기 정해진 영역 내에 포함되어 상기 마스터 장치에 의해 제어됨을 특징으로 한다.
본 개시의 따른 영역(zone)내의 전자 장치에 관한 서비스를 제공하는 마스터 장치는, 레이더 통신 모듈, 근거리 통신 모듈, 및 상기 레이더 통신 모듈을 이용해 상기 영역 내에 사용자가 존재하는지 확인하고, 상기 사용자가 존재하는 것으로 확인되면, 상기 영역 내에서 상기 사용자의 이동을 추적하며, 상기 사용자에게 상기 전자 장치에 관한 서비스를 제공하는 제어부를 포함하고, 상기 전자 장치는 상기 정해진 영역 내에 포함되어 상기 마스터 장치에 의해 제어됨을 특징으로 한다.
사용자의 위치를 판단하여 상기 사용자에게 전자 장치에 관한 서비스를 제공할 수 있다. 상기 전자 장치에 관한 서비스는 상기 사용자의 명령에 의한 서비스 외에도 상기 사용자에게 필요한 서비스일 수 있다. 또한, 상기 사용자가 이동하더라도 서비스를 끊김없이 제공할 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블럭도이다.
도 2는 사용자가 휴대 단말로 IoT 기기들을 제어하는 모습을 나타낸 도면이다.
도 3은 본 개시의 일 실시예에 따라 다수의 IoT 기기를 제어하기 위해 형성된 영역(Zone)을 나타낸 도면이다.
도 4는 본 개시의 일 예로 마스터 장치가 레이더를 이용해 사용자와의 거리를 측정하는 동작 원리를 나타낸 도면이다.
도 5는 본 개시에 따라 마스터 장치에 의해 제공되는 서비스로, 영역 내의 전자 장치에 관한 정보를 제공하는 일 예로 나타낸 도면이다.
도 6은 본 개시에 따라 마스터 장치에 의해 제공되는 서비스로, 영역 내의 전자 장치를 제스처로 제어하는 일 예를 나타낸 도면이다.
도 7은 본 개시에 따라 마스터 장치에 의해 제공되는 서비스로, 휴대 단말을 이용해 전자 장치를 제어하는 일 예를 나타낸 도면이다.
도 8은 본 개시의 일 실시예에 따라 마스터 장치가 Wi-Fi aware P2P ranging 기능을 이용해 전자 장치를 등록하는 시퀀스도이다.
도 9는 본 개시에 따른 마스터 장치의 핸드 오버를 설명하기 위한 도면이다.
도 10은 본 개시에 따른 마스터 장치의 내부 구성도 일 예를 나타낸 도면이다.
도 11은 본 개시에 따른 마스터 장치가 영역 내의 전자 장치를 제어하는 순서도를 나타낸 도면이다.
이하, 본 문서의 다양한 실시예가 첨부된 도면을 참조하여 기재된다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블럭도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)은 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)은, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)이 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, or 108) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다.. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
도 2는 사용자가 휴대 단말로 IoT 기기들을 제어하는 모습을 나타낸 도면이다.
집안에는 다수의 IoT 기기 즉, 전자 장치들이 배치되어 있다. 도 2를 참조하면, 냉장고(210), TV(220), 에어컨(230), 전등(240), 공기청정기(250), 세탁기(미도시), 로봇 청소기(미도시) 등이 집안에 배치될 수 있으며 각각이 모두 통신 기능을 포함하는 경우 사용자의 휴대 단말(270)에 의해 제어될 수 있다. 예를 들어, 사용자는 벽에 부착된 스위치가 아닌 휴대 단말(270)을 이용해 전등(240)을 켜거나 끌 수 있으며, 냉장고(210) 속의 식재료도 휴대 단말(270)을 이용해 확인할 수 있다. 또한, 사용자는 휴대 단말(270)을 통해 세탁이 끝나면 세탁기로부터 실시간으로 알림을 받을 수 있으며, 로봇 청소기로부터 바닥 청소가 필요하다는 메시지도 전송받을 수 있다. 그 밖에도 사용자는 방문자를 휴대 단말(270)이나, TV(220), 냉장고(210) 모니터 등을 이용해 확인할 수 있으며, 휴대 단말(270)에 저장된 사진을 다양한 모니터 등을 통해 가족에게 전송할 수도 있다.
도 3은 본 개시의 일 실시예에 따라 다수의 IoT 기기를 제어하기 위해 형성된 영역(Zone)을 나타낸 도면이다.
도 3에 따르면, 다수의 IoT 기기들이 배치된 곳은 집안이며, 거실, 주방, 방 각각이 하나의 영역으로 구별될 수 있다. 각각의 영역에는 레이더(Radar)를 갖는 하나의 마스터 장치가 포함될 수 있다. 도 3에서는 상기 마스터 장치로 AI(Artificial Intelligence) 스피커를 예로 설명한다. 상기 AI 스피커는 마이크(Mic)를 통해 사용자의 음성을 수신할 수 있으며, 레이더를 이용하여 사용자가 존재하는지 여부를 판단할 수 있다. 상기 AI 스피커는 수신된 음성의 크기 및/또는 레이더를 이용해 상기 사용자와 근접한 IoT 기기를 판단하고, 상기 사용자에게 필요한 서비스를 제공할 수 있다. 예를 들어, 상기 AI 스피커가 레이더를 이용하는 경우, 60GHz Radar CIR(Channel Impulse Response) 방정식을 이용해 상기 사용자와 근접한 IoT 기기를 판단할 수 있다.
본 개시에서 영역(Zone)이란 마스터 장치(도 3에서는 AI 스피커)를 중심으로 근접한 IoT 기기들이 포함된 지역 또는 상기 마스터 장치에 의해 제어될 수 있는 IoT 기기들이 포함된 지역을 의미할 수 있으며, 상기 영역은 상기 마스터 장치의 레이더에 의해 감지될 수 있는 지역이다. 도 3에서 제1 영역(310)은 마스터 장치인 제1 AI 스피커 외에 TV, 에어컨, 로봇 청소기가 포함된 거실이 될 수 있다. 제2 영역(320)은 마스터 장치인 제2 AI 스피커 외에 냉장고, 세탁기, 전자레인지가 포함된 주방이 될 수 있으며, 제3 영역(330)은 마스터 장치인 제3 AI 스피커 외에 휴대폰, 노트북, 태블릿 PC 등이 포함된 방(room)이 될 수 있다. 또한, 각 영역에 포함된 IoT 기기들은 다양한 통신 방법(예를 들어, Wi-Fi 등)을 이용해 서로 통신이 가능하며, 다른 영역의 마스터 장치와도 통신할 수 있다.
각 영역에 위치한 마스터 장치들은 레이더를 이용해 상기 각 영역에 사용자가 존재하는지 판단하고, 사용자가 존재하는 것으로 판단되면 다양한 서비스를 제공할 수 있다. 또한, 상기 각 영역에 위치한 마스터 장치들은 상기 사용자의 움직임을 추적(tracking)하여 끊김없이(seamless) 상기 사용자에게 서비스를 제공할 수 있다.
이상에서는, 집안을 예로 하여 설명하였으나, 반드시 집안에 제한되는 것은 아니며 마스터 장치와 IoT 기기들이 설치된 장소라면 어디든 적용이 가능할 것이다.
이하에서는 본 개시에 따른 실시예에 대해 보다 구체적으로 설명한다.
앞선 설명과 같이, 마스터 장치는 사용자와의 커뮤니케이션을 위해 마이크를 포함할 수 있으며, 이 경우 상기 마스터 장치는 상기 사용자의 음성 명령을 수신할 수 있다. 그런데, 영역의 개수, 영역의 크기, 및 사용자의 음성 크기에 따라 사용자의 음성 명령을 수신할 수 있는 마스터 장치의 개수는 달라질 수 있다. 만약 사용자의 음성 명령을 수신한 마스터 장치가 응답을 한다면, 다수의 마스터 장치가 응답하거나 또는 어떤 마스터 장치도 응답하지 않을 수 있다. 대안적으로, 수신된 음성의 크기로 응답할 마스터 장치를 결정할 수 있는데, 이 경우에도 문제가 발생할 수 있다. 예를 들어, 동일한 환경이라도 마스터 장치의 위치나 장애물의 유무 등에 따라 상기 마스터 장치가 수신한 음성의 크기는 달라질 수 있기 때문이다.
이러한 문제를 해결하기 위해, 상기 마스터 장치는 사용자와의 거리를 측정할 수 있는 레이더를 포함할 수 있다. 더 나아가 상기 마스터 장치는 상기 레이더를 이용해 상기 사용자를 추적하고 상기 사용자가 위치한 영역을 판단할 수 있다. 만일 하나의 마스터 장치만이 사용자를 추적하고 있다면 상기 하나의 마스터 장치가 상기 사용자의 음성 명령에 응답할 수 있다. 다수의 마스터 장치가 사용자를 추적하고 있다면, 상기 사용자가 가장 가까이 위치한 마스터 장치가 상기 사용자의 음성 명령에 응답할 수 있다. 이때, 상기 다수의 마스터 장치는 통신을 통해 측정한 상기 사용자와의 거리 정보를 공유할 수 있다. 또는, 상기 사용자와 일정 거리 내에 있는 마스터 장치가 응답하도록 설정될 수 있다.
도 4는 본 개시의 일 예로 마스터 장치가 레이더를 이용해 사용자와의 거리를 측정하는 동작 원리를 나타낸 도면이다.
상기 마스터 장치는 전파(pulse)를 송출(410)하고, 반사된 전파를 수신(420)할 수 있다. 상기 수신된 전파를 이용하여 상기 마스터 장치는 반사된 물체까지의 거리, 상기 반사된 물체가 사람 즉, 사용자인지 여부, 및 상기 반사된 물체가 사용자라면 상기 사용자가 움직이는지 여부 등을 측정 및 판단할 수 있다.
즉, 상기 마스터 장치는 레이더를 이용해 상기 사용자와의 거리를 측정하여 영역 내에 존재하는 상기 사용자의 위치를 판단할 수 있다. 또한, 상기 마스터 장치는 상기 사용자가 영역 내에 위치하는 것으로 판단되면, 상기 레이더를 이용해 상기 사용자를 추적(tracking)할 수 있다.
이하에서는 마스터 장치가 레이더를 이용해 사용자를 감지, 추적하기 위한 모드에 대해 설명한다.
상기 마스터 장치는 영역 내에 사용자가 존재하는지를 감지하기 위해 레이더를 이용할 수 있으며, 이를 감지 모드라 지칭할 수 있다. 일 예로, 상기 마스터 장치는 낮은 주기(예를 들어 10 ~ 50fps)로 소수(1 ~ 5개)의 패치(patch), 하프 패치(half patch), 다이폴(dipole) 안테나 중 적어도 하나를 이용하여 근접한 사용자가 있는지 판단할 수 있다. 한편, 상기 마스터 장치는 반사된 신호의 페이지(phase) 특성을 이용해 사람인지 여부를 판단할 수 있다.
상기 마스터 장치가 감지 모드에서 사용자가 존재하는 것으로 판단하면, 상기 마스터 장치는 레이더를 이용하여 상기 사용자를 추적할 수 있으며, 이를 추적 모드라 지칭할 수 있다. 일 예로, 상기 마스터 장치는 상기 감지 모드보다는 높은 주기(예를 들어 30 ~ 100fps)로 다수(1 ~ 20개)의 패치, 하프 패치, 다이폴 안테나 중 적어도 하나를 이용하여 상기 사용자를 추적할 수 있다. 이때 어레이(array) 안테나로 빔포밍(beamforming)을 할 수 있으며, 다수의 사용자를 동시에 추적할 수도 있다. 이와 같은 추적 모드는 사용자의 위치를 감지 및 파악하여 상기 사용자에게 빠른 응답을 하기 위해 짧은 주기로 지속적으로 수행될 수 있다. 한편, 감지 모드에 사용되는 레이더와 탐지 모드에 사용되는 레이더가 반드시 동일할 필요는 없다. 설사 동일한 레이더를 이용하더라도 달리 이용할 수 있다.
다른 실시예로, 사용자가 영역의 경계(edge)에 위치하거나 두 영역의 겹치는 부분에 위치하게 되면, 두 영역의 마스터 장치가 모두 상기 사용자를 추적할 수 있다.
또 다른 실시예로, 사용자가 이동하여 영역을 벗어나게 되면, 상기 벗어난 영역의 마스터 장치는 다시 감지 모드로 변환할 수 있다.
이하에서는, 마스터 장치가 사용자에게 제공할 수 있는 서비스에 대해 자세히 설명한다. 상기 서비스로는 전자 장치에 관한 정보 제공, 제스처를 이용한 전자 장치 제어, 및 휴대 단말을 이용한 전자 장치 제어 등이 포함될 수 있다.
도 5는 본 개시에 따라 마스터 장치에 의해 제공되는 서비스로, 영역 내의 전자 장치에 관한 정보를 제공하는 일 예로 나타낸 도면이다.
상기 전자 장치는 일 예로 공기 청정기(520)가 될 수 있으며, 공기 청정기(520)는 영역 내에 포함되어 마스터 장치(510)에 의해 제어될 수 있다. 마스터 장치(510)는 사용자(530)가 상기 영역에 진입하는지를 감지하고 사용자(530)가 상기 영역에 진입하면 사용자(530)를 추적할 수 있다. 사용자(530)가 공기 청정기(520) 주변 즉, 일정 반경 내에 위치하면, 마스터 장치(510)는 공기 청정기(520)에 관한 정보를 사용자(530)에게 알려줄 수 있다. 예를 들어, 마스터 장치(510)는 공기 청정기(520)의 필터 교체 주기에 관한 정보를 알려줄 수 있다. 마스터 장치(510)는 상기 정보를 음성으로 알려주거나, 또는 공기 청정기(520)의 램프 등을 이용해 알릴 수 있다. 다른 예로, 냉장고가 상기 영역에 위치하는 경우, 마스터 장치는 유통기한이 임박한 식품의 정보를 음성으로 알려주거나, 냉장고의 모니터를 통해 알려줄 수 있다. 즉, 상기 마스터 장치는 상기 사용자의 어떠한 명령이 없어도 상기 사용자의 상기 영역 내에 진입 또는 상기 전자 장치의 일정 반경 내에 위치하는 것만으로도 상기 사용자에게 상기 영역 내에 포함된 전자 장치와 관련된 서비스를 제공할 수 있다.
도 6은 본 개시에 따라 마스터 장치에 의해 제공되는 서비스로, 영역 내의 전자 장치를 제스처로 제어하는 일 예를 나타낸 도면이다.
도 6에서, 상기 전자 장치는 TV(620)가 될 수 있으며, TV(620)는 영역 내에 포함되어 마스터 장치(610)에 의해 제어될 수 있다. 마스터 장치(610)는 사용자가 상기 영역에 진입하는지를 감지하고 상기 사용자가 상기 영역에 진입하면 상기 사용자를 추적할 수 있다. 이전 실시예에 따르면, 상기 사용자가 TV(620) 주변에 위치하면 마스터 장치(610)는 TV(620)에 관한 정보(예를 들어, 현재 방영중인 프로그램 등)를 상기 사용자에게 알려줄 수 있다. 본 실시예에서는, 상기 사용자가 손을 이용해 TV(620)를 제어할 수 있다. 예를 들어, 본 실시예에서는 상기 사용자가 손을 위 또는 아래로 움직이면, 마스터 장치(610)는 TV(620)의 볼륨을 크게 또는 작게 조절할 수 있다. 또한, 상기 사용자가 손을 좌우로 움직여 TV(620)의 채널을 조절할 수도 있다. 다른 예로, 상기 영역에 에어컨이 위치하는 경우, 상기 에어컨 주변에 위치한 사용자는 동일한 제스처를 이용해 상기 에어컨도 조절 가능할 수 있다.
도 7은 본 개시에 따라 마스터 장치에 의해 제공되는 서비스로, 휴대 단말을 이용해 전자 장치를 제어하는 일 예를 나타낸 도면이다.
휴대 단말을 소지한 사용자가 영역 내에 진입하면, 상기 마스터 장치는 상기 휴대 단말에 설치된, 제어 가능한 전자 장치에 관련한 어플리케이션을 수행하거나, 수행할 수 있도록 function screen을 제공할 수 있다. 상기 제어 가능한 전자 장치는 상기 영역 내에 위치하여 상기 마스터 장치에 의해 제어될 수 있는 전자 장치로 복수일 수 있다.
도 7에서는 구체적으로, 상기 영역에 냉장고가 위치하고 상기 휴대 단말을 소지한 상기 사용자가 상기 냉장고 주변으로 이동하는 경우, 기설치되어 있던 상기 냉장고를 제어할 수 있는 어플리케이션이 상기 휴대 단말에 실행된 모습을 나타낸 것이다.
이하에서는 본 개시에 따라 마스터 장치가 제어하기 위한 전자 장치의 등록 및 사용자를 감지하기 위한 영역 설정 방법에 대해 설명한다.
상기 마스터 장치에 의해 제어될 수 있는 전자 장치를 등록하는 첫 번째 방법은 사용자가 직접 상기 마스터 장치에서 상기 전자 장치를 등록하는 것이다. 예를 들어, 제1 마스터 장치 주변에 TV, 에어컨, 로봇 청소기가 위치하면 사용자는 직접 제1 마스터 장치에서 TV, 에어컨, 로봇 청소기를 등록할 수 있다.
상기 마스터 장치에 의해 제어될 수 있는 전자 장치를 등록하는 두 번째 방법은 상기 마스터 장치의 기능을 이용하여 상기 마스터 장치로부터 일정 거리 내에 위치한 전자 장치를 등록하는 것이다. 상기 마스터 장치의 기능은 Wi-Fi aware P2P ranging 기능일 수 있다.
도 8은 본 개시의 일 실시예에 따라 마스터 장치가 Wi-Fi aware P2P ranging 기능을 이용해 전자 장치를 등록하는 시퀀스도이다.
마스터 장치(820)는 전자 장치(810)로 거리를 측정하기 위해 FTM(Fine Timing Measurement) Request를 전송할 수 있다(830).
전자 장치(810)는 마스터 장치(820)에게 이에 대한 응답으로 상기 FTM Request에 대한 ACK를 전송할 수 있다(835).
전자 장치(810)는 거리 측정의 시작을 알리는 메시지(M)를 전송할 수 있다(840). 이때 전자 장치(810)는 상기 메시지의 전송 시각(ToD, Time of Delivery) t1을 확인하고, 마스터 장치(820)는 상기 메시지를 수신한 시각(ToA, Time of Arrival) t2를 확인한다.
마스터 장치(820)는 상기 메시지에 대한 ACK를 전자 장치(810)로 전송할 수 있다(845). 마스터 장치(820)는 상기 ACK의 전송 시각 t3을 확인하고, 전자 장치(810)는 상기 메시지를 수신한 시각 t4를 확인한다.
전자 장치(810)는 상기 메시지를 전송한 시각 t1과, 상기 메시지에 대한 ACK를 전송받은 시각 t4를 마스터 장치(820)로 전송할 수 있다(850). 마스터 장치(820)는 전자 장치(810)로부터 전송받은 시각을 기초로 <수학식 1>을 이용해 전자 장치(810)까지의 거리(D)를 계산한다.
[수학식 1]
D = c * ((t4-t1)-(t3-t2))/2
여기서, c는 빛의 속도이다.
마스터 장치(820)는 상기 계산된 거리를 기초로 전자 장치(810)를 등록할 지 결정하여 그 결과를 전자 장치(810)로 전송할 수 있다(855).
상기 마스터 장치에 의해 제어될 수 있는 전자 장치를 등록하는 세 번째 방법은 사용자가 직접 전자 장치에서 상기 마스터 장치에 등록하는 것이다. 예를 들어, 상기 사용자는 직접 상기 전자 장치의 물리적 버튼을 이용해 상기 사용자가 위치하는 영역을 상기 전자 장치에 저장하여 등록할 수 있다. 또한, 이러한 동작이 일정 시간 반복되는 경우에 한해 상기 전자 장치를 상기 마스터 장치에 등록하는 것도 가능할 것이다.
앞서 설명한 방법 중 적어도 어느 하나에 따라 전자 장치를 등록한 마스터 장치는 영역을 추가로 설정할 수 있다. 사용자가 직접 상기 마스터 장치로부터 일정 반경을 상기 영역으로 설정할 수도 있고, 그렇지 않는 경우에는 미리 정해진 값(Default 값)에 따라 영역이 설정될 수도 있다. 또는, 상기 마스터 장치는 Wi-Fi aware 기능 또는 60GHz Wi-Fi ranging 기능을 이용해 다른 마스터 장치와의 거리를 확인하여 영역을 설정할 수 있다. 마스터 장치가 다수인 경우 상기 영역은 서로 겹쳐질 수 있다. 이때, 마스터 장치간의 거리가 미리 정해진 값보다 가까워지는 경우 문제가 될 수 있는데, 가장 간단하게는 확인한 서로간의 거리를 1/2하여 겹치지 않게 영역을 설정할 수 있다. 또는, 상기 확인한 서로간의 거리를 2/3하여 영역으로 설정할 수 있는데, 이 경우에는 서로 간의 영역이 겹치게 된다. 다른 예로는 마스터 장치 간의 거리가 너무 가까운 경우 이러한 사실을 사용자에게 음성으로 알려줄 수도 있다.
본 개시에 따르면, 사용자는 영역간의 이동이 자유로울 수 있다. 따라서, 상기 사용자가 제1 영역에서 음성 명령을 지시하고, 상기 제1 영역을 이탈해 제2 영역으로 진입하는 경우 문제될 수 있다.
이를 해결하기 위한 방법으로는, 상기 음성 명령과 관련된 전자 장치가 상기 마스터 장치를 통하지 않고 직접 사용자에게 응답할 수도 있다. 예를 들어, 사용자가 제1 영역에서 TV를 켜라고 명령하면, 제1 영역의 마스터 장치는 상기 TV를 켠다. 이때, 상기 TV는 자신이 켜진 사실을 직접 상기 사용자에게 알릴 수도 있다.
이를 해결하기 위한 다른 방법으로는, 상기 음성 명령은 제1 영역의 마스터 장치가 수신하지만, 상기 음성 명령과 관련한 정보를 상기 제1 영역의 마스터 장치가 제2 영역의 마스터 장치로 전달해, 상기 제2 영역의 마스터 장치가 응답할 수 있다. 즉, 마스터 장치간 핸드 오버가 발생할 수 있다.
도 9는 본 개시에 따른 마스터 장치간 핸드 오버를 설명하기 위한 도면이다.
도 9에 따르면, 3개의 마스터 장치는 각각 동일한 크기의 영역을 가지고 있으며, 일부 영역은 겹쳐질 수 있다.
사용자(930)가 제1 마스터 장치(910)의 영역에 위치하면, 제1 마스터 장치(910)는 사용자(930)를 추적할 수 있다. 이후, 사용자(930)가 제1 마스터 장치(910)의 영역과 제2 마스터 장치(920)의 영역이 겹치는 지역에 위치하게 되면 제1 마스터 장치(910) 외에 제2 마스터 장치(920)도 사용자(930)를 추적할 수 있다.
사용자(930)가 다시 이동하여 제1 마스터 장치(910)만의 영역에 위치하면(940), 제1 마스터 장치(910)는 사용자(930)를 추적하고, 제2 마스터 장치(920)는 감지 모드로 동작할 수 있다.
또는, 사용자(930)가 제2 마스터 장치(920)만의 영역으로 이동하면(950), 제2 마스터 장치(920)는 사용자(930)를 추적하고, 제1 마스터 장치(910)는 감지 모드로 동작할 수 있다.
또는, 사용자(930)가 제1 마스터 장치(910)의 영역과 제2 마스터 장치(920)의 영역이 겹치는 지역 내에서 이동하면(960), 직전에 사용자(930)가 위치하였던 영역의 마스터 장치인 제1 마스터 장치(910)가 사용자(930)를 추적할 수 있다.
다른 실시예에서는, 사용자가 겹쳐지는 영역에 위치하면 상기 사용자의 제스처는 인식되지 않을 수 있다.
또 다른 실시예로, 사용자가 영역을 이동하게 되면, 처음 사용자가 진입하는 영역의 마스터 장치는 사용자의 휴대 단말로 상기 영역 내의 전자 장치에 관한 정보 등을 제공할 수 있다.
도 10은 본 개시에 따른 마스터 장치의 내부 구성도 일 예를 나타낸 도면이다.
구체적으로, 도 10은 상기 마스터 장치는 송신부(1010), 수신부(1030), 듀플렉서(1040), 및 서보 제어기(1070) 등을 포함할 수 있다.
송신부(1010)는 듀플렉서(1040)를 이용해 레이더를 송신할 수 있고, 수신부(1030)는 듀플렉서(1040)를 이용해 레이더를 수신할 수 있다. 듀플렉서(1040)는 상기 마스터 장치가 레이더를 송신하는지 또는 수신하는지에 따라 일부 구성을 전환할 수 있다.
듀플렉서(1040)는 레이더를 수신하여 Range/Doppler Gating(1050)로 전달하면, Range/Doppler Gating(1050)에서는 Time & Frequency(1060)로부터 송수신 시간, 주파수 정보를 받아 거리 및 도플러 게이팅을 수행할 수 있다.
수신부(1030)는 각도에 대한 오차를 판단하기 위해 Angle Error(1020)로 Range/Doppler Gating(1050)로부터 받은 정보를 전달할 수 있다.
서보 제어기(1070)는 Angle Error(1020)로부터 전송받은 상기 오차 정보를 기반으로 상기 마스터 장치의 모드 등을 제어할 수 있다.
도 10에서는 다수의 구성으로 나누어 설명하였으나, Angle Error(1020), Range/Doppler Gating(1050), Time & Frequency(1060), 및 서보 제어기(1070) 등은 제어부로 구성될 수 있다. 또한, 송신부(1010), 수신부(1030)와 듀플렉서(1040)로 나누어 설명하였으나 송수신부로 구성될 수 있다.
또한, 도 10에서는 도 1과는 다른 구성이 수행하는 것으로 설명하였으나, 도 1의 구성 예를 들면, 프로세서(120), 통신 모듈(190) 등에 의해 수행될 수도 있다.
도 11은 본 개시에 따른 마스터 장치가 영역 내의 전자 장치에 관한 서비스를 제공하는 순서도를 나타낸 도면이다.
상기 마스터 장치는 레이더를 이용해 상기 영역 내에 사용자가 존재하는지 확인할 수 있다(1110). 구체적으로, 상기 마스터 장치는 레이더 송수신 시간, 페이지(phase) 변화 등을 확인해 사용자가 존재하는지 여부, 상기 사용자까지의 거리 등을 판단할 수 있다.
상기 사용자가 존재하는 것으로 확인되면, 상기 마스터 장치는 상기 영역 내에서 상기 사용자의 이동을 추적할 수 있다(1120).
상기 마스터 장치는 상기 사용자에게 상기 전자 장치에 관한 서비스를 제공할 수 있다(1130). 상기 전자 장치는 상기 영역 내에 포함되어 상기 마스터에 의해 제어될 수 있다.
상기 전자 장치에 관한 서비스는, 상기 사용자가 상기 영역 내에 진입하거나 상기 전자 장치의 일정 반경 내에 위치하면, 상기 전자 장치에 관한 정보를 제공하는 서비스일 수 있다. 상기 전자 장치에 관한 서비스는, 상기 사용자의 특정 제스처를 상기 전자 장치에 대한 명령을 인식하여 수행되는 서비스일 수 있다. 또는, 상기 전자 장치에 관한 서비스는, 상기 사용자가 소지한 휴대 단말을 이용하여 상기 전자 장치에 관련된 어플리케이션이 수행되는 서비스일 수 있다.
상기 마스터 장치는 상기 사용자가 상기 영역을 벗어나는지 확인하여 상기 사용자에 관한 정보를 다른 마스터 장치에게 전송할 수 있다.
상기 마스터 장치는 상기 영역 내에 존재하는 장치로 새로운 전자 장치를 추가할 수 있으며, 이때 상기 마스터 장치의 Wi-Fi aware P2P 기능을 이용할 수 있다.
상기 영역은 상기 마스터 장치의 일정 반경 내로 설정될 수 있으며, 상기 영역이 다른 마스터 장치의 영역과 겹치는 경우 상기 다른 마스터 장치와의 거리를 확인하고 확인된 거리를 기초로 상기 영역을 설정될 수 있다. 이때 상기 마스터 장치는 Wi-Fi aware 기능 또는 60GHz Wi-Fi ranging 기능을 이용하여 상기 다른 마스터 장치와의 거리를 확인할 수 있다.
본 개시의 다양한 실시예에 따르면, 영역(zone)내의 전자 장치에 관한 서비스를 제공하는 마스터 장치는 레이더 통신 모듈, 근거리 통신 모듈, 및 상기 레이더 통신 모듈을 이용해 상기 영역 내에 사용자가 존재하는지 확인하고, 상기 사용자가 존재하는 것으로 확인되면, 상기 영역 내에서 상기 사용자의 이동을 추적하며, 상기 사용자에게 상기 전자 장치에 관한 서비스를 제공하는 제어부를 포함하고, 상기 전자 장치는 상기 정해진 영역 내에 포함되어 상기 마스터 장치에 의해 제어될 수 있다.
본 개시의 다양한 실시예에 따르면, 상기 마스터 장치의 상기 전자 장치에 관한 서비스는, 상기 사용자가 상기 영역 내에 진입하거나 상기 전자 장치의 일정 반경 내에 위치하면, 상기 전자 장치에 관한 정보를 제공되는 서비스일 수 있다.
본 개시의 다양한 실시예에 따르면, 상기 마스터 장치의 상기 전자 장치에 관한 서비스는, 상기 사용자의 특정 제스처를 상기 전자 장치에 대한 명령을 인식하여 수행되는 서비스일 수 있다.
본 개시의 다양한 실시예에 따르면, 상기 마스터 장치의 상기 전자 장치에 관한 서비스는, 상기 사용자가 소지한 휴대 단말을 이용하여 상기 전자 장치에 관련된 어플리케이션이 수행되는 서비스일 수 있다.
본 개시의 다양한 실시예에 따르면, 상기 마스터 장치의 상기 제어부는, 상기 사용자가 상기 영역을 벗어나는지 확인하고, 상기 사용자에 관한 정보를 다른 마스터 장치에게 전송할 수 있다.
본 개시의 다양한 실시예에 따르면, 상기 마스터 장치의 상기 제어부는, 상기 영역 내에 존재하는 장치로 새로운 전자 장치를 추가할 수 있다.
본 개시의 다양한 실시예에 따르면, 상기 마스터 장치의 상기 제어부는, 상기 마스터 장치의 Wi-Fi aware P2P 기능을 이용해 상기 새로운 전자 장치를 추가할 수 있다.
본 개시의 다양한 실시예에 따르면, 상기 마스터 장치의 상기 영역은 상기 마스터 장치의 일정 반경 내로 설정될 수 있다.
본 개시의 다양한 실시예에 따르면, 상기 마스터 장치의 상기 제어부는, 상기 영역이 다른 마스터 장치의 영역과 겹치는 경우, 상기 다른 마스터 장치와의 거리를 확인하고 확인된 거리를 기초로 상기 영역을 설정할 수 있다.
본 개시의 다양한 실시예에 따르면, 상기 마스터 장치의 상기 제어부는, 상기 다른 마스터 장치와의 거리는 Wi-Fi aware 기능 또는 60GHz Wi-Fi ranging 기능을 이용하여 확인할 수 있다.
본 개시의 다양한 실시예에 따르면, 영역(zone)내의 마스터 장치를 이용하여 전자 장치에 관한 서비스를 제공하는 방법은 레이더(radar)를 이용해 상기 영역 내에 사용자가 존재하는지 확인하는 동작, 상기 사용자가 존재하는 것으로 확인되면, 상기 영역 내에서 상기 사용자의 이동을 추적하는 동작, 및 상기 사용자에게 상기 전자 장치에 관한 서비스를 제공하는 동작을 포함하고 상기 전자 장치는 상기 영역 내에 포함되어 상기 마스터 장치에 의해 제어될 수 있다.
본 개시의 다양한 실시예에 따른 상기 전자 장치에 관한 서비스를 제공하는 방법의 상기 전자 장치에 관한 서비스는, 상기 사용자가 상기 영역 내에 진입하거나 상기 전자 장치의 일정 반경 내에 위치하면, 상기 전자 장치에 관한 정보를 제공되는 서비스일 수 있다.
본 개시의 다양한 실시예에 따른 상기 전자 장치에 관한 서비스를 제공하는 방법의 상기 전자 장치에 관한 서비스는, 상기 사용자의 특정 제스처를 상기 전자 장치에 대한 명령을 인식하여 수행되는 서비스일 수 있다.
본 개시의 다양한 실시예에 따른 상기 전자 장치에 관한 서비스를 제공하는 방법의 상기 전자 장치에 관한 서비스는, 상기 사용자가 소지한 휴대 단말을 이용하여 상기 전자 장치에 관련된 어플리케이션이 수행되는 서비스일 수 있다.
본 개시의 다양한 실시예에 따른 상기 전자 장치에 관한 서비스를 제공하는 방법은 상기 사용자가 상기 영역을 벗어나는지 확인하는 동작, 상기 사용자에 관한 정보를 다른 마스터 장치에게 전송하는 동작을 더 포함할 수 있다.
본 개시의 다양한 실시예에 따른 상기 전자 장치에 관한 서비스를 제공하는 방법은 상기 영역 내에 존재하는 장치로 새로운 전자 장치를 추가하는 동작을 더 포함할 수 있다.
본 개시의 다양한 실시예에 따른 상기 전자 장치에 관한 서비스를 제공하는 방법의 상기 새로운 전자 장치를 추가하는 동작은, 상기 마스터 장치의 Wi-Fi aware P2P 기능을 이용해 추가하는 동작일 수 있다.
본 개시의 다양한 실시예에 따른 상기 전자 장치에 관한 서비스를 제공하는 방법의 상기 영역은 상기 마스터 장치의 일정 반경 내로 설정될 수 있다.
본 개시의 다양한 실시예에 따른 상기 전자 장치에 관한 서비스를 제공하는 방법은 상기 영역이 다른 마스터 장치의 영역과 겹치는 경우, 상기 다른 마스터 장치와의 거리를 확인하고 확인된 거리를 기초로 상기 영역을 설정될 수 있다.
본 개시의 다양한 실시예에 따른 상기 전자 장치에 관한 서비스를 제공하는 방법에 있어서, 상기 다른 마스터 장치와의 거리는 Wi-Fi aware 기능 또는 60GHz Wi-Fi ranging 기능을 이용하여 확인될 수 있다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나,""A, B 또는 C," "A, B 및 C 중 적어도 하나,"및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 영역(zone)내의 전자 장치에 관한 서비스를 제공하는 마스터 장치에 있어서,
    레이더 통신 모듈;
    근거리 통신 모듈; 및
    상기 레이더 통신 모듈을 이용해 상기 영역 내에 사용자가 존재하는지 확인하고, 상기 사용자가 존재하는 것으로 확인되면, 상기 영역 내에서 상기 사용자의 이동을 추적하며, 상기 사용자에게 상기 전자 장치에 관한 서비스를 제공하는 제어부를 포함하고,
    상기 전자 장치는 상기 정해진 영역 내에 포함되어 상기 마스터 장치에 의해 제어됨을 특징으로 하는 전자 장치에 관한 서비스를 제공하는 마스터 장치.
  2. 제1항에 있어서, 상기 전자 장치에 관한 서비스는,
    상기 사용자가 상기 영역 내에 진입하거나 상기 전자 장치의 일정 반경 내에 위치하면, 상기 전자 장치에 관한 정보를 제공되는 서비스임을 특징으로 하는 전자 장치에 관한 서비스를 제공하는 마스터 장치.
  3. 제1항에 있어서, 상기 전자 장치에 관한 서비스는,
    상기 사용자의 특정 제스처를 상기 전자 장치에 대한 명령을 인식하여 수행되는 서비스임을 특징으로 하는 전자 장치에 관한 서비스를 제공하는 마스터 장치.
  4. 제1항에 있어서, 상기 전자 장치에 관한 서비스는,
    상기 사용자가 소지한 휴대 단말을 이용하여 상기 전자 장치에 관련된 어플리케이션이 수행되는 서비스임을 특징으로 하는 전자 장치에 관한 서비스를 제공하는 마스터 장치.
  5. 제1항에 있어서, 상기 제어부는,
    상기 사용자가 상기 영역을 벗어나는지 확인하고, 상기 사용자에 관한 정보를 다른 마스터 장치에게 전송하는 것을 특징으로 하는 전자 장치에 관한 서비스를 제공하는 마스터 장치.
  6. 제1항에 있어서, 상기 제어부는,
    상기 영역 내에 존재하는 장치로 새로운 전자 장치를 추가하는 것을 특징으로 하는 전자 장치에 관한 서비스를 제공하는 마스터 장치.
  7. 제6항에 있어서, 상기 제어부는,
    상기 마스터 장치의 Wi-Fi aware P2P 기능을 이용해 상기 새로운 전자 장치를 추가하는 것을 특징으로 하는 전자 장치에 관한 서비스를 제공하는 마스터 장치.
  8. 제1항에 있어서,
    상기 영역은 상기 마스터 장치의 일정 반경 내로 설정됨을 특징으로 하는 전자 장치에 관한 서비스를 제공하는 마스터 장치.
  9. 제8항에 있어서, 상기 제어부는,
    상기 영역이 다른 마스터 장치의 영역과 겹치는 경우, 상기 다른 마스터 장치와의 거리를 확인하고 확인된 거리를 기초로 상기 영역을 설정함을 특징으로 하는 전자 장치에 관한 서비스를 제공하는 마스터 장치.
  10. 제9항에 있어서, 상기 제어부는,
    상기 다른 마스터 장치와의 거리는 Wi-Fi aware 기능 또는 60GHz Wi-Fi ranging 기능을 이용하여 확인함을 특징으로 하는 전자 장치에 관한 서비스를 제공하는 마스터 장치.
  11. 영역(zone)내의 마스터 장치를 이용하여 전자 장치에 관한 서비스를 제공하는 방법에 있어서,
    레이더(radar)를 이용해 상기 영역 내에 사용자가 존재하는지 확인하는 동작;
    상기 사용자가 존재하는 것으로 확인되면, 상기 영역 내에서 상기 사용자의 이동을 추적하는 동작; 및
    상기 사용자에게 상기 전자 장치에 관한 서비스를 제공하는 동작을 포함하고,
    상기 전자 장치는 상기 영역 내에 포함되어 상기 마스터 장치에 의해 제어됨을 특징으로 하는 전자 장치에 관한 서비스 제공 방법.
  12. 제11항에 있어서, 상기 전자 장치에 관한 서비스는,
    상기 사용자가 상기 영역 내에 진입하거나 상기 전자 장치의 일정 반경 내에 위치하면, 상기 전자 장치에 관한 정보를 제공되는 서비스임을 특징으로 하는 전자 장치에 관한 서비스 제공 방법.
  13. 제11항에 있어서, 상기 전자 장치에 관한 서비스는,
    상기 사용자의 특정 제스처를 상기 전자 장치에 대한 명령을 인식하여 수행되는 서비스임을 특징으로 하는 전자 장치에 관한 서비스 제공 방법.
  14. 제11항에 있어서, 상기 전자 장치에 관한 서비스는,
    상기 사용자가 소지한 휴대 단말을 이용하여 상기 전자 장치에 관련된 어플리케이션이 수행되는 서비스임을 특징으로 하는 전자 장치에 관한 서비스 제공 방법.
  15. 제11항에 있어서,
    상기 사용자가 상기 영역을 벗어나는지 확인하는 동작;
    상기 사용자에 관한 정보를 다른 마스터 장치에게 전송하는 동작을 더 포함하는 전자 장치에 관한 서비스 제공 방법.
PCT/KR2020/004451 2019-06-26 2020-04-01 영역(zone)을 형성하여 전자 장치에 관한 서비스를 제공하는 방법 및 그 장치 WO2020262808A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/560,591 US20220113395A1 (en) 2019-06-26 2021-12-23 Method for providing service related to electronic device by forming zone, and device therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0076324 2019-06-26
KR1020190076324A KR20210000974A (ko) 2019-06-26 2019-06-26 영역(zone)을 형성하여 전자 장치에 관한 서비스를 제공하는 방법 및 그 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/560,591 Continuation US20220113395A1 (en) 2019-06-26 2021-12-23 Method for providing service related to electronic device by forming zone, and device therefor

Publications (1)

Publication Number Publication Date
WO2020262808A1 true WO2020262808A1 (ko) 2020-12-30

Family

ID=74060994

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/004451 WO2020262808A1 (ko) 2019-06-26 2020-04-01 영역(zone)을 형성하여 전자 장치에 관한 서비스를 제공하는 방법 및 그 장치

Country Status (3)

Country Link
US (1) US20220113395A1 (ko)
KR (1) KR20210000974A (ko)
WO (1) WO2020262808A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210050811A (ko) * 2019-10-29 2021-05-10 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102407985B1 (ko) * 2021-02-17 2022-06-13 주식회사 피에스티텍 위치정보기반 사물인터넷 위치 추적 시스템
US20230176988A1 (en) * 2021-12-03 2023-06-08 Pixart Imaging Inc. Detection system sending calculated data and raw data

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080037599A (ko) * 2006-10-26 2008-04-30 (주) 네톰 근거리 감지 레이더와 센서를 이용한 방범/방재 시스템 및그 방법
KR20100136659A (ko) * 2009-06-19 2010-12-29 숙명여자대학교산학협력단 이동통신 단말기를 이용한 존 기반 판매/구매 서비스 제공 방법 및 시스템
KR20120024247A (ko) * 2010-09-06 2012-03-14 삼성전자주식회사 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법 및 그 이동 장치
KR20160015668A (ko) * 2014-07-31 2016-02-15 삼성전자주식회사 영역을 인식하는 방법 및 전자 장치
KR20170007472A (ko) * 2014-10-02 2017-01-18 구글 인코포레이티드 비-가시선 레이더-기반 제스처 인식

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080037599A (ko) * 2006-10-26 2008-04-30 (주) 네톰 근거리 감지 레이더와 센서를 이용한 방범/방재 시스템 및그 방법
KR20100136659A (ko) * 2009-06-19 2010-12-29 숙명여자대학교산학협력단 이동통신 단말기를 이용한 존 기반 판매/구매 서비스 제공 방법 및 시스템
KR20120024247A (ko) * 2010-09-06 2012-03-14 삼성전자주식회사 사용자의 제스처를 인식하여 이동 장치를 동작하는 방법 및 그 이동 장치
KR20160015668A (ko) * 2014-07-31 2016-02-15 삼성전자주식회사 영역을 인식하는 방법 및 전자 장치
KR20170007472A (ko) * 2014-10-02 2017-01-18 구글 인코포레이티드 비-가시선 레이더-기반 제스처 인식

Also Published As

Publication number Publication date
US20220113395A1 (en) 2022-04-14
KR20210000974A (ko) 2021-01-07

Similar Documents

Publication Publication Date Title
WO2021049749A1 (en) Electronic device and method for position determination using uwb signal
WO2020262808A1 (ko) 영역(zone)을 형성하여 전자 장치에 관한 서비스를 제공하는 방법 및 그 장치
WO2020189875A1 (en) Electronic device providing periodic positioning communication via wireless communication channel
WO2020032486A1 (en) Apparatus and method for communicating by using bluetooth low energy
WO2019221466A1 (ko) 외부 객체의 근접에 기반하여, 외부 장치로부터 전송될 무선 전력을 조정하기 위한 정보를 외부 장치로 전달하는 전자 장치 및 방법
WO2020067785A1 (ko) 사물의 위치 및 방향을 기반으로 기능을 제어하는 전자 장치 및 방법
WO2018155936A1 (en) Vision-based object recognition device and method for controlling the same
WO2020022780A1 (en) Method and apparatus for establishing device connection
WO2021033927A1 (ko) 위치를 연산하기 위한 방법 및 그 전자 장치
WO2020050636A1 (ko) 사용자 의도 기반 제스처 인식 방법 및 장치
EP3808097A1 (en) Method and apparatus for establishing device connection
WO2019156416A1 (en) Apparatus and method for tracking movement of electronic device
WO2021002647A1 (en) Electronic device for performing ranging and method thereof
WO2020055112A1 (en) Electronic device and method for identifying location by electronic device
WO2019209075A1 (ko) 외부 전자 장치를 제어하는 전자 장치 및 방법
WO2019168377A1 (en) Electronic device and method for controlling external electronic device based on use pattern information corresponding to user
WO2019208930A1 (ko) Wi-fi 통신 및 모바일 핫스팟 통신을 제공하기 위한 전자 장치 및 그에 관한 방법
WO2021002681A1 (ko) 객체를 인식하기 위한 전자 장치 및 그의 동작 방법
WO2020231098A1 (en) Apparatus and method for preventing interference with wireless communication
WO2021060943A1 (en) Electronic device for identifying external electronic device and method of operating same
WO2019112335A1 (ko) 측위를 수행하는 전자 장치 및 전자 장치의 제어 방법
WO2019151734A1 (ko) 카메라 구동 방식 변경 기반의 음성 및 얼굴 인식 장치 및 방법
WO2020050432A1 (ko) 이동 단말기
WO2021149938A1 (en) Electronic device and method for controlling robot
WO2020171607A1 (ko) 온도 변화에 따른 오류 터치를 방지하는 터치 회로, 터치 회로를 포함하는 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20832674

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20832674

Country of ref document: EP

Kind code of ref document: A1