WO2022031019A1 - Uwb와 ar를 이용한 분실기기 찾는 방법 및 그 장치 - Google Patents

Uwb와 ar를 이용한 분실기기 찾는 방법 및 그 장치 Download PDF

Info

Publication number
WO2022031019A1
WO2022031019A1 PCT/KR2021/010249 KR2021010249W WO2022031019A1 WO 2022031019 A1 WO2022031019 A1 WO 2022031019A1 KR 2021010249 W KR2021010249 W KR 2021010249W WO 2022031019 A1 WO2022031019 A1 WO 2022031019A1
Authority
WO
WIPO (PCT)
Prior art keywords
uwb
electronic device
external device
information
communication circuit
Prior art date
Application number
PCT/KR2021/010249
Other languages
English (en)
French (fr)
Inventor
임채길
김근석
신재화
조지만
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210004178A external-priority patent/KR20220017344A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN202180056720.8A priority Critical patent/CN116097667A/zh
Priority to EP21852515.2A priority patent/EP4184955A4/en
Publication of WO2022031019A1 publication Critical patent/WO2022031019A1/ko
Priority to US17/895,628 priority patent/US20220407666A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/0091—Signaling for the administration of the divided path
    • H04L5/0096—Indication of changes in allocation
    • H04L5/0098—Signalling of the activation or deactivation of component carriers, subcarriers or frequency bands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/003—Arrangements for allocating sub-channels of the transmission path
    • H04L5/0048—Allocation of pilot signals, i.e. of signals known to the receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/04—Wireless resource allocation
    • H04W72/044—Wireless resource allocation based on the type of the allocated resource
    • H04W72/0453—Resources in frequency domain, e.g. a carrier in FDMA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/15—Setup of multiple wireless link connections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/005—Discovery of network devices, e.g. terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H04W88/04—Terminal devices adapted for relaying to or from another terminal or user

Definitions

  • Various embodiments disclosed in this document relate to a technology for providing a location check service of an electronic device.
  • An existing service may be, for example, a method in which a server collects the location of a lost user's smart phone and provides the location of the smart phone to the user. For example, if a user who has lost a smartphone requests to check the location of the smartphone after logging into the smartphone manufacturer's website with his or her account, the server transmits the location information confirmed through communication with the smartphone to the website or application can be provided through
  • the above method assumes that an electronic device that can communicate directly with the server, such as a smartphone, is lost, so it is possible to pair with a smartphone through short-distance communication (eg Bluetooth or Wi-Fi direct), but communicate directly with the server. It cannot be used on devices that do not have the ability to do so (eg earphones or headsets).
  • the lost device transmits its identification information to the peripheral device
  • the peripheral device provides its own information and the identification information of the lost device together to the server
  • the server uses the identification information of the lost device to provide the lost device can provide the location information of the lost device to the original user of
  • the owner of the lost device obtains the location information of the lost device, since this corresponds to coordinate information based on a positioning system such as GPS, it may be difficult for the user to easily find the lost device even if the user actually visits the corresponding coordinates. For example, even if the obtained coordinates of the lost device specify a certain park or building, a realistically specified place may correspond to a huge search range from the point of view of the user.
  • a method of easily discovering a lost device using ultra-wide band (UWB) communication and augmented reality (AR) functions is provided. can provide
  • An electronic device includes a camera, a display, a positioning circuit, a UWB antenna, a UWB communication circuit connected to the UWB antenna, a first wireless communication circuit supporting short-range communication, and cellular communication. a second wireless communication circuit, and at least one processor.
  • the at least one processor obtains information about an external device registered in the electronic device but not currently connected to the electronic device from a server using the second wireless communication circuit, and obtains information from the server and the It is determined whether the electronic device is within a specified distance from the coordinates of the external device included in the information on the external device based on the position of the electronic device measured by the position measuring circuit, and in response to the determination, the second 1 establishes a short-range communication connection with the external device through a wireless communication circuit, transmits a request for activating a UWB function of the external device to the external device through the established short-range communication connection, and receives UWB from the external device
  • the position of the external device with respect to the electronic device may be identified based on a signal, and an augmented reality interface may be output to the display based on image data acquired using the camera and the identified position of the external device. .
  • information on an external device registered in the electronic device but not currently connected to the electronic device is retrieved from the server using the second wireless communication circuit of the electronic device.
  • the electronic device is designated from the coordinates of the external device included in the information about the external device based on the acquiring operation, the information acquired from the server, and the location of the electronic device measured by the location measuring circuit of the electronic device determining whether the device is within a distance; establishing a short-range communication connection with the external device through a first wireless communication circuit of the electronic device in response to the determination; Transmitting a request for activating a UWB function of an external device, identifying a location of the external device with respect to the electronic device based on a UWB signal received from the external device, and obtaining using a camera of the electronic device and outputting an augmented reality interface to the display of the electronic device based on the image data to be used and the identified location of the external device.
  • An electronic device includes a wireless communication circuit, a UWB communication circuit, a UWB antenna electrically connected to the UWB communication circuit, and electrically or operatively connected to the wireless communication circuit and the UWB communication circuit a processor, wherein the processor establishes a short-range communication connection with an external device using the wireless communication circuit, receives a UWB activation request through the short-range communication connection, and in response to the UWB activation request, the UWB communication
  • the circuit can be used to transmit a UWB signal of a specified frequency.
  • An electronic device includes a location measuring circuit, a first wireless communication circuit supporting short-range communication, a second wireless communication circuit supporting cellular communication, and the location measuring circuit and first wireless communication circuit, and at least one processor electrically connected to the second wireless communication circuit.
  • the at least one processor obtains an advertising packet from the external device using the first wireless communication circuit, and uses the second wireless communication circuit to obtain the external advertisement packet obtained from the advertising packet. Transmitting device identification information and location information of the electronic device obtained through the location measuring circuit to a server, obtaining an authentication key associated with the external device from the server, and communicating with the external device using the authentication key connection can be established.
  • the electronic device may provide an appropriate guide according to the distance from the lost device, and the user may intuitively determine the location of the lost device by following the guide using augmented reality.
  • the electronic device may increase search efficiency for a lost device by registering a lost message in advance and restrictively allowing a connection between the lost device and another person's device.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to various embodiments of the present disclosure
  • FIG. 2 illustrates a system for identifying a location of a user device according to various embodiments of the present disclosure.
  • FIG 3 illustrates modules related to various functions of an electronic device according to various embodiments of the present disclosure.
  • FIG. 4 illustrates modules related to various functions of a server according to various embodiments of the present disclosure.
  • FIG. 5 is a flowchart illustrating a first device registering a second device with a server, according to various embodiments of the present disclosure
  • FIG. 6 is a flowchart illustrating a current location of a lost device in a finding system according to various embodiments of the present disclosure.
  • FIG. 7 is a diagram illustrating a user interface for confirming locations of user devices in a first device according to various embodiments of the present disclosure
  • FIG. 8 is a flowchart illustrating an electronic device performing a scan to find an arbitrary external device, according to various embodiments of the present disclosure
  • FIG. 9 is a flowchart of adjusting a scan interval according to ON/OFF of a screen of an electronic device according to various embodiments of the present disclosure.
  • FIG. 10 illustrates a configuration of a second device and a data structure of a packet broadcast by the second device according to various embodiments of the present disclosure.
  • FIG. 11 illustrates hardware components of a first device according to various embodiments of the present disclosure.
  • FIG 12 illustrates hardware components of the first device and various modules related to various functions implemented through the hardware components according to various embodiments of the present disclosure.
  • FIG. 13 is a flowchart for providing a guide for finding a lost device according to various embodiments of the present disclosure.
  • FIG. 14 illustrates exemplary UIs provided by an electronic device according to a distance according to various embodiments of the present disclosure.
  • FIG. 15 illustrates exemplary UIs provided by an electronic device using augmented reality according to various embodiments of the present disclosure.
  • 16 is a flowchart of updating a target location using UWB and sensor data in an electronic device according to various embodiments of the present disclosure
  • FIG. 17 illustrates detailed detailed operations of the flowchart of FIG. 16 , according to various embodiments of the present disclosure.
  • FIG. 18 is a flowchart for establishing a connection with a lost device according to various embodiments of the present disclosure.
  • FIG. 19 illustrates exemplary UIs for activating a help request for finding a lost device and registering a lost message in the first device according to various embodiments of the present disclosure.
  • FIG. 20 illustrates exemplary UIs for activating a lost device finding function in an electronic device according to various embodiments of the present disclosure.
  • 21 illustrates exemplary UIs for performing a connection with a lost device in an electronic device according to various embodiments of the present disclosure.
  • FIG. 1 is a diagram illustrating an electronic device in a network environment 100 according to various embodiments of the present disclosure.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or a second network 199 . It may communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • a second network 199 e.g., a second network 199 . It may communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • the electronic device 101 includes a processor 120 , a memory 130 , an input module 150 , a sound output module 155 , a display module 160 , an audio module 170 , and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or an antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178
  • may be omitted or one or more other components may be added to the electronic device 101 .
  • some of these components are integrated into one component (eg, display module 160 ). can be
  • the processor 120 for example, executes software (eg, a program 140) to execute at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120 . It can control and perform various data processing or operations. According to an embodiment, as at least part of data processing or operation, the processor 120 stores a command or data received from another component (eg, the sensor module 176 or the communication module 190 ) into the volatile memory 132 . may be stored in the volatile memory 132 , and may process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • software eg, a program 140
  • the processor 120 stores a command or data received from another component (eg, the sensor module 176 or the communication module 190 ) into the volatile memory 132 .
  • the processor 120 stores a command or data received from another component (eg, the sensor module 176 or the communication module 190 ) into the volatile memory 132 .
  • the processor 120 is the main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit) a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • the main processor 121 e.g, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit
  • NPU neural processing unit
  • an image signal processor e.g., a sensor hub processor, or a communication processor.
  • the main processor 121 e.g, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit
  • NPU neural processing unit
  • an image signal processor e.g., a sensor hub processor, or a communication processor.
  • the main processor 121 e.g, a central processing unit or an application processor
  • a secondary processor 123
  • the auxiliary processor 123 is, for example, on behalf of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, executing an application). ), together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the auxiliary processor 123 eg, an image signal processor or a communication processor
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • Artificial intelligence models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself on which artificial intelligence is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted Boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example.
  • the artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
  • the memory 130 may store various data used by at least one component of the electronic device 101 (eg, the processor 120 or the sensor module 176 ).
  • the data may include, for example, input data or output data for software (eg, the program 140 ) and instructions related thereto.
  • the memory 130 may include a volatile memory 132 or a non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 , and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used in a component (eg, the processor 120 ) of the electronic device 101 from the outside (eg, a user) of the electronic device 101 .
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output a sound signal to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver may be used to receive an incoming call. According to an embodiment, the receiver may be implemented separately from or as a part of the speaker.
  • the display module 160 may visually provide information to the outside (eg, a user) of the electronic device 101 .
  • the display module 160 may include, for example, a control circuit for controlling a display, a hologram device, or a projector and a corresponding device.
  • the display module 160 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module 170 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 170 acquires a sound through the input module 150 or an external electronic device (eg, a sound output module 155 ) directly or wirelessly connected to the electronic device 101 . A sound may be output through the electronic device 102 (eg, a speaker or headphones).
  • an external electronic device eg, a sound output module 155
  • a sound may be output through the electronic device 102 (eg, a speaker or headphones).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more designated protocols that may be used by the electronic device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102 ).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • the connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to an embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It can support establishment and communication performance through the established communication channel.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : It may include a LAN (local area network) communication module, or a power line communication module).
  • GNSS global navigation satellite system
  • a corresponding communication module among these communication modules is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (Wi-Fi) direct, or infrared data association (IrDA)) or a second network 199 (eg, : It is possible to communicate with the external electronic device 104 through a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a telecommunication network such as a computer network (eg, LAN or WAN).
  • a first network 198 eg, a short-range communication network such as Bluetooth, wireless fidelity (Wi-Fi) direct, or infrared data association (IrDA)
  • a second network 199 eg, : It is possible to communicate with the external electronic device 104 through a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a telecommunication network such as a computer network (eg, LAN or WAN).
  • the wireless communication module 192 uses the subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199 .
  • the electronic device 101 may be identified or authenticated.
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR).
  • NR access technology includes high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency) -latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • a high frequency band eg, mmWave band
  • the wireless communication module 192 includes various technologies for securing performance in a high-frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), all-dimensional multiplexing. It may support technologies such as full dimensional MIMO (FD-MIMO), an array antenna, analog beam-forming, or a large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101 , an external electronic device (eg, the electronic device 104 ), or a network system (eg, the second network 199 ).
  • the wireless communication module 192 includes a peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency ( Example: downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less).
  • a peak data rate eg, 20 Gbps or more
  • loss coverage eg, 164 dB or less
  • U-plane latency Example: downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less.
  • the antenna module 197 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is selected from the plurality of antennas by, for example, the communication module 190 . can be A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module comprises a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, bottom side) of the printed circuit board and capable of supporting a specified high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side surface) of the printed circuit board and capable of transmitting or receiving a signal of the designated high frequency band.
  • a specified high frequency band eg, mmWave band
  • a plurality of antennas eg, an array antenna
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or part of the operations performed by the electronic device 101 may be executed by one or more of the external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101 .
  • the electronic device 101 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or the server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • FIG. 2 illustrates a system for identifying a location of a user device according to various embodiments of the present disclosure.
  • a system may include user devices 200 , a server 300 , and an electronic device 400 . At least one of the user devices 200 and the electronic device 400 may be connected to the server 300 through the second network 199 (eg, Wi-Fi or a cellular network).
  • the second network 199 eg, Wi-Fi or a cellular network.
  • the user devices 200 may include a plurality of devices.
  • the second device 202 in addition to the first device 201 that a user mainly uses, the second device 202 , the third device 203 , the fourth device 204 , the fifth device 205 , and the sixth device At least one of (206) may be further possessed.
  • the first device 201 may be, for example, a mobile communication device such as a smart phone.
  • the second device 202 may be, for example, a wearable device such as a smart watch.
  • the third device 203 may be, for example, a Bluetooth earphone such as earbuds.
  • the fourth device 204 may be, for example, a Bluetooth headphone or headset.
  • the fifth device 205 may be, for example, a notebook computer.
  • the sixth device 206 may be, for example, a tablet.
  • the user may link and use other devices other than the first device 201 .
  • key fob, wallet, backpack, dog or cat identification device, automobile, bicycle, identification card, briefcase, umbrella, and/or other gear are also referred to herein.
  • the described communication function is satisfied, it may be linked with the first device 201 , and in case of loss, the first device 201 may perform location tracking.
  • a user may use two or more of the same device.
  • a user may use a plurality of smart phones (eg, the first device 201 ) by interworking.
  • the user may use two or more tablets (eg, the sixth device 206 ) in association with the first device 201 .
  • the user devices 200 may be connected to each other using a predetermined communication protocol.
  • the first device 201 may include at least one of the second device 202 , the third device 203 , the fourth device 204 , the fifth device 205 , and the sixth device 206 ; It can be connected through a local area network.
  • a network eg, a local area network
  • a network for establishing a connection between the user devices 200 may be appropriately selected.
  • BLE Bluetooth Low Energy
  • NFC near field communication
  • UWB ultra-wide band
  • Infra-red infrared
  • the user devices 200 may establish a connection using a mesh network (eg, zigbee or Z-Wave) through short-range wireless communication.
  • At least one of the second device 202 , the third device 203 , the fourth device 204 , the fifth device 205 , and the sixth device 206 . may be directly connected to the server 300 through the second network 199 .
  • a user device may establish a connection with the second network 199 stand-alone without relying on the first device 201 .
  • the user apparatuses 200 may connect to each other in various ways according to device information (eg, device components). For example, when at least one of the user devices 200 is an IP-based (IP address) device, a connection can be established with the second network 199 using a service set identifier (SSID), and the IP-based If it is not a device (eg, BLE, zigbee, or Z-Wave), a user device (eg, the first device 201) or a hub device (not shown) is used to establish a connection with the second network 199 can do.
  • IP-based IP address
  • SSID service set identifier
  • At least one of the user devices 200 may broadcast an advertising packet for providing a finding function in case of loss.
  • the second device 202 may broadcast a packet including various information including identification information of the second device 202 .
  • the packet may be broadcast so that electronic devices located within a predetermined communication range other than the second device 202 can receive it.
  • a packet or an advertising packet may be understood as a signal, message, or beacon capable of recognizing that a device has been lost.
  • At least one of the user devices 200 may determine whether or not it is lost according to various criteria. For example, when a first time (eg, 48 hours) has elapsed since the second device 202 was last connected to the first device 201 , which is the parent terminal or the main terminal, and/or the first device When a second time (eg, 24 hours) that is shorter than the first time has elapsed from the time of last connection with 201 , but the remaining battery level falls below a reference value (eg, 30%), it may be determined that the user is in a lost state.
  • Various loss determination criteria may be applied to the first time, the second time, and/or the remaining battery level according to a user setting or a manufacturer's standard, and may not be limited thereto.
  • the description of the electronic device 101 with reference to FIG. 1 may be appropriately applied to the user devices 200 .
  • the user's first device 201 is a smartphone
  • the first device 201 and the electronic device 101 may be the same device.
  • the user's third device 203 is earbuds without a display
  • other descriptions except for the display module 160 in the description of the electronic device 101 will be performed on the third device ( 203) can be appropriately applied.
  • the server 300 may correspond to the server 108 of FIG. 1 .
  • the server 300 may provide a function of confirming the location of the lost device.
  • the first device 201 will mainly describe an example of confirming the location of the lost second device 202 . do.
  • the electronic device 400 may be a device of a user different from the owner of the second device 202 .
  • the electronic device 400 may directly or indirectly obtain an advertising packet broadcast from the second device 202 in the vicinity of the lost second device 202 .
  • the electronic device 400 may include a short-range communication circuit for receiving a signal broadcast by the lost second device 202 using a short-range communication technique (eg, BLE).
  • the electronic device 400 may include a position measuring circuit (eg, a GPS circuit) for measuring its own position.
  • the electronic device 400 is a telecommunication circuit for transmitting information about the second device 202 and its location to the server 300 (eg, a communication circuit supporting a cellular network and/or a Wi-Fi network). may include
  • the electronic device 400 may also be a device (eg, a smartphone) of the same type as the first device 201 . Accordingly, some or all of the description of the electronic device 101 described with reference to FIG. 1 may also be applied to the electronic device 400 . In addition, descriptions of the configuration or function of the first device 201 in this document may also be applied to the electronic device 400 . However, the present invention is not limited thereto, and the electronic device 400 may be any electronic device supporting the above-described communication function.
  • FIG 3 illustrates modules related to various functions of an electronic device according to various embodiments of the present disclosure.
  • FIG. 3 may be understood as functions supported by the first device 201 in terms of finding a lost device.
  • it may be understood as a function supported by the electronic device 400 .
  • the first device 201 and the electronic device 400 are only classified according to whether the device is a device of a user looking for a lost device or a device of a user who provides assistance to find the lost device, in FIG. 3 .
  • the described function may be provided in both the first device 201 and the electronic device 400 .
  • the first device 201 will be described as a reference.
  • a function or operation described with reference to FIG. 3 may be understood as a function performed by the processor of the first device 201 .
  • the processor may execute instructions (eg, instructions) stored in the memory to implement the software module shown in FIG. 3 , and control hardware (eg, the communication module 180 of FIG. 1 ) associated with the function. can do.
  • the modules may include various processing circuitry and/or executable program instructions to provide various functions.
  • the first device 201 may manage at least one device card.
  • the first device card 211 for the first device 201 may be registered in the first device 201 .
  • the second device card 212 for the second device 202 having a history of interworking with the first device 201 may be registered in the first device 201 .
  • a device card (eg, first device card 211 , second device card 212 ) may include the name and/or identification information of the device, the status of the device, battery information of the device, the location history of the device and/or the current status of the device. Information such as a location or a message related to the device may be included.
  • information included in the first device card 211 and/or the second device card 212 may be set and/or changed by a user.
  • the user of the first device 201 and/or the second device 202 may have a name, device type (eg, type) associated with the first device 201 and/or second device 202 , or You can set policy information.
  • the first device 201 and the second device 202 may share the same user account, and the first device card 211 and the second device card 212 may be configured for the same user account. may be registered. For example, when a user of the first device 201 receives an input for confirming the location of the user's devices interlocked with the first device 201 , the first device 201 stores the first device stored in the memory.
  • a user interface (UI) showing information about the device card 211 and the second device card 212 may be provided to a display (eg, the display module 160 of FIG. 1 ).
  • a display eg, the display module 160 of FIG. 1 .
  • An exemplary UI is described below in more detail with reference to FIG. 7 .
  • the first device 201 and the second device 202 may be devices having different user accounts.
  • the first device card 211 and the second device card 212 are the same user can be registered for an account.
  • the first user account of the first user of the first device 201 is Through this, information on the second device 202 may be checked.
  • the same user standard is described for convenience, but various embodiments may be applied even when users of the first device 201 and the second device 202 are different from each other.
  • the tracker plugin 220 may be understood as a module for registering a user device.
  • the first device 201 may drive the tracker plug-in 220 .
  • the tracker plug-in 220 may provide an easy setup pop-up, registration using a QR code (QR triggering), or a manual registration (manual onboarding) function.
  • QR code QR triggering
  • manual registration manual onboarding
  • a user can obtain a second product by photographing a QR code attached to one side of the second device 202 or a product case using a camera mounted on the first device 201 (eg, the camera module 180 of FIG. 1 ).
  • the device 202 may be registered with the server 300 in association with the user account.
  • the finding platform 230 may perform a function for finding a lost device.
  • the finding platform 230 may control the hardware to effectively find the lost device according to the distance from the lost device.
  • the finding platform 230 may operate in conjunction with a BT finder 231 , a UWB finder 232 , and/or an AR finder 233 .
  • the BT finder 231 may control the Bluetooth communication circuit
  • the UWB finder 232 may control the UWB communication circuit
  • the AR finder 233 may control the display.
  • the BT finder 231 may operate when the first device 201 and the second device 202 are within a first distance (eg, about 100 m).
  • the finding platform 230 controls the BT finder 231, and when the first device 201 and the second device 202 are within the first distance, a short-distance communication circuit supporting Bluetooth communication and / or BLE communication It can be used to receive a packet from the second device 202 or establish a short-range communication connection with the second device 202 .
  • the UWB finder 232 may operate when the first device 201 and the second device 202 are within a second distance (eg, about 50 m) smaller than the first distance.
  • the finding platform 230 may control the UWB finder 232 to activate a UWB communication circuit connected to a plurality of UWB antennas to receive a signal of a UWB channel used for positioning.
  • the finding platform 230 receives the UWB signal received from the second device 202 using the UWB communication circuit, and based on the arrival time and/or angle of arrival of the signal received by each of the plurality of UWB antennas, the second device The location of 202 can be estimated.
  • the AR finder 233 may visually assist the user in locating the second device 202 by implementing augmented reality on the display when the second device 202 is in close proximity.
  • the term "short-distance" may be substantially the same as the second distance, or may be within a third distance shorter than the second distance.
  • the finding platform 230 outputs the image data acquired through the camera to the display, and the AR finder 233 to display the position of the second device 202 identified through the UWB finder 232 on the screen output to the display.
  • the AR finder 233 detects that when the first device 201 does not effectively receive the UWB signal from the second device 202 (eg, when the reception sensitivity is below a threshold value), the first device 201 transmits the UWB signal. You can guide through the display to have a posture (angle) suitable for reception of
  • the AR core service 240 may be activated together.
  • the AR core service 240 may control the first device 201 to access the AR service providing server and/or the person/object recognition database stored in the memory to enhance the augmented reality environment.
  • the BT finder 231 , the UWB finder 232 , and/or the AR finder 233 included in the finding platform 230 operate simultaneously or selectively based on the distance to the second device 202 .
  • the country code matching module 242 when the country code matching module 242 receives an advertising packet from any lost device (eg, the second device 202), the first device 201 provides information on the lost device. You can determine a country or servers belonging to that country to provide. For example, the country code matching module 242 operates when the first device 201 plays the role of the electronic device 400 (eg, the role of a user's device providing assistance in locating a lost device). can do. In an embodiment, when the first device 201 (or the electronic device 400 ) determines a country or a server belonging to the country, the country code included in the server (eg, the server 300 of FIG. 4 ). - The data of the server matching DB (database) 330 can be used.
  • the first device 201 may store data of the country code-server matching DB 330 obtained from the server 300 , and store the data in the first device 201 . ) (or the second device 202 connected to the electronic device 400 ).
  • the first device 201 transmits data related to a country or its affiliation (eg, country code - server matching DB) through a process process or software upgrade of the device. can be saved.
  • the first device 201 may perform an over the air (OTA) software update as a software upgrade.
  • the OTA software update may include an open mobile alliance (OMA) download, a firmware OTA (FOTA), or a plain FTP (FTP).
  • the duplicate report management module 244 when the first device 201 receives an advertising packet from any lost device, the duplicate report management module 244 re-broadcasts the received advertising packet, or to the server. You can manage reporting actions. For example, the duplicate report management module 244 performs a reporting/re-broadcasting operation to the server when the advertising packet received from any lost device satisfies a predetermined condition, and does not satisfy the predetermined condition. If not, the operation of reporting to the server or the operation of re-broadcasting may not be performed. For example, the redundant report management module 244 may operate when the first device 201 performs the role of the electronic device 400 .
  • the location management module 246 may manage the current location of the second device 202 obtained from the server 300 and/or a change history of the location. Also, the location management module 246 may control a location measuring circuit such as a GPS included in the first device 201 to check and/or manage the location of the first device 201 .
  • the tracker information module 248 may manage the type of the second device 202 and/or identification information of the second device 202 .
  • the tracker information module 248 may operate when the first device 201 performs the role of the electronic device 400 .
  • the tracker information module 248 may include a device type (eg, smart watch, earphone, headphone, or tablet) of the second device 202 , a communication type (eg, whether BLE support, Bluetooth support or not, cellular network support). whether or not UWB communication is supported), and/or identification information (eg, device unique ID, network identification ID, or user-defined ID) may be stored and/or managed.
  • a device type eg, smart watch, earphone, headphone, or tablet
  • a communication type eg, whether BLE support, Bluetooth support or not, cellular network support. whether or not UWB communication is supported
  • identification information eg, device unique ID, network identification ID, or user-defined ID
  • the E2E encryption module 250 may perform end-to-end encryption.
  • the E2E encryption module 250 may operate when the first device 201 performs the role of the electronic device 400 .
  • the E2E encryption module 250 sends the electronic device 400 to the server 300 in response to receiving an advertising packet from any lost device (eg, the second device 202).
  • an encryption algorithm may be applied to the message.
  • the E2E encryption module 250 encrypts the message using the encryption key associated with the lost device, the device having the decryption key corresponding to the encryption key of the lost device may acquire location information of the lost device.
  • the random device ID module 252 may change the device identification ID to a random ID using a predetermined algorithm.
  • the random device ID module 252 may operate when the first device 201 serves as the electronic device 400 .
  • the electronic device 400 receives the advertising packet from the second device 202
  • the electronic device 400 changes the identification ID of the second device 202 to a random ID to change the identification ID of the second device 202 to a server ( 300) to send a message.
  • the first device 201 may identify the ID of the second device 202 from the random ID using a predetermined algorithm.
  • FIG. 4 illustrates modules related to various functions of a server according to various embodiments of the present disclosure.
  • the server 300 includes an account manager 310 , a user information manager 320 , a country code-server matching DB (database) 330 , a public key manager 340 , and find my everything (FME). ) system 350 .
  • the components of the server 300 shown in FIG. 4 are classified from a functional point of view to implement various embodiments, and the server 300 includes a plurality of hardware (eg, a plurality of processors for a server and a plurality of hardware for executing various software) storage) can be implemented.
  • the server 300 may be understood as a plurality of servers.
  • the server 300 may include a first server for providing a lost device finding service in a first country and a second server for providing a lost device service in a second country.
  • the server 300 may include an account manager 310 .
  • the account manager 310 may manage a user account registered in the server 300 and/or at least one device connected to the user account. For example, when the first device 201 , the second device 202 , and the third device 203 are registered as the first user account, the account manager 310 is the second device from the first device 201 . Even if the request related to the device 202 is received, the first device 201 and the second device 202 are linked to the same first user account, so the information about the second device 202 is not included in the first device 201 . may be allowed to access.
  • the server 300 may include a user information manager 320 .
  • the user information manager 320 may manage registration, addition, deletion, and/or modification of user information associated with a user account.
  • the country code-server matching DB 330 may maintain and update a database matching a country code and a server providing a lost device finding service.
  • the server 300 manages the country code-server matching DB 330 with the latest data, and when a change occurs, a server connected to a country code as at least one of the devices for which a user account is registered in the server 300 can provide information about
  • the server 300 may provide the database to the first device 201 or the electronic device 400 registered in the server 300 .
  • the electronic device 400 may determine a server to provide location information based on country information included in an advertising packet obtained from a lost device.
  • the country code may be based on an international phone country code indicating a country.
  • the United States has international phone country codes such as +1, Korea +82, Vietnam +84, UK +44, and so on. may include
  • the country code is not limited to an international phone country code, and may be any information capable of identifying a country.
  • an alphabetical country code such as a domain code (eg Korea - KR, US - US, or France - FR), or a mobile country code (MCC) (eg Germany - 262, Korea - 450, or France).
  • MCC mobile country code
  • - 208 can also be used as a country code.
  • the above-described method of indicating the country code is exemplary, and the country code may be expressed in units of bits.
  • the public key manager 340 may manage public keys of devices registered in the server 300 .
  • the public key may be managed in units of user accounts or may be managed in units of devices. For example, one public key may be set per one user account. As another example, when five devices are connected with the same user account, five different public keys may be assigned to each of the five devices.
  • the FME system 350 may perform a process for providing a lost device finding service. For example, when the FME system 350 receives a request for the public key for the lost second device 202 from the electronic device 400 , the FME system 350 obtains the public key for the second device 202 from the public key manager 340 . may be obtained, and the obtained public key may be provided to the electronic device 400 . For example, the FME system 350 may check the user account in which the second device 202 is registered through the account manager 310 . Also, the FME system 350 may identify a country corresponding to the user account and/or the second device 202 through the user information manager 320 .
  • the FME system 350 checks whether the request from the electronic device 400 is forwarded to a server in an appropriate country through the country code-server matching DB 330, and if the country designation is incorrect, or the second device 202 ), at least a part of data stored in the country code-server matching DB 330 may be provided to the electronic device 400 .
  • the FME system 350 maintains a database matching a country code and a server providing a lost device finding service up to date and may provide at least a portion of the updated data to the electronic device 400 .
  • FIG. 5 is a flowchart illustrating a first device registering a second device with a server, according to various embodiments of the present disclosure
  • the first device 201 and the second device 202 may establish a short-range communication channel.
  • the short-range communication channel may be a device-to-device connection such as, but not limited to, Bluetooth or Wi-Fi direct.
  • the second device 202 may provide information on the second device 202 to the first device 201 through the short-range communication channel.
  • the information of the second device 202 may include, for example, the type of the second device 202 (eg, smart watch, or tablet), unique identification information (eg, device ID), the manufacturer of the second device 202 , Hardware information of the second device 202 (eg, processor performance, memory capacity, and/or battery capacity), software information of the second device 202 (eg, operating system type and version, installed applications, and/or device finder service supported), and/or information on communication performance (eg Bluetooth support, BLE support, UWB support, cellular support, Wi-Fi support, NFC support, and/or MST support) ) may be included.
  • the first device 201 may acquire information on the second device 202 .
  • the first device 201 may store the obtained information on the second device 202 in the memory of the first device 201 (eg, the memory 130 of FIG. 1 ).
  • the first device 201 may transmit information on the second device 202 to the server 300 and request registration of the second device 202 .
  • the first device 201 transmits a message in a specified format to the server 300 , and the message in the designated format includes information on the first device 201 , user information on the first device 201 , and the second device 201 . a registration request of the second device 202 , and/or information of the second device 202 .
  • the first device 201 when the first device 201 is registered with a first user account registered with the server 300 , the first device 201 sends the message to the server 300 to access the first user account.
  • the second device 202 may also request to register.
  • the first device 201 when the first device 201 is registered with a first user account registered with the server 300 , and the second device 202 is registered with a second user account registered with the server 300 , The first device 201 requests registration of a third user account (eg, a group account) including the first user account and the second user account by transmitting the message to the server 300, or Information on the second device 202 registered in the user account may be deleted, and a request may be made to register the second device 202 to the first user account.
  • a third user account eg, a group account
  • the server 300 may obtain information on the second device 202 from the first device 201 .
  • the server 300 and the first device 201 may be connected through a predetermined network (eg, a cellular network or a Wi-Fi network), and the server 300 connects from the first device 201 through the predetermined network.
  • the transmitted information of the second device 202 may be acquired.
  • the server 300 may register the second device 202 with the first device 201 .
  • the account manager 310 of the server 300 may also use the information obtained from the first device 201 for the first user account corresponding to the first device 201 to be obtained from the second device 202 as well. can register.
  • the server 300 may transmit a notification indicating that the second device 202 is registered to the first device 201 .
  • the notification may include country information for the second device 202 .
  • the second device 202 may include country information corresponding to the Republic of Korea.
  • country information of the first user account registered in the server 300 is Korea, country information of all user devices 200 registered for the first user account may be set to Korea.
  • the first device 201 may receive a registration notification from the server 300 .
  • Registration notices may contain country information.
  • the country information of the second device 202 is already registered in the second device 202 at the time of manufacture of the second device 202, or the first device 201 directly uses the first device ( When the country information of 201) or the country information of the user account of the first device 201 is set as the country information of the second device 202, the country information may be omitted from the registration notification received from the server 300 have.
  • operations 501 to 515 may be referred to as a registration procedure or an onboarding procedure of the second device 202 .
  • the registration procedure or the onboarding procedure may include a procedure of storing identification information (ID) of the second device 202 (eg, tracker) in the server 300 .
  • ID identification information
  • the first device 201 may transmit country information to the second device 202 .
  • the country information may be received from the server 300 , and country information known (or stored) by the first device 201 (eg, country information registered for the first device 201 , or country information corresponding to the user account of the first device 201).
  • the second device 202 may obtain country information from the first device 201 .
  • country information of the second device 202 may already be registered in the storage space of the second device 202 (eg, the memory 130 of FIG. 1 ).
  • operations 517 and 519 may be omitted.
  • the first device 201 may know that the country information of the second device 202 is already registered through operations 503 and 505 .
  • the second device 202 may broadcast an advertising packet including country information in a lost state, which will be described later.
  • FIG. 6 is a flowchart illustrating a current location of a lost device in a finding system according to various embodiments of the present disclosure.
  • FIG. 6 shows a situation in which the first device 201 and the second device 202 are user devices sharing the same user account in the system of FIG. 2 , and the second device 202 is lost.
  • the electronic device 400 is an arbitrary device independent of the user of the first device 201 , and may be understood as a device located within a distance capable of receiving a packet broadcast from the second device 202 .
  • the second device 202 may broadcast an advertising packet using a specified communication protocol.
  • the designated communication protocol may correspond to a type of low-power short-range communication protocol to reduce and/or minimize battery consumption.
  • the designated communication protocol may be BLE.
  • the second device 202 may broadcast an advertising packet upon detecting that it is in a lost state. As described above, various conditions for determining that the second device 202 is in a lost state may be set. However, in another embodiment, the second device 202 may broadcast the advertising packet regardless of detecting the lost state. For example, the second device 202 may repeatedly broadcast the advertising packet for a predetermined period of time (eg, 15 minutes) every predetermined period (eg, 1 hour). As another example, the second device 202 may repeatedly broadcast the advertising packet for a predetermined time every specified time (eg, a user set time).
  • a predetermined period of time eg, 15 minutes
  • predetermined period eg, 1 hour
  • the second device 202 may repeatedly broadcast the advertising packet for a predetermined time every specified time (eg, a user set time).
  • the electronic device 400 may receive an advertising packet broadcast by an external device. For convenience of description, it is assumed below that the advertising packet broadcast by the second device 202 is received.
  • the electronic device 400 may include various communication circuits. For example, it may include a first wireless communication circuit supporting short-range communication for receiving an advertising packet. In addition, it may include a second wireless communication circuit supporting long-distance communication (eg, cellular communication) for communicating with the server 300 . Also, the electronic device 400 may include a location measuring circuit (eg, GPS) for measuring its own location.
  • the positioning circuit may include, in addition to a positioning system using satellite navigation such as GPS, a positioning system using a base station or an access point (AP) of Wi-Fi, or a positioning system using an NFC beacon.
  • the reception of the advertising packet is within a communication distance allowed by the short-range communication protocol. It may mean that there are the second device 202 and the electronic device 400 .
  • the electronic device 400 may be estimated to be located within about 100 m from the second device 202 . Accordingly, from a macroscopic point of view, the location of the electronic device 400 may be treated the same as the location of the second device 202 .
  • the electronic device 400 may measure the position of the electronic device 400 using the position measuring circuit.
  • the electronic device 400 may identify a location (eg, latitude and/or longitude coordinates) of the electronic device 400 based on the measurement result.
  • the electronic device 400 may transmit the measured location information and the identification information of the second device 202 to the server 300 .
  • the electronic device 400 transmits identification information (eg, unique ID and/or serial number) and location information of the second device 202 to the server 300 using the second wireless communication circuit described above.
  • a message including the message may be transmitted to the server 300 .
  • the electronic device 400 may specify that the location information included in the message is location information of the electronic device 400 , but may simply include the location information itself without specifying the subject of the location information.
  • the electronic device 400 may broadcast the advertising packet after transmitting the message to the server 300 .
  • the advertising packet obtained by the electronic device 400 from the second device 202 is referred to as a first packet
  • the advertising packet broadcast again by the electronic device 400 is referred to as a second packet.
  • the second packet may include substantially the same or less content (data) than the first packet.
  • the electronic device 400 may set some fields of the second packet to have a value different from that of the first packet.
  • the electronic device 400 may set different multi-hop count field values to indicate that it is an indirect propagator rather than a direct propagator of the advertising packet.
  • the multi-hop count of the second packet may be set to n+1.
  • the second packet generated based on the first packet may be defined in some format different from that of the first packet. For example, in the format of the second packet, at least some fields among a plurality of fields included in the format of the first packet may be omitted.
  • the electronic device 400 may broadcast the advertising packet before or substantially simultaneously with transmitting the message to the server 300 . Also, simply operation 617 may not be performed.
  • the server 300 may obtain a message including identification information and location information of the second device 202 from the electronic device 400 .
  • the first device may transmit location information of an external device (eg, the second device 202 ) to the first device 201 .
  • the first device 201 may transmit a location tracking (or location confirmation) request for the second device 202 to the server 300 , and in operation 623 , the server 300 transmits the first
  • information on the location of the identified second device 202 may be transmitted to the first device 201 .
  • the server 300 may transmit information on the most recently confirmed location of the second device 202 to the first device 201 .
  • the first device 201 may obtain information on the second device 202 transmitted from the server 300 in operation 623 .
  • the first device 201 may obtain location information of the second device 202 from the server 300 .
  • the first device 201 may determine the location of the second device 202 based on information obtained from the server 300 .
  • Operations 631 , 633 , and/or 635 may be implemented through an application providing a location service installed in the first device 201 . In this regard, it will be described with reference to FIG. 7 .
  • the server 300 when the server 300 obtains identification information and location information of the second device 202 from the electronic device 400 , the server 300 sends the second device 202 to the server 300 . It may be determined whether a location tracking request (eg, operation 631 ) is received from the first device 201 registered with the first account or another device having the first account. For example, when a location tracking request (eg, operation 631 ) is not received from the first device 201 , the server 300 may not perform operation 623 . According to an embodiment, although not shown, the server 300 may transmit a response message to the electronic device 400 based on whether a location tracking request (eg, operation 631 ) is received from the first device 201 . .
  • a location tracking request eg, operation 631
  • the server 300 when a location tracking request (eg, operation 631 ) is received from the first device 201 , the server 300 provides identification information and location information of the second device 202 to the electronic device 400 . 1 It is possible to transmit a response message indicating that transmission has been made to the device 201 .
  • a location tracking request eg, operation 631
  • the server 300 transmits the identification information and location information of the second device 202 to the electronic device 400 . can be requested not to be transmitted for a specified period of time.
  • the electronic device 400 may perform an operation (eg, operation 617 ) of broadcasting an advertising packet based on a response from the server 300 .
  • FIG. 7 is a diagram illustrating a user interface for confirming locations of user devices in a first device according to various embodiments of the present disclosure
  • a first screen 701 may be an execution screen of an application providing a location check service of the first device 201 .
  • the first device 201 may display information on user devices registered in the first device 201 in the form of a list.
  • the first screen 701 presents a list including an item (not shown) corresponding to the first device card 211 and an item corresponding to the second device card 212 .
  • the list of the first screen 701 includes a first item 710 corresponding to a smartphone (eg, Galaxy A) representing the first device 201 registered in the user account of the first device 201 and A second item 720 corresponding to an arbitrary tablet (eg, Galaxy Tab S6 LTE) registered in the user account may be included.
  • the description of the first item 710 and/or the second item 720 includes other items not specified in the first screen 701 (eg, “Jamie (Galaxy S10)”, “ It may also be applied to Jamie (_tale device name_), and/or “Galaxy Watch Active2”).
  • each item included in the list may include various pieces of information.
  • the first item 710 includes an icon 711 indicating the smartphone, a nickname (eg, Anne) and model name (Galaxy A) 712 of the smartphone, the last confirmed location 713 (eg, 124 W Main St, Belleville, IL), last location viewed 714 (eg Last updated: 1 minute ago), the smart at the current location of the first device 201 .
  • Some items of the above contents may be omitted. For example, when the location of the device is not confirmed, at least some of the last confirmed location 713 , the last location confirmed time 714 , or the navigation menu 716 may not be displayed.
  • the first device 201 may automatically perform operation 631 when the application is executed. In another embodiment, the first device 201 may perform operation 631 according to a user input after the application is executed. In another embodiment, the first device 201 may perform operation 631 every predetermined period (eg, 12 hours) and update the locations of the user devices 200 registered in the first device 201 . .
  • the first device 201 displays the second screen 702 to the first device 201 .
  • the second screen 702 may be, for example, a UI generated based on the second device card 212 .
  • the second screen 702 may include a map area 730 and a second device card area 750 .
  • the map area 730 may be displayed on an upper portion (area) of the second screen 702
  • the second device card area 750 may be displayed on a lower portion (area) of the second screen 702 .
  • the second device card area 750 may be provided in a floating manner on a map occupying most of the second screen 702 .
  • the location or size of the second device card area 750 may be moved/enlarged/reduced by a user input.
  • the location of the user devices identified through the server 300 may be displayed on the map area 730 .
  • the locations of the user devices may be displayed in the form of icons.
  • the location of the smartphone corresponding to the first item 710 may be displayed on the map like the first icon 732 .
  • the location of the tablet corresponding to the second item 720 selected by the user input 700 may be displayed on the map like the second icon 731 .
  • the location of the tablet corresponding to the second item 720 selected by the user input 700 may be located in the center of the map area 730 .
  • the current location 740 of the first device 201 may be displayed on the map area 730 .
  • the current location 740 of the first device 201 may be located in the center of the map area 730 .
  • the second device card area 750 includes a device action menu 751 , a navigation menu 752 , a ring menu 753 , and/or a view details menu 754 . may be included.
  • the first device 201 determines that the second device 202 (eg, a tablet corresponding to the second item 720) is selected from the first device 201 . You can check to see if you are around. For example, when the device action menu 751 is selected, the first device 201 displays the map area based on the location of the first device 201 and the location information of the user devices 200 received from the server 300 . 730 may be provided and/or updated. Also, for example, in response to the device action menu 751 being selected, the first device 201 may discover whether the second device 202 is nearby using a designated communication protocol (eg, BLE). have. If it is connected to the second device 202 using the designated communication protocol, the first device 201 drives the AR finder 233 and provides the location of the second device 202 through the augmented reality interface, or You can decide whether to provide it or not.
  • a designated communication protocol eg, BLE
  • the first device 201 may display a route to the confirmed location of the second device 202 on the map area 730 .
  • the first device 201 may also attempt to make a call to the second device 202 or to make the second device 202 make a designated sound. For example, when the second device 202 supports a call function, the first device 201 may attempt to make a call to the second device 202 in response to the selection of the notification menu 753 .
  • the second device 202 when the second device 202 is connected to the first device 201 through a predetermined short-range communication network, in response to the selection of the notification menu 753 , the first device 201 connects to the short-range communication network It is possible to transmit a designated signal to the second device 202 through .
  • the second device 202 may generate a predefined notification signal (eg, alarm, vibration, and/or light emission) in response to the specified signal to notify its location.
  • a predefined notification signal eg, alarm, vibration, and/or light emission
  • the first device 201 may provide more detailed information about the second device 202 .
  • the first device 201 may display the status of the second device 202 according to various conditions.
  • the first device 201 may display a first status message such as “Nearby Finding”. The message may be displayed in a pop-up form or may be displayed in the second device card area 750 of the second device 202 .
  • the first device 201 is configured to display a “Not in Range Finding” state.
  • a second status message such as " may be displayed.
  • the “offline finding state” refers to a state in which the second device 202 is determined to be lost, and a state in which a threshold time has elapsed since the time when the second device 202 was last connected to any one of the user devices 200 . can mean
  • the second device 202 is not connected to the first device 201 or another of the user devices 200 and is not in an “offline finding” state, but is attempting to find the second device 202 . If there is, a third status message such as "Lost mode Finding" may be displayed. Also, when the second device 202 is not connected to the other of the first device 201 or the user devices 200 and is in an “offline finding” state, the first device 201 performs “Update mode Finding” and The same fourth status message may be displayed. Also, when the first device 201 attempts to connect to the second device 202 , a fifth status message such as “connecting” may be displayed. In an embodiment, the first to fifth status messages related to the device action menu 751 may be included in the first device card 211 and/or the second device card 212 of FIG. 3 .
  • the first to fifth status messages described above are exemplary, and fewer or more status messages may be appropriately set by a manufacturer or a user according to various embodiments.
  • the first device 201 may provide the remaining battery level information of the second device 202 .
  • the first device 201 may display the location (location information) of the second device 202 based on a time stamp.
  • the first device 201 may display the current status of the second device 202 using an appropriate message (device card message).
  • the first device 201 may determine whether the second device 202 is in the vicinity of the first device 201 , or is located in the vicinity of another of the user devices 200 (eg, the fourth device 204 ).
  • a message may be displayed on the display indicating whether the second device 202 is present, the last location of the second device 202 , whether the second device 202 is being searched for, or whether the second device 202 has been found.
  • the information displayed on the second device card area 750 is not limited to the illustrated example, and information related to the device action menu 751 and information included in the detailed view menu 754 . (eg, remaining battery level information, location information, and/or a device card message) may be provided together with information.
  • FIG. 8 is a flowchart illustrating an electronic device performing a scan to find an arbitrary external device, according to various embodiments of the present disclosure
  • the electronic device 400 may activate offline search.
  • the user of the electronic device 400 may activate the offline search function in the setting menu.
  • the offline search function may be periodically activated or may be always activated.
  • the offline search function may be activated only in a specified time period (eg, 9:00 AM to 6:00 PM).
  • the electronic device 400 may set parameters related to offline search in response to activation of the offline search function.
  • parameters such as scan period and scan window, scan interval, scan holding time, and/or wakeup intent may be set.
  • the scan period may mean a time in which a scan occurs once.
  • the scan window may mean a time during which a scan is actually performed in a scan period. For example, if the scan period is 2000 ms and the scan window is 200 ms, the short-distance communication circuit performs the first scan for 200 ms after waking up, and maintains the sleep state for the remaining 1800 ms, and again 200 ms when 2000 ms has elapsed after waking up A second scan can be performed while
  • the scan holding time may mean a time for maintaining the scan in the above-described scan cycle.
  • the electronic device 400 may maintain a scan performed every 2000 ms for 1 hour.
  • the scan interval may mean an interval between scan holding times. For example, when the scan holding time is 1 hour and the scan interval is 4 hours, the electronic device 400 maintains the scan for 1 hour from 00:00 and maintains the sleep state for 3 hours, and then maintains the scan state for 3 hours from 00:00 to 4 hours. The scan can be maintained for another hour from 04:00 after this elapsed time.
  • operation 813 may be omitted.
  • a specified setting value eg, a default value
  • a default value may be used for parameter setting related to offline search.
  • the electronic device 400 may start scanning.
  • the scan of the electronic device 400 may be performed according to a rule defined by the scan related parameters set in operation 813 .
  • the electronic device 400 may activate a first communication circuit supporting short-distance communication to obtain an advertising packet obtained from an external device (eg, the second device 202) while scanning is performed.
  • the second device 202 may broadcast the advertising packet using the short-range communication protocol specified in operation 801 .
  • the second device 202 broadcasts an advertising packet including the identification information and country code of the second device 202, and/or the multi-hop count at regular time intervals using the BLE protocol. may be doing
  • the second device 202 may broadcast an advertising packet according to a change in a network state. For example, the second device 202 may determine whether the current network is available. For example, when the network connection between the second device 202 and the server 300 or the first device 201 is lost, the second device 202 may lose the network connection due to an airplane mode. It can be determined whether In order for the application of the second device 202 to check the current network state, the corresponding application (eg, an application providing a location finding service) may reside in the memory of the second device 202 . In an embodiment, when not in airplane mode, the second device 202 may set an alarm and broadcast an advertising packet when the set alarm time arrives. Thereafter, when the network is restored again (eg, the connection with the first device 201 is restored), the second device 202 may cancel the set alarm and stop broadcasting the advertising packet.
  • the network is restored again (eg, the connection with the first device 201 is restored)
  • the second device 202 may cancel the set alarm and stop broadcasting the advertising packet.
  • the electronic device 400 performs advertisements broadcast by the second device 202 from an external device, for example, the second device 202 in operation 801 .
  • packets can be received.
  • the electronic device 400 obtains information on the second device 202 from information included in the received advertising packet, and stores the information obtained in operation 819 in the memory of the electronic device 400 .
  • the electronic device 400 transmits information on the second device 202 to the server 300 based on information (eg, country code) received from the second device 202 .
  • the electronic device 400 may include information about the second device 202 and location information.
  • the location information may be the location of the electronic device 400 measured by the location measuring circuit of the electronic device 400 .
  • the electronic device 400 obtains an encryption key for encrypting information transmitted from the server 300 to the server 300 in order to improve security, and obtains information on the second device 202 with the obtained encryption key. It may be encrypted, and the encrypted information may be transmitted to the server 300 .
  • the electronic device 400 transmits at least a portion of the information on the second device 202 to the server 300 , obtains an encryption key from the server 300 , and then uses the obtained encryption key to the second device
  • the information on the 202 and/or the location information may be encrypted and transmitted to the server 300 .
  • the server 300 obtains information and/or location information of the second device 202 from the electronic device 400 in operation 831 , and receives the information and/or location information of the second device 202 from the first device 201 in response to a request.
  • Information on the location of the second device 202 may be provided to the first device 201 (eg, operation 623 of FIG. 6 ).
  • the electronic device 400 repeats operations 815 , 817 , 819 , and/or 821 for a predetermined period of time, for example, a scan holding time, and when the scan holding time ends, deactivates the offline search function in operation 823 . can do.
  • the offline search function may be deactivated by various events such as a user input or the remaining battery level of the electronic device 400 .
  • FIG. 9 is a flowchart of adjusting a scan interval according to ON/OFF of a screen of an electronic device according to various embodiments of the present disclosure.
  • the electronic device 400 may set a parameter related to screen ON/OFF.
  • the electronic device 400 may set parameters related to the offline search function in response to activation of the offline search function in operation 813 of FIG. 8 .
  • Some parameters are displayed on the screen (display) of the electronic device 400 . It can be set differently depending on whether it is ON or OFF.
  • the electronic device 400 may perform a scan in a first period (eg, 1000 ms) in a screen ON state, but may perform a scan in a second period (eg, 1 hour) in a screen OFF state.
  • the electronic device 400 may scan the scan window with a first length (eg, 200 ms) in a screen ON state, but may perform a scan by a second length (eg, 100 ms) in a screen OFF state. have.
  • a first length eg, 200 ms
  • a second length eg, 100 ms
  • the screen of the electronic device 400 may be turned on.
  • the electronic device 400 may start scanning advertisement packets broadcast from an external device at a first interval.
  • the second device 202 may continuously broadcast the advertising packet using a designated short-range communication protocol as in operation 801 of FIG. 8 . While performing the scan at the first interval, the electronic device 400 obtains an advertising packet from an external device, for example, the second device 202, in operation 917, and the second obtained through the advertising packet 2 Information on the device 202 and/or location information may be transmitted to the server 300 .
  • the server 300 obtains information and/or location information of the second device 202 from the electronic device 400 in operation 931 , and receives the information and/or location information of the second device 202 from the first device 201 in response to a request.
  • Information on the location of the second device 202 may be provided to the first device 201 (eg, operation 623 of FIG. 6 ).
  • the electronic device 400 may determine whether the screen of the electronic device 400 is OFF. When the screen of the electronic device 400 is not turned off (ie, the ON state is maintained), the electronic device 400 may continuously perform a scanning operation at a first interval. When the screen of the electronic device 400 is turned off, in operation 923 , the electronic device 400 may end the scan or may perform a scan at a second interval set longer than the first interval.
  • FIG. 10 illustrates a configuration of a second device and a data structure of a packet broadcast by the second device according to various embodiments of the present disclosure.
  • the second device 202 may include a processor 1010 (eg, a processing circuit), a memory 1020 , and a communication circuit 1030 .
  • the components of the second device 202 shown in FIG. 10 are exemplary, and the components described with reference to FIG. 1 may be appropriately applied to the second device 202 . Also, the description of FIG. 1 may be applied to components corresponding to FIG. 1 among the components of FIG. 10 .
  • the processor 1010 may include various processing circuits, execute instructions from the memory 1020 , and implement the packet generation module 1040 and/or the connection manager 1050 .
  • each of the modules may include various executable instructions executed by the processor.
  • the packet generation module 1040 and the connection manager 1050 may be understood as software modules implemented by executing program codes stored in the memory 1020 . Also, in the following description, an operation described as being performed by the packet generation module 1040 or the connection manager 1050 may be understood as being performed by the processor 1010 .
  • the processor 1010 may drive the packet generation module 1040 by executing instructions stored in the memory 1020 .
  • the packet generation module 1040 may generate the advertising packet 1000 including information on the second device 202 .
  • the processor 1010 provides the generated advertising packet 1000 to the communication circuit 1030 via (using) the connection manager 1050 , and the communication circuit 1030 uses the designated protocol to provide the advertiser.
  • the titling packet 1000 may be broadcast.
  • advertising packet 1000 includes version 1001 , packet type 1002 , multi-hop count 1003 , privacy ID 1004 , region 1005 , UWB 1006 . ), and/or pairing 1007 fields.
  • the version 1001 may refer to a version of the advertising packet. Since the advertising packet must be based on a rule shared between the second device 202 broadcasting it and the electronic device 400 receiving and interpreting it, the version of the advertising packet is determined by the electronic device receiving it. Apparatus 400 may be used to determine rules for interpreting data included in advertising packets. For example, when receiving an advertising packet of an older version instead of the latest version, the electronic device 400 may interpret the advertising packet according to a rule corresponding to the older version. As another example, if the version of the electronic device 400 is lower than the version of the advertising packet, the electronic device 400 may update the version through a server (eg, the server 108 of FIG. 1 ). have.
  • a server eg, the server 108 of FIG. 1
  • the packet type 1002 may indicate whether the packet supports multi-hop for the advertising packet. Additionally and/or alternatively, the packet type 1002 may indicate information on whether the current second device 202 is in an offline mode (eg, offline finding) or an online mode.
  • the multi-hop count 1003 may indicate how many times the advertising packet was propagated. For example, when directly broadcast from the second device 202, the multi-hop count of the advertising packet may be defined as 0. If another device receiving the advertising packet from the second device 202 broadcasts the advertising packet again, the multi-hop count of the advertising packet broadcast again is 1 or more. It can be defined as a number.
  • the personal ID 1004 may be unique identifying information of the second device 202 . Additionally and/or alternatively, the personal ID 1004 may be a random ID generated according to a predetermined algorithm based on the unique identification information of the second device 202 .
  • the region 1005 may include country information of the second device 202 .
  • it may be country information received from the server 300 at the time when the second device 202 is onboarded and/or information capable of knowing the address of the server 300 .
  • the region 1005 may be information related to data included in the country code matching module 242 of FIG. 3 or the country code-server matching DB 330 of FIG. 4 .
  • UWB 1006 may indicate whether the second device 202 is a device that supports UWB communication.
  • the advertising packet 1000 may further include information for determining whether the second device 202 supports E2E or MCF in addition to UWB.
  • the pairing 1007 determines whether the second device 202 is a device that operates alone, whether it is a device that operates as a pair, such as earbuds, or a pair of devices that operate as a pair. may include information about
  • FIG. 11 illustrates hardware components of a first device according to various embodiments of the present disclosure.
  • the first device 201 includes a first wireless communication circuit 1121 , a second wireless communication circuit 1122 , a UWB communication circuit 1123 , a position measurement circuit 1124 , a camera 1131 , It may include a display 1140 and at least one processor 1110 (eg, a processing circuit) electrically or operatively connected thereto.
  • the first device 201 of FIG. 11 obtains coordinate information of the second device 202 lost from the server 300, moves to the vicinity of the coordinates, and performs short-range connection and UWB communication with the second device 202 It can be understood as a device that performs.
  • the first device 201 is a device that registers the second device 202 with the server 300 based on a first user account, or a device that registers the second device 202 with the server 300 based on the same first user account. can be
  • the description of the electronic device 101 of FIG. 1 and the first device 201 of FIG. 2 is the first device 201 described with reference to FIGS. 11 , 12 , 13 , 14 , 15 , 16 and 17 .
  • the processor 1110 of the first device 201 may correspond to the processor 120 of FIG. 1 .
  • the camera 1131 of the first device 201 may correspond to the camera module 180 of FIG. 1 .
  • the first wireless communication circuit 1121 , the second wireless communication circuit 1122 , the UWB communication circuit 1123 , and the position measurement circuit 1124 of the first device 201 are the communication module 190 or wireless communication of FIG. 1 . It may correspond to the module 192 .
  • the description of the electronic device 101 of FIG. 1 may be appropriately applied to the first device 201 .
  • the first wireless communication circuit 1121 may support short-range communication.
  • the first wireless communication circuit 1121 may support BLE and/or BT communication.
  • the first device 201 approaches within a range capable of short-range communication with the second device 202 , it may establish a short-range communication channel using the first wireless communication circuit 1121 .
  • the second wireless communication circuit 1122 may communicate with the server 300 .
  • the first device 201 may obtain the location information of the second device 202 reported to the server 300 through a cellular network or a Wi-Fi network using the second wireless communication circuit 1122 .
  • the UWB communication circuit 1123 may perform communication using a signal in a frequency band of about 3 to 10.6 GHz using an antenna.
  • the UWB communication circuit 1123 may be electrically connected to a plurality of antennas, and the plurality of antennas use a patch antenna, a dipole antenna, or a part of a housing (not shown) of the first device 201 .
  • the UWB communication circuit 1123 may measure a distance and a direction between the target object and the first device 201 by measuring an angle of arrival (AOA) of a signal through a plurality of antennas.
  • AOA angle of arrival
  • the UWB communication circuit 1123 may generate and provide positioning information in the form of a UWB ranging data (UWB ranging data) format, wherein the UWB ranging data includes, for example, a first aoaFirst (AAA) and a second aoaSecond (AOA). , a distance, a device id, and/or BT information (Bluetooth information).
  • the first AOA may mean an angle of the target object with respect to the horizontal axis (or width direction) of the electronic device
  • the second AOA may mean the angle of the target object with respect to the vertical axis (or length direction) of the electronic device.
  • the first AOA may be referred to as aoaPortrait
  • the second AOA may be referred to as aoaLandscape.
  • the location measurement circuitry 1124 may include a GPS.
  • the camera 1131 may generally be a rear camera disposed on the rear side of the first device 201 , but is not limited thereto.
  • camera 1131 may include a front-facing camera, or a suitable optical sensor (eg, an IR camera).
  • the display 1140 may visually provide information to the outside (eg, a user) of the first device 201 .
  • the display 1140 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the corresponding device.
  • the display 1140 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the display 1140 may be rollable or foldable.
  • the first device 201 when the first device 201 is an AR glass device, the first device 201 may include glass, and the display 1140 may be positioned on at least a portion of the glass, and the display 1140 may include glass. ) of at least a portion may include a transparent material.
  • FIG 12 illustrates hardware components of the first device and various modules related to various functions implemented through the hardware components according to various embodiments of the present disclosure.
  • the first device 201 includes a processor 1110 (eg, a processing circuit), one or more sensors 1130 , a display 1140 , a memory 1150 , a cellular circuitry 1241 , Wi-Fi circuitry 1242 , UWB circuitry 1243 (eg, UWB communication circuitry 1123 of FIG. 11 ), BLE/BT circuitry 1244 , and/or GPS circuitry 1245 .
  • the processor 1110 may implement the location guidance service 1200 by executing the program code stored in the memory 1150 .
  • the location guidance service 1200 may be implemented as software (eg, the program 140 ) including one or more instructions stored in the memory 1150 .
  • Location guidance service 1200 may be understood to be performed using processor 1110 and other suitable hardware.
  • the location guidance service 1200 includes a UI layer 1210 , an environment understanding module 1221 , a light estimation module 1222 , a motion tracking module 1223 , a data storage 1231 , and an anchor generation module 1232 . ) and/or a connection manager 1240 .
  • the location guidance service 1200 provides a finding platform 230 , a BT finder 231 , a UWB finder 232 , an AR finder 122 , and/or an AR core service 240 .
  • the finding platform 230 may configure the UI layer 1210 and provide the UI through the display 1140 .
  • a user input obtained through the UI of the display 1140 may be provided to an appropriate module.
  • the BT finder 231 and the UWB finder 232 may control an appropriate communication circuit through the connection manager 1240 .
  • the BT finder 231 may control the BLE/BT circuit 1244
  • the UWB finder 232 may control the UWB circuit 1243 .
  • the one or more sensors 1130 may include a camera 1131 , an acceleration sensor 1132 , a gyro sensor 1133 , and/or a geomagnetic sensor 1134 .
  • the AR core service 240 may include an environment understanding module 1221 , a light estimation module 1222 , and/or a motion tracking module 1223 . can
  • the environment understanding module 1221 may detect a horizontal plane by analyzing feature points of the surrounding environment, such as a floor or a table. For example, the environment understanding module 1221 may activate the camera 1131 for feature point analysis and capture a surrounding image.
  • the light estimation module 1222 may implement the virtual object more realistically by observing ambient lighting and adding an appropriate lighting effect to the virtual object generated in the augmented reality interface.
  • the light estimation module 1222 may detect and analyze ambient lighting using the illuminance sensor and/or the camera 1131 .
  • the motion tracking module 1223 uses one or more sensors 1130 to determine the position and orientation of the first device 201 according to the movement of the first device 201 , such as the first device 201 . can determine the pose of
  • a pose may be referred to as a coordinate transformation of an object in a local coordinate space into a standard coordinate space (or a world coordinate space). That is, even if the first device 201 moves in the local coordinate space, a consistent environment can be maintained by adjusting it to the standard coordinate space.
  • the motion tracking module 1223 uses at least one of a camera 1131 , an acceleration sensor 1132 , a gyro sensor 1133 , and/or a geomagnetic sensor 1134 to the first device 201 . position can be determined.
  • the motion tracking module 1223 may use the camera 1131 to analyze feature points in the surrounding space.
  • the acceleration sensor 1132 and the gyro sensor 1133 may be referred to as an inertial measurement unit (IMU).
  • IMU inertial measurement unit
  • the AR finder 233 may include a data store 1231 and an anchor create module 1232 .
  • the AR finder 233 determines a temporary point and a target point at the time of receiving the UWB signal and/or the BT signal based on the signals obtained from the BT finder 231 and the UWB finder 232 . can Thereafter, the AR finder 233 may provide the augmented reality generated based on the target point to the display 1140 as an augmented reality interface. If the UWB signal is not received temporarily/continuously, the AR finder 233 may update the augmented reality interface based on the temporary point.
  • the data repository 1231 may perform a function of appropriately storing and processing various data before the augmented reality interface is provided to the display 1140 through the UI layer 1210 .
  • the data storage 1231 may remove data having a deviation greater than or equal to a specified range among data collected for a certain period, or perform a normalization or smoothing operation.
  • the anchor generating module 1232 may generate an anchor corresponding to the lost device (eg, the second device 202) based on the acquired UWB signal (eg, UWB range data).
  • the anchor generating module 1232 may set the first device 201 or the coordinates of the camera 1131 of the first device 201 and the anchor to maintain an appropriate relative position with the actual position.
  • the anchor generating module 1232 sets an anchor in the standard coordinate space based on the obtained UWB signal and the posture of the first device 201 , and is configured to set an anchor between the first device 201 and the second device 202 .
  • distance and direction information can be calculated.
  • the anchor generating module 1232 may update distance and direction information between the first device 201 and the second device 202 based on information obtained through one or more sensors 1130 .
  • the AR finder 233 may include a function of the AR core service 240 .
  • the connection relationship indicated by the arrow in FIG. 12 is exemplary and does not limit the connection between hardware/software.
  • the processor 1110 and the display 1140 may be directly electrically and/or operatively connected through a predetermined interface.
  • FIG. 13 is a flowchart for providing a guide for finding a lost device according to various embodiments of the present disclosure.
  • the first device 201 may acquire information on the lost device from the server 300 .
  • the lost device is the second device 202 among the user devices 200 sharing the same user account with the first device 201 .
  • the first device 201 is registered with the user account of the first device 201 or the first device 201 from the server 300 using the second wireless communication circuit 1122, but is currently Information on the second device 202 that is not connected to the first device 201 may be acquired.
  • operation 1301 may be performed automatically when the user executes an application that provides a location guidance service, or may be performed when the user provides an input requesting location information through a predetermined interface.
  • the first device 201 may transmit an information request for the second device 202 to the server 300 , and may receive information on the second device 202 from the server 300 .
  • the information on the second device 202 may include information on the coordinates of the second device 202 .
  • the coordinates of the second device 202 may refer to GPS location information of the device that has received the advertising packet from the second device 202 measured by another device (eg, the electronic device 400 ). have.
  • information about the second device 202 includes whether the second device 202 supports UWB communication (eg, whether the second device 202 includes a UWB antenna and a UWB communication circuit), the second device Information on whether or not UWB communication is supported according to the remaining battery level of the 202 and/or the remaining battery of the second device 202 may be further included.
  • the first device 201 receives information about the second device 202 obtained from the server 300 and information about the first device 201 measured by the location measurement circuit 1124 . Based on the location, it may be determined whether the first device 201 exists within a specified distance from the coordinates of the second device 202 . For example, the first device 201 may determine whether the distance D between the current location of the first device 201 and the coordinates of the second device 202 is less than a threshold distance TH. For example, the user of the first device 201 moves to a location of the second device 202 based on information about the second device 202 obtained from the server 300 , and the location measurement circuit 1124 . Alternatively, through the GPS circuit 1245 , it may be determined whether the distance D between the current location of the first device 201 and the coordinates of the second device 202 is less than a threshold distance TH.
  • the first device 201 may determine whether to attempt a short-range communication connection with the second device 202 or guide movement in the direction in which the second device 202 is located. For example, when the first device 201 has a distance D between the current location of the first device 201 and the coordinates of the second device 202 is less than a threshold distance TH (eg, the first distance) , in operation 1305 , the first device 201 may establish a short-range communication connection using the second device 202 and the first wireless communication circuit 1121 .
  • the short-range communication connection may be a Bluetooth communication channel.
  • the first device 201 when the distance D between the current location of the first device 201 and the coordinates of the second device 202 is greater than or equal to the threshold distance TH, the first device 201 performs the first operation 1307 .
  • the device 201 may display on the display 1140 a movement guide instructing to get closer to the second device 202 .
  • the first device 201 transmits the UWB of the second device 202 to the second device 202 through the short-range communication connection.
  • the request may be performed immediately after a short-range communication connection is established, or even after a short-range communication connection is established, the request may be performed after the first device 201 approaches within a range (eg, a second distance) in which UWB communication is possible.
  • a range in which UWB communication is possible eg, the second distance
  • the first device may periodically transmit the request until it is determined whether UWB communication is possible.
  • the information on the second device 202 obtained by the first device 201 from the server 300 includes the content that the second device 202 can currently support UWB.
  • the content that the second device 202 obtained from the server 300 can currently support UWB indicates whether the second device supports UWB communication and/or whether the second device supports UWB communication and/or that the second device can perform UWB communication. It may include information on whether the remaining battery power is present.
  • the present invention is not limited thereto, and in operation 1309, it is determined that the information about the second device 202 obtained by the first device 201 from the server 300 does not include UWB-related information or does not support UWB. It can also be done if included.
  • information on whether the second device 202 supports UWB may be provided from the second device 202 during the short-range communication connection.
  • information on whether the second device 202 supports UWB may be provided in an appropriate process (eg, operation 503 or operation 515 ) among the onboarding procedures described with reference to FIG. 5 .
  • the second device 202 receiving the UWB activation request through the established short-distance communication connection with the first device 201 activates the UWB communication function of the second device 202 in response to the UWB activation request.
  • the second device 202 responds to a UWB activation request received from the first device 201 , the second device 202 . ) included in the UWB communication circuit can be activated.
  • the second device 202 transmits a UWB signal using a UWB communication circuit and a UWB antenna connected to the UWB communication circuit in a channel (frequency) and period (eg, 100 ms) set by the UWB activation request.
  • a channel frequency
  • period eg, 100 ms
  • the first device 201 when the first device 201 receives a response indicating that activation of the UWB function is not possible from the second device 202 in response to a request to activate the UWB function, another communication function instead of the UWB function can be used to estimate the distance to the second device 202 .
  • the first device 201 determines the strength of the detected signal (eg, the strength of the Bluetooth signal) using the first wireless communication circuit 112 and guides the movement in the direction in which the strength of the signal increases. can do.
  • the first device 201 may guide the approximate distance according to the signal strength using a predetermined look-up table.
  • the first device 201 may identify the location of the second device 202 with respect to the first device 201 based on the UWB signal received from the second device 202 . have. For example, the first device 201 may identify a direction in which the second device 202 is located and a distance to the second device 202 .
  • the first device 201 may output an augmented reality interface through the display 1140 .
  • the first device 201 acquires peripheral image data of the first device 201 by using the camera 1131 , and based on the acquired image data and the identified position of the second device 202 , An augmented reality interface may be generated and outputted to the display 1140 .
  • Exemplary UIs related thereto are described with reference to FIG. 14 .
  • FIG. 14 illustrates exemplary UIs provided by an electronic device according to a distance according to various embodiments of the present disclosure.
  • the first device 201 may provide a guide screen such as the first screen 1410 .
  • the first device 201 executes a location guidance service to find the second device 202 (eg, Galaxy Note 20), and circles from the outside to the inside according to the signal strength with the second device 202 .
  • a UI in a form filled with this predetermined color may be provided.
  • the second screen 1420 may be displayed. While the first screen 1410 and the second screen 1420 are displayed, the BT finder 231 may operate.
  • the first device 201 moves from the first screen 1401 or the second screen 1420 to the third screen 1430 or the fourth screen 1440 .
  • the guidance screen can be switched.
  • the second screen 1420 may include a first icon 1401 for switching to the augmented reality interface.
  • the second screen 1420 may be switched to a third screen 1430 providing an augmented reality interface.
  • a user input for selecting the first icon 1401 may correspond to an AR finder execution event.
  • the third screen 1430 may include a second icon 1402 for switching the augmented reality interface to the BT interface.
  • the first icon 1401 on the second screen 1420 is changed to the second icon 1402 at the same location and displayed.
  • the third screen 1430 may be switched back to the second screen 1420 providing the BT interface.
  • the second screen 1420 may be automatically switched to the third screen 1430 .
  • the first device 201 may An interface may be switched from the screen 1420 to the third screen 1430 .
  • the first device 201 when the first device 201 is located within a specified distance from the coordinates of the second device 202 and a short-range communication connection with the second device 202 is established, it may correspond to an AR finder execution event.
  • a short-range communication connection between the first device 201 and the second device 202 is established, and in response to activating UWB in the second device 202 , the second screen 1420 to the third screen Interface can be switched to 1430 .
  • receiving a response to UWB activation from the second device 202 may correspond to an AR finder execution event.
  • the first device 201 may cause the user to move the first device 201 beyond a specified range based on the acceleration sensor 1132 , the gyro sensor 1133 , and/or the geomagnetic sensor 1134 . Based on the detection, the interface may be switched from the second screen 1420 to the third screen 1430 .
  • the third screen 1430 may be an augmented reality interface output in operation 1313 .
  • the third screen 1430 is a first screen indicating a distance from the current location of the first device 201 to the location of the second device 202 identified based on the UWB signal. It may include an object 1431 .
  • a second object 1432 pointing to a location corresponding to the second device 202 may be included.
  • the position corresponding to the second device 202 may correspond to the position of the anchor generated by the anchor generating module 1232 .
  • the second object 1432 may be an object indicating a direction, such as an arrow for indicating a direction toward the anchor.
  • the second object 1432 indicates that the current second device 202 is located outside the frame captured by the camera 1131 of the first device 201, or is located inside the frame but is not close enough. can indicate
  • the first device 201 is in close proximity (eg, within 3.5 m) of the second device 202 to the second device within a frame captured by the camera 1131 of the first device 201 .
  • the first device 201 may output the fourth screen 1440 to the display 1140 .
  • the fourth screen 1440 may display an arrow 1442 pointing to the object together with the object representing the second device 202 on the augmented reality interface.
  • FIG. 15 illustrates exemplary UIs provided by an electronic device using augmented reality according to various embodiments of the present disclosure.
  • the first UI 1501 may be provided.
  • the first device 201 is connected to the second device 202 .
  • the first device 201 is connected to the second device 202 .
  • a reference distance eg, 30m or 50m
  • whether to launch finder in the form of a pop-up with a message indicating that the second device 202 is nearby eg, Your Galaxy Note 20 might be nearby
  • a asking menu eg, Start Finder 1511 and/or Cancel 1512
  • start Finder 1511 and/or Cancel 1512 may be displayed.
  • the first device 201 may attempt to communicate with the second device 202 in response to a user input 1500 executing the finder.
  • the communication attempt may be a process of establishing a short-range communication connection using Bluetooth. Establishing the short-range communication connection may take several seconds depending on the distance and/or signal strength between the first device 201 and the second device 202, during which time the second UI 1502 may be provided. . Operations 1305 and 1309 may be performed while the second UI 1502 is displayed, and a response to UWB activation may be received from the second device 202 .
  • a third UI 1503 that cancels the search function (Cancel) 1532 or induces a retry (Retry) 1531 is displayed in the form of a pop-up can be If the connection with the second device 202 is successful, a fourth UI 1504 for scanning the detailed location of the second device 202 using the UWB signal may be provided.
  • the fourth UI 1504 may be a screen for guiding a panoramic scan in order to more accurately receive a UWB signal.
  • a UWB antenna may include two antennas arranged in a first direction for recognizing a first AOA and a second AOA, and two antennas arranged in a second direction substantially perpendicular to the first direction. .
  • Each of the antennas may be spaced apart from each other with an interval of about 1/2 of a wavelength of a signal used for UWB communication. Any one antenna may be commonly used for the first direction and the second direction, and in this case, the UWB antenna module may include three antennas.
  • the first device 201 may display an arrow at the center of the UI to guide the device to move in the direction of the arrow.
  • the first device 201 may move the arrow or change the color of the arrow according to the moving range or angle.
  • the fourth UI 1504 when the fourth UI 1504 includes four arrows, when the first device moves by 90 degrees, the color of one of these arrows is changed, and when the first device moves by 360 degrees, the colors of all four arrows are changed. can be changed As another example, the fourth UI 1504 may provide a guide to switch the first device 201 from a portrait orientation to a landscape orientation.
  • a guide for effectively receiving a UWB signal like the fourth UI 1504 may be provided at an appropriate time according to the posture of the first device 201 .
  • the first device 201 may guide the user to hold the first device 201 in a direction substantially perpendicular to the ground based on sensing data received through the one or more sensors 1130 .
  • the first device 201 may display the fifth UI 1505 .
  • the fifth UI 1505 may be omitted depending on the UWB signal state.
  • the fifth UI 1505 may represent an operation in which the first device 201 moves and calculates the location of the second device 202 based on the received UWB signal.
  • the first device 201 may display the sixth UI 1506 when the location check of the second device 202 fails.
  • the sixth UI 1506 may include a menu for canceling the search function (Cancel) 1562 or retrying (Retry) 1561 .
  • the first device 201 may display the seventh UI 1507 .
  • the seventh UI 1507 may correspond to the third screen 1430 described above with reference to FIG. 14 , and a redundant description will be omitted.
  • the seventh UI 1507 further includes an icon 1571 that ends the guidance using the augmented reality interface and switches the UI to a direction view that provides guidance using a map and/or orientation. can do.
  • the first device 201 may provide a map or bearing (eg, compass) UI guiding a direction in which the second device 202 is located.
  • the eighth UI 1508 may be displayed.
  • the eighth UI 1508 may include a menu for canceling the search function (Cancel) 1582 or retrying (Retry) (1581).
  • the first device 201 is in close proximity to the second device 202 and the second device 202 is positioned within a frame captured by the camera 1131 of the first device 201 . If it is determined, the first device 201 may output the ninth UI 1509 to the display 1140 .
  • the ninth UI 1509 may correspond to the fourth screen 1440 of FIG. 14 , and a redundant description will be omitted.
  • the first device 201 in conjunction with displaying the ninth UI 1509 , the first device 201 calls the second device 202 (eg, a ring call), such as a haptic generation request and/or a light emission request. Interaction may be provided to provide the user with the exact location of the second device 202 .
  • 16 is a flowchart of updating a target location using UWB and sensor data in an electronic device according to various embodiments of the present disclosure
  • the first device 201 may receive a UWB signal from the second device 202 .
  • the interval for transmitting the UWB signal may be set as the first cycle, and when the first cycle arrives, the second device A UWB signal may be received from 202 .
  • the first device 201 may determine the location of the target based on the received UWB signal.
  • the target may be an anchor generated by the anchor generating module 1232 and corresponding to the second device 202 . That is, the anchor may be updated whenever a UWB signal is received. In other words, the anchor may be updated at the first periodic interval.
  • the first device 201 may update the position of the target relative to the first device 201 using one or more sensors 1130 .
  • the first device 201 receives information obtained through one or more sensors 1130 can be used to update the relative positions of the first device 201 and the anchor.
  • Operation 1605 may be performed every second period shorter than the first period.
  • the first period may be set to 100 ms
  • the second period may be set to 10 ms.
  • the first device 201 may determine whether the first period has elapsed. If the first period has not yet elapsed, the first device 201 may update the target location every second period based on information obtained through one or more sensors 1130 . The location of the target updated by the flowchart of FIG. 16 may be reflected in the augmented reality interface described with reference to FIGS. 13 , 14 , and 15 .
  • the first device 201 may determine whether a UWB signal is received from the second device 202 . If the UWB signal is normally received, the first device 201 may update the anchor based on the newly received UWB signal by performing operation 1603 again.
  • a new UWB signal may not be received even though the first period has arrived.
  • the first device 201 moves toward the second device 202 and passes through a space through which a frequency band corresponding to a UWB signal is difficult to pass, a UWB communication failure may occur.
  • the first device may change at least one of the first period and the second period in operation 1611 .
  • the first device 201 may change the first period (eg, 100 ms) to a third period (eg, 20 ms or 50 ms) shorter than the first period to receive a new UWB signal more quickly.
  • the first device 201 may release the UWB connection through the previously established short-range communication connection (eg, a Bluetooth channel) and transmit a request to perform the UWB connection again with the second device at a changed cycle.
  • the first device 201 since the first device 201 updates the relative positions of the first device 201 and the target based on the anchor set based on the last received UWB signal, the position of the anchor has low reliability as time passes. will lose That is, since the anchor position is less reliable than when the UWB signal is received, the first device 201 uses one or more sensors 1130 to update the relative position, the second period (eg, 10 ms). ) can be changed to a fourth period (eg 20 ms or 30 ms) longer than
  • the first device 201 changes the UWB signal reception period from the third period to the first period when the UWB signal is received more than a specified number of times after changing at least one of the first period and the second period. And/or the period for updating the relative position using one or more sensors 1130 may be changed from the fourth period to the second period.
  • FIG. 17 illustrates detailed detailed operations of the flowchart of FIG. 16 , according to various embodiments.
  • the first device 201 includes an AR core service 240 , at least one or more sensors 1130 , a UI lator 1210 , a data store 1231 , an anchor generation module 1232 , and/or UWB circuitry 1243 may be included.
  • an operation of registering a listener through the UI layer 1210 may be performed in operation 1701 .
  • the operation of registering the listener may be understood as a process of registering various parameters related to the UWB signal received from the second device 202 in the data storage 1231 .
  • information about the start of UWB communication and a transmission period (eg, first period - 100 ms) of the second device 202 and the UWB signal may be registered in the data storage 1231 .
  • the operation of registering the listener may include registering a period (eg, second period - 10 ms) for receiving sensor signals to assist the UWB signal and updating the UI based on the sensor signal.
  • the UWB circuit 1243 may establish a UWB connection with the second device 202 . Parameters registered in the data storage 1231 may be used for the UWB connection. Also, the UWB circuit 1243 may be understood as a UWB finder 232 .
  • the UWB circuit 1243 may receive a UWB signal at a first cycle interval.
  • the received UWB data may be provided to the AR core service 240 .
  • the AR core service 240 may provide UWB data to the anchor generation module 1232 .
  • the AR core service 240 provides information about local coordinates used to generate augmented reality in addition to UWB data (eg, UWB range data) obtained from the UWB circuit 1243 , information about world coordinates, and/or local and information about the relationship between world coordinates may be provided to the anchor generation module 1232 .
  • UWB data eg, UWB range data
  • the anchor generation module 1232 may generate a virtual anchor based on data obtained from the AR core service 240 .
  • a pose of the first device 201 is created and an anchor is set in the standard coordinate space, it is located in the first direction and at a first distance with respect to the camera 1131 of the first device 201 .
  • An anchor may be located. Even if the position and posture of the first device 201 are changed, if the camera 1131 is disposed to face the anchor in the standard coordinate space, the anchor may be displayed within the angle of view of the camera 1131 . Accordingly, when the motion and/or tilt of the first device 201 is detected using one or more sensors 1130 , the first device 201 calculates the angle and distance between the current direction the camera 1131 is facing and the anchor. can be checked
  • the one or more sensors 1130 may provide sensor data to the anchor generating module 1232 .
  • data obtained through the camera 1131 , motion information of the first device 201 obtained through the acceleration sensor 1132 , and tilt of the first device 201 obtained through the gyro sensor 1133 , At least one of information and/or direction information of the first device 201 acquired through the geomagnetic sensor 1134 may be provided to the anchor generating module 1232 .
  • the one or more sensors 1130 may continuously or periodically provide sensor data to the anchor creation module 1132 .
  • the anchor generation module 1132 may update the augmented reality interface in a second cycle by reflecting the sensor data of the first device 201 in the generated virtual anchor coordinates.
  • the anchor generating module may update the distance and direction information between the first device 201 and the anchor every second period (eg, 10 ms) and provide it to the data storage 1231 .
  • the data storage 1231 may perform normalization, flattening, and/or filtering of data using various algorithms.
  • the data storage 1231 may use a Kalman filter to remove data out of a predetermined range.
  • the data storage 1231 may perform the above-described operation on all data provided to the data storage 1231 , and a description thereof will be omitted below.
  • the data storage 1231 may provide information about a distance and/or direction from an anchor to the UI layer 1210 .
  • the user of the first device 201 may receive the location of the second device 202 through the augmented reality interface updated at a specified interval (eg, 10 ms) through the display 1140 of the first device 201 . have.
  • the specified interval may be determined based on the refresh rate of the display providing the augmented reality interface.
  • the UWB signal when new UWB data should be received, the UWB signal may not be normally received. For example, if a new UWB signal is not received from the second device 202 even though the first period has elapsed since the time the UWB signal was last received, the UWB circuit 1243 performs the AR core service 240 in operation 1719. to notify that the UWB signal has not been received. In another embodiment, the UWB circuit 1243 may not provide any data to the AR core service 240 when a UWB signal is not received, and the AR core service 240 provides new UWB data even though the first stock price has arrived. is not provided, it may be determined that a failure has occurred in UWB communication.
  • the AR core service 240 performs one or more of a first period that is a reception period of a UWB signal and a second period that is an update period of a target location using data from one or more sensors 1130 .
  • the AR core service 240 may request the UWB circuit 1243 to change the first period to a third period shorter than the first period.
  • the UWB circuit 1243 releases the existing UWB connection set in the first period based on the period change request received from the AR core service 240 and requests to transmit the UWB signal in the third period.
  • a new UWB connection can be established.
  • Messages related to the release/re-establishment of the UWB connection may be exchanged through the short-range communication connection formed by the first communication circuit 1121 .
  • the AR core service 240 may request the anchor generation module 1232 to change the second period to a fourth period longer than the second period.
  • the anchor generating module 1232 may request the period change request received from the AR core service 240 to one or more sensors 1130 .
  • the period of sensor data obtained from one or more sensors 1130 may be maintained, only the period updated by the anchor generation module 1232 may be increased.
  • the request process for transmitting the anchor generating module 1232 to one or more sensors 1130 may be omitted.
  • the anchor generating module 1232 may acquire sensor data even after the UWB signal is not received.
  • the anchor generation module 1232 may maintain the coordinates of the anchor generated based on the last received UWB signal. That is, it is possible to reflect newly acquired sensor data based on the last generated anchor.
  • the anchor generation module 1232 may provide distance and direction information based on the last anchor to the data storage 1231 .
  • the anchor generating module 1232 may provide the position of the anchor relative to the first device 201 to the data storage 1231 with a fourth period longer than the second period.
  • the data storage 1231 may provide information on the distance and/or direction to the anchor based on the period changed to the UI layer 1210 .
  • the UI layer 1210 may update the augmented reality interface based on distance and direction information from the anchor received from the data storage 1231 .
  • FIG. 18 is a flowchart for establishing a connection with a lost device according to various embodiments of the present disclosure.
  • FIG. 18 when the user of the first device 201 who has lost the second device 202 applies a setting related to the loss of the second device 202 , the electronic device 400 of another user An embodiment of discovering the second device 202 and establishing a communication connection with the second device 202 is described. Among the contents described with reference to FIGS. 1 to 17 , contents not arranged with FIGS. 18 to 21 may be equally applied to the description of FIGS. 18 to 21 .
  • the first device 201 may activate a help request.
  • the user of the first device 201 recognizing that the second device 202 has been lost may register information helpful in discovering the second device 202 .
  • a user of the first device 201 may actively request assistance from other users for discovery of the second device 202 .
  • An exemplary UI related to registering information and requesting help is described with reference to FIG. 19 .
  • the first device 201 may transmit information indicating that the help request is activated to the server 300 .
  • the server 300 may receive information from the first device 201 indicating that a request for assistance to the lost device, ie, the second device 202, has been activated.
  • the information may include information about the lost message.
  • the lost message may include, for example, a contact to be contacted when the lost device is found (eg, a contact information of the user of the first device 201 ), information about a case in case of loss, and the like.
  • the request for assistance may be made before or after the loss of the second device 202 . If the request for assistance is made before the loss of the second device 202 , the first device 201 communicates with the second device 202 using the first wireless communication circuit 1121 supporting short-range communication (eg, BT). You can provide a lost message.
  • the second device 202 may store the acquired lost message in the memory 1020 and provide the lost message to the electronic device 400 after a connection with the electronic device 400 is established.
  • the lost message may be provided to the electronic device 400 by the server 300 .
  • the electronic device 400 may allow a lost device to be found. Operation 1810 may correspond to operation 811 of FIG. 8 .
  • the electronic device 400 may activate a function of searching for a lost device through an appropriate setting screen. An exemplary UI related thereto is described with reference to FIG. 20 .
  • the lost device finding function of the electronic device 400 may be activated by default. In this case, the user of the electronic device 400 may deactivate the function to find the lost device in order to reduce power consumption. In another embodiment, the lost device finding function of the electronic device 400 may be automatically activated when the battery of the electronic device 400 is at a specified level (50%) or higher. In another embodiment, the function of finding a lost device of the electronic device 400 may be basically inactive. The Find Lost Device feature can be activated through user input to the appropriate settings screen.
  • the second device 202 in the lost state may broadcast an advertising packet.
  • Operation 1811 may correspond to operation 601 of FIG. 6 , operation 801 of FIG. 8 , and operation 901 of FIG. 9 .
  • the electronic device 400 may receive the advertising packet broadcast by the second device 201 .
  • Operation 1820 may correspond to operation 611 of FIG. 6 .
  • the electronic device 400 may transmit identification information of the second device 202 and location information of the electronic device 400 to the server 300 .
  • the electronic device 400 may check identification information (eg, personal ID 1004 ) of the second device 202 included in the advertising packet of the second device 202 .
  • the electronic device 400 may check the location information of the electronic device 400 using the location measuring circuit.
  • the electronic device 400 may transmit the identified identification information and location information to the server 300 .
  • Operation 1830 may correspond to operations 613 and 615 of FIG. 6 .
  • the server 300 may acquire identification information and location information of the second device 202 .
  • Operation 1831 may correspond to operation 621 of FIG. 6 .
  • the server 300 may transmit a lost message and/or an authentication key to the electronic device 400 .
  • the server 300 may check the setting of the first device 201 corresponding to the identification information of the second device 202 received from the electronic device 400 .
  • the server 300 may confirm that the request for help for the lost device is activated in the first device 201 .
  • the server 300 may transmit a lost message and an authentication key such as a onetime session key to the electronic device 400 .
  • the authentication key may be used to authenticate that the electronic device 400 and the second device 202 are trusted devices without separate encryption/decryption during wireless communication connection (eg, BLE GATT connection).
  • the server 300 may perform operation 623 of FIG. 6 instead of performing operations 1833 to 1850 of FIG. 18 .
  • the personal ID 1004 of the second device 202 may be changed at regular intervals for security purposes.
  • the second device 202 may change the personal ID 1004 included in the advertising packet at 15-minute intervals according to a predetermined algorithm.
  • the algorithm may be implemented in the same manner in the first device 201 and/or the server 300 .
  • the server 300 generates a one-time session key corresponding to the first private key in a first time interval (eg, 15 minutes) in which the identification information of the second device 202 is maintained as the first private key. and this one-time session key may be valid for communication with the second device 202 only during the first time period.
  • the second If a communication connection is attempted with the second device 202 with the one-time session key corresponding to one private key, the communication connection may be rejected by the second device 202 .
  • the electronic device 400 may receive a lost message and/or an authentication key from the server 300 .
  • the electronic device 400 may output a notification regarding the lost device on the display of the electronic device 400 .
  • the electronic device 400 may display a notification that there is a lost device nearby by using a pop-up, a notification, sound, vibration, or the like.
  • the electronic device 400 may attempt to connect with the second device 202 using the authentication key.
  • the electronic device 400 may include a first wireless communication circuit supporting a short-range communication network and a second wireless communication circuit supporting a long-distance communication network (eg, cellular, Wi-Fi).
  • the electronic device 400 may use the second wireless communication circuit in communication with the server 300 and may use the first wireless communication circuit in communication with the second device 202 .
  • the second device 202 may allow a connection with the electronic device 400 based on the authentication key received from the electronic device 400 .
  • the second device 202 may allow a BLE generic attribute (GATT) connection with the electronic device based on the authentication key.
  • GATT BLE generic attribute
  • various connections using short-range communication are possible for the connection between the second device 202 and the electronic device 400 , and the connection between the second device 202 and the electronic device 400 is not limited to the GATT connection.
  • the electronic device 400 may establish a communication connection with the second device 202 .
  • the electronic device 400 may control some functions of the second device 202 or obtain a lost message from the second device 202 using this communication connection.
  • FIG. 19 illustrates exemplary UIs for activating a help request for finding a lost device and registering a lost message in the first device according to various embodiments of the present disclosure.
  • an interface such as a first screen 1910 may be provided on the display of the first device 201 in order to make settings related to a request for help.
  • the second device 202 may be registered in advance with the first device 201 under a name such as, for example, “Galaxy Tag”.
  • the first screen 1910 may include a first setting item 1911 to provide a notification when a lost device is found, and a second setting item 1913 for the owner to register a message/settings. can In response to the selection of the second setting item 1913 , the electronic device 400 may display the second screen 1920 .
  • the second screen 1920 may include a region 1921 indicating that the setting screen can be switched through a touch input such as flicking, dragging, or scrolling.
  • an indicator in the area 1921 may indicate the current page.
  • the first device 201 may switch the inactive help request function to the activated state in response to a selection of the “Request help to others” item 1923 . have. If the help request function is in an activated state, the help request function may be switched to an inactive state in response to the selection.
  • an appropriate warning message 1925 may be provided when the help request function transitions from an inactive state to an active state.
  • the warning message 1925 may be provided in a pop-up form overlaid on the second screen 1920 , or may be provided in a form replacing the item 1923 .
  • the help request function When the help request function is activated, information regarding the user's contact information may be provided, some functions of the second device 202 (eg a ring) may be controlled by another device, and/or rewards A warning may be issued regarding the fact that it may be legally binding if it is promised. If you acknowledge the warning message 1925 (eg, select Turn On), the toggle switch of the item 1923 may be activated.
  • the warning message 1925 may be omitted.
  • the Find Lost Device function may be activated immediately.
  • the item 1923 may be replaced with the item 1927 .
  • the first device 201 may display the fourth screen 1940 for inputting the lost message in response to the selection of the lost message item 1931 .
  • the user may compose and store the lost message 1941 using the keypad area 1943 or suitable input means.
  • FIG. 20 illustrates exemplary UIs for activating a lost device finding function in an electronic device according to various embodiments of the present disclosure.
  • the first screen 2010 may include an item 2011 for activating a lost device search function.
  • the electronic device 400 may display the second screen 2020 .
  • the lost device search function is activated, the electronic device 400 may activate the first wireless communication circuit for short-distance communication of FIG. 18 and scan advertising packets broadcast by a peripheral device.
  • the second screen 2020 may include a description indicating that the function to find a lost device is activated.
  • the user may switch the search for lost device function to an inactive state by selecting the OFF button 2021 of the second screen.
  • 21 illustrates exemplary UIs for performing a connection with a lost device in an electronic device according to various embodiments of the present disclosure.
  • the electronic device 400 may activate a lost device search function.
  • the electronic device 400 may recognize that there is a nearby lost device by receiving an advertising packet from a lost device such as the second device 202 existing nearby.
  • the electronic device 404 may receive information including a lost message/authentication key from the server 300 .
  • the electronic device 400 may output a notification about the lost device on the display. For example, the electronic device 400 may perform operation 1841 of FIG. 18 .
  • the electronic device 400 may output the first UI 2110 to the display when operation 1841 is performed.
  • the electronic device 400 may display a first UI 2110 including a message 2111 for confirming whether there is a lost device nearby and whether to perform a search.
  • the message of FIG. 21 is exemplary and may be changed as appropriate.
  • a message confirming whether to perform a connection with the second device 202 may be output.
  • the message may be output as a pop-up, sound, vibration, notification, or a combination of two or more of these.
  • the electronic device 400 may attempt to connect with the second device 202 .
  • the electronic device 400 may attempt a BLE GATT connection with the second device 202 using an authentication key (eg, a one-time session key) received from the server 300 .
  • an authentication key eg, a one-time session key
  • a second UI 2120 indicating that the connection is being attempted may be displayed.
  • the electronic device 400 may display the third UI 2130 indicating that the connection with the second device 202 has been established.
  • the third UI 2130 may include identification information (eg, Galaxy Tag) of the connected device.
  • the fourth UI 2140 may be displayed in response to a user input for the third UI 2130 .
  • the fourth UI 2140 may be automatically displayed after a specified time elapses after the third UI 2130 is displayed.
  • the display of the third UI 2130 may be omitted and the fourth UI 2140 may be displayed immediately.
  • the fourth UI 2140 may include a lost message 2141 registered by the first device 201 .
  • the fourth UI 2140 may include an icon 2143 for ringing the ring of the second device 202 .
  • the electronic device 400 may transmit a control signal for ringing the ring to the second device 202 through a BLE GATT connection.
  • the second device 202 may output a ring sound by controlling a speaker of the second device 202 in response to receiving the control signal.
  • the electronic device 400 can effectively discover the second device 202 .
  • the electronic device 400 controls the ring sound of the second device 202 through the icon 2143 , but the electronic device 400 operates the second device through an appropriate icon, menu, button, or the like.
  • One or more functions of 202 may be controlled.
  • the electronic device 400 may generate a vibration in the second device 202 or control the second device 202 to transmit a UWB signal.
  • the electronic device 400 may effectively identify the location of the second device 202 using the UWB signal received from the second device 202 .
  • the electronic device 400 may perform at least some of the functions described as being capable of being performed by the first device 201 using FIGS. 13 to 17 .
  • An electronic device (eg, the electronic device 101 , the first device 201 ) according to an embodiment includes a camera (eg, the camera module 180 , the camera 1131 ), and a display (eg, the display module 160 ). , display 1140), a positioning circuit, an ultra-wide band (UWB) antenna, a UWB communication circuit connected to the UWB antenna, a first wireless communication circuit supporting short-range communication, a second wireless communication circuit supporting cellular communication , and at least one processor (eg, the processor 120 and the processor 1110 ).
  • UWB ultra-wide band
  • the at least one processor is registered with the electronic device from a server (eg, server 300) using the second wireless communication circuit, but is not currently connected to an external device (eg, a second device ( 201)), and based on the information obtained from the server and the location of the electronic device measured by the location measuring circuit, It is determined whether it is within a specified distance from the coordinates, and in response to the determination, a short-distance communication connection is established with the external device through the first wireless communication circuit, and the external device to the external device through the established short-distance communication connection transmits a request to activate the UWB function of the device, identifies the location of the external device with respect to the electronic device based on the UWB signal received from the external device, and image data acquired using the camera and the external device An augmented reality interface may be output to the display based on the identified location.
  • a server eg, server 300
  • an external device eg, a second device ( 201)
  • the augmented reality interface may include a first object indicating a distance from the current location of the electronic device to the identified location of the external device.
  • the augmented reality interface may also include a second object pointing to the identified location of the external device.
  • the at least one processor may provide a guide for moving toward the coordinates of the external device on the display.
  • the at least one processor when receiving a response indicating that activation of the UWB function is not possible from the external device in response to the request for activating the UWB function, configures the first wireless communication circuit The distance to the external device may be sensed using
  • the at least one processor may determine whether to use the UWB function based on information about the external device obtained from the server.
  • the information obtained from the server may include information indicating whether the external device supports UWB communication or a battery of the external device.
  • the at least one processor outputs a first UI to the display when the electronic device is not within the specified distance from the coordinates of the external device, and the electronic device is configured to display the first UI from the coordinates of the external device.
  • the first UI may be converted into a second UI including the image data obtained using the camera.
  • the electronic device further includes one or more sensors (eg, one or more sensors 1130 ), and the at least one processor receives the information from the external device every first period using the UWB communication circuit.
  • the UWB signal may be received, and the location of the external device identified based on the UWB signal may be updated every second period shorter than the first period based on sensor data obtained through the one or more sensors.
  • the at least one processor may change at least one of the first period and the second period.
  • the electronic device eg, the electronic device 101 , the first device 201
  • the method according to an embodiment may further include providing a guide for moving toward the coordinates of the external device on the display when the electronic device is not within the specified distance from the coordinates of the external device. have.
  • the first wireless communication circuit is used to The method may further include detecting a distance to an external device.
  • the method includes outputting a first UI to the display when the electronic device is not within the specified distance from the coordinates of the external device, and the electronic device performs the specified operation from the coordinates of the external device.
  • the method may further include converting the first UI to a second UI including the image data acquired using the camera in response to being located within a distance and establishing the short-range communication connection with an external device.
  • the operation of receiving the UWB signal from the external device in a first period using the UWB communication circuit, and the location of the external device identified based on the UWB signal, are determined in the electronic device
  • the method may further include updating every second period shorter than the first period based on sensor data acquired through one or more sensors of .
  • An electronic device (eg, the second device 202 ) according to an embodiment includes a wireless communication circuit (eg, the communication circuit 1030 ), a UWB communication circuit, a UWB antenna electrically connected to the UWB communication circuit, and the wireless a communication circuit and a processor (eg, processor 1010 ) electrically or operatively connected to a communication circuit and the UWB communication circuit, wherein the processor establishes a short-range communication connection with an external device using the wireless communication circuit, and A UWB activation request may be received through a communication connection, and in response to the UWB activation request, a UWB signal of a specified frequency may be transmitted using the UWB communication circuit.
  • a wireless communication circuit eg, the communication circuit 1030
  • UWB communication circuit e.g, the communication circuit 1030
  • UWB communication circuit e.g, the communication circuit 1030
  • UWB communication circuit e.g, the communication circuit 1030
  • UWB communication circuit e.g,
  • the processor may broadcast an advertising packet including information indicating whether the UWB communication circuit is available using the wireless communication circuit.
  • the processor may provide information indicating whether the UWB communication circuit is available to the external device (eg, the first device 201) through the short-range communication connection.
  • the processor may provide information indicating that the UWB communication circuit is unavailable to the external device when the remaining battery level of the electronic device is less than or equal to a reference value.
  • the UWB activation request includes information on a period for transmitting the UWB signal using the UWB communication circuit, and the processor may transmit the UWB signal at each period using the UWB communication circuit. have.
  • An electronic device includes a location measurement circuit, a first wireless communication circuit supporting short-range communication, a second wireless communication circuit supporting cellular communication, and the location measurement circuit, the first wireless communication circuit, and the first wireless communication circuit 2 It may include at least one processor electrically connected to the wireless communication circuit.
  • the at least one processor obtains an advertising packet from the external device using the first wireless communication circuit, and uses the second wireless communication circuit to obtain the external advertisement packet obtained from the advertising packet. Transmitting device identification information and location information of the electronic device obtained through the location measuring circuit to a server, obtaining an authentication key associated with the external device from the server, and communicating with the external device using the authentication key connection can be established.
  • the at least one processor may further acquire the lost message together with the authentication key from the server using a second wireless communication circuit.
  • the electronic device may further include a display, and the at least one processor may output the lost message on the display.
  • the at least one processor may transmit a control signal for controlling at least one function of the external device through the communication connection.
  • the at least one processor may establish a Bluetooth low energy generic attribute (BLE GATT) connection with the external device using the first wireless communication circuit.
  • BLE GATT Bluetooth low energy generic attribute
  • the electronic device may be a device of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a laptop, a desktop, a tablet, or a portable multimedia device
  • portable medical device e.g., a portable medical device
  • camera e.g., a camera
  • a wearable device e.g., a smart watch
  • a home appliance device e.g., a smart bracelet
  • first”, “second”, or “first” or “second” may simply be used to distinguish the component from other components in question, and may refer to components in other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module may include a unit implemented in hardware, software, firmware, or a combination thereof, and may be used interchangeably with terms such as, for example, logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • one or more instructions stored in a storage medium may be implemented as software (eg, the program 140) including
  • a processor eg, processor 120
  • a device eg, electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • non-transitory only means that the storage medium is a tangible device and does not contain a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the method according to various embodiments disclosed in this document may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play StoreTM) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly or online between smartphones (eg: smartphones).
  • a part of the computer program product may be temporarily stored or temporarily created in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each component eg, a module or a program of the above-described components may include a singular or a plurality of entities.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repetitively, or heuristically, or one or more of the operations are executed in a different order, omitted, or , or one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Telephone Function (AREA)

Abstract

일 실시 예에 따른 전자 장치는, 카메라, 디스플레이, 위치 측정 회로, UWB 안테나, UWB 통신 회로, 근거리 통신을 지원하는 제1 무선 통신 회로, 셀룰러 통신을 지원하는 제2 무선 통신 회로, 및 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 제2 무선 통신 회로를 이용하여 서버로부터 외부 장치에 대한 정보를 획득하고, 상기 전자 장치가 상기 외부 장치로부터 지정된 거리 이내에 있으면 상기 제1 무선 통신 회로를 통해 상기 외부 장치와 근거리 통신 연결을 수립하고, 상기 외부 장치로 상기 외부 장치의 UWB 기능을 활성화하는 요청을 전송하고, 상기 외부 장치로부터 수신되는 UWB 신호에 기반하여 상기 전자 장치에 대한 상기 외부 장치의 위치를 식별하고, 상기 카메라를 이용하여 획득되는 이미지 데이터 및 상기 외부 장치의 상기 식별된 위치에 기반하여 증강 현실 인터페이스를 상기 디스플레이에 출력할 수 있다.

Description

UWB와 AR를 이용한 분실기기 찾는 방법 및 그 장치
본 문서에서 개시되는 다양한 실시 예들은, 전자 장치의 위치 확인 서비스를 제공하는 기술에 관한 것이다.
최근 다양한 전자 제품의 보급이 증가함에 따라, 사용자들은 스마트폰과 같은 모바일 통신 장치 외에 스마트폰과 연결해서 사용할 수 있는 스마트 워치, 이어폰, 또는 태블릿과 같은 다수의 장치를 사용하고 있다. 그러나 이어폰과 같은 장치의 작은 크기 또는 사용자의 부주의로 인해 사용자가 일부 장치를 분실하는 경우가 발생할 수 있고, 장치의 제조사나 서비스 제공 업체에서는 이러한 경우에 대비하여 분실 장치의 위치를 확인해주는 서비스를 제공할 수 있다.
기존에 제공되는 서비스는, 예를 들어 분실된 사용자의 스마트폰의 위치를 서버가 수집하고, 스마트폰의 위치를 사용자에게 제공하는 방식일 수 있다. 예를 들어, 스마트폰을 분실한 사용자는 스마트폰 제조사의 웹사이트에 본인 계정으로 로그인한 후 스마트폰의 위치 확인을 요청하면, 서버는 스마트폰과 통신을 통해 확인된 위치 정보를 웹사이트 또는 어플리케이션을 통해 제공할 수 있다.
위 방법은 스마트폰과 같이 서버와 직접 통신이 가능한 전자 장치가 분실된 경우를 전제로 하므로, 스마트폰과 근거리 통신(예: Bluetooth 또는 Wi-Fi direct)으로 페어링은 가능하지만 서버와 직접 통신을 수행할 능력을 보유하지 않은 장치(예: 이어폰 또는 헤드셋)에서는 사용될 수 없었다. 이 경우, 분실된 장치가 자신의 식별 정보를 주변 장치로 전송하면, 주변 장치가 자신의 정보와 분실된 장치의 식별 정보를 같이 서버로 제공하고, 서버에서는 분실 장치의 식별 정보를 이용하여 분실 장치의 원래 사용자에게 분실 장치의 위치 정보를 제공해줄 수 있다.
분실 장치의 소유자가 분실 장치의 위치 정보를 획득하더라도 이는 GPS와 같은 측위 시스템에 기반한 좌표 정보에 해당하므로, 실제 해당 좌표에 방문하더라도 사용자는 분실 장치를 쉽게 발견하기 어려울 수 있다. 예를 들어, 획득된 분실 장치의 좌표가 어떤 공원이나 건물을 특정하더라도, 현실적으로 특정된 장소는 사용자 입장에서 엄청난 탐색 범위에 해당할 수 있다.
이에 따라 본 문서의 다양한 실시 예들에서는, 사용자가 분실 장치의 근처에 근접한 경우, UWB(ultra-wide band) 통신과 증강현실(AR, augmented reality) 기능을 이용하여 분실 장치를 용이하게 발견하는 방법을 제공할 수 있다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 카메라, 디스플레이, 위치 측정 회로, UWB 안테나, 상기 UWB 안테나와 연결된 UWB 통신 회로, 근거리 통신을 지원하는 제1 무선 통신 회로, 셀룰러 통신을 지원하는 제2 무선 통신 회로, 및 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 제2 무선 통신 회로를 이용하여 서버로부터 상기 전자 장치에 등록되어 있으나 상기 전자 장치와 현재 연결되어 있지 않은 외부 장치에 대한 정보를 획득하고, 상기 서버로부터 획득된 정보 및 상기 위치 측정 회로에 의해 측정된 상기 전자 장치의 위치에 기반하여 상기 전자 장치가 상기 외부 장치에 대한 정보에 포함된 상기 외부 장치의 좌표로부터 지정된 거리 이내에 있는지 여부를 판단하고, 상기 판단에 응답하여 상기 제1 무선 통신 회로를 통해 상기 외부 장치와 근거리 통신 연결을 수립하고, 상기 수립된 근거리 통신 연결을 통해 상기 외부 장치로 상기 외부 장치의 UWB 기능을 활성화하는 요청을 전송하고, 상기 외부 장치로부터 수신되는 UWB 신호에 기반하여 상기 전자 장치에 대한 상기 외부 장치의 위치를 식별하고, 상기 카메라를 이용하여 획득되는 이미지 데이터 및 상기 외부 장치의 상기 식별된 위치에 기반하여 증강 현실 인터페이스를 상기 디스플레이에 출력할 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 방법은, 전자 장치의 제2 무선 통신 회로를 이용하여 서버로부터 상기 전자 장치에 등록되어 있으나 상기 전자 장치와 현재 연결되어 있지 않은 외부 장치에 대한 정보를 획득하는 동작, 상기 서버로부터 획득된 정보 및 상기 전자 장치의 위치 측정 회로에 의해 측정된 상기 전자 장치의 위치에 기반하여 상기 전자 장치가 상기 외부 장치에 대한 정보에 포함된 상기 외부 장치의 좌표로부터 지정된 거리 이내에 있는지 여부를 판단하는 동작, 상기 판단에 응답하여 상기 전자 장치의 제1 무선 통신 회로를 통해 상기 외부 장치와 근거리 통신 연결을 수립하는 동작, 상기 수립된 근거리 통신 연결을 통해 상기 외부 장치로 상기 외부 장치의 UWB 기능을 활성화하는 요청을 전송하는 동작, 상기 외부 장치로부터 수신되는 UWB 신호에 기반하여 상기 전자 장치에 대한 상기 외부 장치의 위치를 식별하는 동작, 및 상기 전자 장치의 카메라를 이용하여 획득되는 이미지 데이터 및 상기 외부 장치의 상기 식별된 위치에 기반하여 증강 현실 인터페이스를 상기 전자 장치의 디스플레이에 출력하는 동작을 포함할 수 있다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 무선 통신 회로, UWB 통신 회로, 상기 UWB 통신 회로와 전기적으로 연결된 UWB 안테나, 및 상기 무선 통신 회로 및 상기 UWB 통신 회로와 전기적 또는 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 무선 통신 회로를 이용하여 외부 장치와 근거리 통신 연결을 수립하고, 상기 근거리 통신 연결을 통해 UWB 활성화 요청을 수신하고, 상기 UWB 활성화 요청에 응답하여, 상기 UWB 통신 회로를 이용하여 지정된 주파수의 UWB 신호를 전송할 수 있다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 위치 측정 회로, 근거리 통신을 지원하는 제1 무선 통신 회로, 셀룰러 통신을 지원하는 제2 무선 통신 회로, 및 상기 위치 측정 회로, 제1 무선 통신 회로, 및 상기 제2 무선 통신 회로와 전기적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 제1 무선 통신 회로를 이용하여 상기 외부 장치로부터 애드버타이징 패킷을 획득하고, 상기 제2 무선 통신 회로를 이용하여, 상기 애드버타이징 패킷에서 획득된 상기 외부 장치의 식별 정보 및 상기 위치 측정 회로를 통해 획득된 상기 전자 장치의 위치 정보를 서버로 전송하고, 상기 서버로부터 상기 외부 장치와 연관된 인증 키를 획득하고, 상기 인증 키를 이용하여 상기 외부 장치와 통신 연결을 수립할 수 있다.
다양한 실시 예에 따르면, 전자 장치는 분실 장치와의 거리에 따라 적절한 가이드를 제공할 수 있고, 사용자는 증강 현실을 이용한 가이드를 따라 직관적으로 분실 장치의 위치를 파악할 수 있다.
다양한 실시 예에 따르면, 전자 장치는 분실 메시지를 미리 등록하고 제한적으로 분실 장치와 타인의 장치 사이의 연결을 허용함으로써 분실 장치에 대한 탐색 효율을 높일 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 다양한 실시 예에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시 예에 따른 사용자 장치의 위치를 확인하는 시스템을 나타낸다.
도 3은 다양한 실시 예에 따른 전자 장치의 다양한 기능과 관련된 모듈들을 나타낸다.
도 4는 다양한 실시 예에 따른 서버의 다양한 기능과 관련된 모듈들을 나타낸다.
도 5는 다양한 실시 예에 따른, 제1 장치가 제2 장치를 서버에 등록하는 흐름도를 나타낸다.
도 6은 다양한 실시 예에 따른 파인딩 시스템(finding system)에서 분실 장치의 현재 위치를 추적하는 흐름도를 나타낸다.
도 7은 다양한 실시 예에 따른 제1 장치에서 사용자 장치들의 위치를 확인하기 위한 사용자 인터페이스를 나타낸다.
도 8은 다양한 실시 예에 따른 전자 장치가 임의의 외부 장치를 찾기 위해 스캔을 수행하는 흐름도를 나타낸다.
도 9는 다양한 실시 예에 따른 전자 장치의 화면 ON/OFF에 따른 스캔 간격을 조절하는 흐름도이다.
도 10은 다양한 실시 예에 따른 제2 장치의 구성 및 제2 장치에 의해 브로드캐스팅 되는 패킷의 데이터 구조를 나타낸다.
도 11은 다양한 실시 예에 따른 제1 장치의 하드웨어 구성요소들을 나타낸다.
도 12는 다양한 실시 예에 따른 제1 장치의 하드웨어 구성요소들 및 하드웨어 구성요소들을 통해 구현되는 각종 기능과 관련된 다양한 모듈들을 나타낸다.
도 13은 다양한 실시 예에 따른 분실 장치를 찾기 위한 가이드를 제공하는 흐름도이다.
도 14는 다양한 실시 예에 따른 거리에 따라 전자 장치가 제공하는 예시적인 UI들을 나타낸다.
도 15는 다양한 실시 예에 따른 전자 장치가 증강 현실을 이용하여 제공하는 예시적인 UI들을 나타낸다.
도 16은 다양한 실시 예에 따른 전자 장치에서 UWB와 센서 데이터를 이용하여 타겟 위치를 업데이트하는 흐름도를 나타낸다.
도 17은 다양한 실시 예에 따른, 도 16의 흐름도에 대한 구체적인 세부 동작들을 나타낸다.
도 18은 다양한 실시 예에 따른 분실 장치와 연결을 수립하는 흐름도를 나타낸다.
도 19는 다양한 실시 예에 따른 제1 장치에서 분실 장치를 찾기 위한 요청(help request)을 활성화하고 분실 메시지를 등록하는 예시적인 UI들을 나타낸다.
도 20은 다양한 실시 예에 따른 전자 장치에서 분실 장치 찾기 기능을 활성화하는 예시적인 UI들을 나타낸다.
도 21은 다양한 실시 예에 따른 전자 장치에서 분실 장치와 연결을 수행하는 예시적인 UI들을 나타낸다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하, 본 개시의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
도 1은 다양한 실시 예에 따른 네트워크 환경(100) 내의 전자 장치를 도시한 도면이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시 예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted Boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, Wi-Fi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시 예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시 예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시 예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗면 또는 측면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시 예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시 예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 다양한 실시 예에 따른 사용자 장치의 위치를 확인하는 시스템을 나타낸다.
도 2를 참조하면, 일 실시 예에 따른 시스템은 사용자 장치들(200), 서버(300), 및 전자 장치(400)를 포함할 수 있다. 사용자 장치들(200) 중 적어도 하나와 전자 장치(400)는 제2 네트워크(199)(예: Wi-Fi, 또는 셀룰러 네트워크)를 통해 서버(300)와 연결될 수 있다.
일 실시 예에서, 사용자 장치들(200)은 복수의 장치들을 포함할 수 있다. 예를 들어, 어떤 사용자는 주로 사용하는 제1 장치(201) 외에, 제2 장치(202), 제3 장치(203), 제4 장치(204), 제5 장치(205), 및 제6 장치(206) 중 적어도 하나를 더 소유할 수 있다. 제1 장치(201)는, 예를 들어 스마트 폰(smartphone)과 같은 모바일 통신 장치일 수 있다. 제2 장치(202)는, 예를 들어 스마트 워치와 같은 웨어러블 장치일 수 있다. 제3 장치(203)는, 예를 들어 이어버즈(earbuds)와 같은 블루투스 이어폰일 수 있다. 제4 장치(204)는, 예를 들어 블루투스 헤드폰 또는 헤드셋일 수 있다. 제5 장치(205)는, 예를 들어 노트북일 수 있다. 제6 장치(206)는, 예를 들어 태블릿(tablet)일 수 있다. 도 2에 도시된 예시 외에도 사용자는 제1 장치(201) 외에 적절한 다른 장치를 연동하여 사용할 수 있다. 예를 들어, 키팝(key fob), 지갑(wallet), 백팩(backpack), 강아지나 고양이의 인식 장치, 자동차, 자전거, 신분증, 서류가방, 우산, 및/또는 기타 장비(gear)도 본 문서에서 설명하는 통신 기능을 충족한다면 제1 장치(201)와 연동될 수 있고, 분실 시에 제1 장치(201)에서 위치 추적을 수행할 수 있다. 또한, 어떤 실시 예에서 사용자는 동일한 장치를 2개 이상 사용할 수 있다. 예를 들어, 사용자는 복수 개의 스마트폰(예: 제1 장치(201))을 상호 연동하여 사용할 수 있다. 또한, 사용자는 2개 이상의 태블릿(예: 제6 장치(206))을 제1 장치(201)와 연동하여 사용할 수 있다.
일 실시 예에서, 사용자 장치들(200)은 서로 소정의 통신 프로토콜을 이용하여 서로 연결될 수 있다. 예를 들어, 제1 장치(201)는 제2 장치(202), 제3 장치(203), 제4 장치(204), 제5 장치(205), 및 제6 장치(206) 중 적어도 하나와 근거리 네트워크를 통해 연결될 수 있다. 예를 들어, 사용자 장치들(200)의 사이의 연결을 수립하기 위한 네트워크(예: 근거리 네트워크)는 적절하게 선택될 수 있다. 예를 들어, Bluetooth와 함께 또는 Bluetooth 대신에 BLE(Bluetooth Low Energy), Wi-Fi direct, NFC(near field communication), UWB(ultra-wide band) 통신, 또는 적외선(Infra-red) 통신이 사용자 장치들(200)의 사이의 연결을 수립하기 위해 사용될 수 있다. 또한, 일 실시 예에서, 사용자 장치들(200)은 근거리 무선 통신으로, 메시 네트워크(mesh network)(예: zigbee, 또는 Z-Wave)를 이용하여 연결을 수립할 수 있다.
일 실시 예에서, 제1 장치(201) 외에 제2 장치(202), 제3 장치(203), 제4 장치(204), 제5 장치(205), 및 제6 장치(206) 중 적어도 하나는 제2 네트워크(199)를 통해 서버(300)와 직접 연결될 수 있다. 예를 들면, 어떤 사용자 장치는 제1 장치(201)에 의존하지 않고 독자적으로(stand-alone) 제2 네트워크(199)와 연결을 수립할 수 있다.
일 실시 예에서, 사용자 장치들(200)은, 디바이스 정보(예: 장치 구성 요소)에 따라, 서로 연결하는 방법이 다양할 수 있다. 예를 들면, 사용자 장치들(200) 중 적어도 하나가, IP 기반(IP 주소) 장치인 경우, SSID(service set identifier)를 이용하여 제2 네트워크(199)와 연결을 수립할 수 있고, IP 기반 장치가 아닌 경우(예: BLE, zigbee, 또는 Z-Wave), 사용자 장치(예: 제1 장치(201)) 또는 허브 장치(미도시)를 이용하여, 제2 네트워크(199)와 연결을 수립할 수 있다.
일 실시 예에서, 사용자 장치들(200) 중 적어도 하나는 분실 시 찾기(finding) 기능을 제공하기 위한 애드버타이징 패킷(advertising packet)을 브로드캐스팅(broadcasting) 할 수 있다. 예를 들어, 제2 장치(202)는 자신이 분실되었다고 판단되면 제2 장치(202)의 식별 정보를 포함하는 다양한 정보를 담은 패킷을 브로드캐스팅 할 수 있다. 상기 패킷은 제2 장치(202)외에 소정의 통신 가능 거리 내에 위치하는 전자 장치들이 수신할 수 있도록 브로드캐스팅 될 수 있다. 본 문서의 다양한 실시 예들에서 패킷, 또는 애드버타이징 패킷은 장치가 분실되었음을 인식할 수 있는 신호, 메시지, 또는 비콘으로 이해될 수 있다.
일 실시 예에서, 사용자 장치들(200) 중 적어도 하나는 다양한 기준에 따라 자신의 분실 여부를 판단할 수 있다. 예를 들어, 제2 장치(202)는 모단말, 또는 메인 단말인 제1 장치(201)와 마지막으로 연결된 시점으로부터 제1 시간(예: 48시간)이 경과한 경우, 및/또는 제1 장치(201)와 마지막으로 연결된 시점으로부터 제1 시간보다 짧은 제2 시간(예: 24시간)이 경과하였으나 배터리 잔량이 기준치(예: 30%) 이하로 내려가는 경우 자신을 분실 상태로 판단할 수 있다. 제1 시간, 제2 시간 및/또는 배터리 잔량은 사용자 설정이나 제조사의 기준에 의해 다양한 분실 판단 기준이 적용될 수 있으며, 이에 제한되지 않을 수 있다.
다양한 실시 예에서, 도 1을 참조하여 전자 장치(101)에 대한 설명은 사용자 장치들(200)에 적절하게 적용될 수 있다. 예를 들어, 사용자의 제1 장치(201)가 스마트폰인 경우, 제1 장치(201)와 전자 장치(101)는 동일한 장치일 수 있다. 또한, 예를 들어 사용자의 제3 장치(203)가 디스플레이를 구비하지 않는 이어버즈인 경우, 전자 장치(101)에 대한 설명 중 디스플레이 모듈(160)에 대한 부분을 제외한 다른 설명이 제3 장치(203)에 적절하게 적용될 수 있다.
일 실시 예에서, 서버(300)는 도 1의 서버(108)에 대응될 수 있다. 서버(300)는 사용자 장치들(200) 중 어느 하나를 사용자가 분실한 경우, 분실된 장치의 위치를 확인하는 기능을 제공할 수 있다. 다양한 실시 예에서는 설명의 편의상, 사용자 장치들(200) 중 제2 장치(202)가 분실된 경우, 제1 장치(201)에서 잃어버린 제2 장치(202)의 위치를 확인하는 예시를 중심으로 설명한다.
일 실시 예에서, 전자 장치(400)는 제2 장치(202)의 소유자와는 다른 사용자의 장치일 수 있다. 전자 장치(400)는 분실된 제2 장치(202)의 근처에 있어서, 제2 장치(202)로부터 브로드캐스팅되는 애드버타이징 패킷을 직접 또는 간접적으로 획득할 수 있다. 전자 장치(400)는 분실된 제2 장치(202)가 근거리 통신 기법(예: BLE)을 이용하여 브로드캐스팅하는 신호를 수신하기 위한 근거리 통신 회로를 포함할 수 있다. 또한, 전자 장치(400)는 스스로의 위치를 측정하기 위한 위치 측정 회로(예: GPS 회로)를 포함할 수 있다. 또한 전자 장치(400)는 제2 장치(202)에 대한 정보와 자신의 위치를 서버(300)로 전송하기 위한 원거리 통신 회로(예: 셀룰러 네트워크 및/또는 Wi-Fi 네트워크를 지원하는 통신 회로)를 포함할 수 있다.
일 실시 예에서, 전자 장치(400) 역시 제1 장치(201)와 동종의 장치(예: 스마트폰)일 수 있다. 따라서 도 1을 참조하여 설명된 전자 장치(101)에 대한 설명의 일부 또는 전부가 전자 장치(400)에도 적용될 수 있다. 또한, 본 문서에서 제1 장치(201)의 구성이나 기능에 대해 설명되는 내용은 전자 장치(400)에도 적용될 수 있다. 그러나 이에 제한되지 않으며, 전자 장치(400)는 상술한 통신 기능을 지원하는 임의의 전자 장치가 될 수 있다.
도 3은 다양한 실시 예에 따른 전자 장치의 다양한 기능과 관련된 모듈들을 나타낸다.
도 3에서 설명되는 다양한 기능들은, 분실 장치를 찾는 관점에서는 제1 장치(201)에서 지원되는 기능으로 이해될 수 있다. 또한, 분실 장치로부터 획득한 애드버타이징 패킷을 처리하는 관점에서는 전자 장치(400)에서 지원되는 기능으로 이해될 수 있다. 전술한 것과 같이, 제1 장치(201)와 전자 장치(400)는 잃어버린 장치를 찾는 사용자의 장치인지, 잃어버린 장치를 찾기 위해 도움을 제공하는 사용자의 장치인지에 따른 구분이 있을 뿐이며, 도 3에서 설명하는 기능은 제1 장치(201)와 전자 장치(400)에 모두 구비될 수 있다. 이하에서는 제1 장치(201)를 기준으로 설명한다.
도 3을 참조하여 설명되는 기능이나 동작은 제1 장치(201)의 프로세서에 의해 수행되는 기능으로 이해될 수 있다. 프로세서는 도 3에 도시된 소프트웨어 모듈을 구현하기 위해 메모리에 저장된 명령어들(예: 인스트럭션(instruction))을 실행시킬 수 있고, 기능과 연관된 하드웨어(예: 도 1의 통신 모듈(180))를 제어할 수 있다. 예를 들어, 상기 모듈들은 다양한 기능들을 제공하기 위해 다양한 처리 회로 및/또는 실행 가능한 프로그램 명령어들을 포함할 수 있다.
일 실시 예에서, 제1 장치(201)는 적어도 하나의 장치 카드를 관리할 수 있다. 예를 들어, 제1 장치(201)에는 제1 장치(201)에 대한 제1 장치 카드(211)가 등록될 수 있다. 또한 제1 장치(201)에는 제1 장치(201)와 연동된 이력이 있는 제2 장치(202)에 대한 제2 장치 카드(212)가 등록될 수 있다. 장치 카드(예: 제1 장치 카드(211), 제2 장치 카드(212))에는 장치의 이름 및/또는 식별 정보, 장치의 상태, 장치의 배터리 정보, 장치의 위치 이력 및/또는 장치의 현재 위치, 또는 장치와 관련된 메시지와 같은 정보가 포함될 수 있다. 일 실시 예에서, 제1 장치 카드(211) 및/또는 제2 장치 카드(212)에 포함된 정보는, 사용자를 통해 설정 및/또는 변경될 수 있다. 예를 들면, 제1 장치(201) 및/또는 제2 장치(202)의 사용자는 제1 장치(201) 및/또는 제2 장치(202)와 관련된 이름, 장치 종류(예: 타입), 또는 정책 정보를 설정할 수 있다.
일 실시 예에서, 제1 장치(201)와 제2 장치(202)는 동일한 사용자 계정을 공유할 수 있고, 또한 제1 장치 카드(211)와 제2 장치 카드(212)는 동일한 사용자 계정에 대해 등록된 것일 수 있다. 예를 들어, 제1 장치(201)의 사용자에 의해 제1 장치(201)와 연동된 사용자의 장치들의 위치를 확인하고자 하는 입력이 수신되는 경우, 제1 장치(201)는 메모리에 저장된 제1 장치 카드(211)와 제2 장치 카드(212)에 대한 정보를 보여주는 사용자 인터페이스(user interface, UI)를 디스플레이(예: 도 1의 디스플레이 모듈(160))에 제공할 수 있다. 예시적인 UI가 도 7을 참조하여 보다 상세하게 후술된다.
일 실시 예에서, 제1 장치(201)와 제2 장치(202)는 서로 다른 사용자 계정을 가진 장치일 수 있다. 제1 장치(201)와 제2 장치(202)가 서로 다른 사용자 계정을 가지면서, 서로 신뢰할 수 있는 장치임이 확인되는 경우, 제1 장치 카드(211)와 제2 장치 카드(212)는 동일한 사용자 계정에 대해 등록될 수 있다. 예를 들어, 제1 장치(201)의 제1 사용자와 제2 장치(202)의 제2 사용자가 서로 가족 관계인 것으로 확인되는 경우, 제1 장치(201)의 제1 사용자의 제1 사용자 계정을 통해서 제2 장치(202)에 대한 정보를 확인할 수 있다. 이하에서는 편의를 위해 동일 사용자 기준으로 설명하지만, 제1 장치(201)와 제2 장치(202)의 사용자가 서로 다른 경우에도 다양한 실시 예들이 적용될 수 있다.
일 실시 예에서, 트래커 플러그 인(tracker plugin)(220)은 사용자 장치를 등록하기 위한 모듈로 이해될 수 있다. 예를 들어, 제1 장치(201)는 트래커 플러그인(220)을 구동할 수 있다. 예를 들어, 트래커 플러그인(220)은 손쉬운 사용자 설정(easy setup pop-up)을 제공하거나, QR 코드를 이용한 등록(QR triggering), 또는 수동 등록(manual onboarding) 기능을 제공할 수 있다. 예를 들어, 사용자는 제1 장치(201)에 탑재된 카메라(예: 도 1의 카메라 모듈(180)를 이용하여 제2 장치(202)의 일면이나 제품 케이스에 부착된 QR 코드를 촬영함으로써 제2 장치(202)를 사용자 계정과 연동하여 서버(300)에 등록할 수 있다.
일 실시 예에서, 파인딩 플랫폼(finding platform)(230)은 분실 장치(lost device)를 찾기 위한 기능을 수행할 수 있다. 파인딩 플랫폼(230)은 분실 장치와의 거리에 따라 효과적으로 분실 장치를 찾을 수 있도록 하드웨어를 제어할 수 있다. 예를 들어, 파인딩 플랫폼(230)은 BT 파인더(finder)(231), UWB 파인더(232), 및/또는 AR 파인더(233)와 함께 동작할 수 있다. BT 파인더(231)는 Bluetooth 통신 회로를, UWB 파인더(232)는 UWB 통신 회로를, AR 파인더(233)는 디스플레이를 제어할 수 있다.
일 실시 예에서, BT 파인더(231)는 제1 장치(201)와 제2 장치(202) 사이가 제1 거리(예: 약 100m) 이내인 경우에 동작할 수 있다. 파인딩 플랫폼(230)은 BT 파인더(231)를 제어하여, 제1 장치(201)와 제2 장치(202) 사이가 제1 거리 이내에 해당하면 Bluetooth 통신 및/또는 BLE 통신을 지원하는 근거리 통신 회로를 이용하여 제2 장치(202)로부터 패킷을 수신하거나, 제2 장치(202)와 근거리 통신 연결을 수립하도록 할 수 있다.
일 실시 예에서, UWB 파인더(232)는 제1 장치(201)와 제2 장치(202)가 상기 제1 거리보다 작은 제2 거리(예: 약 50m) 이내인 경우에 동작할 수 있다. 파인딩 플랫폼(230)은 UWB 파인더(232)를 제어하여, 측위에 사용되는 UWB 채널의 신호를 수신하도록 복수의 UWB 안테나와 연결된 UWB 통신 회로를 활성화시킬 수 있다. 파인딩 플랫폼(230)은 UWB 통신 회로를 이용하여 제2 장치(202)로부터 수신되는 UWB 신호를 수신하고, 복수의 UWB 안테나 각각이 수신하는 신호의 도달 시간 및/또는 도달 각도에 기반하여 제2 장치(202)의 위치를 추정할 수 있다.
일 실시 예에서, AR 파인더(233)는 제2 장치(202)가 근거리에 있는 경우 디스플레이에 증강 현실을 구현함으로써 사용자가 제2 장치(202)를 찾는 것을 시각적으로 도와줄 수 있다. 여기서 근거리라 함은 상기 제2 거리와 실질적으로 동일하거나, 제2 거리보다 더 짧은 제3 거리 이내일 수 있다. 파인딩 플랫폼(230)은 카메라를 통해 획득된 이미지 데이터를 디스플레이에 출력하고, 디스플레이에 출력된 화면에 UWB 파인더(232)를 통해 식별되는 제2 장치(202)의 위치를 표시하도록 AR 파인더(233)를 제어할 수 있다. 또한 AR 파인더(233)는 제1 장치(201)가 제2 장치(202)로부터의 UWB 신호를 효과적으로 수신하지 못하는 경우(예: 수신 감도가 임계 값 이하인 경우) 제1 장치(201)가 UWB 신호의 수신에 적합한 자세(각도)를 가지도록 디스플레이를 통해 가이드할 수 있다.
일 실시 예에서, AR 파인더(233)가 동작하는 경우, AR 코어 서비스(240)가 함께 활성화될 수 있다. AR 코어 서비스(240)는 증강 현실 환경을 강화하기 위해 메모리에 저장된 인물/객체 인식 데이터베이스 및/또는 AR 서비스 제공 서버에 접근하도록 제1 장치(201)를 제어할 수 있다.
일 실시 예에서, 파인딩 플랫폼(230)에 포함된 BT 파인더(231), UWB 파인더(232), 및/또는 AR 파인더(233)는 제2 장치(202)와의 거리에 기반하여 동시에 동작하거나 또는 선택적으로 동작할 수 있다. 예를 들어, 제1 장치(201)와 제2 장치(202)와의 거리가 제2 거리(예: 약 50m 이내)인 경우, BT 파인더(231) 및 UWB 파인더(232)가 동시에 동작하거나 또는 UWB 파인더(232)가 선택적으로 동작할 수 있다.
일 실시 예에서, 국가 코드 매칭 모듈(242)은 제1 장치(201)가 임의의 분실 장치(예: 제2 장치(202))로부터 애드버타이징 패킷을 수신한 경우, 분실 장치에 대한 정보를 제공하기 위한 국가 또는 그 국가 소속의 서버를 결정할 수 있다. 예를 들면, 국가 코드 매칭 모듈(242)은 제1 장치(201)가 전자 장치(400)의 역할(예를 들어, 잃어버린 장치를 찾기 위해 도움을 제공하는 사용자의 장치 역할)을 수행할 때 동작할 수 있다. 일 실시 예에서, 제1 장치(201)(또는 전자 장치(400))는, 국가 또는 그 국가 소속의 서버를 결정함에 있어서, 서버(예: 도 4의 서버(300))에 포함된 국가 코드 - 서버 매칭 DB(database)(330)의 데이터를 이용할 수 있다. 예를 들면, 제1 장치(201)(또는 전자 장치(400))는 서버(300)로부터 획득된 국가 코드 - 서버 매칭 DB(330)의 데이터를 저장할 수 있고, 상기 데이터를 제1 장치(201)(또는 전자 장치(400))에 연결된 제2 장치(202)에도 전달할 수 있다. 다른 실시 예에 따르면, 제1 장치(201)(또는 전자 장치(400))는, 장치의 공정 과정 또는 소프트웨어 업그레이드를 통해, 국가 또는 그 국가 소속과 관련된 데이터(예: 국가 코드 - 서버 매칭 DB)를 저장할 수 있다. 예를 들면, 제1 장치(201)(또는 전자 장치(400))는 소프트웨어 업그레이드로, OTA(over the air) 소프트웨어 업데이트를 수행할 수 있다. 예를 들면, OTA 소프트웨어 업데이트는 OMA(open mobile alliance) 다운로드, FOTA(firmware OTA), 또는 플레인 FTP(plain FTP)를 포함할 수 있다.
일 실시 예에서, 중복 보고 관리 모듈(244)은 제1 장치(201)가 임의의 분실 장치로부터 애드버타이징 패킷을 수신한 경우, 수신한 애드버타이징 패킷을 다시 브로드캐스팅 하거나, 서버로 보고하는 동작을 관리할 수 있다. 예를 들어, 중복 보고 관리 모듈(244)은 임의의 분실 장치로부터 수신된 애드버타이징 패킷이 소정 조건을 만족하는 경우에 서버로 보고/재-브로드캐스팅 동작을 수행하고, 소정 조건을 만족하지 않는 경우에는 서버로 보고하는 동작이나 재-브로드캐스팅 하는 동작을 수행하지 않을 수 있다. 예를 들면, 중복 보고 관리 모듈(244)은 제1 장치(201)가 전자 장치(400)의 역할을 수행할 때 동작할 수 있다.
일 실시 예에서, 위치 관리 모듈(246)은 서버(300)로부터 획득하는 제2 장치(202)의 현재 위치 및/또는 위치의 변경 이력을 관리할 수 있다. 또한, 위치 관리 모듈(246)은 제1 장치(201)에 포함된 GPS와 같은 위치 측정 회로를 제어하여 제1 장치(201)의 위치를 확인 및/또는 관리할 수 있다.
일 실시 예에서, 트래커 정보 모듈(248)은 제2 장치(202)의 타입 및/또는 제2 장치(202)의 식별 정보를 관리할 수 있다. 트래커 정보 모듈(248)은 제1 장치(201)가 전자 장치(400)의 역할을 수행할 때 동작할 수 있다. 예를 들어, 트래커 정보 모듈(248)은 제2 장치(202)의 장치 타입(예: 스마트 워치, 이어폰, 헤드폰, 또는 태블릿), 통신 타입(예: BLE 지원 여부, Bluetooth 지원 여부, 셀룰러 네트워크 지원 여부, 또는 UWB 통신 지원 여부), 및/또는 식별 정보(예: 장치 고유 ID, 네트워크 식별 ID, 또는 사용자 정의 ID)를 저장 및/또는 관리할 수 있다.
일 실시 예에서, E2E 암호화 모듈(250)은 종단간 암호화를 수행할 수 있다. E2E 암호화 모듈(250)은 제1 장치(201)가 전자 장치(400)의 역할을 수행할 때 동작할 수 있다. 예를 들어, E2E 암호화 모듈(250)은 전자 장치(400)가 임의의 분실 장치(예: 제2 장치(202))로부터 애드버타이징 패킷을 수신한 것에 응답하여 서버(300)로 분실 장치의 식별 정보와 전자 장치(400)의 위치 정보를 포함하는 메시지를 전송하는 경우, 상기 메시지에 암호화 알고리즘을 적용할 수 있다. E2E 암호화 모듈(250)이 분실 장치와 관련된 암호화 키를 이용하여 메시지를 암호화하면, 분실 장치의 암호화 키에 대응하는 복호화 키를 가진 장치에서 분실 장치의 위치 정보를 획득할 수 있다. 예를 들어, 전자 장치(400)가 제2 장치(202)의 식별 정보 및 전자 장치(400)의 위치 정보를 포함하는 메시지를 제2 장치(202)의 공개 키로 암호화하여 서버(300)로 전송하면, 제1 장치(201)는 서버(300)로부터 분실된 제2 장치(202)에 대한 암호화된 정보를 획득한 후, 제2 장치(202)의 개인 키로 복호화하여 제2 장치(202)의 위치(=전자 장치(400)의 위치)를 확인할 수 있다. 예를 들면, 제1 장치(201)는 제2 장치(202)를 사용자 계정에 등록하는 과정이나 서버(300)에 등록하는 과정, 또는 제2 장치(202)와 페어링을 수행하는 과정에서 제2 장치(202)의 개인 키를 확보할 수 있다.
일 실시 예에서, 랜덤 장치 ID 모듈(252)은 장치의 식별 ID를 소정의 알고리즘을 이용하여 랜덤 ID로 변경할 수 있다. 랜덤 장치 ID 모듈(252)은 제1 장치(201)가 전자 장치(400)의 역할을 수행할 때 동작할 수 있다. 예를 들어, 전자 장치(400)가 제2 장치(202)로부터 애드버타이징 패킷을 수신한 경우, 전자 장치(400)는 제2 장치(202)의 식별 ID를 랜덤 ID로 변경하여 서버(300)로 메시지를 전송할 수 있다. 제1 장치(201)는 소정의 알고리즘을 이용하여 랜덤 ID로부터 제2 장치(202)의 ID를 확인할 수 있다.
도 4는 다양한 실시 예에 따른 서버의 다양한 기능과 관련된 모듈들을 나타낸다.
도 4를 참조하면, 서버(300)는 계정 관리자(310), 사용자 정보 관리자(320), 국가 코드 - 서버 매칭 DB(database)(330), 공개 키 관리자(340), 및 FME(find my everything) 시스템(350)을 포함할 수 있다. 도 4에 도시된 서버(300)의 구성요소들은 다양한 실시 예를 구현하기 위해 기능적인 관점에서 분류된 것이며, 서버(300)는 다양한 소프트웨어를 실행하는 다수의 하드웨어(예: 서버 용 다수의 프로세서 및 저장장치)를 통해 구현될 수 있다. 또한 서버(300)는 복수 개의 서버들로 이해될 수 있다. 예를 들어, 서버(300)는 제1 국가에서 분실 장치 찾기 서비스를 제공하기 위한 제1 서버와 제2 국가에서 분실 장치 서비스를 제공하기 위한 제2 서버를 포함할 수 있다.
일 실시 예에서, 서버(300)는 계정 관리자(310)를 포함할 수 있다. 계정 관리자(310)는 서버(300)에 등록된 사용자 계정 및/또는 상기 사용자 계정과 연결된 적어도 하나의 장치를 관리할 수 있다. 예를 들어, 제1 사용자 계정으로 제1 장치(201), 제2 장치(202), 및 제3 장치(203)가 등록된 경우, 계정 관리자(310)는 제1 장치(201)로부터 제2 장치(202)와 관련된 요청을 접수하더라도, 제1 장치(201)와 제2 장치(202)가 동일한 제1 사용자 계정에 연결되어 있으므로 제2 장치(202)에 대한 정보에 제1 장치(201)가 접근하도록 허용할 수 있다.
일 실시 예에서, 서버(300)는 사용자 정보 관리자(320)를 포함할 수 있다. 사용자 정보 관리자(320)는 사용자 계정과 연관된 사용자 정보의 등록, 추가, 삭제, 및/또는 수정을 관리할 수 있다.
일 실시 예에서, 국가 코드 - 서버 매칭 DB(330)는 국가 코드와 분실 장치 찾기 서비스를 제공하는 서버를 매칭하는 데이터베이스를 유지 관리 및 업데이트 할 수 있다. 예를 들어, 서버(300)는 국가 코드 - 서버 매칭 DB(330)를 최신 데이터로 관리하고, 변경 사항이 발생한 경우 서버(300)에 사용자 계정이 등록된 장치들 중 적어도 하나로 국가 코드와 연결된 서버에 대한 정보를 제공할 수 있다. 예를 들어, 서버(300)는 상기 데이터베이스를 서버(300)에 등록된 제1 장치(201)나 전자 장치(400)로 제공할 수 있다. 일 실시 예에서, 전자 장치(400)는 분실 장치로부터 획득되는 애드버타이징 패킷에 포함된 국가 정보에 기초하여 위치 정보를 제공할 서버를 결정할 수 있다.
일 실시 예에서, 국가 코드는 국가를 나타내는 국제 전화 나라 번호에 기반할 수 있다. 예를 들어, 미국은 +1, 대한민국은 +82, 베트남은 +84, 영국은 +44 등의 국제 전화 나라 번호를 가지고, 이 경우 국가 코드 - 서버 매칭 DB(330)는 표 1과 같은 데이터를 포함할 수 있다.
국가 국가코드 서버 주소
대한민국 82 168.121.63.2
미국 1 164.124.101.2
베트남 84 180.182.54.1
영국 44 149.112.132.1
일본 81 120.123.222.1
필리핀 63 180.124.191.2
... ... ...
다양한 실시 예에서, 국가 코드는 국제 전화 나라 번호로 제한되지 않으며, 국가를 식별할 수 있는 임의의 정보일 수 있다. 예를 들어, 도메인 코드와 같이 알파벳을 이용한 국가 표기(예: 한국 - KR, 미국 - US, 또는 프랑스 - FR), 또는 MCC(mobile country code)(예: 독일 - 262, 한국 - 450, 또는 프랑스 - 208)와 같은 포맷도 국가 코드로 활용될 수 있다. 또한 전술한 국가 코드의 표기 방법은 예시적인 것이며, 국가 코드는 비트(bit) 단위로 표기될 수 있다.
일 실시 예에서, 공개 키 관리자(340)는 서버(300)에 등록된 장치들의 공개 키를 관리할 수 있다. 공개 키는 사용자 계정 단위로 관리될 수도 있고, 장치 단위로 관리될 수도 있다. 예를 들어, 공개 키는 1개의 사용자 계정 당 1개가 설정될 수 있다. 다른 예를 들어, 동일 사용자 계정으로 5개의 장치가 연결된 경우, 서로 다른 5개의 공개 키가 5개의 장치에 각각 할당될 수 있다.
일 실시 예에서, FME 시스템(350)은 분실 장치 찾기 서비스를 제공하기 위한 처리를 수행할 수 있다. 예를 들어, FME 시스템(350)은 전자 장치(400)로부터 분실된 제2 장치(202)에 대한 공개 키를 요청 받으면, 공개 키 관리자(340)로부터 제2 장치(202)에 대한 공개 키를 획득하고, 획득된 공개 키를 전자 장치(400)로 제공할 수 있다. 예를 들면, FME 시스템(350)은 계정 관리자(310)를 통해 제2 장치(202)가 등록되어 있는 사용자 계정을 확인할 수 있다. 또한 FME 시스템(350)은 사용자 정보 관리자(320)를 통해 사용자 계정 및/또는 제2 장치(202)에 대응하는 국가를 확인할 수 있다. 또한 FME 시스템(350)은 국가 코드 - 서버 매칭 DB(330)를 통해 전자 장치(400)로부터의 요청이 적절한 국가의 서버로 전달된 것인지 확인하고, 국가 지정이 잘못된 경우, 또는 제2 장치(202)에 대한 정보를 확인할 수 없는 경우, 국가 코드 - 서버 매칭 DB(330)에 저장된 데이터의 적어도 일부를 전자 장치(400)로 제공할 수 있다. 예를 들어, FME 시스템(350)은 국가 코드와 분실 장치 찾기 서비스를 제공하는 서버를 매칭하는 데이터베이스를 최신으로 유지 관리 및 업데이트된 데이터의 적어도 일부를 전자 장치(400)로 제공할 수 있다.
도 5는 다양한 실시 예에 따른, 제1 장치가 제2 장치를 서버에 등록하는 흐름도를 나타낸다.
도 5를 참조하면, 동작 501에서 제1 장치(201)와 제2 장치(202)는 근거리 통신 채널을 수립할 수 있다. 예를 들어, 근거리 통신 채널은 Bluetooth 또는 Wi-Fi direct와 같은 장치 대 장치(device to device) 연결일 수 있으나, 이에 제한되지는 않는다.
일 실시 예에 따르면, 동작 503에서 제2 장치(202)는 제2 장치(202)의 정보를 상기 근거리 통신 채널을 통해 제1 장치(201)로 제공할 수 있다. 제2 장치(202)의 정보는, 예를 들어 제2 장치(202)의 종류(예: 스마트 워치, 또는 태블릿), 고유 식별 정보(예: 장치 ID), 제2 장치(202)의 제조사, 제2 장치(202)의 하드웨어 정보(예: 프로세서 성능, 메모리 용량, 및/또는 배터리 용량), 제2 장치(202)의 소프트웨어 정보(예: 운영체제 종류 및 버전, 설치되어 있는 어플리케이션, 및/또는 장치 찾기 서비스 지원 여부), 및/또는 통신 성능에 대한 정보(예: Bluetooth 지원 여부, BLE 지원 여부, UWB 지원 여부, 셀룰러 지원 여부, Wi-Fi 지원 여부, NFC 지원 여부, 및/또는 MST 지원 여부)를 포함할 수 있다.
일 실시 예에 따르면, 동작 505에서 제1 장치(201)는 제2 장치(202)의 정보를 획득할 수 있다. 제1 장치(201)는 획득된 제2 장치(202)의 정보를 제1 장치(201)의 메모리(예: 도 1의 메모리(130))에 저장할 수 있다.
일 실시 예에 따르면, 동작 507에서 제1 장치(201)는 제2 장치(202)에 대한 정보를 서버(300)로 전송하고 제2 장치(202)의 등록을 요청할 수 있다. 예를 들어, 제1 장치(201)는 서버(300)로 지정된 형식의 메시지를 전송하고, 상기 지정된 형식의 메시지는 제1 장치(201)의 정보, 제1 장치(201)의 사용자 정보, 제2 장치(202)의 등록 요청, 및/또는 제2 장치(202)의 정보를 포함할 수 있다. 예를 들어, 제1 장치(201)가 서버(300)에 등록된 제1 사용자 계정에 등록된 경우, 제1 장치(201)는 상기 메시지를 서버(300)로 전송함으로써 상기 제1 사용자 계정에 제2 장치(202)도 등록할 것을 요청할 수 있다. 다른 예를 들어, 제1 장치(201)가 서버(300)에 등록된 제1 사용자 계정에 등록되고, 제2 장치(202)가 서버(300)에 등록된 제2 사용자 계정에 등록된 경우, 제1 장치(201)는 상기 메시지를 서버(300)로 전송함으로써 상기 제1 사용자 계정과 상기 제2 사용자 계정을 포함하는 제3 사용자 계정(예: 그룹 계정)에 등록할 것을 요청하거나, 제2 사용자 계정에 등록된 제2 장치(202)의 정보를 삭제하고, 제2 장치(202)를 제1 사용자 계정에 등록할 것을 요청할 수 있다.
일 실시 예에 따르면, 동작 509에서 서버(300)는 제1 장치(201)로부터 제2 장치(202)의 정보를 획득할 수 있다. 서버(300)와 제1 장치(201)는 소정의 네트워크(예: 셀룰러 네트워크 또는 Wi-Fi 네트워크)를 통해 연결될 수 있고, 서버(300)는 상기 소정의 네트워크를 통해 제1 장치(201)로부터 전송된 제2 장치(202)의 정보를 획득할 수 있다.
일 실시 예에 따르면, 동작 511에서 서버(300)는 제2 장치(202)를 제1 장치(201)에 대해 등록할 수 있다. 예를 들어, 서버(300)의 계정 관리자(310)는 제1 장치(201)로부터 획득된 정보를 이용하여 제1 장치(201)에 해당하는 제1 사용자 계정에 대해 제2 장치(202)도 등록할 수 있다.
일 실시 예에 따르면, 동작 513에서 서버(300)는 제1 장치(201)로 제2 장치(202)가 등록되었음을 나타내는 통지를 전송할 수 있다. 상기 통지에는 제2 장치(202)에 대한 국가 정보가 포함될 수 있다. 예를 들어, 서버(300)가 대한민국에서 서비스를 제공하는 경우, 제2 장치(202)에는 대한민국에 대응하는 국가 정보가 포함될 수 있다. 다른 예를 들어, 서버(300)에 등록된 제1 사용자 계정의 국가 정보가 대한민국인 경우, 제1 사용자 계정에 대해 등록되는 모든 사용자 장치들(200)의 국가 정보는 대한민국으로 설정될 수 있다.
일 실시 예에 따르면, 동작 515에서 제1 장치(201)는 서버(300)로부터 등록 통지를 수신할 수 있다. 등록 통지에는 국가 정보가 포함될 수 있다. 다만 일 실시 예에서, 제2 장치(202)의 제조 시점에 이미 제2 장치(202)의 국가 정보가 제2 장치(202)에 등록되어 있거나, 제1 장치(201)가 직접 제1 장치(201)의 국가 정보 또는 제1 장치(201)의 사용자 계정의 국가 정보를 제2 장치(202)의 국가 정보로 설정하는 경우에는, 서버(300)로부터 수신되는 등록 통지에 국가 정보가 생략될 수 있다.
일 실시 예에서, 동작 501 내지 동작 515는 제2 장치(202)의 등록 절차 또는 온보딩(onboarding) 절차로 참조될 수 있다. 또한, 일 실시 예에서, 등록 절차 또는 온보딩 절차는, 제2 장치(202)(예: tracker)의 식별 정보(ID)를 서버(300)에 저장하는 절차를 포함할 수 있다.
일 실시 예에 따르면, 동작 517에서 제1 장치(201)는 제2 장치(202)로 국가 정보를 전송할 수 있다. 상술한 것과 같이, 국가 정보는 서버(300)로부터 수신된 것일 수도 있고, 제1 장치(201)가 알고 있는(또는 저장된) 국가 정보(예: 제1 장치(201)에 대해 등록된 국가 정보 또는 제1 장치(201)의 사용자 계정에 해당하는 국가 정보)일 수 있다.
일 실시 예에 따르면, 동작 519에서 제2 장치(202)는 제1 장치(201)로부터 국가 정보를 획득할 수 있다. 또한 다른 실시 예에서, 제2 장치(202)의 저장 공간(예: 도 1의 메모리(130))에는 제2 장치(202)의 국가 정보가 이미 등록되어 있을 수 있다. 일 실시 예에서 제2 장치(202)가 이미 스스로의 국가 정보를 알고 있는 경우에는 동작 517 및 동작 519가 생략될 수 있다. 예를 들어, 제1 장치(201)는 동작 503 및 동작 505를 통해 제2 장치(202)의 국가 정보가 이미 등록된 상태임을 알 수 있다. 제2 장치(202)는 분실 상태에서 국가 정보를 포함하는 애드버타이징 패킷을 브로드캐스팅 할 수 있는데, 이와 관련해서는 후술한다.
도 6은 다양한 실시 예에 따른 파인딩 시스템(finding system)에서 분실 장치의 현재 위치를 추적하는 흐름도를 나타낸다. 참고로 도 6은, 도 2의 시스템에서 제1 장치(201)와 제2 장치(202)는 동일 사용자 계정을 공유하는 사용자 장치이고, 이 중 제2 장치(202)가 분실된 상황을 나타낸다. 전자 장치(400)는 제1 장치(201)의 사용자와는 무관한 임의의 장치이며, 제2 장치(202)로부터 브로드캐스팅되는 패킷을 수신할 수 있는 거리에 위치한 장치로 이해될 수 있다.
일 실시 예에 따르면, 동작 601에서 제2 장치(202)는 지정된 통신 프로토콜을 이용하여 애드버타이징 패킷을 브로드캐스팅(broadcasting)할 수 있다. 상기 지정된 통신 프로토콜은 배터리 소모를 감소시키거나 및/또는 최소화하기 위해 저전력 근거리 통신 프로토콜의 한 종류에 해당할 수 있다. 예를 들어, 지정된 통신 프로토콜은 BLE 일 수 있다.
일 실시 예에서, 제2 장치(202)는 분실 상태임을 감지하면 애드버타이징 패킷을 브로드캐스팅할 수 있다. 앞서 설명한 것과 같이 제2 장치(202)가 분실 상태임을 판단하는 조건은 다양하게 설정될 수 있다. 다만 다른 실시 예에서, 제2 장치(202)는 분실 상태임을 감지하는 것과 무관하게 애드버타이징 패킷을 브로드캐스팅할 수 있다. 예를 들어, 제2 장치(202)는 소정 주기(예: 1시간) 마다 일정 시간 동안(예: 15분) 애드버타이징 패킷을 반복적으로 브로드캐스팅 할 수 있다. 다른 예를 들어, 제2 장치(202)는 지정된 시간(예: 사용자 설정 시간) 마다 일정 시간 동안 애드버타이징 패킷을 반복적으로 브로드캐스팅 할 수 있다.
일 실시 예에 따르면, 동작 611에서 전자 장치(400)는 외부 장치에 의해 브로드캐스팅 된 애드버타이징 패킷을 수신할 수 있다. 설명의 편의를 위해 이하에서는 제2 장치(202)에 의해 브로드캐스팅 된 애드버타이징 패킷을 수신한 것으로 가정한다.
일 실시 예에서, 전자 장치(400)는 다양한 통신 회로를 포함할 수 있다. 예를 들어, 애드버타이징 패킷을 수신하기 위한 근거리 통신을 지원하는 제1 무선 통신 회로를 포함할 수 있다. 또한 서버(300)와 통신하기 위한 원거리 통신(예: 셀룰러 통신)을 지원하는 제2 무선 통신 회로를 포함할 수 있다. 또한 전자 장치(400) 자신의 위치를 측정하기 위한 위치 측정 회로(예: GPS)를 포함할 수 있다. 위치 측정 회로에는 GPS와 같은 위성 항법을 이용한 측위 시스템 외에, 기지국이나 Wi-Fi의 AP(access point)를 이용한 측위 시스템, 또는 NFC 비콘을 이용한 측위 시스템이 포함될 수 있다.
일 실시 예에서, 제2 장치(202)가 브로드캐스팅하는 애드버타이징 패킷은 지정된 근거리 통신 프로토콜을 이용하므로, 애드버타이징 패킷을 수신하였다는 것은 상기의 근거리 통신 프로토콜에서 허용하는 통신 거리 내에 제2 장치(202)와 전자 장치(400)가 있다는 것을 의미할 수 있다. 예를 들어, 전자 장치(400)가 BLE를 통해 애드버타이징 패킷을 수신한 경우, 전자 장치(400)는 제2 장치(202)로부터 약 100m 이내에 위치한 것으로 추정될 수 있다. 따라서, 거시적인 관점에서는 전자 장치(400)의 위치는 제2 장치(202)의 위치와 동일하게 취급될 수 있다.
일 실시 예에 따르면, 동작 613에서 전자 장치(400)는 위치 측정 회로를 이용하여 전자 장치(400)의 위치를 측정할 수 있다. 전자 장치(400)는 측정 결과에 기반하여 전자 장치(400)의 위치(예: 위도 및/또는 경도 좌표)를 확인할 수 있다.
일 실시 예에 따르면, 동작 615에서 전자 장치(400)는 측정된 위치 정보 및 제2 장치(202)의 식별 정보를 서버(300)로 전송할 수 있다. 예를 들어, 전자 장치(400)는 전술한 제2 무선 통신 회로를 이용하여 서버(300)로 제2 장치(202)의 식별 정보(예: 고유 ID, 및/또는 일련번호)와 위치 정보를 포함하는 메시지를 서버(300)로 전송할 수 있다. 전자 장치(400)는 상기 메시지에 포함된 위치 정보가 전자 장치(400)의 위치 정보임을 명시할 수도 있으나, 위치 정보의 주체를 명시하지 않고 단순히 위치 정보 자체만 포함시킬 수도 있다.
일 실시 예에 따르면, 동작 617에서 전자 장치(400)는 서버(300)로 메시지를 전송한 후에 애드버타이징 패킷을 브로드캐스팅 할 수 있다. 예를 들어, 전자 장치(400)가 제2 장치(202)로부터 획득한 애드버타이징 패킷을 제1 패킷으로, 전자 장치(400)가 다시 브로드캐스팅하는 애드버타이징 패킷을 제2 패킷이라 하면, 제2 패킷은 제1 패킷과 실질적으로 동일하거나 더 적은 내용(데이터)을 포함할 수 있다. 다만 전자 장치(400)는 제2 패킷의 일부 필드는 제1 패킷과 다른 값을 가지도록 할 수 있다. 예를 들어, 전자 장치(400)는 그 자신이 애드버타이징 패킷의 직접 전파자가 아닌 간접 전파자임을 표시하기 위해, 멀티 홉 카운트(multi-hop count) 필드 값을 다르게 설정할 수 있다. 예를 들어, 제1 패킷의 멀티 홉 카운트가 n이었으면, 제2 패킷의 멀티 홉 카운트는 n+1로 설정될 수 있다. 일 실시 예에서, 제2 장치(202)에 의해 직접 생성된 애드버타이징 패킷의 멀티 홉 카운트는 0으로 설정(즉, n=0)될 수 있다. 일 실시 예에 따르면, 제1 패킷에 기반하여 생성되는 제2 패킷은 제1 패킷과 일부 상이한 포맷으로 정의될 수 있다. 예를 들어, 제2 패킷의 포맷에서는 제1 패킷의 포맷에 포함된 복수의 필드들 중 적어도 일부의 필드가 생략될 수 있다.
다양한 실시 예에서, 전자 장치(400)는 서버(300)로 메시지를 전송하기 전에, 또는 전송하는 것과 실질적으로 동시에 애드버타이징 패킷을 브로드캐스팅 할 수 있다. 또한 단순히 동작 617은 수행되지 않을 수도 있다.
일 실시 예에 따르면, 동작 621에서, 서버(300)는 전자 장치(400)로부터 제2 장치(202)의 식별 정보 및 위치 정보를 포함하는 메시지를 획득할 수 있다. 서버(300)는 메시지의 획득 이전 및/또는 이후에 제1 장치(201)로부터 제2 장치(202)의 위치에 대한 추적 요청이 있는 경우(예: 동작 631), 동작 623에서 제1 장치(201)로 외부 장치(예: 제2 장치(202))의 위치 정보를 제1 장치(201)로 전송할 수 있다. 예를 들어, 동작 631에서 제1 장치(201)는 서버(300)로 제2 장치(202)에 대한 위치 추적(또는 위치 확인) 요청을 전송할 수 있고, 동작 623에서 서버(300)는 제1 장치(201)로부터 수신된 요청에 응답하여 제1 장치(201)로 확인된 제2 장치(202)의 위치에 대한 정보를 전송할 수 있다. 예를 들어, 서버(300)는 제1 장치(201)로 가장 최근에 확인된 제2 장치(202)의 위치에 대한 정보를 전송할 수 있다. 동작 633에서 제1 장치(201)는, 동작 623에서 서버(300)로부터 전송된 제2 장치(202)의 정보를 획득할 수 있다.
일 실시 예에 따르면, 동작 635에서 제1 장치(201)는 서버(300)로부터 제2 장치(202)의 위치 정보를 획득할 수 있다. 동작 635에서 제1 장치(201)는 서버(300)로부터 획득된 정보에 기반하여 제2 장치(202)의 위치 확인을 수행할 수 있다. 동작 631, 동작 633, 및/또는 동작 635는 제1 장치(201)에 탑재된 위치 확인 서비스를 제공하는 어플리케이션을 통해 구현될 수 있다. 이와 관련하여 도 7을 참조하여 설명한다.
일 실시 예에 따르면, 동작 621에서, 서버(300)는 전자 장치(400)로부터 제2 장치(202)의 식별 정보 및 위치 정보를 획득한 경우, 제2 장치(202)를 서버(300)에 제1 계정으로 등록한 제1 장치(201) 또는 제1 계정을 갖는 다른 장치로부터 위치 추적 요청(예: 동작 631)이 수신되었는지 판단할 수 있다. 예를 들어, 제1 장치(201)로부터 위치 추적 요청(예: 동작 631)이 수신되지 않은 경우, 서버(300)는 동작 623을 수행하지 않을 수 있다. 일 실시 예에 따르면, 미도시 되었지만, 서버(300)는 제1 장치(201)로부터 위치 추적 요청(예: 동작 631)이 수신되었는지 여부에 기반하여 전자 장치(400)로 응답 메시지를 전송할 수 있다. 예를 들어, 제1 장치(201)로부터 위치 추적 요청(예: 동작 631)이 수신된 경우, 서버(300)는 전자 장치(400)로 제2 장치(202)의 식별 정보 및 위치 정보를 제1 장치(201)로 전송했음을 알리는 응답 메시지를 전송할 수 있다. 다른 예를 들어, 제1 장치(201)로부터 위치 추적 요청(예: 동작 631)이 수신되지 않은 경우, 서버(300)는 전자 장치(400)로 제2 장치(202)의 식별 정보 및 위치 정보를 지정된 시간 동안 전송하지 말 것을 요청할 수 있다. 일 실시 예에 따르면, 전자 장치(400)는 서버(300)로부터의 응답에 기반하여 애드버타이징 패킷을 브로드캐스팅하는 동작(예: 동작 617)을 수행할 수 있다.
도 7은 다양한 실시 예에 따른 제1 장치에서 사용자 장치들의 위치를 확인하기 위한 사용자 인터페이스를 나타낸다.
도 7을 참조하면, 제1 화면(701)은 제1 장치(201)의 위치 확인 서비스를 제공하는 어플리케이션의 실행 화면일 수 있다. 제1 장치(201)는 제1 장치(201)에 등록된 사용자 장치들에 대한 정보를 목록 형태로 디스플레이 할 수 있다. 일 실시 예에 따르면, 제1 화면(701)은 제1 장치 카드(211)에 대응하는 항목(미도시)과 제2 장치 카드(212)에 대응하는 항목을 포함하는 목록을 제공할(present) 수 있다. 예를 들어 제1 화면(701)의 목록은 제1 장치(201)의 사용자 계정에 등록된 제1 장치(201)를 나타내는 스마트폰(예: Galaxy A)에 대응하는 제1 항목(710)과 상기 사용자 계정에 등록된 임의의 태블릿(예: Galaxy Tab S6 LTE)에 대응하는 제2 항목(720)을 포함할 수 있다. 이하의 설명에서, 제1 항목(710) 및/또는 제2 항목(720)에 대한 설명은, 제1 화면(701)에서 특정되지 않은 다른 항목들(예: “Jamie(Galaxy S10)”, “Jamie(_tale device name_), 및/또는 “Galaxy Watch Active2”)에 대해서도 적용될 수 있다.
일 실시 예에서, 목록에 포함된 각 항목은 다양한 정보를 포함할 수 있다. 예를 들어, 제1 항목(710)은 상기 스마트폰을 지시하는 아이콘(711), 상기 스마트폰의 별칭(nickname)(예: Anne) 및 모델 명(Galaxy A)(712), 마지막으로 확인된 위치(713)(예: 124 W Main St, Belleville, IL), 마지막으로 위치가 확인된 시간(714)(예: Last updated: 1 minute ago), 제1 장치(201)의 현재 위치에서 상기 스마트폰까지의 거리(715), 제1 장치(201)의 현재 위치와 상기 마지막으로 확인된 위치(713)에 기반하여 지도 어플리케이션 또는 지도 기능을 실행시키기 위한 내비게이션 메뉴(716) 중 적어도 하나를 포함할 수 있다. 상술한 내용들 중 일부 항목은 생략될 수 있다. 예를 들어, 장치의 위치가 확인되지 않는 경우 마지막으로 확인된 위치(713)나 마지막으로 위치가 확인된 시간(714) 또는 내비게이션 메뉴(716) 중 적어도 일부는 표시되지 않을 수 있다.
일 실시 예에서, 제1 장치(201)는 상기 어플리케이션이 실행되면 자동으로 동작 631을 수행할 수 있다. 다른 실시 예에서, 제1 장치(201)는 상기 어플리케이션이 실행된 이후 사용자 입력에 의해 동작 631을 수행할 수도 있다. 또 다른 실시 예에서, 제1 장치(201)는 소정 주기(예: 12시간)마다 동작 631을 수행하고, 제1 장치(201)에 등록된 사용자 장치들(200)의 위치를 업데이트 할 수 있다.
일 실시 예에서, 목록에 포함된 여러 항목들 중 제2 항목(720)을 선택하는 사용자 입력(700)이 발생하면, 제1 장치(201)는 제2 화면(702)을 제1 장치(201)의 디스플레이에 제공할 수 있다. 제2 화면(702)은, 예를 들어 제2 장치 카드(212)에 기초하여 생성되는 UI일 수 있다.
일 실시 예에서, 제2 화면(702)은 지도 영역(730)과 제2 장치 카드 영역(750)을 포함할 수 있다. 예를 들어, 지도 영역(730)은 제2 화면(702) 중 상단 부분(영역)에 표시되고, 제2 장치 카드 영역(750)은 하단 부분(영역)에 표시될 수 있다. 다만 이는 예시적인 것이고, 제2 장치 카드 영역(750)은 도시된 예와 다른 위치에 배치될 수 있다. 예를 들어, 제2 장치 카드 영역(750)은 제2 화면(702)의 대부분을 차지하는 지도 위에 떠다니는 형태로(floating) 제공될 수 있다. 또한, 제2 장치 카드 영역(750)의 위치나 크기는 사용자 입력에 의해 이동/확대/축소될 수 있다.
일 실시 예에서, 지도 영역(730)에는 서버(300)를 통해 확인된 사용자 장치들의 위치가 표시될 수 있다. 사용자 장치들의 위치는 아이콘 형태로 표시될 수 있다. 예를 들어, 제1 항목(710)에 대응하는 스마트폰의 위치는 제1 아이콘(732)과 같이 지도 상에 표시될 수 있다. 또한, 사용자 입력(700)에 의해 선택된 제2 항목(720)에 대응하는 태블릿의 위치는 제2 아이콘(731)과 같이 지도 상에 표시될 수 있다. 일 실시 예에서, 사용자 입력(700)에 의해 선택된 제2 항목(720)에 대응하는 태블릿의 위치가 지도 영역(730)의 중심에 위치할 수 있다. 또한, 지도 영역(730)에는 제1 장치(201)의 현재 위치(740)가 표시될 수 있다. 일 실시 예에서, 제1 장치(201)의 현재 위치(740)가 지도 영역(730)의 중심에 위치할 수 있다.
일 실시 예에서, 제2 장치 카드 영역(750)에는 장치 액션 메뉴(751), 내비게이션 메뉴(752), 알림(ring) 메뉴(753), 및/또는 상세보기(view details) 메뉴(754)가 포함될 수 있다.
일 실시 예에서, 장치 액션 메뉴(751)가 선택되면, 제1 장치(201)는 제2 장치(202)(예: 제2 항목(720)에 대응하는 태블릿)가 제1 장치(201)의 주변에 있는지 확인할 수 있다. 예를 들어, 장치 액션 메뉴(751)가 선택되면 제1 장치(201)는 제1 장치(201)의 위치 및 서버(300)로부터 수신되는 사용자 장치들(200)의 위치 정보에 기반하여 지도 영역(730)을 제공 및/또는 업데이트 할 수 있다. 또한, 예를 들어, 제1 장치(201)는 장치 액션 메뉴(751)가 선택되는 것에 응답하여 근처에 제2 장치(202)가 존재하는지 지정된 통신 프로토콜(예: BLE)을 이용하여 탐색할 수 있다. 만약 지정된 통신 프로토콜을 이용하여 제2 장치(202)와 연결이 되면, 제1 장치(201)는 AR 파인더(233)를 구동하고 제2 장치(202)의 위치를 증강 현실 인터페이스를 통해 제공하거나, 제공 여부를 결정할 수 있다.
일 실시 예에서, 내비게이션 메뉴(752)가 선택되면, 제1 장치(201)는 확인된 제2 장치(202)의 위치까지의 경로를 지도 영역(730)에 표시할 수 있다. 일 실시 예에서, 알림 메뉴(753)가 선택되면 또한, 제1 장치(201)는 제2 장치(202)로 통화를 시도하거나 제2 장치(202)가 지정된 소리를 내도록 시도할 수 있다. 예를 들어 제2 장치(202)가 통화 기능을 지원하는 경우, 알림 메뉴(753)의 선택에 응답하여 제1 장치(201)는 제2 장치(202)로 통화를 시도할 수 있다. 다른 예를 들어, 제2 장치(202)가 제1 장치(201)와 소정의 근거리 통신 네트워크를 통해 연결된 경우, 알림 메뉴(753)의 선택에 응답하여 제1 장치(201)는 상기 근거리 통신 네트워크를 통해 제2 장치(202)로 지정된 신호를 전송할 수 있다. 지정된 신호를 수신한 제2 장치(202)는 지정된 신호에 대응하여 미리 정의된 알림 신호(예: 알람, 진동 및/또는 발광)를 발생시켜서 자신의 위치를 알릴 수 있다.
일 실시 예에서, 상세보기 메뉴(754)가 선택되면, 제1 장치(201)는 제2 장치(202)에 대한 보다 자세한 정보를 제공할 수 있다. 예를 들어, 제1 장치(201)는 다양한 조건에 따라 제2 장치(202)의 상태를 표시할 수 있다. 예를 들어, 제2 장치(202)가 제1 장치(201) 또는 사용자 장치들(200) 중 다른 장치(예: 제5 장치(205)나 제6 장치(206))에 연결되어 있는 경우에는, 제1 장치(201)는 "Nearby Finding"과 같은 제1 상태 메시지를 표시할 수 있다. 상기 메시지는 팝업 형태로 디스플레이 되거나 제2 장치(202)의 제2 장치 카드 영역(750)에 표시될 수 있다. 또한 제2 장치(202)가 제1 장치(201) 또는 사용자 장치들(200) 중 다른 장치에 연결되어 있지는 않지만 "offline finding" 상태가 아닌 경우, 제1 장치(201)는 "Not in Range Finding"과 같은 제2 상태 메시지를 표시할 수 있다. 여기서 "offline finding 상태"라는 것은 제2 장치(202)가 분실된 것으로 판단된 상태, 제2 장치(202)가 사용자 장치들(200) 중 어느 하나와 마지막으로 연결된 시점 이후 임계 시간이 경과된 상태를 의미할 수 있다.
일 실시 예에서, 제2 장치(202)가 제1 장치(201) 또는 사용자 장치들(200) 중 다른 장치에 연결되어 있지 않고 "offline finding" 상태도 아니지만 제2 장치(202)에 대한 찾기 시도가 있었던 경우, "Lost mode Finding"과 같은 제3 상태 메시지를 표시할 수 있다. 또한 제2 장치(202)가 제1 장치(201) 또는 사용자 장치들(200) 중 다른 장치에 연결되어 있지는 않고 "offline finding" 상태인 경우, 제1 장치(201)는 "Update mode Finding"과 같은 제4 상태 메시지를 표시할 수 있다. 또한, 제1 장치(201)가 제2 장치(202)가 대한 연결을 시도하는 경우 "connecting"과 같은 제5 상태 메시지가 표시될 수 있다. 일 실시 예에서, 장치 액션 메뉴(751)와 관련된 제1 내지 제5 상태 메시지는 도 3의 제1 장치 카드(211) 및/또는 제2 장치 카드(212)에 포함될 수 있다.
전술한 제1 내지 제5 상태 메시지는 예시적인 것이며, 다양한 실시 예에 따라 더 적거나 더 많은 상태 메시지가 적절하게 제조사 또는 사용자에 의해 설정될 수 있다. 예를 들어, 제1 장치(201)는 제2 장치(202)의 배터리 잔량 정보를 제공할 수 있다. 또한 제1 장치(201)는 제2 장치(202)의 위치(위치 정보)를 타임 스탬프(time stamp) 기반으로 표시할 수 있다. 또한 제1 장치(201)는 현재 제2 장치(202)의 상태를 적절한 메시지(장치 카드 메시지)를 이용하여 표시할 수 있다. 예를 들어, 제1 장치(201)는 제2 장치(202)가 제1 장치(201)의 근처에 있는지, 사용자 장치들(200) 중 다른 장치(예: 제4 장치(204)) 근처에 있는지, 제2 장치(202)의 마지막 위치는 어디인지, 제2 장치(202)를 찾고 있는 중인지, 또는 제2 장치(202)를 찾았는지를 지시하는 메시지를 디스플레이에 표시할 수 있다.
일 실시 예에서, 제2 장치 카드 영역(750)에 표시(present)되는 정보는, 도시된 예에 한정하지 않으며, 장치 액션 메뉴(751)와 관련된 정보와 상세보기 메뉴(754)에 포함된 정보(예: 배터리 잔량 정보, 위치 정보, 및/또는 장치 카드 메시지) 중 적어도 하나의 정보와 같이 제공될 수 있다.
도 8은 다양한 실시 예에 따른 전자 장치가 임의의 외부 장치를 찾기 위해 스캔을 수행하는 흐름도를 나타낸다.
일 실시 예에 따르면, 동작 811에서 전자 장치(400)는 오프라인 찾기를 활성화할 수 있다. 예를 들어, 전자 장치(400)의 사용자는 설정 메뉴에서 오프라인 찾기 기능을 활성화시킬 수 있다. 다른 예를 들어, 오프라인 찾기 기능은 주기적으로 활성화되거나 항상 활성화된 상태일 수 있다. 또 다른 예를 들어, 오프라인 찾기 기능은 지정된 시간 구간(예: 오전 9시 내지 오후 6시)에만 활성화될 수 있다.
일 실시 예에 따르면, 동작 813에서 전자 장치(400)는 오프라인 찾기 기능의 활성화에 응답하여, 오프라인 찾기와 관련된 파라미터들을 설정할 수 있다. 예를 들어, 스캔 주기 및 스캔 윈도우(window), 스캔 간격(interval), 스캔 유지 시간, 및/또는 웨이크업 인텐트(wakeup intent)와 같은 파라미터들이 설정될 수 있다. 여기서 스캔 주기는 스캔이 1회 발생하는 시간을 의미할 수 있다. 스캔 윈도우는 스캔 주기 중에서, 실제로 스캔이 수행되는 시간을 의미할 수 있다. 예를 들어 스캔 주기가 2000ms이고 스캔 윈도우가 200ms인 경우, 근거리 통신 회로는 웨이크업 이후 200ms 동안 1차 스캔을 수행하고 나머지 1800ms는 슬립 상태를 유지하다가, 웨이크업 이후 2000ms가 경과한 시점에 다시 200ms 동안 2차 스캔을 수행할 수 있다.
스캔 유지 시간은 상술한 스캔 주기로 스캔을 유지하는 시간을 의미할 수 있다. 예를 들어, 전자 장치(400)는 매 2000ms마다 수행하는 스캔을 1시간동안 유지할 수 있다. 스캔 간격은 스캔 유지 시간 사이의 간격을 의미할 수 있다. 예를 들어, 스캔 유지 시간이 1시간이고 스캔 간격이 4시간인 경우, 전자 장치(400)는 00시부터 1시간동안 스캔을 유지하고 3시간동안은 슬립 상태를 유지하다가, 00시부터 4시간이 경과한 04시부터 다시 1시간동안 스캔을 유지할 수 있다.
일 실시 예에 따르면, 동작 813은 생략될 수 있다. 동작 813이 생략되는 경우, 오프라인 찾기와 관련된 파라미터 설정은 지정된 설정 값(예: 디폴트 값)을 사용할 수 있다.
일 실시 예에 따르면, 동작 815에서 전자 장치(400)는 스캔을 시작할 수 있다. 전자 장치(400)의 스캔은 동작 813에서 설정된 스캔과 관련된 파라미터들에 의해 정의된 규칙에 따라 수행될 수 있다. 전자 장치(400)는 스캔이 수행되는 동안 외부 장치(예: 제2 장치(202))로부터 획득되는 애드버타이징 패킷을 획득하기 위해 근거리 통신을 지원하는 제1 통신 회로를 활성화시킬 수 있다.
일 실시 예에 따르면, 제2 장치(202)는 동작 801에서 지정된 근거리 통신 프로토콜을 이용하여 애드버타이징 패킷을 브로드캐스팅할 수 있다. 예를 들어, 제2 장치(202)는 BLE 프로토콜을 이용하여 제2 장치(202)의 식별 정보 및 국가 코드, 및/또는 멀티 홉 카운트를 포함하는 애드버타이징 패킷을 일정 시간 간격으로 브로드캐스팅 하고 있을 수 있다.
일 실시 예에서, 제2 장치(202)는 네트워크 상태의 변화에 따라 애드버타이징 패킷을 브로드캐스팅 할 수 있다. 예를 들어, 제2 장치(202) 현재 네트워크가 이용 가능한 상태인지 판단할 수 있다. 예를 들어, 제2 장치(202)와 서버(300) 또는 제1 장치(201) 사이의 네트워크 연결이 유실된 경우 제2 장치(202)는 네트워크 연결의 유실이 비행기 모드(airplane mode)에 의한 것인지 판단할 수 있다. 제2 장치(202)의 어플리케이션이 현재 네트워크 상태를 확인하기 위해서, 해당 어플리케이션(예: 위치 찾기 서비스를 제공하는 어플리케이션)은 제2 장치(202)의 메모리에 상주할 수 있다. 일 실시 예에서, 비행기 모드가 아닌 경우 제2 장치(202)는 알람을 설정하고, 설정된 알람 시간이 도래하면 애드버타이징 패킷을 브로드캐스팅 할 수 있다. 이후 네트워크가 다시 회복되면(예: 제1 장치(201)와의 연결이 회복), 제2 장치(202)는 설정된 알람을 취소하고 애드버타이징 패킷을 브로드캐스팅하는 동작을 중단할 수 있다.
일 실시 예에 따르면, 스캔이 시작된 이후 동작 817에서 전자 장치(400)는 외부 장치, 예를 들어 제2 장치(202)로부터 동작 801에서 제2 장치(202)에 의해 브로드캐스트 된 애드버타이징 패킷을 수신할 수 있다. 동작 817에서 전자 장치(400)는 수신된 애드버타이징 패킷에 포함된 정보로부터 제2 장치(202)에 대한 정보를 획득하고, 동작 819에서 획득한 정보를 전자 장치(400)의 메모리에 저장할 수 있다.
일 실시 예에 따르면, 동작 821에서 전자 장치(400)는 제2 장치(202)로부터 수신한 정보(예: 국가 코드)에 기반하여 서버(300)로 제2 장치(202)에 대한 정보를 전송할 수 있다. 전자 장치(400)는 제2 장치(202)에 대한 정보 및 위치 정보를 포함시킬 수 있다. 여기서 위치 정보는 전자 장치(400)의 위치 측정 회로에 의해 측정된 전자 장치(400)의 위치일 수 있다. 또한, 전자 장치(400)는 보안을 향상시키기 위해 서버(300)로부터 서버(300)로 전송되는 정보를 암호화하기 위한 암호화 키를 획득하고, 획득된 암호화 키로 제2 장치(202)에 대한 정보를 암호화하고, 암호화된 정보를 서버(300)로 전송할 수 있다. 예를 들어, 전자 장치(400)는 서버(300)로 제2 장치(202)에 대한 정보의 적어도 일부를 전송하고, 서버(300)로부터 암호화 키를 획득한 후, 획득된 암호화 키로 제2 장치(202)에 대한 정보 및/또는 위치 정보를 암호화하여 서버(300)로 전송할 수 있다.
일 실시 예에 따르면, 서버(300)는 동작 831에서 전자 장치(400)로부터 제2 장치(202)의 정보 및/또는 위치 정보를 획득하고, 이를 제1 장치(201)에 요청에 응답하여 제2 장치(202)의 위치에 대한 정보를 제1 장치(201)로 제공할 수 있다.(예: 도 6의 동작 623)
일 실시 예에서, 전자 장치(400)는 동작 815, 817, 819, 및/또는 821을 소정 시간, 예를 들어 스캔 유지 시간 동안 반복하고, 스캔 유지 시간이 종료되면 동작 823에서 오프라인 찾기 기능을 비활성화 할 수 있다. 다만 다른 실시 예에서, 사용자 입력이나 전자 장치(400)의 배터리 잔량 상태와 같은 다양한 이벤트에 의해 오프라인 찾기 기능은 비활성화 될 수 있다.
도 9는 다양한 실시 예에 따른 전자 장치의 화면 ON/OFF에 따른 스캔 간격을 조절하는 흐름도이다.
도 9를 참조하면, 동작 911에서 전자 장치(400)는 화면 ON/OFF와 관련된 파라미터를 설정할 수 있다. 예를 들어, 전자 장치(400)는 도 8의 동작 813에서 오프라인 찾기 기능이 활성화되는 것에 응답하여 오프라인 찾기 기능과 관련된 파라미터들을 설정할 수 있는데, 일부 파라미터는 전자 장치(400)의 화면(디스플레이)이 ON 상태인지 OFF 상태인지에 따라 다르게 설정될 수 있다. 예를 들어, 전자 장치(400)는 화면 ON 상태에서는 제1 주기(예: 1000ms)로 스캔을 수행하지만, 화면 OFF 상태에서는 제2 주기(예: 1시간)로 스캔을 수행할 수 있다. 다른 예를 들어, 전자 장치(400)는 화면 ON 상태에서는 스캔 윈도우를 제1 길이(예: 200ms)로 스캔을 수행하지만, 화면 OFF 상태에서는 제2 길이(예: 100ms)로 스캔을 수행할 수 있다.
일 실시 예에 따르면, 동작 913에서 전자 장치(400)의 화면이 ON 될 수 있다. 전자 장치(400)의 화면이 ON 상태로 전환되면, 동작 915에서 전자 장치(400)는 제1 간격으로 외부 장치로부터 브로드캐스팅되는 애드버타이징 패킷에 대한 스캔을 시작할 수 있다.
일 실시 예에 따르면, 동작 901에서, 제2 장치(202)는 도 8의 동작 801에서와 같이 지정된 근거리 통신 프로토콜을 이용하여 애드버타이징 패킷을 지속적으로 브로드캐스팅할 수 있다. 제1 간격으로 스캔을 수행하는 동안 전자 장치(400)는 동작 917에서 외부 장치, 예를 들어 제2 장치(202)로부터 애드버타이징 패킷을 획득하고, 애드버타이징 패킷을 통해 획득된 제2 장치(202)에 대한 정보 및/또는 위치 정보를 서버(300)로 전송할 수 있다.
일 실시 예에 따르면, 서버(300)는 동작 931에서 전자 장치(400)로부터 제2 장치(202)의 정보 및/또는 위치 정보를 획득하고, 이를 제1 장치(201)에 요청에 응답하여 제2 장치(202)의 위치에 대한 정보를 제1 장치(201)로 제공할 수 있다.(예: 도 6의 동작 623)
일 실시 예에 따르면, 동작 921에서 전자 장치(400)는 전자 장치(400)의 화면이 OFF되는지 여부를 판단할 수 있다. 전자 장치(400)의 화면이 OFF되지 않는 경우(즉, ON 상태를 유지하는 경우), 전자 장치(400)는 제1 간격으로 스캔하는 동작을 지속적으로 수행할 수 있다. 전자 장치(400)의 화면이 OFF 되는 경우, 동작 923에서 전자 장치(400)는 스캔을 종료하거나 제1 간격보다 길게 설정된 제2 간격으로 스캔을 수행할 수 있다.
도 10은 다양한 실시 예에 따른 제2 장치의 구성 및 제2 장치에 의해 브로드캐스팅 되는 패킷의 데이터 구조를 나타낸다.
도 10을 참조하면, 제2 장치(202)는 프로세서(1010)(예: 처리 회로), 메모리(1020), 및 통신 회로(1030)를 포함할 수 있다. 도 10에 도시된 제2 장치(202)의 구성요소들은 예시적인 것이며, 도 1을 참조하여 설명한 구성요소들이 제2 장치(202)에 적절히 적용될 수 있다. 또한 도 10의 구성요소들 중 도 1에 대응되는 구성요소들에 대해서는 도 1의 설명이 적용될 수 있다.
일 실시 예에서, 프로세서(1010)는 다양한 처리 회로를 포함하며, 메모리(1020)로부터 명령어를 실행하고, 패킷 생성 모듈(1040) 및/또는 연결 관리자(1050)를 구현할 수 있다. 예시적으로, 상기 모듈들 각각은 상기 프로세서에 의해 실행되는 다양한 실행 가능한 명령어들을 포함할 수 있다. 패킷 생성 모듈(1040)과 연결 관리자(1050)는 메모리(1020)에 저장된 프로그램 코드를 실행함으로써 구현되는 소프트웨어 모듈로 이해될 수 있다. 또한 이하의 설명에서 패킷 생성 모듈(1040)이나 연결 관리자(1050)에 의해 수행되는 것으로 설명되는 동작은, 프로세서(1010)에 의해 수행되는 것으로 이해될 수 있다.
도 10을 참조하면, 프로세서(1010)는 메모리(1020)에 저장된 명령어들을 실행함으로써 패킷 생성 모듈(1040)을 구동시킬 수 있다. 패킷 생성 모듈(1040)은 제2 장치(202)에 대한 정보를 포함하는 애드버타이징 패킷(1000)을 생성할 수 있다. 프로세서(1010)는 연결 관리자(1050)를 통해(이용하여), 생성된 애드버타이징 패킷(1000)을 통신 회로(1030)로 제공하고, 통신 회로(1030)는 지정된 프로토콜을 이용하여 애드버타이징 패킷(1000)을 브로드캐스팅 할 수 있다.
일 실시 예에서, 애드버타이징 패킷(1000)은 버전(1001), 패킷 타입(1002), 멀티 홉 카운트(1003), 개인 ID(privacy ID)(1004), 지역(1005), UWB(1006), 및/또는 페어링(1007) 필드를 포함할 수 있다.
일 실시 예에서, 버전(1001)은 애드버타이징 패킷의 버전을 의미할 수 있다. 애드버타이징 패킷은 이를 브로드캐스팅하는 제2 장치(202)와 이를 수신해서 해석하는 전자 장치(400) 사이에서 공유되는 규칙에 의거해야 하므로, 애드버타이징 패킷이 가지는 버전은 이를 수신한 전자 장치(400)가 애드버타이징 패킷에 포함된 데이터를 해석하는 규칙을 결정하기 위해 사용될 수 있다. 예를 들어, 전자 장치(400)는 최신 버전이 아닌 구버전의 애드버타이징 패킷을 수신하는 경우, 구버전에 대응하는 규칙에 따라 애드버타이징 패킷을 해석할 수 있다. 다른 예를 들어, 전자 장치(400)의 버전이 애드버타이징 패킷이 가지는 버전보다 낮을 경우, 전자 장치(400)는 서버(예: 도 1의 서버(108))를 통해 버전을 업데이트 할 수 있다.
일 실시 예에서, 패킷 타입(1002)은 애드버타이징 패킷에 대한 멀티 홉을 지원하는 패킷인지 여부를 지시할 수 있다. 추가적으로 및/또는 대체적으로, 패킷 타입(1002)은 현재 제2 장치(202)가 오프라인 모드(예: offline finding)인지 온라인 모드인지에 대한 정보를 지시할 수 있다.
일 실시 예에서, 멀티 홉 카운트(1003)는 애드버타이징 패킷이 몇 번째로 전파된 것인지 여부를 나타낼 수 있다. 예를 들어, 제2 장치(202)에서 직접 브로드캐스팅 되는 경우 애드버타이징 패킷의 멀티 홉 카운트는 0으로 정의될 수 있다. 만약 제2 장치(202)로부터 애드버타이징 패킷을 수신한 다른 장치가, 다시 애드버타이징 패킷을 브로드캐스팅하는 경우, 다시 브로드캐스팅 되는 애드버타이징 패킷의 멀티 홉 카운트는 1 또는 그 이상의 숫자로 정의될 수 있다.
일 실시 예에서, 개인 ID(1004)는 제2 장치(202)의 고유 식별 정보일 수 있다. 추가적으로 및/또는 대체적으로, 개인 ID(1004)는 제2 장치(202)의 고유 식별 정보를 기반으로 하여 소정 알고리즘에 따라 생성되는 랜덤 ID일 수 있다.
일 실시 예에서, 지역(region)(1005)은 제2 장치(202)의 국가 정보를 포함할 수 있다. 예를 들어, 제2 장치(202)가 온보딩 되는 시점에 서버(300)로부터 받은 국가 정보 및/또는 서버(300)의 주소를 알 수 있는 정보일 수 있다. 예를 들면, 지역(1005)은, 도 3의 국가 코드 매칭 모듈(242) 또는 도 4의 국가 코드 - 서버 매칭 DB(330)에 포함된 데이터와 관련된 정보일 수 있다.
일 실시 예에서, UWB(1006)는 제2 장치(202)가 UWB 통신을 지원하는 장치인지 여부를 나타낼 수 있다. 애드버타이징 패킷(1000)은 UWB 외에, 제2 장치(202)가 E2E, 또는 MCF 지원 여부를 알 수 있는 정보를 더 포함할 수 있다.
일 실시 예에서, 페어링(1007)은 제2 장치(202)가 단독으로 동작하는 장치인지, 아니면 이어버즈와 같이 한쌍으로 동작하는 장치인지, 한쌍으로 동작하는 장치인 경우 서로 페어링이 되어 있는 상태인지에 대한 정보를 포함할 수 있다.
도 11은 다양한 실시 예에 따른 제1 장치의 하드웨어 구성요소들을 나타낸다.
도 11을 참조하면, 제1 장치(201)는 제1 무선 통신 회로(1121), 제2 무선 통신 회로(1122), UWB 통신 회로(1123), 위치 측정 회로(1124), 카메라(1131), 디스플레이(1140), 및 이들과 전기적 또는 작동적으로 연결되는 적어도 하나의 프로세서(1110)(예: 처리 회로)를 포함할 수 있다. 도 11의 제1 장치(201)는 서버(300)로부터 분실된 제2 장치(202)의 좌표 정보를 획득하고, 해당 좌표 근처로 이동하여 제2 장치(202)에 대한 근거리 연결 및 UWB 통신을 수행하는 장치로 이해될 수 있다. 예를 들어, 제1 장치(201)는 제2 장치(202)를 제1 사용자 계정에 기반하여 서버(300)에 등록한 장치이거나 또는 동일한 제1 사용자 계정에 기반하여 서버(300)에 등록된 장치일 수 있다.
다양한 실시 예에서, 도 1의 전자 장치(101) 및 도 2의 제1 장치(201)에 대한 설명이 도 11, 12, 13, 14, 15, 16 및 17에서 설명되는 제1 장치(201)에 적용될 수 있다. 예를 들어, 제1 장치(201)의 프로세서(1110)는 도 1의 프로세서(120)에 대응될 수 있다. 또한 제1 장치(201)의 카메라(1131)는 도 1의 카메라 모듈(180)에 대응될 수 있다. 제1 장치(201)의 제1 무선 통신 회로(1121), 제2 무선 통시 회로(1122), UWB 통신 회로(1123), 위치 측정 회로(1124)는 도 1의 통신 모듈(190) 또는 무선 통신 모듈(192)에 대응될 수 있다. 이 외에 도 1의 전자 장치(101)에 대한 설명이 적절히 제1 장치(201)에 적용될 수 있다.
일 실시 예에서, 제1 무선 통신 회로(1121)는 근거리 통신을 지원할 수 있다. 예를 들어, 제1 무선 통신 회로(1121)는 BLE 및/또는 BT 통신을 지원할 수 있다. 제1 장치(201)는 제2 장치(202)와 근거리 통신이 가능한 범위 내로 접근하면, 제1 무선 통신 회로(1121)를 이용하여 근거리 통신 채널을 수립할 수 있다.
일 실시 예에서, 제2 무선 통신 회로(1122)는 서버(300)와의 통신을 수행할 수 있다. 제1 장치(201)는 제2 무선 통신 회로(1122)를 이용하여 셀룰러 네트워크나 Wi-Fi 네트워크를 통해 서버(300)에 보고된 제2 장치(202)의 위치 정보를 획득할 수 있다.
일 실시 예에서, UWB 통신 회로(1123)는 안테나를 이용하여 약 3 ~ 10.6GHz 주파수 대역의 신호를 이용한 통신을 수행할 수 있다. 예를 들어, UWB 통신 회로(1123)는 복수의 안테나와 전기적으로 연결될 수 있으며, 상기 복수의 안테나는 패치 안테나, 다이폴 안테나 또는 제1 장치(201)의 하우징(미도시)의 일부를 사용하는 안테나를 포함할 수 있다. UWB 통신 회로(1123)는 복수의 안테나들을 통해 신호의 AOA(angle of arrival)를 측정함으로써 대상 객체와 제1 장치(201) 사이의 거리 및 방향을 측정할 수 있다. UWB 통신 회로(1123)는 UWB 범위 데이터(UWB ranging data) 포맷의 형태로 측위 정보를 생성 및 제공할 수 있는데, UWB 범위 데이터는, 예를 들어 제1 AOA(aoaFirst), 제2 AOA(aoaSecond), 거리(distance), 장치 식별자(device id), 및/또는 BT 정보(Bluetooth information)를 포함할 수 있다. 여기서 제1 AOA는 전자 장치의 가로 축(또는 너비 방향)에 대한 대상 객체의 각도를 의미하고, 제2 AOA는 전자 장치의 세로 축(또는 길이 방향)에 대한 대상 객체의 각도를 의미할 수 있다. 제1 AOA는 aoaPortrait로, 제2 AOA는 aoaLandscape로 참조될 수 있다.
일 실시 예에서, 위치 측정 회로(1124)는 GPS를 포함할 수 있다. 또한, 카메라(1131)는 일반적으로 제1 장치(201)의 후면에 배치된 후면 카메라일 수 있으나, 이에 제한되지는 않는다. 예를 들어, 카메라(1131)는 전면 카메라를 포함할 수도 있고, 적절한 광학식 센서(예: IR 카메라)를 포함할 수도 있다.
일 실시 예에서, 디스플레이(1140)는 제1 장치(201)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이(1140)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 디스플레이(1140)는 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다. 일 실시 예에서, 디스플레이(1140)는 롤러블(rollable) 또는 폴더블(foldable) 가능할 수 있다. 다양한 실시 예에서, 제1 장치(201)가 AR 글래스 장치인 경우, 제1 장치(201)는 글래스를 포함할 수 있고, 디스플레이(1140)는 글래스의 적어도 일부에 위치할 수 있으며, 디스플레이(1140)의 적어도 일부는 투명 재질을 포함할 수 있다.
도 12는 다양한 실시 예에 따른 제1 장치의 하드웨어 구성요소들 및 하드웨어 구성요소들을 통해 구현되는 각종 기능과 관련된 다양한 모듈들을 나타낸다.
일 실시 예에 따른 제1 장치(201)는 프로세서(1110)(예: 처리 회로), 하나 이상의 센서들(1130), 디스플레이(1140), 메모리(1150), 셀룰러 회로(circuitry)(1241), Wi-Fi 회로(1242), UWB 회로(1243)(예: 도 11의 UWB 통신 회로(1123)), BLE/BT 회로(1244), 및/또는 GPS 회로(1245)를 포함할 수 있다.
도 12를 참조하면 프로세서(1110)는 메모리(1150)에 저장된 프로그램 코드를 실행함으로써, 위치 안내 서비스(1200)를 구현할 수 있다. 예를 들어, 위치 안내 서비스(1200)는 메모리(1150)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 위치 안내 서비스(1200)는 프로세서(1110) 및 적절한 다른 하드웨어를 이용하여 수행되는 것으로 이해될 수 있다.
일 실시 예에 따른 위치 안내 서비스(1200)는 UI 레이어(1210), 환경 이해 모듈(1221), 광 추정 모듈(1222), 움직임 추적 모듈(1223), 데이터 저장소(1231), 앵커 생성 모듈(1232) 및/또는 연결 매니저(1240)을 포함할 수 있다.
도 3 및 도 12를 참조하면, 위치 안내 서비스(1200)는 파인딩 플랫폼(230), BT 파인더(231), UWB 파인더(232), AR 파인더(122), 및/또는 AR 코어 서비스(240)를 통해 구현될 수 있다. 예를 들어, 파인딩 플랫폼(230)은 UI 레이어(1210)를 구성하고 디스플레이(1140)를 통해 UI를 제공할 수 있다. 또한 디스플레이(1140)의 UI를 통해 획득되는 사용자 입력을 적절한 모듈로 제공할 수 있다. BT 파인더(231), UWB 파인더(232)는 연결 매니저(1240)를 통해 적절한 통신 회로를 제어할 수 있다. 예를 들어, BT 파인더(231)는 BLE/BT 회로(1244)를, UWB 파인더(232)는 UWB 회로(1243)를 제어할 수 있다.
일 실시 예에서, 적어도 하나 이상의 센서들(1130)은 카메라(1131), 가속도 센서(1132), 자이로 센서(1133) 및/또는 지자기 센서(1134)를 포함할 수 있다.
일 실시 예에서, AR 코어 서비스(240)는 환경 이해(environment understanding) 모듈(1221), 광 추정(light estimation) 모듈(1222), 및/또는 움직임 추적(motion tracking) 모듈(1223)을 포함할 수 있다.
일 실시 예에서, 환경 이해 모듈(1221)은 바닥이나 탁자와 같이 주위 환경의 특징 점을 분석함으로써 수평면을 감지할 수 있다. 예를 들어, 환경 이해 모듈(1221)은 특징 점 분석을 위해 카메라(1131)를 활성화하고 주변 영상을 촬영할 수 있다.
일 실시 예에서, 광 추정 모듈(1222)은 주변 조명을 관찰하고, 증강 현실 인터페이스에 생성되는 가상 객체에 적절한 조명 효과를 부가함으로써, 가상 객체를 보다 사실적으로 구현할 수 있다. 예를 들어, 광 추정 모듈(1222)은 조도 센서 및/또는 카메라(1131)를 이용하여 주변 조명을 감지 및 분석할 수 있다.
일 실시 예에서, 움직임 추적 모듈(1223)은 하나 이상의 센서들(1130)을 이용하여 제1 장치(201)의 움직임에 따른 제1 장치(201)의 위치와 방향과 같은 제1 장치(201)의 자세(pose)를 결정할 수 있다. 본 문서에서 자세(pose)란, 로컬 좌표 공간에서의 객체를 표준 좌표 공간(또는 world 좌표 공간)으로 좌표 변환한 것으로 참조될 수 있다. 즉, 제1 장치(201)가 로컬 좌표 공간에서 움직이더라도 표준 좌표 공간으로 조정함으로써 일관된 환경을 유지할 수 있다.
일 실시 예에서, 움직임 추적 모듈(1223)은 카메라(1131), 가속도 센서(1132), 자이로 센서(1133), 및/또는 지자기 센서(1134) 중 적어도 하나 이상을 이용하여 제1 장치(201)의 자세를 결정할 수 있다. 움직임 추적 모듈(1223)은 주변 공간의 특징 점을 분석하기 위해 카메라(1131)를 이용할 수 있다. 아울러, 가속도 센서(1132)와 자이로 센서(1133)는 관성 측정 유닛(inertial measurement unit, IMU)으로 참조될 수 있다.
일 실시 예에서, AR 파인더(233)는 데이터 저장소(1231) 및 앵커 생성 모듈(anchor create module)(1232)을 포함할 수 있다. AR 파인더(233)는 BT 파인더(231) 및 UWB 파인더(232)로부터 획득되는 신호에 기반하여 UWB 신호 및/또는 BT 신호를 받는 시점에 임시 점(temp point) 및 목표 점(target point)을 결정할 수 있다. 이후 AR 파인더(233)는 목표 점에 기반하여 생성되는 증강 현실을 증강 현실 인터페이스로서 디스플레이(1140)에 제공할 수 있다. 만약 UWB 신호가 일시적으로/지속적으로 수신되지 않는 경우, AR 파인더(233)는 임시 점에 기반하여 증강 현실 인터페이스를 업데이트 할 수 있다.
일 실시 예에서, 데이터 저장소(data repository)(1231)는 UI 레이어(1210)를 통해 디스플레이(1140)로 증강 현실 인터페이스가 제공되기 전에 각종 데이터를 적절히 저장 및 처리하는 기능을 수행할 수 있다. 예를 들어, 데이터 저장소(1231)는 일정 기간 수집된 데이터 중 지정된 범위 이상의 편차를 가지는 데이터를 제거하거나, 정규화(normalization) 또는 평탄화(smoothing) 작업을 수행할 수 있다.
일 실시 예에서, 앵커 생성 모듈(1232)은 획득된 UWB 신호(예: UWB 범위 데이터)에 기반하여 분실 장치(예: 제2 장치(202))에 대응하는 앵커를 생성할 수 있다. 앵커 생성 모듈(1232)은 제1 장치(201) 또는 제1 장치(201)의 카메라(1131)와 앵커의 좌표가 실제 위치와 적절한 상대적인 위치를 유지할 수 있도록 설정할 수 있다. 예를 들어, 앵커 생성 모듈(1232)은 획득된 UWB 신호와 제1 장치(201)의 자세에 기반하여 표준 좌표 공간에서 앵커를 설정하고, 제1 장치(201)와 제2 장치(202) 사이의 거리 및 방향 정보를 계산할 수 있다. 또한 앵커 생성 모듈(1232)은 하나 이상의 센서들(1130)을 통해 획득되는 정보에 기반하여 제1 장치(201)와 제2 장치(202) 사이의 거리 및 방향 정보를 업데이트 할 수 있다.
다만 본 문서에서 설명하는 소프트웨어 모듈의 구분은 예시적인 것이며, 적절한 변형이 가능하다. 예를 들어, AR 파인더(233)가 AR 코어 서비스(240)의 기능까지 포함할 수 있다. 아울러, 도 12에서 화살표로 표시된 연결 관계는 예시적인 것이며, 하드웨어/소프트웨어 사이의 연결을 제한하지 않는다. 예를 들어, 도 12에는 도시되지 않았으나 프로세서(1110)와 디스플레이(1140)는 소정의 인터페이스를 통해 전기적 및/또는 작동적으로 직접 연결될 수 있다.
도 13은 다양한 실시 예에 따른 분실 장치를 찾기 위한 가이드를 제공하는 흐름도이다.
도 13을 참조하면, 동작 1301에서 제1 장치(201)는 서버(300)로부터 분실 장치의 정보를 획득할 수 있다. 설명의 편의를 위해 분실 장치는 제1 장치(201)와 동일 사용자 계정을 공유하는 사용자 장치들(200) 중 제2 장치(202)인 것으로 가정한다. 일 실시 예에서, 제1 장치(201)는 제2 무선 통신 회로(1122)를 이용하여 서버(300)로부터 제1 장치(201) 또는 제1 장치(201)의 사용자 계정에는 등록되어 있으나 현재 제1 장치(201)와 연결되어 있지 않은 제2 장치(202)에 대한 정보를 획득할 수 있다.
일 실시 예에서, 동작 1301은 사용자가 위치 안내 서비스를 제공하는 어플리케이션을 실행한 경우에 자동으로 수행되거나, 사용자가 소정 인터페이스를 통해 위치 정보를 요청하는 입력을 제공한 경우에 수행될 수 있다. 예를 들어, 제1 장치(201)는 서버(300)로 제2 장치(202)에 대한 정보 요청을 전송하고, 서버(300)로부터 제2 장치(202)의 정보를 수신할 수 있다.
일 실시 예에서, 제2 장치(202)에 대한 정보에는 제2 장치(202)의 좌표에 대한 정보가 포함될 수 있다. 제2 장치(202)의 좌표는 다른 장치(예: 전자 장치(400) 등)에 의해 측정된, 제2 장치(202)로부터 애드버타이징 패킷을 수신한 장치의 GPS 위치 정보를 의미할 수 있다. 또한, 제2 장치(202)에 대한 정보에는 제2 장치(202)가 UWB 통신을 지원하는지 여부(예: 제2 장치(202)가 UWB 안테나 및 UWB 통신 회로를 포함하는지 여부), 제2 장치(202)의 배터리 잔량, 및/또는 제2 장치(202)의 배터리 잔량에 따른 UWB 통신 지원 여부 등에 대한 정보가 더 포함되어 있을 수 있다.
일 실시 예에 따르면, 동작 1303에서 제1 장치(201)는 서버(300)로부터 획득된 제2 장치(202)에 대한 정보 및 위치 측정 회로(1124)에 의해 측정되는 제1 장치(201)의 위치에 기반하여, 제1 장치(201)가 제2 장치(202)의 좌표로부터 지정된 거리 이내에 존재하는지 여부를 판단할 수 있다. 예를 들어, 제1 장치(201)는 제1 장치(201)의 현재 위치와 제2 장치(202)의 좌표 사이의 거리(D)가 임계 거리(TH) 미만인지 판단할 수 있다. 예를 들어, 제1 장치(201)의 사용자는 서버(300)로부터 획득된 제2 장치(202)에 대한 정보에 기반하여 제2 장치(202)의 위치로 이동하고, 위치 측정 회로(1124) 또는 GPS 회로(1245)를 통해, 제1 장치(201)의 현재 위치와 제2 장치(202)의 좌표 사이의 거리(D)가 임계 거리(TH) 미만인지 판단할 수 있다.
동작 1303의 판단에 응답하여, 제1 장치(201)는 제2 장치(202)와 근거리 통신 연결을 시도할지, 제2 장치(202)가 있는 방향으로 이동을 가이드할 지 결정할 수 있다. 예를 들어, 제1 장치(201)는 제1 장치(201)의 현재 위치와 제2 장치(202)의 좌표 사이의 거리(D)가 임계 거리(TH)(예: 제1 거리) 미만인 경우, 동작 1305에서 제1 장치(201)는 제2 장치(202)와 제1 무선 통신 회로(1121)를 이용하여 근거리 통신 연결을 수립할 수 있다. 예를 들어, 상기 근거리 통신 연결은 Bluetooth 통신 채널일 수 있다. 다른 예를 들어, 제1 장치(201)는 제1 장치(201)의 현재 위치와 제2 장치(202)의 좌표 사이의 거리(D)가 임계 거리(TH) 이상인 경우, 동작 1307에서 제1 장치(201)는 디스플레이(1140)에 제2 장치(202)에 보다 근접할 것을 지시하는 이동 가이드를 표시할 수 있다.
일 실시 예에 따르면, 제2 장치(202)와 근거리 통신 연결이 수립되면 동작 1309에서 제1 장치(201)는 상기 근거리 통신 연결을 통해 제2 장치(202)로 제2 장치(202)의 UWB 기능을 활성화하는 요청을 전송할 수 있다. 상기 요청은 근거리 통신 연결이 수립되는 즉시 수행될 수도 있고, 근거리 통신 연결이 수립되더라도, UWB 통신이 가능한 범위(예: 제2 거리) 내로 제1 장치(201)가 접근한 후에 수행될 수도 있다. 예를 들어, UWB 통신이 가능한 범위(예: 제2 거리)는 임계 거리(TH)(예: 제1 거리) 보다 작을 수 있다. 또한, 일단 근거리 통신 연결이 수립되면 제1 장치는 UWB 통신의 가능 여부가 결정될 때까지 주기적으로 상기 요청을 전송할 수도 있다.
일 실시 예에서, 동작 1309는 제1 장치(201)가 서버(300)로부터 획득한 제2 장치(202)에 대한 정보에, 제2 장치(202)가 현재 UWB를 지원할 수 있다는 내용이 포함된 경우에 수행될 수 있다. 예를 들어, 서버(300)로부터 획득한 제2 장치(202)가 현재 UWB를 지원할 수 있다는 내용은, 제2 장치가 UWB 통신을 지원하는지 여부 및/또는 제2 장치가 UWB 통신을 수행할 수 있는 배터리 잔량인지에 대한 정보를 포함할 수 있다. 다만 이에 제한되지는 않으며, 동작 1309는 제1 장치(201)가 서버(300)로부터 획득한 제2 장치(202)에 대한 정보에 UWB 관련 정보가 포함되어 있지 않거나, UWB를 지원하지 않는다는 내용이 포함된 경우에도 수행될 수 있다. 또한, 제2 장치(202)의 UWB의 지원 여부에 대한 정보는 상기 근거리 통신 연결을 수행하는 과정에서 제2 장치(202)로부터 제공될 수도 있다. 또는, 제2 장치(202)의 UWB 지원 여부에 대한 정보는 도 5를 참조하여 설명된 온보딩 절차 중 적절한 과정(예: 동작 503 또는 동작 515 등)에서 제공될 수도 있다.
일 실시 예에서, 제1 장치(201)와 수립된 근거리 통신 연결을 통해 UWB 활성화 요청을 수신한 제2 장치(202)는, UWB 활성화 요청에 응답하여 제2 장치(202)의 UWB 통신 기능을 활성화할 수 있다. 예를 들어, 제2 장치(202)는 무선 통신 회로를 통해 제1 장치(201)와 근거리 통신 연결이 수립되면, 제1 장치(201)로부터 수신된 UWB 활성화 요청에 응답하여 제2 장치(202)에 포함된 UWB 통신 회로를 활성화할 수 있다. 일 실시 예에서, 제2 장치(202)는 UWB 통신 회로 및 상기 UWB 통신 회로와 연결된 UWB 안테나를 이용하여 상기 UWB 활성화 요청에 의해 설정된 채널(주파수) 및 주기(예: 100ms)로 UWB 신호를 전송할 수 있다. 다양한 실시 예에서, 제1 장치(201)에 포함되는 것으로 설명된 구성 요소들 중 제2 장치(202)에도 포함되는 구성요소들에 대해서는, 제1 장치(201)를 참조하여 제공된 설명이 적용될 수 있다.
일 실시 예에서, 제1 장치(201)는 UWB 기능을 활성화하는 요청에 응답하여 제2 장치(202)로부터 UWB 기능의 활성화가 가능하지 않다는 것을 지시하는 응답을 수신하면, UWB 기능 대신 다른 통신 기능을 이용하여 제2 장치(202)까지의 거리를 추정할 수 있다. 예를 들어, 제1 장치(201)는 제1 무선 통신 회로(112)를 이용하여 감지되는 신호의 세기(예: Bluetooth 신호의 세기)를 판단하고, 신호의 세기가 강해지는 방향으로 이동할 것을 안내할 수 있다. 또한 제1 장치(201)는 소정의 룩업테이블(look-up table)을 이용하여 신호의 세기에 따른 대략적인 거리를 안내할 수 있다.
일 실시 예에 따르면, 동작 1311에서 제1 장치(201)는 제2 장치(202)로부터 수신되는 UWB 신호에 기반하여 제1 장치(201)에 대한 제2 장치(202)의 위치를 식별할 수 있다. 예를 들어, 제1 장치(201)는 제2 장치(202)가 위치한 방향과 제2 장치(202)까지의 거리를 식별할 수 있다.
일 실시 예에 따르면, 동작 1313에서 제1 장치(201)는 디스플레이(1140)를 통해 증강 현실 인터페이스를 출력할 수 있다. 예를 들어, 제1 장치(201)는 카메라(1131)를 이용하여 제1 장치(201)의 주변 이미지 데이터를 획득하고, 획득된 이미지 데이터와 식별된 제2 장치(202)의 위치에 기반하여 증강 현실 인터페이스를 생성하고, 이를 디스플레이(1140)에 출력할 수 있다. 이와 관련된 예시적인 UI들이 도 14를 통해 설명된다.
도 14는 다양한 실시 예에 따른 거리에 따라 전자 장치가 제공하는 예시적인 UI들을 나타낸다.
도 14를 참조하면, 위치 안내 서비스를 제공하는 어플리케이션이 실행되면, 제1 장치(201)는 제1 화면(1410)과 같은 안내 화면을 제공할 수 있다. 예를 들어, 제1 장치(201)는 제2 장치(202)(예: Galaxy Note 20)를 찾기 위해 위치 안내 서비스를 실행하고, 제2 장치(202)와의 신호 세기에 따라 외측에서 내측으로 원이 소정 색상으로 채워지는 형태의 UI를 제공할 수 있다. 예를 들어, 제1 화면(1410)이 표시된 상태에서 제1 장치(201)가 제2 장치(202)를 향해 근접하면 제2 화면(1420)이 디스플레이 될 수 있다. 제1 화면(1410)과 제2 화면(1420)이 디스플레이 되는 동안에는 BT 파인더(231)가 동작할 수 있다.
일 실시 예에서, 미리 정의된 AR 파인더 실행 이벤트가 발생하면 제1 장치(201)는 제1 화면(1401) 또는 제2 화면(1420)에서 제3 화면(1430)이나 제4 화면(1440)으로 안내 화면을 전환할 수 있다. 예를 들어, 제2 화면(1420)은 증강 현실 인터페이스로 전환하기 위한 제1 아이콘(1401)을 포함할 수 있다. 제1 아이콘(1401)에 대한 사용자 선택에 응답하여, 제2 화면(1420)은 증강 현실 인터페이스를 제공하는 제3 화면(1430)으로 전환될 수 있다. 이 경우, 제1 아이콘(1401)을 선택하는 사용자 입력은 AR 파인더 실행 이벤트에 해당할 수 있다. 유사하게, 제3 화면(1430)은 증강 현실 인터페이스를 BT 인터페이스로 전환하기 위한 제2 아이콘(1402)을 포함할 수 있다. 예를 들어, 제2 화면(1420)이 제3 화면(1430)으로 전환되면, 제2 화면(1420)에 있던 제1 아이콘(1401)이 동일 위치에서 제2 아이콘(1402)으로 변경되어 표시될 수 있다. 제2 아이콘(1402)에 대한 사용자 선택에 응답하여, 제3 화면(1430)은 BT 인터페이스를 제공하는 제2 화면(1420)으로 다시 전환될 수 있다.
일 실시 예에서, 제2 화면(1420)은 제3 화면(1430)으로 자동적으로 전환될 수 있다. 예를 들어, 제1 장치(201)는 제1 장치(201)가 제2 장치(202)의 좌표로부터 지정된 거리 이내에 위치하고 제2 장치(202)와 근거리 통신 연결이 수립되는 것에 응답하여, 제2 화면(1420)에서 제3 화면(1430)으로 인터페이스를 전환할 수 있다. 이 경우, 제1 장치(201)가 제2 장치(202)의 좌표로부터 지정된 거리 이내에 위치하고 제2 장치(202)와 근거리 통신 연결이 수립되는 것은 AR 파인더 실행 이벤트에 해당할 수 있다. 다른 예를 들어, 제1 장치(201)와 제2 장치(202)의 근거리 통신 연결이 수립되고, 제2 장치(202)에서 UWB 활성화하는 것에 응답하여, 제2 화면(1420)에서 제3 화면(1430)으로 인터페이스를 전환할 수 있다. 이 경우, 제2 장치(202)로부터 UWB 활성화에 대한 응답을 수신하는 것은 AR 파인더 실행 이벤트에 해당할 수 있다. 또 다른 예를 들어, 제1 장치(201)는 가속도 센서(1132), 자이로 센서(1133) 및/또는 지자기 센서(1134)에 기반하여 사용자가 제1 장치(201)를 지정된 범위 이상으로 움직임을 감지함에 기반하여, 제2 화면(1420)에서 제3 화면(1430)으로 인터페이스를 전환할 수 있다.
일 실시 예에서, 제3 화면(1430)은 동작 1313에서 출력되는 증강 현실 인터페이스일 수 있다. 제3 화면(1430)은, 전술한 제2 아이콘(1402) 외에, 제1 장치(201)의 현재 위치로부터 UWB 신호에 기반하여 식별된 제2 장치(202)의 위치까지의 거리를 나타내는 제1 객체(1431)를 포함할 수 있다. 또한, 제1 장치(201)의 자세를 기준으로 결정되는 좌표 공간에서, 제2 장치(202)에 대응하는 위치를 지시하는(pointing) 제2 객체(1432)를 포함할 수 있다. 여기서 제2 장치(202)에 대응하는 위치는, 앵커 생성 모듈(1232)에 의해 생성된 앵커의 위치에 해당할 수 있다. 또한 제2 객체(1432)는 앵커를 향하는 방향을 지시하기 위한 화살표와 같이 방향을 나타내는 객체일 수 있다. 상기 제2 객체(1432)는 현재 제2 장치(202)가 제1 장치(201)의 카메라(1131)에 의해 촬영되는 프레임의 외부에 위치하거나, 프레임 내부에 위치하긴 하나 충분히 근접하지 않은 상태임을 나타낼 수 있다.
일 실시 예에서, 제1 장치(201)가 제2 장치(202)에 매우 근접(예: 3.5m 이내)하여, 제1 장치(201)의 카메라(1131)에 의해 촬영되는 프레임 내에 제2 장치(202)가 위치하는 것으로 판단된 경우, 제1 장치(201)는 제4 화면(1440)을 디스플레이(1140)에 출력할 수 있다. 일 실시 예에서, 제4 화면(1440)은 증강 현실 인터페이스 상에 제2 장치(202)를 나타내는 객체와 함께 상기 객체를 가리키는 화살표(1442)를 표시할 수 있다.
도 15는 다양한 실시 예에 따른 전자 장치가 증강 현실을 이용하여 제공하는 예시적인 UI들을 나타낸다.
도 15를 참조하면, 제1 장치(201)가 제2 장치(202)에 대해 기준 거리 내에 근접한 경우, 제1 UI(1501)를 제공할 수 있다. 예를 들어, 도 14의 제1 화면(1410)이나 제2 화면(1420), 또는 임의의 다른 화면이 디스플레이(1140)에 출력된 상태에서 제1 장치(201)가 제2 장치(202)에 대해 기준 거리(예: 30m 또는 50m) 내에 근접한 경우, 제2 장치(202)가 근처에 있음을 나타내는 메시지(예: Your Galaxy Note 20 might be nearby)와 함께 팝업 형태로 파인더(finder)를 실행할 것인지 묻는 메뉴(예: Start Finder(1511) 및/또는 Cancel(1512))가 디스플레이 될 수 있다.
일 실시 예에서, 제1 장치(201)는 파인더를 실행하는 사용자 입력(1500)에 응답하여 제2 장치(202)와 통신을 시도할 수 있다. 상기 통신 시도는 Bluetooth를 이용한 근거리 통신 연결을 수립하는 과정일 수 있다. 근거리 통신 연결을 수립하는 동안 제1 장치(201)와 제2 장치(202) 사이의 거리 및/또는 신호 강도에 따라 수초 정도 시간이 소요될 수 있고 그 동안 제2 UI(1502)가 제공될 수 있다. 제2 UI(1502)가 디스플레이 되는 동안 동작 1305 및 동작 1309가 수행되고, 제2 장치(202)로부터 UWB 활성화에 대한 응답이 수신될 수 있다.
일 실시 예에서, 제2 장치(202)와의 연결에 실패하면, 찾기 기능을 취소(Cancel)(1532)하거나 재시도(Retry)(1531)를 유도하는 제3 UI(1503)가 팝업 형태로 디스플레이 될 수 있다. 제2 장치(202)와의 연결에 성공하면, UWB 신호를 이용하여 제2 장치(202)의 상세 위치를 스캔하기 위한 제4 UI(1504)가 제공될 수 있다.
일 실시 예에서, 제4 UI(1504)는 UWB 신호를 보다 정확하게 수신하기 위해 파노라마 스캔(panoramic scan)을 가이드하는 화면일 수 있다. 일반적으로 UWB 안테나는 제1 AOA와 제2 AOA를 인식하기 위해 제1 방향으로 배열된 2개의 안테나, 및 상기 제1 방향에 실질적으로 수직한 제2 방향으로 배열되는 2개의 안테나를 포함할 수 있다. 각각의 안테나들은 서로 UWB 통신에 사용되는 신호가 가지는 파장의 약 1/2 정도의 간격을 두고 서로 이격될 수 있다. 어느 하나의 안테나가 제1 방향과 제2 방향에 대해서 공통으로 사용될 수 있으며, 이 경우 UWB 안테나 모듈은 3개의 안테나를 포함할 수 있다. 사용자가 제1 장치(201)를 잡는 방법, 즉 제1 장치(201)의 자세에 따라 UWB 안테나를 통해 측정되는 AOA 값이 달라질 수 있기 때문에, 정확한 측정을 위해서는 다양한 각도로 천천히 제1 장치(201)를 움직여가며 일정 시간 동안 UWB 신호를 획득하는 것이 효과적일 수 있다. 따라서, 제1 장치(201)는 제4 UI(1504)와 같이 UI의 중심에 화살표를 표시하여 화살표 방향으로 장치를 이동시킬 것을 가이드할 수 있다. 제1 장치(201)는 이동하는 범위나 각도에 따라 화살표를 이동시키거나, 화살표의 색상을 변경시킬 수 있다. 예를 들어, 제4 UI(1504)가 4개의 화살표를 포함하는 경우, 제1 장치가 90도만큼 이동하면 이 중 1개의 화살표의 색상을 변경하고, 360도만큼 이동하면 4개의 화살표 색상을 모두 변경할 수 있다. 다른 예를 들어, 제4 UI(1504)는 제1 장치(201)를 세로 방향(portrait)에서 가로 방향(landscape)으로 전환하라는 가이드를 제공할 수도 있다.
일 실시 예에서, 제4 UI(1504)와 같이 UWB 신호를 효과적으로 수신하기 위한 가이드는 제1 장치(201)의 자세에 따라 적절한 시점에 제공될 수 있다. 예를 들어, 사용자가 제1 장치(201)의 카메라(1131)가 지면을 향하도록 들고 있는 경우, 카메라(1131)를 통해 획득되는 영상은 증강 현실을 생성하기에 적절하지 않고, 또한 제1 장치(201)에 포함된 UWB 안테나들이 지면과 평행하게 배치되면서 제2 장치(202)로부터 UWB 신호가 잘 수신되지 못할 수 있다. 따라서 제1 장치(201)는 하나 이상의 센서들(1130)을 통해 수신되는 센싱 데이터에 기반하여 사용자가 제1 장치(201)를 지면과 실질적으로 수직한 방향으로 들고 있도록 가이드 할 수 있다.
일 실시 예에서, 가이드에 따른 이동이 완료되면 제1 장치(201)는 제5 UI(1505)를 디스플레이 할 수 있다. 다만 UWB 신호 상태에 따라 제5 UI(1505)는 생략될 수도 있다. 예를 들어 제5 UI(1505)는 제1 장치(201)가 이동하며 수신된 UWB 신호에 기반하여 제2 장치(202)의 위치를 산출하는 동작을 나타낼 수 있다.
일 실시 예에서, 제1 장치(201)는 제2 장치(202)의 위치 확인에 실패하면 제6 UI(1506)를 디스플레이 할 수 있다. 제6 UI(1506)는 찾기 기능을 취소(Cancel)(1562)하거나, 재시도(Retry)(1561)하기 위한 메뉴를 포함할 수 있다.
일 실시 예에서, UWB 신호에 기반하여 제2 장치(202)의 위치가 확인되면, 제1 장치(201)는 제7 UI(1507)를 디스플레이 할 수 있다. 제7 UI(1507)는 도 14를 참조하여 전술한 제3 화면(1430)에 대응될 수 있으며, 중복되는 설명은 생략한다. 일 실시 예에서, 제7 UI(1507)는 증강 현실 인터페이스를 이용한 안내를 종료하고 지도 및/또는 방위를 이용한 안내를 제공하는 디렉션 뷰(direction view)로 UI를 전환하는 아이콘(1571)을 더 포함할 수 있다. 아이콘(1571)을 선택하는 사용자 입력에 응답하여, 제1 장치(201)는 제2 장치(202)가 위치하는 방향을 안내하는 지도 또는 방위(예: 나침반) UI를 제공할 수 있다.
일 실시 예에서, 제7 UI(1507)의 안내를 따라 이동하던 중 제2 장치(202)로부터 신호가 유실되면 제8 UI(1508)가 디스플레이 될 수 있다. 제8 UI(1508)는 찾기 기능을 취소(Cancel)(1582)하거나, 재시도(Retry)(1581)하기 위한 메뉴를 포함할 수 있다.
일 실시 예에서, 제1 장치(201)가 제2 장치(202)에 매우 근접하고, 제1 장치(201)의 카메라(1131)에 의해 촬영되는 프레임 내에 제2 장치(202)가 위치하는 것으로 판단된 경우, 제1 장치(201)는 제9 UI(1509)를 디스플레이(1140)에 출력할 수 있다. 제9 UI(1509)는 도 14의 제4 화면(1440)에 대응될 수 있으며, 중복되는 설명은 생략한다. 일 실시 예에서, 제9 UI(1509)를 디스플레이 하는 것과 함께, 제1 장치(201)는 제2 장치(202)를 호출(예: ring 호출)하거나, 햅틱 발생 요청 및/또는 발광 요청과 같은 상호 작용을 제공하여, 사용자에게 제2 장치(202)의 정확한 위치를 제공할 수 있다.
도 16은 다양한 실시 예에 따른 전자 장치에서 UWB와 센서 데이터를 이용하여 타겟 위치를 업데이트하는 흐름도를 나타낸다.
도 16을 참조하면, 동작 1601에서 제1 장치(201)는 제2 장치(202)로부터 UWB 신호를 수신할 수 있다. 일 실시 예에서, 제1 장치(201)는 제2 장치(202)로 UWB 활성화 요청을 전송할 때 UWB 신호를 전송하는 간격을 제1 주기로 설정할 수 있고, 제1 주기가 도래하는 시점에 제2 장치(202)로부터 UWB 신호를 수신할 수 있다.
일 실시 예에 따르면, 동작 1603에서, 제1 장치(201)는 수신된 UWB 신호에 기반하여 타겟의 위치를 결정할 수 있다. 여기서 타겟이란, 앵커 생성 모듈(1232)에 의해 생성되는, 제2 장치(202)에 대응되는 앵커일 수 있다. 즉 앵커는 UWB 신호가 수신될 때마다 업데이트 될 수 있다. 다시 말해서, 앵커는 제1 주기 간격으로 업데이트 될 수 있다.
일 실시 예에 따르면, 동작 1605에서 제1 장치(201)는 하나 이상의 센서들(1130)을 이용하여 제1 장치(201)에 대한 상대적인 타겟의 위치를 업데이트 할 수 있다. 예를 들어, 동작 1603에서 앵커의 위치가 결정된 이후 앵커의 위치가 업데이트 되기 전에 제1 장치(201)가 이동하는 경우, 제1 장치(201)는 하나 이상의 센서들(1130)을 통해 획득되는 정보를 이용하여 제1 장치(201)와 앵커의 상대적인 위치를 업데이트 할 수 있다. 동작 1605는 제1 주기보다 짧은 제2 주기마다 수행될 수 있다. 예를 들어, 제1 주기는 100ms로 설정되고, 제2 주기는 10ms로 설정될 수 있다.
일 실시 예에 따르면, 동작 1607에서 제1 장치(201)는 제1 주기가 경과하였는지 판단할 수 있다. 아직 제1 주기가 경과하지 않았다면 제1 장치(201)는 하나 이상의 센서들(1130)을 통해 획득되는 정보를 기반으로 타겟 위치를 제2 주기 마다 업데이트할 수 있다. 도 16의 흐름도에 의해 업데이트되는 타겟의 위치가 도 13, 14, 15에서 설명된 증강 현실 인터페이스에 반영될 수 있다.
일 실시 예에서, 제1 주기가 경과하면 동작 1609에서 제1 장치(201)는 제2 장치(202)로부터 UWB 신호가 수신되는지 확인할 수 있다. 만약 정상적으로 UWB 신호가 수신되면 제1 장치(201)는 다시 동작 1603을 수행함으로써, 새로 수신된 UWB 신호에 기반하여 앵커를 업데이트 할 수 있다.
일 실시 예에서, 제1 주기가 도래하였음에도 새로운 UWB 신호가 수신되지 않을 수 있다. 예를 들어, 제1 장치(201)가 제2 장치(202)를 향해 이동하는 동안 UWB 신호에 해당하는 주파수 대역이 통과하기 어려운 공간을 지나가는 경우에 UWB 통신 장애가 발생할 수 있다. 이 경우, 제1 장치는 동작 1611에서 제1 주기와 제2 주기 중 적어도 하나를 변경할 수 있다. 예를 들어, 제1 장치(201)는 새로운 UWB 신호를 보다 빨리 수신할 수 있도록 제1 주기(예: 100ms)를 제1 주기보다 짧은 제3 주기(예: 20ms 또는 50ms)로 변경할 수 있다. 이 과정에서 제1 장치(201)는 기존에 수립된 근거리 통신 연결(예: Bluetooth 채널)을 통해 UWB 연결을 해제하고 제2 장치와 변경된 주기로 다시 UWB 연결을 수행하는 요청을 전송할 수 있다. 또한 제1 장치(201)는 마지막으로 수신된 UWB 신호를 기반으로 설정된 앵커를 기준으로 제1 장치(201)와 타겟의 상대적인 위치를 업데이트 하고 있으므로, 앵커의 위치는 시간이 경과함에 따라 신뢰도가 낮아지게 된다. 즉 앵커의 위치가 UWB 신호가 수신되는 경우에 비해 신뢰도가 낮으므로, 제1 장치(201)는 하나 이상의 센서들(1130)을 이용하여 상대적인 위치를 업데이트 하는 주기를, 제2 주기(예: 10ms)보다 긴 제4 주기(예: 20ms 또는 30ms)로 변경할 수 있다.
일 실시 예에 따르면, 제1 장치(201)는 제1 주기와 제2 주기 중 적어도 하나를 변경한 후 UWB 신호가 지정된 횟수 이상 수신되는 경우, UWB 신호 수신 주기를 제3 주기에서 제1 주기로 변경 및/또는 하나 이상의 센서들(1130)을 이용하여 상대적인 위치를 업데이트 하는 주기를 제4 주기에서 제2 주기로 변경할 수 있다.
도 17은 다양한 실시예에 따른, 도 16의 흐름도에 대한 구체적인 세부 동작들을 나타낸다.
일 실시 예에 따르면, 제1 장치(201)는 AR 코어 서비스(240), 적어도 하나 이상의 센서들(1130), UI 레이터(1210), 데이터 저장소(1231), 앵커 생성 모듈(1232) 및/또는 UWB 회로(1243)을 포함할 수 있다.
도 16을 참조하면, 동작 1701에서 UI 레이어(1210)를 통해 리스너를 등록(register listener)하는 동작이 수행될 수 있다. 일 실시 예에서 리스너를 등록하는 동작은, 제2 장치(202)로부터 수신되는 UWB 신호와 관련된 다양한 파라미터를 데이터 저장소(1231)에 등록하는 과정으로 이해될 수 있다. 예를 들어, UWB 통신의 시작에 대한 정보와 제2 장치(202)와 UWB 신호의 전송 주기(예: 제1 주기 - 100ms)가 데이터 저장소(1231)에 등록될 수 있다. 또한 리스너를 등록하는 동작은, UWB 신호를 보조하기 위해 센서 신호들을 수신하고 센서 신호에 기반하여 UI를 업데이트 하는 주기(예: 제2 주기 - 10ms)를 등록하는 과정을 포함할 수 있다.
일 실시 예에 따르면, 동작 1703에서 UWB 회로(1243)는 제2 장치(202)와 UWB 연결을 수립할 수 있다. UWB 연결에는 데이터 저장소(1231)에 등록된 파라미터들이 이용될 수 있다. 또한 UWB 회로(1243)는 UWB 파인더(232)로 이해될 수 있다.
일 실시 예에 따르면, 동작 1705에서 UWB 회로(1243)는 제1 주기 간격으로 UWB 신호를 수신할 수 있다. 수신된 UWB 데이터는 AR 코어 서비스(240)로 제공될 수 있다.
일 실시 예에 따르면, 동작 1707에서 AR 코어 서비스(240)는 앵커 생성 모듈(1232)로 UWB 데이터를 제공할 수 있다. AR 코어 서비스(240)는 UWB 회로(1243)로부터 획득된 UWB 데이터(예: UWB 범위 데이터)에 부가하여 증강 현실을 생성하는데 사용되는 로컬 좌표에 대한 정보, 월드 좌표에 대한 정보, 및/또는 로컬 및 월드 좌표 사이의 관계에 대한 정보를 앵커 생성 모듈(1232)에 제공할 수 있다.
일 실시 예에 따르면, 동작 1709에서 앵커 생성 모듈(1232)은 AR 코어 서비스(240)로부터 획득된 데이터에 기반하여 가상의 앵커를 생성할 수 있다. 예를 들어, 제1 장치(201)의 자세(pose)를 생성하고 표준 좌표 공간에서 앵커를 설정한 경우, 제1 장치(201)의 카메라(1131)를 기준으로 제1 방향 및 제1 거리에 앵커가 위치할 수 있다. 제1 장치(201)의 위치와 자세가 변경되더라도 표준 좌표 공간에서 카메라(1131)가 앵커를 향하게 배치되면, 카메라(1131)의 화각 내에 앵커가 표시될 수 있다. 따라서 하나 이상의 센서들(1130)을 이용하여 제1 장치(201)의 움직임, 및/또는 기울기를 검출하면 제1 장치(201)는 현재 카메라(1131)가 향하는 방향과 앵커 사이의 각도 및 거리를 확인할 수 있다.
일 실시 예에 따르면, 동작 1711에서 하나 이상의 센서들(1130)은 앵커 생성 모듈(1232)로 센서 데이터를 제공할 수 있다. 예를 들어, 카메라(1131)를 통해 획득되는 데이터, 가속도 센서(1132)를 통해 획득되는 제1 장치(201)의 움직임 정보, 자이로 센서(1133)를 통해 획득되는 제1 장치(201)의 기울기 정보, 및/또는 지자기 센서(1134)를 통해 획득되는 제1 장치(201)의 방향 정보 중 적어도 하나의 데이터가 앵커 생성 모듈(1232)로 제공될 수 있다. 하나 이상의 센서들(1130)은 지속적으로 또는 주기적으로 센서 데이터를 앵커 생성 모듈(1132)로 제공할 수 있다.
일 실시 예에 따르면, 동작 1713에서 앵커 생성 모듈(1132)은 생성된 가상의 앵커 좌표에 제1 장치(201)의 센서 데이터를 반영하여 증강 현실 인터페이스를 제2 주기로 업데이트 할 수 있다. 예를 들어, 앵커 생성 모듈은 제1 장치(201)와 앵커와의 거리 및 방향 정보를 제2 주기(예: 10ms)마다 업데이트 해서 데이터 저장소(1231)로 제공할 수 있다.
일 실시 예에 따르면, 동작 1715에서 데이터 저장소(1231)는 다양한 알고리즘을 이용하여 데이터의 정규화, 평탄화, 및/또는 필터링을 수행할 수 있다. 예를 들어, 데이터 저장소(1231)는 칼만 필터를 이용하여 소정 범위를 벗어나는 데이터를 제거할 수 있다. 데이터 저장소(1231)는 데이터 저장소(1231)로 제공되는 모든 데이터에 대하여 상술한 동작을 수행할 수 있으며, 이하에서는 그 설명을 생략한다.
일 실시 예에 따르면, 동작 1717에서 데이터 저장소(1231)는 UI 레이어(1210)로 앵커와의 거리 및/또는 방향 정보를 제공할 수 있다. 제1 장치(201)의 사용자는 제1 장치(201)의 디스플레이(1140)를 통해 지정된 간격(예: 10ms) 단위로 업데이트 되는 증강 현실 인터페이스를 통해 제2 장치(202)의 위치를 제공받을 수 있다. 일 실시 예에 따르면, 지정된 간격은 증강 현실 인터페이스를 제공하는 디스플레이의 주사율에 기반하여 결정될 수 있다.
일 실시 예에서, 새로운 UWB 데이터가 수신되어야 할 시점에, UWB 신호가 정상적으로 수신되지 않을 수 있다. 예를 들어, 마지막으로 UWB 신호를 수신한 시점 이후로 제1 주기가 경과하였음에도 제2 장치(202)로부터 새로운 UWB 신호가 수신되지 않으면, 동작 1719에서 UWB 회로(1243)는 AR 코어 서비스(240)로 UWB 신호가 수신되지 않았음을 통지할 수 있다. 다른 실시 예에서, UWB 회로(1243)는 UWB 신호가 수신되지 않는 경우 아무런 데이터를 AR 코어 서비스(240)로 제공하지 않을 수 있고, AR 코어 서비스(240)는 제1 주가가 도래하였음에도 새로운 UWB 데이터가 제공되지 않는 경우, UWB 통신에 장애가 발생한 것으로 판단할 수 있다.
일 실시 예에 따르면, 동작 1721에서 AR 코어 서비스(240)는 UWB 신호의 수신 주기인 제1 주기와 하나 이상의 센서들(1130)의 데이터를 이용한 타겟 위치의 업데이트 주기인 제2 주기 중 하나 이상을 변경할 수 있다. 예를 들어, AR 코어 서비스(240)는 UWB 회로(1243)로 제1 주기를 제1 주기보다 짧은 제3 주기로 변경할 것을 요청할 수 있다. 일 실시 예에 따르면, UWB 회로(1243)는 AR 코어 서비스(240)로부터 수신된 주기 변경 요청에 기반하여, 제1 주기로 설정된 기존의 UWB 연결을 해제하고, 제3 주기로 UWB 신호를 전송할 것을 요청하는 새로운 UWB 연결을 설정할 수 있다. UWB 연결의 해제/재설정과 관련된 메시지들은 제1 통신 회로(1121)에 의해 형성된 근거리 통신 연결을 통해 교환될 수 있다. 다른 예를 들어, AR 코어 서비스(240)는 앵커 생성 모듈(1232)로 제2 주기를 제2 주기보다 긴 제4 주기로 변경할 것을 요청할 수 있다.
동작 1722에서, 앵커 생성 모듈(1232)은 AR 코어 서비스(240)로부터 수신한 주기 변경 요청을 하나 이상의 센서들(1130)로 요청할 수 있다. 다만 일 실시 예에서, 하나 이상의 센서들(1130)로부터 획득되는 센서 데이터의 주기는 유지하되 앵커 생성 모듈(1232)이 업데이트하는 주기만 증가시킬 수 있다. 앵커 생성 모듈(1232)이 업데이트하는 주기만 증가시키는 경우 앵커 생성 모듈(1232)이 하나 이상의 센서들(1130)로 전송하는 요청 과정은 생략될 수 있다.
일 실시 예에 따르면, 동작 1723에서, 앵커 생성 모듈(1232)은 UWB 신호가 수신되지 않은 이후에도 센서 데이터를 획득할 수 있다. 이 경우, 앵커 생성 모듈(1232)은 마지막으로 수신된 UWB 신호를 기준으로 생성된 앵커의 좌표를 유지할 수 있다. 즉, 마지막으로 생성된 앵커를 기준으로 새로 획득된 센서 데이터를 반영할 수 있다.
일 실시 예에 따르면, 동작 1725에서, 앵커 생성 모듈(1232)은 마지막 앵커를 기준으로 거리 및 방향 정보를 데이터 저장소(1231)로 제공할 수 있다. 예를 들어, 앵커 생성 모듈(1232)은 제2 주기보다 긴 제4 주기로 제1 장치(201)에 대한 상대적인 앵커의 위치를 데이터 저장소(1231)로 제공할 수 있다.
일 실시 예에 따르면, 동작 1727에서 데이터 저장소(1231)는 UI 레이어(1210)로 변경된 주기에 기초하여 앵커와의 거리 및/또는 방향 정보를 제공할 수 있다. UI 레이어(1210)는 데이터 저장소(1231)로부터 수신된 앵커와의 거리 및 방향 정보에 기반하여 증강 현실 인터페이스를 업데이트 할 수 있다.
도 18은 다양한 실시 예에 따른 분실 장치와 연결을 수립하는 흐름도를 나타낸다.
도 18을 참고하면, 제2 장치(202)를 분실한 제1 장치(201)의 사용자가 제2 장치(202)의 분실과 관련된 설정을 적용한 경우에, 다른 사용자의 전자 장치(400)가 제2 장치(202)를 발견하고 제2 장치(202)와 통신 연결을 수행하는 실시 예가 설명된다. 도 1 내지 도 17을 참조하여 설명한 내용 중 도 18 내지 도 21과 배치되지 않은 내용은 도 18 내지 도 21의 설명에도 동일하게 적용될 수 있다.
일 실시 예에 따르면, 동작 1801에서 제1 장치(201)는 도움 요청을 활성화할 수 있다. 예를 들어, 제2 장치(202)의 분실을 인지한 제1 장치(201)의 사용자는, 제2 장치(202)의 발견에 도움이 되는 정보를 등록할 수 있다. 추가적으로 또는 대체적으로 제1 장치(201)의 사용자는 제2 장치(202)의 발견을 위해 다른 사용자들의 도움을 적극적으로 요청할 수 있다. 정보의 등록 및 도움의 요청과 관련된 예시적인 UI가 도 19를 참조하여 설명된다.
일 실시 예에서, 제1 장치(201)의 UI를 통해 도움 요청이 활성화되면, 제1 장치(201)는 도움 요청이 활성화되었음을 나타내는 정보를 서버(300)로 전송할 수 있다. 서버(300)는 제1 장치(201)로부터 분실된 장치, 즉 제2 장치(202)에 대한 도움 요청이 활성화되었음을 나타내는 정보를 수신할 수 있다. 또한, 상기 정보는 분실 메시지에 대한 정보를 포함할 수 있다. 분실 메시지는, 예를 들어 분실 장치를 찾았을 때 연락을 희망하는 연락처(예: 제1 장치(201)의 사용자의 연락처), 분실 시 사례에 대한 정보 등을 포함할 수 있다.
일 실시 예에서, 도움 요청은 제2 장치(202)의 분실 전에 이루어질 수도 있고, 분실 후에 이루어질 수도 있다. 도움 요청이 제2 장치(202)의 분실 전에 이루어진 경우, 제1 장치(201)는 근거리 통신(예: BT)을 지원하는 제1 무선 통신 회로(1121)를 이용하여 제2 장치(202)로 분실 메시지를 제공할 수 있다. 제2 장치(202)는 획득한 분실 메시지를 메모리(1020)에 저장하고 있다가, 전자 장치(400)과의 연결이 수립된 후에 전자 장치(400)에 분실 메시지를 제공할 수 있다.
일 실시 예에서, 도움 요청이 제2 장치(202)의 분실 후에 이루어진 경우, 분실 메시지는 서버(300)에 의해 전자 장치(400)로 제공될 수 있다.
일 실시 예에 따르면, 동작 1810에서 전자 장치(400)는 분실 장치 찾기를 허용할 수 있다. 동작 1810은 도 8의 동작 811에 대응될 수 있다. 예를 들어, 전자 장치(400)는 적절한 세팅 화면을 통해 분실 장치를 탐색하는 기능을 활성화할 수 있다. 이와 관련된 예시적인 UI가 도 20을 통해 설명된다.
일 실시 예에서, 전자 장치(400)의 분실 장치 찾기 기능은 기본적으로 활성화 상태일 수 있다. 이 경우, 전자 장치(400)의 사용자는 전력 소모를 절감하기 위해 분실 장치 찾기 기능을 비활성화시킬 수 있다. 다른 실시 예에서, 전자 장치(400)의 분실 장치 찾기 기능은 전자 장치(400)의 배터리가 지정된 수준(50%) 이상인 경우에 자동으로 활성화될 수 있다. 또 다른 실시 예에서, 전자 장치(400)의 분실 장치 찾기 기능은 기본적으로 비활성화 상태일 수 있다. 적절한 세팅 화면에 대한 사용자 입력을 통해 분실 장치 찾기 기능은 활성화될 수 있다.
일 실시 예에 따르면, 동작 1811에서 분실 상태에 있는 제2 장치(202)는 애드버타이징 패킷을 브로드캐스팅 할 수 있다. 동작 1811은 도 6의 동작 601, 도 8의 동작 801, 도 9의 동작 901에 대응될 수 있다.
일 실시 예에 따르면, 동작 1820에서 전자 장치(400)는 제2 장치(201)에 의해 브로드캐스팅 된 애드버타이징 패킷을 수신할 수 있다. 동작 1820은 도 6의 동작 611에 대응될 수 있다.
일 실시 예에 따르면, 동작 1830에서 전자 장치(400)는 제2 장치(202)의 식별 정보 및 전자 장치(400)의 위치 정보를 서버(300)로 전송할 수 있다. 예를 들어, 전자 장치(400)는 제2 장치(202)의 애드버타이징 패킷에 포함된 제2 장치(202)의 식별 정보(예: 개인 ID(1004))를 확인할 수 있다. 또한 전자 장치(400)는 위치 측정 회로를 이용하여 전자 장치(400)의 위치 정보를 확인할 수 있다. 전자 장치(400)는 상기 확인된 식별 정보 및 위치 정보를 서버(300)로 전송할 수 있다. 동작 1830은, 도 6의 동작 613 및 615에 대응될 수 있다.
일 실시 예에 따르면, 동작 1831에서 서버(300)는 제2 장치(202)의 식별 정보 및 위치 정보를 획득할 수 있다. 동작 1831은 도 6의 동작 621에 대응될 수 있다.
일 실시 예에 따르면, 동작 1833에서 서버(300)는 분실 메시지 및/또는 인증 키를 전자 장치(400)로 전송할 수 있다. 예를 들어, 서버(300)는 전자 장치(400)로부터 수신된 제2 장치(202)의 식별 정보에 대응하는 제1 장치(201)의 설정을 확인할 수 있다. 예를 들어, 서버(300)는 제1 장치(201)에서 분실 장치에 대한 도움 요청이 활성화되어 있는 것을 확인할 수 있다. 도움 요청이 활성화되어 있는 경우, 서버(300)는 전자 장치(400)로 분실 메시지와 일회용 세션 키(onetime session key)와 같은 인증 키를 전송할 수 있다. 인증 키는 전자 장치(400)와 제2 장치(202)가 무선 통신 연결(예: BLE GATT 연결) 시 별도의 암호화/복호화 없이 신뢰할 수 있는 장치임을 인증하기 위해 사용될 수 있다.
일 실시 예에서, 도움 요청이 활성화되지 않은 경우, 서버(300)는 도 18의 동작 1833 내지 1850을 수행하는 대신 도 6의 동작 623을 수행할 수 있다.
일 실시 예에서, 제2 장치(202)의 개인 ID(1004)는 보안을 위해 일정 주기로 변경될 수 있다. 예를 들어, 제2 장치(202)는 애드버타이징 패킷에 포함되는 개인 ID(1004)를 소정 알고리즘에 따라 15분 간격으로 변경할 수 있다. 상기 알고리즘은 제1 장치(201) 및/또는 서버(300)에서도 동일하게 구현될 수 있다. 예를 들어, 서버(300)는 제2 장치(202)의 식별 정보가 제1 개인 키로 유지되는 제1 시간 구간(예: 15분)에는 상기 제1 개인 키에 해당하는 일회용 세션 키를 생성할 수 있고, 이 일회용 세션 키는 상기 제1 시간 구간에만 제2 장치(202)와의 통신에 있어서 유효할 수 있다. 예를 들어, 전자 장치(400)가 상기 일회용 세션 키를 수신한 후 소정 시간이 경과한 후(예: 제2 장치(202)의 개인 ID(1004)가 제2 개인 키로 변경된 후), 상기 제1 개인 키에 해당하는 상기 일회용 세션 키로 상기 제2 장치(202)와 통신 연결을 시도한다면, 제2 장치(202)에 의해 통신 연결이 거부될 수 있다.
일 실시 예에 따르면, 동작 1840에서 전자 장치(400)는 서버(300)로부터 분실 메시지 및/또는 인증 키를 수신할 수 있다. 동작 1841에서 전자 장치(400)는 전자 장치(400)의 디스플레이에 분실 장치에 대한 알림을 출력할 수 있다. 예를 들어, 전자 장치(400)는 주변에 분실 장치가 있다는 알림을 팝업, 노티(notification), 소리, 진동 등을 이용하여 디스플레이에 표시할 수 있다.
일 실시 예에 따르면, 동작 1843에서 전자 장치(400)는 인증 키를 이용하여 제2 장치(202)와 연결을 시도할 수 있다. 전자 장치(400)는 근거리 통신 네트워크를 지원하는 제1 무선 통신 회로와, 원거리 통신 네트워크(예: 셀룰러, Wi-Fi)를 지원하는 제2 무선 통신 회로를 포함할 수 있다. 전자 장치(400)는 서버(300)와의 통신에 있어서는 제2 무선 통신 회로를 이용하고, 제2 장치(202)와의 통신에 있어서는 제1 무선 통신 회로를 이용할 수 있다.
일 실시 예에 따르면, 동작 1845에서 제2 장치(202)는 전자 장치(400)로부터 수신된 인증 키에 기반하여 전자 장치(400)와의 연결을 허용할 수 있다. 예를 들어, 제2 장치(202)는 인증 키에 기반하여 전자 장치와 BLE GATT(generic attribute) 연결을 허용할 수 있다. 그러나 제2 장치(202)와 전자 장치(400) 사이의 연결은 근거리 통신을 이용한 다양한 연결이 가능하며, GATT 연결로 제한되지 않는다.
일 실시 예에 따르면, 동작 1850에서 전자 장치(400)는 제2 장치(202)와 통신 연결을 수립할 수 있다. 전자 장치(400)는 이 통신 연결을 이용하여 제2 장치(202)의 일부 기능을 제어하거나, 제2 장치(202)로부터 분실 메시지를 획득할 수 있다.
이하에서는 도 19, 20 및 21을 참고하여, 도 18의 동작들을 수행하는 제1 장치(201) 및 전자 장치(400)의 예시적인 UI를 설명한다.
도 19는 다양한 실시 예에 따른 제1 장치에서 분실 장치를 찾기 위한 도움 요청(help request)을 활성화하고 분실 메시지를 등록하는 예시적인 UI들을 나타낸다.
도 19를 참고하면, 도움 요청과 관련된 설정을 하기 위해 제1 장치(201)의 디스플레이에는 제1 화면(1910)과 같은 인터페이스가 제공될 수 있다. 제2 장치(202)는, 예를 들어 "Galaxy Tag"와 같은 이름으로 제1 장치(201)에 미리 등록되어 있을 수 있다.
일 실시 예에서, 제1 화면(1910)은 분실 장치가 발견되었을 때 알림을 제공하도록 하는 제1 설정 항목(1911) 및 소유자가 메시지/설정을 등록하기 위한 제2 설정 항목(1913)을 포함할 수 있다. 제2 설정 항목(1913)의 선택에 응답하여 전자 장치(400)는 제2 화면(1920)을 디스플레이 할 수 있다.
일 실시 예에서, 제2 화면(1920)은 플리킹이나 드래그, 스크롤과 같은 터치 입력을 통해 설정 화면을 전환할 수 있음을 나타내는 영역(1921)을 포함할 수 있다. 제2 화면(1920)에서 제3 화면(1930)으로 전환되는 경우, 영역(1921) 내의 인디케이터가 현재 페이지를 나타낼 수 있다.
일 실시 예에서, 제1 장치(201)는 "다른 사용자들에게 도움 요청(Request help to others) " 항목(1923)에 대한 선택에 응답하여, 비활성화 상태인 도움 요청 기능을 활성화 상태로 전환할 수 있다. 만약 도움 요청 기능이 활성화 상태인 경우, 상기 선택에 응답하여 도움 요청 기능은 비활성화 상태로 전환될 수 있다.
일 실시 예에서, 도움 요청 기능이 비활성화 상태에서 활성화 상태로 전환되는 경우 적절한 경고 메시지(1925)가 제공될 수 있다. 경고 메시지(1925)는 제2 화면(1920)에 중첩되어 팝업 형태로 제공될 수도 있고, 항목(1923)을 대체하는 형태로 제공될 수도 있다. 도움 요청 기능이 활성화되는 경우, 사용자의 연락처에 관한 정보가 제공될 수 있다는 점, 제2 장치(202)의 일부 기능(예: ring)이 다른 장치에 의해 제어될 수 있다는 점, 및/또는 보상을 약속한 경우 법적 구속력이 있을 수 있다는 점에 관한 경고가 출력될 수 있다. 경고 메시지(1925)에 대해 승인(예: Turn On 선택)한 경우, 항목(1923)의 토글(toggle) 스위치가 활성화될 수 있다.
다른 실시 예에서, 경고 메시지(1925)는 생략될 수 있다. 이 경우, 항목(1923)을 선택하는 것에 응답하여 분실 장치 찾기 기능은 바로 활성화될 수 있다. 예를 들어, 제2 화면(1920)에서 항목(1923)은 항목(1927)로 대체될 수 있다.
일 실시 예에서, 제1 장치(201)는 분실 메시지 항목(1931)에 대한 선택에 응답하여 분실 메시지 입력을 위한 제4 화면(1940)을 디스플레이 할 수 있다. 예를 들어, 사용자는 키 패드 영역(1943) 또는 적절한 입력 수단을 이용하여 분실 메시지(1941)를 작성 및 저장할 수 있다.
도 20은 다양한 실시 예에 따른 전자 장치에서 분실 장치 찾기 기능을 활성화하는 예시적인 UI들을 나타낸다.
일 실시 예에서, 제1 화면(2010)은 분실 장치 찾기 기능을 활성화하는 항목(2011)을 포함할 수 있다. 분실 장치 찾기 기능을 활성화하는 항목(2011)에 대한 선택에 응답하여, 전자 장치(400)는 제2 화면(2020)을 디스플레이 할 수 있다. 분실 장치 찾기 기능이 활성화되면, 전자 장치(400)는 도 18의 근거리 통신을 위한 제1 무선 통신 회로를 활성화하고 주변 장치에 의해 브로드캐스팅되는 애드버타이징 패킷을 스캐닝할 수 있다.
일 실시 예에서 제2 화면(2020)은 분실 장치 찾기 기능이 활성화되었음을 나타내는 설명을 포함할 수 있다. 사용자는 제2 화면의 OFF 버튼(2021)을 선택함으로써 분실 장치 찾기 기능을 비활성화 상태로 전환할 수 있다.
도 21은 다양한 실시 예에 따른 전자 장치에서 분실 장치와 연결을 수행하는 예시적인 UI들을 나타낸다.
도 18 및 도 20을 참고하여 설명한 것과 같이, 전자 장치(400)는 분실 장치 찾기 기능을 활성화할 수 있다. 분실 장치 찾기 기능이 활성화되면, 전자 장치(400)는 주변에 존재하는 제2 장치(202)와 같은 분실 장치로부터 애드버타이징 패킷을 수신함으로써, 주위에 분실 장치가 있음을 인지할 수 있다.
일 실시 예에서, 제2 장치(202)에 대해 도움 요청이 활성화되어 있는 경우, 전자 장치(404)는 서버(300)로부터 분실 메시지/인증 키를 포함하는 정보를 수신할 수 있다. 상기 정보의 수신에 응답하여 전자 장치(400)는 디스플레이에 분실 장치에 대한 알림을 출력할 수 있다. 예를 들어, 전자 장치(400)는 도 18의 동작 1841을 수행할 수 있다.
일 실시 예에서, 전자 장치(400)는 동작 1841의 수행 시 제1 UI(2110)를 디스플레이에 출력할 수 있다. 예를 들어, 전자 장치(400)는 주변에 분실 장치가 있으며, 검색(search)을 수행할 것인지를 확인하는 메시지(2111)를 포함하는 제1 UI(2110)를 디스플레이 할 수 있다. 도 21의 메시지는 예시적이고 적절히 변경될 수 있다. 예를 들어, 제2 장치(202)와 연결(connection)을 수행할 것인지 확인하는 메시지가 출력될 수 있다. 또한, 메시지는 팝업, 소리, 진동, 알림 또는 이들 중 둘 이상의 조합으로 출력될 수 있다.
일 실시 예에서, 메시지에 대한 사용자 입력에 응답하여 전자 장치(400)는 제2 장치(202)와 연결을 시도할 수 있다. 예를 들어, 전자 장치(400)는 서버(300)로부터 수신된 인증 키(예: 일회용 세션 키)를 이용하여 제2 장치(202)와 BLE GATT 연결을 시도할 수 있다. 전자 장치(400)이 연결을 시도하는 동안 연결 시도 중임을 나타내는 제2 UI(2120)가 디스플레이 될 수 있다.
일 실시 예에서, 인증 키를 이용한 제2 장치(202)와의 연결이 수립되면 전자 장치(400)는 제2 장치(202)와 연결이 수립되었음을 나타내는 제3 UI(2130)를 디스플레이 할 수 있다. 제3 UI(2130)는 연결된 장치의 식별 정보(예: Galaxy Tag)를 포함할 수 있다.
일 실시 예에서, 제3 UI(2130)에 대한 사용자 입력에 응답하여 제4 UI(2140)이 디스플레이 될 수 있다. 다른 예시에서, 제3 UI(2130)가 표시된 이후 지정된 시간의 경과 후에 자동적으로 제4 UI(2140)가 디스플레이 될 수 있다. 또 다른 실시 예에서, 제3 UI(2130)의 표시가 생략되고 바로 제4 UI(2140)가 디스플레이 될 수 있다.
일 실시 예에서, 제4 UI(2140)는 제1 장치(201)에 의해 등록된 분실 메시지(2141)를 포함할 수 있다. 또한 제4 UI(2140)는 제2 장치(202)의 링을 울리기 위한 아이콘(2143)을 포함할 수 있다. 예를 들어, 아이콘(2143)의 선택에 응답하여, 전자 장치(400)는 BLE GATT 연결을 통해 제2 장치(202)로 링을 울리기 위한 제어 신호를 전송할 수 있다. 제2 장치(202)는 제어 신호의 수신에 응답하여 제2 장치(202)의 스피커를 제어함으로써 링 소리를 출력할 수 있다. 상술한 제어를 통해 전자 장치(400)는 제2 장치(202)를 보가 효과적으로 발견할 수 있다.
위의 예시에서 전자 장치(400)가 아이콘(2143)을 통해 제2 장치(202)의 링 소리를 제어하는 것을 설명하였으나, 전자 장치(400)는 적절한 아이콘, 메뉴, 버튼 등을 통해 제2 장치(202)의 하나 이상의 기능을 제어할 수 있다. 예를 들어, 전자 장치(400)는 제2 장치(202)에서 진동을 발생시키거나, 제2 장치(202)가 UWB 신호를 송출하도록 제어할 수 있다. 전자 장치(400)는 제2 장치(202)에서 수신된 UWB 신호를 이용하여 제2 장치(202)의 위치를 효과적으로 확인할 수 있다. 이와 관련하여, 전자 장치(400)는 도 13 내지 17을 이용하여 제1 장치(201)가 수행할 수 있는 것으로 설명된 기능의 적어도 일부를 수행할 수 있다.
일 실시 예에 따른 전자 장치(예: 전자 장치(101), 제1 장치(201))는, 카메라(예: 카메라 모듈(180), 카메라(1131)), 디스플레이(예: 디스플레이 모듈(160), 디스플레이(1140)), 위치 측정 회로, UWB(ultra-wide band) 안테나, 상기 UWB 안테나와 연결된 UWB 통신 회로, 근거리 통신을 지원하는 제1 무선 통신 회로, 셀룰러 통신을 지원하는 제2 무선 통신 회로, 및 적어도 하나의 프로세서(예: 프로세서(120), 프로세서(1110))를 포함할 수 있다. 상기 적어도 하나의 프로세서는 상기 제2 무선 통신 회로를 이용하여 서버(예: 서버(300))로부터 상기 전자 장치에 등록되어 있으나 상기 전자 장치와 현재 연결되어 있지 않은 외부 장치(예: 제2 장치(201))에 대한 정보를 획득하고, 상기 서버로부터 획득된 정보 및 상기 위치 측정 회로에 의해 측정된 상기 전자 장치의 위치에 기반하여 상기 전자 장치가 상기 외부 장치에 대한 정보에 포함된 상기 외부 장치의 좌표로부터 지정된 거리 이내에 있는지 여부를 판단하고, 상기 판단에 응답하여 상기 제1 무선 통신 회로를 통해 상기 외부 장치와 근거리 통신 연결을 수립하고, 상기 수립된 근거리 통신 연결을 통해 상기 외부 장치로 상기 외부 장치의 UWB 기능을 활성화하는 요청을 전송하고, 상기 외부 장치로부터 수신되는 UWB 신호에 기반하여 상기 전자 장치에 대한 상기 외부 장치의 위치를 식별하고, 상기 카메라를 이용하여 획득되는 이미지 데이터 및 상기 외부 장치의 상기 식별된 위치에 기반하여 증강 현실 인터페이스를 상기 디스플레이에 출력할 수 있다.
일 실시 예에서, 상기 증강 현실 인터페이스는 상기 전자 장치의 현재 위치로부터 상기 외부 장치의 상기 식별된 위치까지의 거리를 나타내는 제1 객체를 포함할 수 있다. 또한 상기 증강 현실 인터페이스는 상기 외부 장치의 상기 식별된 위치를 지시하는(pointing) 제2 객체를 포함할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는, 상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 있지 않은 경우, 상기 디스플레이에 상기 외부 장치의 좌표를 향해 이동하도록 하는 가이드를 제공할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는, 상기 UWB 기능을 활성화하는 요청에 응답하여 상기 외부 장치로부터 상기 UWB 기능의 활성화가 가능하지 않다는 것을 지시하는 응답을 수신하면, 상기 제1 무선 통신 회로를 이용하여 상기 외부 장치까지의 거리를 감지할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는, 상기 서버로부터 획득한 상기 외부 장치에 대한 정보에 기초하여 상기 UWB 기능의 사용 여부를 결정할 수 있다.
일 실시 예에서, 상기 서버로부터 획득한 상기 정보는, 상기 외부 장치가 UWB 통신을 지원하는지 여부 또는 상기 외부 장치의 배터리를 나타내는 정보를 포함할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는 상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 있지 않은 경우 제1 UI를 상기 디스플레이에 출력하고, 상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 위치하고 외부 장치와 상기 근거리 통신 연결이 수립되는 것에 응답하여 상기 제1 UI를 상기 카메라를 이용하여 획득되는 상기 이미지 데이터를 포함하는 제2 UI로 전환할 수 있다.
일 실시 예에서, 상기 전자 장치는 하나 이상의 센서들(예: 하나 이상의 센서들(1130))을 더 포함하고, 상기 적어도 하나의 프로세서는 상기 UWB 통신 회로를 이용하여 제1 주기마다 상기 외부 장치로부터 상기 UWB 신호를 수신하고, 상기 UWB 신호에 기반하여 식별된 상기 외부 장치의 위치를 상기 하나 이상의 센서들을 통해 획득되는 센서 데이터에 기반하여 상기 제1 주기보다 짧은 제2 주기마다 업데이트할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는, 상기 제1 주기가 도래하였으나 상기 외부 장치로부터 상기 UWB 신호가 수신되지 않은 경우, 상기 제1 주기 및 상기 제2 주기 중 적어도 하나를 변경할 수 있다.
또한, 일 실시 예에 따른 방법은, 전자 장치(예: 전자 장치(101), 제1 장치(201))의 제2 무선 통신 회로를 이용하여 서버(예: 서버(300))로부터 상기 전자 장치에 등록되어 있으나 상기 전자 장치와 현재 연결되어 있지 않은 외부 장치(예: 제2 장치(201))에 대한 정보를 획득하는 동작, 상기 서버로부터 획득된 정보 및 상기 전자 장치의 위치 측정 회로에 의해 측정된 상기 전자 장치의 위치에 기반하여 상기 전자 장치가 상기 외부 장치에 대한 정보에 포함된 상기 외부 장치의 좌표로부터 지정된 거리 이내에 있는지 여부를 판단하는 동작, 상기 판단에 응답하여 상기 전자 장치의 제1 무선 통신 회로를 통해 상기 외부 장치와 근거리 통신 연결을 수립하는 동작, 상기 수립된 근거리 통신 연결을 통해 상기 외부 장치로 상기 외부 장치의 UWB 기능을 활성화하는 요청을 전송하는 동작, 상기 외부 장치로부터 수신되는 UWB 신호에 기반하여 상기 전자 장치에 대한 상기 외부 장치의 위치를 식별하는 동작, 및 상기 전자 장치의 카메라를 이용하여 획득되는 이미지 데이터 및 상기 외부 장치의 상기 식별된 위치에 기반하여 증강 현실 인터페이스를 상기 전자 장치의 디스플레이에 출력하는 동작을 포함할 수 있다.
일 실시 예에 따른 상기 방법은, 상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 있지 않은 경우, 상기 디스플레이에 상기 외부 장치의 좌표를 향해 이동하도록 하는 가이드를 제공하는 동작을 더 포함할 수 있다.
일 실시 예에 따른 상기 방법은, 상기 UWB 기능을 활성화하는 요청에 응답하여 상기 외부 장치로부터 상기 UWB 기능의 활성화가 가능하지 않다는 것을 지시하는 응답을 수신하면, 상기 제1 무선 통신 회로를 이용하여 상기 외부 장치까지의 거리를 감지하는 동작을 더 포함할 수 있다.
일 실시 예에 따른 상기 방법은, 상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 있지 않은 경우 제1 UI를 상기 디스플레이에 출력하는 동작, 및 상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 위치하고 외부 장치와 상기 근거리 통신 연결이 수립되는 것에 응답하여 상기 제1 UI를 상기 카메라를 이용하여 획득되는 상기 이미지 데이터를 포함하는 제2 UI로 전환하는 동작을 더 포함할 수 있다.
일 실시 예에 따른 상기 방법은, 상기 UWB 통신 회로를 이용하여 제1 주기마다 상기 외부 장치로부터 상기 UWB 신호를 수신하는 동작, 및 상기 UWB 신호에 기반하여 식별된 상기 외부 장치의 위치를 상기 전자 장치의 하나 이상의 센서들을 통해 획득되는 센서 데이터에 기반하여 상기 제1 주기보다 짧은 제2 주기마다 업데이트 하는 동작을 더 포함할 수 있다.
일 실시 예에 따른 전자 장치(예: 제2 장치(202))는, 무선 통신 회로(예: 통신 회로(1030)), UWB 통신 회로, 상기 UWB 통신 회로와 전기적으로 연결된 UWB 안테나, 및 상기 무선 통신 회로 및 상기 UWB 통신 회로와 전기적 또는 작동적으로 연결된 프로세서(예: 프로세서(1010))를 포함하고, 상기 프로세서는, 상기 무선 통신 회로를 이용하여 외부 장치와 근거리 통신 연결을 수립하고, 상기 근거리 통신 연결을 통해 UWB 활성화 요청을 수신하고, 상기 UWB 활성화 요청에 응답하여, 상기 UWB 통신 회로를 이용하여 지정된 주파수의 UWB 신호를 전송할 수 있다.
일 실시 예에서, 상기 프로세서는, 상기 무선 통신 회로를 이용하여 상기 UWB 통신 회로가 이용 가능한지 여부를 지시하는 정보를 포함하는 애드버타이징 패킷을 브로드캐스팅 할 수 있다.
일 실시 예에서, 상기 프로세서는, 상기 근거리 통신 연결을 통해, 상기 외부 장치(예: 제1 장치(201))로 상기 UWB 통신 회로가 이용 가능한지 여부를 지시하는 정보를 제공할 수 있다.
일 실시 예에서, 상기 프로세서는, 상기 전자 장치의 배터리 잔량이 기준 값 이하인 경우 상기 UWB 통신 회로가 이용 가능하지 않다는 정보를 상기 외부 장치로 제공할 수 있다.
일 실시 예에서, 상기 UWB 활성화 요청은 상기 UWB 통신 회로를 이용하여 상기 UWB 신호를 전송하는 주기에 대한 정보를 포함하고, 상기 프로세서는 상기 UWB 통신 회로를 이용하여 상기 주기마다 상기 UWB 신호를 전송할 수 있다.
일 실시 예에 따른 전자 장치는, 위치 측정 회로, 근거리 통신을 지원하는 제1 무선 통신 회로, 셀룰러 통신을 지원하는 제2 무선 통신 회로, 및 상기 위치 측정 회로, 제1 무선 통신 회로, 및 상기 제2 무선 통신 회로와 전기적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 제1 무선 통신 회로를 이용하여 상기 외부 장치로부터 애드버타이징 패킷을 획득하고, 상기 제2 무선 통신 회로를 이용하여, 상기 애드버타이징 패킷에서 획득된 상기 외부 장치의 식별 정보 및 상기 위치 측정 회로를 통해 획득된 상기 전자 장치의 위치 정보를 서버로 전송하고, 상기 서버로부터 상기 외부 장치와 연관된 인증 키를 획득하고, 상기 인증 키를 이용하여 상기 외부 장치와 통신 연결을 수립할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는 제2 무선 통신 회로를 이용하여 상기 서버로부터 상기 인증 키와 함께 분실 메시지를 더 획득할 수 있다.
일 실시 예에서, 상기 전자 장치는 디스플레이를 더 포함하고, 상기 적어도 하나의 프로세서는 상기 디스플레이에 상기 분실 메시지를 출력할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는 상기 통신 연결을 통해 상기 외부 장치의 적어도 하나의 기능을 제어하기 위한 제어 신호를 전송할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서는 상기 제1 무선 통신 회로를 이용하여 상기 외부 장치와 BLE GATT(Bluetooth low energy generic attribute) 연결을 수립할 수 있다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C," "A, B 및 C 중 적어도 하나", 및 " A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어, 펌웨어 또는 그 조합으로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, "비일시적"은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    카메라;
    디스플레이;
    위치 측정 회로;
    UWB(ultra-wide band) 안테나;
    상기 UWB 안테나와 연결된 UWB 통신 회로;
    근거리 통신을 지원하는 제1 무선 통신 회로;
    셀룰러 통신을 지원하는 제2 무선 통신 회로; 및
    상기 카메라, 상기 디스플레이, 상기 UWB 통신 회로, 상기 위치 측정 회로, 상기 제1 무선 통신 회로 및 상기 제2 무선 통신 회로와 전기적 또는 작동적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는:
    상기 제2 무선 통신 회로를 이용하여, 서버로부터 상기 전자 장치에 등록되어 있으나 상기 전자 장치와 현재 연결되어 있지 않은 외부 장치에 대한 정보를 획득하고, 상기 외부 장치에 대한 정보는 상기 외부 장치의 좌표에 대한 정보를 포함함;
    상기 서버로부터 획득된 정보 및 상기 위치 측정 회로에 의해 측정된 상기 전자 장치의 위치에 기반하여, 상기 전자 장치가 상기 외부 장치의 좌표로부터 지정된 거리 이내에 있는지 여부를 판단하고,
    상기 판단에 응답하여 상기 제1 무선 통신 회로를 통해 상기 외부 장치와 근거리 통신 연결을 수립하고,
    상기 수립된 근거리 통신 연결을 통해 상기 외부 장치로 상기 외부 장치의 UWB 기능을 활성화하는 요청을 전송하고,
    상기 외부 장치로부터 수신되는 UWB 신호에 기반하여 상기 전자 장치에 대한 상기 외부 장치의 위치를 식별하고,
    상기 카메라를 이용하여 획득되는 이미지 데이터 및 상기 외부 장치의 상기 식별된 위치에 기반하여 증강 현실 인터페이스를 상기 디스플레이에 출력하는, 전자 장치.
  2. 청구항 1에 있어서,
    상기 증강 현실 인터페이스는 상기 전자 장치의 현재 위치로부터 상기 외부 장치의 상기 식별된 위치까지의 거리를 나타내는 제1 객체 또는 상기 외부 장치의 상기 식별된 위치를 지시하는(pointing) 제2 객체를 포함하는, 전자 장치.
  3. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는, 상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 있지 않은 경우, 상기 디스플레이에 상기 외부 장치의 좌표를 향해 이동하도록 하는 가이드를 제공하는, 전자 장치.
  4. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는, 상기 UWB 기능을 활성화하는 요청에 응답하여 상기 외부 장치로부터 상기 UWB 기능의 활성화가 가능하지 않다는 것을 지시하는 응답을 수신하면, 상기 제1 무선 통신 회로를 이용하여 상기 외부 장치까지의 거리를 감지하는, 전자 장치.
  5. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는, 상기 서버로부터 획득한 상기 외부 장치에 대한 정보에 기초하여 상기 UWB 기능의 사용 여부를 결정하며,
    상기 서버로부터 획득한 상기 정보는, 상기 외부 장치가 UWB 통신을 지원하는지 여부 또는 상기 외부 장치의 배터리를 나타내는 정보를 포함하는, 전자 장치.
  6. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는:
    상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 있지 않은 경우 제1 UI를 상기 디스플레이에 출력하고,
    상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 위치하고 외부 장치와 상기 근거리 통신 연결이 수립되는 것에 응답하여 상기 제1 UI를 상기 카메라를 이용하여 획득되는 상기 이미지 데이터를 포함하는 제2 UI로 전환하는, 전자 장치.
  7. 청구항 1에 있어서,
    하나 이상의 센서들을 더 포함하고,
    상기 적어도 하나의 프로세서는:
    상기 UWB 통신 회로를 이용하여 제1 주기마다 상기 외부 장치로부터 상기 UWB 신호를 수신하고,
    상기 UWB 신호에 기반하여 식별된 상기 외부 장치의 위치를 상기 하나 이상의 센서들을 통해 획득되는 센서 데이터에 기반하여 상기 제1 주기보다 짧은 제2 주기마다 업데이트 하고,
    상기 제1 주기가 경과하였으나 상기 외부 장치로부터 상기 UWB 신호가 수신되지 않으면, 상기 제1 주기 및 상기 제2 주기 중 적어도 하나를 변경하는, 전자 장치.
  8. 전자 장치의 동작 방법에 있어서,
    상기 전자 장치의 제2 무선 통신 회로를 이용하여, 서버로부터 상기 전자 장치에 등록되어 있으나 상기 전자 장치와 현재 연결되어 있지 않은 외부 장치에 대한 정보를 획득하는 동작, 상기 외부 장치에 대한 정보는 상기 외부 장치의 좌표에 대한 정보를 포함함;
    상기 서버로부터 획득된 정보 및 상기 전자 장치의 위치 측정 회로에 의해 측정된 상기 전자 장치의 위치에 기반하여, 상기 전자 장치가 상기 외부 장치의 좌표로부터 지정된 거리 이내에 있는지 여부를 판단하는 동작;
    상기 판단에 응답하여 상기 전자 장치의 제1 무선 통신 회로를 통해 상기 외부 장치와 근거리 통신 연결을 수립하는 동작;
    상기 수립된 근거리 통신 연결을 통해 상기 외부 장치로 상기 외부 장치의 UWB(ultra-wide band) 기능을 활성화하는 요청을 전송하는 동작;
    상기 외부 장치로부터 수신되는 UWB 신호에 기반하여 상기 전자 장치에 대한 상기 외부 장치의 위치를 식별하는 동작; 및
    상기 전자 장치의 카메라를 이용하여 획득되는 이미지 데이터 및 상기 외부 장치의 상기 식별된 위치에 기반하여 증강 현실 인터페이스를 상기 전자 장치의 디스플레이에 출력하는 동작을 포함하는, 방법.
  9. 청구항 8에 있어서,
    상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 있지 않은 경우, 상기 디스플레이에 상기 외부 장치의 좌표를 향해 이동하도록 하는 가이드를 제공하는 동작을 더 포함하는, 방법.
  10. 청구항 8에 있어서,
    상기 UWB 기능을 활성화하는 요청에 응답하여 상기 외부 장치로부터 상기 UWB 기능의 활성화가 가능하지 않다는 것을 지시하는 응답을 수신하면, 상기 제1 무선 통신 회로를 이용하여 상기 외부 장치까지의 거리를 감지하는 동작을 더 포함하는, 방법.
  11. 청구항 8에 있어서,
    상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 있지 않은 경우 제1 UI를 상기 디스플레이에 출력하는 동작, 및,
    상기 전자 장치가 상기 외부 장치의 좌표로부터 상기 지정된 거리 이내에 위치하고 외부 장치와 상기 근거리 통신 연결이 수립되는 것에 응답하여 상기 제1 UI를 상기 카메라를 이용하여 획득되는 상기 이미지 데이터를 포함하는 제2 UI로 전환하는 동작을 더 포함하는, 방법.
  12. 청구항 8에 있어서,
    UWB 통신 회로를 이용하여 제1 주기마다 상기 외부 장치로부터 상기 UWB 신호를 수신하는 동작, 및
    상기 UWB 신호에 기반하여 식별된 상기 외부 장치의 위치를 상기 전자 장치의 하나 이상의 센서들을 통해 획득되는 센서 데이터에 기반하여 상기 제1 주기보다 짧은 제2 주기마다 업데이트 하는 동작을 더 포함하는, 방법.
  13. 전자 장치에 있어서,
    무선 통신 회로,
    UWB 통신 회로,
    상기 UWB 통신 회로와 전기적으로 연결된 UWB 안테나, 및
    상기 무선 통신 회로 및 상기 UWB 통신 회로와 전기적 또는 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는:
    상기 무선 통신 회로를 이용하여 외부 장치와 근거리 통신 연결을 수립하고,
    상기 근거리 통신 연결을 통해 UWB 활성화 요청을 수신하고,
    상기 UWB 활성화 요청에 응답하여, 상기 UWB 통신 회로를 이용하여 지정된 주파수의 UWB 신호를 전송하는, 전자 장치.
  14. 청구항 13에 있어서,
    상기 프로세서는,
    상기 무선 통신 회로를 이용하여 상기 UWB 통신 회로가 이용 가능한지 여부를 지시하는 정보를 포함하는 애드버타이징 패킷을 브로드캐스팅 하고,
    상기 근거리 통신 연결을 통해, 상기 UWB 통신 회로가 이용 가능한지 여부를 지시하는 정보를 상기 외부 장치로 제공하고, 상기 전자 장치의 배터리 잔량이 기준 값 이하이면, 상기 UWB 통신 회로가 이용 가능하지 않다는 정보를 상기 외부 장치로 전송하는, 전자 장치.
  15. 청구항 13에 있어서,
    상기 UWB 활성화 요청은 상기 UWB 통신 회로를 이용하여 상기 UWB 신호를 전송하는 주기에 대한 정보를 포함하고,
    상기 프로세서는 상기 UWB 통신 회로를 이용하여 상기 주기마다 상기 UWB 신호를 전송하는, 전자 장치.
PCT/KR2021/010249 2020-08-04 2021-08-04 Uwb와 ar를 이용한 분실기기 찾는 방법 및 그 장치 WO2022031019A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180056720.8A CN116097667A (zh) 2020-08-04 2021-08-04 通过使用uwb和ar来搜索丢失装置的方法及其设备
EP21852515.2A EP4184955A4 (en) 2020-08-04 2021-08-04 PROCEDURE TO SEARCH FOR LOST DEVICES USING UWB AND AR AND DEVICE THEREOF
US17/895,628 US20220407666A1 (en) 2020-08-04 2022-08-25 Method and apparatus for finding lost device using uwb and ar apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20200097683 2020-08-04
KR10-2020-0097683 2020-08-04
KR10-2021-0004178 2021-01-12
KR1020210004178A KR20220017344A (ko) 2020-08-04 2021-01-12 Uwb와 ar를 이용한 분실기기 찾는 방법 및 그 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/895,628 Continuation US20220407666A1 (en) 2020-08-04 2022-08-25 Method and apparatus for finding lost device using uwb and ar apparatus

Publications (1)

Publication Number Publication Date
WO2022031019A1 true WO2022031019A1 (ko) 2022-02-10

Family

ID=80117567

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/010249 WO2022031019A1 (ko) 2020-08-04 2021-08-04 Uwb와 ar를 이용한 분실기기 찾는 방법 및 그 장치

Country Status (4)

Country Link
US (1) US20220407666A1 (ko)
EP (1) EP4184955A4 (ko)
CN (1) CN116097667A (ko)
WO (1) WO2022031019A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220095123A1 (en) * 2020-09-24 2022-03-24 Apple Inc. Connection assessment system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101343635B1 (ko) * 2013-05-28 2013-12-20 이한표 분실 방지 서비스 제공 방법
KR20160112233A (ko) * 2015-03-18 2016-09-28 주식회사 코너스톤스마트 광대역밴드를 이용한 피탐색 단말기 탐색 시스템 및 방법
KR102035388B1 (ko) * 2017-09-20 2019-10-22 (주)다스콘 실시간 위치 측위 시스템 및 이를 이용한 콘텐츠 제공 서비스 시스템
KR20200028827A (ko) * 2018-09-07 2020-03-17 삼성전자주식회사 Uwb 트랜잭션을 위한 방법 및 전자 장치
US20200107164A1 (en) * 2018-09-28 2020-04-02 Apple Inc. System and method for locating wireless accessories

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9571985B2 (en) * 2015-04-09 2017-02-14 Datalogic Ip Tech S.R.L. High accuracy indoor locating system
EP3910460B1 (en) * 2018-09-28 2023-07-19 Apple Inc. Suggestion of recipients based on proximity
US10901081B2 (en) * 2018-10-02 2021-01-26 International Business Machines Corporation Virtual reality safety

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101343635B1 (ko) * 2013-05-28 2013-12-20 이한표 분실 방지 서비스 제공 방법
KR20160112233A (ko) * 2015-03-18 2016-09-28 주식회사 코너스톤스마트 광대역밴드를 이용한 피탐색 단말기 탐색 시스템 및 방법
KR102035388B1 (ko) * 2017-09-20 2019-10-22 (주)다스콘 실시간 위치 측위 시스템 및 이를 이용한 콘텐츠 제공 서비스 시스템
KR20200028827A (ko) * 2018-09-07 2020-03-17 삼성전자주식회사 Uwb 트랜잭션을 위한 방법 및 전자 장치
US20200107164A1 (en) * 2018-09-28 2020-04-02 Apple Inc. System and method for locating wireless accessories

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4184955A4 *

Also Published As

Publication number Publication date
CN116097667A (zh) 2023-05-09
EP4184955A1 (en) 2023-05-24
US20220407666A1 (en) 2022-12-22
EP4184955A4 (en) 2023-05-31

Similar Documents

Publication Publication Date Title
WO2020242273A1 (en) Electronic device and method for switching network connection between plurality of electronic devices
WO2016047902A1 (ko) 이동 단말기 및 그 제어 방법
WO2014185712A1 (en) Communication method and device
WO2016064250A2 (ko) 적응적으로 작업 수행의 주체를 변경하기 위한 장치 및 방법
WO2014088234A1 (en) Information providing method and mobile terminal therefor
WO2018199597A1 (en) Electronic device and proximity discovery method thereof
WO2017007045A1 (ko) 무인 항공기, 이동 단말기 및 그것들의 제어방법
WO2018124343A1 (ko) 전자장치
WO2016010202A1 (en) Mobile terminal and control method for the mobile terminal
WO2018093002A1 (ko) 이동 단말기 및 그 제어 방법
WO2022019681A1 (ko) 엣지 컴퓨팅 시스템 및 연결 기기 추천 방법
WO2016114437A1 (ko) 이동 단말기 및 그것의 제어방법
WO2019066582A1 (ko) 전자 장치의 동작 모드 운영 방법 및 장치
WO2016052889A1 (en) Mobile terminal and method of controlling the same
WO2019172565A1 (ko) 외부 장치와의 연결을 위한 전자 장치 및 방법
WO2022019682A1 (ko) 엣지 컴퓨팅 시스템 및 방법
WO2022014834A1 (ko) 전자 장치 및 전자 장치에서 이미지 전송 방법
WO2020054942A1 (ko) 액세서리를 이용하여 인증을 수행하는 전자 장치 및 전자 장치의 동작 방법
WO2016052888A1 (en) Mobile terminal and method of controlling the same
WO2022031019A1 (ko) Uwb와 ar를 이용한 분실기기 찾는 방법 및 그 장치
WO2020032376A1 (en) Mobile terminal and method for controlling the same
WO2022030844A1 (ko) 전자 장치의 위치 확인 서비스를 제공하는 방법 및 그 장치
WO2022030801A1 (ko) 전자 장치의 무선 연결을 관리하는 방법 및 그 장치
WO2017003017A1 (ko) 모바일 디바이스 및 그 제어 방법
WO2022030814A1 (ko) 전자 장치의 무선 연결을 관리하는 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21852515

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021852515

Country of ref document: EP

Effective date: 20230216

NENP Non-entry into the national phase

Ref country code: DE