WO2019172565A1 - 외부 장치와의 연결을 위한 전자 장치 및 방법 - Google Patents

외부 장치와의 연결을 위한 전자 장치 및 방법 Download PDF

Info

Publication number
WO2019172565A1
WO2019172565A1 PCT/KR2019/002325 KR2019002325W WO2019172565A1 WO 2019172565 A1 WO2019172565 A1 WO 2019172565A1 KR 2019002325 W KR2019002325 W KR 2019002325W WO 2019172565 A1 WO2019172565 A1 WO 2019172565A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
external electronic
information
external
access point
Prior art date
Application number
PCT/KR2019/002325
Other languages
English (en)
French (fr)
Inventor
오현아
민현기
임준학
장용석
박홍찬
김건수
이선기
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/976,849 priority Critical patent/US11095765B2/en
Publication of WO2019172565A1 publication Critical patent/WO2019172565A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/14—Direct-mode setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/36—Memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38—Displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/42—Graphical user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/06—Details of telephonic subscriber devices including a wireless LAN interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/005—Discovery of network devices, e.g. terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10—Small scale networks; Flat hierarchical networks
    • H04W84/12—WLAN [Wireless Local Area Networks]

Definitions

  • Various embodiments of the present disclosure relate to an electronic device that performs connection with an external device and a method of operating the same.
  • IoT Internet of Things
  • a user may experience inconvenience of connecting the plurality of IoT devices in different screens (for example, an application or a menu). Accordingly, a method for performing a connection at one time by displaying an object representing an IoT device on one screen may be required.
  • An electronic device may include at least one wireless communication circuit, a touch screen display, a processor operatively connected to the at least one wireless communication circuit and the touch screen display, and a memory operatively connected to the processor. And wherein when the memory is executed, the processor receives, via the at least one wireless communication circuit, first information about a first external electronic device and a second external electronic device, and the at least one wireless communication. Based at least in part on a signal obtained through the circuit and / or on the second information received via the at least one wireless communication circuit, the location and / or orientation of the first external electronic device and the location of the second external electronic device and And / or determine orientation, and on the touchscreen display.
  • GUI graphical user interface
  • an electronic device may include a display, a communication module, and a processor operatively connected to the display and the communication module, wherein the processor may include a plurality of external electronic devices associated with the access point from an access point.
  • Obtain a plurality of objects represent the plurality of external electronic devices, and arrange a plurality of objects arranged based on the second data within a user interface of an application for connecting the at least one device with the electronic device.
  • Display, and input to at least one of the plurality of objects And transmit a signal for connection to at least one external electronic device indicated by the at least one object of the plurality of external electronic devices.
  • a method of an electronic device may include receiving first information about a first external electronic device and a second external electronic device through at least one wireless communication circuit of the electronic device, The location and / or orientation of the first external electronic device and the second external electronic device based at least in part on a signal obtained through the wireless communication circuit and / or second information received through the at least one wireless communication circuit. Determining a location and / or orientation on a touch screen display of the electronic device.
  • GUI graphical user interface
  • the electronic device may be configured to identify at least one external electronic device based on at least one signal received from an access point.
  • a user interface for connecting external electronic devices may be provided.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to various embodiments of the present disclosure.
  • FIG. 2 illustrates an example of a system according to various embodiments.
  • FIG. 3 is a diagram illustrating a functional configuration of an electronic device according to various embodiments of the present disclosure.
  • FIG. 4 illustrates another example of a functional configuration of an electronic device according to various embodiments of the present disclosure.
  • FIG. 5 illustrates an example of a functional configuration of an access point according to various embodiments.
  • FIG. 6 is a diagram illustrating a functional configuration of a first external electronic device according to various embodiments of the present disclosure.
  • FIG. 7 illustrates an example of a functional configuration of a server according to various embodiments.
  • FIG. 8 illustrates an example of a signal flow for calculating a distance between an access point and a first external electronic device according to various embodiments of the present disclosure.
  • 9A illustrates an example of an operation of an electronic device according to various embodiments of the present disclosure.
  • 9B is a diagram illustrating another example of an operation of an electronic device according to various embodiments of the present disclosure.
  • FIG. 10 illustrates an example of an operation of receiving data for indicating a positional relationship between a plurality of external electronic devices in an electronic device according to various embodiments of the present disclosure.
  • FIG. 11 illustrates an example of identifying a distance and a direction between an access point and a first external electronic device through an FTM scheme in an access point according to various embodiments of the present disclosure.
  • FIG. 12 is a diagram for describing an example of a method of identifying a distance and a direction between a first external electronic device and an access point according to various embodiments of the present disclosure.
  • FIG. 13 illustrates an example of a signal flow for identifying a distance between an electronic device, an access point, or a first external electronic device in an access point according to various embodiments of the present disclosure.
  • FIG. 14 illustrates another example of a signal flow for identifying a distance between an electronic device, an access point, or a first external electronic device in an access point according to various embodiments of the present disclosure.
  • 15A illustrates another example of a signal flow for identifying a location relationship of a plurality of external electronic devices in an electronic device according to various embodiments of the present disclosure.
  • 15B illustrates another example of a signal flow for identifying a positional relationship between a plurality of external electronic devices in an electronic device according to various embodiments of the present disclosure.
  • 16 illustrates an example of a packet transmitted from an unregistered external electronic device according to various embodiments of the present disclosure.
  • FIG. 17 illustrates an example of a signal flow for identifying a function of a plurality of external electronic devices in an electronic device according to various embodiments of the present disclosure.
  • FIG. 18 illustrates an example of an operation of displaying a plurality of objects representing a plurality of external electronic devices in an electronic device according to various embodiments of the present disclosure.
  • FIG. 19 is a diagram for describing an example of a method of identifying at least one external electronic device located in an area corresponding to a direction in which a first point of the electronic device faces, according to various embodiments of the present disclosure.
  • 20 illustrates an example of an operation for transmitting a signal for connection to at least one external electronic device in an electronic device according to various embodiments of the present disclosure.
  • 21 is a diagram illustrating an example of a method of displaying an object representing an external electronic device in an electronic device according to various embodiments of the present disclosure.
  • 22A is a view illustrating another example of a method of displaying an object representing an external electronic device in an electronic device according to various embodiments of the present disclosure.
  • 22B is a diagram for describing another example of a method of displaying an object representing an external electronic device in an electronic device according to various embodiments of the present disclosure.
  • 22C is a diagram for describing another example of a method of displaying an object representing an external electronic device in an electronic device according to various embodiments of the present disclosure.
  • 22D is a diagram for describing another example of a method of displaying an object representing an external electronic device in an electronic device according to various embodiments of the present disclosure.
  • 23A is a diagram illustrating an example of a method of changing a display of an object representing an external electronic device in an electronic device according to various embodiments of the present disclosure.
  • FIG. 23B is a diagram for describing another example of a method of changing a display of an object representing an external electronic device in an electronic device according to various embodiments of the present disclosure.
  • 24A illustrates an example of a method of selecting an object representing an external electronic device in an electronic device according to various embodiments of the present disclosure.
  • 24B is a diagram for describing another example of a method of selecting an object representing an external electronic device in an electronic device according to various embodiments of the present disclosure.
  • 24C is a diagram for describing another example of a method of selecting an object representing an external electronic device in an electronic device according to various embodiments of the present disclosure.
  • 25 illustrates an example of an operation for acquiring a connection mode of external electronic devices in an electronic device according to various embodiments of the present disclosure.
  • 26 is a flowchart illustrating a signal flow for connecting a plurality of external electronic devices according to various embodiments of the present disclosure.
  • FIG. 27 is a diagram illustrating another example of a signal flow for connecting a plurality of external electronic devices according to various embodiments of the present disclosure.
  • FIG. 28 illustrates an example of a signal flow for connecting an electronic device and a plurality of external electronic devices, according to various embodiments of the present disclosure.
  • 29 illustrates an example of a user interface for displaying objects representing a plurality of external electronic devices in an electronic device according to various embodiments of the present disclosure.
  • FIG. 30 illustrates an example of a screen for controlling a plurality of external electronic devices in an electronic device according to various embodiments of the present disclosure.
  • 31 illustrates another example of a screen for controlling a plurality of external electronic devices in an electronic device according to various embodiments of the present disclosure.
  • 32 illustrates an example of a screen for connecting one or more external electronic devices in an electronic device according to various embodiments of the present disclosure.
  • 33 illustrates an example of a screen for entering an application related to an external electronic device in an electronic device according to various embodiments of the present disclosure.
  • 34 is a diagram illustrating another example of a screen for controlling a plurality of external electronic devices in an electronic device according to various embodiments of the present disclosure.
  • 35 illustrates an example of a screen for displaying a plurality of external electronic devices in an electronic device according to various embodiments of the present disclosure.
  • 36 illustrates an example of a method for displaying a screen associated with a plurality of external electronic devices in an electronic device according to various embodiments of the present disclosure.
  • FIG. 37 illustrates an example of a method for controlling a plurality of external electronic devices through a server in an electronic device according to various embodiments of the present disclosure.
  • FIG. 38 illustrates an example of a screen for displaying an object representing a plurality of external electronic devices connected in an ultra high frequency band in an electronic device according to various embodiments of the present disclosure.
  • 39 illustrates an example of a screen for displaying objects representing a plurality of external electronic devices in an electronic device according to various embodiments of the present disclosure.
  • FIG. 40 illustrates an example of a screen for designating a driving mode of an external electronic device selected by an electronic device according to various embodiments of the present disclosure.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100, according to various embodiments.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or the second network 199.
  • the electronic device 104 may communicate with the server 108 through a long range wireless communication network.
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 may include a processor 120, a memory 130, an input device 150, an audio output device 155, a display device 160, an audio module 170, and a sensor module.
  • the components may be included.
  • at least one of the components may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components may be implemented in one integrated circuit.
  • the sensor module 176 eg, fingerprint sensor, iris sensor, or illuminance sensor
  • the display device 160 eg, display
  • the processor 120 executes software (eg, the program 140) to execute at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or operations. According to one embodiment, as at least part of the data processing or operation, the processor 120 may transmit the command or data received from another component (eg, the sensor module 176 or the communication module 190) to the volatile memory 132. Can be loaded into, processed in a command or data stored in volatile memory 132, and stored in the non-volatile memory (134).
  • software eg, the program 140
  • the processor 120 may transmit the command or data received from another component (eg, the sensor module 176 or the communication module 190) to the volatile memory 132.
  • the volatile memory 132 can be loaded into, processed in a command or data stored in volatile memory 132, and stored in the non-volatile memory (134).
  • the processor 120 may include a main processor 121 (eg, a central processing unit or an application processor), and a coprocessor 123 (eg, a graphics processing unit, an image signal processor) that may be operated independently or together. , Sensor hub processor, or communication processor). Additionally or alternatively, the coprocessor 123 may be set to use lower power than the main processor 121 or to be specialized for its designated function. The coprocessor 123 may be implemented separately from or as part of the main processor 121.
  • a main processor 121 eg, a central processing unit or an application processor
  • a coprocessor 123 eg, a graphics processing unit, an image signal processor
  • the coprocessor 123 may be set to use lower power than the main processor 121 or to be specialized for its designated function.
  • the coprocessor 123 may be implemented separately from or as part of the main processor 121.
  • the coprocessor 123 may, for example, replace the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 may be active (eg, execute an application). At least one of the components of the electronic device 101 (eg, the display device 160, the sensor module 176, or the communication module 190) together with the main processor 121 while in the) state. Control at least some of the functions or states associated with the. According to one embodiment, the coprocessor 123 (eg, an image signal processor or communication processor) may be implemented as part of other functionally related components (eg, camera module 180 or communication module 190). have.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101.
  • the data may include, for example, software (eg, the program 140) and input data or output data for a command related thereto.
  • the memory 130 may include a volatile memory 132 or a nonvolatile memory 134.
  • the program 140 may be stored as software in the memory 130, and may include, for example, an operating system 142, middleware 144, or an application 146.
  • the input device 150 may receive a command or data to be used for a component (for example, the processor 120) of the electronic device 101 from the outside (for example, a user) of the electronic device 101.
  • the input device 150 may include, for example, a microphone, a mouse, or a keyboard.
  • the sound output device 155 may output a sound signal to the outside of the electronic device 101.
  • the sound output device 155 may include, for example, a speaker or a receiver.
  • the speaker may be used for general purposes such as multimedia playback or recording playback, and the receiver may be used to receive an incoming call.
  • the receiver may be implemented separately from or as part of a speaker.
  • the display device 160 may visually provide information to the outside (eg, a user) of the electronic device 101.
  • the display device 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display device 160 may include touch circuitry configured to sense a touch, or a sensor circuit (eg, a pressure sensor) set to measure the strength of the force generated by the touch. have.
  • the audio module 170 may convert sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment of the present disclosure, the audio module 170 may acquire sound through the input device 150, or may output an external electronic device (for example, a sound output device 155 or directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • an external electronic device for example, a sound output device 155 or directly or wirelessly connected to the electronic device 101. Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101, or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more designated protocols that may be used for the electronic device 101 to be directly or wirelessly connected to an external electronic device (for example, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 178 may include a connector through which the electronic device 101 may be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that can be perceived by the user through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and videos. According to an embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101.
  • the power management module 388 may be implemented, for example, as at least part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 may establish a direct (eg wired) communication channel or wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). Establish and perform communication over established communication channels.
  • the communication module 190 may operate independently of the processor 120 (eg, an application processor) and include one or more communication processors supporting direct (eg, wired) or wireless communication.
  • the communication module 190 may include a wireless communication module 192 (eg, a cellular communication module, a near field communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, It may include a local area network (LAN) communication module, or a power line communication module.
  • GNSS global navigation satellite system
  • the corresponding communication module of these communication modules may be a first network 198 (e.g. a short range communication network such as Bluetooth, WiFi direct or infrared data association (IrDA)) or a second network 199 (e.g. cellular network, the Internet, or Communicate with external electronic devices via a telecommunications network, such as a computer network (eg, LAN or WAN).
  • a first network 198 e.g. a short range communication network such as Bluetooth, WiFi direct or infrared data association (IrDA)
  • a second network 199 e.g. cellular network, the Internet, or Communicate with external electronic devices via a telecommunications network, such as a computer network (eg, LAN or WAN).
  • a telecommunications network such as a computer network (eg, LAN or WAN).
  • the wireless communication module 192 uses subscriber information (e.g., international mobile subscriber identifier (IMSI)) stored in the subscriber identification module 196 in a communication network such as the first network 198 or the second network 199.
  • subscriber information e.g., international mobile subscriber identifier (IMSI)
  • IMSI international mobile subscriber identifier
  • the antenna module 197 may transmit or receive a signal or power to an external (eg, an external electronic device) or from the outside.
  • the antenna module 197 may include one or more antennas, from which at least one antenna suitable for a communication scheme used in a communication network, such as a first network 198 or a second network 199, For example, it may be selected by the communication module 190.
  • the signal or power may be transmitted or received between the communication module 190 and the external electronic device through the at least one selected antenna.
  • peripheral devices eg, a bus, a general purpose input and output (GPIO), a serial peripheral interface (SPI), or a mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the electronic devices 102 and 104 may be a device of the same or different type as the electronic device 101.
  • all or some of the operations executed in the electronic device 101 may be executed in one or more external devices among the external electronic devices 102, 104, or 108. For example, when the electronic device 101 needs to perform a function or service automatically or in response to a request from a user or another device, the electronic device 101 instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • the one or more external electronic devices that receive the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as it is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, or client-server computing technology may be used.
  • Electronic devices may be various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smartphone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smartphone
  • a computer device e.g., a tablet, or a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch, or a smart watch
  • first, second, or first or second may be used merely to distinguish a component from other corresponding components, and to separate the components from other aspects (e.g. Order).
  • Some (eg, first) component may be referred to as “coupled” or “connected” to another (eg, second) component, with or without the term “functionally” or “communicatively”.
  • any component can be connected directly to the other component (eg, by wire), wirelessly, or via a third component.
  • module may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit.
  • the module may be an integral part or a minimum unit or part of the component, which performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of this document may include one or more instructions stored on a storage medium (eg, internal memory 136 or external memory 138) that can be read by a machine (eg, electronic device 101). It may be implemented as software (eg, program 140) including the.
  • a processor eg, the processor 120 of the device (eg, the electronic device 101) may call and execute at least one command among one or more instructions stored from the storage medium. This enables the device to be operated to perform at least one function in accordance with the at least one command invoked.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' means only that the storage medium is a tangible device and does not contain a signal (e.g., electromagnetic waves), which is the case when data is stored semi-permanently on the storage medium. It does not distinguish cases where it is temporarily stored.
  • a signal e.g., electromagnetic waves
  • a method may be included in a computer program product.
  • the computer program product may be traded between the seller and the buyer as a product.
  • the computer program product may be distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store TM ) or two user devices ( E.g., between smartphones) or distributed online (e.g., download or upload)
  • a device-readable storage medium such as a server of a manufacturer, a server of an application store, or a memory of a relay server.
  • each component eg, a module or a program of the above-described components may include a singular or plural object.
  • one or more components or operations of the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of the component of each of the plurality of components the same as or similar to that performed by the corresponding component of the plurality of components before the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations may be executed in a different order, or may be omitted. Or one or more other operations may be added.
  • FIG. 2 illustrates an example of a system 200 in accordance with various embodiments.
  • the system 200 may include, for example, an electronic device 101, an access point 202 (eg, the electronic device 102 of FIG. 1), and a plurality of external electronic devices ( 210 (eg, the electronic device 102 or the electronic device 104 of FIG. 1) or the server 108 (eg, a cloud server).
  • the plurality of external electronic devices 210 may include a first external electronic device 211 and a second external electronic device 212.
  • the electronic device 101 may be connected to the access point 202, the server 108, or the plurality of external electronic devices 210 through wireless communication or wired communication.
  • the electronic device 101, the access point 202, the server 108, and the plurality of external electronic devices 210 constituting the system 200 may be connected through wireless communication or wired communication, respectively.
  • the electronic device 101 may be connected to the plurality of external electronic devices 210 through wireless or wired communication through the access point 202.
  • the electronic device 101 may be directly connected to the plurality of external electronic devices 210 by wireless communication or wired communication.
  • the electronic device 101 may be connected to the plurality of external electronic devices 210 through a Wi-Fi (wireless fidelity) direct technique through the access point 202.
  • the electronic device 101 may be connected to the plurality of external electronic devices 210 using a Bluetooth technique.
  • the electronic device 101 may provide a service through an application (or an application program) stored in the electronic device 101.
  • the electronic device 101 may control an operation of the access point 202 or the plurality of external electronic devices 210 using the application.
  • the electronic device 101 may receive a user input for controlling an operation of the access point 202 or the plurality of external electronic devices 210 through an application stored in the electronic device 101.
  • the user input may be received through, for example, a physical button, a touch pad, or a microphone of the electronic device 101.
  • the electronic device 101 may detect an input for connecting the plurality of external electronic devices 210.
  • the electronic device 101 may include a cell phone, a smart phone, a personal digital assistant, a notebook, a computer, or an electronic device capable of wireless communication. Can be.
  • the access point 202 may obtain information regarding a location relationship of the plurality of external electronic devices 210.
  • the access point 202 may transmit information for indicating the positional relationship of the obtained plurality of external electronic devices 210 to the electronic device 101.
  • the access point 202 may comprise a portable terminal, notebook, computer or router.
  • the plurality of external electronic devices 210 may include an electronic device registered in the electronic device 101. In various embodiments, the plurality of external electronic devices 210 may include an electronic device that is not registered in the electronic device 101. The plurality of external electronic devices 210 may receive a signal for controlling each of the plurality of external electronic devices 210 from the electronic device 101 or the access point 202. For example, the plurality of external electronic devices 210 may drive modes of each of the plurality of external electronic devices 210 based on receiving signals for controlling the plurality of external electronic devices 210. Can be changed. The driving mode may include a state of operation (eg, image output or sound output) of each of the plurality of external electronic devices 210. In various embodiments, the plurality of external electronic devices 210 may include various IoT devices such as a mobile phone, a notebook, a computer, an IoT bulb, or a refrigerator.
  • IoT devices such as a mobile phone, a notebook, a computer, an IoT bulb, or a refrigerator.
  • the server 108 may receive information regarding the positional relationship of the plurality of external electronic devices 210 from the electronic device 101 and store the received information.
  • the server 108 may receive information about an input for connecting the plurality of external electronic devices 210 from the electronic device 101 and store the received information.
  • the server 108 may receive account information of the electronic device 101 and information about a plurality of external electronic devices 210 registered in the electronic device 101 and store the received information.
  • the server 108 may receive information regarding the positional relationship of the plurality of external electronic devices 210 from the access point 202 and store the received information.
  • the server 108 may receive information about an input for connecting the plurality of external electronic devices 210 from the access point 202 and store the received information.
  • the server 108 may receive account information of the access point 202 and information about the plurality of external electronic devices 210 registered in the access point 202 and store the received information.
  • FIG. 3 illustrates an example of a functional configuration of the electronic device 101 according to various embodiments of the present disclosure. At least a part of the functional configuration illustrated in FIG. 3 may be included in the electronic device 101 illustrated in FIG. 1.
  • the electronic device 101 may include a processor 120, an input device 150, a display device 160, and a communication module 190.
  • the processor 120, the input device 150, The display device 160 and the communication module 190 may be operatively connected.
  • the present invention is not limited thereto and some components may be omitted.
  • the processor 120 may control overall operations of the electronic device 101, for example.
  • the processor 120 is operable with other components in the electronic device 101 such as the input device 150, the display device 160, the communication module 190 to control the overall operation of the electronic device 101. Can be combined.
  • the processor 120 may receive commands from other components (eg, the input device 150, the display device 160, and the communication module 190).
  • the processor 120 may interpret the received command.
  • the processor 120 may perform calculations according to the interpreted instructions and process data.
  • the processor 120 may be implemented in software, may be implemented in hardware such as a chip or a circuit, or may be implemented in a collection of software and hardware.
  • the processor 120 may be one or a collection of a plurality of processors.
  • the processor 120 may interpret a message, data, command, or signal received from the input device 150, the display device 160, or the communication module 190.
  • the processor 120 may process a message, data, command, or signal received from the input device 150, the display device 160, or the communication module 190.
  • the processor 120 may generate a new message, data, command, or signal based on the received message, data, command, or signal.
  • the processor 120 may provide the processed or generated message, data, command, or signal to the input device 150, the display device 160, or the communication module 190.
  • the input device 150 may receive a touch signal or an audio signal generated by a user associated with the electronic device 101.
  • the input device 150 may convert the received signal into an electrical signal.
  • the input device 150 may provide the converted electrical signal to the processor 120.
  • the display device 160 may be used to provide information to the user.
  • the display device 160 may include a speaker, a display for providing information to the user through a graphical user interface (GUI), or an indicator module for providing information to the user through light ( For example, it may include one or more of a light emitting diode (LED) module.
  • the display device 160 may provide information based on information, data, or a signal provided from the processor 120.
  • the communication module 190 may be a communication path (eg, an electronic device (eg, an access point 202, a plurality of external electronic devices 210, a server 108)) and an electronic device 101. Communication path between the device 101 and the access point 202 (eg, the electronic device 102), communication path between the electronic device 101 and the plurality of external electronic devices 210, the electronic device 101 and the server ( 108) can be used to generate or establish a communication path between the devices.
  • the communication module 190 may be a Bluetooth communication technique, a Bluetooth low energy (BLE) communication technique, a wireless fidelity (Wi-Fi) communication technique, a cellular or mobile communication technique, or a wired line. It may be a module for at least one of the communication techniques.
  • the communication module 190 may provide the processor 120 with signals, information, data, or messages received from the various electronic devices.
  • the communication module 190 may transmit signals, information, data, or messages provided from the processor 120 to the various electronic devices.
  • the processor 120 may receive first data regarding the positional relationship of the plurality of external electronic devices 210 through the communication module 190. For example, the processor 120 may transmit a signal for requesting first data regarding the positional relationship of the plurality of external electronic devices 210 to the access point 202 through the communication module 190. The processor 120 may receive information regarding the positional relationship of the plurality of external electronic devices 210 from the access point 202 in response to the request.
  • the processor 120 may obtain the second data generated from the communication module 190 based on the first data regarding the positional relationship of the plurality of external electronic devices 210.
  • the second data includes data regarding the positional relationship of the plurality of external electronic devices 210 based on at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces. can do. At least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces will be described later with reference to FIG. 19.
  • the processor 120 may identify at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces.
  • the processor 120 is based on at least one external electronic device located in an area corresponding to a direction in which the first point of the electronic device 101 faces based on the first data received from the communication module 190. Second data regarding the positional relationship of the plurality of external electronic devices 210 may be obtained.
  • the processor 120 may display a plurality of objects representing the plurality of external electronic devices 210 through the display device 160 in the user interface based on the second data.
  • the processor 120 may display a plurality of objects representing the plurality of external electronic devices 210 based on a distance or a direction between the electronic device 101 and the plurality of external electronic devices 210. 160).
  • the plurality of objects are indicated by the name of each of the plurality of external electronic devices 210, or the plurality of objects are indicated by a shape corresponding to each of the plurality of external electronic devices 210. Can be.
  • the processor 120 may detect an input for at least one of the plurality of objects through the input device 150.
  • the input may include a drag input, a voice command input, a tap input, a double tap input, or a long press.
  • the processor 120 may transmit a signal for connection to at least one external electronic device indicated by the input at least one object through the communication module 190. For example, the processor 120, via the communication module 190, based on detecting an input for selecting an object representing a speaker and an object representing a computer among the plurality of objects, A signal for interworking the speaker and the computer can be transmitted to the speaker or each of the computers.
  • FIG. 4 is a diagram illustrating another example of a functional configuration of the electronic device 101 according to various embodiments of the present disclosure. At least a part of the functional configuration illustrated in FIG. 4 may be included in the electronic device 101 illustrated in FIG. 1.
  • the communication module 190 may include a signal receiving module 410 and a signal feature extraction module 420.
  • the input device 150 may include a sensor information input module 450.
  • the processor 120 may include a device determination module 440 and a display control module 460.
  • the electronic device 101 may not be limited to the configuration of FIG. 4. According to an embodiment of the present disclosure, the processor 120 may include a signal receiving module 410 or a signal feature extraction module 420 according to the type of the electronic device 101.
  • the signal receiving module 410 may receive one or more signals received by each antenna through two or more wireless communication antennas. For example, the signal receiving module 410 may distinguish signals of different devices input to each antenna. According to an embodiment of the present disclosure, the signal receiving module 410 may determine whether a signal is analyzed by analyzing a signal received from an antenna. If it is determined that the received signal is a signal for communication, the signal receiving module 410 may transmit the signal to the signal feature extraction module 420 to request interpretation of the transmitted signal.
  • the signal feature extraction module 420 may obtain phase information of the signal based on the received signal.
  • the signal feature extraction module 420 may extract information about the inherent characteristics of the signals received from the first antenna and the second antenna and transmit the information to the device determination module 440 together with the phase information.
  • the information about the inherent characteristics of the received signal may include information representing the characteristics of the signal received from the first antenna and the signals received from the second antenna.
  • the information indicative of the characteristics of the received signals may include information such as signal strength patterns between antennas, received signal strength indication (RSSI), signal to noise ratio (SNR) or communication channel related information. Can be.
  • the signal feature extraction module 420 may determine whether the antenna of another device is at a line of sight (LoS) based on at least the information including the phase information, or whether the received signal is a multipath signal. Information can be obtained. According to an embodiment of the present disclosure, the signal characteristic extraction module 420 may calculate a phase difference value and a deviation value of the plurality of phase difference values for one signal and transmit the calculated value to the device determination module 440. According to an embodiment of the present disclosure, the signal feature extraction module 420 may calculate a phase of each of one or more signals received from respective other devices. The signal feature extraction module 420 may transmit signals of respective other devices input to each antenna to the device determination module 440 through a separate moving path.
  • LoS line of sight
  • the sensor information input module 450 may receive input information from an acceleration sensor, a gravity sensor, or a magnetic sensor of the electronic device 101.
  • the sensor information input module 450 may identify the location and state information of the electronic device 101 based on the input information.
  • the sensor information input module 450 may transmit location and state information of the electronic device 101 to the device determination module 440.
  • the device determination module 440 may correspond to an area corresponding to a direction in which a first point (eg, an antenna position or an upper end of the electronic device) of the electronic device 101 faces. At least one external electronic device located in the terminal may be identified. At least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces will be described later with reference to FIG. 19.
  • the device determination module 440 may obtain weighted phase difference information based at least on the phase information and the signal specific characteristic information provided from the signal feature extraction module 420, or the information provided from the sensor information input module 450. .
  • the device determination module 440 may identify at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces using the obtained weight phase difference information.
  • the device determination module 440 may determine the external electronic devices (eg, the first external electronic device 211 and the second external electronic device 212) connected to the server 108 or the access point 202. You can receive information about the function (e.g. screen display function, data storage function). The device determination module 440 may identify a type (eg, a speaker, a television, a computer, or a projector) of the external electronic device based on the received information.
  • the input device 150 may detect an input for a driving mode of the plurality of external electronic devices 210.
  • the device determination module 440 may receive an input for the driving mode from the input device 150.
  • the device determination module 440 may determine external electronic devices to be displayed on the screen based on the situation information.
  • the contextual information may correspond to information about an internal state and an external state of the electronic device 101.
  • the contextual information is input to the driving mode, information on the function of the electronic device 101, global positioning system (GPS), cell signal of the base station, location information of the electronic device 101, application identification (application identification). ), A type of the called function, or a keyword input together with a voice command.
  • GPS global positioning system
  • application identification application identification
  • a type of the called function or a keyword input together with a voice command.
  • the display control module 460 indicates external electronic devices to be displayed based on a GPS signal, a cell signal of a base station, or location information of the electronic device 101
  • the electronic device 101 is an electronic device.
  • Objects representing the external electronic devices 210 to be displayed may be differently set according to the location of the device 101.
  • the electronic device 101 may not display an object representing an earphone in the room on the screen of the electronic device 101.
  • the electronic device 101 may display an object representing the earphone in the room even when the electronic device 101 is outdoors.
  • the electronic device 101 may receive an input for a driving mode from the input device 150 through a voice input.
  • the input for the driving mode through the voice input may correspond to an input related to music reproduction.
  • the electronic device 101 may not display an object representing the refrigerator based on the input related to music reproduction.
  • the electronic device 101 may display the refrigerator even when an input related to music reproduction is received from the voice input.
  • the device determination module 440 may determine external electronic devices to be displayed as objects on the screen based on the input for the driving mode and the information about the functions of the external electronic devices.
  • the device determination module 440 may generate a list of external electronic devices to be displayed on the screen.
  • the device determination module 440 may transmit a list of external electronic devices to be displayed on the screen to the display control module 460.
  • the electronic device 101 may share a file.
  • a list of external electronic devices eg, the first external electronic device 211 and the second external electronic device 212 that can perform an operation on the electronic device may be generated.
  • the device determination module 440 may control an external electronic device and an electronic device that may be controlled by the electronic device 101 using an account registered in the electronic device 101 based on a driving mode of the external electronic device.
  • the external electronic devices registered at 101 may be added to the list. If it is determined that the external electronic device is capable of performing an operation on a driving mode of the current external electronic device even if the external electronic device is previously registered or there is no use history, the device determination module 440 does not have a usage history or enters the driving mode of the current external electronic device. An external electronic device capable of performing an operation may be added to the list.
  • the device determination module 440 may determine an external electronic device to be displayed on a screen according to a driving mode of an external electronic device (eg, the first external electronic device 211 and the second external electronic device 212). Identifies the object representing. The device determination module 440 may transmit the object to the display control module 460. The device determination module 440 may identify an external electronic device that is not connected to the electronic device 101 but can perform an operation for the driving mode. The device determination module 440 may transmit information about the identified external electronic device to the display control module 460.
  • the display control module 460 may receive first data for indicating a positional relationship between each of the plurality of external electronic devices 210 received from the access point 202 and the access point 202.
  • the first data may include at least one piece of information about the distance or direction of the access point 202 and the external electronic device.
  • the display control module 460 is based on the at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces in the device determination module 440.
  • the second data indicating the positional relationship of the plurality of external electronic devices 210 may be obtained.
  • the second data may include information regarding the positional relationship of external electronic devices based on at least one external electronic device located in an area corresponding to a direction that the first point of the electronic device 101 faces.
  • the display control module 460 may represent the plurality of external electronic devices 210 as a plurality of objects, which are converted based on the size of the display of the electronic device 101. In addition, the display control module 460 may connect the external electronic device indicated by the at least one object based on an input to at least one object of the plurality of objects. The display control module 460 may transmit a control signal for connecting the external electronic device indicated by the at least one object.
  • the display control module 460 may receive information about a distance or a direction of each of the plurality of external electronic devices 210 based on the access point 202.
  • the electronic device 101 may identify at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces through the device determination module 440.
  • the display control module 460 may include a plurality of external electronic devices changed based on at least one external electronic device located in an area corresponding to a direction in which the first point of the electronic device 101 faces. Information about the positional relationship of 210 may be obtained.
  • the display control module 460 refers to at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces based on the received distance or direction information. Information about the arrangement of the rotated external electronic device can be obtained.
  • the display control module 460 may display objects representing the plurality of external electronic devices 210 received from the device determination module 440 on the screen.
  • the display control module 460 may receive a signal from the device determination module 440 that an external electronic device to be additionally displayed among devices not currently connected to the electronic device 101 exists.
  • the electronic device 101 may transmit a signal for requesting information about an external electronic device to be additionally displayed on the server 108 in the form of a snapshot based on the received signal.
  • the snapshot may include information about an external electronic device having a record connected to the electronic device 101 or a registered record.
  • the display control module 460 may receive information about the snapshot including the external electronic device to be additionally displayed from the server 108.
  • the display control module 460 may additionally display an object indicating the external electronic device to be displayed on the screen based on the received information about the snapshot.
  • FIG. 5 illustrates an example of a functional configuration of an access point 202 in accordance with various embodiments. At least a part of the functional configuration illustrated in FIG. 5 may correspond to the electronic device 102 illustrated in FIG. 1.
  • the access point 202 may include a wearable device or a smartphone that is worn on at least part of a user's body.
  • the present invention is not limited thereto.
  • the access point 202 may include a processor 501 (eg, the processor 120 of FIG. 1) and a communication module 503 (eg, the communication module 190 of FIG. 1)
  • the processor 501 and the communication module 503 may be operatively connected.
  • the processor 501 may include a distance measuring module 510, a direction measuring module 520, and a device management module 530.
  • the distance measuring module 510 may obtain information about a distance between the access point 202 and each of the plurality of external electronic devices 210. For example, the distance measuring module 510 may measure a distance between the access point 202 and the first external electronic device 211 from the first external electronic device 211 through the communication module 503. A plurality of signals can be received. The distance measuring module 510 may calculate a time difference between the plurality of received signals. The distance measuring module 510 may obtain information about a distance between the access point 202 and the first external electronic device 211 based at least on the calculated time difference information. For example, the distance measuring module 510 may use a fine timing measurement (FTM) method. Description of the FTM method will be described later with reference to FIG. 8.
  • FTM fine timing measurement
  • the direction measurement module 520 may measure directions of the plurality of external electronic devices based on the access point 202.
  • the direction measuring module 520 may measure the directions of the plurality of external electronic devices 210 based on the access point 202.
  • the direction measurement module 520 may correspond to the signal feature extraction module 420 of the electronic device 101 of FIG. 4.
  • the communication module 503 may transmit or receive a signal related to the control of the plurality of external electronic devices 210.
  • the communication module 503 may include a plurality of antennas. In various embodiments, the communication module 503 may be connected with a plurality of antennas to measure the directions of the plurality of external electronic devices 210.
  • the communication module 503 may receive signals received through each of a plurality of antennas.
  • the communication module 503 may transmit the received signals to the distance measuring module 510 or the direction measuring module 520.
  • the access point 202 may include a plurality of microphones.
  • the access point 202 may use the plurality of microphones to measure the direction of the electronic device 101 and the direction of the plurality of external electronic devices 210 from the access point 202. For example, when the electronic device 101 receives a voice input from a user associated with the electronic device 101, the communication module 503 of the access point 202 may receive the voice input through a plurality of microphones. have. The access point 202 may obtain information about the location of the electronic device 101 through the voice input.
  • the device management module 530 may manage a list of the electronic device 101 connected to the access point 202 and the plurality of external electronic devices 210.
  • the device management module 530 may transmit control signals to the electronic device 101 and the plurality of external electronic devices 210.
  • the device management module 530 may periodically acquire information regarding the positional relationship between the electronic device 101, the plurality of external electronic devices 210, and the access point 202.
  • the device management module 530 may periodically upload the information about the obtained location relationship to the server 108. Even if there is no request from the electronic device 101, the device management module 530 periodically provides information about the positional relationship between the electronic device 101 and the plurality of external electronic devices 210 and the access point 202. Can be uploaded to the server 108. But not limited to this.
  • the device management module 530 may receive information about a snapshot indicating information on connection and location relationships of the plurality of external electronic devices 210 from the server 108. The device management module 530 may transmit the information about the received snapshot to the electronic device 101. The device management module 530 may receive control signals from the electronic device 101 and the plurality of external electronic devices 210. The device management module 530 may transmit the received control signal to the electronic device 101 and the plurality of external electronic devices 210. The device management module 530 may update and manage version information of the plurality of currently registered external electronic devices. The device management module 530 may update and manage information on the authority of the electronic device 101 and the access point 202. The device management module 530 may serve as a central administrator for the electronic device 101 and the plurality of external electronic devices 210.
  • FIG. 6 illustrates an example of a functional configuration of the first external electronic device 211 according to various embodiments. At least a part of the functional configuration illustrated in FIG. 6 may be included in the first external electronic device 211 illustrated in FIG. 2.
  • the first external electronic device 211 may be one of the plurality of external electronic devices 210.
  • the first external electronic device 211 may include a processor 610 (eg, the processor 120) and a communication module 620 (eg, the communication module 190). 610 and communication module 620 may be operatively connected.
  • the processor 610 may include a function control module 630 and a communication control module 640.
  • the communication module 620 may transmit and receive a radio frequency (RF) signal necessary to perform a function of the first external electronic device 211.
  • the communication module 620 may be functionally coupled to one or a plurality of antennas.
  • the communication module 620 may transmit or receive a discovery signal.
  • the discovery signal is a broadcast signal transmitted to inform the presence of the first external electronic device 211 and may be transmitted or broadcasted externally through the communication module 620.
  • the discovery signal is a signal indicating the presence of other devices (eg, the electronic device 101 and the access point 202), and may be received by the first external electronic device 211 through the communication module 620.
  • the communication module 620 may identify the electronic device 101, the access point 202, or at least one other external electronic device through the discovery signal.
  • the communication module 620 may transmit a packet and a control signal for distance measurement or direction measurement. In various embodiments, the packet and the control signal may be transmitted simultaneously or independently. In addition, the communication module 620 may receive a packet and a control signal for distance measurement or direction measurement. In various embodiments, the packet and the control signal may be received simultaneously or independently.
  • the communication module 620 may operate independently. For example, even when at least some components of the first external electronic device 211 (eg, the processor 610 do not obtain power or are in an inactive (eg, sleep) state, the communication module 620 may operate). Can be.
  • the communication control module 640 may process various control signals.
  • the communication control module 640 may process a signal related to exchanging information with another external electronic device.
  • the communication control module 640 may process a discovery signal received through the communication module 620.
  • the communication control module 640 may process information regarding distance and direction measurement based on a signal received from the communication module 620.
  • the communication control module 640 may transmit an acknowledgment signal (ACK signal) through the communication module 620.
  • the communication control module 640 may transmit information about the difference between the timing at which the FTM request signal is received and the timing at which the acknowledgment signal is transmitted, to the electronic device 101 or the access point 202.
  • the communication control module 640 when the communication control module 640 receives a signal regarding direction measurement from the access point 202, the communication control module 640 may periodically transmit a discovery signal including its identification information.
  • the function control module 630 may receive a control signal for various driving modes from the communication control module 640.
  • the function control module 630 may change the driving mode of the first external electronic device 211 to another driving mode based on the control signals for the various driving modes.
  • the communication control module 640 when the communication control module 640 receives a control signal for image output, the communication control module 640 sends the signal to the function control module 630 to perform the image output. I can send it.
  • the function control module 630 may connect to a communication band suitable for file reception.
  • a function band corresponding to a communication band for Bluetooth communication (for example, 2.40 Ghz or more). 2.48Ghz) may establish a connection with the electronic device 101.
  • the function control module 630 may transmit a command regarding switching for communicating to the appropriate communication band to the communication control module 640.
  • the function control module 630 may receive a file through the connection.
  • the function control module 630 may store the received file.
  • FIG. 7 illustrates an example of a functional configuration of a server 108 in accordance with various embodiments.
  • At least a part of the functional configuration shown in FIG. 7 may be included in the server 108 shown in FIG. 1.
  • the server 108 may include a memory 710, a processor 720, and a communication module 730, and the memory 710 and the processor 720 and the communication module 730 may be operated operatively. Can be connected.
  • the processor 720 may include a data management module 721, an external system connection management module 726, a device connection management module 727, a device management module 722, an execution management module 723, and an event management module 724.
  • the account management module 725 may be included.
  • the server 108 may receive signals for the plurality of external electronic devices 210 from the electronic device 101.
  • the server 108 may transmit the received signal to the plurality of external electronic devices 210.
  • the server 108 may manage a right to control the plurality of electronic devices based at least on the account registered to the electronic device 101 or the account registered to each of the plurality of external electronic devices 210.
  • the server 108 may control the external electronic device based on the account information of the electronic device 101. You can check whether you have permission to do so. For example, when the server 108 determines that the authority exists, the server 108 may transmit a control signal to the external electronic device. For another example, if the server 108 determines that there is no authority, the server 108 may not transmit a control signal to the external electronic device. The server 108 may transmit a signal to the electronic device 101 that it is not authorized to control the external electronic device.
  • the server 108 may check the state of the electronic device 101, the access point 202, or the plurality of external electronic devices 210 and control the operation.
  • the server 108 may include information regarding a status or capability of at least one of the electronic device 101, the access point 202, or the plurality of external electronic devices 210. You can check. Based on the state and function information, the server 108 may control at least one of the electronic device 101, the access point 202, or the plurality of external electronic devices 210.
  • the memory 710 may store information about an electronic device that can connect to the server 108, a set of instructions for controlling the electronic device, or account information for connecting to the server 108. have.
  • the information about the electronic device may include device identification data such as device ID (identification), manufacturer, serial number, media access control (MAC) address, and device. It may include at least one of device capability data, device status data, device instruction data, or device event data.
  • the memory 710 may store a snapshot indicating information on a connection and location relationship of a plurality of recent external electronic devices 210.
  • the server 108 may transmit information about the snapshot stored in the memory 710.
  • the electronic device 101 may display a plurality of objects representing the plurality of external electronic devices 210 on the screen based on the received information about the snapshot.
  • the electronic device 101 may reduce power consumption of the electronic device 101 and the access point 202 by using the received snapshot.
  • the server 108 may distinguish external electronic devices into fixed devices placed at fixed locations and variable devices having high variability in positions by comparing snapshots stored in the memory 710.
  • the electronic device 101 may transmit a request signal for location information of the plurality of external electronic devices.
  • the server 108 may transmit the information about the fixed device and the variable device to the electronic device 101 together with the information on the snapshot.
  • the electronic device 101 may receive information on the fixed device and the variable device together with the information on the snapshot.
  • the electronic device 101 may obtain information about the location of the fixed device based on the information on the snapshot and the information about the fixed device.
  • the electronic device 101 may transmit a signal for requesting information about the location of the variable device to the access point 202.
  • the electronic device 101 may receive information regarding the location of the variable device from the access point 202.
  • the electronic device 101 can reduce power consumption of the electronic device 101 by using information about the location of the fixed device.
  • the memory 710 may store a set of instructions for controlling at least one device connected to the server 108.
  • the set of instructions may be set based on at least one of any user command and an internal / external event.
  • the arbitrary user command may include a voice command received from the electronic device 101.
  • the set of instructions may include at least one of event information, condition information, and instruction information.
  • the memory 710 may ring an emergency bell when the CO gas is detected, and play the music when the front door is opened at 5 pm and turn on the living room light. You can store a set of commands such as "channel 13, and change the living room light to yellow.”
  • the electronic device 101 may transmit information regarding the CO gas detection to the server 108.
  • the server 108 may transmit a control signal to the electronic device 101 to perform a command based on the information regarding the CO gas detection.
  • the electronic device 101 may transmit a control signal for ringing the emergency bell to the emergency bell based on the control signal for performing the command.
  • the electronic device 101 may transmit information to the server 108 that the current time corresponds to 5 pm and the front door is opened.
  • the server 108 may transmit a control signal to the electronic device 101 to perform a command based on the information that the current time corresponds to 5 pm and the front door is opened.
  • the electronic device 101 may transmit a control signal for reproducing music to the speaker based on a control signal for performing a command, and transmit a control signal for turning on the lamp in the living room to a light included in the living room. have.
  • the electronic device 101 may transmit information about the first command, the second command, and the third command to the server 108.
  • the server 108 may transmit a control signal for performing the command to the electronic device 101 based on the information about the first command, the second command, and the third command.
  • the electronic device 101 displays a control signal for turning on the TV based on a control signal for executing a command, a control signal for adjusting the channel 13 times for the TV, and a yellow color for a light included in the living room. Can transmit a control signal to change.
  • the communication module 730 may serve as an interface for data communication with the server 108 and the electronic device 101, the access point 202, or the external electronic devices 210.
  • the communication module 730 may support various forms of network interface.
  • the communication module 730 may support various types of communication protocols.
  • the data management module 721 may manage data that may be stored or stored in the memory 710.
  • the data management module 721 may create, collect, store, modify, analyze, query, and delete various data in association with the memory 710.
  • the data management module 721 may generate a new set of instructions through analysis of data stored in the memory 710.
  • the external system connection management module 726 may manage a communication channel with another server.
  • the external system connection management module 726 may control an operation for data exchange through a communication channel.
  • the external system connection management module 726 may control and provide information to another server.
  • the external system connection management module 726 may respond to a request for device control and information provision from another server.
  • the server 108 provides various internet services including weather, news, or video streaming in conjunction with the plurality of external electronic devices 210 through the external system connection management module 726. can do.
  • the external system connection management module 726 receives information from a service providing server (eg, a weather providing server), and if the information matches a condition registered in advance by the user (eg, a predetermined temperature or less), the appointment is made in advance.
  • the device control command signal (eg, start of the humidifier operation) to the execution management module 723.
  • the device connection management module 727 may manage an electronic device (eg, the electronic device 101, the access point 202, or the plurality of external electronic devices 210) connected to the server 108.
  • the device connection management module 727 may manage a communication channel connected to the server 108.
  • the device connection management module 727 may control data transmission and reception through a communication channel.
  • the device management module 722 registers an electronic device (for example, the electronic device 101, the access point 202, or the external electronic devices 210) that may or may be registered with the server 108. At least one of register, unregister, status query, activation, or deactivation may be performed.
  • the execution management module 723 may transmit an execution command for the electronic device 101 identified through the memory 710 to the electronic device 101.
  • the event management module 724 may check the event that occurred externally.
  • the event management module 724 may identify a set of instructions corresponding to the externally occurring event.
  • the event management module 724 may query a set of instructions stored in the memory 710 through the data management module 721 to identify the set of instructions.
  • the event management module 724 detects an event about a state change of the electronic device 101 and status information of the electronic device 101 stored in the memory 710 through the data management module 721. Can be changed.
  • the account management module 725 may control the electronic device 101 to access the server 108 based on the account information stored in the memory 710.
  • the account management module 725 may control access to the electronic device 101 registered in the server 108.
  • the account management module 725 can control the right to view or modify the server 108 as a whole.
  • the account management module 725 may control an inquiry or modification authority for at least one of the plurality of external electronic devices 210.
  • the system 200 includes an electronic device 101, an access point 202, and a server 108, but in terms of system 200 configuration, the access point 202 or the server 108 It may operate as some component in the electronic device 101.
  • an operation for voice command recognition may be processed inside the electronic device 101 without the server 108.
  • an operation of the server 108 for controlling the plurality of external electronic devices 210 may be processed inside the electronic device 101.
  • the electronic device 101 may control the plurality of external electronic devices 210 in the form of a peer to peer (P2P) using a local network.
  • P2P peer to peer
  • the electronic device 101 in an environment in which the access point 202 is absent, the electronic device 101 may perform a part or all of the role of the access point 202 by itself.
  • FIG. 8 illustrates an example of a signal flow for calculating a distance between an access point 202 and a first external electronic device 211 according to various embodiments.
  • FIG. 8 illustrates a method for calculating a distance d 0 between the electronic device 101 and the first external electronic device 211 according to a fine timing measurement (FTM).
  • the first external electronic device 211 may be one of the plurality of external electronic devices 110.
  • the access point 202 (eg, the processor 501 of the access point 202) transmits an FTM request signal to the first external electronic device 211.
  • the first external electronic device 211 may receive the FTM request signal from the access point 202.
  • the first external electronic device 211 may transmit an acknowledgment signal (ACK signal) to the FTM request signal to the access point 202.
  • the access point 202 may receive an acknowledgment signal for the FTM request signal from the first external electronic device 211.
  • the first external electronic device 211 may transmit a first FTM response signal to the access point 202 based on the FTM request signal.
  • the first external electronic device 211 may transmit the first FTM response signal at a first timing t 1 807.
  • the access point 202 may receive a first FTM response signal from the first external electronic device 211.
  • the access point 202 may receive the first FTM response signal at a second timing t 2 808.
  • the access point 202 may track the reception time of the first FTM response signal.
  • the access point 202 may receive the first FTM response signal at a second timing t 2 808.
  • the access point 202 may transmit an ACK signal to the first external electronic device 211 to the first FTM response signal.
  • the access point 202 may transmit an acknowledgment signal (ACK signal) for the first FTM response signal at a third timing t 3 809.
  • the first external electronic device 211 may receive an acknowledgment signal for the first FTM response signal from the access point 202.
  • the first external electronic device 211 may receive an acknowledgment signal for the first FTM response signal at a fourth timing t 4 810.
  • the first external electronic device 211 may transmit a second FTM response signal to the access point 202 based on the acknowledgment signal for the first FTM response signal.
  • the second FTM response signal may include information about the first timing t 1 807 and the fourth timing t 4 810.
  • the access point 202 may receive a second FTM response signal from the first external electronic device 211.
  • the access point 202 may transmit an acknowledgment signal for the second FTM response signal to the first external electronic device 211.
  • the first external electronic device 211 may receive an acknowledgment signal for the second FTM response signal from the access point 202.
  • the access point 202 may perform the first timing (t 1 ) 807, the second timing (t 2 ) 808, the third timing (t 3 ) 809, and the fourth timing.
  • the distance d 0 between the access point 202 and the first external electronic device 211 may be identified based on (t 4 ) 810.
  • the access point 202 (or distance measuring module 510) is configured as shown in Equation 1 below by multiplying the speed c of the signal by the time taken to transmit the signal, and the first external electronics.
  • the distance d 0 between the devices 211 can be generated.
  • the access point 202 may obtain information about a distance between the access point 202 and the first external electronic device 211 using Equation 1 below.
  • Equation 1 d 0 may represent the distance between the access point 202 and the first external electronic device 211, c may represent the speed of the signal, t 1 represents the first timing (807). T 2 may represent the second timing 808, t 3 may represent the third timing 809, and t 4 may represent the fourth timing 810.
  • At least one wireless communication circuit eg, the wireless communication module 192 or the communication module 190
  • the touch screen display For example, the display device 160, a processor (eg, the processor 120) operatively connected to the at least one wireless communication circuit and the touchscreen display, and a memory (eg, the memory 130 operatively connected to the processor).
  • the memory when executed, is executed by the processor through the at least one wireless communication circuit, through a first external electronic device (eg, a first external electronic device 211 or a second external electronic device ( 212) and a second external electronic device (e.g., the first external electronic device 211 or the second external electronic device 212) to receive first information, and the signal obtained through the wireless communication circuit and / Or the at least one wireless communication circuit Determine the location and / or direction of the first external electronic device and the location and / or direction of the second external electronic device based at least in part on the second information received through the second information, and determine the location and / or direction on the touchscreen display.
  • a first external electronic device eg, a first external electronic device 211 or a second external electronic device ( 212) and a second external electronic device (e.g., the first external electronic device 211 or the second external electronic device 212)
  • the at least one wireless communication circuit Determine the location and / or direction of the first external electronic device and the location and / or direction of the second external electronic device
  • GUI graphical user interface
  • the instructions may include the first external electronic device (eg, a first external device) in which the processor (eg, the processor 120) communicates wirelessly with the electronic device (eg, the electronic device 101).
  • the instructions may cause the processor (eg, the processor 120) to receive the second information from the access point (eg, the access point 202).
  • the third information may include an ID (ID) of the first external electronic device (eg, the first external electronic device 211 or the second external electronic device 212) and the second external electronic device ( For example, it may include an ID of the first external electronic device 211 or the second external electronic device 212 and information on the operation.
  • ID an ID of the first external electronic device
  • the second external electronic device For example, it may include an ID of the first external electronic device 211 or the second external electronic device 212 and information on the operation.
  • the third information may include an IP address.
  • the operation may include at least one of mirroring, streaming, or sharing.
  • the first information may include the first external electronic device (eg, the first external electronic device 211 or the second external electronic device 212) and the second external electronic device (eg, the first external device). It may include a capability of the electronic device 211 or the second external electronic device 212.
  • the instructions may cause the processor (eg, the processor 120) to store the first information in a profile form.
  • the display eg, the display device 160
  • the communication module eg, the communication module 190
  • the display A processor (eg, processor 120) operatively coupled with the communication module, wherein the processor includes a plurality of external electronic devices (eg, multiple) associated with the access point from an access point (eg, access point 202).
  • the first data is stored at distances between the access point (eg, the access point 202) and each of the plurality of external electronic devices (eg, the plurality of external electronic devices 210).
  • the third data regarding distances between each of the plurality of external electronic devices and the electronic device (eg, the electronic device 101). It may be configured to identify, based on a signal received from each of the plurality of external electronic devices, to obtain the second data, based at least on the first data and the third data.
  • 9A illustrates an example of an operation of the electronic device 101 according to various embodiments of the present disclosure.
  • Such an operation may be performed by the electronic device 101 shown in FIG. 1, the electronic device 101 shown in FIG. 3, or the processor 120 included in the electronic device 101.
  • the processor 120 may receive first information about the first external electronic device 211 and the second external electronic device 212.
  • the first information may include information about a function of the first external electronic device 211 and information about a function of the second external electronic device 212.
  • the information about the function may include information about whether it is an input device, whether to perform a function of screen output, whether to perform a function of sound output, or information about a connection protocol.
  • the processor 120 may determine the location and / or direction of the first external electronic device 211 and the location and / or direction of the second external electronic device 212.
  • the processor 120 may determine the location and / or orientation of the first external electronic device 211 and the second external electronic device based on at least in part on the signal and / or the second information obtained through the wireless communication circuit 192. Position and / or orientation of 212).
  • the processor 120 may identify at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces based on the signal obtained through the wireless communication circuit 192.
  • the processor 120 may receive second information regarding the positional relationship of the plurality of external electronic devices 210 from the access point 202.
  • the processor 120 and / or the first external electronic device 211 based on at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces based on the second information.
  • the location and / or direction of the second external electronic device 212 may be determined.
  • the processor 120 may communicate with the first external electronic device 211 based at least in part on the determined position and / or the determined direction of the first external electronic device 211 and the second external electronic device 212.
  • a graphical user interface representing the second external electronic device 212 may be provided.
  • the processor 120 may include an object representing the first external electronic device 211 based on the determined position and / or the determined direction of the first external electronic device 211 and the second external electronic device 212. 2
  • the object representing the external electronic device 212 may be displayed on the display device 160 in a plan view.
  • the processor 120 may receive a gesture input for selecting the first external electronic device 211 and the second external electronic device 212.
  • the gesture input may include a gesture input for connecting the first external electronic device 211 and the second external electronic device 212.
  • the processor 120 connects the first external electronic device 211 and the second external device 212 through a drag input, a tap input, or a voice command input. Can receive input.
  • the processor 120 may transmit third information related to an operation of using the first external electronic device 211 and the second external electronic device 212.
  • the third information may include a signal for changing a driving mode of the first external electronic device 211 and the second external electronic device 212.
  • the processor 120 may identify the driving mode of the first external electronic device 211 and the driving mode of the second external electronic device 212 based on the first information.
  • the processor 120 transmits a signal for changing the driving mode of the first external electronic device 211 to the first external electronic device 211 based on the identified driving mode of the first external electronic device 211. can do.
  • the processor 120 may transmit a signal for changing the driving mode of the second external electronic device 212 to the second external electronic device 212 based on the driving mode of the second external electronic device 212.
  • FIG. 9B illustrates another example of an operation of the electronic device 101 according to various embodiments of the present disclosure. Such an operation may be performed by the electronic device 101 shown in FIG. 3 or the processor 120 included in the electronic device.
  • the processor 120 illustrates a positional relationship between each of the plurality of external electronic devices 210 and the access point 202 through the communication module 190 from the access point 202.
  • the first data for betting may be received.
  • the first data may include at least one of information on a distance or a direction between each of the plurality of external electronic devices 210 and the access point 202.
  • the processor 120 may receive an input regarding a connection mode from a user.
  • the connection mode may include an operation (for example, file sharing, image output (mirroring, streaming, or sharing)) to be performed through the connection of the plurality of external electronic devices 210.
  • the processor 120 may store an input relating to the connection mode in the memory 130.
  • the processor 120 may update the input regarding the connection mode to the situation information.
  • the processor 120 may receive an input regarding file sharing of external electronic devices.
  • the processor 120 may store an input for file sharing in the memory 130.
  • the processor 120 may update the input for file sharing to the situation information.
  • the processor 120 may identify the plurality of external electronic devices 210 to be displayed.
  • the operation of receiving an input regarding the connection mode may be omitted, and may be performed after the plurality of external electronic devices 210 are displayed on the electronic device 101.
  • the processor 120 may acquire second data for indicating a positional relationship between the electronic device 101 and each of the plurality of external electronic devices 210 based on the first data.
  • the plurality of external electronic devices 210 changed based on the at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces, based on the first data. ) May include information indicating a positional relationship.
  • the processor 120 may display the plurality of objects representing the plurality of external electronic devices 210 on the display device 160 based on the second data.
  • the plurality of objects may be indicated by a name of each of the plurality of external electronic devices 210 or may be indicated in a shape corresponding to each of the plurality of external electronic devices 210.
  • the processor 120 may detect an input for at least one of the plurality of objects through the input device 150.
  • the input may include an input for connecting the plurality of external electronic devices 210.
  • the input may include a drag input or a tap input.
  • the processor 120 may transmit a signal for connection to the at least one external electronic device indicated by the at least one object through the communication module 160.
  • the signal for connection may be transmitted to each external electronic device.
  • the processor 120 may transmit a signal for setting the computer as an input device (eg, a source) to the computer.
  • the processor 120 may transmit a signal for setting the monitor to an output device (eg, a display) to the monitor.
  • FIG. 10 illustrates an example of an operation of receiving data for indicating a positional relationship between a plurality of external electronic devices 210 in the electronic device 101 according to various embodiments of the present disclosure. Operations 1010 through 1020 of FIG. 10 may be related to operation 910 of FIG. 9.
  • the processor 120 requests the access point 202 for first data indicating a positional relationship between each of the plurality of external electronic devices 210 and the access point 202.
  • the signal may be transmitted through the communication module 190.
  • the first data may include at least one of information about a distance or a direction between the access point 202 and the plurality of external electronic devices 210. The method by which the access point 202 obtains the first data will be described later with reference to FIG. 11.
  • the processor 120 may receive, via the communication module 190, first data for indicating a positional relationship between each of the plurality of external electronic devices 210 and the access point 202. In various embodiments, the processor 120 may receive data indicating the positional relationship of the plurality of external electronic devices 210 directly from the plurality of external electronic devices 210.
  • FIG. 11 illustrates an example of an operation of identifying a distance and a direction between the access point 202 and the first external electronic device 211 through the FTM method in the access point 202 according to various embodiments.
  • FIG. 12 is a diagram for describing an example of a method of identifying a distance and a direction between a first external electronic device 211 and an access point 202, according to various embodiments.
  • the first external electronic device 211 may be one of the plurality of external electronic devices 110.
  • the processor 501 of the access point 202 may check information about a first distance between the access point 202 and the first external electronic device 211.
  • the processor 501 may check information about the first distance 1250 between the access point 202 and the first external electronic device 211.
  • the processor 501 determines that the first external electronic device 211 may exist on a line that forms a virtual circle 1251 having the center of the access point 202 as the radius of the first distance 1250. Can be.
  • the processor 501 may check information about a second distance between the electronic device 101 and the access point 202.
  • the processor 501 may check information about a direction and a distance based on the access point 202 of the electronic device 101.
  • the processor 501 may check the information about the second distance based on the information about the direction and the distance of the electronic device 101 based on the access point 202.
  • the processor 501 may check the second distance 1240.
  • the processor 501 may identify the location of the electronic device 101 as a place separated by the second distance 1240 of FIG. 12.
  • the processor 501 may estimate the location of the electronic device 101 through a plurality of antennas included in the access point 202.
  • the processor 501 may receive a signal from the electronic device 101 through a plurality of antennas. The processor 501 may estimate the position of the electronic device 101 through the phase difference of the received signal or the gain pattern of the array antenna. In various embodiments of the present disclosure, the processor 501 may estimate the location of the electronic device 101 through a plurality of microphones included in the access point 202. For example, the processor 501 may also receive a voice input of a user associated with the electronic device 101 at the access point 202. The processor 501 may estimate the location of the electronic device 101 based on the voice input. In various embodiments of the present disclosure, when the electronic device 101 moves, the processor 501 may obtain information about a moving direction and a distance of the electronic device 101.
  • the processor 501 may check information about a third distance between the electronic device 101 and the first external electronic device 211. For example, referring to FIG. 12, the processor 501 may check the third distance 1260. The processor 501 may receive information about the third distance from the electronic device 101. Accordingly, the processor 501 may have the first external electronic device 211 on the line forming the virtual circle 1261 having the center of the electronic device 101 and having a radius of the third distance 1260. You can check it.
  • the processor 501 identifies a location where the first external electronic device 211 may exist based on information about the first distance 1250, the second distance 1240, and the third distance 1260. can do.
  • the processor 501 may apply the intersection 1210 of the circle estimated through operation 1110 (eg, the virtual circle 1251) and the circle estimated through operation 1130 (eg, the virtual circle 1261). 1 It may be identified that an external electronic device 211 may exist. The intersection of two circles can be two. Accordingly, the first external electronic device 211 may exist at a location corresponding to the first intersection 1220 or at a location corresponding to the second intersection 1230.
  • the processor 501 may store information about candidate points (eg, the first intersection 1220 and the second intersection 1230) where the first external electronic device 211 may be located.
  • the processor 501 may identify whether data about an estimated position of the first external electronic device 211 falls below a designed variance. When the data on the estimated position of the first external electronic device 211 corresponds to a value larger than the determined variance, the processor 501 may perform operation 1130 again. According to an embodiment of the present disclosure, even when the size of the distributed data for the first estimated position of the first external electronic device 211 is smaller than the size of the predetermined distributed data, the processor 501 may perform operation 1130 again to improve the accuracy. Can be done.
  • the processor 501 may perform a virtual circle (eg, virtual) drawn through operation 1110. It is possible to identify that the first external electronic device 211 is present at the intersection 1283 of the circle 1251 of FIG. 1 and the newly estimated circle (eg, the virtual circle 1262).
  • the processor 501 compares the variance of the intersection 1220 and the intersection 1281 and the variance of the intersection 1230 and the intersection 1282 previously estimated among the intersections 1221 and 1282 and distributes the dispersion. This small intersection can be estimated as the position of the first external electronic device 211.
  • the processor 501 may estimate that the first external electronic device 211 may exist around the intersection 1230 and the intersection 1282 identified in the previous operation 1130.
  • the processor 501 may again identify whether the variance of the data for the estimated position of the first external electronic device 211 is equal to or less than a designated variance.
  • the processor 501 may determine that the position of the first external electronic device 211 corresponds to the intersection 1230 when the distribution of data with respect to the reestimated position of the first external electronic device 211 is less than or equal to the specified dispersion. In other words, when the distribution of data with respect to the estimated location of the first external electronic device 211 is less than or equal to the predetermined distribution, the processor 501 may determine that the estimated location corresponds to the location of the first external electronic device 211. have.
  • the processor 501 may transmit first data regarding the location of the first external electronic device 211 to the electronic device 101.
  • the operation of the processor 501 confirming the information on the distance and the information on the direction of the first external electronic device 211 is not limited to the order of FIG. 11 and may be changed.
  • the processor 501 may identify a movement distance and a direction of the electronic device 101 and the access point 201 at a reference position.
  • the processor 501 is based on the position of the first external electronic device 211 estimated at the changed position and the position of the first external electronic device 211 estimated at the reference position. Can be estimated.
  • FIG. 13 illustrates an example of a signal flow for identifying a distance between an electronic device 101, an access point 202, or a first external electronic device 211 in an access point 202, according to various embodiments. .
  • the electronic device 101 and the access point 202 may use a fine timing measurement (FTM) method illustrated in FIG. 8.
  • the first external electronic device 211 may be one of the plurality of external electronic devices 110.
  • the access point 202 may obtain information about a distance between the access point 202 and the electronic device 101. Operation 1310 may be performed similar to the method shown in FIG. 8.
  • the access point 202 may obtain information about a distance between the access point 202 and the first external electronic device 211. Operation 1320 may be performed similarly to the method shown in FIG. 8.
  • the electronic device 101 may obtain information about a distance between the electronic device 101 and the first external electronic device 211. Operation 1330 may be performed similarly to the method shown in FIG. 8.
  • the electronic device 101 may transmit information about a distance between the electronic device 101 and the first external electronic device 211 to the access point 202.
  • the access point 202 is a distance between the electronic device 101 and the access point 202, a distance between the access point 202 and the first external electronic device 211, the electronic device 101 and the first external electronic device.
  • Information about the location of the first external electronic device 211 may be obtained based on the distance between the 211.
  • the electronic device 101 may perform the role of the access point 202.
  • the access point 202 may serve as the electronic device 101.
  • FIG. 14 illustrates another example of a signal flow for identifying a distance between the electronic device 101, the access point 202, or the first external electronic device 211 in the access point 202 according to various embodiments. do.
  • the electronic device 101 may sniff a signal between the access point 202 and the first external electronic device 211. have.
  • the electronic device 101 may transmit information about the sniffed signal to the access point 202.
  • the access point 202 eg, the processor 501 of the access point 202
  • the access point 202 may obtain a distance between the electronic device 101 and the first external electronic device 211 through the information about the sniffed signal. have.
  • the electronic device 101 may omit some signal transmission and reception of the electronic device 101 by using a sniffing method.
  • the first external electronic device 211 may be one of the plurality of external electronic devices 110.
  • the access point 202 may obtain information about a distance d 0 between the access point 202 and the electronic device 101. Operation 1410 may be performed similar to the method shown in FIG. 8.
  • the electronic device 101 may transmit a first FTM response signal to the access point 202.
  • the electronic device 101 may transmit the first FTM response signal at a first timing t 11 1411.
  • the access point 202 may receive the first FTM response signal.
  • the access point 202 may receive the first FTM response signal at the second timing t 12 1412.
  • the access point 202 may transmit an acknowledgment signal for the first FTM response signal to the first external electronic device 211.
  • the access point 202 may transmit an acknowledgment signal for the first FTM response signal at a third timing t 13 1413.
  • the access point 202 may receive an acknowledgment signal for the first FTM response signal.
  • the access point 202 may receive an acknowledgment signal for the first FTM response signal at a fourth timing t 14 1414.
  • the access point 202 may obtain information about a distance d 1 between the access point 202 and the first external electronic device 211. Operation 1420 may be performed similar to the method shown in FIG. 8.
  • the access point 202 may transmit an FTM request signal to the first external electronic device 211.
  • the first external electronic device 211 may receive an FTM request signal.
  • the first external electronic device 211 may transmit an acknowledgment signal (eg, an ACK signal) to the access point 202 based on the FTM request signal.
  • the access point 202 may receive an acknowledgment signal.
  • the first external electronic device 211 may transmit a third FTM response signal to the access point 202.
  • the first external electronic device 211 may transmit the third FTM response signal at the fifth timing t 21 1451.
  • the access point 202 may receive the third FTM response signal.
  • the access point 202 may receive the third FTM response signal at a sixth timing (t 22 ) 1442.
  • the electronic device 101 may sniff the third FTM response signal at a first sniffing timing t 25 1445.
  • the access point 202 may transmit an acknowledgment signal (eg, an ACK signal) to the first external electronic device 211 based on the third FTM response signal.
  • the access point 202 may transmit the acknowledgment signal at a seventh timing (t 23 ) 1443.
  • the first external electronic device 211 may receive the confirmation response signal.
  • the first external electronic device 211 may receive the acknowledgment signal at an eighth timing t 24 1444.
  • the electronic device 101 may sniff the acknowledgment signal transmitted from the access point 202 at a second sniffing timing t 26 1446.
  • the first external electronic device 211 may transmit a fourth FTM response signal to the access point 202.
  • the fourth FTM response signal may be a signal including information on the fifth timing t 21 1421 and the eighth timing t 24 1444.
  • the access point 202 may receive a fourth FTM response signal from the first external electronic device 211.
  • the access point 202 may transmit an acknowledgment signal (eg, an ACK signal) to the first external electronic device 211 based on the fourth FTM response signal.
  • the first external electronic device 211 may receive the confirmation response signal.
  • the electronic device 101 may transmit a fifth FTM response signal to the access point 202.
  • the fifth FTM response signal may include information about a first sniffing timing (t 25 ) 1445 and a second sniffing timing (t 26 ) 1446.
  • the access point 202 may receive a fifth FTM response signal from the electronic device 101.
  • the access point 202 may transmit an acknowledgment signal (eg, an ACK signal) to the electronic device 101 based on the fifth FTM response signal.
  • the electronic device 101 may receive an acknowledgment signal based on the fifth FTM response signal.
  • the access point 202 may access the first timing 1411 through the eighth timing 1444, the first sniffing timing 1445, the second sniffing timing 1446, the speed c of the signal, and the electronic device 101.
  • a point (202) distance (d 2) between the distance on the basis of (d 0), the electronic device 101 and the first external electronic device 211 between the can be identified.
  • the access point 202 may generate information about a distance d 2 between the electronic device 101 and the first external electronic device 211 configured as shown in Equation 2 below.
  • the access point 202 may obtain information about a distance between the access point 202 and the first external electronic device 211 using Equation 2 below.
  • d 2 may represent a distance between the access point 202 and the first external electronic device 211
  • d 0 may represent a distance between the access point 202 and the electronic device 101
  • C may represent speed
  • t 11 may represent first timing 1411
  • t 12 may represent second timing 1412
  • t 13 may represent third timing 1413
  • T 14 may represent the fourth timing 1414
  • t 21 may represent the fifth timing 1421
  • t 22 may represent the sixth timing 1442
  • t 23 may represent the seventh timing.
  • 1443, t 24 may represent an eighth timing 1444
  • t 25 may represent a first sniffing timing 1445
  • t 26 may represent a second sniffing timing 1446. have.
  • the electronic device 101 when the electronic device 101 sniffs an FTM related signal, the electronic device 101 transmits a sniffed FTM related signal from a packet included in the sniffed FTM related signal (eg, a first external device). Phase information of the electronic device 211 may be obtained.
  • the electronic device 101 is located in an area corresponding to the direction in which the device that transmitted the sniffed FTM-related signal is directed toward the first point of the electronic device 101 based on the phase information of the device that transmitted the FTM-related signal. It may be determined whether it is an electronic device.
  • the electronic device 101 may perform the role of the access point 202.
  • the access point 202 may serve as the electronic device 101.
  • FIG. 15A illustrates another example of a signal flow for identifying a location relationship of a plurality of external electronic devices 210 in an electronic device 101 according to various embodiments of the present disclosure.
  • the electronic device 101 may be connected to the access point 202.
  • the first external electronic device 211, the second external electronic device 212, the access point 202, and the electronic device 101 may configure a local network.
  • the third external electronic device 1501 may not configure a local network.
  • the local network may not correspond to a network connected in the high frequency band. If the connection is not in the ultra-high frequency band (for example, 2.4Ghz communication, 5Ghz communication), information about the location of the external electronic device can be obtained through the FTM method.
  • the ultra-high frequency band for example, 2.4Ghz communication, 5Ghz communication
  • the access point 202 may transmit an FTM request signal to the first external electronic device 211.
  • the first external electronic device 211 may receive the FTM request signal from the access point 202.
  • the access point 202 may transmit an FTM request signal to the second external electronic device 212.
  • the second external electronic device 212 may receive the FTM request signal from the access point 202.
  • the first external electronic device 211 may transmit an FTM response signal to the access point 202.
  • the access point 202 may receive an FTM response signal from the first external electronic device 211.
  • the second external electronic device 212 may transmit an FTM response signal to the access point 202.
  • the access point 202 may receive an FTM response signal from the second external electronic device 212.
  • Operations 1511, 1512, 1513 and 1514 may be performed similarly to the method shown in FIG. 8.
  • the access point 202 may obtain information about the location of the first external electronic device 211 and the second external electronic device 212 through signal transmission. For example, the access point 202 may provide information regarding at least one of a distance or a direction of the first external electronic device 211 from the access point 202 and the second external electronic device 212 from the access point 202. Information about the positional relationship between the first external electronic device 211 and the second external electronic device 212 may be obtained based on information regarding at least one of a distance and a direction. According to an embodiment of the present disclosure, the access point 202 identifies that the received signal is a signal transmitted from the first external electronic device 211 based on a device identification included in the received signal, and receives the received signal.
  • Information about a direction between the first external electronic device 211 and the access point 202 may be obtained through an angle of arrival (AOA) of the received signal.
  • the access point 202 identifies that the received signal is a signal transmitted from the second external electronic device 212 based on a device identification included in the received signal, and receives the received signal.
  • Information about a direction between the second external electronic device 212 and the access point 202 may be obtained through an angle of arrival (AOA) of the received signal.
  • the access point 202 may transmit information regarding the positional relationship between the first external electronic device 211 and the second external electronic device 212 to the electronic device 101.
  • the electronic device 101 (for example, the processor 120 of the electronic device 101) may provide information about a positional relationship between the first external electronic device 211 and the second external electronic device 212 from the access point 202. Can be received.
  • the access point 202 may transmit information regarding the positional relationship between the first external electronic device 211 and the second external electronic device 212 to the server 108.
  • the server 108 may receive information regarding the positional relationship between the first external electronic device 211 and the second external electronic device 212 from the access point 202.
  • the electronic device 101 may transmit an FTM request signal to the third external electronic device 1501 to obtain information about the location of the third external electronic device 1501.
  • the third external electronic device 1501 may receive an FTM request signal from the electronic device 101.
  • the third external electronic device 1501 may transmit an FTM response signal to the electronic device 101.
  • the electronic device 101 may receive an FTM response signal from the third external electronic device 1501.
  • the electronic device 101 may receive information about the location of the third external electronic device 1501 through receiving the FTM response signal.
  • the information about the location of the third external electronic device 1501 may include information about the distance and the direction of the third external electronic device 1501.
  • the electronic device 101 may obtain direction information through information about a device ID included in the FTM signal of the third external electronic device 1501 and an angle of arrival (AOA) of the corresponding signal.
  • AOA angle of arrival
  • the electronic device 101 may transmit information regarding the location of the third external electronic device 1501 to the server 108.
  • the server 108 may receive information about the location of the third external electronic device 1501 from the electronic device 101.
  • operation 1523, operation 1524, or operation 1525 is illustrated as being performed by the electronic device 101, it may be performed by the access point 202.
  • the electronic device 101 may identify at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces. At least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces will be described later with reference to FIG. 19.
  • the electronic device 101 based on at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces, the first external electronic device 211 and the second, based on the second electronic device 101.
  • the positional relationship between the external electronic device 212 and the third external electronic device 1501 may be identified.
  • the electronic device 101 stores the respective objects representing the first external electronic device 211, the second external electronic device 212, and the third external electronic device 1501 based on the identified positional relationship. ) May be displayed on a screen (eg, the display device 160).
  • FIG. 15B illustrates another example of a signal flow for identifying a location relationship of a plurality of external electronic devices 210 in the electronic device 101 according to various embodiments of the present disclosure.
  • the electronic device 101 may be connected to the access point 202.
  • the first external electronic device 211, the second external electronic device 212, the access point 202, and the electronic device 101 may configure a local network.
  • the third external electronic device 1501 may not configure a local network.
  • the local network may correspond to a network connected in an ultra high frequency band.
  • the electronic device 101 performs a beam sweeping process on predetermined sectors (eg, 16), Through the sweeping process, a sector (eg, a best sector) having the highest communication performance is determined to determine a direction of a beam to be transmitted to an external electronic device (eg, the first external electronic device 211 and the second external electronic device 212).
  • the beam sweeping process includes an operation in which the electronic device 101 transmits a beam to each sector determined to the external electronic device, and the external electronic device determines the best performing sector based on the communication state of the received beam for each sector. Determining the beam and transmitting the beam to the electronic device 101, and estimating a direction between the external electronic device and the electronic device 101 based on the determined sector.
  • the access point 202 may transmit a location measurement signal via a beam to the first external electronic device 211 in ultrahigh frequency band communication.
  • the first external electronic device 211 may receive a position measurement signal through a beam.
  • the access point 202 may transmit a position measurement signal through a beam to the second external electronic device 212 in the microwave communication.
  • the second external electronic device 212 may receive a position measurement signal through a beam from the access point 202.
  • the access point 202 transmits information on at least one of the distance or direction of the first external electronic device 211, information on at least one of the distance or the direction of the second external electronic device 212 or the device ID through the beam. Information can be obtained.
  • the access point 202 may obtain information about the locations of the first external electronic device 211 and the second external electronic device 212. Operation 1560 may be implemented the same as or similar to operation 1520 of FIG. 15A.
  • the access point 202 may transmit information regarding the positional relationship between the first external electronic device 211 and the second external electronic device 212 to the electronic device 101.
  • the electronic device 101 may receive information about a positional relationship between the first external electronic device 211 and the second external electronic device 212 from the access point 202.
  • Operation 1561 may be implemented the same as or similar to operation 1521 of FIG. 15A.
  • the access point 202 may transmit information regarding the positional relationship between the first external electronic device 211 and the second external electronic device 212 to the server 108.
  • the server 108 may receive information regarding the positional relationship between the first external electronic device 211 and the second external electronic device 212 from the access point 202.
  • Operation 1562 may be implemented the same as or similar to operation 1522 of FIG. 15A.
  • the electronic device 101 (eg, the processor 120 of the electronic device 101) sends a message to the third external electronic device 1501 to obtain information about the location of the third external electronic device 1501.
  • the FTM request signal can be transmitted.
  • the third external electronic device 1501 may receive an FTM request signal from the electronic device 101.
  • Operation 1563 may be implemented the same as or similar to operation 1523 of FIG. 15A.
  • the third external electronic device 1501 may transmit an FTM response signal to the electronic device 101.
  • the electronic device 101 may receive an FTM response signal from the third external electronic device 1501.
  • Operation 1564 may be implemented the same as or similar to operation 1524 of FIG. 15A.
  • the electronic device 101 may transmit information regarding the location of the third external electronic device 1501 to the server 108.
  • the server 108 may receive information about the location of the third external electronic device 1501 from the electronic device 101.
  • Operation 1565 may be implemented the same as or similar to operation 1525 of FIG. 15A.
  • the electronic device 101 may identify at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces.
  • An example of a method for identifying at least one external electronic device located in an area corresponding to a direction in which the first point of the electronic device 101 faces will be described later with reference to FIG. 19.
  • a method for identifying at least one external electronic device located in an area corresponding to a direction in which the first point of the electronic device 101 faces may be implemented through various methods in addition to the method shown in FIG. 19. Can be.
  • Operation 1570 may be implemented the same as or similar to operation 1530 of FIG. 15A.
  • the electronic device 101 may refer to the first external electronic device 211 and the second external device based on at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces.
  • the positional relationship between the external electronic device 212 and the third external electronic device 1501 may be identified.
  • Operation 1580 may be implemented the same as or similar to operation 1540 of FIG. 15A.
  • 16 illustrates an example of a packet transmitted from an unregistered external electronic device according to various embodiments of the present disclosure.
  • the packet illustrated in FIG. 16 may include a reserved field 1610.
  • the reservation field 1610 may include information about a manufacturer name 1620, information about a device type 1630, information about a model name 1640, and information about a function 1650.
  • the access point 202 may receive a signal regarding an unregistered external electronic device.
  • the access point 202 may obtain information about the external electronic device even when the external electronic device (for example, the first external electronic device 211) uses a vendor-specific protocol.
  • the identification information of the external electronic device may be displayed by arbitrarily assigning a value to a reserved field of a packet of a well-known band such as Bluetooth or Wifi.
  • the external electronic device may transmit the packet together with the discovery signal. Accordingly, the external electronic device may transmit information regarding the type, name, or function of the external electronic device to the access point 202.
  • the external electronic device may not support transmission of the packet illustrated in FIG. 16. Even when the external electronic device cannot transmit a packet indicating identification information of the external electronic device, the external electronic device may configure a reservation field including the identification information of the external electronic device through a software update. For example, if the external electronic device does not have the hardware requirements for distance and direction measurement, then the external electronic device may be required for the distance and direction measurement, such as the FTM protocol and rule sets for discovery signaling. Can be defined in software. The external electronic device may operate in connection with distance or direction measurement through updating of software of the external electronic device.
  • an external electronic device designed to not acquire information about distance and direction may operate in connection with distance or direction measurement through a software update or firmware update for distance or direction measurement.
  • an external electronic device that does not broadcast a signal may transmit a discovery signal upon receiving a specific signal through a firmware update including a user-defined protocol designed to transmit location information. The external electronic device may transmit the FTM response signal in response to the FTM request signal through the firmware update.
  • FIG. 17 illustrates an example of a signal flow for identifying a function of a plurality of external electronic devices 210 in an electronic device 101 according to various embodiments of the present disclosure.
  • the electronic device 101 may be connected to the access point 202.
  • the first external electronic device 211, the second external electronic device 212, the access point 202, and the electronic device 101 may configure a local network.
  • the third external electronic device 1501 may not configure a local network.
  • the second external electronic device 212 may be an electronic device registered in an account of the electronic device 101.
  • the first external electronic device 211 may be an electronic device that is not registered in the account of the electronic device 101.
  • the electronic device 101 transmits an information request signal about a function of the second external electronic device 212 registered in the account to the server 108.
  • the information about the function may include at least some of information about whether the device is an input device, whether to perform a function of screen output, whether to perform a function of sound output, or information about a connection protocol.
  • the electronic device 101 may transmit the information request signal for the function based on a predetermined protocol.
  • the designated protocol may be a separate protocol specified by the manufacturer or a protocol based on an open connectivity foundation (OCF).
  • the server 108 eg, the processor 720 of the server 108) may receive an information request signal regarding the function of the second external electronic device 212.
  • the server 108 may transmit information regarding the function of the second external electronic device 212 to the electronic device 101.
  • the electronic device 101 may receive information about a function of the second external electronic device 212 registered in the account from the server 108.
  • the electronic device 101 may store the received information about the function of the second external electronic device 212 in the memory 130 of the electronic device 101.
  • the electronic device 101 may store the received information about the function of the second external electronic device 212 in a profile format.
  • the electronic device 101 may transmit a service request signal to the first external electronic device 211 through the access point 202.
  • the first external electronic device 211 may receive a service request signal from the electronic device 101.
  • the first electronic device 211 may transmit the service request signal through a broadcasting scheme.
  • the service request signal may be transmitted directly to the first external electronic device 211 without passing through the access point 202.
  • the access point 202 processes the signal received from the electronic device 101 or the first external electronic device 211 to process the electronic device 101. ) Or to the first external electronic device 211.
  • the first external electronic device 211 may transmit a service response signal to the electronic device 101 through the access point 202.
  • the access point 202 may receive a service response signal received from the first external electronic device 211.
  • the first external electronic device 211 may directly transmit a service response signal to the electronic device 101 without passing through the access point 202.
  • the access point 202 may process and transmit a service response signal received from the first external electronic device 211 to the electronic device 101.
  • the electronic device 101 may determine that the first external electronic device 211 may interwork with the electronic device 101 based on the reception of the service response signal.
  • the electronic device 101 may transmit an information request signal regarding a function of the first external electronic device 211 to the first external electronic device 211 through the access point 202.
  • the first external electronic device 211 may receive an information request signal regarding the function of the first external electronic device 211 from the electronic device 101.
  • the electronic device 101 may directly transmit an information request signal regarding the function of the first external electronic device 211 to the first external electronic device 211 without passing through the access point 202.
  • the first external electronic device 211 may transmit information about a function of the first external electronic device 211 to the electronic device 101 through the access point 202.
  • the electronic device 101 may receive information about a function of the first external electronic device 211 from the access point 202.
  • the first external electronic device 211 may directly transmit information about the function of the first external electronic device 211 to the electronic device 101 without passing through the access point 202.
  • the electronic device 101 may store the received information about the function of the first external electronic device 211 in the memory 130 of the electronic device 101.
  • the electronic device 101 may store the received information about the function of the first external electronic device 211 in a profile format.
  • the electronic device 101 may transmit the received information about the function of the first external electronic device 211 to the server 108.
  • the server 108 may receive information about the function of the first external electronic device 211.
  • the electronic device 101 may upload or synchronize information on the function of the first external electronic device 211 to the server 108.
  • the electronic device 101 may transmit a service request signal and a connection request signal to the third external electronic device 1501.
  • the third external electronic device 1501 may receive a service request signal and a connection request signal from the electronic device 101.
  • the third external electronic device 1501 may use a vendor-specific protocol.
  • the connection request signal may include a packet for establishing a connection. The packet may correspond to the packet according to FIG. 16.
  • the third external electronic device 1501 may transmit a service response signal and a connection response signal to the electronic device 101.
  • the electronic device 101 may receive a service response signal and a connection response signal.
  • the electronic device 101 may establish a connection with the third external electronic device 1501 through the transmitted connection response signal.
  • the electronic device 101 and the third external electronic device 1501 may exchange data based on the connection.
  • the electronic device 101 may transmit an information request signal regarding a function of the third external electronic device 1501 to the third external electronic device 1501.
  • the third external electronic device 1501 may receive an information request signal regarding the function of the third external electronic device 1501 from the electronic device 101.
  • the third external electronic device 1501 may transmit information about the function of the third external electronic device 1501 to the electronic device 101.
  • the electronic device 101 may receive information about a function of the third external electronic device 1501 from the third external electronic device 1501.
  • the electronic device 101 may store information about a function of the third external electronic device 1501 in the memory 130 of the electronic device 101.
  • the electronic device 101 may store the received information about the function of the third electronic device in the form of a profile.
  • the electronic device 101 may transmit the received information about the function of the third external electronic device 1501 to the server 108.
  • the server 108 may receive information about the function of the third external electronic device 1501.
  • the electronic device 101 may upload or synchronize information about the function of the third external electronic device 1501 to the server 108.
  • FIG. 18 illustrates an example of an operation for displaying a plurality of objects representing the plurality of external electronic devices 210 in the electronic device 101 according to various embodiments of the present disclosure.
  • the processor 120 of the electronic device 101 may identify at least one external electronic device located in an area corresponding to a direction in which the first point of the electronic device 101 faces. have. At least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces will be described later with reference to FIG. 19.
  • the processor 120 may further determine whether it is necessary to additionally display the external electronic device based on the input mode received from the user. For example, if it is necessary to additionally display an external electronic device, the processor 120 may perform operation 1830. In another example, when there is no need to additionally display an external electronic device, the processor 120 may perform operation 1850.
  • the processor 120 may identify an arrangement of additional external electronic devices that are not connected to the electronic device 101 or the access point 202.
  • the processor 120 may identify an arrangement of an external electronic device that is not connected to the electronic device 101 or the access point 202 based on the connected mode but may perform an operation related to the connected mode.
  • the processor 120 may identify an arrangement of an external electronic device that is previously connected to the electronic device 101 or the access point 202, but may perform an operation relating to a connection mode in which a current signal is not received. .
  • the connection mode is a file sharing operation
  • the processor 120 may add a notebook that can perform a file sharing operation even when the notebook is not currently connected to the electronic device 101. Can be identified.
  • Processor 120 may identify the placement of the notebook via server 108 or access point 202.
  • the processor 120 may add and display an object representing the notebook on the electronic device 101.
  • the processor 120 may identify an object representing the external electronic device to be displayed on the electronic device 101 based on the connected mode. For example, if the connection mode corresponds to file sharing, the processor 120 excludes from the display an object representing an external electronic device (eg, IoT bulb, oven) that is unable to perform an operation related to file sharing. can do. As another example, the processor 120 may display an object indicating an external electronic device that cannot perform an operation related to file sharing.
  • an external electronic device eg, IoT bulb, oven
  • the processor 120 indicates a plurality of external electronic devices 210 based on at least one external electronic device located in an area corresponding to a direction in which the first point of the electronic device 101 faces. You can display objects. For example, the processor 120 may be located in an area corresponding to a direction in which the first point of the electronic device 101 faces, based on the information about the positional relationship of the plurality of external electronic devices 210. The second data regarding the positional relationship of the plurality of external electronic devices based on the external electronic device may be obtained. The processor 120 may display a plurality of objects representing the external electronic device, which is arranged based on the second data.
  • FIG. 19 is a diagram illustrating an example of a method of identifying at least one external electronic device located in an area corresponding to a direction in which a first point of the electronic device 101 faces, according to various embodiments of the present disclosure.
  • the electronic device 101 may include a plurality of antennas.
  • the signal feature extraction module 420 may compare phase values of signals received through the plurality of antennas.
  • the signal feature extraction module 420 may transmit the compared phase value to the device determination module 440.
  • the device determination module 440 may determine the position of the external electronic device based on the compared phase value.
  • the electronic device 101 may process signals for the plurality of external electronic devices 210 through the plurality of antennas. Accordingly, the electronic device 101 may determine the positional relationship of the plurality of external electronic devices 210.
  • the electronic device 101 eg, the processor 120 of the electronic device 101
  • the electronic device 101 can identify at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces.
  • the electronic device 101 may determine the positions of the plurality of external electronic devices 210 based on at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces. .
  • the electronic device 101 is located at least in an area corresponding to the direction in which the first point of the electronic device 101 faces based on a phase difference and a signal strength of the RF signal received using the plurality of antennas.
  • One external electronic device may be identified.
  • the electronic device 101 may receive RF signals broadcast by the first external electronic device 211 using the first antenna and the second antenna, respectively. When the phase difference between the first RF signal received through the first antenna and the second RF signal received through the second antenna is 0, the first point of the electronic device 101 is changed to the first external electronic device 211. It may be identified as at least one external electronic device located in an area corresponding to the facing direction.
  • the electronic device 101 faces the first external electronic device 211 toward the first point of the electronic device 101.
  • At least one external electronic device located in an area corresponding to the identification may be identified.
  • the electronic device 101 includes at least one of the first external electronic device 211 located in an area corresponding to the direction in which the first point of the electronic device 101 faces. Can be identified as an external electronic device.
  • the electronic device 101 may include two antennas on both sides of the electronic device 101.
  • the first external electronic device 211 may broadcast a signal.
  • the first signal received through the first antenna on the left side of the electronic device 101 and the second signal received through the second antenna on the right side of the electronic device 101 are determined.
  • the phase difference may be zero or less than a preset value.
  • the electronic device 101 of the first state 1910 at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces is the first external electronic device 211.
  • the electronic device 101 of the second state 1920 may include at least one external electronic device located in an area corresponding to a direction in which the first point of the electronic device 101 faces. It may be identified that the device 211.
  • the first signal received through the first antenna on the left side of the electronic device 101 and the second antenna on the right side of the electronic device 101 are received.
  • the phase difference of the second signal may exceed a preset value.
  • at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces is the first external electronic device 211.
  • the electronic device 101 may be configured as a first device. At least one external electronic device located in an area corresponding to a direction in which one point faces may be designated as the access point 202.
  • the electronic device 101 can reduce the time required to acquire the second data. have. Therefore, the electronic device 101 can perform a quick response by reducing the time required for screen display.
  • At least one external electronic device identification located in an area corresponding to the direction in which the first point of the electronic device 101 faces may be performed through the device determination module 440 inside the processor 120.
  • the device determination module 440 uses at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 is directed, using information other than the phase difference information received from the signal feature extraction module 420.
  • the device can be identified.
  • the electronic device 101 is directed toward the first point of the electronic device 101 through antenna position information stored in the electronic device 101 and various sensor information received from the sensor information input module 450.
  • At least one external electronic device located in an area corresponding to the terminal may be identified.
  • the device determination module 440 may finally obtain weighted phase difference information by combining information other than the phase difference information with the phase difference information received from the phase difference calculating module. According to various embodiments of the present disclosure, the device determination module 440 may identify at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces based on the weighted phase difference information.
  • the device determination module 440 may obtain weighted phase difference information based on characteristics of the RF signal received from the signal feature extraction module 420.
  • the device determination module 440 may use the weight phase difference information to identify at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces.
  • each of the plurality of external electronic devices 210 identifies whether the electronic device 101 is located in an area corresponding to a direction in which a first point of each of the plurality of external electronic devices 210 faces. can do.
  • the first external electronic device 211 may identify whether the electronic device 101 is located in an area corresponding to the direction in which the first point of the first external electronic device 211 faces.
  • the first external electronic device 211 may transmit information indicating that the electronic device 101 is located in an area corresponding to the direction in which the first point of the first external electronic device 211 faces. .
  • the electronic device 101 may identify that the at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces is the first external electronic device 211 based on the information. .
  • An operation of identifying whether or not the electronic device 101 is located in an area corresponding to a direction in which the first point of each of the plurality of external electronic devices 210 is directed, and the electronic device ( The operation of identifying at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces may be performed at the same time or may be performed independently.
  • FIG. 20 illustrates an example of an operation for transmitting a signal for connection to at least one external electronic device in the electronic device 101 according to various embodiments of the present disclosure. Operations 2010 through 2030 of FIG. 20 may be related to operation 950 of FIG. 9.
  • the processor 120 of the electronic device 101 may receive input for objects included in displayed information based on a connection mode.
  • the electronic device 101 may receive an input (for example, a touch input or a voice input) from the user through the input device 150.
  • the processor 120 may receive an input for an object representing the plurality of external electronic devices 210 to perform a connection.
  • the processor 120 may acquire a driving mode of external electronic devices to be connected. According to various embodiments of the present disclosure, the processor 120 may acquire a driving mode of external electronic devices to be connected based on the connected mode. The processor 120 may determine a connection method of external electronic devices to be connected. The processor 120 may identify necessary and unnecessary connections according to the driving mode of the external electronic devices to be connected. The processor 120 may determine a connection method of external electronic devices to be connected in which unnecessary connection is excluded based on the identification.
  • the external electronic device to be connected may be a notebook, a monitor, or a speaker.
  • the connection mode of the electronic device 101 may be image playback. Therefore, the processor 120 may determine a connection method of a notebook, a monitor, and a speaker for playing an image.
  • the processor 120 may determine to connect the notebook and the monitor to provide information about the image from the notebook to the monitor. In another example, the processor 120 may determine to connect the notebook and the monitor to provide information about the sound from the notebook to the speaker. The processor 120 may not perform the connection between the monitor and the speaker, which is unnecessary for the image playback in the connection mode.
  • the processor 120 may transmit a signal for connection to at least one external electronic device to be connected.
  • the signal may be directly transmitted to at least one external electronic device to be connected.
  • the signal may be transmitted through an access point 202 to which an external electronic device to be connected is connected.
  • FIG. 21 is a diagram illustrating an example of a method of displaying an object representing an external electronic device in the electronic device 101 according to various embodiments of the present disclosure.
  • the processor 120 of the electronic device 101 based on the first data relating to the positional relationship of at least one external electronic device received from the access point 202 may be a first method of the electronic device 101.
  • Second data regarding the positional relationship of at least one external electronic device located in an area corresponding to a direction in which the point is directed may be acquired.
  • the processor 120 may arrange an object representing at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces is located at the center of the upper portion of the screen.
  • the electronic device 101 or the server 108 may store the electronic device 101, the access point 202, or a plurality of external electronic devices in a memory (eg, the memory 130 or the memory 710).
  • Information about the environment 2110 including 210 may be stored.
  • the electronic device 101 may request information about the environment 2110 from the server 108.
  • the electronic device 101 may receive information about the environment 2110 from the server 108.
  • the information about the environment 2110 may include information about a plan view 2120 representing a physical environment of width or width. Objects representing the electronic device 101, the access point 202, and the plurality of external electronic devices 210 may be arranged based on location information on the plan view 2120 representing the environment.
  • the object may be arranged to be proportional to the actual distance based on the size of the display area of the electronic device 101 in the plan view 2120.
  • the electronic device 101 may display the plan view 2120 on the display device 160 based on the size of the display area of the electronic device 101 for a tap or drag input.
  • the electronic device 101 may change the size of the plan view.
  • the electronic device 101 may display the structure of the environment estimated based on the locations of the plurality of external electronic devices 210 on the display device 160 as a plan view 2120 including the object in the electronic device 101. Can be.
  • 22A is a diagram for describing another example of a method of displaying an object representing an external electronic device in the electronic device 101 according to various embodiments of the present disclosure.
  • the electronic device 101 may have a positional relationship with a plurality of external electronic devices 210 on the display device 160 of the electronic device 101.
  • Screen 2231 including objects (eg, object 2202, object 2203, object 2204, object 2205, object 2206) representing a plurality of external electronic devices 210 based on ) Can be displayed.
  • the electronic device 101 may select the plurality of external electronic devices 210 based on the object 2201 representing the electronic device 101 being disposed at the bottom of the screen 2231 or the center of the screen 2231.
  • a plurality of objects eg, an object 2202, an object 2203, an object 2204, an object 2205, and an object 2206
  • the electronic device stores the plurality of objects in space and distance based on the positional relationship between the electronic device 101 and the plurality of electronic devices 110 and information about an environment (eg, the environment 2110) in which the electronic devices are disposed.
  • the display may be displayed on the screen 2227 to be proportional.
  • the electronic device 101 may display a plurality of objects representing the plurality of external electronic devices 210 by setting different sizes and colors.
  • the electronic device 101 may display a plurality of objects representing the plurality of external electronic devices 210 as objects representing the shapes of each of the plurality of external electronic devices 210.
  • FIG. 22B is a diagram for describing another example of a method of displaying an object representing an external electronic device in the electronic device 101 according to various embodiments of the present disclosure.
  • the electronic device 101 may include objects representing the plurality of external electronic devices 210 as a source device and an output device.
  • the screen 2227 may be controlled to be displayed on the display device 160.
  • the electronic device 101 may identify whether the plurality of external electronic devices 210 are the source device or the output device based on the information about the attributes of the plurality of external electronic devices. Based on the identification, the electronic device 101 may display objects representing the plurality of external electronic devices 210 (eg, the object 2212, the object 2213, the object 2214, the object 2215, and the object 2216). ) Can be displayed as a source device and an output device.
  • the electronic device 101 may display an object 2211 representing the electronic device 101 at the bottom of the screen 2272 or the center of the screen 2272.
  • the first area 2210 may be an area where an object representing the source device is displayed.
  • the second area 2220 may be an area where an object representing the output device is displayed.
  • An object 2217 indicating a source device may be displayed on an upper end of the first area 2210.
  • An object 2218 representing an output device may be displayed on an upper end of the second area 2220.
  • the object 2215 representing the source device or the object 2218 representing the output device does not always have to be displayed at the top of the area.
  • the electronic device 101 may arrange a plurality of objects representing the plurality of electronic devices 110 at various locations and may not display them.
  • FIG. 22C is a diagram for describing another example of a method of displaying an object representing an external electronic device in the electronic device 101 according to various embodiments of the present disclosure.
  • an electronic device 101 may include objects (eg, an object 2222 and an object 2223) representing the plurality of external electronic devices 210. ), The object 2224, the object 2225, and the object 2226 are displayed on the display device 160 to display the screen 2273 arranged according to the signal strength received from the plurality of external electronic devices 210. can do.
  • the electronic device 101 may display an object 2221 representing the electronic device 101 on the bottom of the screen 2273 or the center of the screen 2273.
  • the electronic device 101 may detect the strength of signals received from the plurality of external electronic devices 210 through the communication module 190.
  • the electronic device 110 may display objects (eg, the object 2222, the object 2223, the object 2224, the object 2225, representing the plurality of external electronic devices 210) based on the detected signal strength.
  • Object 2226 For example, the electronic device 101 may obtain information about virtual positional relationships of the plurality of external electronic devices 210 based on the detected signal strength.
  • the electronic device 101 may display the objects 2230 representing the signal strength and the objects representing the plurality of external electronic devices 210 based on the information about the virtual positional relationship.
  • the electronic device 101 may display objects representing the plurality of external electronic devices 210 based on the relative positional relationship between the plurality of external electronic devices 210 and the electronic device 101 and the signal strength.
  • 22D is a diagram for describing another example of a method of displaying an object representing an external electronic device in an electronic device according to various embodiments of the present disclosure.
  • the electronic device 101 may display a screen 2274 including an external electronic device that does not touch a signal on the electronic device 101. It may be displayed on the display device 160 of 101.
  • the screen 2274 of the electronic device 101 includes an external area where the signal of the electronic device 101 and the first area 2240 including the external electronic device to which the signal of the electronic device 101 touches. It may include a second area 2250 including the electronic device.
  • the external electronic device to which a signal does not reach may be at least one external electronic device (for example, the first external electronic device 211 and the second external electronic device 212) in a different space from the electronic device 101. Can be.
  • the first wireless communication device in the space where the electronic device 101 is located may be connected to the second wireless communication device in the space where the electronic device 101 is not present.
  • the first external electronic device 211 and the second external electronic device 212 may be connected to the electronic device 101 through wireless communication devices (for example, an AP).
  • the electronic device 101 is connected to a positional relationship between the first external electronic device 211 and the second external electronic device 212, which do not reach the electronic device 101 through the first wireless communication device and the second wireless communication device. Information can be obtained. Based on the information about the positional relationship, the electronic device 101 may not use the object representing the external electronic device where the signal does not reach the first area 2240 in which the object 2231 indicating the electronic device 101 is displayed.
  • the electronic device 101 may display the first object 2251 representing the first external electronic device 211 and the second object 2252 representing the second external electronic device 212 as the object representing the electronic device 101 ( 2231 may be displayed in the second area 2250 instead of the displayed first area 2240.
  • the electronic device 101 may display an object 2231 indicating the electronic device 101 at the bottom of the first area 2240 or at the center of the first area 2240.
  • the electronic device 101 removes an object (eg, an object 2232, an object 2333, an object 2234, an object 2235, and an object 2236) representing a device in the same space as the electronic device 101.
  • One area 2240 may be displayed.
  • the electronic device 101 may display the object 2241 representing the first wireless communication device in the first area 2240 in which the object representing the electronic device 101 is displayed.
  • the electronic device 101 may display an object 2253 representing the second wireless communication device in the second area 2250.
  • the object 2221 representing the first wireless communication device and the object 2253 representing the second wireless communication device may be connected and displayed by a dotted line 2260 indicating that two devices are connected.
  • FIG. 23A is a diagram for describing an example of a method of changing a display of an object representing an external electronic device in the electronic device 101 according to various embodiments of the present disclosure.
  • an electronic device 101 may include objects (eg, an object 2302 and an object 2304) representing the plurality of external electronic devices 210. ),
  • the screen 2340 including the object 2305, the object 2306, and the object 2301 indicating the electronic device 101 may be displayed on the display device 160.
  • the electronic device 101 rotates objects (eg, the object 2302, the object 2304, the object 2305, and the object 2306) representing the plurality of external electronic devices 210 on the screen 2340.
  • the indicator 2310 may be further displayed.
  • the electronic device 101 may receive an input (eg, a drag or a tap) for selecting the indicator 2310.
  • the electronic device 101 generates an object (eg, an object 2302, an object 2304, an object 2305, and an object 2306) representing the plurality of external electronic devices 210 based on the selection input.
  • the object 2301 representing 101 may be rotated.
  • the electronic device 101 may display objects (eg, an object 2302, an object 2304, an object 2305, and an object 2306) representing the plurality of external electronic devices 210 based on a selection input of the indicator 2310.
  • the screen 2341 rotated 90 degrees about the object representing the electronic device 101 may be displayed.
  • objects representing the plurality of external electronic devices 210 eg, the object 2302, the object 2304, the object 2305, The object 2306 may be rotated and displayed at various angles (eg, 30 degrees, 180 degrees, or 270 degrees) according to a selection input of the indicator 2310.
  • FIG. 23B is a diagram for describing another example of a method of changing a display of an object representing an external electronic device in the electronic device 101 according to various embodiments of the present disclosure.
  • an electronic device 101 may include objects (eg, an object 2321 and an object 2313) representing the plurality of external electronic devices 210. )
  • a screen 2322 including an object 2314, an object 2315, an object 2316, and an object 2311 representing the electronic device 101 is displayed on the display device 160 of the electronic device 101.
  • the electronic device 101 may include a plurality of objects representing each of the plurality of external electronic devices 210 (eg, the object 2321, the object 2313, the object 2314, the object 2315, and the object 2316). May receive an input to change the placement of the.
  • the input may include a drag input.
  • the input may correspond to a drag input in the direction 2322.
  • the electronic device 101 may change the object 2321 from the first position 2323 to the second position 2324 based on the drag input in the direction 2322.
  • 24A is a diagram illustrating an example of a method of selecting an object representing an external electronic device in the electronic device 101 according to various embodiments of the present disclosure.
  • an electronic device 101 may include objects (eg, an object 2404 and an object 2405) representing the plurality of external electronic devices 210. ), A screen 2410 including an object 2406, an object 2407, an object 2408, and an object 2419 representing the electronic device 101 is displayed on the display device 160 of the electronic device 101. can do.
  • the electronic device 101 may receive an input for connecting the plurality of external electronic devices 210.
  • the input may include objects (eg, an object 2404, an object 2405, and an object) indicating the plurality of external electronic devices 210 included in the screen 2410 displayed on the display device 160 of the electronic device 101. 2406, object 2407, and object 2408.
  • the electronic device 101 may receive an input for connecting the plurality of external electronic devices 210 through a drag input.
  • the object 2407 may represent a personal computer (PC).
  • the object 2408 may represent a television (television).
  • the object 2406 may represent audio.
  • the electronic device 101 may receive a drag input for connecting the object 2407 and the object 2408 for connecting the PC and the TV.
  • the electronic device 101 may display an indicator 2411 (eg, an arrow) indicating a drag direction between the object 2407 and the object 2408.
  • the electronic device 101 may receive a drag input for connecting the object 2408 and the object 2406 for connecting the TV and the audio.
  • the electronic device 101 may display an indicator 2412 (eg, an arrow) indicating a drag direction between the object 2408 and the object 2406.
  • the electronic device 101 may receive a drag input connecting the object 2406 and the object 2407 for connecting the audio and the PC.
  • the electronic device 101 may display an indicator 2413 (eg, an arrow) indicating a drag direction between the object 2406 and the object 2407.
  • the electronic device 101 may continuously receive several drag inputs. For example, when the drag input is received from the object 2407 in the order of the object 2408, the object 2406, the electronic device 101 may identify the input as a connection for connecting all of the PC, the TV, and the audio. . The electronic device 101 may identify that the starting point of the drag is the object 2407.
  • the electronic device 101 may determine a PC, which is an external electronic device indicated by the object 2407 at the start point of dragging, as the source device.
  • 24B is a diagram for describing another example of a method of selecting an object representing an external electronic device in the electronic device 101 according to various embodiments of the present disclosure.
  • the electronic device 101 may include objects (eg, the object 2414 and the object 2415) representing the plurality of external electronic devices 210. ), A screen 2420 including an object 2416, an object 2417, an object 2418, and an object 2429 representing the electronic device 101 is displayed on the display device 160 of the electronic device 101. can do.
  • the electronic device 101 may receive an input for connecting the plurality of external electronic devices 210 through a tap input.
  • object 2414 may represent a personal computer (PC).
  • the object 2415 may represent a television (television).
  • Object 2416 may represent audio.
  • the electronic device 101 may receive a tap input for connecting a PC, a TV, and audio.
  • the electronic device 101 may display an indicator 2421 indicating that the object 2414 is selected in response to a tap input of the object 2414.
  • the electronic device 101 may display an indicator 2422 indicating that the object 2415 is selected in response to a tap input of the object 2415.
  • a line 2425 connecting the object 2414 and the object 2415 may be displayed to indicate a connection relationship.
  • the electronic device 101 may display an indicator 2423 indicating that the object 2413 is selected in response to a tap input of the object 2416.
  • a line 2426 connecting the object 2415 and the object 2416 may be displayed to indicate a connection relationship.
  • a line 2427 connecting the object 2414 and the object 2416 may be displayed to indicate a connection relationship.
  • the electronic device 101 may display a line connecting the two objects.
  • the electronic device 101 may display a line indicating the connection of the three objects. Lines representing the connection of three objects may be displayed to form a triangle. The indicator indicating that the object is selected may be displayed in various ways.
  • the line representing the connection relationship may be displayed in various ways such as a dotted line, a solid line, or a line including an arrow.
  • 24C is a diagram for describing another example of a method of selecting an object representing an external electronic device in the electronic device 101 according to various embodiments of the present disclosure.
  • an electronic device 101 may include objects (eg, an object 2434 and an object 2435) representing the plurality of external electronic devices 210. ), A screen 2430 including an object 2436, an object 2437, an object 2438), and an object 2439 representing the electronic device 101 is displayed on the display device 160 of the electronic device 101. can do.
  • the electronic device 101 may receive an input for a plurality of connections between the plurality of external electronic devices 210.
  • the input may be an input for selecting objects representing the plurality of external electronic devices 210 displayed on the screen 2430 of the electronic device 101.
  • the electronic device 101 may receive inputs for a plurality of connections between the plurality of external electronic devices 210 through drag inputs.
  • the object 2434 may represent a laptop.
  • the object 2435 may represent a mini beam.
  • the object 2436 may represent audio.
  • the object 2437 may represent a personal computer (PC).
  • the object 2438 may represent a television (television).
  • the electronic device 101 may receive a drag input for connecting the object 2437 and the object 2438 for connecting the PC and the TV.
  • the electronic device 101 may display an indicator 2441 (eg, an arrow) indicating a drag direction between the object 2437 and the object 2438.
  • the electronic device 101 After the electronic device 101 receives a drag input connecting the object 2437 and the object 2438 for connecting the PC and the TV, the electronic device 101 generates a laptop and a mini beam.
  • a drag input for connecting the object 2434 and the object 2435 for connection may be received.
  • the electronic device 101 may display an indicator 2442 (eg, an arrow) indicating a drag direction between the object 2434 and the object 2435.
  • the electronic device 101 responds to a drag input for connecting a PC and a TV, a drag input for connecting a laptop and a mini beam, and a connection between a PC and a TV, and a laptop and a projector. (mini beam) can be connected sequentially or simultaneously.
  • 25 illustrates an example of an operation of acquiring a connection mode of external electronic devices in the electronic device 101 according to various embodiments of the present disclosure.
  • the processor 120 of the electronic device 101 may determine attribute information of external electronic devices (eg, the first external electronic device 211 and the second external electronic device 212) to be connected. It is possible to check whether the communication protocol can be obtained.
  • the attribute information of the external electronic devices to be connected may include information about whether the external electronic device is an input device, a display device, a screen display device, a sound display device, or a data storage device.
  • the processor 120 may identify a communication protocol of the external electronic device to be connected in order to establish a connection with the external electronic devices to be connected. For example, the processor 120 may perform operation 2520 when it is possible to obtain attribute information and a communication protocol of external electronic devices to be connected. For another example, if the processor 120 cannot acquire attribute information and a communication protocol of external electronic devices to be connected, the processor 120 may perform operation 2520.
  • the processor 120 may acquire attribute information and a communication protocol of external electronic devices to be connected in the memory of the server 108.
  • the processor 120 may receive, from the server 108, attribute information and a communication protocol of external electronic devices to be connected.
  • the server 108 may store information about driving modes of the plurality of external electronic devices 210.
  • the server 108 may obtain attribute information of external electronic devices to be connected based on the stored information about the driving mode.
  • the server 108 may include an artificial intelligence server, an IoT service providing server, and a device information specialized database managed by an IoT device manufacturer.
  • the processor 120 may determine a driving mode of the external electronic devices to be connected based on attribute information of the external electronic devices to be connected. For example, in order to connect a notebook, a monitor, and a speaker, the processor 120 may determine a driving mode of each external electronic device based on attribute information of each external electronic device.
  • the notebook may have a data storage function, a screen display function, and a sound output function.
  • the monitor may have a screen display function.
  • the speaker may have a sound output function.
  • the processor 120 may determine the notebook as the source device because the external electronic device capable of operating as the source device is the notebook.
  • the processor 120 may determine, as a screen display device, a monitor having a screen display function among monitors and speakers other than the notebook.
  • the processor 120 may determine a speaker having a sound output function as the sound display device 160.
  • the processor 120 may obtain a connection mode of external electronic devices to be connected.
  • the processor 120 may acquire an efficient connection mode of external electronic devices. For example, in order to connect a notebook, a monitor, and a speaker, the processor 120 may obtain a connection mode based on the determined driving mode of the external electronic devices.
  • the driving mode of the notebook may correspond to a source device.
  • the driving mode of the monitor may correspond to the screen display.
  • the driving mode of the speaker may correspond to a sound output.
  • the processor 120 may determine to establish a connection for transmitting image information from the notebook to the monitor.
  • the processor 120 may determine to establish a connection for transmitting sound information from the notebook to the speaker.
  • the processor 120 may determine not to establish a connection between the monitor and the speaker.
  • 26 illustrates an example of a signal flow for connecting a plurality of external electronic devices 210 according to various embodiments of the present disclosure.
  • the electronic device 101 may be connected to the access point 202.
  • the external electronic device may include a first external electronic device 211, a second external electronic device 212, and a third external electronic device 1501.
  • the first external electronic device 211, the second external electronic device 212, the access point 202, and the electronic device 101 may configure a local network.
  • the third external electronic device 1501 may not configure a local network.
  • the first external electronic device 211 may be a notebook.
  • the second external electronic device 212 may be a TV.
  • the third external electronic device 1501 may be a Bluetooth speaker.
  • the electronic device 101 may display a plurality of objects representing each of the plurality of external electronic devices 210 based on the positional relationship of the plurality of external electronic devices. Can be displayed.
  • the electronic device 101 may detect an input for at least one of the plurality of objects representing the external electronic device. In various embodiments, the electronic device 101 may receive an input for at least one of the objects representing the first external electronic device 211, the second external electronic device 212, or the third external electronic device 1501. Can be.
  • the electronic device 101 may determine a driving mode of external electronic devices to be connected.
  • the electronic device 101 may determine the first external electronic device 211 as a source device.
  • the electronic device 101 may determine the second external electronic device 212 as the image display device.
  • the electronic device 101 may determine the third external electronic device 1501 as a sound display device.
  • the electronic device 101 may transmit a request signal for connecting to the first external electronic device 211 to the third external electronic device 1501.
  • the third external electronic device 1501 may receive a request signal for connecting to the first external electronic device 211 from the electronic device 101.
  • the connection request signal may include at least some of information about a device ID, a connection method, a password for the connection, a service type, or a service query.
  • the third external electronic device 1501 may transmit a response signal for connection with the first external electronic device to the electronic device 101.
  • the electronic device 101 may receive a response signal for connecting to the first external electronic device 211 from the third external electronic device 1501.
  • the electronic device 101 may control to establish a connection between the first external electronic device 211 and the third external electronic device 1501 based on the connection response signal.
  • the electronic device 101 may transmit a request signal for connecting to the first external electronic device 211 through the access point 202 to the second external electronic device 212.
  • the second external electronic device 212 may receive a signal for request for connection with the first external electronic device 211.
  • the electronic device 101 may transmit a connection request signal with the first external electronic device 211 directly to the second external electronic device 212 without passing through the access point 202.
  • the access point 202 (eg, the processor 501 of the access point 202) may be the electronic device 101 or an external electronic device (eg, the first external electronic device 211, the second external electronic).
  • the signal received from the device 212 or the third external electronic device 1501 may be processed.
  • the access point 202 may transmit the processed signal to the electronic device 101 or the external electronic device 211, 212, or 1501.
  • the second external electronic device 212 may transmit a response signal for connecting to the first external electronic device 211 through the access point 202 to the electronic device 101.
  • the electronic device 101 may receive a response signal for connection with the first external electronic device 211.
  • the second external electronic device 212 may transmit a connection response signal with the first external electronic device 211 directly to the electronic device 101 without passing through the access point 202.
  • the electronic device 101 may control to establish a connection between the first external electronic device 211 and the second external electronic device 212 based on the connection response signal.
  • the electronic device 101 may transmit a connection request signal to the first external electronic device 211 through the access point 202.
  • the first external electronic device 211 may receive a connection request signal.
  • the electronic device 101 may transmit a direct connection request signal to the first external electronic device 211 without passing through the access point 202.
  • the first external electronic device 211 may transmit a connection response signal to the electronic device 101 through the access point 202.
  • the electronic device 101 may receive a connection response signal.
  • the electronic device 101 connects the electronic device 101 and the first external electronic device 211 and the connection between the first external electronic device 211 and the second external electronic device 212 through the connection response signal.
  • the controller may control to establish a connection between the first external electronic device 211 and the third external electronic device 1501.
  • the first external electronic device 211 may transmit a direct connection response signal to the electronic device 101 without passing through the access point 202.
  • the first external electronic device 211 may transmit a signal regarding image information to the second external electronic device 212.
  • the second external electronic device 212 may receive a signal regarding an image from the first external electronic device 211.
  • the second external electronic device 212 may display an image based on the received image information.
  • the first external electronic device 211 may transmit a signal regarding sound information to the third external electronic device 1501.
  • the third external electronic device 1501 may receive a signal regarding sound information from the first external electronic device 211.
  • the third external electronic device 1501 may output a sound based on the received sound information.
  • FIG. 27 is a diagram illustrating another example of a signal flow for connecting the plurality of external electronic devices 210 according to various embodiments of the present disclosure.
  • the electronic device 101 may be connected to the access point 202.
  • the first external electronic device 211, the second external electronic device 212, the access point 202, and the electronic device 101 may configure a local network.
  • the third external electronic device 1501 may not configure a local network.
  • the first external electronic device 211 may be a notebook.
  • the second external electronic device 212 may be a TV.
  • the third external electronic device 1501 may be a Bluetooth speaker.
  • the electronic device 101 may transmit a message for requesting a mirroring service to the server 108 through the access point 202.
  • the access point 202 eg, the processor 501 of the access point 202
  • the electronic device 101 or an external electronic device eg, the first external electronic device 211, the second external electronic.
  • the message received from the device 212 and the third external electronic device 1501 may be processed and transmitted.
  • the electronic device 101 may transmit a message for requesting a mirroring service directly to the server 108 without passing through the access point 202.
  • the message for the mirroring service request may include information of a device ID.
  • the server 108 may sequentially or arbitrarily assign a device ID of the external electronic device.
  • the device ID may be assigned differently from a media access control (MAC) address, an internet protocol (IP) address, or a universally unique identifier (UUID) of an actual device.
  • MAC media access control
  • IP internet protocol
  • UUID universally unique identifier
  • the server 108 may transmit a response message for the mirroring service request to the first external electronic device 211 through the access point 202.
  • the first external electronic device 211 may receive a response message for requesting a mirroring service from the server 108.
  • the server 108 controls the second external electronic device 212 and the authority for the electronic device 101 to control the first external electronic device 211 based on the message for the mirroring service request. You can identify if you have permission to do so.
  • the server 108 mirrors the access point 202 when the electronic device 101 has a right to control the first external electronic device 211 and a right to control the second external electronic device 212.
  • a response message for the service request can be sent.
  • the access point 202 may process a response message received from the server 108 and transmit the processed response message to the first external electronic device 211.
  • the server 108 may transmit a response message for performing the mirroring service directly to the first external electronic device 211 without passing through the access point 202.
  • the response message for the mirroring service request may include a message in the form of a java script object notation (json).
  • the response message for the mirroring service request may be a json type message such as COAP POST, [Notebook ID] ⁇ "Service": “Mirroring", "Target”: "TV ID” ⁇ .
  • the response message may further include information about an IP address of the TV.
  • the first external electronic device 211 may transmit a connection request signal to the second external electronic device 212 through the access point 202.
  • the second external electronic device 212 may receive a connection request signal.
  • the access point 202 may process the connection request signal received from the first external electronic device 211 and transmit it to the second external electronic device 212.
  • the first external electronic device 211 may transmit a direct connection request signal to the second external electronic device 212 without passing through the access point 202.
  • the first external electronic device 211 may establish a connection with the second external electronic device 212 in a peer to peer (P2P) manner.
  • the connection may include a miracast, a tunneled direct link setup (TDLS), and a connection of WiFi-Direct.
  • TDLS tunneled direct link setup
  • the second external electronic device 212 may transmit a connection response signal to the first external electronic device 211 through the access point 202.
  • the first external electronic device 211 may receive a connection response signal from the second external electronic device 212 through the access point 202.
  • the access point 202 may process the connection response signal received from the second external electronic device 212 and transmit it to the first external electronic device 211.
  • the second external electronic device 212 may transmit a direct connection request signal to the first external electronic device 211 without passing through the access point 202.
  • the first external electronic device 211 may transmit a signal regarding image information to the second external electronic device 212.
  • the second external electronic device 212 may receive a signal regarding image information from the first external electronic device 211.
  • the second external electronic device 212 may display an image based on the signal related to the image information.
  • the first external electronic device 211 and the second external electronic device 212 may transmit and receive a signal regarding image information directly without passing through the access point 202.
  • the electronic device 101 may transmit a message for requesting an audio service to the server 108.
  • the server 108 may receive a message for requesting an audio service from the electronic device 101.
  • the access point 202 may be the electronic device 101 or an external electronic device (eg, the first external electronic device 211, the second external electronic device 212, and the third external electronic device 1501). Messages received from can be processed and sent.
  • the electronic device 101 may transmit a message for an audio service request directly to the server 108 without passing through the access point 202.
  • the server 108 may transmit a message for requesting an audio service to the first external electronic device 211.
  • the first external electronic device 211 may receive a message for requesting an audio service.
  • the server 108 determines whether the electronic device 101 has the authority to control the first external electronic device 211 and the authority to control the third external electronic device 1501 based on the message for the audio service request. Can be identified.
  • the server 108 may include the first external electronic device 211. ) May send a response message for the audio service request.
  • the server 108 may transmit a response message for requesting an audio service to the first external electronic device 211 through the access point 202.
  • the first external electronic device 211 may transmit a message indicating that the third external electronic device 1501 transmits a request signal for connection with the third external electronic device 1501.
  • the third external electronic device 1501 may receive a request signal for connection from the first external electronic device 211.
  • the first external electronic device 211 may transmit a request signal for connection with the third external electronic device 1501 based on an advanced audio distribution profile (A2DP).
  • A2DP advanced audio distribution profile
  • the third external electronic device 1501 may transmit a response signal for connection with the third external electronic device 1501 to the first external electronic device 211.
  • the first external electronic device 211 may receive a response signal for connection with the third external electronic device 1501.
  • the electronic device 101 may control to establish a connection between the first external electronic device 211 and the third external electronic device 1501 based on a connection response signal with the third external electronic device 1501.
  • the first external electronic device 211 may transmit a signal regarding sound information to the third external electronic device 1501.
  • the third external electronic device 1501 may receive a signal regarding sound information.
  • the third external electronic device 1501 may output a sound based on the signal related to the sound information.
  • FIG. 28 illustrates an example of a signal flow for connecting an electronic device 101 and a plurality of external electronic devices 210 according to various embodiments of the present disclosure.
  • the electronic device 101 may connect with the access point 202.
  • the second external electronic device 212, the access point 202, and the electronic device 101 may configure a local network.
  • the third external electronic device 1501 may not configure a local network.
  • the second external electronic device 212 may be a TV.
  • the third external electronic device 1501 may be a Bluetooth speaker.
  • the electronic device 101 may control the second external electronic device 212 and the third external electronic device 1501 without passing through the server 108.
  • the electronic device 101 (eg, the processor 120 of the electronic device 101) transmits a message for requesting a mirroring service to the second external electronic device 212 through the access point 202.
  • the second external electronic device 212 may receive a message for a mirroring service request from the electronic device 101 through the access point 202.
  • the access point 202 (eg, the processor 501 of the access point 202) may be the electronic device 101, or an external electronic device (eg, the second external electronic device 212 or the third external).
  • the signal received from the electronic device 1501 may be transmitted.
  • the second external electronic device 212 may transmit a response message for the mirroring service request to the electronic device 101 through the access point 202.
  • the electronic device 101 may receive a response message for requesting a mirroring service from the second external electronic device 212 through the access point 202.
  • the electronic device 101 may transmit a connection request signal to the second external electronic device 212 through the access point 202.
  • the second external electronic device 212 may receive a connection request signal from the electronic device 101 through the access point 202.
  • the electronic device 101 may establish a connection with the second external electronic device 212 in a peer to peer (P2P) manner.
  • the connection may include a miracast, a tunneled direct link setup (TDLS), and a connection of WiFi-Direct.
  • the second external electronic device 212 may transmit a connection response signal to the electronic device 101 through the access point 202.
  • the electronic device 101 may receive a connection response signal from the second external electronic device 212 through the access point 202.
  • the electronic device 101 may transmit a signal regarding image information to the second external electronic device 212.
  • the second external electronic device 212 may receive a signal regarding image information from the electronic device 101.
  • the second external electronic device 212 may display an image based on the signal related to the image information.
  • the electronic device 101 may transmit a connection request signal to the third external electronic device 1501.
  • the third external electronic device 1501 may receive a connection request signal from the electronic device 101.
  • the third external electronic device 1501 may transmit a connection response signal to the electronic device 101.
  • the electronic device 101 may receive a connection response signal from the third external electronic device 1501.
  • the electronic device 101 may transmit a signal regarding sound information to the third external electronic device 1501.
  • the third external electronic device 1501 may receive a signal regarding sound information from the electronic device 101.
  • the third external electronic device 1501 may output a sound based on the signal related to the sound information.
  • operations for the electronic device 101 to transmit image information to the second external electronic device 212 and for the electronic device 101 to transmit sound information to the third external electronic device 1501 are provided.
  • the electronic device 101 may first perform operations for transmitting sound information.
  • the electronic device 101 may simultaneously perform operations for transmitting image information and operations for transmitting sound information.
  • 29 illustrates an example of a user interface for displaying objects representing the plurality of external electronic devices 210 in the electronic device 101 according to various embodiments of the present disclosure.
  • the electronic device 101 may use an application related to one or more external electronic devices (eg, the plurality of external electronic devices 210). Based on the execution, the user interface (eg, the user interface 2900) of the application may be displayed on the display device 160.
  • the electronic device 101 may include one or more external electronic devices (eg, the first external electronic device 211 and the second external electronic device 212) related to the application in a user interface (eg, the user interface 2900). ), A screen (eg, the screen 2940) for displaying the plurality of external electronic devices 210 may be displayed.
  • the electronic device 101 may display the user interface 2900 of the application related to cooking, based on executing the application relating to cooking.
  • the electronic device 101 displays, in the user interface 2900, a screen 2940 for displaying a plurality of external electronic devices related to cooking (eg, a refrigerator, a cook top, and an oven). ) Can be displayed.
  • the screen 2940 may include one or more objects (object 2910, object 2920, or object) representing a plurality of external electronic devices related to cooking based on the positional relationship of the plurality of external electronic devices related to cooking. 2930)).
  • the objects may be indicated by the name of each of the external electronic devices, or the objects may be indicated by a shape corresponding to the external electronic devices.
  • the electronic device 101 may display an object indicating a driving mode corresponding to at least one of the object 2910, the object 2920, or the object 2930 on the screen 2940.
  • the electronic device 101 may display an object 2911 corresponding to a driving mode of the external electronic device indicated by the object 2910 in the vicinity of the object 2910 in the screen 2940.
  • the object 2929 corresponding to the driving mode of the external electronic device indicated by the object 2930 may be displayed around the object 2930.
  • the electronic device 101 may identify an input for the object indicating the driving mode.
  • the electronic device 101 may transmit a signal for performing a driving mode to an external electronic device indicated by the object based on the identified input. For example, in response to receiving an input for the object 2927, the electronic device 101 outputs a signal for changing a driving mode of an external electronic device (eg, an oven) represented by the object 2930. Send to an electronic device (eg, an oven).
  • the external electronic device may change the driving mode of the external electronic device based on the received signal.
  • the electronic device 101 may identify an input for the object 2927.
  • the electronic device 101 may transmit a signal for preheating, which is a driving mode indicated by the object 2913, to the oven.
  • the oven may change the operating mode of the oven to preheating based on the signal.
  • FIG. 30 illustrates an example of a screen for controlling the plurality of external electronic devices 210 in the electronic device 101 according to various embodiments of the present disclosure.
  • the electronic device 101 displays the screen 3000 for controlling the plurality of external electronic devices 210. Can be marked on.
  • the electronic device 101 may display a plurality of objects representing the plurality of external electronic devices 210 on the screen 3000 based on the positional relationship of the plurality of electronic devices 110.
  • the plurality of external electronic devices 210 may include a plurality of IoT bulbs.
  • the electronic device 101 may receive an input for selecting the plurality of objects 3020 representing the plurality of IoT bulbs.
  • the electronic device 101 may receive an input for selecting the objects 3020 representing the plurality of IoT bulbs through various methods. For example, various methods may include drag or tap input.
  • the electronic device 101 may receive a drag input 3030 for selecting a plurality of objects 3020 representing IoT light bulbs.
  • the electronic device 101 may display the screen 3001 converted from the screen 3000 based on the drag input 3030.
  • the electronic device 101 may display a list of a plurality of driving modes that may be performed using IoT bulbs in the screen 3001.
  • the list of the plurality of driving modes that may be performed using the IoT bulbs may include at least one of the object 3040, the object 3050, the object 3060, or the object 3070.
  • the electronic device 101 may transmit a signal for turning off the IoT bulbs indicated by the plurality of objects 3020 to the IoT bulbs based on receiving an input to the object 3040.
  • the electronic device 101 may transmit a signal for lighting the IoT bulbs indicated by the plurality of objects 3020 to the IoT bulbs based on receiving an input for the object 3050.
  • the electronic device 101 may link IoT light bulbs indicated by the plurality of objects 3020 with media currently being played, based on an input from which the object 3060 is selected. For example, the electronic device 101 may transmit a signal for turning on or turning off the IoT light bulb to the IoT light bulbs based on a sound (eg, intensity, volume, or tempo) of the media being played. As another example, when the media being played corresponds to a movie, the electronic device 101 may transmit a signal for lowering the illuminance of the IoT bulbs to the IoT bulbs. In addition, the electronic device 101 may transmit a signal for adjusting the color and illuminance of the IoT bulbs to the IoT bulbs based on genre information of the media content currently being played.
  • a sound eg, intensity, volume, or tempo
  • the electronic device 101 may transmit, to the IoT light bulbs, signals for operating the IoT light bulbs indicated by the plurality of objects 3020 in the sleep mode based on the input from which the object 3070 is selected. For example, the electronic device 101 may transmit a signal for lowering the illuminance of the IoT bulbs indicated by the plurality of objects 3020 to the IoT bulbs. The electronic device 101 may transmit a signal for turning off the IoT bulbs indicated by the plurality of objects 3020 to the IoT bulbs after a predetermined time.
  • the electronic device 101 drives the plurality of IoT light bulbs when the driving mode of the plurality of IoT light bulbs is one based on receiving an input for selecting the plurality of objects 3020 representing the plurality of IoT light bulbs.
  • the mode may be set to the driving mode.
  • FIG. 31 is a diagram illustrating another example of a screen for controlling the plurality of external electronic devices 210 in the electronic device 101 according to various embodiments of the present disclosure.
  • the electronic device 101 displays the screen 3100 for controlling the plurality of external electronic devices 210. Can be marked on.
  • the electronic device 101 displays a plurality of circles representing a distance from the electronic device 101 to display the plurality of objects 3150 representing the plurality of external electronic devices 210 in the screen 3100.
  • 3110 may be displayed.
  • the electronic device 101 may display a plurality of objects 3120 for indicating information (eg, a radius) of an area indicated by the plurality of circles 3110 in the screen 3100.
  • the electronic device 101 is based on at least one of information (eg, radius) of the area indicated by the plurality of circles 3110 or information on the positional relationship of the plurality of external electronic devices 210.
  • a plurality of objects 3150 representing the plurality of external electronic devices 210 may be displayed.
  • the electronic device 101 may change information (eg, a radius) of an area to be indicated through the plurality of circles 3110 based on a user input. For example, the electronic device 101 may change a value representing a minimum radius or a maximum radius of an area to be indicated through the plurality of circles 3110. The electronic device 101 may change the number of the plurality of circles 3110 or the size of the plurality of circles 3110. As described above, the electronic device 101 may display a plurality of circles changed from the plurality of circles 3110 in the screen 3100. The electronic device 101 may display the number of the plurality of objects 3150 representing the plurality of external electronic devices 210 displayed in the plurality of circles 3110 and the description of the object displayed on the screen 3100. 3160).
  • information eg, a radius
  • the electronic device 101 may change a value representing a minimum radius or a maximum radius of an area to be indicated through the plurality of circles 3110.
  • the electronic device 101 may change the number of the plurality of circles 3110 or the size of the plurality of circles
  • the electronic device 101 indicates a plurality of external electronic devices 210 displayed in the plurality of circles 3110 when information (eg, a radius) of an area to be indicated through the plurality of circles 3110 is changed.
  • the number of the plurality of objects 3150 may be identified.
  • the electronic device 101 represents the plurality of external electronic devices 210 in the object 3160 based on a change in the number of the plurality of objects 3150 representing the plurality of external electronic devices 210.
  • a portion (eg, (4)) indicating the number of the plurality of objects 3150 may be changed and displayed.
  • the electronic device 101 may receive an input for at least one of the plurality of objects 3150 representing the plurality of external electronic devices 210.
  • the electronic device 101 may receive a drag input 3130 for selecting at least one of the plurality of objects 3150 on the screen 3100.
  • the electronic device 101 may identify the area 3140 designated by the drag input 3130.
  • the electronic device 101 may identify at least one object included in the identified area 3140.
  • the electronic device 101 may connect at least one external electronic device corresponding to the identified at least one object with each other.
  • 32 illustrates an example of a screen for connecting one or more external electronic devices in the electronic device 101 according to various embodiments of the present disclosure.
  • the electronic device 101 may display a screen (based on executing an application related to the external electronic device 3220 (eg, a printer)).
  • the 3200 may be displayed on the display device 160.
  • the screen 3200 may be a screen for setting an external electronic device (eg, a smartphone or a notebook) for connecting with the external electronic device 3220 (eg, a printer).
  • the electronic device 101 may include one or more external electronic devices (eg, a plurality of devices) that may be connected to the external electronic device 3220 within a screen 3200 of an application related to the external electronic device 3220 (eg, a printer).
  • One or more objects 3210 representing the external electronic devices 210 may be displayed.
  • An operation of displaying one or more objects 3210 on the screen 3200 may correspond to an operation of displaying the plurality of objects 3150 on the screen 3100 of FIG. 31.
  • the electronic device 101 may display one or more objects 3210 representing one or more external electronic devices on the screen 3200 based on the information about the positional relationship of the one or more external electronic devices. Can be.
  • the electronic device 101 may include at least one external electronic device (eg, a smartphone or a laptop) for connecting with the external electronic device 3220 (eg, a printer), from among one or more objects 3210 displayed on the screen 3200. May receive an input (eg, tap, double tap, long press or drag) to select at least one object.
  • the electronic device 101 may include at least one external electronic device and an external electronic device corresponding to the selected at least one object based on receiving an input for selecting at least one object from among the one or more objects 3210. 3220) can be connected.
  • the electronic device 101 may transmit the first external electronic device to at least one of the first external electronic device or the external electronic device 3220 corresponding to the first object selected from one or more objects 3210.
  • a signal for connecting the external electronic device 3220 may be transmitted.
  • 33 illustrates an example of a screen for entering an application related to an external electronic device in the electronic device 101 according to various embodiments of the present disclosure.
  • the electronic device 101 may be an external electronic device (eg, the first external electronic device 211 or the second external electronic device 212).
  • the display device 160 may display a lock screen 3310 including an object 3311 (eg, an icon) associated with the plurality of external electronic devices 210.
  • an object 3311 eg, an icon
  • the electronic device 101 may execute an application related to the external electronic device based on receiving an input for the object 3311 in the lock screen 3310.
  • the electronic device 101 may display a screen for controlling the plurality of external electronic devices 210 in response to receiving an input for the object 3311.
  • the screen for controlling the plurality of external electronic devices 210 may include the user interface 2900 of FIG. 29, the screen 3000 of FIG. 30, the screen 3001, the screen 3100 of FIG. 31, or the screen of FIG. 32. It may include at least one of the screen 3200. Another example of a screen for controlling the plurality of external electronic devices 210 may be described later with reference to FIGS. 34 to 36.
  • the electronic device 101 controls the positional relationship of the plurality of external electronic devices 210 in a screen for controlling the plurality of external electronic devices 210 displayed based on receiving an input to the object 3311. Based on the information about, the plurality of objects representing the plurality of external electronic devices 210 may be displayed.
  • the electronic device 101 locks an object displayed differently from the object 3311 associated with the plurality of external electronic devices 210.
  • the screen 3310 may be displayed.
  • the electronic device 101 displays an object represented by an icon, a different color, or a different size from the object 3311.
  • the lock screen 3310 of the electronic device 101 is displayed. Can be marked on.
  • FIG. 34 is a diagram illustrating another example of a screen for controlling the plurality of external electronic devices 210 in the electronic device 101 according to various embodiments of the present disclosure.
  • the electronic device 101 may display a screen 3410 related to wireless charging of one or more external electronic devices (eg, 211, 212, or 210). ) May be displayed on the display device 160.
  • the electronic device 101 may display an object 3420 representing the wireless charging device as one of the plurality of external electronic devices 210 on the screen 3410.
  • the electronic device 101 may display one or more objects representing one or more external electronic devices that can be wirelessly charged using the wireless charging device in the screen 3410.
  • One or more objects representing one or more externally chargeable external electronic devices may include an object 3431, an object 3432, an object 3333, or an object 3434.
  • the object 3420 representing the wireless charging device and the one or more objects representing the one or more external electronic devices may be displayed based on the information about the positional relationship of the wireless charging device and the one or more external electronic devices.
  • the electronic device 101 may display battery state information of the external electronic device together with one or more objects.
  • the electronic device 101 is configured to receive at least one external electronic device corresponding to the at least one object based on receiving an input for at least one of the one or more objects 3431, 3432, 3433, and 3434.
  • the control signal for wireless charging may be transmitted to at least one of the at least one external electronic device or the wireless charging device.
  • the electronic device 101 may display an object 3420 representing the wireless charging device in the center of the screen 3410.
  • the electronic device 101 may set (or change) an arrival area of radio waves output from the wireless charging device based on a user input.
  • the arrival area of the radio wave output from the wireless charging device is at least one of the direction of the radio wave output from the wireless charging device, the intensity of the radio wave output from the wireless charging device, or the arrival distance of the radio wave output from the wireless charging device. It may include.
  • the user input for changing the arrival area of the radio wave output from the wireless charging device may include at least one of a drag, a zoom-in input, or a zoom-out input. It may include.
  • the electronic device 101 may change (or set) power transmitted from the wireless charging device to the plurality of external electronic devices 210 in the screen 3410. For example, the electronic device 101 may transmit power transmitted from the wireless charging device to the first external electronic device 211 and power transmitted from the wireless charging device to the second external electronic device 212 based on a user input. You can change (or set) each.
  • the electronic device 101 displays a screen ( An input for increasing power transmitted to the earphone through 3410 to 80% of the total chargeable power of the wireless charging device may be received.
  • the electronic device 101 increases power transmitted to the earphone based on the input to 80% of the total available power of the wireless charging device and reduces power transmitted to the notebook to 20% of the total available power of the wireless charging device.
  • the electronic device 101 may increase the charging speed of the earphone by increasing the power transmitted to the earphone.
  • 35 illustrates an example of a screen for displaying the plurality of external electronic devices 210 in the electronic device 101 according to various embodiments of the present disclosure.
  • the electronic device 101 (eg, the processor 120 of the electronic device 101) is based on a positional relationship of the plurality of external electronic devices 210, and thus, the plurality of external electronic devices 210. ) May be displayed on the display device 160 (eg, the image 3530 and the image 3540) indicating the surrounding environment.
  • the image (for example, the image 3530 and the image 3540) may include objects representing the plurality of external electronic devices 210.
  • the electronic device 101 may store the image (for example, the image 3530 and the image 3540) in the form of a snapshot.
  • the electronic device 101 may transmit an image (eg, the image 3530 and the image 3540) to the server 108.
  • the electronic device 101 may display an object (eg, an avatar or a character) representing a user on an image (eg, an image 3530 or an image 3540).
  • the electronic device 101 may receive an input for displaying various props (eg, chairs, bags, tables) in addition to the images (eg, images 3530 and 3540).
  • the electronic device 101 may further display an object representing various props on an image (eg, the image 3530 and the image 3540) based on the received input.
  • the electronic device 101 may receive an input for at least one object representing at least one external electronic device included in an image (eg, the image 3530 and the image 3540).
  • the electronic device 101 may transmit a signal for connecting at least one external electronic device corresponding to at least one object to the at least one external electronic device based on the input.
  • the electronic device 101 may display a name 3510 of an image (eg, the image 3530 and the image 3540) together with the image.
  • the electronic device 101 may display the number of the plurality of objects representing the plurality of external electronic devices included in the image (eg, the image 3530 and the image 3540) together with the name 3510 of the image.
  • an object corresponding to a plurality of external electronic devices 210 that can be controlled through the electronic device 101 among the objects included in the image may be used.
  • the electronic device 101 is an electronic device that can be controlled through the electronic device 101. I can display it.
  • an indicator such as a star display, a light display, and an arrow may be displayed on the objects corresponding to the plurality of external electronic devices 210.
  • the electronic device 101 may change the color of the object itself corresponding to the plurality of external electronic devices 210 or display the notification text.
  • the electronic device 101 may additionally display an emoji or speech bubble together with objects corresponding to the plurality of external electronic devices 210.
  • the electronic device 101 can intuitively indicate which object is controllable through the electronic device 101 or not through a visual indicator.
  • 36 illustrates an example of a method for displaying a screen associated with a plurality of external electronic devices 210 in an electronic device 101 according to various embodiments of the present disclosure.
  • the electronic device 101 may be connected to a plurality of external electronic devices 210 from an outside (eg, a user) of the electronic device 101.
  • You may receive a voice input to display a related screen, such as a user utterance, "Find my room.”
  • the electronic device 101 may display the screen 3600 or the screen 3601 based on receiving the voice input.
  • the electronic device 101 may identify a designated word or phrase (eg, “my room”) from a user utterance of “show me my room”.
  • the electronic device 101 may display the image 3610 or the image 3620 stored under the name corresponding to the identified word or phrase on the display device 160 in the screen 3600 or the screen 3601. .
  • the electronic device 101 displays an image 3610 shown in plan or three-dimensionally displayed based on a voice input for displaying a screen associated with the plurality of external electronic devices 210.
  • Image 3620 may be displayed.
  • the electronic device 101 may be a device without a display (for example, an AI speaker).
  • the electronic device 101 may receive a voice input for displaying a screen related to the plurality of external electronic devices 210 (eg, a user utterance of “open my room”) from the outside (eg, a user). have.
  • the electronic device 101 may include a display among the plurality of external electronic devices 210 and identify an external electronic device that can be input.
  • the electronic device 101 may transmit information about the image 3610 or the image 3620 to the identified external electronic device.
  • the electronic device 101 may control to display the image 3610 or the image 3620 on the identified external electronic device.
  • the electronic device 101 may provide a notification for notifying that the screen is displayed on the identified external electronic device. For example, when the electronic device 101 outputs a screen through a TV, the room is displayed on the TV. It can output the same voice. As another example, the electronic device 101 may control the screen of the TV to flicker.
  • FIG. 37 illustrates an example of a method for controlling the plurality of external electronic devices 210 through the server 108 in the electronic device 101 according to various embodiments of the present disclosure.
  • the electronic device 101 (eg, the processor 120 of the electronic device 101) inputs an input for setting a driving mode of the plurality of external electronic devices 210 to a file backup and sharing mode.
  • file backup and sharing may refer to an operation of storing a file stored in the electronic device 101 or the first external electronic device 211 in the server 108 or the second electronic device 212.
  • the electronic device 101 (eg, the processor 120 of the electronic device 101) is based on a positional relationship of the plurality of external electronic devices 210, and thus, the plurality of external electronic devices 210. ) May be displayed on the display device 160 (eg, the image 3710 and the image 3720) indicating the surrounding environment.
  • the image may be one or more objects (eg, object 3712, object 3713, object 3714, object) representing a plurality of external electronic devices 210. (3721, object 3722) or an object (eg, object 3711) indicating the electronic device 101.
  • the electronic device 101 may display an image 3710 representing external electronic devices (eg, the first external electronic device 211 and the second external electronic device 212) in the vicinity of the electronic device 101. ) May be displayed on the display device 160 of the electronic device 101.
  • the electronic device 101 is an object representing the other electronic devices (eg, the first external electronic device 211 and the second external electronic device 212) in a different space from the electronic device 101 together with the image 3710.
  • the displayed image 3720 may be displayed.
  • the electronic device 101 may receive an input for an object representing an external electronic device in the image 3710 and an object 3721 representing another electronic device in the image 3720.
  • the input may include a tap or drag input.
  • the electronic device 101 may determine the direction of file transfer according to the order of tabs or the direction of dragging.
  • object 3712 may represent a camera.
  • the object 3721 may represent a PC in a different space from the electronic device 101.
  • the electronic device 101 may receive an input for selecting an object 3712 representing a camera and an object 3721 representing a PC through a drag input.
  • the drag input may be an input connecting the object 3712 to the object 3721.
  • the electronic device 101 may transmit a file stored in the first external electronic device 211 (eg, a camera) to a second external electronic device 212 (eg, a PC) in a different space from the electronic device 101. ) May be transmitted to the first external electronic device 211.
  • the electronic device 101 may determine whether the second external electronic device 212 can receive a file.
  • the electronic device 101 stores a file stored in the first external electronic device 211 through a communication protocol (eg, wireless Internet) connected to an external network. It may be controlled to transmit to the external electronic device 212.
  • a communication protocol eg, wireless Internet
  • the electronic device 101 may control to transmit a file stored in the first external electronic device 211 to the server 108.
  • the server 108 may receive a file from the first external electronic device 211.
  • the server 108 may check whether the second external electronic device 212 can receive the file at predetermined time intervals.
  • the server 108 may transmit a file received from the first external electronic device 211 to the second external electronic device 212.
  • the second external electronic device 212 may receive the file from the server 108.
  • FIG. 38 illustrates an example of a screen for displaying an object representing a plurality of external electronic devices 210 connected in an ultra high frequency band in the electronic device 101 according to various embodiments of the present disclosure.
  • the electronic device 101 may be configured to include a plurality of external electronic devices based on a positional relationship of the plurality of external electronic devices 210.
  • Images representing objects 210 eg, objects 3811, objects 3812, objects 3613
  • objects representing electronic devices 101 eg, objects 3815
  • the image 3820 may be displayed on the display device 160.
  • the electronic device 101 may additionally display a tab (for example, the tab 3840, the tab 3850, and the tab 3860) according to the type of the plurality of external electronic devices 210.
  • the electronic device 101 adds the number of objects representing the external electronic devices (eg, the first external electronic device 211 and the second external electronic device 212) included in the image according to each tab to each tab. I can display it.
  • the electronic device 101 may establish a connection with at least some of the plurality of external electronic devices 210 in an ultra high frequency band (for example, a 60 Ghz communication band).
  • the electronic device 101 displays whether a line of sight (LoS) is secured through a separate object (for example, an object 3830) on an object representing some of the plurality of external electronic devices 210 connected in an ultra-high frequency band. can do.
  • the electronic device 101 may display external electronic devices through a separate object 3830 to secure a visible line and provide a high communication quality through the communication of the ultra-high frequency band.
  • the electronic device 101 may detect that the direction in which the first point of the electronic device 101 faces is changed through the acceleration sensor, the gyro sensor, or the illumination sensor.
  • the electronic device 101 may transmit a line of sight confirmation request signal to external electronic devices capable of communicating in the high frequency band.
  • the electronic device 101 may receive a line acknowledgment signal in response to a line acknowledgment request signal from external electronic devices capable of communicating in a high frequency band.
  • the electronic device 101 may rotate 90 degrees to the right in the direction of the arrow 3870.
  • the electronic device 101 detects that the direction of the first point of the electronic device 101 has been changed through an acceleration sensor, a gyro sensor, and an illuminance sensor, and transmits a visible line confirmation request signal to external electronic devices capable of microwave communication. can do.
  • External electronic devices capable of communicating in the high frequency band may transmit a line acknowledgment signal in response to the line acknowledgment request signal.
  • the electronic device 101 may receive a visible line confirmation response signal from external electronic devices capable of communicating in a high frequency band.
  • the electronic device 101 may display the image 3820 converted from the image 3810 based on the change range of the direction in which the first point of the electronic device 101 faces according to the movement and the visible line response signal.
  • the image 3820 may include an external line having visible lines together with objects (objects 3811, objects 3812, and objects 3813) representing the plurality of external electronic devices 210 based on the line-view acknowledgment signal. It may include an object 3830 representing the electronic device.
  • the electronic device 101 may display an object 3830 indicating whether a visible line is secured on the right side of an object (eg, the object 3813) indicating the external electronic device for which the changed visible line is secured.
  • the object 3830 may include text, emoji, or speech bubbles.
  • 39 illustrates an example of a screen for displaying objects representing the plurality of external electronic devices 210 in the electronic device 101 according to various embodiments of the present disclosure.
  • the electronic device 101 may be configured to include a plurality of external electronic devices 210 based on a direction in which the first point of the electronic device 101 faces.
  • a plurality of objects eg, object 3901, object 3902, object 3904, object 3904, object 3905
  • the screen eg, the screen 3910 and the screen 3920 including the object 3913 may be displayed on the display device 160.
  • the electronic device 101 When the electronic device 101 detects a movement of the electronic device 101 through an acceleration sensor, a gyro sensor, or a pedometer sensor, the electronic device 101 indicates a plurality of positions indicating the positional relationship of the plurality of external electronic devices 210. Instead of changing the positions of the objects, only the movement detected by the electronic device 101 may be reflected on the screen (eg, the screen 3910 and the screen 3920). For example, when the direction in which the first point of the electronic device 101 faces is rotated 90 degrees to the right, the electronic device 101 may rotate and display the object 3913 on the screen 3910 by 90 degrees. .
  • the electronic device 101 may change the position of the electronic device 101 by more than a reference distance through an acceleration sensor, a gyro sensor, or a pedometer sensor, or the rotation radius of the electronic device 101 may be greater than the current display range. You can see this increase.
  • the electronic device 101 may move in the direction of the arrow 3940. When the electronic device 101 moves in the direction of the arrow 3940 and detects that the position of the electronic device 101 is out of the display range of the current screen 3910, the electronic device 101 may contact the access point 202. Information on the positional relationship of the plurality of external electronic devices 210 may be requested.
  • the electronic device 101 may receive information on the positional relationship of the plurality of external electronic devices 210 from the access point 202.
  • the electronic device 101 may identify at least one external electronic device located in an area corresponding to the direction in which the first point of the electronic device 101 faces.
  • the electronic device 101 is located in at least one area corresponding to information on the positional relationship of the plurality of newly received external electronic devices 210 and the direction in which the first point of the newly identified electronic device 101 faces.
  • a screen eg, a screen
  • objects eg, an object 3902, an object 3904, an object 3904, and an object 3905
  • 3920 may be displayed on the display device 160.
  • the electronic device 101 repeatedly executes the electronic device 101 at a predetermined time interval immediately after it is detected that the electronic device 101 is out of the screen radius displayed on the electronic device 101. Information regarding the positional relationship of 210 may be confirmed.
  • the electronic device 101 may display the changed screen based on the identified information about the positional relationship of the plurality of external electronic devices 210.
  • the electronic device 101 may display the changed screen on the display device 160 in real time based on the changed location. For example, when the electronic device 101 moves, the electronic device 101 may display the changed screen on the display device 160 in real time based on the changed position of the electronic device 101.
  • FIG. 40 illustrates an example of a screen for designating a driving mode of an external electronic device selected by the electronic device 101 according to various embodiments of the present disclosure.
  • the electronic device 101 displays, on the display device 160, an interface (for example, the interface 4001) for controlling the plurality of external electronic devices 210 based on the positional relationship of the plurality of external electronic devices 210.
  • the interface may include an object (eg, an object 4011, an object 4012, an object 4013, an object 4014, an object 4015) and an electronic device 101 representing the plurality of external electronic devices 210. It may include an indicating object (eg, an object 4020).
  • the electronic device 101 may receive an input for some of the objects representing the plurality of external electronic devices 210. For example, the electronic device 101 may receive an input for the object 4013, the object 4014, and the object 4015.
  • the electronic device 101 may include a layer (eg, layer 4030) for setting a driving mode of an external electronic device corresponding to an object representing the plurality of selected external electronic devices 210. Can be displayed.
  • the electronic device 101 may receive an input for selecting a driving mode of an external electronic device corresponding to the objects 4013, 4014, and 4015 representing the plurality of selected external electronic devices 210.
  • the electronic device 101 may receive an input for selecting a driving mode of the external electronic device corresponding to the objects 4013, 4014, and 4015 representing the selected plurality of external electronic devices 210 as the media connection mode.
  • the electronic device 101 may display the interface 4002 for media connection on the display device 160.
  • the interface 4002 includes a drop down list for selecting a control device, a drop down list for selecting a source device, a drop down list for selecting a display device, and a sound output. It may include a drop down list from which devices can be selected.
  • the electronic device 101 may configure a drop down list based on the information about the capabilities of the selected plurality of external electronic devices 210. For example, when objects representing TVs, earphones, and laptops are selected, the electronic device 101 can check information about each function of the TV, earphones, or laptop.
  • the electronic device 101 may display the electronic device 101 and the laptop on a drop down list for selecting a control device.
  • the electronic device 101 may display the electronic device 101 and the laptop on a drop down list for selecting a source device.
  • the electronic device 101 may display the electronic device 101, the laptop, and the TV on a drop down list for selecting a screen display device.
  • the electronic device 101 may display the electronic device 101, a TV, a laptop, and an earphone on a drop down list for selecting a sound output device.
  • the electronic device 101 may receive an input for setting a driving mode of each of the selected external electronic devices through the drop down lists.
  • the electronic device 101 may preset and display a driving mode of an external electronic device that operates only in one driving mode among the selected external electronic devices. For example, when the object 4013 representing the earphone is selected, the electronic device 101 may set and display the earphone as the sound output device in a drop down list for selecting the sound output device. Even when the earphone is set as the sound output device and displayed, the electronic device 101 may change the sound output device to another external electronic device (eg, a TV) based on a user input.
  • another external electronic device eg, a TV
  • the electronic device 101 may further display an object (eg, an object 4041) for adding an external electronic device not selected to the interface (eg, an interface 4002).
  • the electronic device 101 may further display an object (eg, an object 4042) for adding a driving mode to the interface (eg, an interface 4002).
  • a method of an electronic device may include at least one wireless communication circuit (eg, the wireless communication module 192 and the communication module 190) of the electronic device.
  • the first external electronic device eg, the first external electronic device 211 or the second external electronic device 212
  • the second external electronic device eg, the first external electronic device 211 or the second external device
  • GUI graphical user interface
  • the method may include performing communication with the electronic device (eg, the electronic device 101), for example, the first external electronic device (eg, the first external electronic device 211 or the second external electronic device). 212), the second external electronic device (eg, the first external electronic device 211 or the second external electronic device 212), an external server (eg, the server 108), or an access point (
  • the method may further include receiving the first information from at least one of the access points 202.
  • the method may further include receiving the second information from the access point (eg, the access point 202).
  • the third information may include an ID (ID) of the first external electronic device (eg, the first external electronic device 211 or the second external electronic device 212) and the second external electronic device ( For example, it may include an ID of the first external electronic device 211 or the second external electronic device 212 and information on the operation.
  • ID an ID of the first external electronic device
  • the second external electronic device For example, it may include an ID of the first external electronic device 211 or the second external electronic device 212 and information on the operation.
  • the third information may include an IP address.
  • the operation may include at least one of mirroring, streaming, or sharing.
  • the first information may include the first external electronic device (eg, the first external electronic device 211 or the second external electronic device 212) and the second external electronic device (eg, the first external device). It may include a capability of the electronic device 211 or the second external electronic device 212.
  • the method may include storing the first information in a profile form.
  • the first information may include the first external electronic device (eg, the first external electronic device 211 or the second external electronic device 212) and the second external electronic device (eg, the first external device). It may include account information of the electronic device 211 or the second external electronic device 212.
  • the method may further include receiving the third information from an external server (eg, the server 108).
  • an external server eg, the server 108.
  • a method of an electronic device may include a plurality of external electronic devices (eg, a plurality of electronic devices) associated with the other electronic device from another electronic device (eg, the other electronic device 102).
  • a plurality of external electronic devices eg, a plurality of electronic devices
  • the method may include transmitting a signal for connection to an external electronic device.

Abstract

다양한 실시 예들에 따른 전자 장치는, 적어도 하나의 무선 통신 회로, 터치스크린 디스플레이, 상기 적어도 하나의 무선 통신 회로와 상기 터치스크린 디스플레이와 작동적으로 연결된 프로세서, 상기 프로세서와 작동적으로 연결된 메모리를 포함할 수 있고, 상기 메모리는, 실행될 시, 상기 프로세서가 상기 적어도 하나의 무선 통신 회로를 통해, 제1 외부 전자 장치와 제2 외부 전자 장치에 관한 제1 정보를 수신하고, 상기 적어도 하나의 무선 통신 회로를 통해 획득된 신호 및/또는 상기 적어도 하나의 무선 통신 회로를 통해 수신된 제2 정보에 적어도 부분적으로 기반하여, 제1 외부 전자 장치의 위치 및/또는 방향과 제2 외부 전자 장치의 위치 및/또는 방향을 결정하고, 상기 터치스크린 디스플레이에. 상기 결정된 위치 및/또는 상기 결정된 방향에 적어도 부분적으로 기반하여, 상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치를 나타내는 그래픽 사용자 인터페이스(GUI)를 제공하고, 상기 터치스크린 디스플레이를 통해, 상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치를 선택하기 위한 제스처 입력을 수신하고, 상기 무선 통신 회로를 통해, 상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치를 이용하는 동작과 관련된 제3 정보를 송신하도록 하는 인스트럭션들을 저장할 수 있다. 다양한 실시 예들이 가능하다.

Description

외부 장치와의 연결을 위한 전자 장치 및 방법
다양한 실시 예들은, 외부 장치와의 연결을 수행하는 전자 장치 및 그의 동작 방법에 관한 것이다.
최근 반도체 기술 및 무선 통신 기술의 발전으로 인하여 다양한 사물에 통신기능이 포함되어 네트워크를 형성함으로써 편리하게 사물을 제어할 수 있게 되었다. 이와 같이 사물에 통신기능을 포함하여 네트워크로 연결하는 것을 사물 인터넷(internet of things, IoT)이라 하며 실생활에 폭넓게 사용되고 있다. IoT 기기는 무선 통신을 통하여 서로 통신할 수 있으며, 서로 연동하여 동작할 수 있다.
다수의 IoT장치들을 연결해야 하는 상황에서, 사용자는 각기 다른 화면(예: 어플리케이션(application) 또는 메뉴)에서 다수의 IoT장치들의 연결을 수행해야 하는 불편함을 겪을 수 있다. 따라서, 하나의 화면에서 IoT장치를 나타내는 객체를 표시하여 한번에 연결을 수행하기 위한 방안이 요구될 수 있다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
다양한 실시 예들에 따른 전자 장치는, 적어도 하나의 무선 통신 회로, 터치스크린 디스플레이, 상기 적어도 하나의 무선 통신 회로와 상기 터치스크린 디스플레이와 작동적으로 연결된 프로세서, 상기 프로세서와 작동적으로 연결된 메모리를 포함할 수 있고, 상기 메모리는, 실행될 시, 상기 프로세서가, 상기 적어도 하나의 무선 통신 회로를 통해, 제1 외부 전자 장치와 제2 외부 전자 장치에 관한 제1 정보를 수신하고, 상기 적어도 하나의 무선 통신 회로를 통해 획득된 신호 및/또는 상기 적어도 하나의 무선 통신 회로를 통해 수신된 제2 정보에 적어도 부분적으로 기반하여, 제1 외부 전자 장치의 위치 및/또는 방향과 제2 외부 전자 장치의 위치 및/또는 방향을 결정하고, 상기 터치스크린 디스플레이에. 상기 결정된 위치 및/또는 상기 결정된 방향에 적어도 부분적으로 기반하여, 상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치를 나타내는 그래픽 사용자 인터페이스(GUI)를 제공하고, 상기 터치스크린 디스플레이를 통해, 상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치를 선택하기 위한 제스처 입력을 수신하고, 상기 무선 통신 회로를 통해, 상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치를 이용하는 동작과 관련된 제3 정보를 송신하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시 예들에 따른 전자 장치는, 디스플레이, 통신 모듈, 및 상기 디스플레이와 통신 모듈과 기능적으로 연결된 프로세서를 포함할 수 있고, 상기 프로세서는, 액세스 포인트로부터 상기 액세스 포인트와 관련된 복수의 외부 전자 장치들 각각과 상기 액세스 포인트 사이의 위치 관계를 나타내기 위한 제1 데이터를 수신하고, 상기 제1 데이터에 적어도 기반하여, 상기 전자 장치와 상기 복수의 외부 전자 장치들 각각의 위치 관계를 나타내기 위한 제2 데이터를 획득하고, 상기 복수의 외부 전자 장치들을 나타내고, 상기 제2 데이터에 기반하여 배치된(arranged) 복수의 객체들을, 적어도 하나의 장치와 상기 전자 장치를 연결하기 위한 어플리케이션의 사용자 인터페이스 내에서(within), 표시하고, 상기 복수의 객체들 중 적어도 하나의 객체에 대한 입력을 검출하고, 상기 복수의 외부 전자 장치들 중 상기 적어도 하나의 객체에 의해 지시되는(indicated) 적어도 하나의 외부 전자 장치에게 연결을 위한 신호를 송신하도록 설정될 수 있다.
다양한 실시 예들에 따른 전자 장치의 방법은, 상기 전자 장치의 적어도 하나의 무선 통신 회로를 통해, 제1 외부 전자 장치와 제2 외부 전자 장치에 관한 제1 정보를 수신하는 동작과, 상기 적어도 하나의 무선 통신 회로를 통해 획득된 신호 및/또는 상기 적어도 하나의 무선 통신 회로를 통해 수신된 제2 정보에 적어도 부분적으로 기반하여, 제1 외부 전자 장치의 위치 및/또는 방향과 제2 외부 전자 장치의 위치 및/또는 방향을 결정하는 동작과, 상기 전자 장치의 터치스크린 디스플레이에. 상기 결정된 위치 및/또는 상기 결정된 방향에 적어도 부분적으로 기반하여, 상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치를 나타내는 그래픽 사용자 인터페이스(GUI)를 제공하는 동작과, 상기 터치스크린 디스플레이를 통해, 상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치를 선택하기 위한 제스처 입력을 수신하는 동작과, 상기 적어도 하나의 무선 통신 회로를 통해, 상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치를 이용하는 동작과 관련된 제3 정보를 송신하는 동작을 포함할 수 있다.
다양한 실시 예들에 따른 전자 장치(electronic device) 및 그의 동작 방법에 따르면, 전자 장치는 액세스 포인트로부터 수신된 적어도 하나의 신호(signal)에 기반하여, 적어도 하나의 외부 전자 장치들의 위치를 식별함으로써 적어도 하나의 외부 전자 장치들을 연결하기 위한 사용자 인터페이스(user interface)를 제공할 수 있다.
본 발명의 다양한 실시 예에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은, 다양한 실시 예들에 따른, 네트워크 환경 내의 전자 장치의 블럭도이다.
도 2는 다양한 실시 예들에 따른 시스템의 예를 도시한다.
도 3은 다양한 실시 예들에 따른 전자 장치의 기능적 구성의 예를 도시한다.
도 4는 다양한 실시 예들에 따른 전자 장치의 기능적 구성의 다른 예를 도시한다.
도 5는 다양한 실시 예들에 따른 액세스 포인트의 기능적 구성의 예를 도시한다.
도 6은 다양한 실시 예들에 따른 제1 외부 전자 장치의 기능적 구성의 예를 도시한다.
도 7은 다양한 실시 예들에 따른 서버의 기능적 구성의 예를 도시한다.
도 8은 다양한 실시 예들에 따른 액세스 포인트와 제1 외부 전자 장치 사이의 거리를 계산하기 위한 신호 흐름의 예를 도시한다.
도 9a는 다양한 실시 예들에 따른 전자 장치의 동작의 예를 도시한다.
도 9b는 다양한 실시 예들에 따른 전자 장치의 동작의 다른 예를 도시한다.
도 10은 다양한 실시 예들에 따른 전자 장치에서, 복수의 외부 전자 장치들 사이의 위치 관계를 나타내기 위한 데이터를 수신하는 동작의 예를 도시한다.
도 11은 다양한 실시 예들에 따른 액세스 포인트에서 FTM 방식을 통해 액세스 포인트와 제1 외부 전자 장치 사이의 거리 및 방향을 식별하는 동작의 예를 도시한다.
도 12는 다양한 실시 예들에 따른 제1 외부 전자 장치와 액세스 포인트 사이의 거리 및 방향을 식별하는 방법의 예를 설명하기 위한 도면이다.
도 13은 다양한 실시 예들에 따른 액세스 포인트에서, 전자 장치, 액세스 포인트, 또는 제1 외부 전자 장치 사이의 거리를 식별하기 위한 신호 흐름의 예를 도시한다.
도 14는 다양한 실시 예들에 따른 액세스 포인트에서, 전자 장치, 액세스 포인트, 또는 제1 외부 전자 장치 사이의 거리를 식별하기 위한 신호 흐름의 다른 예를 도시한다.
도 15a는 다양한 실시 예들에 따른 전자 장치에서, 복수의 외부 전자 장치들의 위치 관계를 식별하기 위한 신호 흐름의 다른 예를 도시한다.
도 15b는 다양한 실시 예들에 따른 전자 장치에서, 복수의 외부 전자 장치들의 위치 관계를 식별하기 위한 신호 흐름의 다른 예를 도시한다.
도 16은 다양한 실시 예들에 따른 등록되지 않은 외부 전자 장치로부터 송신되는 패킷의 예를 도시한다.
도 17 는 다양한 실시 예들에 따른 전자 장치에서, 복수의 외부 전자 장치들의 기능을 식별하기 위한 신호 흐름의 예를 도시한다.
도 18은 다양한 실시 예들에 따른 전자 장치에서, 복수의 외부 전자 장치들을 나타내는 복수의 객체를 표시하기 위한 동작의 예를 도시한다.
도 19는 다양한 실시 예들에 따른 전자 장치의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 식별하는 방법의 예를 설명하기 위한 도면이다.
도 20은 다양한 실시 예들에 따른 전자 장치에서, 적어도 하나의 외부 전자 장치에게 연결을 위한 신호를 송신하기 위한 동작의 예를 도시한다.
도 21은 다양한 실시 예들에 따른 전자 장치에서, 외부 전자 장치를 나타내는 객체를 표시하는 방법의 예를 설명하기 위한 도면이다.
도 22a는 다양한 실시 예들에 따른 전자 장치에서, 외부 전자 장치를 나타내는 객체를 표시하는 방법의 다른 예를 설명하기 위한 도면이다.
도 22b는 다양한 실시 예들에 따른 전자 장치에서, 외부 전자 장치를 나타내는 객체를 표시하는 방법의 또 다른 예를 설명하기 위한 도면이다.
도 22c는 다양한 실시 예들에 따른 전자 장치에서, 외부 전자 장치를 나타내는 객체를 표시하는 방법의 또 다른 예를 설명하기 위한 도면이다.
도 22d는 다양한 실시 예들에 따른 전자 장치에서, 외부 전자 장치를 나타내는 객체를 표시하는 방법의 또 다른 예를 설명하기 위한 도면이다.
도 23a는 다양한 실시 예들에 따른 전자 장치에서, 외부 전자 장치를 나타내는 객체의 표시를 변경하는 방법의 예를 설명하기 위한 도면이다.
도 23b는 다양한 실시 예들에 따른 전자 장치에서, 외부 전자 장치를 나타내는 객체의 표시를 변경하는 방법의 다른 예를 설명하기 위한 도면이다.
도 24a는 다양한 실시 예들에 따른 전자 장치에서, 외부 전자 장치를 나타내는 객체를 선택하는 방법의 예를 설명하기 위한 도면이다.
도 24b는 다양한 실시 예들에 따른 전자 장치에서, 외부 전자 장치를 나타내는 객체를 선택하는 방법의 다른 예를 설명하기 위한 도면이다.
도 24c는 다양한 실시 예들에 따른 전자 장치에서, 외부 전자 장치를 나타내는 객체를 선택하는 방법의 다른 예를 설명하기 위한 도면이다.
도 25는 다양한 실시 예들에 따른 전자 장치에서 외부 전자 장치들의 연결 모드를 획득하기 위한 동작의 예를 도시한다.
도 26은 다양한 실시 예들에 따른 복수의 외부 전자 장치들을 연결하기 위한 신호 흐름의 예를 도시한다.
도 27은 다양한 실시 예들에 따른 복수의 외부 전자 장치들을 연결하기 위한 신호 흐름의 다른 예를 도시한다.
도 28은 다양한 실시 예들에 따른 전자 장치 및 복수의 외부 전자 장치들을 연결하기 위한 신호 흐름의 예를 도시한다.
도 29는 다양한 실시 예들에 따른 전자 장치에서, 복수의 외부 전자 장치들을 나타내는 객체들을 표시하기 위한 사용자 인터페이스의 예를 도시한다.
도 30은 다양한 실시 예들에 따른 전자 장치에서, 복수의 외부 전자 장치들을 제어하기 위한 화면의 예를 도시한다.
도 31은 다양한 실시 예들에 따른 전자 장치에서, 복수의 외부 전자 장치들을 제어하기 위한 화면의 다른 예를 도시한다.
도 32는 다양한 실시 예들에 따른 전자 장치에서, 하나 이상의 외부 전자 장치들을 연결하기 위한 화면의 예를 도시한다.
도 33은 다양한 실시 예들에 따른 전자 장치에서, 외부 전자 장치와 관련된 어플리케이션에 진입하기 위한 화면의 예를 도시한다.
도 34는 다양한 실시 예들에 따른 전자 장치에서, 복수의 외부 전자 장치들을 제어하기 위한 화면의 또 다른 예를 도시한다.
도 35는 다양한 실시 예들에 따른 전자 장치에서, 복수의 외부 전자 장치들을 나타내기 위한 화면의 예를 도시한다.
도 36은 다양한 실시 예들에 따른 전자 장치에서, 복수의 외부 전자 장치들과 관련된 화면을 표시하기 위한 방법의 예를 도시한다.
도 37은 다양한 실시 예들에 따른 전자 장치에서, 서버를 통해 복수의 외부 전자 장치들을 제어하기 위한 방법의 예를 도시한다.
도 38은 다양한 실시 예들에 따른 전자 장치에서, 초고주파 대역으로 연결된 복수의 외부 전자 장치들을 나타내는 객체를 표시하기 위한 화면의 예를 도시한다.
도 39는 다양한 실시 예들에 따른 전자 장치에서, 복수의 외부 전자 장치들을 나타내는 객체들을 표시하기 위한 화면의 예를 도시한다.
도 40은 다양한 실시 예들에 따른 전자 장치에서 선택된 외부 전자 장치의 구동모드를 지정하기 위한 화면의 예를 도시한다.
도 1은, 다양한 실시 예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블럭도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시 예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)은 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)은, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(178)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 하나 이상의 안테나들을 포함할 수 있고, 이로부터, 제 1 네트워크 198 또는 제 2 네트워크 199와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, or 108) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나,""A, B 또는 C," "A, B 및 C 중 적어도 하나,"및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 혹은 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 2는 다양한 실시 예들에 따른 시스템(200)의 예를 도시한다.
도 2를 참조하면, 시스템(200)은, 예를 들어 전자 장치(101), 액세스 포인트(access point)(202)(예: 도1의 전자 장치(102)), 복수의 외부 전자 장치들(210)(예: 도1의 전자 장치(102) 또는 전자 장치(104)) 또는 서버(108)(예: 클라우드 서버(cloud server))를 포함할 수 있다. 복수의 외부 전자 장치들(210)은 제1 외부 전자 장치(211), 제2 외부 전자 장치(212)를 포함할 수 있다.
전자 장치(101)는 액세스 포인트(202), 서버(108) 또는 복수의 외부 전자 장치들(210)과 무선 통신 또는 유선 통신을 통해 서로 연결될 수 있다. 또한, 시스템(200)을 구성하는 전자 장치(101), 액세스 포인트(202), 서버(108), 복수의 외부 전자 장치들(210)은 각각, 무선 통신 또는 유선 통신을 통해서 연결될 수 있다. 다양한 실시 예들에서, 전자 장치(101)는 액세스 포인트(202)를 통해 복수의 외부 전자 장치들(210)과 무선 통신 또는 유선 통신으로 연결될 수 있다. 또한, 전자 장치(101)는 복수의 외부 전자 장치들(210)과 직접 무선 통신 또는 유선 통신으로 연결 될 수 있다. 예를 들어, 전자 장치(101)는 액세스 포인트(202)를 통해 복수의 외부 전자 장치들(210)과 Wi-Fi(wireless fidelity) 다이렉트(direct) 기법으로 연결 될 수 있다. 다른 예를 들어, 전자 장치(101)는 블루투스(bluetooth) 기법으로 복수의 외부 전자 장치들(210)과 연결 될 수 있다.
다양한 실시 예들에서, 전자 장치(101)는 전자 장치(101) 내부에 저장된 어플리케이션(application)(또는 어플리케이션 프로그램(application program))을 통해 서비스를 제공할 수 있다. 예를 들어, 전자 장치(101)는, 상기 어플리케이션을 이용하여, 상기 액세스 포인트(202) 또는 복수의 외부 전자 장치들(210)의 동작을 제어할 수 있다. 전자 장치(101)는 상기 전자 장치(101) 내부에 저장된 어플리케이션을 통해 액세스 포인트(202) 또는 복수의 외부 전자 장치들(210)의 동작을 제어하기 위한 사용자 입력을 수신할 수 있다. 상기 사용자 입력은, 예를 들어, 전자 장치(101)의 물리적 버튼, 터치 패드 또는 마이크를 통해 수신될 수 있다. 전자 장치(101)는 복수의 외부 전자 장치들(210)을 연결하기 위한 입력을 검출할 수 있다. 다양한 실시 예들에서, 전자 장치(101)는 휴대폰(cell phone), 스마트폰(smart phone), PDA(personal digital assistant), 노트북(notebook), 컴퓨터(computer) 또는 무선 통신이 가능한 전자 장치를 포함할 수 있다.
다양한 실시 예들에서, 액세스 포인트(202)는 복수의 외부 전자 장치들(210)의 위치 관계에 관한 정보를 획득할 수 있다. 액세스 포인트(202)는 획득된 복수의 외부 전자 장치들(210)의 위치 관계를 나타내기 위한 정보를 전자 장치(101)에 송신할 수 있다. 다양한 실시 예들에서, 액세스 포인트(202)는 휴대용 단말기, 노트북, 컴퓨터 또는 공유기를 포함할 수 있다.
다양한 실시 예들에서, 복수의 외부 전자 장치들(210)은 전자 장치(101)에 등록된 전자 장치를 포함할 수 있다. 다양한 실시 예들에서, 복수의 외부 전자 장치들(210)은 전자 장치(101)에 등록되어 있지 않은 전자 장치를 포함할 수 있다. 복수의 외부 전자 장치들(210)은 전자 장치(101) 또는 액세스 포인트(202)로부터 각각의 복수의 외부 전자 장치들(210)을 제어하기 위한 신호를 수신할 수 있다. 예를 들어, 복수의 외부 전자 장치들(210)은 각각의 복수의 외부 전자 장치들(210)을 제어하기 위한 신호를 수신하는 것에 기반하여 각각의 복수의 외부 전자 장치들(210)의 구동 모드를 변경할 수 있다. 구동 모드는 각각의 복수의 외부 전자 장치들(210)의 동작(예: 영상 출력 또는 사운드 출력) 상태를 포함할 수 있다. 다양한 실시 예들에서, 복수의 외부 전자 장치들(210) 은 휴대폰, 노트북, 컴퓨터, IoT 전구, 또는 냉장고와 같은 각종 IoT 기기를 포함할 수 있다.
다양한 실시 예들에서, 서버(108)는 전자 장치(101)로부터 복수의 외부 전자 장치들(210)의 위치 관계에 관한 정보를 수신하고 수신된 정보를 저장할 수 있다. 서버(108)는 복수의 외부 전자 장치들(210)을 연결하기 위한 입력에 관한 정보를 전자 장치(101)로부터 수신하고 수신된 정보를 저장할 수 있다. 서버(108)는 전자 장치(101)의 계정 정보와 전자 장치(101)에 등록된 복수의 외부 전자 장치들(210)에 관한 정보를 수신하고 수신된 정보를 저장할 수 있다.
다양한 실시 예들에서, 서버(108)는 액세스 포인트(202)로부터 복수의 외부 전자 장치들(210)의 위치 관계에 관한 정보를 수신하고 수신된 정보를 저장할 수 있다. 서버(108)는 복수의 외부 전자 장치들(210)을 연결하기 위한 입력에 관한 정보를 액세스 포인트(202)로부터 수신하고 수신된 정보를 저장할 수 있다. 서버(108)는 액세스 포인트(202)의 계정 정보와 액세스 포인트(202)에 등록된 복수의 외부 전자 장치들(210)에 관한 정보를 수신하고 수신된 정보를 저장할 수 있다.
도 3은 다양한 실시 예들에 따른 전자 장치(101)의 기능적 구성의 예를 도시한다. 도 3에 도시된 기능적 구성의 적어도 일부는, 도 1에 도시된 전자 장치(101)에 포함될 수 있다.
도 3을 참조하면, 전자 장치(101)는 프로세서(120), 입력 장치(150), 표시 장치(160), 통신 모듈(190)을 포함할 수 있고 프로세서(120), 입력장치(150), 표시장치(160) 및 통신 모듈(190)은 작동적으로 연결될 수 있다. 다만, 이에 한정되는 것은 아니며, 일부 구성 요소가 생략될 수 있다.
프로세서(120)는, 예를 들면, 전자 장치(101)의 전반적인 동작을 제어할 수 있다. 프로세서(120)는, 전자 장치(101)의 전반적인 동작을 제어하기 위해 입력 장치(150), 표시 장치(160), 통신 모듈(190)과 같은 전자 장치(101) 내의 다른 구성요소와 작동적으로 결합될 수 있다. 프로세서(120)는, 다른 구성 요소들(예: 입력 장치(150), 표시 장치(160), 통신 모듈(190))의 명령을 수신할 수 있다. 프로세서(120)는 수신된 명령을 해석할 수 있다. 프로세서(120)는 해석된 명령에 따라서 계산을 수행할 수 있고, 데이터를 처리할 수 있다. 프로세서(120)는, 소프트웨어로 구현될 수도 있고, 칩(chip), 회로(circuitry)와 같은 하드웨어로 구현될 수도 있으며, 소프트웨어 및 하드웨어의 집합체로 구현될 수도 있다. 프로세서(120)는, 하나일 수도 있고, 복수의 프로세서들의 집합체일 수도 있다.
프로세서(120)는 입력 장치(150), 표시 장치(160) 또는 통신 모듈(190)로부터 수신되는 메시지, 데이터, 명령어 또는 신호를 해석할 수 있다. 프로세서(120)는 입력 장치(150), 표시 장치(160) 또는 통신 모듈(190)로부터 수신되는 메시지, 데이터, 명령어 또는 신호를 가공할 수 있다. 프로세서(120)는 수신된 메시지, 데이터, 명령어, 또는 신호에 기반하여 새로운 메시지, 데이터, 명령어, 또는 신호를 생성할 수 있다. 프로세서(120)는 가공되거나 생성된 메시지, 데이터, 명령어, 또는 신호를 입력 장치(150), 표시 장치(160) 또는 통신 모듈(190)에게 제공할 수 있다.
입력 장치(150)는 전자 장치(101)와 관련된 사용자에 의해 생성되는 터치 신호(touch signal) 또는 오디오 신호(audio signal)를 수신할 수 있다. 입력 장치(150)는 상기 수신된 신호를 전기적 신호로 변환할 수 있다. 입력 장치(150)는 상기 변환된 전기적 신호를 프로세서(120)에게 제공할 수 있다.
표시 장치(160)는 사용자에게 정보를 제공하기 위해 이용될 수 있다. 예를 들면, 표시 장치(160)는 스피커, GUI(graphical user interface)를 통해 사용자에게 정보를 제공하는 디스플레이(display), 또는 빛을 통해 사용자에게 정보를 제공하는 인디케이터(indicator) 모듈(module)(예: LED(light emitting diode) 모듈) 중 하나 이상을 포함할 수 있다. 표시 장치(160)는 프로세서(120)로부터 제공되는 정보, 데이터, 또는 신호에 기반하여 정보를 제공할 수 있다.
통신 모듈(190)은 다양한 전자 장치들(예: 액세스 포인트(202), 복수의 외부 전자 장치들(210), 서버(108))과 전자 장치(101) 사이의 통신 경로(예: 전자 장치(101)와 액세스 포인트(202)(예: 전자 장치(102)) 사이의 통신 경로, 전자 장치(101)와 복수의 외부 전자 장치들(210) 사이의 통신 경로, 전자 장치(101)와 서버(108) 사이의 통신 경로)를 생성(generate)하거나 수립(establish)하기 위해 이용될 수 있다. 예를 들면, 통신 모듈(190)은 블루투스(bluetooth) 통신 기법, BLE(bluetooth low energy) 통신 기법, Wi-Fi(wireless fidelity) 통신 기법, 셀룰러(cellular 또는 모바일(mobile)) 통신 기법, 또는 유선 통신 기법 중 적어도 하나를 위한 모듈일 수 있다. 통신 모듈(190)은 상기 다양한 전자 장치로부터 수신되는 신호, 정보, 데이터, 또는 메시지를 프로세서(120)에게 제공할 수 있다. 통신 모듈(190)은 프로세서(120)로부터 제공되는 신호, 정보, 데이터, 또는 메시지를 상기 다양한 전자 장치에게 송신할 수 있다.
프로세서(120)는, 통신 모듈(190)을 통해 복수의 외부 전자 장치들(210)의 위치 관계에 관한 제1 데이터를 수신할 수 있다. 예를 들어, 프로세서(120)는 복수의 외부 전자 장치들(210)의 위치 관계에 관한 제1데이터를 요청하는 신호를 통신 모듈(190)을 통해 액세스 포인트(202)에 송신할 수 있다. 프로세서(120)는 액세스 포인트(202)로부터 복수의 외부 전자 장치들(210)의 위치 관계에 관한 정보를 상기 요청에 대한 응답으로 수신할 수 있다.
프로세서(120)는, 상기 통신 모듈(190)로부터 복수의 외부 전자 장치들(210)의 위치 관계에 관한 제1 데이터에 기반하여 생성된 제2 데이터를 획득할 수 있다. 제2 데이터는 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 기준으로 하는 복수의 외부 전자 장치들(210)의 위치 관계에 관한 데이터를 포함할 수 있다. 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치는 도 19에서 후술될 것이다. 예를 들어, 프로세서(120)는, 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 식별할 수 있다. 프로세서(120)는, 통신 모듈(190)로부터 수신된 제1 데이터에 기반하여 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 기준으로 하는, 복수의 외부 전자 장치들(210)의 위치 관계에 관한 제2 데이터를 획득할 수 있다.
프로세서(120)는, 제2 데이터에 기반하여 복수의 외부 전자 장치들(210)을 나타내는 복수의 객체들을 사용자 인터페이스 내에서 표시 장치(160)를 통해 표시할 수 있다. 예를 들어, 프로세서(120)는 전자 장치(101)와 복수의 외부 전자 장치들(210) 사이의 거리 또는 방향에 기반하여 복수의 외부 전자 장치들(210)을 나타내는 복수의 객체들을 표시 장치(160)를 통해 표시할 수 있다. 예를 들면, 복수의 객체들은 복수의 외부 전자 장치들(210) 각각의 이름으로 지시되거나(indicated) 복수의 객체들은 복수의 외부 전자 장치들(210)에 각각에 상응하는 형상(shape)으로 지시될 수 있다.
프로세서(120)는, 입력 장치(150)를 통해, 상기 복수의 객체들 중 적어도 하나의 객체에 대한 입력을 검출할 수 있다. 상기 입력은 드래그(drag) 입력, 음성 명령(voice command) 입력, 탭(tap) 입력, 더블 탭(double tap) 입력, 또는 롱 프레스(long press)를 포함할 수 있다.
프로세서(120)는, 통신 모듈(190)을 통해, 입력된 적어도 하나의 객체에 의해 지시되는 적어도 하나의 외부 전자 장치에게 연결을 위한 신호를 송신할 수 있다. 예를 들어, 프로세서(120)는, 복수의 객체들 중 스피커(speaker)를 나타내는 객체 및 컴퓨터(computer)를 나타내는 객체를 선택하기 위한 입력을 검출하는 것에 기반하여, 통신 모듈(190)을 통해, 스피커와 컴퓨터를 연동하기 위한 신호를 스피커, 또는 컴퓨터 각각에 송신할 수 있다.
도 4는 다양한 실시 예들에 따른 전자 장치(101)의 기능적 구성의 다른 예를 도시한다. 도 4에 도시된 기능적 구성의 적어도 일부는, 도 1에 도시된 전자 장치(101)에 포함될 수 있다.
도 4를 참조하면, 통신 모듈(190)은 신호 수신 모듈(410), 신호 특징 추출 모듈(420)을 포함할 수 있다. 입력 장치(150)는 센서 정보 입력 모듈(450)을 포함할 수 있다. 프로세서(120)는 장치 판단 모듈(440), 표시 제어 모듈(460)을 포함할 수 있다. 전자 장치(101)는 도 4의 구성에 한정되지 않을 수 있다. 일 실시 예에 따르면, 전자 장치(101)의 종류에 따라, 프로세서(120)는 신호 수신 모듈(410) 또는 신호 특징 추출 모듈(420)을 포함할 수 있다.
다양한 실시 예들에서, 신호 수신 모듈(410)은 두 개 이상의 무선 통신 안테나를 통해 각각의 안테나로 수신되는 하나 이상의 신호들을 수신할 수 있다. 예를 들어, 신호 수신 모듈(410)은 각각의 안테나로 입력되는 각각의 다른 장치들의 신호를 구별할 수 있다. 일 실시 예에 따르면, 신호 수신 모듈(410)은 안테나로부터 수신된 신호를 해석하여 신호 여부를 판단할 수 있다. 신호 수신 모듈(410)은 수신된 신호가 통신을 위한 신호로 판단되면 해당 신호를 신호 특징 추출 모듈(420)로 송신하여 송신된 신호의 해석을 요청할 수 있다.
다양한 실시 예들에서, 신호 특징 추출 모듈(420)은 상기 수신된 신호에 기반하여, 신호의 위상 정보를 획득할 수 있다. 신호 특징 추출 모듈(420)은 제1 안테나 및 제2 안테나로부터 수신된 신호의 고유 특성에 관한 정보를 추출하여 위상 정보와 함께 장치 판단 모듈(440)로 전송할 수 있다. 상기 수신된 신호의 고유 특성에 관한 정보는 제1 안테나로부터 수신된 신호 및 제2 안테나로부터 수신된 신호들의 특성을 나타내는 정보를 포함할 수 있다. 예를 들어, 상기 수신된 신호들의 특성을 나타내는 정보는 안테나 간 신호 세기 패턴, 수신 신호 강도 (received signal strength indication, RSSI), SNR(signal to noise ratio) 또는 통신 채널 관련 정보와 같은 정보를 포함할 수 있다. 신호 특징 추출 모듈(420)은 위상 정보를 포함한 상기 정보에 적어도 기반하여 다른 장치의 안테나가 가시 거리(line of sight, LoS)에 있는지 여부 또는 수신된 신호가 다중 신호(multipath signal)인지 여부와 같은 정보를 획득할 수 있다. 일 실시 예에 따르면, 신호 특성 추출 모듈(420)은 하나의 신호에 대한 위상 차 값과 다수 개의 위상 차 값들의 편차 값을 계산하여 장치 판단 모듈(440)로 송신할 수 있다. 일 실시 예에 따르면, 신호 특징 추출 모듈(420)은 각각의 다른 장치들로부터 수신된 하나 이상의 신호들 각각의 위상을 연산할 수 있다. 신호 특징 추출 모듈(420)은 각각의 안테나로 입력되는 각각의 다른 장치들의 신호들을 개별적인 이동 경로(path)를 통해 장치 판단 모듈(440)에게 송신할 수 있다.
센서 정보 입력 모듈(450)은 전자 장치(101)의 가속도 센서, 중력 센서 또는 자기 센서로부터 입력 정보를 수신할 수 있다. 센서 정보 입력 모듈(450)은 상기 입력된 정보에 기반하여 전자 장치(101)의 위치 및 상태 정보를 식별할 수 있다. 센서 정보 입력 모듈(450)은 상기 전자 장치(101)의 위치 및 상태 정보를 장치 판단 모듈(440)에게 송신할 수 있다.
장치 판단 모듈(440)은 신호 특징 추출 모듈(420)로부터 수신한 정보들에 기반하여, 전자 장치(101)의 제1 지점(예: 안테나 위치 또는 전자 장치의 상단)이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 식별할 수 있다. 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치는 도 19에서 후술될 것이다. 장치 판단 모듈(440)은 신호 특징 추출 모듈(420)로부터 제공받은 위상 정보와 신호 고유 특성 정보, 또는 센서 정보 입력 모듈(450)로부터 제공되는 정보에 적어도 기반하여 가중치 위상 차 정보를 획득할 수 있다. 장치 판단 모듈(440)은 획득된 가중치 위상 차 정보를 이용하여 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 식별할 수 있다.
다양한 실시 예들에서, 장치 판단 모듈(440)은 서버(108) 또는 액세스 포인트(202)와 연결된 외부 전자 장치들(예: 제1 외부 전자 장치(211), 제2 외부 전자 장치(212))의 기능(예: 화면 표시 기능, 데이터 저장 기능)에 관한 정보를 수신할 수 있다. 장치 판단 모듈(440)은 상기 수신된 정보에 기반하여 외부 전자 장치의 종류(예: 스피커(speaker), TV(television), 컴퓨터(computer), 또는 프로젝터(projector))를 식별할 수 있다. 입력 장치(150)는 복수의 외부 전자 장치들(210)의 구동 모드에 대한 입력을 검출할 수 있다. 장치 판단 모듈(440)은 상기 구동 모드에 대한 입력을 입력 장치(150)로부터 수신할 수 있다. 장치 판단 모듈(440)은 상황 정보에 기반하여 화면에 표시될 외부 전자 장치들을 결정할 수 있다. 상황 정보는 전자 장치(101)의 내부의 상태 및 외부의 상태에 관한 정보에 해당할 수 있다. 상황 정보는 상기 구동 모드에 대한 입력, 전자 장치(101)의 기능에 관한 정보, GPS(global positioning system), 기지국의 셀(cell) 신호, 전자 장치(101)의 위치 정보, 어플리케이션 ID(application identification), 호출된 함수의 종류(type), 또는 음성 명령과 함께 입력된 키워드를 포함할 수 있다. 예를 들어, 표시 제어 모듈(460)이 GPS나 기지국의 셀(cell) 신호, 또는 전자 장치(101)의 위치 정보에 기반하여 표시될 외부 전자 장치들을 나타내는 경우, 전자 장치(101)는 전자 장치(101)의 위치에 따라 표시될 외부 전자 장치들(210)을 나타내는 객체들을 다르게 설정할 수 있다. 예를 들어, 전자 장치(101)가 실외에 위치하는 경우, 전자 장치(101)는 전자 장치(101)의 화면에 실내에 있는 이어폰(earphone)을 나타내는 객체를 표시하지 않을 수 있다. 다른 예를 들어, 전자 장치(101)는, 전자 장치(101)가 실외에 있는 경우라도 실내에 있는 이어폰을 나타내는 객체를 표시할 수도 있다.
일 실시 예에 따르면, 전자 장치(101)는 입력 장치(150)로부터 구동 모드에 대한 입력을 음성 입력을 통해 수신할 수 있다. 예를 들어, 상기 음성 입력을 통한 구동 모드에 대한 입력은 음악 재생에 관련된 입력에 해당할 수 있다. 전자 장치(101)는, 상기 음악 재생에 관련된 입력에 기반하여 냉장고를 나타내는 객체를 표시하지 않을 수 있다. 다른 예를 들어, 전자 장치(101)는, 음성 입력으로부터 음악 재생에 관련된 입력을 수신한 경우라도 냉장고를 표시할 수도 있다.
다양한 실시 예들에서, 장치 판단 모듈(440)은, 구동 모드에 대한 입력과 외부 전자 장치들의 기능에 관한 정보에 기반하여 화면에 객체로서 표시될 외부 전자 장치들을 결정할 수 있다. 장치 판단 모듈(440)은, 상기 화면에 표시될 외부 전자 장치들의 목록을 생성할 수 있다. 장치 판단 모듈(440)은 상기 화면에 표시될 외부 전자 장치들의 목록을 표시 제어 모듈(460)에 송신할 수 있다.
장치 판단 모듈(440)은, 예를 들어, 전자 장치(101)가 복수의 외부 전자 장치들(210)의 구동 모드를 파일 공유로 설정하는 입력을 수신한 경우, 전자 장치(101)는 파일 공유에 관한 동작을 수행할 수 있는 외부 전자 장치(예: 제1 외부 전자 장치(211), 제2 외부 전자 장치(212))들의 목록을 생성할 수 있다.
다양한 실시 예들에서, 장치 판단 모듈(440)은 외부 전자 장치의 구동 모드에 기반하여 전자 장치(101)에 등록된 계정을 이용하여 전자 장치(101)가 제어할 수 있는 외부 전자 장치 및 전자 장치(101)에 등록된 외부 전자 장치들을 목록에 추가할 수 있다. 장치 판단 모듈(440)은, 외부 전자 장치가 이전에 등록되거나 사용 이력이 없더라도 현재 외부 전자 장치의 구동 모드에 대한 동작을 수행 가능하다고 식별되는 경우, 사용 이력이 없거나 현재 외부 전자 장치의 구동 모드에 대한 동작을 수행 가능한 외부 전자 장치를 상기 목록에 추가할 수 있다.
다양한 실시 예들에서, 장치 판단 모듈(440)은, 외부 전자 장치(예: 제1 외부 전자 장치(211), 제2 외부 전자 장치(212))의 구동 모드에 따라, 화면에 표시될 외부 전자 장치를 나타내는 객체를 식별할 수 있다. 장치 판단 모듈(440)은 상기 객체를 표시 제어 모듈(460)에 송신할 수 있다. 장치 판단 모듈(440)은, 전자 장치(101)와 연결되어 있지 않으나, 상기 구동 모드에 대한 동작을 수행 가능한 외부 전자 장치를 식별할 수 있다. 장치 판단 모듈(440)은 식별된 외부 전자 장치에 관한 정보를 표시 제어 모듈(460)에 송신할 수 있다.
표시 제어 모듈(460)은, 액세스 포인트(202)로부터 수신한 복수의 외부 전자 장치들(210) 각각과 상기 액세스 포인트(202) 사이의 위치 관계를 나타내기 위한 제1 데이터를 수신할 수 있다. 상기 제1 데이터는 액세스 포인트(202)와 외부 전자 장치의 거리 또는 방향에 관한 정보를 적어도 하나 포함할 수 있다. 표시 제어 모듈(460)은, 상기 제1 데이터에 기반하여 장치 판단 모듈(440)에서 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 기준으로 하는, 복수의 외부 전자 장치들(210)의 위치 관계를 나타내기 위한 제2 데이터를 획득할 수 있다. 상기 제2 데이터는 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 기준으로 하는 외부 전자 장치들의 위치 관계에 관한 정보를 포함할 수 있다. 표시 제어 모듈(460)은, 전자 장치(101)의 디스플레이의 크기에 기반하여 변환된, 복수의 객체로써 복수의 외부 전자 장치들(210)을 나타낼 수 있다. 또한, 표시 제어 모듈(460)은 상기 복수의 객체 중 적어도 하나의 객체에 대한 입력에 기반하여, 상기 적어도 하나의 객체에 의해 지시되는 외부 전자 장치의 연결을 수행할 수 있다. 표시 제어 모듈(460)은 상기 적어도 하나의 객체에 의해 지시되는 외부 전자 장치의 연결을 위한 제어 신호를 전달할 수도 있다.
다양한 실시 예들에서, 표시 제어 모듈(460)은 액세스 포인트(202)를 기준으로 하는 복수의 외부 전자 장치들(210) 각각의 거리 또는 방향에 관한 정보를 수신할 수 있다. 전자 장치(101)는 장치 판단 모듈(440)을 통해 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 식별할 수 있다. 표시 제어 모듈(460)은, 상기 정보에 기반하여, 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 기준으로 변경된 복수의 외부 전자 장치들(210)의 위치 관계에 관한 정보를 획득할 수 있다.
예를 들어, 표시 제어 모듈(460)은 수신된 거리 또는 방향에 관한 정보에 기반하여, 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 기준으로 회전된 외부 전자 장치의 배치에 관한 정보를 획득할 수 있다. 표시 제어 모듈(460)은 장치 판단 모듈(440)로부터 수신한 복수의 외부 전자 장치들(210)을 나타내는 객체들을 화면에 표시할 수 있다.
다양한 실시 예들에서, 표시 제어 모듈(460)은, 장치 판단 모듈(440)로부터 현재 전자 장치(101)에 연결되지 않은 기기들 중 추가적으로 표시될 외부 전자 장치가 존재한다는 신호를 수신할 수 있다. 전자 장치(101)는, 상기 수신된 신호에 기반하여, 서버(108)에 추가적으로 표시될 외부 전자 장치에 관한 정보를 스냅샷(snapshot)의 형태로 요청하기 위한 신호를 전송할 수 있다. 상기 스냅샷은 전자 장치(101)에 연결된 기록이 있거나 등록된 기록이 있는 외부 전자 장치에 관한 정보를 포함할 수 있다. 표시 제어 모듈(460)은 서버(108)로부터 추가적으로 표시될 외부 전자 장치가 포함된 스냅샷에 대한 정보를 수신할 수 있다. 표시 제어 모듈(460)은 수신된 스냅샷에 대한 정보에 기반하여 표시될 외부 전자 장치를 나타내는 객체를 화면에 추가적으로 표시할 수 있다.
도 5는 다양한 실시 예들에 따른 액세스 포인트(202)의 기능적 구성의 예를 도시한다. 도 5에 도시된 기능적 구성의 적어도 일부는, 도 1에 도시된 전자 장치(102)에 해당할 수 있다.
도 5를 참조하면, 액세스 포인트(202)는 사용자의 신체의 적어도 일부에 착용되는 웨어러블 디바이스(wearable device) 또는 스마트폰을 포함할 수 있다. 다만, 이에 제한되지 않는다.
다양한 실시 예들에서, 액세스 포인트(202)는, 프로세서(501)(예: 도 1의 프로세서(120)) 및 통신 모듈(503)(예: 도 1의 통신 모듈(190))을 포함할 수 있고 프로세서(501) 및 통신 모듈(503)은 작동적으로 연결될 수 있다. 프로세서(501)는, 거리 측정 모듈(510), 방향 측정 모듈(520) 및 장치 관리 모듈(530)을 포함할 수 있다.
거리 측정 모듈(510)은 액세스 포인트(202)와 각각의 복수의 외부 전자 장치들(210) 사이의 거리에 대한 정보를 획득할 수 있다. 예를 들면, 거리 측정 모듈(510)은, 통신 모듈(503)을 통해, 제1 외부 전자 장치(211)로부터 액세스 포인트(202)와 제1 외부 전자 장치(211) 사이의 거리를 측정하기 위한 복수의 신호들을 수신할 수 있다. 거리 측정 모듈(510)은 상기 수신된 복수의 신호들 사이의 시간 차를 연산할 수 있다. 거리 측정 모듈(510)은 상기 연산된 시간 차에 대한 정보에 적어도 기반하여 액세스 포인트(202)와 제1 외부 전자 장치(211) 사이의 거리에 관한 정보를 획득할 수 있다. 예를 들어, 거리 측정 모듈(510)은 FTM(fine timing measurement) 방식을 이용할 수 있다. FTM 방식에 대한 설명은 도 8에서 후술될 것이다.
방향 측정 모듈(520)은 액세스 포인트(202)를 기준으로 하는 복수의 외부 전자 장치들의 각각의 방향을 측정할 수 있다. 방향 측정 모듈(520)은 액세스 포인트(202)를 기준으로 하는 복수의 외부 전자 장치들(210)의 방향을 측정할 수 있다. 다양한 실시 예들에서, 방향 측정 모듈(520)은 도 4의 전자 장치(101)의 신호 특징 추출 모듈(420)에 상응할 수 있다.
통신 모듈(503)은 복수의 외부 전자 장치들(210)의 제어와 관련된 신호를 송신하거나 수신할 수 있다. 통신 모듈(503)은 복수의 안테나들을 포함할 수 있다. 다양한 실시 예들에서, 통신 모듈(503)은 복수의 외부 전자 장치들(210)의 방향을 측정하기 위해 복수의 안테나들과 연결될 수 있다. 통신 모듈(503)은, 각각의 복수의 안테나를 통해 수신된 신호들을, 수신할 수 있다. 통신 모듈(503)은 수신된 신호들을 거리 측정 모듈(510) 또는 방향 측정 모듈(520)에게 송신할 수 있다.
다양한 실시 예들에서, 도 5에 도시되지 않았으나, 액세스 포인트(202)는 복수의 마이크들을 포함할 수 있다. 액세스 포인트(202)는 복수의 마이크들을 액세스 포인트(202)로부터 전자 장치(101)의 방향 및 복수의 외부 전자 장치들(210)의 방향을 측정하기 위해 이용할 수 있다. 예를 들어, 전자 장치(101)가 전자 장치(101)와 관련된 사용자로부터 음성 입력을 수신하는 경우, 액세스 포인트(202)의 통신 모듈(503)은 복수의 마이크들을 통해 상기 음성 입력을 수신할 수 있다. 액세스 포인트(202)는 상기 음성 입력을 통해 전자 장치(101)의 위치에 관한 정보를 획득할 수 있다.
장치 관리 모듈(530)은 액세스 포인트(202)와 연결된 전자 장치(101) 및 복수의 외부 전자 장치들(210)의 목록을 관리할 수 있다. 장치 관리 모듈(530)은 전자 장치(101) 및 복수의 외부 전자 장치들(210)에게 제어 신호들을 송신할 수 있다. 장치 관리 모듈(530)은 전자 장치(101) 및 복수의 외부 전자 장치들(210)과 액세스 포인트(202)의 각각의 위치 관계에 관한 정보를 주기적으로 획득할 수 있다. 장치 관리 모듈(530)은 상기 획득된 위치 관계에 관한 정보를 서버(108)에 주기적으로 업로드(upload)할 수 있다. 장치 관리 모듈(530)은 전자 장치(101)로부터 요청이 없는 경우에도, 주기적으로 전자 장치(101) 및 복수의 외부 전자 장치들(210)과 액세스 포인트(202)의 각각의 위치 관계에 관한 정보를 서버(108)에 업로드할 수 있다. 하지만 이에 제한되지 않는다.
장치 관리 모듈(530)은, 서버(108)로부터 복수의 외부 전자 장치들(210)의 연결 및 위치 관계 대한 정보를 나타내는 스냅샷(snapshot)에 대한 정보를 수신할 수 있다. 장치 관리 모듈(530)은, 상기 수신한 스냅샷에 대한 정보를 전자 장치(101)에 송신할 수 있다. 장치 관리 모듈(530)은 전자 장치(101) 및 복수의 외부 전자 장치들(210)로부터 제어 신호를 수신할 수 있다. 장치 관리 모듈(530)은 수신된 제어 신호를 전자 장치(101) 및 복수의 외부 전자 장치들(210)에게 송신할 수 있다. 장치 관리 모듈(530)은 현재 등록된 복수의 외부 전자 장치들에 대한 버전 정보를 업데이트(update)하고 관리할 수 있다. 장치 관리 모듈(530)은 전자 장치(101) 및 액세스 포인트(202)의 권한에 관한 정보를 업데이트하고 관리할 수 있다. 장치 관리 모듈(530)은 전자 장치(101) 및 복수의 외부 전자 장치들(210)에 대한 중앙 관리자 역할을 수행할 수 있다.
도 6은 다양한 실시 예들에 따른 제1 외부 전자 장치(211)의 기능적 구성의 예를 도시한다. 도 6에 도시된 기능적 구성의 적어도 일부는, 도 2에 도시된 제1 외부 전자 장치(211)에 포함될 수 있다. 제1 외부 전자 장치(211)는 복수의 외부 전자 장치(210) 중 하나 일 수 있다.
도 6을 참조하면, 제1 외부 전자 장치(211)는, 프로세서(610)(예: 프로세서(120)) 및 통신 모듈(620)(예: 통신 모듈(190))을 포함할 수 있고 프로세서(610) 및 통신 모듈(620)은 작동적으로 연결될 수 있다. 프로세서(610)는, 기능 제어 모듈(630) 및 통신 제어 모듈(640)을 포함할 수 있다.
다양한 실시 예들에서, 통신 모듈(620)은 제1 외부 전자 장치(211)의 기능을 수행하기 위해 필요한 무선(radio frequency, RF) 신호를 송수신할 수 있다. 통신 모듈(620)은 하나 혹은 복수개의 안테나들과 기능적으로 결합될(operably coupled to) 수 있다. 통신 모듈(620)은 디스커버리 신호(discovery signal)를 송신하거나 수신할 수 있다. 상기 디스커버리 신호는, 제1 외부 전자 장치(211)의 존재를 알리기 위해 송신되는 방송 신호로, 통신 모듈(620)을 통해 외부(external)로 송신되거나 방송될 수 있다. 상기 디스커버리 신호는, 다른 장치(예: 전자 장치(101), 액세스 포인트(202))의 존재를 나타내는 신호로, 통신 모듈(620)을 통해 제1 외부 전자 장치(211)에 수신될 수 있다.
통신 모듈(620)은 상기 디스커버리 신호를 통해 전자 장치(101), 액세스 포인트(202), 또는 적어도 하나의 다른 외부 전자 장치를 식별할 수 있다.
통신 모듈(620)은 거리 측정 또는 방향 측정을 위한 패킷과 제어 신호를 송신할 수 있다. 다양한 실시 예들에서, 상기 패킷과 상기 제어 신호는 동시에 송신될 수도 있고, 독립적으로 송신될 수도 있다. 또한, 통신 모듈(620)은 거리 측정 또는 방향 측정을 위한 패킷과 제어신호를 수신할 수도 있다. 다양한 실시 예들에서, 상기 패킷과 상기 제어 신호는 동시에 수신될 수도 있고, 독립적으로 수신될 수도 있다.
다양한 실시 예들에서, 제1 외부 전자 장치(211)의 프로세서(610)가 비활성화 된 상태인 경우라도, 통신 모듈(620)은 독립적으로 동작할 수 있다. 예를 들면, 제1 외부 전자 장치(211)의 적어도 일부 구성 요소(예: 프로세서(610)가 파워를 획득하지 않거나 인액티브(예: 슬립) 상태인 경우에도, 통신 모듈(620)은 동작할 수 있다.
통신 제어 모듈(640)은 다양한 제어 신호들을 처리할 수 있다. 통신 제어 모듈(640)은 다른 외부 전자 장치와의 정보 교환에 관한 신호를 처리할 수 있다. 또한, 통신 제어 모듈(640)은 통신 모듈(620)을 통해 수신된 디스커버리 신호(discovery signal)를 처리할 수 있다.
다양한 실시 예들에서 통신 제어 모듈(640)은, 통신 모듈(620)로부터 수신된 신호에 기반하여 거리와 방향 측정에 관한 정보를 처리할 수 있다. 통신 제어 모듈(640)은, FTM 요청 신호(fine timing measurement request signal)를 수신한 경우, 통신 모듈(620)을 통해 확인 응답 신호(acknowledgement signal, ACK signal)를 송신할 수 있다. 통신 제어 모듈(640)은, FTM 요청 신호를 수신한 타이밍과 확인 응답 신호가 송신된 타이밍의 차이에 대한 정보를 전자 장치(101) 또는 액세스 포인트(202)에 송신할 수 있다.
다양한 실시 예들에서, 통신 제어 모듈(640)은, 액세스 포인트(202)로부터 방향 측정에 관한 신호를 수신한 경우, 자신의 식별 정보를 포함한 디스커버리 신호(discovery signal)를 주기적으로 송신할 수 있다.
다양한 실시 예들에서, 기능 제어 모듈(630)은 통신 제어 모듈(640)로부터 다양한 구동 모드들에 대한 제어 신호를 수신할 수 있다. 기능 제어 모듈(630)은 상기 다양한 구동 모드들에 대한 제어 신호에 기반하여 제1 외부 전자 장치(211)의 구동 모드를 다른 구동 모드로 변경할 수 있다.
다양한 실시 예들에서, 통신 제어 모듈(640)이 영상 출력에 대한 제어 신호를 수신한 한 경우, 통신 제어 모듈(640)은, 상기 영상 출력을 수행하기 위해, 상기 신호를 기능 제어 모듈(630)에 송신할 수 있다.
다양한 실시 예들에서, 기능 제어 모듈(630)은, 파일 수신 요청에 관한 제어 신호를 수신한 경우, 파일 수신에 적합한 통신 대역으로 연결할 수 있다. 예를 들어, 기능 제어 모듈은, 전자 장치(101)로부터 블루투스(bluetooth)를 통한 파일 수신 요청에 관한 제어 신호를 수신한 경우, 블루투스 통신을 위한 통신 대역에 상응하는 주파수 대역(예: 2.40Ghz 내지 2.48Ghz)을 통해 전자 장치(101)와 연결을 수립할 수 있다. 기능 제어 모듈(630)은 통신 제어 모듈(640)에게 상기 적합한 통신 대역으로 통신하기 위한 스위칭(switching)에 관한 명령을 전달할 수 있다. 기능 제어 모듈(630)은 상기 연결을 통해 파일을 수신할 수 있다. 기능 제어 모듈(630)은 수신된 파일을 저장할 수 있다.
도 7은 다양한 실시 예들에 따른 서버(108)의 기능적 구성의 예를 도시한다.
도 7에 도시된 기능적 구성의 적어도 일부는, 도 1에 도시된 서버(108)에 포함될 수 있다.
도 7을 참조하면, 서버(108)는 메모리(710), 프로세서(720) 및 통신 모듈(730)을 포함할 수 있고 메모리(710)와 프로세서(720) 및 통신 모듈(730)은 작동적으로 연결될 수 있다. 프로세서(720)는, 데이터 관리 모듈(721), 외부 시스템 연결 관리 모듈(726), 장치 연결 관리 모듈(727), 장치 관리 모듈(722), 실행 관리 모듈(723), 이벤트 관리 모듈(724) 또는 계정 관리 모듈(725)을 포함할 수 있다.
서버(108)는 전자 장치(101)로부터 복수의 외부 전자 장치들(210)에 대한 신호를 수신할 수 있다. 서버(108)는 상기 수신된 신호를 복수의 외부 전자 장치들(210)에 송신할 수 있다. 서버(108)는, 전자 장치(101)에 등록된 계정 또는 복수의 외부 전자 장치들(210) 각각에 등록된 계정에 적어도 기반하여 복수의 전자 장치를 제어할 수 있는 권한을 관리할 수 있다.
서버(108)는, 예를 들어, 전자 장치(101)로부터 외부 전자 장치의 제어 명령을 수신한 경우, 전자 장치(101)의 계정 정보에 기반하여 전자 장치(101)가 외부 전자 장치를 제어할 수 있는 권한이 있는지 여부를 확인할 수 있다. 예를 들어, 서버(108)는, 상기 권한이 있음을 확인한 경우, 제어 신호를 외부 전자 장치에 송신할 수 있다. 다른 예를 들어, 서버(108)는, 권한이 없음을 확인한 경우, 제어 신호를 외부 전자 장치에 송신하지 않을 수 있다. 서버(108)는, 외부 전자 장치를 제어할 수 있는 권한이 없다는 신호를 전자 장치(101)에 송신할 수 있다.
다양한 실시 예들에서, 서버(108)는 전자 장치(101), 액세스 포인트(202) 또는 복수의 외부 전자 장치들(210)의 상태를 확인하고 동작을 제어할 수 있다. 다양한 실시 예들에 따른 서버(108)는 전자 장치(101), 액세스 포인트(202) 또는 복수의 외부 전자 장치들(210) 중 적어도 하나의 전자 장치의 상태(status) 또는 기능(capability)에 관한 정보를 확인할 수 있다. 상기 상태 및 기능에 관한 정보에 기반하여, 서버(108)는 전자 장치(101), 액세스 포인트(202) 또는 복수의 외부 전자 장치들(210) 중 적어도 하나를 제어할 수 있다.
메모리(710)는, 서버(108)에 연결할 수 있는 전자 장치에 관한 정보, 전자 장치를 제어하기 위한 명령어들(instructions)의 집합(set) 또는 서버(108)에 연결 하기 위한 계정 정보를 저장할 수 있다. 상기 전자 장치에 관한 정보는 디바이스 ID(device ID(identification)), 제조사, 시리얼 번호(serial number), 맥 어드레스 주소(MAC(media access control) address)와 같은 장치 인식 정보(device ID data), 장치 기능 정보(device capability data), 장치 상태 정보(device status data), 장치 명령 정보(device instruction data) 또는 장치 이벤트 정보(device event data) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예들에서, 메모리(710)는 최근의 복수의 외부 전자 장치들(210)의 연결 및 위치 관계 대한 정보를 나타내는 스냅샷(snapshot)을 저장할 수 있다. 서버(108)는, 액세스 포인트(202)로부터 복수의 외부 전자 장치들(210)의 위치 관계에 관한 요청 신호를 수신한 경우, 메모리(710)에 저장된 스냅샷에 대한 정보를 송신할 수 있다. 전자 장치(101)는 수신한 스냅샷에 대한 정보에 기반하여 복수의 외부 전자 장치들(210)을 나타내는 복수의 객체들을 화면에 표시할 수 있다. 전자 장치(101)는 수신한 스냅샷을 이용함으로써 전자 장치(101) 및 액세스 포인트(202)의 소비 전력을 감소시킬 수 있다.
다양한 실시 예들에서, 서버(108)는 메모리(710)에 저장된 스냅샷들의 비교를 통해 고정된 위치에 놓인 고정 기기와 위치의 변동성이 큰 변동 기기로 외부 전자 장치들을 구분할 수 있다. 전자 장치(101)는 복수의 외부 전자 장치들의 위치 정보에 대한 요청 신호를 송신할 수 있다. 서버(108)는 전자 장치(101)로부터 위치 정보에 관한 요청 신호를 수신한 경우, 전자 장치(101)에 고정 기기와 변동 기기에 대한 정보를 스냅샷에 대한 정보와 함께 송신할 수 있다. 전자 장치(101)는 고정 기기와 변동 기기에 대한 정보를 스냅샷에 대한 정보와 함께 수신할 수 있다. 전자 장치(101)는 스냅샷에 대한 정보와 고정 기기에 대한 정보에 기반하여, 고정 기기의 위치에 관한 정보를 획득할 수 있다. 전자 장치(101)는 변동 기기의 위치에 관한 정보를 요청하기 위한 신호를 액세스 포인트(202)에게 송신할 수 있다. 전자 장치(101)는 액세스 포인트(202)로부터 변동 기기의 위치에 관한 정보를 수신할 수 있다. 전자 장치(101)는 고정 기기의 위치에 관한 정보를 이용함으로써 전자 장치(101)의 소비 전력을 감소시킬 수 있다.
다양한 실시 예들에서, 메모리(710)는 서버(108)에 연결된 적어도 하나의 장치를 제어하기 위한 명령어들(instructions)의 집합(set)을 저장할 수 있다. 상기 명령어들의 집합은 임의의 사용자 명령, 내/외부 이벤트 중 적어도 하나에 기반하여 설정될 수 있다. 상기 임의의 사용자 명령은 전자 장치(101)로부터 수신한 음성 명령을 포함할 수 있다. 상기 명령어들의 집합은 이벤트 정보, 조건 정보 및 명령어 정보 중 적어도 하나를 포함할 수 있다. 예를 들어, 메모리(710)는 "CO가스가 감지되면, 비상벨을 울린다", "저녁 5시에 현관 문이 열리면 음악을 재생하고 거실의 등을 켠다.", "TV를 켜고, IPTV의 채널을 13번으로 조절하고, 거실 등을 노란색으로 바꾼다."와 같은 명령어들의 집합을 저장할 수 있다.
"CO가스가 감지되면, 비상벨을 울린다" 의 경우, 'CO가스가 감지되면'은 이벤트 일 수 있고, '비상벨을 울린다.'는 명령일 수 있다. 전자 장치(101)는, CO가스가 감지되는 경우, CO가스 감지에 관한 정보를 서버(108)로 송신할 수 있다. 서버(108)는 CO가스 감지에 관한 정보에 기반하여 명령을 수행하기 위한 제어 신호를 전자 장치(101)에 송신할 수 있다. 전자 장치(101)는 명령을 수행하기 위한 제어 신호에 기반하여 비상벨을 울리기 위한 제어 신호를 비상벨에 송신할 수 있다.
"저녁 5시에 현관 문이 열리면 음악을 재생하고 거실의 등을 켠다." 의 경우, '저녁 5시'는 조건일 수 있고, '현관 문이 열리면'은 이벤트 일 수 있고, '음악을 재생하고' 는 제1 명령일 수 있고, '거실 등을 켠다'는 제2 명령일 수 있다. 전자 장치(101)는, 현재 시간이 저녁 5시에 해당되고, 현관 문이 열리는 경우, 현재 시간이 저녁 5시에 해당되고 현관 문이 열렸다는 정보를 서버(108)로 송신할 수 있다. 서버(108)는 현재 시간이 저녁 5시에 해당되고 현관 문이 열렸다는 정보에 기반하여 명령을 수행하기 위한 제어 신호를 전자 장치(101)에 송신할 수 있다. 전자 장치(101)는 명령을 수행하기 위한 제어 신호에 기반하여 음악을 재생하기 위한 제어 신호를 스피커에게 송신하고, 거실에 등을 켜기 위한 제어 신호를 거실에 포함된 등(light)에게 송신할 수 있다.
"TV를 켜고, IPTV의 채널을 13번으로 조절하고, 거실 등을 노란색으로 바꾼다." 의 경우, 'TV를 켜고'는 제1 명령일 수 있고, 'IPTV의 채널을 13번으로 조절하고'는 제2 명령일 수 있고, '거실 등을 노란색으로 바꾼다.'는 제3 명령일 수 있다. 전자 장치(101)는, 제1 명령, 제2 명령, 제3 명령에 대한 정보를 서버(108)에 송신할 수 있다. 서버(108)는 제1 명령, 제2 명령, 제3 명령에 대한 정보에 기반하여 명령을 수행하기 위한 제어 신호를 전자 장치(101)에 송신할 수 있다. 전자 장치(101)는 명령을 수행하기 위한 제어 신호에 기반하여 TV에게 전원을 켜기 위한 제어 신호, TV에게 채널을 13번으로 조절하기 위한 제어 신호, 거실에 포함된 등(light)에게 노란색으로 색을 변경하기 위한 제어 신호를 송신할 수 있다.
통신 모듈(730)은 서버(108)와 전자 장치(101), 액세스 포인트(202) 또는 외부 전자 장치들(210)과 데이터 통신을 위한 인터페이스 역할을 수행할 수 있다. 다양한 실시 예들에서, 통신 모듈(730)은 다양한 형태들의 네트워크 인터페이스를 지원할 수 있다. 또한 통신 모듈(730)은 다양한 형태들의 통신 프로토콜을 지원할 수 있다.
데이터 관리 모듈(721)은 메모리(710)에 저장되거나 저장될 수 있는 데이터를 관리할 수 있다. 데이터 관리 모듈(721)은 메모리(710)와 연동하여 다양한 데이터들을 생성, 수집, 저장, 수정, 분석, 조회, 삭제할 수 있다. 데이터 관리 모듈(721)은 메모리(710)에 저장된 데이터에 대한 분석을 통해 새로운 명령어들의 집합을 생성할 수 있다.
외부 시스템 연결 관리 모듈(726)은 다른 서버와의 통신 채널을 관리할 수 있다. 외부 시스템 연결 관리 모듈(726)은 통신 채널을 통한 데이터 교환을 위한 동작을 제어할 수 있다. 예를 들어, 외부 시스템 연결 관리 모듈(726)은 다른 서버에게 기기 제어, 정보 제공을 할 수 있다. 또한, 외부 시스템 연결 관리 모듈(726)은 다른 서버로부터 기기 제어, 정보 제공의 요청에 응답할 수 있다.
다양한 실시 예들에서, 서버(108)는 외부 시스템 연결 관리 모듈(726)을 통해 날씨, 뉴스, 또는 동영상 스트리밍(streaming)을 포함하는 다양한 인터넷 서비스들을 복수의 외부 전자 장치들(210)과 연동하여 제공할 수 있다. 외부 시스템 연결 관리 모듈(726)은 서비스 제공 서버(예: 날씨 제공 서버)로부터 정보를 제공받아 해당 정보가 사전에 사용자가 등록해 놓은 조건(예: 일정 온도 이하)과 일치할 경우, 사전에 약속된 기기 제어 명령 신호(예: 가습기 동작 시작)를 실행 관리 모듈(723)로 전달할 수 있다.
장치 연결 관리 모듈(727)은 서버(108)에 연결된 전자 장치(예: 전자 장치(101), 액세스 포인트(202), 또는 복수의 외부 전자 장치들(210))를 관리할 수 있다. 장치 연결 관리 모듈(727)은 서버(108)에 연결된 통신 채널을 관리할 수 있다. 장치 연결 관리 모듈(727)은 통신 채널을 통해 데이터 송수신을 제어할 수 있다.
장치 관리 모듈(722)은 상기 서버(108)에 등록되거나 등록될 수 있는 전자 장치(예: 전자 장치(101), 액세스 포인트(202), 또는 외부 전자 장치들(210))를 대상으로 등록(register), 해지(unregister), 상태 조회(status query), 활성화(activation), 또는 비활성화(deactivation) 중 적어도 하나를 수행할 수 있다.
실행 관리 모듈(723)은 메모리(710)를 통해 확인된 전자 장치(101)에 대한 실행 명령어를 전자 장치(101)에 송신할 수 있다.
이벤트 관리 모듈(724)은 외부에서 발생한 이벤트를 확인할 수 있다. 이벤트 관리 모듈(724)은 상기 외부에서 발생한 이벤트에 대응하는 명령어들의 집합을 확인할 수 있다. 이벤트 관리 모듈(724)은 상기 명령어들의 집합을 확인하기 위해, 데이터 관리 모듈(721)을 통해, 메모리(710)에 저장된 명령어들의 집합에 대한 질의(query)를 할 수 있다. 또 다른 실시 예에 따르면, 이벤트 관리 모듈(724)은 전자 장치(101)의 상태 변화에 대한 이벤트를 감지하여 데이터 관리 모듈(721)을 통해 메모리(710)에 저장된 전자 장치(101)의 상태 정보를 변경할 수 있다.
계정 관리 모듈(725)은 메모리(710)에 저장된 계정 정보에 기반하여 전자 장치(101)가 서버(108)에 접속하도록 제어할 수 있다. 계정 관리 모듈(725)은 서버(108)에 등록된 전자 장치(101)에 대한 접근을 제어할 수 있다. 예를 들어, 계정 관리 모듈(725)은 서버(108) 전체에 대한 조회 또는 수정 권한을 제어할 수 있다. 계정 관리 모듈(725)은 복수의 외부 전자 장치들(210) 중 적어도 하나에 대한 조회 또는 수정 권한을 제어할 수 있다.
다양한 실시 예들에 따른 시스템(200)은 전자 장치(101), 액세스 포인트(202), 서버(108)로 구성되어 있으나, 시스템(200) 구성 측면에서, 액세스 포인트(202) 또는 서버(108)는 전자 장치(101) 내의 일부 구성요소로써 동작할 수도 있다. 예를 들어, 음성 명령인식을 위한 동작은 서버(108) 없이 전자 장치(101)의 내부에서 처리될 수 있다. 또한, 복수의 외부 전자 장치들(210)의 제어를 위한 서버(108)의 동작은 전자 장치(101)의 내부에서 처리될 수 있다. 이 때, 전자 장치(101)는 로컬 네트워크(local network)를 이용한 P2P(peer to peer) 형태로 복수의 외부 전자 장치들(210)을 제어할 수도 있다. 일 실시 예에 따르면, 액세스 포인트(202)가 부재한 환경에서, 전자 장치(101)는 스스로 액세스 포인트(202)의 역할의 일부 또는 전부를 수행할 수 있다.
도 8은 다양한 실시 예들에 따른 액세스 포인트(202)와 제1 외부 전자 장치(211) 사이의 거리를 계산하기 위한 신호 흐름의 예를 도시한다. 도 8은, 구체적으로 FTM(fine timing measurement)에 따른 전자 장치(101)와 제1 외부 전자 장치(211) 사이의 거리(d0)를 계산하기 위한 방법을 도시한다. 제1 외부 전자 장치(211)는 복수의 외부 전자 장치(110) 중 하나 일 수 있다.
도 8을 참조하면, 동작 801에서, 액세스 포인트(202)(예: 액세스 포인트(202)의 프로세서(501))는 제1 외부 전자 장치(211)에게 FTM 요청 신호(FTM request signal)를 송신할 수 있다. 제1 외부 전자 장치(211)는 액세스 포인트(202)로부터 FTM 요청 신호를 수신할 수 있다.
동작 802에서, 제1 외부 전자 장치(211)는 액세스 포인트(202)에게 FTM요청 신호에 대한 확인 응답 신호(acknowledgement signal, ACK signal)를 송신할 수 있다. 액세스 포인트(202)는 제1 외부 전자 장치(211)로부터 FTM 요청 신호에 대한 확인 응답 신호를 수신할 수 있다.
동작 803에서, 제1 외부 전자 장치(211)는 액세스 포인트(202)에게 FTM 요청 신호에 기반하여 제1 FTM 응답 신호를 송신할 수 있다. 제1 외부 전자 장치(211)는 제1 FTM 응답신호를 제1 타이밍(timing)(t1)(807)에서 송신할 수 있다. 액세스 포인트(202)는 제1 외부 전자 장치(211)로부터 제1 FTM 응답 신호를 수신할 수 있다. 액세스 포인트(202)는 제1 FTM 응답 신호를 제2 타이밍(timing)(t2)(808)에서 수신할 수 있다. 액세스 포인트(202)는 제1 FTM 응답 신호의 수신 시간을 트래킹(tracking)할 수 있다. 액세스 포인트(202)는 제1 FTM 응답신호를 제2 타이밍(timing)(t2)(808)에서 수신할 수 있다.
동작 804에서, 액세스 포인트(202)는 제1 FTM 응답 신호에 대한 확인 응답 신호(ACK signal)를 제1 외부 전자 장치(211)에게 송신할 수 있다. 액세스 포인트(202)는 제1 FTM 응답신호에 대한 확인 응답 신호(ACK signal)를 제3 타이밍(timing)(t3)(809)에서 송신할 수 있다. 제1 외부 전자 장치(211)는 액세스 포인트(202)로부터 제1 FTM 응답 신호에 대한 확인 응답 신호를 수신할 수 있다. 제1 외부 전자 장치(211)는 제1 FTM 응답 신호에 대한 확인 응답 신호를 제4 타이밍(timing)(t4)(810)에서 수신할 수 있다.
동작 805에서, 제1 외부 전자 장치(211)는 상기 제1 FTM 응답 신호에 대한 확인 응답 신호에 기반하여 제2 FTM 응답 신호를 액세스 포인트(202)에게 송신할 수 있다. 제2 FTM 응답 신호는 제1타이밍(t1)(807)과 제4 타이밍(t4)(810)에 대한 정보를 포함할 수 있다. 액세스 포인트(202)는 제1 외부 전자 장치(211)로부터 제2 FTM 응답 신호를 수신할 수 있다.
동작 806에서, 액세스 포인트(202)는 제1 외부 전자 장치(211)에게 제2 FTM 응답 신호에 대한 확인 응답 신호를 송신할 수 있다. 제1 외부 전자 장치(211)는 액세스 포인트(202)로부터 제2 FTM 응답 신호에 대한 확인 응답 신호를 수신할 수 있다.
동작 811에서, 액세스 포인트(202)는 상기 제1타이밍(t1)(807), 상기 제2 타이밍(t2)(808), 상기 제3타이밍(t3)(809), 상기 제4타이밍(t4)(810)에 기반하여 액세스 포인트(202)와 제1 외부 전자 장치(211) 사이의 거리(d0)를 식별할 수 있다.
액세스 포인트(202)(또는 거리 측정 모듈(510))는, 신호가 송신되는데 걸린 시간에 신호의 속력(c)을 곱함으로써 하기 수학식 1과 같이 구성된, 액세스 포인트(202)와 제1 외부 전자 장치(211) 사이의 거리(d0)를 생성할 수 있다. 예를 들어, 액세스 포인트(202)는 하기의 수학식 1을 이용하여, 액세스 포인트(202)와 제1 외부 전자 장치(211) 사이의 거리에 대한 정보를 획득할 수 있다.
Figure PCTKR2019002325-appb-I000001
수학식 1에서, d0 는 액세스 포인트(202)와 제1 외부 전자 장치(211) 사이의 거리를 나타낼 수 있고, c 는 신호의 속력을 나타낼 수 있고, t1 은 제1 타이밍(807)을 나타낼 수 있고, t2 은 제2 타이밍(808)을 나타낼 수 있고, t3 은 제3 타이밍(809)을 나타낼 수 있으며, t4 은 제4 타이밍(810)을 나타낼 수 있다.
상술한 바와 같은 다양한 실시 예들에 따른 전자 장치(예: 전자 장치(101))에 있어서, 적어도 하나의 무선 통신 회로(예: 무선 통신 모듈(192) 또는 통신 모듈(190)), 터치스크린 디스플레이(예: 표시 장치(160)), 상기 적어도 하나의 무선 통신 회로와 상기 터치스크린 디스플레이와 작동적으로 연결된 프로세서(예: 프로세서(120)), 상기 프로세서와 작동적으로 연결된 메모리(예: 메모리(130))를 포함하고, 상기 메모리는, 실행될 시, 상기 프로세서가, 상기 적어도 하나의 무선 통신 회로를 통해, 제1 외부 전자 장치(예: 제1 외부 전자 장치(211) 또는 제2 외부 전자 장치(212))와 제2 외부 전자 장치(예: 제1 외부 전자 장치(211) 또는 제2 외부 전자 장치(212))에 관한 제1 정보를 수신하고, 상기 무선 통신 회로를 통해 획득된 신호 및/또는 상기 적어도 하나의 무선 통신 회로를 통해 수신된 제2 정보에 적어도 부분적으로 기반하여, 제1 외부 전자 장치의 위치 및/또는 방향과 제2 외부 전자 장치의 위치 및/또는 방향을 결정하고, 상기 터치스크린 디스플레이에 상기 결정된 위치 및/또는 상기 결정된 방향에 적어도 부분적으로 기반하여, 상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치를 나타내는 그래픽 사용자 인터페이스(GUI)를 제공하고, 상기 터치스크린 디스플레이를 통해, 상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치를 선택하기 위한 제스처 입력을 수신하고, 상기 무선 통신 회로를 통해, 상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치를 이용하는 동작과 관련된 제3 정보를 송신하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시 예들에서, 상기 인스트럭션들은, 상기 프로세서(예: 프로세서(120))가, 상기 전자 장치(예: 전자 장치(101))와 무선 통신하는, 상기 제1 외부 전자 장치(예: 제1 외부 전자 장치(211) 또는 제2 외부 전자 장치(212)), 상기 제2 외부 전자 장치(예: 제1 외부 전자 장치(211) 또는 제2 외부 전자 장치(212)), 외부 서버(예: 서버(108)) 또는 액세스 포인트(access point)(예: 액세스 포인트(202)) 중 적어도 하나로부터 상기 제1 정보를 수신하도록 할 수 있다.
다양한 실시 예들에서, 상기 인스트럭션들은, 상기 프로세서(예: 프로세서(120))가, 상기 액세스 포인트(예: 액세스 포인트(202))로부터 상기 제2 정보를 수신하도록 할 수 있다.
다양한 실시 예들에서, 상기 제3 정보는 상기 제1 외부 전자 장치(예: 제1 외부 전자 장치(211) 또는 제2 외부 전자 장치(212))의 아이디(ID)와 상기 제2 외부 전자 장치(예: 제1 외부 전자 장치(211) 또는 제2 외부 전자 장치(212))의 아이디(ID) 및 상기 동작에 관한 정보를 포함할 수 있다.
다양한 실시 예들에서, 상기 제3정보는 IP 주소(IP address)를 포함할 수 있다.
다양한 실시 예들에서, 상기 동작은 미러링(mirroring), 스트리밍(streaming) 또는 쉐어링(sharing) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예들에서, 상기 제1 정보는 상기 제1 외부 전자 장치(예: 제1 외부 전자 장치(211) 또는 제2 외부 전자 장치(212))와 상기 제2 외부 전자 장치(예: 제1 외부 전자 장치(211) 또는 제2 외부 전자 장치(212))의 기능(capability)을 포함할 수 있다.
다양한 실시 예들에서, 상기 인스트럭션들은, 상기 프로세서(예: 프로세서(120))가, 상기 제1 정보를 프로파일(profile) 형태로 저장하도록 할 수 있다.
상술한 바와 같은 다양한 실시 예들에 따른 전자 장치(예: 전자 장치(101))에 있어서, 디스플레이(예: 표시 장치(160)), 통신 모듈(예: 통신 모듈(190)), 및 상기 디스플레이와 통신 모듈과 기능적으로 연결된 프로세서(예: 프로세서(120))를 포함하고, 상기 프로세서는, 액세스 포인트(예: 액세스 포인트(202))로부터 상기 액세스 포인트와 관련된 복수의 외부 전자 장치들(예: 복수의 외부 전자 장치들(210)) 각각과 상기 액세스 포인트 사이의 위치 관계를 나타내기 위한 제1 데이터를 수신하고, 상기 제1 데이터에 적어도 기반하여, 상기 전자 장치와 상기 복수의 외부 전자 장치들 각각의 위치 관계를 나타내기 위한 제2 데이터를 획득하고, 상기 복수의 외부 전자 장치들을 나타내고, 상기 제2 데이터에 기반하여 배치된(arranged) 복수의 객체들을, 상기 복수의 외부 전자 장치들 중 적어도 하나의 외부 전자 장치(예: 제1 외부 전자 장치(211), 제2 외부 전자 장치(212))와 상기 전자 장치를 연결하기 위한 어플리케이션의 사용자 인터페이스 내에서(within), 표시하고, 상기 복수의 객체들 중 적어도 하나의 객체에 대한 입력을 검출하고, 상기 복수의 외부 전자 장치들 중 상기 적어도 하나의 객체에 의해 지시되는(indicated) 적어도 하나의 외부 전자 장치에게 연결을 위한 신호를 송신하도록 설정될 수 있다.
다양한 실시 예들에서, 상기 제1 데이터는, 상기 액세스 포인트(예: 액세스 포인트(202))와 상기 복수의 외부 전자 장치들(예: 복수의 외부 전자 장치들(210)) 각각 사이의 거리들에 대한 데이터를 포함할 수 있고, 상기 프로세서(예: 프로세서(120))는, 상기 복수의 외부 전자 장치들 각각과 상기 전자 장치(예: 전자 장치(101)) 사이의 거리들에 대한 제3 데이터를, 상기 복수의 외부 전자 장치들 각각으로부터 수신되는 신호에 기반하여, 식별하고, 상기 제1 데이터 및 상기 제3 데이터에 적어도 기반하여, 상기 제2 데이터를 획득하도록 설정될 수 있다.
도 9a는 다양한 실시 예들에 따른 전자 장치(101)의 동작의 예를 도시한다.
이러한 동작은, 도 1에 도시된 전자 장치(101), 도3에 도시된 전자 장치(101) 또는 전자 장치(101)에 포함된 프로세서(120)에 의해 수행될 수 있다.
도 9a를 참조하면, 동작 901에서, 프로세서(120)는 제1 외부 전자 장치(211)와 제2 외부 전자 장치(212)에 관한 제1 정보를 수신할 수 있다. 제1 정보는 제1 외부 전자 장치(211)의 기능에 관한 정보와 제2 외부 전자 장치(212)의 기능에 관한 정보를 포함할 수 있다. 기능에 관한 정보는 입력 장치인지 여부, 화면 출력의 기능을 수행하는지 여부, 사운드 출력의 기능을 수행하는지 여부에 대한 정보 또는 연결 프로토콜에 관한 정보를 포함할 수 있다.
동작 902에서, 프로세서(120)는 제1 외부 전자 장치(211)의 위치 및/또는 방향과 제2 외부 전자 장치(212)의 위치 및/또는 방향을 결정할 수 있다. 프로세서(120)는 무선 통신 회로(192)를 통해 획득된 신호 및/또는 제2 정보에 적어도 부분적으로 기반하여, 제1 외부 전자 장치(211)의 위치 및/또는 방향과 제2 외부 전자 장치(212)의 위치 및/또는 방향을 결정할 수 있다. 프로세서(120)는 무선 통신 회로(192)를 통해 획득된 신호에 기반하여 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 식별할 수 있다. 프로세서(120)는 액세스 포인트(202)로부터 복수의 외부 전자 장치들(210)의 위치 관계에 관한 제2 정보를 수신할 수 있다. 프로세서(120)는 제2 정보에 기반하여 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 기준으로 제1 외부 전자 장치(211) 및/또는 제2 외부 전자 장치(212)의 위치 및/또는 방향을 결정할 수 있다.
동작 903에서, 프로세서(120)는 상기 제1 외부 전자 장치(211)와 제2 외부 전자 장치(212)의 결정된 위치 및/또는 결정된 방향에 적어도 부분적으로 기반하여 제1 외부 전자 장치(211)와 제2 외부 전자 장치(212)를 나타내는 그래픽 사용자 인터페이스(graphical user interface)를 제공할 수 있다. 예를 들어, 프로세서(120)는 제1 외부 전자 장치(211)와 제2 외부 전자 장치(212)의 결정된 위치 및/또는 결정된 방향에 기반하여 제1 외부 전자 장치(211)를 나타내는 객체, 제2 외부 전자 장치(212)를 나타내는 객체를 표시 장치(160)에 평면도로 표시할 수 있다.
동작 904에서, 프로세서(120)는 제1 외부 전자 장치(211)와 제2 외부 전자 장치(212)를 선택하기 위한 제스처 입력을 수신할 수 있다. 상기 제스처 입력은 제1 외부 전자 장치(211)와 제2 외부 전자 장치(212)를 연결하기 위한 제스처 입력을 포함할 수 있다. 예를 들어, 프로세서(120)는 드래그(drag) 입력, 탭(tap) 입력, 또는 음성 명령(voice command) 입력을 통해 제1 외부 전자 장치(211)와 제2 외부 장치(212)를 연결하기 위한 입력을 수신할 수 있다.
동작 905에서, 프로세서(120)는 제1 외부 전자 장치(211)와 제2 외부 전자 장치(212)를 이용하는 동작과 관련된 제3 정보를 송신할 수 있다. 예를 들어, 상기 제3 정보는 제1 외부 전자 장치(211)와 제2 외부 전자 장치(212)의 구동 모드를 변경하기 위한 신호를 포함할 수 있다. 프로세서(120)는 제1 정보에 기반하여, 제1 외부 전자 장치(211)의 구동 모드와 제2 외부 전자 장치(212)의 구동 모드를 각각 식별할 수 있다. 프로세서(120)는, 상기 식별된 제1 외부 전자 장치(211)의 구동 모드에 기반하여 제1 외부 전자 장치(211)의 구동 모드를 변경하기 위한 신호를 제1 외부 전자 장치(211)에게 송신할 수 있다. 프로세서(120)는 제2 외부 전자 장치(212)의 구동 모드에 기반하여 제2 외부 전자 장치(212)의 구동 모드를 변경하기 위한 신호를 제2 외부 전자 장치(212)에게 송신할 수 있다.
도 9b는 다양한 실시 예들에 따른 전자 장치(101)의 동작의 다른 예를 도시한다. 이러한 동작은 도 3에 도시된 전자 장치(101) 또는 전자 장치에 포함된 프로세서(120)에 의해 수행될 수 있다.
도 9b을 참조하면, 동작 910에서, 프로세서(120)는 액세스 포인트(202)로부터 통신 모듈(190)을 통해 복수의 외부 전자 장치들(210) 각각과 액세스 포인트(202) 사이의 위치 관계를 나타내기 위한 제1 데이터를 수신할 수 있다. 상기 제1 데이터는 복수의 외부 전자 장치들(210) 각각과 액세스 포인트(202) 사이의 거리 또는 방향에 대한 정보 중 적어도 하나를 포함할 수 있다.
프로세서(120)는 도 3에 도시하지는 않았으나, 사용자로부터 연결 모드에 관한 입력을 수신할 수 있다. 연결 모드는 복수의 외부 전자 장치들(210)의 연결을 통해 수행할 동작(예: 파일 공유, 영상 출력(미러링(mirroring), 스트리밍(streaming) 또는 쉐어링(sharing)))을 포함할 수 있다. 프로세서(120)는 상기 연결 모드에 관한 입력을 메모리(130)에 저장할 수 있다. 프로세서(120)는 상기 연결 모드에 관한 입력을 상황 정보에 업데이트(update)할 수 있다. 예를 들어, 프로세서(120)는 외부 전자 장치들의 파일 공유에 관한 입력을 수신할 수 있다. 프로세서(120)는 파일 공유에 대한 입력을 메모리(130)에 저장할 수 있다. 프로세서(120)는 파일 공유에 대한 입력을 상황 정보에 업데이트할 수 있다. 상기 상황 정보에 기반하여, 프로세서(120)는 표시할 복수의 외부 전자 장치들(210)을 확인할 수 있다. 다양한 실시 예들에서, 연결 모드에 관한 입력을 수신하는 동작은 생략될 수 있으며, 복수의 외부 전자 장치들(210)이 전자 장치(101)에 표시된 이후에 수행될 수 있다.
동작 920에서, 프로세서(120)는 제1 데이터에 기반하여 전자 장치(101)와 복수의 외부 전자 장치들(210) 각각의 위치 관계를 나타내기 위한 제2 데이터를 획득할 수 있다. 상기 제2 데이터는, 상기 제1 데이터에 기반하여 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 기준으로 변경된 복수의 외부 전자 장치들(210)의 위치 관계를 나타낸 정보를 포함할 수 있다.
동작 930에서, 프로세서(120)는 제2 데이터에 기반하여 복수의 외부 전자 장치들(210)을 나타내는 복수의 객체들을 표시 장치(160)에 표시할 수 있다. 상기 복수의 객체는 복수의 외부 전자 장치들(210) 각각의 이름으로 지시되거나(indicated) 복수의 외부 전자 장치들(210) 각각에 상응하는 형상으로 지시될 수 있다.
동작 940에서, 프로세서(120)는 입력 장치(150)를 통하여 복수의 객체들 중 적어도 하나의 객체에 대한 입력을 검출할 수 있다. 상기 입력은 복수의 외부 전자 장치들(210)의 연결을 위한 입력을 포함할 수 있다. 상기 입력은 드래그(drag) 입력, 또는 탭(tap) 입력을 포함할 수 있다.
동작 950에서, 프로세서(120)는 적어도 하나의 객체에 의해 지시되는 적어도 하나의 외부 전자 장치에게 연결을 위한 신호를 통신 모듈(160)을 통하여 송신할 수 있다. 상기 연결을 위한 신호는 외부 전자 장치 각각에게 송신할 수 있다. 예를 들어, 모니터 및 컴퓨터를 나타내는 객체에 대한 입력을 수신한 경우, 프로세서(120)는 컴퓨터를 입력 장치(예: 소스(source))로 설정하는 신호를 컴퓨터에게 송신할 수 있다. 또한, 프로세서(120)는 모니터를 출력 장치(예: 디스플레이(display))로 설정하는 신호를 모니터에게 송신할 수 있다.
도 10은 다양한 실시 예들에 따른 전자 장치(101)에서, 복수의 외부 전자 장치들(210) 사이의 위치 관계를 나타내기 위한 데이터를 수신하는 동작의 예를 도시한다. 도 10의 동작 1010 내지 동작 1020은 도 9의 동작 910과 관련될 수 있다.
도 10을 참조하면, 동작 1010에서, 프로세서(120)는 액세스 포인트(202)에게 복수의 외부 전자 장치들(210) 각각과 액세스 포인트(202) 사이의 위치 관계를 나타내기 위한 제1 데이터를 요청하는 신호를 통신 모듈(190)을 통하여 송신할 수 있다. 예를 들어, 제1 데이터는 액세스 포인트(202)와 복수의 외부 전자 장치들(210) 사이의 거리 또는 방향에 관한 정보 중 적어도 하나를 포함할 수 있다. 액세스 포인트(202)가 제1 데이터를 획득하는 방법은 도 11을 통해 후술될 것이다.
동작 1020에서, 프로세서(120)는 복수의 외부 전자 장치들(210) 각각과 액세스 포인트(202) 사이의 위치 관계를 나타내기 위한 제1 데이터를 통신 모듈(190)을 통하여 수신할 수 있다. 다양한 실시 예들에서, 프로세서(120)는 복수의 외부 전자 장치들(210)로부터 직접 복수의 외부 전자 장치들(210)의 위치 관계를 나타내기 위한 데이터를 수신할 수도 있다.
도 11은 다양한 실시 예들에 따른 액세스 포인트(202)에서 FTM 방식을 통해 액세스 포인트(202)와 제1 외부 전자 장치(211) 사이의 거리 및 방향을 식별하는 동작의 예를 도시한다.
도 12는 다양한 실시 예들에 따른 제1 외부 전자 장치(211)와 액세스 포인트(202) 사이의 거리 및 방향을 식별하는 방법의 예를 설명하기 위한 도면이다.
도 11을 참조하면, 제1 외부 전자 장치(211)는 복수의 외부 전자 장치(110) 중 하나 일 수 있다. 동작 1110에서, 액세스 포인트(202)의 프로세서(501)는 액세스 포인트(202)와 제1 외부 전자 장치(211) 사이의 제1 거리에 관한 정보를 확인할 수 있다. 예를 들어, 도 12를 참조하면, 프로세서(501)는 액세스 포인트(202)와 제1 외부 전자 장치(211) 사이의 제1 거리(1250)에 관한 정보를 확인할 수 있다. 프로세서(501)는 액세스 포인트(202)를 중심으로 하고, 제1 거리(1250)를 반지름으로 하는 가상의 원형(1251)을 이루는 선 상에 제1 외부 전자 장치(211)가 존재할 수 있음을 확인할 수 있다.
동작 1120에서, 프로세서(501)는 전자 장치(101)와 액세스 포인트(202) 사이의 제2 거리에 관한 정보를 확인할 수 있다. 프로세서(501)는 전자 장치(101)의 액세스 포인트(202)를 기준으로 방향과 거리에 관한 정보를 확인할 수 있다. 프로세서(501)는 액세스 포인트(202)를 기준으로 한 전자 장치(101)의 방향과 거리에 관한 정보를 기반으로 제2 거리에 관한 정보를 확인할 수 있다. 예를 들어, 도 12를 참조하면, 프로세서(501)는, 제2 거리(1240)를 확인할 수 있다. 프로세서(501)는 전자 장치(101)의 위치를 도 12의 제2 거리(1240)만큼 떨어진 곳으로 식별할 수 있다. 다양한 실시 예들에서, 프로세서(501)는 액세스 포인트(202)에 포함된 복수의 안테나를 통해 전자 장치(101)의 위치를 추정할 수 있다. 예를 들어, 프로세서(501)는 전자 장치(101)로부터 신호를 복수의 안테나를 통해 수신할 수 있다. 프로세서(501)는 수신된 신호의 위상 차 또는 배열 안테나(array antenna)의 이득 패턴(gain pattern)을 통해 전자 장치(101)의 위치를 추정할 수 있다. 다양한 실시 예들에서, 프로세서(501)는 전자 장치(101)의 위치를 액세스 포인트(202)에 포함된 복수의 마이크들을 통해 전자 장치(101)의 위치를 추정할 수 있다. 예를 들어, 프로세서(501)는 전자 장치(101)와 관련된 사용자의 음성 입력을 액세스 포인트(202)에서도 수신할 수 있다. 프로세서(501)는 상기 음성 입력에 기반하여 전자 장치(101)의 위치를 추정할 수도 있다. 다양한 실시 예들에서, 프로세서(501)는 전자 장치(101)가 이동 시, 전자 장치(101)의 이동 방향과 거리에 대한 정보를 획득할 수 있다.
동작 1130에서, 프로세서(501)는 전자 장치(101)와 제1 외부 전자 장치(211) 사이의 제3 거리에 관한 정보를 확인할 수 있다. 예를 들어, 도 12를 참조하면, 프로세서(501)는, 제3 거리(1260)를 확인할 수 있다. 프로세서(501)는 제3 거리에 관한 정보를 전자 장치(101)로부터 수신할 수 있다. 따라서 프로세서(501)는 전자 장치(101)를 중심으로 하고, 제3 거리(1260)를 반지름으로 하는 가상의 원형(1261)을 이루는 선 상에 제1 외부 전자 장치(211)가 존재할 수 있음을 확인할 수 있다.
동작 1140에서, 프로세서(501)는 제1 거리(1250), 제2 거리(1240), 제3 거리(1260)에 관한 정보에 기반하여 제1 외부 전자 장치(211)가 존재할 수 있는 위치를 식별할 수 있다. 구체적으로, 프로세서(501)는 동작 1110을 통해 추정된 원(예: 가상의 원형(1251))과 동작 1130을 통해 추정된 원(예: 가상의 원형(1261))의 교점(1210)에 제1 외부 전자 장치(211)가 존재할 수 있음을 식별할 수 있다. 두 개의 원의 교점은 2개 일 수 있다. 따라서 제1 외부 전자 장치(211)는 제1 교점(1220)에 해당하는 위치에 존재하거나, 제2 교점(1230)에 해당하는 위치에 존재할 수 있다. 프로세서(501)는 제1 외부 전자 장치(211)가 위치할 수 있는 후보 지점(예: 제 1교점(1220), 제2 교점(1230))에 관한 정보들을 저장할 수 있다.
동작 1150에서, 프로세서(501)는 제1 외부 전자 장치(211)의 추정 위치에 대한 데이터가 정해진 분산(designated variance) 이하에 해당하는지 여부를 식별할 수 있다. 프로세서(501)는 제1 외부 전자 장치(211)의 추정 위치에 대한 데이터가 정해진 분산보다 더 큰 값에 해당하는 경우, 다시 동작 1130을 수행할 수 있다. 일 실시 예에 따르면, 프로세서(501)는 제1 외부 전자 장치(211)의 1차 추정 위치에 대한 분산 데이터의 크기가 기 지정된 분산 데이터의 크기보다 작은 경우에도, 정확도 향상을 위해 다시 동작 1130을 수행할 수 있다.
도 12의 개념도(1202)에 도시된 바와 같이 전자 장치(101)가 개념도(1202)에 표시된 방향(1270)으로 움직이는 경우, 프로세서(501)는, 동작 1110을 통해 그려진 가상의 원(예: 가상의 원형(1251))과, 다시 동작 1130을 통해 새롭게 추정된 원(예: 가상의 원형(1262))의 교점(1283)에 제1 외부 전자 장치(211)가 존재함을 식별할 수 있다. 프로세서(501)는, 교점(1281)과 교점(1282) 중 앞서 추정된 교점(1220)과 교점(1281)의 분산과, 앞서 추정된 교점(1230)과 교점(1282)의 분산을 비교하여 분산이 작은 교점을 제1 외부 전자 장치(211)의 위치로 추정할 수 있다. 프로세서(501)는 두 개의 교점 중 이전 동작 1130에서 식별된 교점(1230)과 식별된 교점(1282) 주변에 제1 외부 전자 장치(211)가 존재할 수 있음을 추정할 수 있다.
동작 1150에서, 프로세서(501)는 다시 제1 외부 전자 장치(211)의 추정된 위치에 대한 데이터의 분산이 지정된 분산(designated variance) 이하인지 여부를 식별할 수 있다. 프로세서(501)는 제1 외부 전자 장치(211)의 다시 추정된 위치에 대한 데이터의 분산이 지정된 분산 이하인 경우 제1 외부 전자 장치(211)의 위치는 교점(1230)에 해당함을 확인할 수 있다. 다시 말해, 프로세서(501)는 제1 외부 전자 장치(211)의 추정된 위치에 대한 데이터의 분산이 정해진 분산 이하인 경우 상기 추정된 위치가 제1 외부 전자 장치(211)의 위치에 해당함을 확인할 수 있다.
동작 1160에서, 프로세서(501)는 제1 외부 전자 장치(211)의 위치에 관한 제1 데이터를 전자 장치(101)에게 송신할 수 있다.
프로세서(501)가 제1 외부 전자 장치(211)의 거리에 대한 정보 및 방향에 대한 정보를 확인하는 동작은 도 11의 순서에 제한되지 않으며, 변경될 수 있다. 예를 들어, 전자 장치(101)와 액세스 포인트(201)가 함께 움직이는 경우, 프로세서(501)는 기준 위치에서 전자 장치(101)와 액세스 포인트(201)의 이동 거리 및 방향을 확인할 수 있다. 프로세서(501)는 변경된 위치에서 추정된 제1 외부 전자 장치(211)의 위치와, 기준 위치에서 추정된 제1 외부 전자 장치(211)의 위치에 기반하여 제1 외부 전자 장치(211)의 위치를 추정할 수 있다.
도 13은 다양한 실시 예들에 따른 액세스 포인트(202)에서, 전자 장치(101), 액세스 포인트(202), 또는 제1 외부 전자 장치(211) 사이의 거리를 식별하기 위한 신호 흐름의 예를 도시한다.
도 13을 참조하면, 전자 장치(101)와 액세스 포인트(202) 사이의 거리, 액세스 포인트(202)와 제1 외부 전자 장치(211) 사이의 거리 및 전자 장치(101)와 제1 외부 전자 장치(211) 사이의 거리를 확인하는 경우, 전자 장치(101), 액세스 포인트(202)는 도 8에 도시된 FTM(fine timing measurement) 방식을 이용할 수 있다. 제1 외부 전자 장치(211)는 복수의 외부 전자 장치(110) 중 하나 일 수 있다.
동작 1310에서, 액세스 포인트(202)(예: 액세스 포인트(202)의 프로세서(501))는 액세스 포인트(202)와 전자 장치(101) 사이의 거리에 대한 정보를 획득할 수 있다. 동작 1310은 도 8에 도시된 방법과 유사하게 수행될 수 있다.
동작 1320에서, 액세스 포인트(202)는 액세스 포인트(202)와 제1 외부 전자 장치(211) 사이의 거리에 대한 정보를 획득할 수 있다. 동작 1320은 도 8에 도시된 방법과 유사하게 수행될 수 있다.
동작 1330에서, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는 전자 장치(101)와 제1 외부 전자 장치(211) 사이의 거리에 대한 정보를 획득할 수 있다. 동작 1330은 도 8에 도시된 방법과 유사하게 수행될 수 있다.
동작 1340에서, 전자 장치(101)는 액세스 포인트(202)에게 전자 장치(101)와 제1 외부 전자 장치(211) 사이의 거리에 관한 정보를 송신할 수 있다. 액세스 포인트(202)는 전자 장치(101)와 액세스 포인트(202) 사이의 거리, 액세스 포인트(202)와 제1 외부 전자 장치(211) 사이의 거리, 전자 장치(101)와 제1 외부 전자 장치(211) 사이의 거리에 기반하여 제1 외부 전자 장치(211)의 위치에 관한 정보를 획득할 수 있다.
다양한 실시 예들에서, 전자 장치(101)는 액세스 포인트(202)의 역할을 수행할 수 있다. 액세스 포인트(202)는 전자 장치(101)의 역할을 수행할 수 있다.
도 14는 다양한 실시 예들에 따른 액세스 포인트(202)에서, 전자 장치(101), 액세스 포인트(202), 또는 제1 외부 전자 장치(211) 사이의 거리를 식별하기 위한 신호 흐름의 다른 예를 도시한다.
도 14를 참조하면, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는 액세스 포인트(202)와 제1 외부 전자 장치(211) 사이의 신호를 스니핑(sniffing) 할 수 있다. 전자 장치(101)는 액세스 포인트(202)에게 상기 스니핑된 신호에 관한 정보를 송신할 수 있다. 액세스 포인트(202)(예: 액세스 포인트(202)의 프로세서(501))는 상기 스니핑된 신호에 관한 정보를 통해 전자 장치(101)와 제1 외부 전자 장치(211) 사이의 거리를 획득할 수 있다. 전자 장치(101)는, 제1 외부 전자 장치(211)가 복수인 경우, 스니핑 방식을 이용하여 전자 장치(101)의 신호 송신 및 수신을 일부 생략할 수 있다. 제1 외부 전자 장치(211)는 복수의 외부 전자 장치(110) 중 하나 일 수 있다.
동작 1410에서, 액세스 포인트(202)는 액세스 포인트(202)와 전자 장치(101) 사이의 거리(d0)에 대한 정보를 획득할 수 있다. 동작 1410은 도 8에 도시된 방법과 유사하게 수행될 수 있다.
동작 1415에서, 전자 장치(101)는 액세스 포인트(202)에 제1 FTM 응답 신호를 송신할 수 있다. 전자 장치(101)는 제1 FTM 응답 신호를 제1 타이밍(timing)(t11)(1411)에서 송신할 수 있다. 액세스 포인트(202)는 제1 FTM 응답 신호를 수신할 수 있다. 액세스 포인트(202)는 제1 FTM 응답 신호를 제2 타이밍(t12)(1412)에서 수신할 수 있다.
동작 1416에서, 액세스 포인트(202)는 제1 외부 전자 장치(211)에 제1 FTM 응답 신호에 대한 확인 응답 신호를 송신할 수 있다. 액세스 포인트(202)는 제1 FTM 응답 신호에 대한 확인 응답 신호를 제3 타이밍(t13)(1413)에서 송신할 수 있다. 액세스 포인트(202)는 제1 FTM 응답 신호에 대한 확인 응답 신호를 수신할 수 있다. 액세스 포인트(202)는 제1 FTM 응답 신호 에 대한 확인 응답 신호를 제4 타이밍(t14)(1414)에서 수신할 수 있다.
동작 1420에서, 액세스 포인트(202)는 액세스 포인트(202)와 제1 외부 전자 장치(211) 사이의 거리(d1)에 대한 정보를 획득할 수 있다. 동작 1420은 도 8에 도시된 방법과 유사하게 수행될 수 있다.
동작 1421에서, 액세스 포인트(202)는 제1 외부 전자 장치(211)에게 FTM 요청 신호(FTM request signal)를 송신할 수 있다. 제1 외부 전자 장치(211)는 FTM 요청 신호(FTM request signal)를 수신할 수 있다.
동작 1422에서, 제1 외부 전자 장치(211)는, FTM 요청 신호에 기반하여 액세스 포인트(202)에게 확인 응답 신호(예: ACK signal)를 송신할 수 있다. 액세스 포인트(202)는 확인 응답 신호를 수신할 수 있다.
동작 1423에서, 제1 외부 전자 장치(211)는 상기 확인 응답 신호를 송신한 후, 제3 FTM 응답 신호를 액세스 포인트(202)에게 송신할 수 있다. 제1 외부 전자 장치(211)는 제3 FTM 응답 신호를 제5 타이밍(t21)(1441)에서 송신할 수 있다. 액세스 포인트(202)는 상기 제3 FTM 응답 신호를 수신할 수 있다. 액세스 포인트(202)는 상기 제3 FTM 응답 신호를 제6 타이밍(t22)(1442)에서 수신할 수 있다.
동작 1427에서, 전자 장치(101)는 상기 제3 FTM 응답 신호를 제1 스니핑 타이밍(t25)(1445)에서 스니핑할 수 있다.
동작 1424에서, 액세스 포인트(202)는 제3 FTM 응답 신호에 기반하여 제1 외부 전자 장치(211)에게 확인 응답 신호(예: ACK signal)를 송신할 수 있다. 액세스 포인트(202)는 제7 타이밍(t23)(1443)에서 상기 확인 응답 신호를 송신할 수 있다. 제1 외부 전자 장치(211)는 상기 확인 응답 신호를 수신할 수 있다. 제1 외부 전자 장치(211)는 상기 확인 응답 신호를 제8 타이밍(t24)(1444)에서 수신할 수 있다.
동작 1428에서, 전자 장치(101)는 액세스 포인트(202)에서 송신된 상기 확인 응답 신호를 제2 스니핑 타이밍(t26)(1446)에서 스니핑할 수 있다.
동작 1425에서, 제1 외부 전자 장치(211)는 제4 FTM 응답 신호를 액세스 포인트(202)에 송신할 수 있다. 제4 FTM 응답 신호는 제5 타이밍(t21)(1441) 및 제8 타이밍(t24)(1444)에 대한 정보를 포함하는 신호 일 수 있다. 액세스 포인트(202)는 제4 FTM 응답 신호를 제1 외부 전자 장치(211)로부터 수신할 수 있다.
동작 1426에서, 액세스 포인트(202)는 제4 FTM 응답 신호에 기반하여 확인 응답 신호(예: ACK signal)를 제1 외부 전자 장치(211)에게 송신할 수 있다. 제1 외부 전자 장치(211)는 상기 확인 응답 신호를 수신할 수 있다.
동작 1431에서, 전자 장치(101)는 액세스 포인트(202)에게 제5 FTM 응답 신호를 송신할 수 있다. 상기 제5 FTM 응답 신호는 제1 스니핑 타이밍(t25)(1445) 및 제2 스니핑 타이밍(t26)(1446)에 대한 정보를 포함할 수 있다. 액세스 포인트(202)는 전자 장치(101)로부터 제5 FTM 응답 신호를 수신할 수 있다.
동작 1432에서 액세스 포인트(202)는 전자 장치(101)에게 상기 제5 FTM 응답 신호에 기반하여 확인 응답 신호(예: ACK signal)를 송신할 수 있다. 전자 장치(101)는 상기 제5 FTM 응답 신호에 기반하여 확인 응답 신호를 수신할 수 있다.
액세스 포인트(202)는 제1 타이밍(1411) 내지 제8타이밍(1444), 제1 스니핑 타이밍(1445), 제2 스니핑 타이밍(1446) 및 신호의 속력(c), 전자 장치(101)와 액세스 포인트(202) 사이의 거리(d0)에 기반하여 전자 장치(101)와 제1 외부 전자 장치(211) 사이의 거리(d2)를 식별할 수 있다. 액세스 포인트(202)는 하기 수학식 2와 같이 구성된, 전자 장치(101)와 제1 외부 전자 장치(211) 사이의 거리(d2)에 대한 정보를 생성할 수 있다. 예를 들어, 액세스 포인트(202)는 하기의 수학식 2을 이용하여, 액세스 포인트(202)와 제1 외부 전자 장치(211) 사이의 거리에 대한 정보를 획득할 수 있다.
Figure PCTKR2019002325-appb-I000002
수학식 2에서, d2 는 액세스 포인트(202)와 제1 외부 전자 장치(211) 사이의 거리를 나타낼 수 있고, d0 는 액세스 포인트(202)와 전자 장치(101) 사이의 거리를 나타낼 수 있고, c 는 속력을 나타낼 수 있고, t11 은 제1 타이밍(1411)을 나타낼 수 있고, t12 은 제2 타이밍(1412)을 나타낼 수 있고, t13 은 제3 타이밍(1413)을 나타낼 수 있고, t14 은 제4 타이밍(1414)을 나타낼 수 있고, t21 은 제5 타이밍(1441)을 나타낼 수 있고, t22 은 제6 타이밍(1442)을 나타낼 수 있고, t23 은 제7 타이밍(1443)을 나타낼 수 있고, t24 은 제8 타이밍(1444)을 나타낼 수 있고, t25 은 제1 스니핑 타이밍(1445)을 나타낼 수 있으며, t26 은 제2 스니핑 타이밍(1446)을 나타낼 수 있다.
다양한 실시 예들에서, 전자 장치(101)가 FTM관련 신호를 스니핑하는 경우, 전자 장치(101)는 스니핑한FTM 관련 신호에 포함된 패킷으로부터 스니핑한 FTM 관련 신호를 송신한 장치(예: 제1 외부 전자 장치(211))의 위상 정보를 획득할 수 있다. 전자 장치(101)는, FTM 관련 신호를 송신한 장치의 위상 정보에 기반하여, 스니핑한 FTM 관련 신호를 송신한 장치가 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 전자 장치인지 여부를 결정할 수 있다.
다양한 실시 예들에서, 전자 장치(101)는 액세스 포인트(202)의 역할을 수행할 수 있다. 액세스 포인트(202)는 전자 장치(101)의 역할을 수행할 수 있다.
도 15a는 다양한 실시 예들에 따른 전자 장치(101)에서, 복수의 외부 전자 장치들(210)의 위치 관계를 식별하기 위한 신호 흐름의 다른 예를 도시한다.
도 15a를 참조하면, 전자 장치(101)는 액세스 포인트(202)와 연결될 수 있다. 제1 외부 전자 장치(211), 제2 외부 전자 장치(212), 액세스 포인트(202) 및 전자 장치(101)는, 로컬 네트워크(local network)를 구성할 수 있다. 제3 외부 전자 장치(1501)는 로컬 네트워크를 구성하지 않을 수 있다. 로컬 네트워크는 초고주파 대역으로 연결된 네트워크에 해당하지 않을 수 있다. 초고주파 대역의 연결이 아닌 경우(예: 2.4Ghz communication, 5Ghz communication) FTM 방식을 통해 외부 전자 장치의 위치에 관한 정보를 획득할 수 있다.
동작 1511에서, 액세스 포인트(202)(예: 액세스 포인트(202)의 프로세서(501))는 제1 외부 전자 장치(211)에게 FTM요청 신호를 송신할 수 있다. 제1 외부 전자 장치(211)는 액세스 포인트(202)로부터 FTM 요청 신호를 수신할 수 있다.
동작 1512에서, 액세스 포인트(202)는 제2 외부 전자 장치(212)에게 FTM요청 신호를 송신할 수 있다. 제2 외부 전자 장치(212)는 액세스 포인트(202)로부터 FTM 요청 신호를 수신할 수 있다.
동작 1513에서, 제1 외부 전자 장치(211)는 FTM 응답 신호를 액세스 포인트(202)에 송신할 수 있다. 액세스 포인트(202)는 제1 외부 전자 장치(211)로부터 FTM 응답 신호를 수신할 수 있다.
동작 1514에서, 제2 외부 전자 장치(212)는 FTM 응답 신호를 액세스 포인트(202)에 송신할 수 있다. 액세스 포인트(202)는 제2 외부 전자 장치(212)로부터 FTM 응답 신호를 수신할 수 있다. 동작 1511, 동작 1512, 동작 1513 및 동작 1514는 도 8에 도시된 방법과 유사하게 수행될 수 있다.
동작 1520에서, 액세스 포인트(202)는 신호 전달을 통해 제1 외부 전자 장치(211) 및 제2 외부 전자 장치(212)의 위치에 관한 정보를 획득할 수 있다. 예를 들어, 액세스 포인트(202)는 액세스 포인트(202)로부터 제1 외부 전자 장치(211)의 거리 또는 방향 중 적어도 하나에 관한 정보 및 액세스 포인트(202)로부터 제2 외부 전자 장치(212)의 거리 또는 방향 중 적어도 하나에 관한 정보에 기반하여 제1 외부 전자 장치(211) 및 제2 외부 전자 장치(212)의 위치 관계에 관한 정보를 획득할 수 있다. 일 실시 예에 따르면, 액세스 포인트(202)는 수신된 신호에 포함되는 디바이스 ID(device identification)에 기반하여 상기 수신된 신호가 제1 외부 전자 장치(211)로부터 송신된 신호임을 식별하고, 상기 수신된 신호의 AOA(angle of arrival)를 통해 제1 외부 전자 장치(211)와 액세스 포인트(202) 사이의 방향에 관한 정보를 획득할 수 있다. 일 실시 예에 따르면, 액세스 포인트(202)는 수신된 신호에 포함되는 디바이스 ID(device identification)에 기반하여 상기 수신된 신호가 제2 외부 전자 장치(212)로부터 송신된 신호임을 식별하고, 상기 수신된 신호의 AOA(angle of arrival)를 통해 제2 외부 전자 장치(212)와 액세스 포인트(202) 사이의 방향에 관한 정보를 획득할 수 있다.
동작 1521에서, 액세스 포인트(202)는 제1 외부 전자 장치(211) 및 제2 외부 전자 장치(212)의 위치 관계에 관한 정보를 전자 장치(101)에게 송신할 수 있다. 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는 액세스 포인트(202)로부터 상기 제1 외부 전자 장치(211) 및 제2 외부 전자 장치(212)의 위치 관계에 관한 정보를 수신할 수 있다.
동작 1522에서, 액세스 포인트(202)는 제1 외부 전자 장치(211) 및 제2 외부 전자 장치(212)의 위치 관계에 관한 정보를 서버(108)에게 송신할 수 있다. 서버(108)는 액세스 포인트(202)로부터 제1 외부 전자 장치(211) 및 제2 외부 전자 장치(212)의 위치 관계에 관한 정보를 수신할 수 있다.
동작 1523에서, 전자 장치(101)는 제3 외부 전자 장치(1501)의 위치에 관한 정보를 획득하기 위해 제3 외부 전자 장치(1501)에게 FTM 요청 신호를 송신할 수 있다. 제3 외부 전자 장치(1501)는 전자 장치(101)로부터 FTM 요청 신호를 수신할 수 있다.
동작 1524에서, 제3 외부 전자 장치(1501)는 전자 장치(101)에게 FTM 응답 신호를 송신할 수 있다. 전자 장치(101)는 제3 외부 전자 장치(1501)로부터 FTM 응답 신호를 수신할 수 있다. 전자 장치(101)는 FTM 응답 신호 수신을 통해 제3 외부 전자 장치(1501)의 위치에 관한 정보를 수신할 수 있다. 상기 제3 외부 전자 장치(1501)의 위치에 관한 정보는 제3 외부 전자 장치(1501)의 거리 및 방향에 관한 정보를 포함할 수 있다. 또한, 전자 장치(101)는 제3 외부 전자 장치(1501)의 FTM신호에 포함된 디바이스 ID에 관한 정보와 해당 신호의 AOA(angle of arrival)을 통해 방향 정보를 획득할 수도 있다.
동작 (1525)에서, 전자 장치(101)는 제3 외부 전자 장치(1501)의 위치에 관한 정보를 서버(108)에 송신할 수 있다. 서버(108)는 전자 장치(101)로부터 제3 외부 전자 장치(1501)의 위치에 관한 정보를 수신할 수 있다.
동작 1523, 동작 1524 또는 동작 1525는 전자 장치(101)에서 수행되는 것으로 도시되어 있으나, 액세스 포인트(202)에서 수행될 수도 있다.
동작 1530에서, 전자 장치(101)는 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 확인할 수 있다. 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치는 도 19에서 후술될 것이다.
동작 1540에서, 전자 장치(101)는 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 기준으로 하는 제1 외부 전자 장치(211), 제2 외부 전자 장치(212) 및 제3 외부 전자 장치(1501)의 위치 관계를 식별할 수 있다. 전자 장치(101)는 상기 식별된 위치 관계에 기반하여 제1 외부 전자 장치(211), 제2 외부 전자 장치(212) 및 제3 외부 전자 장치(1501)를 나타내는 각각의 객체들을 전자 장치(101)의 화면(예: 표시 장치(160))에 표시할 수 있다.
도 15b는 다양한 실시 예들에 따른 전자 장치(101)에서, 복수의 외부 전자 장치들(210)의 위치 관계를 식별하기 위한 신호 흐름의 다른 예를 도시한다.
도 15b를 참조하면, 전자 장치(101)는 액세스 포인트(202)와 연결될 수 있다. 제1 외부 전자 장치(211), 제2 외부 전자 장치(212), 액세스 포인트(202) 및 전자 장치(101)는, 로컬 네트워크(local network)를 구성할 수 있다. 제3 외부 전자 장치(1501)는 로컬 네트워크를 구성하지 않을 수 있다. 로컬 네트워크는 초고주파 대역으로 연결된 네트워크에 해당할 수 있다. 초고주파 대역 통신(예: mmWave (millimeterwave) communication, WiGig(wireless gigabit alliance))의 경우 전자 장치(101)는 정해진 섹터들(예: 16개)에 대해서 빔 스위핑(beam sweeping) 과정을 수행하고, 빔 스위핑 과정을 통해서 통신 성능이 가장 뛰어난 섹터(예: best sector)를 결정하여 외부 전자 장치(예: 제1 외부 전자 장치(211), 제2 외부 전자 장치(212))로 전송할 빔의 방향을 결정할 수 있다. 예를 들어, 빔 스위핑 과정은 전자 장치(101)가 외부 전자 장치에 정해진 섹터 각각에 빔을 전송하는 동작, 외부 전자 장치가 각 섹터 별 수신된 빔의 통신 상태에 기반하여 가장 성능이 좋은 섹터의 빔을 결정하여 전자 장치(101)에 전달하는 동작, 전자 장치(101)가 결정된 섹터에 기반하여 외부 전자 장치와 전자 장치(101)와의 방향을 추정하는 동작을 포함할 수 있다.
동작 1551에서, 액세스 포인트(202) (예: 액세스 포인트(202)의 프로세서(501))는 초고주파 대역 통신에서 빔(beam)을 통한 위치 측정 신호를 제1 외부 전자 장치(211)에게 송신할 수 있다. 제1 외부 전자 장치(211)는 빔을 통한 위치 측정 신호를 수신할 수 있다.
동작 1552에서, 액세스 포인트(202)는 초고주파 대역 통신에서 빔을 통한 위치 측정 신호를 제2 외부 전자 장치(212)에게 송신할 수 있다. 제2 외부 전자 장치(212)는 액세스 포인트(202)로부터 빔을 통한 위치 측정 신호를 수신할 수 있다.
액세스 포인트(202)는 빔을 통해 제1 외부 전자 장치(211)의 거리 또는 방향 중 적어도 하나에 관한 정보, 제2 외부 전자 장치(212)의 거리 또는 방향 중 적어도 하나에 관한 정보 또는 디바이스 ID에 관한 정보를 획득할 수 있다.
동작 1560에서, 액세스 포인트(202)는 제1 외부 전자 장치(211) 및 제2 외부 전자 장치(212)의 위치에 관한 정보를 획득할 수 있다. 동작 1560은 도 15a의 동작 1520과 동일하거나 유사하게 구현될 수 있다.
동작 1561에서, 액세스 포인트(202)는 제1 외부 전자 장치(211) 및 제2 외부 전자 장치(212)의 위치 관계에 관한 정보를 전자 장치(101)에게 송신할 수 있다. 전자 장치(101)는 액세스 포인트(202)로부터 상기 제1 외부 전자 장치(211) 및 제2 외부 전자 장치(212)의 위치 관계에 관한 정보를 수신할 수 있다. 동작 1561은 도 15a의 동작 1521과 동일하거나 유사하게 구현될 수 있다.
동작 1562에서, 액세스 포인트(202)는 제1 외부 전자 장치(211) 및 제2 외부 전자 장치(212)의 위치 관계에 관한 정보를 서버(108)에게 송신할 수 있다. 서버(108)는 액세스 포인트(202)로부터 제1 외부 전자 장치(211) 및 제2 외부 전자 장치(212)의 위치 관계에 관한 정보를 수신할 수 있다. 동작 1562은 도 15a의 동작 1522와 동일하거나 유사하게 구현될 수 있다.
동작 1563에서, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는 제3 외부 전자 장치(1501)의 위치에 관한 정보를 획득하기 위해 제3 외부 전자 장치(1501)에게 FTM 요청 신호를 송신할 수 있다. 제3 외부 전자 장치(1501)는 전자 장치(101)로부터 FTM 요청 신호를 수신할 수 있다. 동작 1563은 도 15a의 동작 1523과 동일하거나 유사하게 구현될 수 있다.
동작 1564에서, 제3 외부 전자 장치(1501)는 전자 장치(101)에게 FTM 응답 신호를 송신할 수 있다. 전자 장치(101)는 제3 외부 전자 장치(1501)로부터FTM 응답 신호를 수신할 수 있다. 동작 1564는 도 15a의 동작 1524와 동일하거나 유사하게 구현될 수 있다.
동작 1565에서, 전자 장치(101)는 제3 외부 전자 장치(1501)의 위치에 관한 정보를 서버(108)에 송신할 수 있다. 서버(108)는 전자 장치(101)로부터 제3 외부 전자 장치(1501)의 위치에 관한 정보를 수신할 수 있다. 동작 1565는 도 15a의 동작 1525와 동일하거나 유사하게 구현될 수 있다.
동작 1570에서, 전자 장치(101)는 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 확인할 수 있다. 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 식별하기 위한 방법의 예시는 도 19에서 후술될 것이다. 일 실시 예에 따르면, 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 식별하기 위한 방법은 도 19에 도시된 방법 이외에 다양한 방법을 통해 구현될 수 있다. 동작 1570은 도 15a의 동작 1530과 동일하거나 유사하게 구현될 수 있다.
동작 1580에서, 전자 장치(101)는 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 기준으로 하는 제1 외부 전자 장치(211), 제2 외부 전자 장치(212) 및 제3 외부 전자 장치(1501)의 위치 관계를 식별할 수 있다. 동작 1580은 도 15a의 동작 1540과 동일하거나 유사하게 구현될 수 있다.
도 16은 다양한 실시 예들에 따른 등록되지 않은 외부 전자 장치로부터 송신되는 패킷의 예를 도시한다.
도 16을 참조하면, 도 16에 도시된 패킷은 예약필드(reserved field)(1610)를 포함할 수 있다. 예약 필드(1610)는 제조사명에 대한 정보(1620), 장치 타입에 관한 정보(1630), 모델명에 관한 정보(1640), 및 기능에 관한 정보(1650)를 포함할 수 있다.
다양한 실시 예들에서, 액세스 포인트(202) (예: 액세스 포인트(202)의 프로세서(501))는 등록되지 않은 외부 전자 장치에 관한 신호를 수신할 수 있다. 액세스 포인트(202)는 외부 전자 장치(예: 제1 외부 전자 장치(211))가 제조사 고유 프로토콜(vendor-specific protocol)을 사용하는 경우에도, 외부 전자 장치에 대한 정보를 획득할 수 있다. 예를 들어, 블루투스(bluetooth)나 와이파이(wifi) 와 같이 잘 알려진 대역의 패킷(packet)의 예약 필드(reserved field)에 임의로 값을 지정하여 외부 전자 장치의 식별 정보를 표시할 수 있다. 외부 전자 장치는 상기 패킷을 디스커버리 신호(discovery signal) 송신 시에 함께 송신할 수 있다. 따라서 외부 전자 장치는 액세스 포인트(202)에게 외부 전자 장치의 종류와 이름 또는 기능에 관한 정보를 함께 송신할 수 있다.
다양한 실시 예들에서, 외부 전자 장치(예: 제1 외부 전자 장치(211))는 도 16에 도시된 패킷의 전송을 지원하지 않을 수 있다. 외부 전자 장치가 외부 전자 장치의 식별 정보를 표시하는 패킷을 송신할 수 없는 경우에도 외부 전자 장치는 소프트웨어 업데이트를 통해 외부 전자 장치의 식별 정보를 포함하는 예약필드를 구성할 수 있다. 예를 들어, 외부 전자 장치가 거리와 방향 측정을 위한 하드웨어적 요건을 갖추지 않은 경우, 외부 전자 장치는, 거리와 방향 측정을 위해 FTM 프로토콜, 디스커버리 신호 발신을 위한 룰 셋(rule set)과 같은 필요한 사항을 소프트웨어적으로 정의할 수 있다. 외부 전자 장치는, 외부 전자 장치의 소프트웨어의 업데이트를 통해, 거리 또는 방향 측정과 관련하여 동작할 수 있다. 다른 예를 들어, 거리 및 방향에 관한 정보를 획득할 수 없도록 설계된 외부 전자 장치는, 거리 또는 방향 측정을 위한 소프트웨어 업데이트 또는 펌웨어(firmware) 업데이트를 통해, 거리 또는 방향 측정과 관련하여 동작할 수 있다. 또 다른 예를 들어, 신호를 브로드캐스트(broadcast)하지 않는 외부 전자 장치는, 위치 정보를 송신할 수 있도록 설계된 사용자 정의 프로토콜이 포함된 펌웨어 업데이트를 통해 특정 신호 수신 시 디스커버리 신호를 송신할 수 있다. 외부 전자 장치는, 상기 펌웨어 업데이트를 통해, FTM 요청 신호에 응답하여 FTM 응답 신호를 송신할 수 있다.
도 17 는 다양한 실시 예들에 따른 전자 장치(101)에서, 복수의 외부 전자 장치들(210)의 기능을 식별하기 위한 신호 흐름의 예를 도시한다.
도 17을 참조하면, 전자 장치(101)는 액세스 포인트(202)와 연결될 수 있다. 제1 외부 전자 장치(211), 제2 외부 전자 장치(212), 액세스 포인트(202) 및 전자 장치(101)는, 로컬 네트워크(local network)를 구성할 수 있다. 제3 외부 전자 장치(1501)는 로컬 네트워크를 구성하지 않을 수 있다. 제2 외부 전자 장치(212)는 전자 장치(101)의 계정에 등록되어 있는 전자 장치일 수 있다. 제1 외부 전자 장치(211)는 전자 장치(101)의 계정에 등록되어 있지 않은 전자 장치일 수 있다.
동작 1701에서, 전자 장치(101) (예: 전자 장치(101)의 프로세서(120))는 서버(108)에게 계정에 등록된 제2 외부 전자 장치(212)의 기능에 관한 정보 요청 신호를 송신할 수 있다. 기능에 관한 정보는 입력 장치인지 여부, 화면 출력의 기능을 수행하는지 여부, 사운드 출력의 기능을 수행하는지 여부에 대한 정보, 또는 연결 프로토콜에 관한 정보 중 적어도 일부를 포함할 수 있다. 전자 장치(101)는 상기 기능에 관한 정보 요청 신호를 기 지정된 프로토콜에 기반하여 송신할 수 있다. 예를 들어, 지정된 프로토콜은 제조사가 지정한 별도의 프로토콜 또는OCF(open connectivity foundation)에 기반한 프로토콜일 수 있다. 서버(108)(예: 서버(108)의 프로세서(720))는 제2 외부 전자 장치(212)의 기능에 관한 정보 요청 신호를 수신할 수 있다.
동작 1702에서, 서버(108)는 전자 장치(101)에게 제2 외부 전자 장치(212)의 기능에 관한 정보를 송신할 수 있다. 전자 장치(101)는 서버(108)로부터 계정에 등록된 제2 외부 전자 장치(212)의 기능에 관한 정보를 수신할 수 있다.
동작 1720에서, 전자 장치(101)는 수신한 제2 외부 전자 장치(212)의 기능에 관한 정보를 전자 장치(101)의 메모리(130)에 저장할 수 있다. 전자 장치(101)는 수신한 제2 외부 전자 장치(212)의 기능에 관한 정보를 프로파일(profile) 형식으로 저장할 수 있다.
동작 1703에서, 전자 장치(101)는 제1 외부 전자 장치(211)에게 액세스 포인트(202)를 통해 서비스 요청 신호를 송신할 수 있다. 제1 외부 전자 장치(211)는 전자 장치(101)로부터 서비스 요청 신호를 수신할 수 있다. 일 실시 예에 따르면, 제1 전자 장치(211)는 상기 서비스 요청 신호를 브로드캐스팅(broadcasting) 방식을 통해 송신할 수 있다. 상기 서비스 요청 신호는 액세스 포인트(202)를 통하지 않고 제1 외부 전자 장치(211)에게 직접 송신될 수도 있다.
다양한 실시 예들에서, 액세스 포인트(202) (예: 액세스 포인트(202)의 프로세서(501))는 전자 장치(101) 또는 제1 외부 전자 장치(211)로부터 수신된 신호를 가공하여 전자 장치(101) 또는 제1 외부 전자 장치(211)에 송신할 수 있다.
동작 1705에서, 제1 외부 전자 장치(211)는 서비스 응답 신호를 액세스 포인트(202)를 통해 전자 장치(101)에게 송신할 수 있다. 액세스 포인트(202)는 제1 외부 전자 장치(211)로부터 수신한 서비스 응답 신호를 수신할 수 있다. 다양한 실시 예들에서, 제1 외부 전자 장치(211)는 서비스 응답 신호를 액세스 포인트(202)를 통하지 않고 전자 장치(101)에게 직접 송신할 수 있다. 다양한 실시 예들에서, 액세스 포인트(202)는 제1 외부 전자 장치(211)로부터 수신한 서비스 응답 신호를 가공하여 전자 장치(101)에 송신할 수 있다. 전자 장치(101)는 상기 서비스 응답 신호의 수신에 기반하여 제1 외부 전자 장치(211)가 전자 장치(101)와 연동 될 수 있음을 확인할 수 있다.
동작 1707에서, 전자 장치(101)는 제1 외부 전자 장치(211)에게 액세스 포인트(202)를 통해 제1 외부 전자 장치(211)의 기능에 관한 정보 요청 신호를 송신할 수 있다. 제1 외부 전자 장치(211)는 전자 장치(101)로부터 제1 외부 전자 장치(211)의 기능에 관한 정보 요청 신호를 수신할 수 있다. 다양한 실시 예들에서, 전자 장치(101)는 제1 외부 전자 장치(211)의 기능에 관한 정보 요청 신호를 액세스 포인트(202)를 통하지 않고 제1 외부 전자 장치(211)에게 직접 송신할 수 있다.
동작 1709에서, 제1 외부 전자 장치(211)는 전자 장치(101)에게 액세스 포인트(202)를 통해 제1 외부 전자 장치(211)의 기능에 관한 정보를 송신할 수 있다. 전자 장치(101)는 액세스 포인트(202)로부터 제1 외부 전자 장치(211)의 기능에 관한 정보를 수신할 수 있다. 다양한 실시 예들에서, 제1 외부 전자 장치(211)는 제1 외부 전자 장치(211)의 기능에 관한 정보를 액세스 포인트(202)를 통하지 않고 전자 장치(101)에게 직접 송신할 수 있다.
동작 1730에서, 전자 장치(101)는 수신된 제1 외부 전자 장치(211)의 기능에 관한 정보를 전자 장치(101)의 메모리(130)에 저장할 수 있다. 전자 장치(101)는 수신한 제1 외부 전자 장치(211)의 기능에 관한 정보를 프로파일(profile) 형식으로 저장할 수 있다.
동작 1711에서, 전자 장치(101)는 수신된 제1 외부 전자 장치(211)의 기능에 관한 정보를 서버(108)에 송신할 수 있다. 서버(108)는 제1 외부 전자 장치(211)의 기능에 관한 정보를 수신할 수 있다. 전자 장치(101)는 제1 외부 전자 장치(211)의 기능에 관한 정보를 서버(108)에 업로드(upload) 또는 동기화할 수 있다.
동작 1712에서, 전자 장치(101)는 제3 외부 전자 장치(1501)에게 서비스 요청 신호 및 연결 요청 신호를 송신할 수 있다. 제3 외부 전자 장치(1501)는 전자 장치(101)로부터 서비스 요청 신호 및 연결 요청 신호를 수신할 수 있다. 다양한 실시 예들에서, 제3 외부 전자 장치(1501)는 제조사 고유 프로토콜(vendor-specific protocol)을 이용할 수 있다. 상기 연결 요청 신호는 연결을 수립하기 위한 패킷을 포함할 수 있다. 상기 패킷은 도 16에 따른 패킷에 상응할 수 있다.
동작 1713에서, 제3 외부 전자 장치(1501)는 전자 장치(101)에게 서비스 응답 신호 및 연결 응답 신호를 송신할 수 있다. 전자 장치(101)는 서비스 응답신호 및 연결 응답 신호를 수신할 수 있다. 전자 장치(101)는 송신된 연결 응답 신호를 통해 제3 외부 전자 장치(1501)와 연결을 수립할 수 있다. 전자 장치(101)와 제3 외부 전자 장치(1501)는 연결에 기반하여 데이터를 교환할 수 있다.
동작 1714에서, 전자 장치(101)는 제3 외부 전자 장치(1501)에게 제3 외부 전자 장치(1501)의 기능에 관한 정보 요청 신호를 송신할 수 있다. 제3 외부 전자 장치(1501)는 전자 장치(101)로부터 제3 외부 전자 장치(1501) 의 기능에 관한 정보 요청 신호를 수신할 수 있다.
동작 1715에서, 제3 외부 전자 장치(1501)는 전자 장치(101)에게 제3 외부 전자 장치(1501)의 기능에 관한 정보를 송신할 수 있다. 전자 장치(101)는 제3 외부 전자 장치(1501)로부터 제3 외부 전자 장치(1501)의 기능에 관한 정보를 수신할 수 있다.
동작 1740에서, 전자 장치(101)는 제3 외부 전자 장치(1501)의 기능에 관한 정보를 전자 장치(101)의 메모리(130)에 저장할 수 있다. 전자 장치(101)는 수신한 제3 전자 장치의 기능에 관한 정보를 프로파일(profile) 형식으로 저장할 수 있다.
동작 1716에서, 전자 장치(101)는 수신된 제3 외부 전자 장치(1501)의 기능에 관한 정보를 서버(108)에 송신할 수 있다. 서버(108)는 제3 외부 전자 장치(1501)의 기능에 관한 정보를 수신할 수 있다. 전자 장치(101)는 제3 외부 전자 장치(1501)의 기능에 관한 정보를 서버(108)에 업로드(upload) 또는 동기화할 수 있다.
도 18은 다양한 실시 예들에 따른 전자 장치(101)에서, 복수의 외부 전자 장치들(210)을 나타내는 복수의 객체를 표시하기 위한 동작의 예를 도시한다.
도 18을 참조하면, 동작 1810에서, 전자 장치(101)의 프로세서(120)는 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 식별할 수 있다. 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치는 도 19에서 후술될 것이다.
동작 1820에서, 프로세서(120)는 사용자로부터 수신한 입력 모드에 기반하여 추가적으로 외부 전자 장치를 표시할 필요가 있는지 여부를 결정할 수 있다. 예를 들어, 프로세서(120)는, 추가적으로 외부 전자 장치를 표시할 필요가 있는 경우, 동작 1830을 수행할 수 있다. 다른 예를 들어, 프로세서(120)는, 추가적으로 외부 전자 장치를 표시할 필요가 없는 경우, 동작 1850을 수행할 수 있다.
동작 1830에서, 프로세서(120)는 전자 장치(101) 또는 액세스 포인트(202)와 연결되어 있지 않은 추가적 외부 전자 장치의 배치를 식별할 수 있다. 프로세서(120)는 연결 모드에 기반하여, 전자 장치(101) 또는 액세스 포인트(202)와 연결되어 있지 않으나, 연결 모드에 관한 동작을 수행할 수 있는 외부 전자 장치의 배치를 식별할 수 있다. 프로세서(120)는 사전에 전자 장치(101) 또는 액세스 포인트(202)와 연결된 장치이기는 하나, 현재 신호가 수신되지 않는 연결 모드에 관한 동작을 수행할 수 있는 외부 전자 장치의 배치를 식별할 수 있다. 예를 들어, 연결 모드가 파일 공유 동작인 경우, 프로세서(120)는 노트북이 현재 전자 장치(101)와 연결되어 있지 않은 경우라도 파일 공유 동작을 수행할 수 있는 노트북(notebook)을 추가적 외부 전자 장치에 해당함을 식별할 수 있다. 프로세서(120)는 서버(108) 또는 액세스 포인트(202)를 통해 노트북의 배치를 식별할 수 있다. 프로세서(120)는 전자 장치(101)에 노트북을 나타내는 객체를 추가하여 표시할 수 있다.
동작 1840에서, 프로세서(120)는 연결 모드에 기반하여 전자 장치(101)에 표시될 외부 전자 장치를 나타내는 객체를 식별할 수 있다. 예를 들어, 연결 모드가 파일 공유에 해당하는 경우, 프로세서(120)는 파일 공유에 관한 동작을 수행할 수 없는 외부 전자 장치(예: IoT 전구, 오븐(oven))를 나타내는 객체를 표시에서 제외할 수 있다. 다른 예를 들어, 프로세서(120)는 파일 공유에 관한 동작을 수행할 수 없는 외부 전자 장치를 나타내는 객체를 표시할 수도 있다.
동작 1850에서, 프로세서(120)는 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치에 기반하여 복수의 외부 전자 장치들(210)을 나타내는 복수의 객체들을 표시할 수 있다. 예를 들어, 프로세서(120)는, 복수의 외부 전자 장치들(210)의 위치 관계에 관한 정보에 기반하여, 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 기준으로 하는 복수의 외부 전자 장치들의 위치 관계에 관한 제2 데이터를 획득할 수 있다. 프로세서(120)는, 상기 제2 데이터에 기반하여 배치된, 외부 전자 장치를 나타내는 복수의 객체를 표시할 수 있다.
도 19는 다양한 실시 예들에 따른 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 식별하는 방법의 예를 설명하기 위한 도면이다.
도 19를 참조하면, 전자 장치(101)는 복수의 안테나를 포함할 수 있다. 신호 특징 추출 모듈(420)은 복수의 안테나를 통해 수신된 신호의 위상 값을 비교할 수 있다. 신호 특징 추출 모듈(420)은 상기 비교된 위상 값을 장치 판단 모듈(440)로 송신할 수 있다. 장치 판단 모듈(440)은 상기 비교된 위상 값에 기반하여 외부 전자 장치의 위치를 결정할 수 있다. 또한, 전자 장치(101)는, 복수의 안테나를 통해, 복수의 외부 전자 장치들(210)에 대한 신호를 처리할 수 있다. 따라서 전자 장치(101)는 복수의 외부 전자 장치들(210)의 위치 관계를 결정할 수 있다. 예를 들어, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는 복수의 외부 전자 장치들(210)의 거리 및 방향에 관한 정보를 액세스 포인트(202)로부터 수신할 수 있다. 전자 장치(101)는 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 식별할 수 있다. 전자 장치(101)는 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 기준으로 하는 복수의 외부 전자 장치들(210)의 위치를 결정할 수 있다.
다양한 실시 예들에서, 전자 장치(101)는 복수의 안테나를 이용하여 수신된 RF 신호의 위상 차 및 신호 세기에 기반하여 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 식별할 수 있다. 전자 장치(101)는 제1 안테나 및 제2 안테나를 이용하여 제1 외부 전자 장치(211)가 브로드캐스팅(broadcasting)한 RF 신호를 각각 수신할 수 있다. 제1 안테나를 통해 수신된 제1 RF 신호와 제2 안테나를 통해 수신된 제2 RF 신호의 위상 차가 0인 경우, 상기 제1 외부 전자 장치(211)를 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치로 식별할 수 있다. 또는, 전자 장치(101)는, 상기 제1 RF 신호와 제2 RF 신호의 위상 차가 기 설정된 값 이하인 경우, 상기 제1 외부 전자 장치(211)를 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치로 식별할 수 있다. 전자 장치(101)는, 예를 들어, 위상 차가 0.05 radian 이내인 경우, 상기 제1 외부 전자 장치(211)를 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치로 식별할 수 있다.
다양한 실시 예들에서, 전자 장치(101)는 전자 장치(101) 양 쪽에 안테나 2개를 포함할 수 있다. 제1 외부 전자 장치(211)는 신호를 브로드캐스팅(broadcasting)할 수 있다. 제1 상태(1910)의 전자 장치(101)의 경우 전자 장치(101) 왼쪽의 제1 안테나를 통해 수신된 제1 신호와 전자 장치(101) 오른쪽의 제2 안테나를 통해 수신된 제2 신호의 위상 차가 0이거나 기 설정된 값 이하 일 수 있다. 따라서, 제1 상태(1910)의 전자 장치(101)는 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치가, 상기 제1 외부 전자 장치(211)임을 식별할 수 있다. 다른 실시 예에 따르면, 제2 상태(1920)의 전자 장치(101)는 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치가 상기 제1 외부 전자 장치(211)임을 식별할 수 있다.
다양한 실시 예들에서, 제3 상태(1930)의 전자 장치(101)의 경우 전자 장치(101) 왼쪽의 제1 안테나를 통해 수신된 제1 신호와 전자 장치(101) 오른쪽의 제2 안테나를 통해 수신된 제2 신호의 위상 차가 기 설정된 값을 초과할 수 있다. 따라서, 제3 상태(1930)의 전자 장치(101)는 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치가, 상기 제1 외부 전자 장치(211)가 아님을 식별할 수 있다.
다양한 실시 예들에서, 전자 장치(101)는 액세스 포인트(202)에 복수의 외부 전자 장치들(210)의 위치 관계를 나타내는 제1 데이터를 요청하는 신호를 송신하기 전에, 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 액세스 포인트(202)로 지정할 수 있다. 전자 장치(101)는, 상기 지정된 액세스 포인트(202)를 통해 복수의 외부 전자 장치들(210)의 위치 관계에 관한 제1 데이터를 수신하는 경우, 제2 데이터를 획득하는데 필요한 시간을 절감할 수 있다. 따라서 전자 장치(101)는 화면 표시에 필요한 시간을 줄여 빠른 응답을 수행할 수 있다.
다양한 실시 예들에서, 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치 식별은 프로세서(120) 내부의 장치 판단 모듈(440)을 통해 수행될 수 있다. 장치 판단 모듈(440)은 신호 특징 추출 모듈(420)로부터 입력 받은 위상 차 정보 이외의 정보를 이용하여 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 식별할 수 있다. 예를 들어, 전자 장치(101)는 전자 장치(101)에 저장되어 있는 안테나 위치 정보, 센서 정보 입력 모듈(450) 에서 입력 받은 각종 센서 정보를 통해 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 식별할 수 있다. 장치 판단 모듈(440)은 위상 차 정보 이외의 정보를 위상 차 연산 모듈에서 수신한 위상 차 정보와 결합해 최종적으로 가중치 위상 차 정보를 획득할 수 있다. 다양한 실시 예들에서, 장치 판단 모듈(440)은 가중치 위상 차 정보에 기반하여 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 식별할 수 있다.
다양한 실시 예들에서, 장치 판단 모듈(440)은 신호 특징 추출 모듈(420)로부터 수신한 RF 신호의 특성에 기반하여 가중치 위상 차 정보를 획득할 수 있다. 장치 판단 모듈(440)은 상기 가중치 위상 차 정보를 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치 식별에 이용할 수 있다.
다양한 실시 예들에서, 복수의 외부 전자 장치들(210) 각각은, 복수의 외부 전자 장치들(210) 각각의 제1 지점이 향하는 방향에 상응하는 영역에 전자 장치(101)가 위치하는지 여부를 식별할 수 있다. 예를 들어, 제1 외부 전자 장치(211)는, 제1 외부 전자 장치(211)의 제1 지점이 향하는 방향에 상응하는 영역에 전자 장치(101)가 위치하는지 여부를 식별할 수 있다. 제1 외부 전자 장치(211)는, 전자 장치(101)에게 제1 외부 전자 장치(211)의 제1 지점이 향하는 방향에 상응하는 영역에 전자 장치(101)가 위치한다는 정보를 송신할 수 있다. 전자 장치(101)는 상기 정보에 기반하여 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치가 제1 외부 전자 장치(211)임을 식별할 수 있다. 복수의 외부 전자 장치들(210) 각각이 복수의 외부 전자 장치들(210) 각각의 제1 지점이 향하는 방향에 상응하는 영역에 전자 장치(101)가 위치하는지 여부를 식별하는 동작과 전자 장치(101)가 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 식별하는 동작은 동시에 수행될 수 있고, 독립적으로 수행될 수 있다.
도 20은 다양한 실시 예들에 따른 전자 장치(101)에서, 적어도 하나의 외부 전자 장치에게 연결을 위한 신호를 송신하기 위한 동작의 예를 도시한다. 도 20의 동작 2010 내지 동작 2030은 도 9의 동작 950과 관련될 수 있다.
도 20을 참조하면, 동작 2010에서, 전자 장치(101)의 프로세서(120)는 연결 모드에 기반하여 표시된 정보에 포함된 객체들에 대한 입력을 수신할 수 있다. 예를 들어, 전자 장치(101)는 입력 장치(150)를 통해 사용자로부터 입력(예: 터치 입력 또는 음성 입력)을 수신할 수 있다. 다양한 실시 예들에서, 프로세서(120)는 연결을 수행할 복수의 외부 전자 장치들(210)을 나타내는 객체에 대한 입력을 수신할 수 있다.
동작 2020에서 프로세서(120)는 연결 할 외부 전자 장치들의 구동 모드를 획득할 수 있다. 다양한 실시 예들에서, 프로세서(120)는 연결 모드에 기반하여, 연결할 외부 전자 장치들의 구동 모드를 획득할 수 있다. 프로세서(120)는 연결할 외부 전자 장치들의 연결 방법을 결정할 수 있다. 프로세서(120)는 연결할 외부 전자 장치들의 구동 모드에 따라 필요한 연결 및 불필요한 연결을 식별할 수 있다. 프로세서(120)는 상기 식별에 기반하여, 불필요한 연결이 제외된, 연결할 외부 전자 장치들의 연결 방법을 결정할 수 있다. 예를 들어, 연결할 외부 전자 장치가 노트북(notebook), 모니터(monitor), 스피커(speaker)일 수 있다. 전자 장치(101)의 연결 모드는 영상 재생일 수 있다. 따라서 프로세서(120)는 영상 재생을 위한 노트북, 모니터, 스피커의 연결 방법을 결정할 수 있다. 예를 들어, 프로세서(120)는 영상에 관한 정보를 노트북에서 모니터로 제공하도록 노트북과 모니터를 연결하도록 결정할 수 있다. 또 다른 예를 들어, 프로세서(120)는 소리에 관한 정보를 노트북에서 스피커로 제공하도록 노트북과 모니터를 연결하도록 결정할 수 있다. 프로세서(120)는 연결 모드인 영상 재생에 불필요한 연결인 모니터와 스피커의 연결을 수행하지 않을 수 있다.
동작 2030에서 프로세서(120)는 연결할 적어도 하나의 외부 전자 장치에게 연결을 위한 신호를 송신할 수 있다. 상기 신호는 연결할 적어도 하나의 외부 전자 장치에 직접 송신할 수 있다. 상기 신호는 연결할 외부 전자 장치가 연결된 액세스 포인트(202)를 통해 송신할 수도 있다.
도 21은 다양한 실시 예들에 따른 전자 장치(101)에서, 외부 전자 장치를 나타내는 객체를 표시하는 방법의 예를 설명하기 위한 도면이다.
도 21을 참조하면, 전자 장치(101)의 프로세서(120)는 액세스 포인트(202)로부터 수신한 적어도 하나의 외부 전자 장치의 위치 관계에 관한 제1 데이터에 기반하여 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치의 위치 관계에 관한 제2 데이터를 획득할 수 있다. 프로세서(120)는 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 나타내는 객체가 화면의 상단의 가운데에 위치하도록 배치할 수 있다.
다양한 실시 예들에서, 전자 장치(101) 또는 서버(108)는 메모리(예: 메모리(130) 또는 메모리(710))에 전자 장치(101), 액세스 포인트(202) 또는 복수의 외부 전자 장치들(210)이 포함된 환경(2110)에 대한 정보를 저장할 수 있다. 전자 장치(101)는 서버(108)로부터 상기 환경(2110)에 대한 정보를 요청할 수 있다. 전자 장치(101)는 서버(108)로부터 상기 환경(2110)에 대한 정보를 수신할 수 있다. 상기 환경(2110)에 대한 정보는 폭 또는 너비의 물리적 환경을 나타내는 평면도(2120)에 대한 정보를 포함할 수 있다. 전자 장치(101), 액세스 포인트(202), 복수의 외부 전자 장치들(210)을 나타내는 객체들은 환경을 나타내는 상기 평면도(2120)에 위치 정보에 기반하여 배치될 수 있다. 일 실시 예에 따르면, 상기 객체는 평면도(2120)에서 전자 장치(101)의 표시 영역의 크기에 기반하여 실제 거리와 비례하도록 배치될 수 있다. 다양한 실시 예들에서, 전자 장치(101)는 탭 또는 드래그 입력을 위해 전자 장치(101) 표시 영역의 크기에 기반하여 평면도(2120)를 표시 장치(160)에 표시할 수 있다. 다양한 실시 예들에서, 전자 장치(101)는 평면도의 크기를 변경할 수 있다. 전자 장치(101)는 복수의 외부 전자 장치들(210)의 위치에 기반하여 추정된 환경의 구조를 전자 장치(101)에 상기 객체를 포함하는 평면도(2120)로써 표시 장치(160)에 표시할 수 있다.
도 22a는 다양한 실시 예들에 따른 전자 장치(101)에서, 외부 전자 장치를 나타내는 객체를 표시하는 방법의 다른 예를 설명하기 위한 도면이다.
도 22a를 참조하면, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는 전자 장치(101)의 표시 장치(160)에 복수의 외부 전자 장치들(210)의 위치 관계에 기반하여 복수의 외부 전자 장치들(210)을 나타내는 객체들(예: 객체(2202), 객체(2203), 객체(2204), 객체(2205), 객체(2206))을 포함하는 화면(2271)을 표시하도록 제어할 수 있다.
예를 들어, 전자 장치(101)는 전자 장치(101)를 나타내는 객체(2201)가 화면(2271)의 하단 또는 화면(2271)의 중앙에 배치됨에 기반하여 복수의 외부 전자 장치들(210)을 나타내는 복수의 객체들(예: 객체(2202), 객체(2203), 객체(2204), 객체(2205), 객체(2206))을 배치할 수 있다. 전자 장치는 전자 장치(101)와 복수의 전자 장치들(110)의 위치 관계와 해당 전자 장치들이 배치된 환경(예: 환경(2110))에 대한 정보에 기반하여 복수의 객체들을 공간과 거리에 비례하도록 화면(2271)에 표시할 수 있다. 전자 장치(101)는 복수의 외부 전자 장치들(210)을 나타내는 복수의 객체들을 크기, 색상을 다르게 설정하여 표시할 수 있다. 다른 예를 들어, 전자 장치(101)는 복수의 외부 전자 장치들(210)을 나타내는 복수의 객체들을 복수의 외부 전자 장치들(210) 각각의 형상을 나타내는 객체로서 표시할 수 있다.
도 22b는 다양한 실시 예들에 따른 전자 장치(101)에서, 외부 전자 장치를 나타내는 객체를 표시하는 방법의 또 다른 예를 설명하기 위한 도면이다.
도 22b를 참조하면, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는 복수의 외부 전자 장치들(210)을 나타내는 객체들을 소스(source) 장치와 아웃풋(output) 장치로 구분하여 화면(2272)을 표시 장치(160)에 표시하도록 제어할 수 있다. 전자 장치(101)는 복수의 외부 전자 장치의 속성에 관한 정보에 기반하여 복수의 외부 전자 장치들(210)이 소스 장치인지 여부 또는 아웃풋 장치인지 여부를 식별할 수 있다. 전자 장치(101)는 상기 식별에 기반하여 복수의 외부 전자 장치들(210)을 나타내는 객체들(예: 객체(2212), 객체(2213), 객체(2214), 객체(2215), 객체(2216))을 소스(source) 장치와 아웃풋(output) 장치로 구분하여 표시할 수 있다.
예를 들어, 전자 장치(101)는 전자 장치(101)를 나타내는 객체(2211)를 화면(2272)의 하단 또는 화면(2272)의 중앙에 표시할 수 있다. 제1 영역(2210)은 소스 장치를 나타내는 객체가 표시된 영역일 수 있다. 제2 영역(2220)은 아웃풋 장치를 나타내는 객체가 표시된 영역일 수 있다. 제1 영역(2210)의 상단에는 소스 장치를 나타내는 객체(2217)가 표시될 수 있다. 제2 영역(2220)의 상단에는 아웃풋 장치를 나타내는 객체(2218)가 표시될 수 있다. 소스 장치를 나타내는 객체(2217) 또는 아웃풋 장치를 나타내는 객체(2218)는 항상 영역의 상단에 표시되어야 하는 것은 아니다. 다양한 실시 예에 따르면, 전자 장치(101)는 복수의 전자 장치(110)을 나타내는 복수의 객체들을 다양한 위치에 배치할 수 있으며, 표시하지 않을 수도 있다.
도 22c는 다양한 실시 예들에 따른 전자 장치(101)에서, 외부 전자 장치를 나타내는 객체를 표시하는 방법의 또 다른 예를 설명하기 위한 도면이다.
도 22c를 참조 하면, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는 복수의 외부 전자 장치들(210)을 나타내는 객체들(예: 객체(2222), 객체(2223), 객체(2224), 객체(2225), 객체(2226))을 복수의 외부 전자 장치들(210)로부터 수신되는 신호 세기에 따라 배치된 화면(2273)을 표시 장치(160)에 표시하도록 제어할 수 있다. 전자 장치(101)는 전자 장치(101)를 나타내는 객체(2221)를 화면(2273)의 하단 또는 화면(2273)의 중앙에 표시할 수 있다. 전자 장치(101)는 통신 모듈(190)을 통해 복수의 외부 전자 장치들(210)로부터 수신된 신호의 세기를 검출할 수 있다. 전자 장치(110)는 검출된 신호의 세기에 기반하여 복수의 외부 전자 장치들(210)을 나타내는 객체들(예: 객체(2222), 객체(2223), 객체(2224), 객체(2225), 객체(2226))을 표시할 수 있다. 예를 들어, 전자 장치(101)는 검출된 신호의 세기에 기반하여 복수의 외부 전자 장치들(210)의 가상의 위치 관계에 관한 정보를 획득할 수 있다. 전자 장치(101)는 가상의 위치 관계에 관한 정보에 기반하여 신호의 세기를 나타내는 객체(2230)와 복수의 외부 전자 장치들(210)을 나타내는 객체들을 표시할 수 있다. 전자 장치(101)는 복수의 외부 전자 장치들(210)과 전자 장치(101)의 상대적 위치 관계와 신호의 세기에 기반하여 복수의 외부 전자 장치들(210)을 나타내는 객체들을 표시할 수 있다.
도 22d는 다양한 실시 예들에 따른 전자 장치에서, 외부 전자 장치를 나타내는 객체를 표시하는 방법의 또 다른 예를 설명하기 위한 도면이다.
도 22d를 참조하면, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는 전자 장치(101)에 신호가 닿지 않는 외부 전자 장치를 포함하는 화면(2274)을 전자 장치(101)의 표시 장치(160)에 표시할 수 있다. 일 실시 예에 따르면, 전자 장치(101)의 화면(2274)은 전자 장치(101)의 신호가 닿는 외부 전자 장치를 포함하는 제1 영역(2240)과 전자 장치(101)의 신호가 닿지 않는 외부 전자 장치를 포함하는 제2 영역(2250)을 포함할 수 있다. 예를 들어, 신호가 닿지 않는 외부 전자 장치는 전자 장치(101)와 다른 공간에 있는 적어도 하나의 외부 전자 장치(예: 제1 외부 전자 장치(211)와 제2 외부 전자 장치(212))일 수 있다. 일 실시 예에 따르면, 전자 장치(101)가 있는 공간의 제1 무선 통신 장치는 전자 장치(101)가 없는 공간의 제2 무선 통신 장치와 연결되어 있을 수 있다. 상기 제1 외부 전자 장치(211)와 제2 외부 전자 장치(212)는 무선 통신 장치들(예: AP)을 통해 전자 장치(101)와 연결될 수 있다. 전자 장치(101)는 제1 무선 통신 장치와 제2 무선 통신 장치를 통해 전자 장치(101)에 신호가 닿지 않는 제1 외부 전자 장치(211)와 제2 외부 전자 장치(212)의 위치 관계에 관한 정보를 획득할 수 있다. 상기 위치 관계에 관한 정보에 기반하여, 전자 장치(101)는 신호가 닿지 않는 곳의 외부 전자 장치를 나타내는 객체를 전자 장치(101)를 나타내는 객체(2231)가 표시된 제1 영역(2240)이 아닌 제2 영역(2250)에 표시할 수 있다. 따라서 전자 장치(101)는 제1 외부 전자 장치(211)를 나타내는 제1 객체(2251)와 제2 외부 전자 장치(212)를 나타내는 제2 객체(2252)를 전자 장치(101)를 나타내는 객체(2231)가 표시된 제1 영역(2240)이 아닌 제2 영역(2250)에 표시할 수 있다. 전자 장치(101)는 전자 장치(101)를 나타내는 객체(2231)를 제1 영역(2240)의 하단 또는 제1 영역(2240)의 중앙에 표시할 수 있다. 전자 장치(101)는 전자 장치(101)와 동일한 공간에 있는 장치를 나타내는 객체(예: 객체(2232), 객체(2233), 객체(2234), 객체(2235), 객체(2236))를 제1 영역(2240)에 표시할 수 있다. 전자 장치(101)는 전자 장치(101)를 나타내는 객체가 표시된 제1 영역(2240)에 제1 무선 통신 장치를 나타내는 객체(2241)를 표시할 수 있다. 전자 장치(101)는 제2 영역(2250)에 제2 무선 통신 장치를 나타내는 객체(2253)를 표시할 수 있다. 제1 무선 통신 장치를 나타내는 객체(2241)와 제2 무선 통신 장치를 나타내는 객체(2253)는 두 장치가 연결되어 있다는 의미를 나타내는 점선(2260)으로 연결하여 표시할 수 있다.
도 23a는 다양한 실시 예들에 따른 전자 장치(101)에서, 외부 전자 장치를 나타내는 객체의 표시를 변경하는 방법의 예를 설명하기 위한 도면이다.
도 23a를 참조하면, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는 복수의 외부 전자 장치들(210)을 나타내는 객체들(예: 객체(2302), 객체(2304), 객체(2305), 객체(2306))과 전자 장치(101)를 나타내는 객체(2301)를 포함하는 화면(2340)을 표시 장치(160)에 표시할 수 있다. 전자 장치(101)는 화면(2340)에 복수의 외부 전자 장치들(210)을 나타내는 객체들(예: 객체(2302), 객체(2304), 객체(2305), 객체(2306))을 회전 시킬 수 있는 인디케이터(indicator)(2310)를 추가로 표시할 수 있다. 전자 장치(101)는 상기 인디케이터(2310)를 선택하는 입력(예: 드래그 또는 탭)을 수신할 수 있다. 전자 장치(101)는 선택 입력에 기반하여 복수의 외부 전자 장치들(210)을 나타내는 객체들(예: 객체(2302), 객체(2304), 객체(2305), 객체(2306))을 전자 장치(101)를 나타내는 객체(2301)를 중심으로 회전 시킬 수 있다. 전자 장치(101)는 인디케이터(2310)의 선택 입력에 기반하여 복수의 외부 전자 장치들(210)을 나타내는 객체들(예: 객체(2302), 객체(2304), 객체(2305), 객체(2306))을 전자 장치(101)를 나타내는 객체를 중심으로 90도 회전 시킨 화면(2341)을 표시할 수 있다. 이상에서는 90도로 회전되는 경우에 대하여 설명하였으나 본 발명의 다양한 실시 예에 따르면 복수의 외부 전자 장치들(210)을 나타내는 객체들(예: 객체(2302), 객체(2304), 객체(2305), 객체(2306))은 인디케이터(2310)의 선택 입력에 따라 다양한 각도(예: 30도, 180도, 270도)로 회전되어 표시될 수 있다.
도 23b는 다양한 실시 예들에 따른 전자 장치(101)에서, 외부 전자 장치를 나타내는 객체의 표시를 변경하는 방법의 다른 예를 설명하기 위한 도면이다.
도 23b를 참조하면, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는 복수의 외부 전자 장치들(210)을 나타내는 객체들(예: 객체(2321), 객체(2313) 객체(2314), 객체(2315), 객체(2316))과 전자 장치(101)를 나타내는 객체(2311)를 포함하는 화면(2342)을 전자 장치(101)의 표시 장치(160)에 표시할 수 있다. 전자 장치(101)는, 복수의 외부 전자 장치들(210) 각각을 나타내는 복수의 객체들(예: 객체(2321), 객체(2313), 객체(2314), 객체(2315), 객체(2316))의 배치를 변경하기 위한 입력을 수신할 수 있다. 상기 입력은 드래그 입력을 포함할 수 있다. 상기 입력은 방향(2322)의 드래그 입력에 해당할 수 있다. 전자 장치(101)는 상기 방향(2322)의 드래그 입력에 기반하여 객체(2321)를 제1 위치(2323)에서 제2 위치(2324)로 변경할 수 있다.
도 24a는 다양한 실시 예들에 따른 전자 장치(101)에서, 외부 전자 장치를 나타내는 객체를 선택하는 방법의 예를 설명하기 위한 도면이다.
도 24a를 참조하면, 전자 장치(101) (예: 전자 장치(101)의 프로세서(120))는 복수의 외부 전자 장치들(210)을 나타내는 객체들(예: 객체(2404), 객체(2405), 객체(2406), 객체(2407), 객체(2408))과 전자 장치(101)를 나타내는 객체(2419)를 포함하는 화면(2410)을 전자 장치(101)의 표시 장치(160)에 표시할 수 있다. 전자 장치(101)는 복수의 외부 전자 장치들(210)을 연결하기 위한 입력을 수신할 수 있다. 상기 입력은 전자 장치(101)의 표시 장치(160)에 표시된 화면(2410)에 포함되는 복수의 외부 전자 장치들(210)을 나타내는 객체들(예: 객체(2404), 객체(2405), 객체(2406), 객체(2407), 객체(2408))을 선택하는 입력일 수 있다.
전자 장치(101)는 복수의 외부 전자 장치들(210)을 연결하기 위한 입력을 드래그 입력을 통해 수신할 수 있다. 다양한 실시 예들에서, 객체(2407)는 PC(personal computer)를 나타낼 수 있다. 객체(2408)는 TV(television)를 나타낼 수 있다. 객체(2406)은 오디오(audio)를 나타낼 수 있다. 전자 장치(101)는 PC와 TV를 연결하기 위한 객체(2407)와 객체(2408)를 연결하는 드래그 입력을 수신할 수 있다. 상기 드래그 입력에 응답하여 전자 장치(101)는 객체(2407)와 객체(2408) 사이에 드래그 방향을 나타내는 인디케이터(2411)(예: 화살표)를 표시할 수 있다. 전자 장치(101)는 TV와 오디오를 연결하기 위한 객체(2408)와 객체(2406)를 연결하는 드래그 입력을 수신할 수 있다. 상기 드래그 입력에 응답하여 전자 장치(101)는 객체(2408)와 객체(2406) 사이에 드래그 방향을 나타내는 인디케이터(2412)(예: 화살표)를 표시할 수 있다. 전자 장치(101)는 오디오와 PC를 연결하기 위한 객체(2406)와 객체(2407)를 연결하는 드래그 입력을 수신할 수 있다. 상기 드래그 입력에 응답하여 전자 장치(101)는 객체(2406)와 객체(2407) 사이에 드래그 방향을 나타내는 인디케이터(2413)(예: 화살표)를 표시할 수 있다. 전자 장치(101)는 여러 드래그 입력을 연속적으로 수신할 수도 있다. 예를 들어, 드래그 입력이 객체(2407)에서 객체(2408), 객체(2406) 순으로 수신된 경우, 전자 장치(101)는 PC, TV, 및 오디오를 모두 연결하기 위한 입력으로 식별할 수 있다. 전자 장치(101)는 드래그의 시작점이 객체(2407)임을 확인할 수 있다. 전자 장치(101)는 드래그의 시작점의 객체(2407)가 나타내는 외부 전자 장치인 PC를 소스 장치로 결정할 수 있다.
도 24b는 다양한 실시 예들에 따른 전자 장치(101)에서, 외부 전자 장치를 나타내는 객체를 선택하는 방법의 다른 예를 설명하기 위한 도면이다.
도 24b를 참조하면, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는 복수의 외부 전자 장치들(210)을 나타내는 객체들(예: 객체(2414), 객체(2415), 객체(2416), 객체(2417), 객체(2418))과 전자 장치(101)를 나타내는 객체(2429)를 포함하는 화면(2420)을 전자 장치(101)의 표시 장치(160)에 표시할 수 있다. 전자 장치(101)는 복수의 외부 전자 장치들(210)을 연결하기 위한 입력을 탭 입력을 통해 수신할 수 있다. 다양한 실시 예들에서, 객체(2414)는 PC(personal computer)를 나타낼 수 있다. 객체(2415)는 TV(television)를 나타낼 수 있다. 객체(2416)는 오디오(audio)를 나타낼 수 있다. 전자 장치(101)는 PC, TV, 오디오를 연결하기 위한 탭 입력을 수신할 수 있다. 전자 장치(101)는 객체(2414)의 탭 입력에 응답하여 객체(2414)가 선택되었다는 인디케이터(2421)(indicator)를 표시할 수 있다. 전자 장치(101)는 객체(2415)의 탭 입력에 응답하여 객체(2415)가 선택되었다는 인디케이터(2422)(indicator)를 표시할 수 있다. 또한, 연결 관계를 나타내기 위해 객체(2414)와 객체(2415)를 연결하는 선(2425)을 표시할 수 있다. 전자 장치(101)는 객체(2416)의 탭 입력에 응답하여 객체(2413)가 선택되었다는 인디케이터(2423)(indicator)를 표시할 수 있다. 또한, 연결 관계를 나타내기 위해 객체(2415)와 객체(2416)를 연결하는 선(2426)을 표시할 수 있다. 또한, 연결 관계를 나타내기 위해 객체(2414)와 객체(2416)를 연결하는 선(2427)을 표시할 수 있다. 예를 들어, 전자 장치(101)는 2개의 객체가 선택되는 경우 2개의 객체를 연결하는 선을 표시할 수 있다. 다른 예를 들어, 전자 장치(101)는 3개의 객체가 선택되는 경우 3개의 객체의 연결을 나타내는 선을 표시할 수 있다. 3개의 객체의 연결을 나타내는 선들은 삼각형을 이루도록 표시될 수 있다. 객체가 선택되었음을 나타내는 인디케이터는 다양한 방법으로 표시될 수 있다. 또한, 연결 관계를 나타내는 선은 점선, 실선 또는 화살표가 포함된 선과 같은 다양한 방법으로 표시될 수 있다.
도 24c는 다양한 실시 예들에 따른 전자 장치(101)에서, 외부 전자 장치를 나타내는 객체를 선택하는 방법의 다른 예를 설명하기 위한 도면이다.
도 24c를 참조하면, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는 복수의 외부 전자 장치들(210)을 나타내는 객체들(예: 객체(2434), 객체(2435), 객체(2436), 객체(2437), 객체(2438))과 전자 장치(101)를 나타내는 객체(2439)를 포함하는 화면(2430)을 전자 장치(101)의 표시 장치(160)에 표시할 수 있다. 전자 장치(101)는 복수의 외부 전자 장치들(210)간의 복수의 연결을 위한 입력을 수신할 수 있다. 상기 입력은 전자 장치(101)의 화면(2430)에 표시된 복수의 외부 전자 장치들(210)을 나타내는 객체들을 선택하는 입력일 수 있다. 예를 들어, 전자 장치(101)는 복수의 외부 전자 장치들(210)간의 복수의 연결을 위한 입력을 드래그 입력을 통해 수신할 수 있다.
다양한 실시 예들에서, 객체(2434)는 랩탑(laptop)을 나타낼 수 있다. 객체(2435)는 미니빔(mini beam)을 나타낼 수 있다. 객체(2436)는 오디오(audio)를 나타낼 수 있다. 객체(2437)는 PC(personal computer)를 나타낼 수 있다. 객체(2438)는 TV(television)를 나타낼 수 있다. 전자 장치(101)는 PC와 TV를 연결하기 위한 객체(2437)와 객체(2438)를 연결하는 드래그 입력을 수신할 수 있다. 상기 드래그 입력에 응답하여 전자 장치(101)는 객체(2437)와 객체(2438) 사이에 드래그 방향을 나타내는 인디케이터(2441)(예: 화살표)를 표시할 수 있다. 전자 장치(101)는 PC와 TV를 연결하기 위한 객체(2437)와 객체(2438)를 연결하는 드래그 입력을 수신한 뒤, 전자 장치(101)는 랩탑(laptop)과 미니빔(mini beam)을 연결하기 위한 객체(2434)와 객체(2435)를 연결하는 드래그 입력을 수신할 수 있다. 상기 드래그 입력에 응답하여 전자 장치(101)는 객체(2434)와 객체(2435) 사이에 드래그 방향을 나타내는 인디케이터(2442)(예: 화살표)를 표시할 수 있다. 전자 장치(101)는 PC와 TV를 연결하기 위한 드래그 입력, 랩탑(laptop)과 미니빔(mini beam)을 연결하기 위한 드래그 입력에 응답하여, PC와 TV의 연결, 랩탑(laptop)과 미니빔(mini beam)의 연결을 순차적으로, 또는 동시에 수행할 수 있다.
도 25는 다양한 실시 예들에 따른 전자 장치(101)에서 외부 전자 장치들의 연결 모드를 획득하기 위한 동작의 예를 도시한다.
도 25를 참조하면, 동작 2510에서, 전자 장치(101)의 프로세서(120)는 연결할 외부 전자 장치들(예: 제1 외부 전자 장치(211), 제2 외부 전자 장치(212))의 속성 정보와 통신 프로토콜을 획득할 수 있는지 여부를 확인할 수 있다. 연결할 외부 전자 장치들의 속성 정보는 외부 전자 장치가 입력 장치인지 여부, 표시 장치인지 여부, 화면 표시 장치인지 여부, 사운드 표시 장치인지 여부 또는 데이터 저장 장치인지 여부에 대한 정보를 포함할 수 있다. 프로세서(120)는 연결할 외부 전자 장치들과 연결을 수립하기 위하여 연결할 외부 전자 장치의 통신 프로토콜(protocol)을 확인할 수 있다. 예를 들어, 프로세서(120)는, 연결할 외부 전자 장치들의 속성 정보와 통신 프로토콜을 획득할 수 있는 경우, 동작 2520을 수행할 수 있다. 다른 예를 들어, 프로세서(120)는, 연결할 외부 전자 장치들의 속성 정보와 통신 프로토콜을 획득할 수 없는 경우, 동작 2520을 수행할 수 있다.
동작 2520에서, 프로세서(120)는 서버(108)의 메모리에서 연결할 외부 전자 장치들의 속성 정보와 통신 프로토콜을 획득할 수 있다. 다양한 실시 예들에서, 프로세서(120)는, 연결할 외부 전자 장치들의 속성 정보와 통신 프로토콜을 서버(108)로부터 수신할 수 있다. 서버(108)는 복수의 외부 전자 장치들(210)의 구동 모드에 대한 정보를 저장할 수 있다. 서버(108)는 저장된 구동 모드에 대한 정보에 기반하여, 연결할 외부 전자 장치들의 속성 정보를 획득할 수 있다. 다양한 실시 예에 따르면, 해당 서버(108)는 인공지능 서버, IoT 서비스 제공 서버, IoT 기기 제조사가 관리하는 기기 정보 특화 데이터베이스를 포함할 수 있다.
동작 2530에서, 프로세서(120)는 연결할 외부 전자 장치들의 속성 정보에 기반하여 연결할 외부 전자 장치들의 구동 모드를 결정할 수 있다. 예를 들어, 노트북, 모니터, 스피커를 연결하기 위해, 프로세서(120)는 각 외부 전자 장치들의 속성 정보에 기반하여 각 외부 전자 장치들의 구동 모드를 결정할 수 있다. 노트북은 데이터 저장 기능, 화면 표시 기능, 사운드 출력 기능을 가질 수 있다. 모니터는 화면 표시 기능을 가질 수 있다. 스피커는 사운드 출력 기능을 가질 수 있다. 프로세서(120)는, 소스 장치로 동작할 수 있는 외부 전자 장치는 노트북이므로 노트북을 소스 장치로 결정할 수 있다. 프로세서(120)는, 노트북을 제외한 모니터와 스피커 중 화면 표시 기능을 가지는 모니터를 화면 표시 장치로 결정할 수 있다. 프로세서(120)는, 사운드 출력 기능을 가지는 스피커를 사운드 표시 장치(160)로 결정할 수 있다.
동작 2540에서, 프로세서(120)는 연결할 외부 전자 장치들의 연결 모드를 획득할 수 있다. 프로세서(120)는 외부 전자 장치들의 효율적인 연결 모드를 획득할 수 있다. 예를 들어, 노트북, 모니터, 스피커를 연결하기 위해, 프로세서(120)는 결정된 외부 전자 장치들의 구동 모드에 기반하여 연결 모드를 획득할 수 있다. 노트북의 구동 모드는 소스(source) 장치에 해당할 수 있다. 모니터의 구동 모드는 화면 표시에 해당할 수 있다. 스피커의 구동 모드는 사운드 출력에 해당할 수 있다. 프로세서(120)는 노트북에서 모니터로 영상 정보를 송신하기 위한 연결을 수립하도록 결정할 수 있다. 프로세서(120)는 노트북에서 스피커로 사운드 정보를 송신하기 위한 연결을 수립하도록 결정할 수 있다. 프로세서(120)는 모니터와 스피커의 연결을 수립하지 않도록 결정할 수 있다.
도 26은 다양한 실시 예들에 따른 복수의 외부 전자 장치들(210)을 연결하기 위한 신호 흐름의 예를 도시한다.
도 26을 참조하면, 전자 장치(101)는 액세스 포인트(202)와 연결될 수 있다. 외부 전자 장치는 제1 외부 전자 장치(211), 제2 외부 전자 장치(212), 제3 외부 전자 장치(1501)를 포함할 수 있다. 제1 외부 전자 장치(211), 제2 외부 전자 장치(212), 액세스 포인트(202) 및 전자 장치(101)는, 로컬 네트워크(local network)를 구성할 수 있다. 제3 외부 전자 장치(1501)는 로컬 네트워크를 구성하지 않을 수 있다. 예를 들어, 제1 외부 전자 장치(211)는 노트북(notebook)일 수 있다. 제2 외부 전자 장치(212)는 TV일 수 있다. 제3 외부 전자 장치(1501)는 블루투스 스피커 일 수 있다.
동작 2610에서, 전자 장치(101) (예: 전자 장치(101)의 프로세서(120))는 복수의 외부 전자 장치의 위치 관계에 기반하여 복수의 외부 전자 장치들(210) 각각을 나타내는 복수의 객체를 표시할 수 있다.
동작 2620에서, 전자 장치(101)는 외부 전자 장치를 나타내는 복수의 객체들 중 적어도 하나의 객체에 대한 입력을 검출할 수 있다. 다양한 실시 예들에서, 전자 장치(101)는 제1 외부 전자 장치(211), 제2 외부 전자 장치(212) 또는 제3 외부 전자 장치(1501)를 나타내는 객체들 중 적어도 하나에 대한 입력을 수신할 수 있다.
동작 2630에서, 전자 장치(101)는 연결할 외부 전자 장치들의 구동 모드를 결정할 수 있다. 다양한 실시 예들에서, 전자 장치(101)는 제1 외부 전자 장치(211)를 소스 장치로 결정할 수 있다. 전자 장치(101)는 제2 외부 전자 장치(212)를 영상 표시 장치로 결정할 수 있다. 전자 장치(101)는 제3 외부 전자 장치(1501)를 사운드 표시 장치로 결정할 수 있다.
동작 2631에서, 전자 장치(101)는 제3 외부 전자 장치(1501)에게 제1 외부 전자 장치(211)와의 연결을 위한 요청 신호를 송신할 수 있다. 제3 외부 전자 장치(1501)는 전자 장치(101)로부터 상기 제1 외부 전자 장치(211)와의 연결을 위한 요청 신호를 수신할 수 있다. 연결 요청 신호는 디바이스 ID(device identification), 연결 방법, 연결을 위한 암호, 서비스 종류, 또는 서비스 쿼리(query)에 대한 정보 중 적어도 일부를 포함할 수 있다.
동작 2632에서, 제3 외부 전자 장치(1501)는 전자 장치(101)에게 제1 외부 전자 장치와의 연결을 위한 응답 신호를 송신할 수 있다. 전자 장치(101)는 제3 외부 전자 장치(1501)로부터 제1 외부 전자 장치(211)와의 연결을 위한 응답 신호를 수신할 수 있다. 전자 장치(101)는 연결 응답 신호에 기반하여 제1 외부 전자 장치(211)와 제3 외부 전자 장치(1501)의 연결을 수립하도록 제어할 수 있다.
동작 2633에서, 전자 장치(101)는 제2 외부 전자 장치(212)에게 액세스 포인트(202)를 통해 제1 외부 전자 장치(211)와의 연결을 위한 요청 신호를 송신할 수 있다. 제2 외부 전자 장치(212)는 제1 외부 전자 장치(211)와의 연결을 위한 요청을 위한 신호를 수신할 수 있다. 다양한 실시 예들에서, 전자 장치(101)는 액세스 포인트(202)를 통하지 않고 제2 외부 전자 장치(212)에게 직접 제1 외부 전자 장치(211)와의 연결 요청 신호를 송신할 수 있다.
다양한 실시 예들에서, 액세스 포인트(202) (예: 액세스 포인트(202)의 프로세서(501))는 전자 장치(101) 또는 외부 전자 장치(예: 제1 외부 전자 장치(211), 제2 외부 전자 장치(212), 또는 제3 외부 전자 장치(1501))로부터 수신된 신호를 가공할 수 있다. 액세스 포인트(202)는 가공된 신호를 상기 전자 장치(101) 또는 상기 외부 전자 장치(211, 212 또는 1501)에게 송신할 수 있다.
동작 2635에서, 제2 외부 전자 장치(212)는 전자 장치(101)에게 액세스 포인트(202)를 통해 제1 외부 전자 장치(211)와의 연결을 위한 응답 신호를 송신할 수 있다. 전자 장치(101)는 제1 외부 전자 장치(211)와의 연결을 위한 응답 신호를 수신할 수 있다. 다양한 실시 예들에서, 제2 외부 전자 장치(212)는 액세스 포인트(202)를 통하지 않고 전자 장치(101)에게 직접 제1 외부 전자 장치(211)와의 연결 응답 신호를 송신할 수 있다. 전자 장치(101)는 연결 응답 신호에 기반하여 제1 외부 전자 장치(211)와 제2 외부 전자 장치(212)의 연결을 수립하도록 제어할 수 있다.
동작 2637에서, 전자 장치(101)는, 제1 외부 전자 장치(211)에게 액세스 포인트(202)를 통해 연결 요청 신호를 송신할 수 있다. 제1 외부 전자 장치(211)는 연결 요청 신호를 수신할 수 있다. 다양한 실시 예들에서, 전자 장치(101)는 액세스 포인트(202)를 통하지 않고 제1 외부 전자 장치(211)에게 직접 연결 요청 신호를 송신할 수 있다.
동작 2639에서, 제1 외부 전자 장치(211)는 전자 장치(101)에게 액세스 포인트(202)를 통해 연결 응답 신호를 송신할 수 있다. 전자 장치(101)는 연결 응답 신호를 수신할 수 있다. 전자 장치(101)는 상기 연결 응답 신호를 통해 전자 장치(101)와 제1 외부 전자 장치(211) 사이의 연결, 제1 외부 전자 장치(211)와 제2 외부 전자 장치(212) 사이의 연결, 제1 외부 전자 장치(211)와 제3 외부 전자 장치(1501) 사이의 연결을 수립하도록 제어할 수 있다. 다양한 실시 예들에서, 제1 외부 전자 장치(211)는 액세스 포인트(202)를 통하지 않고 전자 장치(101)에게 직접 연결 응답 신호를 송신할 수 있다.
동작 2641에서 제1 외부 전자 장치(211)는 제2 외부 전자 장치(212)에게 영상 정보에 관한 신호를 송신할 수 있다. 제2 외부 전자 장치(212)는 영상에 관한 신호를 제1 외부 전자 장치(211)로부터 수신할 수 있다. 제2 외부 전자 장치(212)는 수신된 영상 정보에 기반하여 영상을 표시할 수 있다
동작 2643에서, 제1 외부 전자 장치(211)는 제3 외부 전자 장치(1501)에게 사운드 정보에 관한 신호를 송신할 수 있다. 제3 외부 전자 장치(1501)는 사운드 정보에 관한 신호를 제 1 외부 전자 장치(211)로부터 수신할 수 있다. 제3 외부 전자 장치(1501)는 수신된 사운드 정보에 기반하여 사운드를 출력할 수 있다.
도 27은 다양한 실시 예들에 따른 복수의 외부 전자 장치들(210)을 연결하기 위한 신호 흐름의 다른 예를 도시한다.
도 27을 참조하면, 전자 장치(101)는 액세스 포인트(202)와 연결될 수 있다. 제1 외부 전자 장치(211), 제2 외부 전자 장치(212), 액세스 포인트(202) 및 전자 장치(101)는, 로컬 네트워크(local network)를 구성할 수 있다. 제3 외부 전자 장치(1501)는 로컬 네트워크를 구성하지 않을 수 있다. 예를 들어, 제1 외부 전자 장치(211)는 노트북(notebook)일 수 있다. 제2 외부 전자 장치(212)는 TV일 수 있다. 제3 외부 전자 장치(1501)는 블루투스 스피커 일 수 있다.
동작 2701에서, 전자 장치(101) (예: 전자 장치(101)의 프로세서(120))는 서버(108)에게 액세스 포인트(202)를 통해 미러링 서비스(mirroring service) 요청을 위한 메시지를 송신할 수 있다. 다양한 실시 예들에서, 액세스 포인트(202) (예: 액세스 포인트(202)의 프로세서(501))는 전자 장치(101) 또는 외부 전자 장치(예: 제1 외부 전자 장치(211), 제2 외부 전자 장치(212), 제3 외부 전자 장치(1501))로부터 수신된 메시지를 가공하여 전송할 수 있다. 다양한 실시 예들에서, 전자 장치(101)는 액세스 포인트(202)를 통하지 않고 서버(108)에게 직접 미러링 서비스 요청을 위한 메시지를 송신할 수 있다. 상기 미러링 서비스 요청을 위한 메시지는 디바이스 ID(device identification)의 정보를 포함할 수 있다. 서버(108)는 외부 전자 장치의 디바이스 ID를 순차적 또는 임의적으로 할당할 수 있다. 디바이스 ID는 실제 디바이스의 MAC (media access control) address, IP(internet protocol) address, 또는 UUID(universally unique identifier)와 다르게 할당 될 수 있다.
동작 2703에서, 서버(108)는 제1 외부 전자 장치(211)에게 액세스 포인트(202)를 통해 미러링 서비스 요청을 위한 응답 메시지를 송신할 수 있다. 제1 외부 전자 장치(211)는 서버(108)로부터 미러링 서비스 요청을 위한 응답 메시지를 수신할 수 있다. 다양한 실시 예들에서, 서버(108)는 미러링 서비스 요청을 위한 메시지에 기반하여 전자 장치(101)가 제1 외부 전자 장치(211)를 제어하기 위한 권한 및 제2 외부 전자 장치(212)를 제어하기 위한 권한이 있는지 식별할 수 있다. 서버(108)는, 전자 장치(101)가 제1 외부 전자 장치(211)를 제어하기 위한 권한 및 제2 외부 전자 장치(212)를 제어하기 위한 권한이 있는 경우, 액세스 포인트(202)에게 미러링 서비스 요청을 위한 응답 메시지를 송신할 수 있다. 다양한 실시 예들에서, 액세스 포인트(202)는 서버(108)로부터 수신된 응답 메시지를 가공하여 제1 외부 전자 장치(211)에게 송신할 수 있다. 다양한 실시 예들에서, 서버(108)는 액세스 포인트(202)를 통하지 않고 제1 외부 전자 장치(211)에게 직접 미러링 서비스 수행을 위한 응답 메시지를 송신할 수 있다.
다양한 실시 예들에서, 미러링 서비스 요청을 위한 응답 메시지는 json(java script object notation) 형태의 메시지를 포함할 수 있다. 예를 들어, 미러링 서비스 요청을 위한 응답 메시지는 COAP POST, [Notebook ID] {"Service":"Mirroring", "Target": "TV ID"} 와 같은 json형태의 메시지 일 수 있다. 다양한 실시 예들에서 상기 응답 메시지는 TV의 IP address 에 대한 정보를 더 포함할 수 있다.
동작 2705에서, 제1 외부 전자 장치(211)는 제2 외부 전자 장치(212)에게 액세스 포인트(202)를 통해 연결 요청 신호를 송신할 수 있다. 제2 외부 전자 장치(212)는 연결 요청 신호를 수신할 수 있다. 다양한 실시 예들에서, 액세스 포인트(202)는 제1 외부 전자 장치(211)로부터 수신된 연결 요청 신호를 가공하여 제2 외부 전자 장치(212)에게 송신할 수 있다. 다양한 실시 예들에서, 제1 외부 전자 장치(211)는 액세스 포인트(202)를 통하지 않고 제2 외부 전자 장치(212)에게 직접 연결 요청 신호를 송신할 수 있다. 제1 외부 전자 장치(211)는 제2 외부 전자 장치(212)와 P2P(peer to peer) 방식으로 연결을 수립할 수 있다. 상기 연결은 미라캐스트(miracast), TDLS(tunneled direct link setup), WiFi-Direct의 연결을 포함할 수 있다.
동작 2707에서, 제2 외부 전자 장치(212)는 제1 외부 전자 장치(211)에게 액세스 포인트(202)를 통해 연결 응답 신호를 송신할 수 있다. 제1 외부 전자 장치(211)는 액세스 포인트(202)를 통해 제2 외부 전자 장치(212)로부터 연결 응답 신호를 수신할 수 있다. 다양한 실시 예들에서, 액세스 포인트(202)는 제2 외부 전자 장치(212)로부터 수신된 연결 응답 신호를 가공하여 제1 외부 전자 장치(211)에게 송신할 수 있다. 다양한 실시 예들에서, 제2 외부 전자 장치(212)는 액세스 포인트(202)를 통하지 않고 제1 외부 전자 장치(211)에게 직접 연결 요청 신호를 송신할 수 있다.
동작 2709에서, 제1 외부 전자 장치(211)는 제2 외부 전자 장치(212)에게 영상 정보에 관한 신호를 송신할 수 있다. 제2 외부 전자장치(212)는 제1 외부 전자 장치(211)로부터 영상 정보에 관한 신호를 수신할 수 있다. 제2 외부 전자 장치(212)는 상기 영상 정보에 관한 신호에 기반하여, 영상을 표시할 수 있다. 일 실시 예에 따르면, 제1 외부 전자 장치(211)와 제2 외부 전자 장치(212)는 액세스 포인트(202)를 통하지 않고 직접 영상 정보에 관한 신호를 송수신 할 수 있다.
동작 2711에서, 전자 장치(101)는 서버(108)에게 오디오 서비스 요청을 위한 메시지를 송신할 수 있다. 서버(108)는 전자 장치(101)로부터 오디오 서비스 요청을 위한 메시지를 수신할 수 있다. 다양한 실시 예들에서, 액세스 포인트(202)는 전자 장치(101) 또는 외부 전자 장치(예: 제1 외부 전자 장치(211), 제2 외부 전자 장치(212), 제3 외부 전자 장치(1501))로부터 수신된 메시지를 가공하여 전송할 수 있다. 다양한 실시 예들에서, 전자 장치(101)는 액세스 포인트(202)를 통하지 않고 서버(108)에게 직접 오디오 서비스 요청을 위한 메시지를 송신할 수 있다.
동작 2713에서, 서버(108)는 제1 외부 전자 장치(211)에게 오디오 서비스 요청을 위한 메시지를 송신할 수 있다. 제1 외부 전자 장치(211)는 오디오 서비스 요청을 위한 메시지를 수신할 수 있다. 서버(108)는, 오디오 서비스 요청을 위한 메시지에 기반하여 전자 장치(101)가 제1 외부 전자 장치(211)를 제어하기 위한 권한 및 제3 외부 전자 장치(1501)를 제어하기 위한 권한이 있는지 식별할 수 있다. 서버(108)는, 전자 장치(101)가 제1 외부 전자 장치(211)를 제어하기 위한 권한 및 제3 외부 전자 장치(1501)를 제어하기 위한 권한이 있는 경우, 제1 외부 전자 장치(211)에게 오디오 서비스 요청을 위한 응답 메시지를 송신할 수 있다. 다양한 실시 예들에서, 서버(108)는, 액세스 포인트(202)를 통해 제1 외부 전자 장치(211)에게 오디오 서비스 요청을 위한 응답 메시지를 송신할 수 있다.
동작 2715에서, 제1 외부 전자 장치(211)는 제3 외부 전자 장치(1501)에게 제3 외부 전자 장치(1501)와 연결을 위한 요청 신호를 송신할 것을 나타내는 메시지를 송신할 수 있다. 제3 외부 전자 장치(1501)는 제1 외부 전자 장치(211)로부터 연결을 위한 요청 신호를 수신할 수 있다. 다양한 실시 예들에서, 제1 외부 전자 장치(211)는 A2DP(advanced audio distribution profile)에 기반하여 제3 외부 전자 장치(1501)와 연결을 위한 요청 신호를 송신할 수 있다.
동작 2717에서, 제3 외부 전자 장치(1501)는 제1 외부 전자 장치(211)에게 제3 외부 전자 장치(1501)와의 연결을 위한 응답 신호를 송신할 수 있다. 제1 외부 전자 장치(211)는 제3 외부 전자 장치(1501)와의 연결을 위한 응답 신호를 수신할 수 있다. 전자 장치(101)는 제3 외부 전자 장치(1501)와의 연결 응답 신호에 기반하여, 제1 외부 전자 장치(211)와 제3 외부 전자 장치(1501)의 연결을 수립하도록 제어할 수 있다.
동작 2719에서, 제1 외부 전자 장치(211)는 제3 외부 전자 장치(1501)에게 사운드 정보에 관한 신호를 송신할 수 있다. 제3 외부 전자 장치(1501)는 사운드 정보에 관한 신호를 수신할 수 있다. 제3 외부 전자 장치(1501)는 상기 사운드 정보에 관한 신호에 기반하여, 사운드를 출력할 수 있다.
도 28은 다양한 실시 예들에 따른 전자 장치(101) 및 복수의 외부 전자 장치들(210)을 연결하기 위한 신호 흐름의 예를 도시한다.
도 28을 참조하면, 전자 장치(101)는 액세스 포인트(202)와 연결할 수 있다. 제2 외부 전자 장치(212), 액세스 포인트(202) 및 전자 장치(101)는, 로컬 네트워크(local network)를 구성할 수 있다. 제3 외부 전자 장치(1501)는 로컬 네트워크를 구성하지 않을 수 있다. 예를 들어, 제2 외부 전자 장치(212)는 TV일 수 있다. 제3 외부 전자 장치(1501)는 블루투스 스피커 일 수 있다. 전자 장치(101)는 서버(108)를 통하지 않고 제2 외부 전자 장치(212)와 제3 외부 전자 장치(1501)를 제어할 수 있다.
동작 2801에서, 전자 장치(101) (예: 전자 장치(101)의 프로세서(120))는 제2 외부 전자 장치(212)에게, 액세스 포인트(202)를 통해 미러링 서비스 요청을 위한 메시지를 송신할 수 있다. 제2 외부 전자 장치(212)는 액세스 포인트(202)를 통해 전자 장치(101)로부터 미러링 서비스 요청을 위한 메시지를 수신할 수 있다.
다양한 실시 예들에서, 액세스 포인트(202)(예: 액세스 포인트(202)의 프로세서(501))는 전자 장치(101), 또는 외부 전자 장치(예: 제2 외부 전자 장치(212) 또는 제3 외부 전자 장치(1501))로부터 수신된 신호를 송신할 수 있다.
동작 2803에서, 제2 외부 전자 장치(212)는 전자 장치(101)에게 액세스 포인트(202)를 통해 미러링 서비스 요청을 위한 응답 메시지를 송신할 수 있다. 전자 장치(101)는 액세스 포인트(202)를 통해 제2 외부 전자 장치(212)로부터 미러링 서비스 요청을 위한 응답 메시지를 수신할 수 있다.
동작 2805에서, 전자 장치(101)는, 제2 외부 전자 장치(212)에게 액세스 포인트(202)를 통해 연결 요청 신호를 송신할 수 있다. 제2 외부 전자 장치(212)는 액세스 포인트(202)를 통해 전자 장치(101)로부터 연결 요청 신호를 수신할 수 있다. 전자 장치(101)는 제2 외부 전자 장치(212)와 P2P(peer to peer) 방식으로 연결을 수립할 수 있다. 상기 연결은 미라캐스트(miracast), TDLS(tunneled direct link setup), WiFi-Direct의 연결을 포함할 수 있다.
동작 2807에서, 제2 외부 전자 장치(212)는 전자 장치(101)에게 액세스 포인트(202)를 통해 연결 응답 신호를 송신할 수 있다. 전자 장치(101)는 액세스 포인트(202)를 통해 제2 외부 전자 장치(212)로부터 연결 응답 신호를 수신할 수 있다.
동작 2809에서, 전자 장치(101)는 제2 외부 전자 장치(212)에게 영상 정보에 관한 신호를 송신할 수 있다. 제2 외부 전자 장치(212)는 전자 장치(101)로부터 영상 정보에 관한 신호를 수신할 수 있다. 제2 외부 전자 장치(212)는 상기 영상 정보에 관한 신호에 기반하여, 영상을 표시할 수 있다.
동작 2811에서, 전자 장치(101)는 제3 외부 전자 장치(1501)에게 연결 요청 신호를 송신할 수 있다. 제3 외부 전자 장치(1501)는 전자 장치(101)로부터 연결 요청 신호를 수신할 수 있다.
동작 2813에서, 제3 외부 전자 장치(1501)는 전자 장치(101)에게 연결 응답 신호를 송신할 수 있다. 전자 장치(101)는 제3 외부 전자 장치(1501)로부터 연결 응답 신호를 수신할 수 있다.
동작 2815에서, 전자 장치(101)는 제3 외부 전자 장치(1501)에게 사운드 정보에 관한 신호를 송신할 수 있다. 제3 외부 전자 장치(1501)는 전자 장치(101)로부터 사운드 정보에 관한 신호를 수신할 수 있다. 제3 외부 전자 장치(1501)는 상기 사운드 정보에 관한 신호에 기반하여, 사운드를 출력할 수 있다.
다양한 실시 예들에서, 전자 장치(101)가 제2 외부 전자 장치(212)에게 영상 정보를 송신하기 위한 동작들과 전자 장치(101)가 제3 외부 전자 장치(1501)에게 사운드 정보를 송신하기 위한 동작들에서, 전자 장치(101)는 사운드 정보를 송신하기 위한 동작들을 먼저 수행할 수 있다. 전자 장치(101)는 영상 정보를 송신하기 위한 동작들과 사운드 정보를 송신하기 위한 동작들을 동시에 수행할 수도 있다.
도 29는 다양한 실시 예들에 따른 전자 장치(101)에서, 복수의 외부 전자 장치들(210)을 나타내는 객체들을 표시하기 위한 사용자 인터페이스의 예를 도시한다.
도 29를 참조하면, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는, 하나 이상의 외부 전자 장치들(예: 복수의 외부 전자 장치들(210))과 관련된 어플리케이션을 실행하는 것에 기반하여, 어플리케이션의 사용자 인터페이스(예: 사용자 인터페이스(2900))를 표시 장치(160)에 표시할 수 있다. 전자 장치(101)는, 사용자 인터페이스(예: 사용자 인터페이스(2900)) 내에서, 상기 어플리케이션과 관련된 하나 이상의 외부 전자 장치들(예: 제1 외부 전자 장치(211), 제2 외부 전자 장치(212), 복수의 외부 전자 장치들(210))을 나타내기 위한 화면(예: 화면(2940))을 표시할 수 있다.
예를 들면, 전자 장치(101)는, 요리에 관한 어플리케이션을 실행하는 것에 기반하여, 요리에 관한 어플리케이션의 사용자 인터페이스(2900)를 표시할 수 있다. 전자 장치(101)는, 사용자 인터페이스(2900) 내에서, 요리에 관련된 복수의 외부 전자 장치들(예: 냉장고(fridge), 쿡탑(cook top), 오븐(oven))을 나타내기 위한 화면(2940)을 표시할 수 있다. 화면(2940)은, 상기 요리에 관련된 복수의 외부 전자 장치들의 위치 관계에 기반하여, 요리에 관련된 복수의 외부 전자 장치들을 나타내는 하나 이상의 객체들(객체(2910), 객체(2920), 또는 객체(2930))을 표시할 수 있다. 상기 객체들은 외부 전자 장치들 각각의 이름으로 지시되거나 상기 객체들은 외부 전자 장치들에 상응하는 형상으로 지시될 수 있다.
전자 장치(101)는, 화면(2940) 내에서, 객체(2910), 객체(2920), 또는 객체(2930) 중 적어도 하나에 대응하는 구동 모드를 나타내는 객체를 표시할 수 있다. 예를 들면, 전자 장치(101)는, 화면(2940) 내에서, 객체(2910)의 주변에, 객체(2910)가 지시하는 외부 전자 장치의 구동 모드에 해당하는 객체(2911)를 표시할 수 있다. 또 다른 예를 들어, 객체(2930)의 주변에, 객체(2930)가 지시하는 외부 전자 장치의 구동 모드에 해당하는 객체(2931)를 표시할 수 있다.
전자 장치(101)는 상기 구동 모드를 나타내는 객체에 대한 입력을 식별할 수 있다. 전자 장치(101)는 상기 식별된 입력에 기반하여 구동 모드를 수행하기 위한 신호를 상기 객체가 지시하는 외부 전자 장치에 송신할 수 있다. 예를 들면, 전자 장치(101)는, 객체(2931)에 대한 입력을 수신하는 것에 응답하여, 객체 (2930)가 나타내는 외부 전자 장치(예: 오븐)의 구동 모드를 변경하기 위한 신호를 상기 외부 전자 장치(예: 오븐)에게 송신할 수 있다. 외부 전자 장치는 상기 수신된 신호에 기반하여 외부 전자 장치의 구동 모드를 변경할 수 있다. 예를 들어, 전자 장치(101)는 객체(2931)에 대한 입력을 식별할 수 있다. 전자 장치(101)는 객체(2931)가 지시하는 구동 모드인 예열에 대한 신호를 오븐에게 송신할 수 있다. 오븐은 상기 신호에 기반하여 오븐의 구동 모드를 예열로 변경할 수 있다.
도 30은 다양한 실시 예들에 따른 전자 장치(101)에서, 복수의 외부 전자 장치들(210)을 제어하기 위한 화면의 예를 도시한다.
도 30을 참조하면, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는, 복수의 외부 전자 장치들(210)을 제어하기 위한 화면(3000)을 표시 장치(160)에 표시할 수 있다. 전자 장치(101)는, 화면(3000) 내에서, 복수의 외부 전자 장치들(210)을 나타내는 복수의 객체들을 복수의 전자 장치들(110)의 위치 관계에 기반하여 표시할 수 있다.
예를 들면, 복수의 외부 전자 장치들(210)은 복수의 IoT전구들을 포함할 수 있다. 전자 장치(101)는 복수의 IoT 전구들을 나타내는 복수의 객체들(3020)을 선택하기 위한 입력을 수신할 수 있다. 전자 장치(101)는 복수의 IoT 전구들을 나타내는 객체들(3020)을 선택하는 입력을 다양한 방법을 통해 수신할 수 있다. 예를 들면, 다양한 방법은 드래그 또는 탭 입력을 포함할 수 있다. 전자 장치(101)는 IoT 전구들을 나타내는 복수의 객체들(3020)을 선택하기 위한, 드래그 입력(3030)을 수신할 수 있다. 전자 장치(101)는 드래그 입력(3030)에 기반하여, 화면(3000)으로부터 전환된 화면(3001)을 표시할 수 있다.
전자 장치(101)는, 화면(3001) 내에서, IoT 전구들을 이용해 수행 가능한 복수의 구동 모드들의 목록을 표시할 수 있다. IoT 전구들을 이용해 수행 가능한 복수의 구동 모드들의 목록은, 객체(3040), 객체(3050), 객체(3060), 또는 객체(3070) 중 적어도 하나를 포함할 수 있다. 예를 들면, 전자 장치(101)는 객체(3040)에 대한 입력을 수신하는 것에 기반하여 복수의 객체들(3020)이 지시하는 IoT 전구들을 소등하기 위한 신호를 IoT 전구들에게 송신할 수 있다. 전자 장치(101)는 객체(3050)에 대한 입력을 수신하는 것에 기반하여 복수의 객체들(3020)이 지시하는 IoT 전구들을 점등하기 위한 신호를 IoT 전구들에게 송신할 수 있다. 전자 장치(101)는 객체(3060)가 선택되는 입력에 기반하여 복수의 객체들(3020)이 지시하는 IoT 전구들을 현재 재생 중인 미디어와 연동할 수 있다. 예를 들어, 전자 장치(101)는 재생 중인 미디어의 소리(예: 세기, 음량 또는 템포(tempo))에 기반하여, IoT 전구를 점등 또는 소등하기 위한 신호를 IoT 전구들에게 송신할 수 있다. 다른 예를 들어, 전자 장치(101)는 재생 중인 미디어가 영화에 해당하는 경우 IoT 전구들의 조도를 낮추기 위한 신호를 IoT 전구들에게 송신할 수 있다. 또한, 전자 장치(101)는 현재 재생되고 있는 미디어 컨텐츠의 장르 정보에 기반하여 IoT 전구들의 색과 조도를 조절하기 위한 신호를 IoT 전구들에게 송신할 수 있다. 전자 장치(101)는 객체(3070)가 선택되는 입력에 기반하여 복수의 객체들(3020)이 지시하는 IoT 전구들을 수면 모드로 동작하기 위한 신호를 IoT 전구들에게 송신할 수 있다. 예를 들어, 전자 장치(101)는 복수의 객체들(3020)이 지시하는 IoT 전구들의 조도를 낮추기 위한 신호를 IoT 전구들에게 송신할 수 있다. 전자 장치(101)는 일정 시간 이후에 복수의 객체들(3020)이 지시하는 IoT 전구들을 소등하기 위한 신호를 IoT 전구들에게 송신할 수 있다.
전자 장치(101)는, 복수의 IoT 전구들을 나타내는 복수의 객체들(3020)을 선택하기 위한 입력을 수신하는 것에 기반하여, 복수의 IoT 전구들의 구동 모드가 하나인 경우, 복수의 IoT 전구들의 구동 모드를 상기 구동 모드로 설정할 수 있다.
도 31은 다양한 실시 예들에 따른 전자 장치(101)에서, 복수의 외부 전자 장치들(210)을 제어하기 위한 화면의 다른 예를 도시한다.
도 31을 참조하면, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는, 복수의 외부 전자 장치들(210)을 제어하기 위한 화면(3100)을 표시 장치(160)에 표시할 수 있다. 전자 장치(101)는, 화면(3100) 내에서, 복수의 외부 전자 장치들(210)을 나타내는 복수의 객체들(3150)을 표시하기 위해, 전자 장치(101)로부터의 거리를 나타내는 복수의 원들(3110)을 표시할 수 있다. 전자 장치(101)는, 화면(3100) 내에서, 복수의 원들(3110)이 지시하는 영역에 대한 정보(예: 반경)를 나타내기 위한 복수의 객체들(3120)을 표시할 수 있다. 전자 장치(101)는, 복수의 원들(3110)이 지시하는 영역에 대한 정보(예: 반경) 또는 복수의 외부 전자 장치들(210)의 위치 관계에 관한 정보 중 적어도 하나에 기반하여, 복수의 원들(3110)을 포함하는 화면(3100) 내에서, 복수의 외부 전자 장치들(210)을 나타내는 복수의 객체들(3150)을 표시할 수 있다.
전자 장치(101)는, 예를 들면, 사용자 입력에 기반하여, 복수의 원들(3110)을 통해 지시할 영역에 대한 정보(예: 반경)을 변경할 수 있다. 예를 들면, 전자 장치(101)는 상기 복수의 원들(3110)을 통해 지시할 영역의 최소 반경 또는 최대 반경을 나타내는 값을 변경할 수 있다. 전자 장치(101)는 복수의 원들(3110)의 개수 또는 복수의 원들(3110)의 크기를 변경할 수 있다. 전자 장치(101)는 상술한 바와 같이, 화면(3100) 내에서, 복수의 원들(3110)로부터 변경된 복수의 원들을 표시할 수 있다. 전자 장치(101)는 복수의 원들(3110)내에 표시되는 복수의 외부 전자 장치들(210)을 나타내는 복수의 객체들(3150)의 개수를 화면(3100)에 표시된 객체에 대한 설명을 나타내는 객체(3160)에 함께 표시할 수 있다. 전자 장치(101)는 복수의 원들(3110)을 통해 지시할 영역에 대한 정보(예: 반경)이 변경 되는 경우, 복수의 원들(3110)내에 표시되는 복수의 외부 전자 장치들(210)을 나타내는 복수의 객체들(3150)의 개수를 식별할 수 있다. 전자 장치(101)는, 복수의 외부 전자 장치들(210)을 나타내는 복수의 객체들(3150)의 개수가 변경되는 것에 기반하여, 객체(3160)에서 복수의 외부 전자 장치들(210)을 나타내는 복수의 객체들(3150)의 개수를 나타내는 부분(예: (4))을 변경하여 표시할 수 있다.
다양한 실시 예들에서, 전자 장치(101)는 복수의 외부 전자 장치들(210)을 나타내는 복수의 객체들(3150) 중 적어도 하나에 대한 입력을 수신할 수 있다. 예를 들면, 전자 장치(101)는 화면(3100) 상에서, 복수의 객체들(3150) 중 적어도 하나의 객체를 선택하기 위한 드래그 입력(3130)을 수신할 수 있다. 전자 장치(101)는, 드래그 입력(3130)에 의해 지정되는 영역(3140)을 식별할 수 있다. 전자 장치(101)는, 식별된 영역(3140)에 포함된 적어도 하나의 객체를 식별할 수 있다. 전자 장치(101)는, 식별된 적어도 하나의 객체에 대응하는 적어도 하나의 외부 전자 장치들을 서로 연결할 수 있다.
도 32는 다양한 실시 예들에 따른 전자 장치(101)에서, 하나 이상의 외부 전자 장치들을 연결하기 위한 화면의 예를 도시한다.
도 32를 참조하면, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는, 외부 전자 장치(3220)(예: 프린터)와 관련된 어플리케이션을 실행하는 것에 기반하여, 화면(3200)을 표시 장치(160)에 표시할 수 있다. 예를 들면, 화면(3200)은, 외부 전자 장치(3220)(예: 프린터)와 연결하기 위한 외부 전자 장치(예: 스마트폰 또는 노트북)를 설정하기 위한 화면일 수 있다.
전자 장치(101)는, 외부 전자 장치(3220)(예: 프린터)와 관련된 어플리케이션의 화면(3200) 내에서, 외부 전자 장치(3220)와 연결될 수 있는 하나 이상의 외부 전자 장치들(예: 복수의 외부 전자 장치들(210))을 나타내는 하나 이상의 객체들(3210)을 표시할 수 있다. 화면(3200) 내에서 하나 이상의 객체들(3210)을 표시하는 동작은, 도 31의 화면(3100) 내에서 복수의 객체들(3150)을 표시하는 동작에 상응할 수 있다. 예를 들면, 전자 장치(101)는, 화면(3200) 내에서, 하나 이상의 외부 전자 장치들의 위치 관계에 관한 정보에 기반하여, 하나 이상의 외부 전자 장치들을 나타내는 하나 이상의 객체들(3210)을 표시할 수 있다.
전자 장치(101)는, 화면(3200) 내 표시된 하나 이상의 객체들(3210) 중에서, 외부 전자 장치(3220)(예: 프린터)와 연결하기 위한 적어도 하나의 외부 전자 장치(예: 스마트폰 또는 노트북)를 나타내는 적어도 하나의 객체를 선택하기 위한 입력(예: 탭, 더블 탭, 롱 프레스 또는 드래그)을 수신할 수 있다. 전자 장치(101)는, 하나 이상의 객체들(3210) 중에서 적어도 하나의 객체를 선택하기 위한 입력을 수신하는 것에 기반하여, 선택된 적어도 하나의 객체에 대응하는 적어도 하나의 외부 전자 장치와 외부 전자 장치(3220)를 연결할 수 있다. 예를 들면, 전자 장치(101)는, 하나 이상의 객체들(3210) 중에서 선택된 제1 객체에 대응하는 제1 외부 전자 장치 또는 외부 전자 장치(3220) 중 적어도 하나에게, 상기 제1 외부 전자 장치와 외부 전자 장치(3220)를 연결하기 위한 신호를 송신할 수 있다.
도 33은 다양한 실시 예들에 따른 전자 장치(101)에서, 외부 전자 장치와 관련된 어플리케이션에 진입하기 위한 화면의 예를 도시한다.
도 33을 참조하면, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는, 외부 전자 장치(예: 제1 외부 전자 장치(211), 제2 외부 전자 장치(212), 복수의 외부 전자 장치들(210))와 관련된 객체(3311)(예: 아이콘)를 포함하는 잠금 화면(3310)을 표시 장치(160)에 표시할 수 있다. 예를 들면, 외부 전자 장치와 관련된 객체(3311)(예: 아이콘)는, 잠금 화면(3310)에 표시될 수 있다. 전자 장치(101)는, 잠금 화면(3310) 내에서 객체(3311)에 대한 입력을 수신하는 것에 기반하여, 외부 전자 장치와 관련된 어플리케이션을 실행할 수 있다. 예를 들면, 전자 장치(101)는, 객체(3311)에 대한 입력을 수신하는 것에 응답하여, 복수의 외부 전자 장치들(210)을 제어하기 위한 화면을 표시할 수 있다. 복수의 외부 전자 장치들(210)을 제어하기 위한 화면은, 도 29의 사용자 인터페이스(2900), 도 30의 화면(3000), 화면(3001), 도 31의 화면(3100), 또는 도 32의 화면(3200) 중 적어도 하나를 포함할 수 있다. 복수의 외부 전자 장치들(210)을 제어하기 위한 화면의 다른 예는, 도 34내지 도 36을 통해서도 후술될 수 있다.
전자 장치(101)는 객체(3311)에 대한 입력을 수신하는 것에 기반하여 표시되는 복수의 외부 전자 장치들(210)을 제어하기 위한 화면 내에서, 복수의 외부 전자 장치들(210)의 위치 관계에 관한 정보에 기반하여, 복수의 외부 전자 장치들(210)을 나타내는 복수의 객체들을 표시할 수 있다.
다양한 실시 예들에서, 전자 장치(101)는 연결 되지 않은 외부 전자 장치가 식별된 경우, 복수의 외부 전자 장치들(210))와 관련된 객체(3311)와 다르게 표시된 객체를 전자 장치(101)의 잠금 화면(3310)에 표시할 수 있다. 예를 들어, 전자 장치(101)는 연결 되지 않은 외부 전자 장치가 식별된 경우, 객체(3311)와 다른 아이콘, 다른 색상 또는 다른 크기로 표현된 객체를 전자 장치(101)의 잠금 화면(3310)에 표시할 수 있다.
도 34는 다양한 실시 예들에 따른 전자 장치(101)에서, 복수의 외부 전자 장치들(210)을 제어하기 위한 화면의 또 다른 예를 도시한다.
도 34를 참조하면, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는 하나 이상의 외부 전자 장치들(예: 211, 212, 또는 210)의 무선 충전과 관련된 화면(3410)을 표시 장치(160)에 표시할 수 있다. 전자 장치(101)는, 화면(3410) 내에서, 복수의 외부 전자 장치들(210) 중 하나로써 무선 충전 장치를 나타내는 객체(3420)를 표시할 수 있다. 전자 장치(101)는, 화면(3410) 내에서, 무선 충전 장치를 이용하여 무선 충전 가능한 하나 이상의 외부 전자 장치들을 나타내는 하나 이상의 객체들을 표시할 수 있다. 무선 충전 가능한 하나 이상의 외부 전자 장치들을 나타내는 하나 이상의 객체들은 객체(3431), 객체(3432), 객체(3433) 또는 객체(3434)를 포함할 수 있다. 예를 들면, 무선 충전 장치를 나타내는 객체(3420) 및 하나 이상의 외부 전자 장치들을 나타내는 하나 이상의 객체들은, 무선 충전 장치 및 하나 이상의 외부 전자 장치들의 위치 관계에 관한 정보에 기반하여 표시될 수 있다. 전자 장치(101)는, 외부 전자 장치의 배터리 상태 정보를 하나 이상의 객체들과 함께 표시할 수 있다.
전자 장치(101)는, 하나 이상의 객체들(3431, 3432, 3433, 3434) 중 적어도 하나의 객체에 대한 입력을 수신하는 것에 기반하여, 상기 적어도 하나의 객체에 대응하는 적어도 하나의 외부 전자 장치들을 무선 충전하기 위한 제어 신호를, 상기 적어도 하나의 외부 전자 장치 또는 상기 무선 충전 장치 중 적어도 하나에게 송신할 수 있다.
예를 들면, 전자 장치(101)는 화면(3410)의 중앙에 무선 충전 장치를 나타내는 객체(3420)를 표시할 수 있다. 전자 장치(101)는, 사용자 입력에 기반하여, 무선 충전 장치로부터 출력되는 전파의 도달 영역을 설정(또는 변경)할 수 있다. 예를 들면, 무선 충전 장치로부터 출력되는 전파의 도달 영역은, 무선 충전 장치로부터 출력되는 전파의 방향, 무선 충전 장치로부터 출력되는 전파의 세기, 또는 무선 충전 장치로부터 출력되는 전파의 도달 거리 중 적어도 하나를 포함할 수 있다. 예를 들면, 무선 충전 장치로부터 출력되는 전파의 도달 영역을 변경하기 위한 사용자 입력은, 드래그(drag), 줌-인(zoom-in) 입력, 또는 줌-아웃(zoom-out) 입력 중 적어도 하나를 포함할 수 있다.
전자 장치(101)는, 화면(3410) 내에서, 무선 충전 장치로부터 복수의 외부 전자 장치들(210)에게 송신되는 전력을 변경(또는 설정)할 수 있다. 예를 들면, 전자 장치(101)는, 사용자 입력에 기반하여, 무선 충전 장치로부터 제1 외부 전자 장치(211)에게 송신되는 전력 및 무선 충전 장치로부터 제2 외부 전자 장치(212)에게 송신되는 전력을 각각 변경(또는 설정)할 수 있다.
예를 들면, 이어폰에게 송신되는 전력이 무선 충전 장치의 총 가용 전력의 50%이고, 노트북에 송신되는 전력이 무선 충전 장치의 총 가용 전력의 50%인 상황에서, 전자 장치(101)는 화면(3410)을 통해 이어폰에게 송신되는 전력을 무선 충전 장치의 총 충전 가능 전력의 80%로 증가시키기 위한 입력을 수신할 수 있다. 전자 장치(101)는 상기 입력에 기반하여 이어폰에게 송신되는 전력을 무선 충전 장치의 총 가용 전력의 80%로 증가시키고, 노트북에게 송신되는 전력을 무선 충전 장치의 총 가용 전력의 20%로 감소시키기 위한 신호를 무선 충전 장치에게 송신할 수 있다. 전자 장치(101)는 이어폰에게 송신되는 전력을 증가시킴으로써 이어폰의 충전 속도를 증가시킬 수 있다.
도 35는 다양한 실시 예들에 따른 전자 장치(101)에서, 복수의 외부 전자 장치들(210)을 나타내기 위한 화면의 예를 도시한다.
도 35를 참조하면, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는 복수의 외부 전자 장치들(210)의 위치 관계에 기반하여, 복수의 외부 전자 장치들(210)이 포함된 주변 환경을 나타내는 이미지(예: 이미지(3530), 이미지(3540))를 표시 장치(160)에 표시할 수 있다. 상기 이미지(예: 이미지(3530), 이미지(3540))는, 복수의 외부 전자 장치들(210)을 나타내는 객체들을 포함할 수 있다. 전자 장치(101)는 상기 이미지(예: 이미지(3530), 이미지(3540))를 스냅샷(snapshot)의 형태로 저장할 수 있다. 전자 장치(101)는 이미지(예: 이미지(3530), 이미지(3540))를 서버(108)에 송신할 수 있다. 전자 장치(101)는 이미지(예: 이미지(3530), 이미지(3540))에 사용자를 나타내는 객체(예: 아바타(avatar), 캐릭터(character))를 표시할 수 있다. 전자 장치(101)는 상기 이미지(예: 이미지(3530), 이미지(3540))에 추가적으로 다양한 소품(예: 의자, 가방, 테이블)을 표시하기 위한 입력을 수신할 수 있다. 전자 장치(101)는 상기 수신된 입력에 기반하여 이미지(예: 이미지(3530), 이미지(3540))에 다양한 소품을 나타내는 객체를 더 표시할 수 있다.
전자 장치(101)는 이미지(예: 이미지(3530), 이미지(3540))에 포함된 적어도 하나의 외부 전자 장치를 나타내는 적어도 하나의 객체에 대한 입력을 수신할 수 있다. 전자 장치(101)는 상기 입력에 기반하여, 적어도 하나의 객체들에 대응하는 적어도 하나의 외부 전자 장치를 연결하기 위한 신호를, 적어도 하나의 외부 전자 장치에게 송신할 수 있다. 다양한 실시 예에 따르면, 전자 장치(101)는 이미지(예: 이미지(3530), 이미지(3540))의 이름(3510)을 이미지와 함께 표시할 수 있다. 전자 장치(101)는 이미지의 이름(3510)과 함께 이미지(예: 이미지(3530), 이미지(3540))에 포함된 복수의 외부 전자 장치를 나타내는 복수의 객체들의 개수를 표시할 수 있다. 일 실시 예에 따르면, 이미지(예: 이미지(3530), 이미지(3540))에 포함된 객체들 중 전자 장치(101)을 통해 제어 가능한 복수의 외부 전자 장치들(210)에 상응하는 객체(예: 객체(3531), 객체(3532), 객체(3541), 객체(3542), 객체(3543))에 해당하는 경우에는, 전자 장치(101)는 전자 장치(101)를 통해 제어 가능한 전자 장치임을 표시할 수 있다. 예를 들어, 복수의 외부 전자 장치들(210)에 상응하는 객체 위에 별 표시, 전등 표시, 화살표와 같은 인디케이터(indicator)를 표시할 수 있다. 다른 예를 들어, 전자 장치(101)는 복수의 외부 전자 장치들(210)에 상응하는 객체 자체의 색을 변경하거나, 알림 텍스트를 표시할 수 있다. 또 다른 예를 들어, 전자 장치(101)는 복수의 외부 전자 장치들(210)에 상응하는 객체와 함께 이모지(emoji) 또는 말풍선을 추가적으로 표시할 수 있다. 전자 장치(101)는 어떤 객체가 전자 장치(101)을 통해 제어 가능하고 그렇지 않은지에 대해 시각적인 인디케이터를 통해 직관적으로 나타낼 수 있다.
도 36은 다양한 실시 예들에 따른 전자 장치(101)에서, 복수의 외부 전자 장치들(210)과 관련된 화면을 표시하기 위한 방법의 예를 도시한다.
도 36을 참조하면, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는 전자 장치(101)의 외부(예: 사용자)로부터, 복수의 외부 전자 장치들(210)과 관련된 화면을 표시하기 위한 음성 입력(예: "내 방 좀 띄워봐"라는 사용자 발화)을 수신할 수 있다. 전자 장치(101)는, 상기 음성 입력을 수신하는 것에 기반하여, 화면(3600) 또는 화면(3601)을 표시할 수 있다. 예를 들면, 전자 장치(101)는, "내 방 좀 띄워봐"라는 사용자 발화로부터, 지정된 단어 또는 어구(예: "내 방")를 식별할 수 있다. 전자 장치(101)는, 화면(3600) 또는 화면(3601) 내에서, 식별된 단어 또는 어구에 상응하는 이름으로 저장된 이미지(3610) 또는 이미지(3620)를 표시 장치(160)에 표시할 수 있다. 예를 들면, 전자 장치(101)는, 복수의 외부 전자 장치들(210)과 관련된 화면을 표시하기 위한 음성 입력에 기반하여, 평면적으로 나타낸 이미지(3610)를 표시하거나, 또는 3차원적으로 나타낸 이미지(3620)를 표시할 수 있다. 다양한 실시 예들에 따르면, 전자 장치(101)는 디스플레이가 없는 장치(예: 인공지능 스피커)일 수 있다. 전자 장치(101)는 외부(예: 사용자)로부터, 복수의 외부 전자 장치들(210)과 관련된 화면을 표시하기 위한 음성 입력(예: "내 방 좀 띄워봐"라는 사용자 발화)을 수신할 수 있다. 전자 장치(101)는 복수의 외부 전자 장치들(210) 중 디스플레이를 포함하고, 입력이 가능한 외부 전자 장치를 확인할 수 있다. 전자 장치(101)는 상기 확인된 외부 전자 장치에 이미지(3610) 또는 이미지(3620)에 관한 정보를 송신할 수 있다. 전자 장치(101)는 확인된 외부 전자 장치에서 이미지(3610) 또는 이미지(3620)을 표시하도록 제어할 수 있다. 전자 장치(101)는 확인된 외부 전자 장치에서 화면이 표시됨을 알리기 위한 알림을 제공할 수 있다. 예를 들어, 전자 장치(101)는 TV를 통해 화면이 출력되는 경우, "TV에 방이 표시되었습니다." 와 같은 음성을 출력할 수 있다. 다른 예를 들어, 전자 장치(101)는 TV의 화면이 깜박거리도록 제어할 수 있다.
도 37은 다양한 실시 예들에 따른 전자 장치(101)에서, 서버(108)를 통해 복수의 외부 전자 장치들(210)을 제어하기 위한 방법의 예를 도시한다.
도 37을 참조하면, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는 복수의 외부 전자 장치들(210)의 구동 모드를 파일 백업 및 공유 모드로 설정하기 위한 입력을 수신할 수 있다. 예를 들어, 파일 백업 및 공유는, 전자 장치(101) 또는 제1 외부 전자장치(211)에 저장된 파일을 서버(108) 또는 제2 전자 장치(212)에 저장하는 동작을 나타낼 수 있다. 다양한 실시 예들에 따르면, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는 복수의 외부 전자 장치들(210)의 위치 관계에 기반하여, 복수의 외부 전자 장치들(210)이 포함된 주변 환경을 나타내는 이미지(예: 이미지(3710), 이미지(3720))를 표시 장치(160)에 표시할 수 있다. 상기 이미지(예: 이미지(3710), 이미지(3720))는 복수의 외부 전자 장치들(210)을 나타내는 하나 이상의 객체들(예: 객체(3712), 객체(3713), 객체(3714), 객체(3721), 객체(3722)) 또는 전자 장치(101)를 나타내는 객체(예: 객체(3711))를 포함할 수 있다. 다양한 실시 예들에서, 전자 장치(101)는 전자 장치(101)의 주변에 있는 외부 전자 장치들(예: 제1 외부 전자 장치(211), 제2 외부 전자 장치(212))을 나타내는 이미지(3710)를 전자 장치(101)의 표시 장치(160)에 표시할 수 있다. 전자 장치(101)는 이미지(3710)와 함께 전자 장치(101)와 다른 공간에 있는 다른 전자 장치들(예: 제1 외부 전자 장치(211), 제2 외부 전자 장치(212))을 나타내는 객체가 표시된 이미지(3720)를 표시할 수 있다. 전자 장치(101)는 이미지(3710) 내의 외부 전자 장치를 나타내는 객체와 이미지(3720) 내의 다른 전자 장치를 나타내는 객체(3721)에 대한 입력을 수신할 수 있다. 입력은 탭 또는 드래그 입력을 포함할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 탭의 순서 또는 드래그에 방향에 따라 파일 전송의 방향을 결정할 수 있다. 예를 들어, 객체(3712)는 카메라를 나타낼 수 있다. 객체(3721)는 전자 장치(101)와 다른 공간에 있는 PC를 나타낼 수 있다. 전자 장치(101)는 카메라를 나타내는 객체(3712)와 PC를 나타내는 객체(3721)를 선택하는 입력을 드래그 입력을 통해 수신할 수 있다. 드래그 입력은 객체(3712)부터 객체(3721)를 잇는 입력일 수 있다.
다양한 실시 예들에서, 전자 장치(101)는 제1 외부 전자 장치(211)(예: 카메라)에 저장된 파일을 전자 장치(101)와 다른 공간에 있는 제2 외부 전자 장치(212)(예: PC)로 송신하기 위한 신호를 제1 외부 전자 장치(211)에게 송신할 수 있다. 전자 장치(101)는 제2 외부 전자 장치(212)가 파일 수신이 가능한지 여부를 확인할 수 있다. 전자 장치(101)는, 제2 외부 전자 장치(212)가 파일 수신이 가능한 경우, 외부 네트워크와 연결된 통신 프로토콜(예: 무선 인터넷)을 통해 제1 외부 전자 장치(211)에 저장된 파일을 제2 외부 전자 장치(212)에게 송신하도록 제어할 수 있다. 제2 외부 전자 장치(212)가 파일 수신이 불가능한 경우, 전자 장치(101)는 제1 외부 전자 장치(211)에 저장된 파일을 서버(108)에게 송신하도록 제어할 수 있다. 서버(108)는 제1 외부 전자 장치(211)로부터 파일을 수신할 수 있다. 서버(108)는 일정 시간 간격으로 제2 외부 전자 장치(212)가 파일을 수신할 수 있는 상태인지 확인할 수 있다. 서버(108)는 제2 외부 전자 장치(212)가 파일을 수신할 수 있는 상태인 경우, 제2 외부 전자 장치(212)에게 제1 외부 전자 장치(211)로부터 수신한 파일을 송신할 수 있다. 제2 외부 전자 장치(212)는 서버(108)로부터 상기 파일을 수신할 수 있다.
도38은 다양한 실시 예들에 따른 전자 장치(101)에서, 초고주파 대역으로 연결된 복수의 외부 전자 장치들(210)을 나타내는 객체를 표시하기 위한 화면의 예를 도시한다.
도 38을 참조하면, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는, 복수의 외부 전자 장치들(210)의 위치 관계에 기반하여, 복수의 외부 전자 장치들(210)을 나타내는 객체들(예: 객체(3811), 객체(3812), 객체(3813))와 전자 장치(101)를 나타내는 객체(예: 객체(3815))를 나타내는 이미지(예: 이미지(3810), 이미지(3820))를 표시 장치(160)에 표시할 수 있다. 전자 장치(101)는 복수의 외부 전자 장치들(210)의 종류에 따라 탭(예: 탭(3840), 탭(3850), 탭(3860))을 추가적으로 표시할 수 있다. 전자 장치(101)는 각각의 탭에 따른 이미지에 포함된 외부 전자 장치(예: 제1 외부 전자 장치(211), 제2 외부 전자 장치(212))를 나타내는 객체들의 개수를 각각의 탭에 추가적으로 표시할 수 있다.
다양한 실시 예들에서, 전자 장치(101)는 복수의 외부 전자 장치들(210) 중 적어도 일부와 초고주파 대역(예: 60Ghz 통신 대역)으로 연결을 수립할 수 있다. 전자 장치(101)는 초고주파 대역으로 연결된 복수의 외부 전자 장치들(210) 중 일부를 나타내는 객체에 가시선(line of sight, LoS) 확보 여부를 별도의 객체(예: 객체(3830))를 통해 표시할 수 있다. 예를 들어, 전자 장치(101)는 가시선이 확보되어 초고주파 대역의 통신을 통해 높은 통신 품질을 제공 가능한 외부 전자 장치들을 별도의 객체(3830)를 통해 표시할 수 있다. 전자 장치(101)는 전자 장치(101)가 회전하거나 움직이는 경우, 가속도 센서, 자이로 센서, 또는 조도 센서를 통해 전자 장치(101)의 제1 지점이 향하는 방향이 변경되었음을 감지할 수 있다. 전자 장치(101)의 제1 지점이 향하는 방향이 변경된 경우, 전자 장치(101)는 초고주파 대역의 통신이 가능한 외부 전자 장치들에게 가시선 확인 요청 신호를 송신할 수 있다. 전자 장치(101)는 초고주파 대역의 통신이 가능한 외부 전자 장치들로부터 가시선 확인 요청 신호에 대한 응답으로, 가시선 확인 응답 신호를 수신할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 화살표(3870)의 방향과 같이 오른쪽으로 90도 회전할 수 있다. 전자 장치(101)는 가속도 센서, 자이로 센서, 조도 센서를 통해 전자 장치(101)의 제1 지점이 향하는 방향이 변경되었음을 감지하고, 초고주파 대역 통신이 가능한 외부 전자 장치들에게 가시선 확인 요청신호를 송신할 수 있다. 초고주파 대역의 통신이 가능한 외부 전자 장치들은 가시선 확인 요청 신호에 대한 응답으로, 가시선 확인 응답 신호를 송신할 수 있다. 전자 장치(101)는 가시선 확인 응답 신호를 초고주파 대역의 통신이 가능한 외부 전자 장치들로부터 수신할 수 있다. 전자 장치(101)는, 상기 움직임에 따른 전자 장치(101)의 제1 지점이 향하는 방향의 변경 범위 및 상기 가시선 확인 응답 신호에 기반하여 이미지(3810)로부터 전환된 이미지(3820)를 표시할 수 있다. 상기 이미지(3820)는, 가시선 확인 응답 신호에 기반하여 복수의 외부 전자 장치들(210)을 나타내는 객체들(객체(3811), 객체(3812), 객체(3813))과 함께 가시선이 확보되는 외부 전자 장치를 나타내는 객체(3830)를 포함할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 상기 변경된 가시선이 확보되는 외부 전자 장치를 나타내는 객체(예: 객체(3813))의 오른쪽 위에 가시선 확보 여부를 나타내는 객체(3830)를 표시할 수 있다. 일 실시 예에 따르면, 객체(3830)는 텍스트, 이모지 또는 말풍선을 포함할 수 있다.
도 39는 다양한 실시 예들에 따른 전자 장치(101)에서, 복수의 외부 전자 장치들(210)을 나타내는 객체들을 표시하기 위한 화면의 예를 도시한다.
도 39를 참조하면, 전자 장치(101)(예: 전자 장치(101)의 프로세서(120))는 현재 전자 장치(101)의 제1 지점이 향하는 방향을 기준으로 복수의 외부 전자 장치들(210)의 위치 관계를 나타내는 복수의 객체들(예: 객체(3901), 객체(3902), 객체(3903), 객체(3904), 객체(3905)) 및 전자 장치(101)를 나타내는 객체(예: 객체(3931))를 포함하는 화면(예: 화면(3910), 화면(3920))을 표시 장치(160)에 표시할 수 있다. 전자 장치(101)는 가속도 센서, 자이로 센서, 또는 만보계 센서를 통해 전자 장치(101)의 움직임이 감지되는 경우, 전자 장치(101)는 복수의 외부 전자 장치들(210)의 위치 관계를 나타내는 복수의 객체들의 위치를 변경 시키지 않고, 전자 장치(101)에서 감지된 움직임만을 화면(예: 화면(3910), 화면(3920))에 반영할 수 있다. 예를 들어, 전자 장치(101)의 제1 지점이 향하는 방향이 오른쪽으로 90도 회전한 경우, 전자 장치(101)는, 화면(3910)에서 객체(3931)를 90도 회전시켜 표시할 수 있다. 다양한 실시 예들에 따르면, 전자 장치(101)는 가속도 센서, 자이로 센서, 또는 만보계 센서를 통해 전자 장치(101)의 위치가 기준 거리 이상으로 변경되거나, 현재 표시 범위 보다 전자 장치(101)의 회전 반경이 커짐을 확인할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 화살표(3940) 방향으로 이동할 수 있다. 전자 장치(101)가 화살표(3940) 방향으로 이동하여 전자 장치(101)의 위치가 현재 화면(3910)의 표시 범위를 벗어났음을 감지한 경우, 전자 장치(101)는 액세스 포인트(202)에 복수의 외부 전자 장치들(210)의 위치 관계에 대한 정보를 요청할 수 있다. 전자 장치(101)는 액세스 포인트(202)로부터 복수의 외부 전자 장치들(210)의 위치 관계에 대한 정보를 수신할 수 있다. 전자 장치(101)는 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치를 확인할 수 있다. 전자 장치(101)는 새롭게 수신된 복수의 외부 전자 장치들(210)의 위치 관계에 대한 정보 및 새롭게 확인된 전자 장치(101)의 제1 지점이 향하는 방향에 상응하는 영역에 위치되는 적어도 하나의 외부 전자 장치에 기반하여 복수의 외부 전자 장치들(210)을 나타내는 객체들(예: 객체(3902), 객체(3903), 객체(3904), 객체(3905))을 포함하는 화면(예: 화면(3920))을 표시 장치(160)에 표시할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 전자 장치(101)가 전자 장치(101)에 표시된 화면 반경을 벗어났음이 감지된 직후부터 일정한 시간 간격에 따라 반복 수행하여 복수의 외부 전자 장치들(210)의 위치 관계에 관한 정보를 확인할 수 있다. 전자 장치(101)는 상기 확인된 복수의 외부 전자 장치들(210)의 위치 관계에 관한 정보에 기반하여 변경된 화면을 표시할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 전자 장치(101)의 위치가 지속적으로 변경되는 경우, 변경된 위치에 기반하여 실시간으로 변경된 화면을 표시 장치(160)에 표시할 수 있다. 예를 들어, 전자 장치(101)가 이동하는 경우, 전자 장치(101)는 전자 장치(101)의 변경된 위치에 기반하여 표시장치(160)에 실시간으로 변경된 화면을 표시할 수 있다.
도 40은 다양한 실시 예들에 따른 전자 장치(101)에서 선택된 외부 전자 장치의 구동 모드를 지정하기 위한 화면의 예를 도시한다.
전자 장치(101)는 복수의 외부 전자 장치들(210)의 위치 관계에 기반하여 복수의 외부 전자 장치들(210)을 제어하기 위한 인터페이스(예: 인터페이스(4001))를 표시 장치(160)에 표시할 수 있다. 상기 인터페이스는 복수의 외부 전자 장치들(210)을 나타내는 객체(예: 객체(4011), 객체(4012), 객체(4013), 객체(4014), 객체(4015)) 및 전자 장치(101)를 나타내는 객체(예: 객체(4020))를 포함할 수 있다. 전자 장치(101)는 복수의 외부 전자 장치들(210)을 나타내는 객체 중 일부에 대한 입력을 수신할 수 있다. 예를 들어, 전자 장치(101)는 객체(4013), 객체(4014), 객체(4015)에 대한 입력을 수신할 수 있다. 다양한 실시 예들에 따르면, 전자 장치(101)는 선택된 복수의 외부 전자 장치들(210)을 나타내는 객체에 상응하는 외부 전자 장치의 구동 모드를 설정하기 위한 레이어(layer)(예: 레이어(4030))를 표시할 수 있다. 전자 장치(101)는 선택된 복수의 외부 전자 장치들(210)을 나타내는 객체(4013, 4014, 4015)에 상응하는 외부 전자 장치의 구동 모드를 선택하는 입력을 수신할 수 있다. 예를 들어, 전자 장치(101)는 선택된 복수의 외부 전자 장치들(210)을 나타내는 객체(4013, 4014, 4015)에 상응하는 외부 전자 장치의 구동 모드를 미디어 연결 모드로 선택하는 입력을 수신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 미디어 연결을 위한 인터페이스(4002)를 표시 장치(160)에 표시할 수 있다. 인터페이스(4002)는, 컨트롤(control) 기기를 선택할 수 있는 드롭 다운 리스트(drop down list), 소스(source) 기기를 선택할 수 있는 드롭 다운 리스트, 화면 표시 기기를 선택할 수 있는 드롭 다운 리스트, 소리 출력 기기를 선택할 수 있는 드롭 다운 리스트를 포함할 수 있다. 전자 장치(101)는 선택된 복수의 외부 전자 장치들(210)의 기능(capability)에 관한 정보를 기반으로, 드롭 다운 리스트를 구성할 수 있다. 예를 들어, TV, 이어폰, 랩탑을 나타내는 객체들이 선택된 경우, 전자 장치(101)는 TV, 이어폰 또는 랩탑 각각의 기능에 관한 정보를 확인할 수 있다. 전자 장치(101)는 전자 장치(101) 및 랩탑을 컨트롤 기기를 선택할 수 있는 드롭 다운 리스트에 표시할 수 있다. 전자 장치(101)는 전자 장치(101) 및 랩탑을 소스 기기를 선택할 수 있는 드롭 다운 리스트에 표시할 수 있다. 전자 장치(101)는 전자 장치(101), 랩탑 및 TV를 화면 표시 기기를 선택할 수 있는 드롭 다운 리스트에 표시할 수 있다. 전자 장치(101)는 전자 장치(101), TV, 랩탑, 이어폰을 소리 출력 기기를 선택할 수 있는 드롭 다운 리스트에 표시할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 상기 드롭 다운 리스트들을 통해 선택된 외부 전자 장치들 각각의 구동 모드를 설정하기 위한 입력을 수신할 수 있다. 전자 장치(101)는 선택된 외부 전자 장치들 중 하나의 구동 모드로만 동작하는 외부 전자 장치의 구동 모드를 미리 설정하여 표시할 수 있다. 예를 들어, 이어폰을 나타내는 객체(4013)가 선택된 경우, 전자 장치(101)는 소리 출력 기기를 선택할 수 있는 드롭 다운 리스트에 이어폰을 소리 출력 기기로 설정하여 표시할 수 있다. 전자 장치(101)는 이어폰이 소리 출력 기기로 설정되어 표시되는 경우라도, 사용자 입력에 기반하여, 다른 외부 전자 장치(예: TV)로 소리 출력 기기를 변경할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 인터페이스(예: 인터페이스(4002))에 선택되지 않은 외부 전자 장치를 추가하기 위한 객체(예: 객체(4041))를 더 표시할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 인터페이스(예: 인터페이스(4002))에 구동 모드를 추가하기 위한 객체(예: 객체(4042))를 더 표시할 수 있다.
상술한 바와 같은 다양한 실시 예들에 따른 전자 장치(예: 전자 장치(101))의 방법은, 상기 전자 장치의 적어도 하나의 무선 통신 회로(예: 무선 통신 모듈(192), 통신 모듈(190))를 통해, 제1 외부 전자 장치(예: 제1 외부 전자 장치(211) 또는 제2 외부 전자 장치(212))와 제2 외부 전자 장치(예: 제1 외부 전자 장치(211) 또는 제2 외부 전자 장치(212))에 관한 제1 정보를 수신하는 동작과, 상기 적어도 하나의 무선 통신 회로를 통해 획득된 신호 및/또는 상기 적어도 하나의 무선 통신 회로를 통해 수신된 제2 정보에 적어도 부분적으로 기반하여, 제1 외부 전자 장치의 위치 및/또는 방향과 제2 외부 전자 장치의 위치 및/또는 방향을 결정하는 동작과, 상기 터치스크린 디스플레이에. 상기 결정된 위치 및/또는 상기 결정된 방향에 적어도 부분적으로 기반하여, 상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치를 나타내는 그래픽 사용자 인터페이스(GUI)를 제공하는 동작과, 상기 전자 장치의 터치스크린 디스플레이(예: 표시 장치(160))를 통해, 상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치를 선택하기 위한 제스처 입력을 수신하는 동작과, 상기 적어도 하나의 무선 통신 회로를 통해, 상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치를 이용하는 동작과 관련된 제3 정보를 송신하는 동작을 포함할 수 있다.
다양한 실시 예들에서, 상기 방법은, 상기 전자 장치(예: 전자 장치(101))와 무선 통신하는, 상기 제1 외부 전자 장치(예: 제1 외부 전자 장치(211) 또는 제2 외부 전자 장치(212)), 상기 제2 외부 전자 장치(예: 제1 외부 전자 장치(211) 또는 제2 외부 전자 장치(212)), 외부 서버(예: 서버(108)) 또는 액세스 포인트(access point)(예: 액세스 포인트(202)) 중 적어도 하나로부터 상기 제1 정보를 수신하는 동작을 더 포함할 수 있다.
다양한 실시 예들에서, 상기 방법은, 상기 액세스 포인트(예: 액세스 포인트(202))로부터 상기 제2 정보를 수신하는 동작을 더 포함할 수 있다.
다양한 실시 예들에서, 상기 제3 정보는 상기 제1 외부 전자 장치(예: 제1 외부 전자 장치(211) 또는 제2 외부 전자 장치(212))의 아이디(ID)와 상기 제2 외부 전자 장치(예: 제1 외부 전자 장치(211) 또는 제2 외부 전자 장치(212))의 아이디(ID) 및 상기 동작에 관한 정보를 포함할 수 있다.
다양한 실시 예들에서, 상기 제3정보는 IP 주소(IP address)를 포함할 수 있다.
다양한 실시 예들에서, 상기 동작은 미러링(mirroring), 스트리밍(streaming) 또는 쉐어링(sharing) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예들에서, 상기 제1 정보는 상기 제1 외부 전자 장치(예: 제1 외부 전자 장치(211) 또는 제2 외부 전자 장치(212))와 상기 제2 외부 전자 장치(예: 제1 외부 전자 장치(211) 또는 제2 외부 전자 장치(212))의 기능(capability)을 포함할 수 있다.
다양한 실시 예들에서, 상기 방법은, 상기 제1 정보를 프로파일(profile) 형태로 저장하는 동작을 포함할 수 있다.
다양한 실시 예들에서, 상기 제1 정보는 상기 제1 외부 전자 장치(예: 제1 외부 전자 장치(211) 또는 제2 외부 전자 장치(212))와 상기 제2 외부 전자 장치(예: 제1 외부 전자 장치(211) 또는 제2 외부 전자 장치(212))의 계정 정보를 포함할 수 있다.
다양한 실시 예들에서, 상기 방법은, 외부 서버(예: 서버(108))로부터 상기 제3 정보를 수신하는 동작을 더 포함할 수 있다.
다양한 실시 예들에 따른 전자 장치(예: 전자 장치(101))의 방법은, 다른 전자 장치(예: 다른 전자 장치(102))로부터 상기 다른 전자 장치와 관련된 복수의 외부 전자 장치들(예: 복수의 외부 전자 장치들(110)) 각각과 상기 다른 전자 장치 사이의 위치 관계를 나타내기 위한 제1 데이터를 수신하는 동작과, 상기 제1 데이터에 적어도 기반하여, 상기 전자 장치와 상기 복수의 외부 전자 장치들 각각의 위치 관계를 나타내기 위한 제2 데이터를 획득하는 동작과, 상기 복수의 외부 전자 장치들을 나타내고, 상기 제2 데이터에 기반하여 배치된(arranged) 복수의 객체들을, 상기 복수의 외부 전자 장치들 중 적어도 하나의 외부 전자 장치(예: 제1 외부 전자 장치(111), 제2 외부 전자 장치(112))와 상기 전자 장치를 연결하기 위한 어플리케이션의 사용자 인터페이스 내에서(within), 표시하는 동작과, 상기 복수의 객체들 중 적어도 하나의 객체에 대한 입력을 검출하는 동작과, 상기 복수의 외부 전자 장치들 중 상기 적어도 하나의 객체에 의해 지시되는(indicated) 적어도 하나의 외부 전자 장치에게 연결을 위한 신호를 송신하는 동작을 포함할 수 있다.
상술한 본 개시의 구체적인 실시 예들에서, 개시에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (15)

  1. 전자 장치에 있어서,
    적어도 하나의 무선 통신 회로,
    터치스크린 디스플레이,
    상기 적어도 하나의 무선 통신 회로와 상기 터치스크린 디스플레이와 작동적으로 연결된 프로세서,
    상기 프로세서와 작동적으로 연결된 메모리를 포함하고,
    상기 메모리는, 실행될 시, 상기 프로세서가
    상기 적어도 하나의 무선 통신 회로를 통해, 제1 외부 전자 장치와 제2 외부 전자 장치에 관한 제1 정보를 수신하고,
    상기 적어도 하나의 무선 통신 회로를 통해 획득된 신호 및/또는 상기 적어도 하나의 무선 통신 회로를 통해 수신된 제2 정보에 적어도 부분적으로 기반하여, 제1 외부 전자 장치의 위치 및/또는 방향과 제2 외부 전자 장치의 위치 및/또는 방향을 결정하고,
    상기 터치스크린 디스플레이에 상기 결정된 위치 및/또는 상기 결정된 방향에 적어도 부분적으로 기반하여, 상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치를 나타내는 그래픽 사용자 인터페이스(GUI)를 제공하고,
    상기 터치스크린 디스플레이를 통해, 상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치를 선택하기 위한 제스처 입력을 수신하고,
    상기 무선 통신 회로를 통해, 상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치를 이용하는 동작과 관련된 제3 정보를 송신하도록 하는 인스트럭션들(instructions)을 저장하는 전자 장치.
  2. 청구항 1에 있어서,
    상기 인스트럭션들은, 상기 프로세서가, 상기 전자 장치와 무선 통신하는, 상기 제1 외부 전자 장치, 상기 제2 외부 전자 장치, 외부 서버 또는 액세스 포인트(access point) 중 적어도 하나로부터 상기 제1 정보를 수신하도록 하는 전자 장치.
  3. 청구항 2에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 액세스 포인트로부터 상기 제2 정보를 수신하도록 하는 전자 장치.
  4. 청구항 3에 있어서,
    상기 제3 정보는 상기 제1 외부 전자 장치의 아이디(ID)와 상기 제2 외부 전자 장치의 아이디(ID) 및 상기 동작에 관한 정보를 포함하는 전자 장치.
  5. 청구항 4에 있어서,
    상기 제3정보는 IP 주소(IP address)를 포함하는 전자 장치.
  6. 청구항 1에 있어서,
    상기 동작은 미러링(mirroring), 스트리밍(streaming) 또는 쉐어링(sharing) 중 적어도 하나를 포함하는 전자 장치.
  7. 청구항 1에 있어서,
    상기 제1 정보는 상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치의 기능(capability)을 포함하는 전자 장치.
  8. 청구항 1에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 제1 정보를 프로파일(profile) 형태로 저장하도록 하는 전자 장치.
  9. 전자 장치에 있어서,
    디스플레이,
    통신 모듈, 및
    상기 디스플레이와 통신 모듈과 기능적으로 연결된 프로세서를 포함하고,
    상기 프로세서는,
    액세스 포인트로부터 상기 액세스 포인트와 관련된 복수의 외부 전자 장치들 각각과 상기 액세스 포인트 사이의 위치 관계를 나타내기 위한 제1 데이터를 수신하고,
    상기 제1 데이터에 적어도 기반하여, 상기 전자 장치와 상기 복수의 외부 전자 장치들 각각의 위치 관계를 나타내기 위한 제2 데이터를 획득하고,
    상기 복수의 외부 전자 장치들을 나타내고, 상기 제2 데이터에 기반하여 배치된(arranged) 복수의 객체들을, 상기 복수의 외부 전자 장치들 중 적어도 하나의 외부 전자 장치와 상기 전자 장치를 연결하기 위한 어플리케이션의 사용자 인터페이스 내에서(within), 표시하고,
    상기 복수의 객체들 중 적어도 하나의 객체에 대한 입력을 검출하고,
    상기 복수의 외부 전자 장치들 중 상기 적어도 하나의 객체에 의해 지시되는(indicated) 적어도 하나의 외부 전자 장치에게 연결을 위한 신호를 송신하도록 설정되는 전자 장치.
  10. 청구항 9에 있어서,
    상기 제1 데이터는,
    상기 액세스 포인트와 상기 복수의 외부 전자 장치들 각각 사이의 거리들에 대한 데이터를 포함하고,
    상기 프로세서는,
    상기 복수의 외부 전자 장치들 각각과 상기 전자 장치 사이의 거리들에 대한 제3 데이터를, 상기 복수의 외부 전자 장치들 각각으로부터 수신되는 신호에 기반하여, 식별하고,
    상기 제1 데이터 및 상기 제3 데이터에 적어도 기반하여, 상기 제2 데이터를 획득하도록 설정되는 전자 장치.
  11. 전자 장치의 방법에 있어서,
    상기 전자 장치의 적어도 하나의 무선 통신 회로를 통해, 제1 외부 전자 장치와 제2 외부 전자 장치에 관한 제1 정보를 수신하는 동작;
    상기 적어도 하나의 무선 통신 회로를 통해 획득된 신호 및/또는 상기 적어도 하나의 무선 통신 회로를 통해 수신된 제2 정보에 적어도 부분적으로 기반하여, 제1 외부 전자 장치의 위치 및/또는 방향과 제2 외부 전자 장치의 위치 및/또는 방향을 결정하는 동작;
    상기 전자 장치의 터치스크린 디스플레이에 상기 결정된 위치 및/또는 상기 결정된 방향에 적어도 부분적으로 기반하여, 상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치를 나타내는 그래픽 사용자 인터페이스(GUI)를 제공하는 동작;
    상기 터치스크린 디스플레이를 통해, 상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치를 선택하기 위한 제스처 입력을 수신하는 동작; 및
    상기 적어도 하나의 무선 통신 회로를 통해, 상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치를 이용하는 동작과 관련된 제3 정보를 송신하는 동작을 포함하는 방법.
  12. 청구항 11에 있어서,
    상기 전자 장치와 무선 통신하는, 상기 제1 외부 전자 장치, 상기 제2 외부 전자 장치, 외부 서버 또는 액세스 포인트(access point) 중 적어도 하나로부터 상기 제1 정보를 수신하는 동작을 더 포함하는 방법.
  13. 청구항 12에 있어서,
    상기 액세스 포인트로부터 상기 제2 정보를 수신하는 동작을 더 포함하는 방법.
  14. 청구항 13에 있어서,
    상기 제3 정보는 상기 제1 외부 전자 장치의 아이디(ID)와 상기 제2 외부 전자 장치의 아이디(ID) 및 상기 동작에 관한 정보를 포함하는 방법.
  15. 청구항 11에 있어서,
    상기 제1 정보는 상기 제1 외부 전자 장치와 상기 제2 외부 전자 장치의 기능(capability)을 포함하는 방법.
PCT/KR2019/002325 2018-03-08 2019-02-26 외부 장치와의 연결을 위한 전자 장치 및 방법 WO2019172565A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/976,849 US11095765B2 (en) 2018-03-08 2019-02-26 Electronic device and method for connection to external device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0027570 2018-03-08
KR1020180027570A KR102478031B1 (ko) 2018-03-08 2018-03-08 외부 장치와의 연결을 위한 전자 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2019172565A1 true WO2019172565A1 (ko) 2019-09-12

Family

ID=67846746

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/002325 WO2019172565A1 (ko) 2018-03-08 2019-02-26 외부 장치와의 연결을 위한 전자 장치 및 방법

Country Status (3)

Country Link
US (1) US11095765B2 (ko)
KR (1) KR102478031B1 (ko)
WO (1) WO2019172565A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11172000B2 (en) * 2016-10-21 2021-11-09 Telefonaktiebolaget Lm Ericsson (Publ) Methods and apparatus for facilitating real time multimedia communications
TWI759765B (zh) * 2020-06-12 2022-04-01 民傑資科股份有限公司 具有同時充電及備份資料功能的裝置
KR20220017275A (ko) * 2020-08-04 2022-02-11 삼성전자주식회사 무선 통신 시스템에서 데이터를 공유하기 위한 장치 및 방법
TWI770979B (zh) * 2021-05-03 2022-07-11 華碩電腦股份有限公司 螢幕顯示方法及裝置
WO2023085822A1 (ko) * 2021-11-11 2023-05-19 삼성전자주식회사 디바이스 위치 결정 방법 및 상기 방법을 수행하는 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101709715B1 (ko) * 2015-11-16 2017-02-24 (주)아이오텍 카메라를 이용한 사물인터넷 기반의 제어 및 감시장치
KR20170055295A (ko) * 2015-11-11 2017-05-19 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법
KR20170074732A (ko) * 2015-12-22 2017-06-30 삼성전자주식회사 사물 인터넷 (IoT) 디바이스와 관련된 서비스를 제공하는 전자 디바이스 및 서버
KR20170121891A (ko) * 2016-04-26 2017-11-03 주식회사 엘지유플러스 사물인터넷 (Internet of Things, IoT) 단말의 트래킹 서버 및 방법
US20180054796A1 (en) * 2016-08-21 2018-02-22 Qualcomm Incorporated Methods and systems for support of location for the internet of things

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8260324B2 (en) * 2007-06-12 2012-09-04 Nokia Corporation Establishing wireless links via orientation
US8789131B2 (en) * 2010-05-14 2014-07-22 Lg Electronics Inc. Electronic device and method of sharing contents thereof with other devices
KR101982151B1 (ko) * 2012-08-24 2019-05-24 삼성전자주식회사 근거리 무선 통신 모듈을 구비한 장치의 제어방법 및 그 장치
US8892079B1 (en) * 2012-09-14 2014-11-18 Google Inc. Ad hoc endpoint device association for multimedia conferencing
US20140301270A1 (en) * 2013-04-05 2014-10-09 Kerstin Johnsson Identifiers for proximity services
EP3022977A4 (en) * 2013-07-18 2017-01-11 LG Electronics Inc. Method and apparatus for calculating location of electronic device
WO2015040020A1 (en) * 2013-09-17 2015-03-26 Koninklijke Philips N.V. Gesture enabled simultaneous selection of range and value
US20150296553A1 (en) * 2014-04-11 2015-10-15 Thalmic Labs Inc. Systems, devices, and methods that establish proximity-based wireless connections
CN109936816B (zh) * 2014-05-13 2022-04-05 华为技术有限公司 定位方法和通信设备
WO2015183014A1 (en) * 2014-05-28 2015-12-03 Samsung Electronics Co., Ltd. Apparatus and method for controlling internet of things devices
KR101575991B1 (ko) 2014-12-30 2015-12-08 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20160059765A (ko) * 2014-11-19 2016-05-27 삼성전자주식회사 전자 장치의 디스플레이 방법 및 장치
KR102274730B1 (ko) * 2014-11-26 2021-07-08 삼성전자주식회사 전자 장치 및 전자 장치에서의 정보 전송 방법
KR102478002B1 (ko) * 2015-11-10 2022-12-15 삼성전자주식회사 장치들의 위치 측정을 위한 장치 및 방법
US11095727B2 (en) 2015-12-22 2021-08-17 Samsung Electronics Co., Ltd. Electronic device and server for providing service related to internet of things device
KR102254699B1 (ko) * 2015-12-29 2021-05-24 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
US10594796B2 (en) 2016-02-09 2020-03-17 Qualcomm Incorporated Extending an IoT control interface from an IoT controller to a user device as part of a video media stream of a wireless media presentation session
US11594229B2 (en) * 2017-03-31 2023-02-28 Sony Corporation Apparatus and method to identify a user based on sound data and location information
WO2019126425A1 (en) * 2017-12-22 2019-06-27 Walmart Apollo, Llc Systems and methods for peer-to-peer data transfer
US10609544B2 (en) * 2017-12-28 2020-03-31 Futurewei Technologies, Inc. Method and apparatus for identifying a target device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170055295A (ko) * 2015-11-11 2017-05-19 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법
KR101709715B1 (ko) * 2015-11-16 2017-02-24 (주)아이오텍 카메라를 이용한 사물인터넷 기반의 제어 및 감시장치
KR20170074732A (ko) * 2015-12-22 2017-06-30 삼성전자주식회사 사물 인터넷 (IoT) 디바이스와 관련된 서비스를 제공하는 전자 디바이스 및 서버
KR20170121891A (ko) * 2016-04-26 2017-11-03 주식회사 엘지유플러스 사물인터넷 (Internet of Things, IoT) 단말의 트래킹 서버 및 방법
US20180054796A1 (en) * 2016-08-21 2018-02-22 Qualcomm Incorporated Methods and systems for support of location for the internet of things

Also Published As

Publication number Publication date
KR102478031B1 (ko) 2022-12-16
KR20190106297A (ko) 2019-09-18
US11095765B2 (en) 2021-08-17
US20200412862A1 (en) 2020-12-31

Similar Documents

Publication Publication Date Title
WO2019172565A1 (ko) 외부 장치와의 연결을 위한 전자 장치 및 방법
WO2014185712A1 (en) Communication method and device
WO2016018057A1 (en) Method and device for providing function of mobile terminal
WO2016171440A1 (en) Server and method of controlling group action of server
WO2016175628A1 (en) Service sharing device and method
WO2020060368A2 (en) Method and apparatus for providing notification by interworking plurality of electronic devices
WO2016064250A2 (ko) 적응적으로 작업 수행의 주체를 변경하기 위한 장치 및 방법
WO2017039223A1 (en) Display apparatus and control method thereof
WO2019132344A1 (en) Method for controlling earpiece and electronic device for supporting the same
WO2016159725A1 (en) Apparatus and method for measuring distance and location
WO2020045950A1 (en) Method, device, and system of selectively using multiple voice data receiving devices for intelligent service
WO2014098441A1 (en) System and method of controlling surrounding devices, based on topology
WO2021054616A1 (en) External audio electronic device, electronic device, and method of managing communication link
WO2021145644A1 (en) Mobile device and operating method thereof
EP3616424A1 (en) Electronic device and proximity discovery method thereof
WO2021002696A1 (en) Method for transferring subscription and electronic device for supporting the same
WO2019045271A1 (en) BATTERY SUPPORT STRUCTURE AND ELECTRONIC DEVICE HAVING THE SAME
WO2019066582A1 (ko) 전자 장치의 동작 모드 운영 방법 및 장치
EP3278135A1 (en) Apparatus and method for measuring distance and location
EP3830821A1 (en) Method, device, and system of selectively using multiple voice data receiving devices for intelligent service
WO2022031019A1 (ko) Uwb와 ar를 이용한 분실기기 찾는 방법 및 그 장치
WO2017111545A1 (ko) 무선 통신 시스템에서 사운드 신호를 기반으로 데이터를 송신 및 수신하는 장치 및 방법
WO2024043491A1 (ko) 위치 기반 서비스를 제공하는 전자 장치 및 그 동작 방법
WO2024053872A1 (ko) 스레드 네트워크들을 관리하는 전자 장치 및 그 동작 방법
WO2023113351A1 (ko) Nan 통신을 수행하는 전자 장치 및 전자 장치의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19764054

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19764054

Country of ref document: EP

Kind code of ref document: A1