WO2022030836A1 - 전자 장치에서 데이터 통신을 위한 네트워크 제어 방법 및 장치 - Google Patents

전자 장치에서 데이터 통신을 위한 네트워크 제어 방법 및 장치 Download PDF

Info

Publication number
WO2022030836A1
WO2022030836A1 PCT/KR2021/009568 KR2021009568W WO2022030836A1 WO 2022030836 A1 WO2022030836 A1 WO 2022030836A1 KR 2021009568 W KR2021009568 W KR 2021009568W WO 2022030836 A1 WO2022030836 A1 WO 2022030836A1
Authority
WO
WIPO (PCT)
Prior art keywords
network
electronic device
link
external device
twt
Prior art date
Application number
PCT/KR2021/009568
Other languages
English (en)
French (fr)
Inventor
민현기
강두석
성지훈
이선기
이정훈
최준수
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US17/435,513 priority Critical patent/US20230020265A1/en
Priority to CN202180056928.XA priority patent/CN116076106A/zh
Priority to EP21852192.0A priority patent/EP4164290A4/en
Publication of WO2022030836A1 publication Critical patent/WO2022030836A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
    • H04W28/18—Negotiating wireless communication parameters
    • H04W28/22—Negotiating communication rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0225—Power saving arrangements in terminal devices using monitoring of external events, e.g. the presence of a signal
    • H04W52/0229—Power saving arrangements in terminal devices using monitoring of external events, e.g. the presence of a signal where the received signal is a wanted signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0015—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy
    • H04L1/0017—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy where the mode-switching is based on Quality of Service requirement
    • H04L1/0018—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy where the mode-switching is based on Quality of Service requirement based on latency requirement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/80—Ingress point selection by the source endpoint, e.g. selection of ISP or POP
    • H04L45/85—Selection among different networks
    • H04L45/851—Dynamic network selection or re-selection, e.g. after degradation of quality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/25—Flow control; Congestion control with rate being modified by the source upon detecting a change of network conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/0252—Traffic management, e.g. flow control or congestion control per individual bearer or channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
    • H04W28/18—Negotiating wireless communication parameters
    • H04W28/20—Negotiating bandwidth
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/12—Communication route or path selection, e.g. power-based or shortest path routing based on transmission quality or channel quality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/24—Connectivity information management, e.g. connectivity discovery or connectivity update
    • H04W40/28—Connectivity information management, e.g. connectivity discovery or connectivity update for reactive routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W48/00—Access restriction; Network selection; Access point selection
    • H04W48/16—Discovering, processing access restriction or access information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W48/00—Access restriction; Network selection; Access point selection
    • H04W48/18—Selecting a network or a communication service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0225—Power saving arrangements in terminal devices using monitoring of external events, e.g. the presence of a signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0225—Power saving arrangements in terminal devices using monitoring of external events, e.g. the presence of a signal
    • H04W52/0248—Power saving arrangements in terminal devices using monitoring of external events, e.g. the presence of a signal dependent on the time of the day, e.g. according to expected transmission activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/52—Allocation or scheduling criteria for wireless resources based on load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/54—Allocation or scheduling criteria for wireless resources based on quality criteria
    • H04W72/543—Allocation or scheduling criteria for wireless resources based on quality criteria based on requested quality, e.g. QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/14—Direct-mode setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/20—Manipulation of established connections
    • H04W76/28—Discontinuous transmission [DTX]; Discontinuous reception [DRX]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10—Small scale networks; Flat hierarchical networks
    • H04W84/12—WLAN [Wireless Local Area Networks]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H04W88/04—Terminal devices adapted for relaying to or from another terminal or user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H04W88/06—Terminal devices adapted for operation in multiple networks or having at least two operational modes, e.g. multi-mode terminals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Definitions

  • Various embodiments of the present disclosure are disclosed with respect to a network control method and apparatus for data communication with external devices in an electronic device capable of communication with external devices, respectively.
  • AR augmented reality
  • the electronic device is, for example, a mobile communication terminal, a smart phone, a tablet personal computer (PC), a notebook, a wearable device, and/or AR glasses ( or smart glasses).
  • AR may be provided by a wearable glass device (eg, AR glasses), a head mounted device (eg, HMD, head mounted display), or a smart phone, and may be provided in various ways on the real world through applications related to AR services.
  • Digital contents may be overlaid and provided.
  • AR content may be generated by a device providing an AR service or may be provided by receiving from another device.
  • an external device eg, tethered AR glasses
  • an electronic device eg, a smart phone
  • displays AR content e.g., a tethered AR system
  • AR system or environment
  • an electronic device eg, a smart phone
  • a server eg, a cloud
  • the electronic device is connected to a server
  • an electronic device in a tethered AR system, is a network control method and apparatus for low latency and low power data communication with external devices (eg, server, AR Glasses) can be disclosed about
  • external devices eg, server, AR Glasses
  • a method and apparatus capable of adaptively selecting or switching a network (or a network bearer) based on a transmission requirement between an electronic device and an external device (eg, AR glasses) are disclosed. can do.
  • An electronic device includes a wireless communication circuit, and a processor operatively connected to the wireless communication circuit, wherein the processor is configured to initiate (initiate) an augmented reality (AR) service with an external device. , identify a first service period (SP) based on the data amount of the designated data path, identify a transmission interval based on the frame rate of the external device, and identify at least the first SP and the transmission period Based on the identification, whether the network connected to the electronic device satisfies a specified transmission requirement condition, based on the network that satisfies the transmission requirement condition, determines connection information related to a connection with the external device, and to the connection information based on the connection with the external device.
  • SP service period
  • An electronic device includes a wireless communication circuit and a processor, wherein the processor detects a connection to an external device through the wireless communication circuit, acquiring a data amount of a first link and a data amount of a second link between the electronic device and a network, calculating a first service period (SP) of the first link based on the data amount of the first link, and Calculate a second SP of the second link based on the data amount of the second link, determine a network that satisfies an image transmission requirement based on the first SP and the second SP, and send to the determined network Based on this, the channel of the first link and the channel of the second link may be set to be the same to be connected to the external device.
  • SP service period
  • An operating method of an electronic device identifies a first service period (SP) based on a data amount of a specified data path when an augmented reality (AR) service is initiated with an external device. operation, identifying a transmission interval based on the frame rate of the external device, and identifying whether a network connected to the electronic device satisfies a specified transmission requirement based at least on the first SP and the transmission period and determining connection information related to a connection with the external device based on a network that satisfies the transmission requirement, and performing a connection with the external device based on the connection information.
  • SP service period
  • AR augmented reality
  • a computer-readable recording medium recording a program for executing the method in a processor may be included.
  • external devices eg, Cloud, AR Glasses
  • data communication may be possible.
  • the electronic device when the electronic device performs communication using different bands or different types of networks in the first section and the second section, controlling the SP (service period) to overlap and , when the first section and the second section perform communication using the same band or the same type of network, it is possible to perform low-latency or low-power communication by controlling the SP not to overlap.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to various embodiments of the present disclosure
  • FIGS. 2A, 2B, and 2C are diagrams illustrating an example of an AR system supporting an AR service according to various embodiments.
  • 3A is a diagram schematically illustrating a configuration of an electronic device according to various embodiments of the present disclosure
  • 3B is a diagram schematically illustrating a configuration of an external device according to various embodiments of the present disclosure
  • FIG. 4 is a flowchart illustrating an operation of an electronic device according to various embodiments of the present disclosure
  • FIG. 5 is a flowchart illustrating an operation of connecting an electronic device to an external device according to various embodiments of the present disclosure
  • FIG. 6 is a diagram illustrating an operation example of calculating SP in an electronic device according to various embodiments of the present disclosure
  • FIG. 7 is a flowchart illustrating a method of operating an electronic device according to various embodiments of the present disclosure
  • FIG. 8 is a diagram for describing an example of scheduling according to an SP and a period in an electronic device according to various embodiments of the present disclosure
  • FIG. 9 is a diagram for explaining an example of inter-link scheduling according to various embodiments.
  • FIG. 10 is a diagram for explaining an example of performing scheduling based on a TWT protocol according to various embodiments.
  • 11 is a diagram for explaining another example of performing scheduling based on a TWT protocol according to various embodiments.
  • FIG. 12 is a diagram for explaining another example of inter-link scheduling according to various embodiments.
  • FIG. 13 is a flowchart illustrating an operation of an external device according to various embodiments of the present disclosure
  • 15 is a flowchart illustrating an operation of an electronic device according to various embodiments of the present disclosure.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments of the present disclosure.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or a second network 199 . It may communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • a second network 199 e.g., a second network 199 . It may communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • the electronic device 101 includes a processor 120 , a memory 130 , an input module 150 , a sound output module 155 , a display module 160 , an audio module 170 , and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or an antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178
  • may be omitted or one or more other components may be added to the electronic device 101 .
  • some of these components are integrated into one component (eg, display module 160 ). can be
  • the processor 120 for example, executes software (eg, a program 140) to execute at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120 . It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or operation, the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 . may be stored in the volatile memory 132 , and may process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • software eg, a program 140
  • the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 .
  • the volatile memory 132 may be stored in the volatile memory 132 , and may process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • the processor 120 is a main processor 121 (eg, a central processing unit (CPU) or an application processor (AP)) or an auxiliary processor capable of operating independently or together with it ( 123) (eg, graphic processing unit (GPU), neural network processing unit (NPU), image signal processor (ISP), sensor hub processor, or communication processor (CP, communication processor)) may be included.
  • main processor 121 eg, a central processing unit (CPU) or an application processor (AP)
  • auxiliary processor capable of operating independently or together with it eg, graphic processing unit (GPU), neural network processing unit (NPU), image signal processor (ISP), sensor hub processor, or communication processor (CP, communication processor)
  • the main processor 121 may use less power than the main processor 121 or may be set to be specialized for a specified function.
  • the auxiliary processor 123 may be implemented separately from or as a part of the main processor 121 .
  • the auxiliary processor 123 is, for example, on behalf of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is At least one of the components of the electronic device 101 (eg, the display module 160 , the sensor module 176 , or At least some of functions or states related to the communication module 190 may be controlled.
  • the coprocessor 123 eg, an image signal processor or a communication processor
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model. Artificial intelligence models can be created through machine learning.
  • Such learning may be performed, for example, in the electronic device 101 itself on which artificial intelligence is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited
  • the artificial intelligence model may include a plurality of artificial neural network layers. Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example.
  • the artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
  • the memory 130 may store various data used by at least one component of the electronic device 101 (eg, the processor 120 or the sensor module 176 ).
  • the data may include, for example, input data or output data for software (eg, the program 140 ) and instructions related thereto.
  • the memory 130 may include a volatile memory 132 or a non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 , and may include, for example, an operating system (OS) 142 , middleware 144 , or an application 146 . have.
  • OS operating system
  • middleware middleware
  • application application
  • the input module 150 may receive a command or data to be used in a component (eg, the processor 120 ) of the electronic device 101 from the outside (eg, a user) of the electronic device 101 .
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output a sound signal to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.
  • the display module 160 may visually provide information to the outside (eg, a user) of the electronic device 101 .
  • the display module 160 may include, for example, a control circuit for controlling a display, a hologram device, or a projector and a corresponding device.
  • the display module 160 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module 170 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 170 acquires a sound through the input module 150 or an external electronic device (eg, a sound output module 155 ) directly or wirelessly connected to the electronic device 101 . A sound may be output through the electronic device 102 (eg, a speaker or headphones).
  • an external electronic device eg, a sound output module 155
  • a sound may be output through the electronic device 102 (eg, a speaker or headphones).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more designated protocols that may be used by the electronic device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102 ).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, a secure digital (SD) card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD secure digital
  • the connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to an embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It can support establishment and communication performance through the established communication channel.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : It may include a LAN (local area network) communication module, or a power line communication module).
  • GNSS global navigation satellite system
  • a corresponding communication module among these communication modules is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a wide area network (WAN)).
  • a first network 198 eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network 199 eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a wide area network (WAN)).
  • the wireless communication module 192 uses the subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199 .
  • the electronic device 101 may be identified or authenticated.
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR).
  • NR access technology is a high-speed transmission of high-capacity data (eMBB, enhanced mobile broadband), minimization of terminal power and access to multiple terminals (mMTC, massive machine type communications), or high reliability and low latency (URLLC, ultra-reliable and low-latency). communications) can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • a high frequency band eg, mmWave band
  • the wireless communication module 192 includes various technologies for securing performance in a high-frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), all-dimensional multiplexing. It may support technologies such as input/output (FD-MIMO, full dimensional MIMO), an array antenna, analog beam-forming, or a large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101 , an external electronic device (eg, the electronic device 104 ), or a network system (eg, the second network 199 ).
  • the wireless communication module 192 may include a peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency for realizing URLLC ( Example: downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less).
  • a peak data rate eg, 20 Gbps or more
  • loss coverage eg, 164 dB or less
  • U-plane latency for realizing URLLC
  • the antenna module 197 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected from the plurality of antennas by, for example, the communication module 190 . can be selected. A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module comprises a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, underside) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or a part of operations executed in the electronic device 101 may be executed in one or more external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101 .
  • the electronic device 101 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or the server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • the electronic device may have various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a smart bracelet
  • a home appliance device e.g., a home appliance
  • first, second, or first or second may be used simply to distinguish the element from other elements in question, and may refer to elements in other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • one or more instructions stored in a storage medium may be implemented as software (eg, the program 140) including
  • a processor eg, processor 120
  • a device eg, electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not include a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the method according to various embodiments disclosed in this document may be included in a computer program product (computer program product) and provided.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed online (eg download or upload), directly between smartphones (eg smartphones).
  • a part of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each component (eg, module or program) of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. have.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repetitively, or heuristically, or one or more of the operations are executed in a different order. , may be omitted, or one or more other operations may be added.
  • FIGS. 2A, 2B, and 2C are diagrams illustrating an example of an AR system supporting an AR service according to various embodiments.
  • FIGS. 2A , 2B and 2C show an electronic device 101 , an external device 201 (eg, the electronic device 102 of FIG. 1 ), and a server 301 (eg, the server of FIG. 1 ).
  • 108 may represent an example in which communication is performed with each other to support an augmented reality (AR) service.
  • AR augmented reality
  • an AR system for supporting an AR service
  • an electronic device 101 eg, a smart phone.
  • smart phone smart phone
  • external device 201 eg AR glasses, smart glasses, or display device
  • server 301 eg cloud
  • AP access point
  • a first network 210 eg, a Wi-Fi network
  • Wi-Fi AP Wi-Fi AP
  • second network 220 including a base station 225 .
  • cellular network eg, cellular network
  • the electronic device 101 may include, for example, components corresponding to those described in the description with reference to FIG. 1 .
  • the electronic device 101 directly generates related data (eg, AR image) for an AR service (eg, generated based on stored or processed data) or obtains it from the server 301 .
  • An operation of a computing host to be provided to the external device 201 may be performed.
  • the electronic device 101 performs image processing, and the server 301 through the first network 210 including the AP 215 and/or the second network 220 including the base station 225 ) and may be an electronic device such as a smart phone capable of wireless communication.
  • the electronic device 101 receives at least scene information (eg, image data), sensor information, and/or location information from the external device 201 through a communication connection with the external device 201 .
  • One piece of information can be acquired (eg, received).
  • the external device 201 receives data (eg, an AR image or an AR image frame) from the electronic device 101 , and uses the received data as real-world data through the display of the external device 201 .
  • It may include an electronic device that can be provided with (eg, displayed).
  • the external device 201 may include a wearable device such as AR glasses and/or smart glasses, or a display device supporting a display function.
  • the external device 201 provides (eg, transmits) at least one piece of information such as scene information, sensor information, and/or location information to the electronic device 101 through a communication connection with the electronic device 101 . )can do.
  • the electronic device 101 and the external device 201 may transmit/receive data using wireless local area network (WLAN) communication such as Wi-Fi and/or Wi-Gig.
  • WLAN wireless local area network
  • the server 301 may include a server (or cloud) that provides AR content (eg, a cloud server, a content server, or a web server).
  • a server or cloud that provides AR content
  • AR content eg, a cloud server, a content server, or a web server.
  • the first network 210 may include, for example, an AP 215 (eg, a Wi-Fi AP or a Wi-Fi router).
  • the first network 210 includes a first data path 230 (or a first network path) between the electronic device 101 and the server 301 (eg, a first network path). : Wi-Fi path) can be provided.
  • the first data path 230 may include a path between the electronic device 101 , the AP 215 and the server 301 , and the electronic device 101 and The server 301 may communicate by forming a first data path 230 through the first network 210 including the AP 215 as a medium.
  • the first network 210 may provide data from the server 301 to the electronic device 101 through the first data path 230 .
  • the second network 220 may include, for example, a base station 225 for a legacy network (eg, a 3G network, a 4G network) and/or a 5G network.
  • the second network 220 includes a second data path 240 (or a second network path) between the electronic device 101 and the server 301 (eg, a second data path). : cellular path) can be provided.
  • the second data path 240 may include a path between the electronic device 101 , the base station 225 , and the server 301 , and the electronic device 101 and The server 301 may communicate by forming a second data path 240 through the second network 220 including the base station 225 as a medium.
  • the second network 220 may provide data from the server 301 to the electronic device 101 through the second data path 240 .
  • the electronic device 101 may transmit/receive data to/from the server 301 through the first network 210 or the second network 220 .
  • the transmission data transmitted by the electronic device 101 to the server 301 may include, for example, scene information, sensor information, and/or location received by the electronic device 101 from the external device 201 . It may be information, or may include data generated (eg, processed) based on such information.
  • the received data received by the electronic device 101 from the server 301 is, for example, data (eg, an AR image or an AR image) provided by the electronic device 101 to the external device 201 .
  • transmission/reception data may vary according to an AR service or an AR application. For example, it may vary based on conditions (eg, resolution or speed) required by an AR service or AR application.
  • an AR service may be provided based on the system configuration illustrated in FIGS. 2A, 2B and 2C .
  • a link according to a data path (eg, the first data path 230 or the second data path 240 ) ), based on the data amount (or traffic amount), a data transmission period (or data transmission time) (eg, service period (SP, service period: hereinafter referred to as 'SP')) may be determined.
  • a data transmission period or data transmission time
  • SP service period
  • 'SP' service period
  • the electronic device 101 is configured based on a frame rate (or refresh rate or scan rate) of the external device 201 (eg, 30 fps, 60 fps, or 120 fps).
  • An image frame transmission interval may be determined.
  • the electronic device 101 is a network currently connected to the electronic device 101 (eg, the first network 210 or the second network (eg, the first network 210 ) or the second network ( 220)) may determine whether the specified transmission requirement (or AR image transmission requirement) is satisfied.
  • the specified transmission requirement may include a frame rate, resolution, transmission rate, and/or required by the connected network (eg, the first network 210 or the second network 220 ) in an AR service or AR application. It may include at least a portion of the data transmission amount.
  • the electronic device 101 may determine whether to change the network based on the determination result.
  • the electronic device 101 changes the connection from the first network 210 including the AP 215 to the second network 220 including the base station 225 or in the second network 220 . Whether to change to the first network 210 may be determined. According to an embodiment, in a network currently connected between the electronic device 101 and the server 301 (eg, the first network 210 or the second network 220 ), the electronic device 101 connects to the first network 210 . It may mean a communication connection with the server 301 through the AP 215 that supports , or a communication connection with the server 301 through the base station 225 supporting the second network 220 .
  • the electronic device 101 changes from a currently connected network (eg, the first network 210 or the second network 220 ) to another network, for example, a network bearer (eg: Whether to change the first data path 230 or the second data path 240 may be determined.
  • a network bearer eg: Whether to change the first data path 230 or the second data path 240 may be determined.
  • the electronic device 101 determines whether the network type between the electronic device 101 and the server 301 and the network type between the electronic device 101 and the external device 201 are the same type of network. By checking whether the SPs overlap, it is possible to determine whether the SPs overlap. An operation of determining whether an SP overlaps according to an embodiment will be described in detail with reference to the drawings to be described later.
  • 3A is a diagram schematically illustrating a configuration of an electronic device according to various embodiments of the present disclosure
  • the electronic device 101 wirelessly connects to the external device 201 through a first designated network (eg, the first network 210 (eg, Wi-Fi network)), and the server 301 and Including a function of wirelessly connecting to a second designated network (eg, the first network 210 or the second network 220 (eg, cellular network)) and providing data related to the AR service to the external device 201
  • a first designated network eg, the first network 210 (eg, Wi-Fi network)
  • the server 301 Including a function of wirelessly connecting to a second designated network (eg, the first network 210 or the second network 220 (eg, cellular network)) and providing data related to the AR service to the external device 201
  • a second designated network eg, the first network 210 or the second network 220 (eg, cellular network)
  • the electronic device 101 may include a computing host such as a mobile communication terminal, a smart phone, a tablet personal computer (PC), and/or a notebook.
  • the electronic device 101 may include a wireless communication circuit 310 , a memory 130 , and a processor 120 .
  • the wireless communication circuitry 310 may include a legacy network (eg, a 3G network and/or a 4G network), a 5G network, an out of band (OOB) and / or a next-generation communication technology (eg, new radio (NR) technology) may be supported.
  • the wireless communication circuit 310 may correspond to the wireless communication module 192 as illustrated in FIG. 1 .
  • the wireless communication circuit 310 according to an embodiment includes a first communication circuit 310A, a second communication circuit 310A configured to support wireless communication of the electronic device 101 through a first network 210 (eg, a Wi-Fi network).
  • a second communication circuit 310B configured to support wireless communication of the electronic device 101 over the network 220 (eg, a cellular network), and an OOB (eg, NFC, BLE, and/or Wi-Fi 2.4GHz) based on the third communication circuit 310C configured to support wireless communication of the electronic device 101 .
  • the electronic device 101 may communicate with the external device 201 and/or the server 301 through the first network 210 using the first communication circuit 310A.
  • the electronic device 101 may communicate with the server 301 through the second network 210 using the second communication circuit 310B.
  • the electronic device 101 communicates with a network (eg, Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA) other than the first network 210 using the third communication circuit 310C. Communication may be performed with the external device 201 through the same short-distance communication network.
  • a network eg, Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA) other than the first network 210 using the third communication circuit 310C.
  • Communication may be performed with the external device 201 through the same short-distance communication network.
  • the memory 130 may correspond to the memory 130 as described in the description with reference to FIG. 1 .
  • the memory 130 may store various data used by the electronic device 101 when providing an AR service.
  • the data may include, for example, input data or output data for software (eg, the program 140 ) and instructions related thereto.
  • the memory 130 may store instructions that cause the processor 120 to operate when executed.
  • the processor 120 may correspond to the processor 120 as described in the description with reference to FIG. 1 .
  • the processor 120 may control the external device 201 connected to the electronic device 101 by, for example, executing an application (eg, an AR application), and may perform various data related to AR service. It can perform processing or operation.
  • the processor 120 stores data received through the wireless communication circuit 310 in the memory 130 , processes the data stored in the memory 130 , and , the result data may be stored in the memory 130 and/or transmitted to the external device 201 through the wireless communication circuit 310 .
  • the processor 120 transmits/receives necessary data to and from the server 301 in the tethered AR system through the wireless communication circuit 310 , and is mounted on the external device 201 from the external device 201 .
  • Receive at least one piece of information eg, scene information, sensor information, location information, and/or frame rate
  • a component eg, camera, sensor and/or display
  • Process information based on the received information.
  • Data eg, AR image
  • the processor 120 performs network control (or selection) for low latency and/or low power communication when data is transmitted and received with the external device 201 in the AR system. can do.
  • the processor 120 may be configured to be configured by the server 301 through the first communication circuit 310A supporting the first network 210 or the second communication circuit 310B supporting the second network 220 . ) can be controlled to transmit and receive data from According to an embodiment, the processor 120 may configure transmission data based on scene information, sensor information, location information, and/or frame rate information received from the external device 201 . According to an embodiment, the transmitted data may include, for example, an element for constructing an AR image (or an AR image frame).
  • the processor 120 is an SP configured to perform an operation related to network control for low-delay and/or low-power communication during data communication for AR service with each of the server 301 and the external device 201 It may include a calculation module 320 and a condition determination module 330 .
  • the components eg, the SP calculation module 320 and the condition determination module 330
  • the components included in the processor 120 are, for example, a hardware module (eg, circuitry).
  • components included in the processor 120 may include, in addition to the hardware structure, additionally or alternatively, a software structure.
  • the components (eg, the SP calculation module 320 and the condition determination module 330 ) included in the processor 120 may include a storage medium readable by the processor 120 ( For example, it may be implemented as software (eg, the program 140 of FIG. 1 ) including one or more instructions stored in the memory 130 .
  • the operations performed by the SP calculation module 320 and the condition determination module 330 are stored in the memory 130 and, when executed, be executed by instructions that cause the processor 120 to operate. can
  • the SP calculation module 320 may include, for example, determining the SP based on the amount of data and determining the image frame transmission interval based on the frame rate of the external device 201 . related actions can be performed.
  • the processor 120 determines a required transmission amount (eg, a frame) according to each link. ) per data amount), it is possible to determine the SP and the image frame transmission period accordingly.
  • the processor 120 is the main processor 121 (eg, a central processing unit (CPU) or an application processor (AP)) or the auxiliary processor 123 ( For example, a communication processor (CP) may be included.
  • some of the SP calculation module 320 and/or the condition determination module 330 may be included in the wireless communication circuit 310 .
  • the condition determination module 330 is configured to transmit a request condition (or AR image transmission) in which a current network (or data path) to which the electronic device 101 is connected is specified, based on the determined SP and the determined image frame transmission period. An operation related to determining whether a requirement condition) is satisfied may be performed.
  • the specified transmission requirement is a frame rate, resolution, transmission rate and/or data required by the connected network (eg, the first network 210 or the second network 220 ) in an AR service or an AR application. It may include at least a portion of the transmission amount.
  • the processor 120 may determine whether to change the current network based on whether the transmission requirement is satisfied. For example, when the communication based on the current network does not satisfy the transmission requirement, the processor 120 may determine to change the network. As another example, when the communication based on the current network satisfies a transmission requirement, the processor 120 may determine not to change the network.
  • the processor 120 when the network is the first network 210 (eg, Wi-Fi network) including the AP 215 , the processor 120 is configured to control a channel of the first network 210 (eg, a Wi-Fi network). : Wi-Fi channel), bandwidth, and/or at least one information such as link speed (link speed) may be checked.
  • the processor 120 when the first network 210 (eg, the AP 215-based communication state) satisfies the image transmission requirement, the processor 120 based on at least one piece of information, the first network ( 210) (eg, the AP 215) and the same channel as the channel connected to the wireless communication circuit 310 (eg, the first communication circuit 310A) to perform communication (eg, Wi-Fi) connection with the external device 201 (eg, Wi-Fi) )) can be controlled.
  • the first network eg, the AP 215
  • the same channel as the channel connected to the wireless communication circuit 310 eg, the first communication circuit 310A
  • the processor 120 through the third communication circuit 310 supporting out of band (OOB) (eg, NFC, BLE, and/or Wi-Fi 2.4GHz) communication, the external device 201 Check a channel (eg, Wi-Fi channel), bandwidth, and/or link speed of the electronic device 101 and the external device 201 through the first network 210 ) and communication between the electronic device 101 and the AP 215 may be supported.
  • OOB out of band
  • the processor 120 when the first network 210 (eg, a communication state based on the AP 215 ) does not satisfy the image transmission requirement, the processor 120 is configured to perform the first network based on at least one piece of information.
  • the wireless communication circuit 310 eg, the first communication circuit 310A
  • the processor 120 in performing the operation of searching for other APs, the processor 120 preferentially searches for another AP having a bandwidth of about 160 MHz in an about 6 GHz band, and the found other AP is an image. If the transmission requirement is satisfied, it can be configured to connect with another searched AP.
  • the processor 120 may perform an operation of changing (or switching a data path) to the second network 220 (eg, a cellular network). .
  • the processor 120 configures the network between the server 301 and the electronic device 101 and the network between the electronic device 101 and the external device 201 into the same network based on the network control described above. It can be connected to or connected to a heterogeneous network.
  • the processor 120 when the electronic device 101 is connected to the server 301 using the second network 220 including the base station 225 , the processor 120 performs the electronic device 101 and the external device ( 201), a channel of about 6 GHz band (eg, multiple channels of about 160 MHz bandwidth) among a plurality of channels (eg, channels 1 to 5) supporting the first network 210 is preferentially used, By calculating the channel congestion level, it is possible to select one of the channels in the approximately 6 GHz band (eg, channel 3).
  • the processor 120 connects between the electronic device 101 and the external device 201 based on a selected channel among a plurality of channels supporting the first network 210 , and the electronic device 101 Negotiates an image frame transmission period (hereinafter referred to as a 'period') with the SP between the and the external device 201, and based on the negotiation result, the SP and period of communication with the server 301 through the second network 220 can be decided
  • the processor 120 is an AP of the first network 210 that satisfies the transmission requirement of the external device 201 while using communication with the server 301 through the second network 220 .
  • the processor 120 finds an AP that satisfies the transmission requirement of the external device 201, it may connect (or roam) with the corresponding AP.
  • the processor 120 determines whether the network type of the first section between the electronic device 101 and the server 301 and the second section between the electronic device 101 and the external device 201 is the same It is possible to determine whether or not the SPs overlap based on the An operation of determining whether an SP overlaps according to an embodiment will be described in detail with reference to the drawings to be described later.
  • 3B is a diagram schematically illustrating a configuration of an external device according to various embodiments of the present disclosure
  • FIG. 3B may show an example of a configuration related to supporting an AR service in the external device 201 according to various embodiments.
  • the external device 201 illustrated in FIG. 3B may include all or at least some of the components of the electronic device 101 as described in the description with reference to FIG. 1 .
  • an example in which the external device 201 is an AR device eg, AR glasses, smart glasses, or a display device
  • the external device 201 is an AR device (eg, AR glasses, smart glasses, or a display device) may be shown.
  • the external device 201 includes a processor 380 (eg, the processor 120 of FIG. 1 ), a display module 340 (eg, the display module 160 of FIG. 1 ), and a sensor module 345 . ) (eg, sensor module 176 of FIG. 1 ), glass 350 , battery 355 (eg, battery 189 of FIG. 1 ), camera module 360 (eg, camera module 180 of FIG. 1 ) )), communication module 365 (eg, communication module 190 in FIG. 1 ), memory 370 (eg, memory 130 in FIG. 1 ), and audio module 375 (eg, audio in FIG. 1 ). module 170).
  • a processor 380 eg, the processor 120 of FIG. 1
  • a display module 340 eg, the display module 160 of FIG. 1
  • ) eg, sensor module 176 of FIG. 1
  • glass 350 e.g, battery 355 (eg, battery 189 of FIG. 1 )
  • camera module 360
  • components included in the external device 201 may be understood as, for example, a hardware module (eg, circuitry).
  • the components included in the external device 201 include the components shown in FIG. 3B (eg, the display module 340 , the sensor module 345 , the glass 350 , and the battery 355 ). , the camera module 360 , the communication module 365 , the memory 370 , and/or the audio module 375 ).
  • components of the external device 201 illustrated in FIG. 3B may be omitted, replaced with other components, or additional components may be added to the external device 201 .
  • the glasses 350 may be included when the external device 201 is AR glasses and/or smart glasses, and may not be included when the external device 201 is a smart phone.
  • the communication module 365 may include an antenna module (eg, the antenna module 197 of FIG. 1 ), and various techniques (eg, beamforming (eg, beamforming) for securing performance in a specified frequency band) beamforming), multiple input/output (MIMO), and/or an array antenna).
  • the communication module 365 may transmit or receive a signal or power to the outside (eg, the electronic device 101).
  • the communication module 365 performs wireless communication of the external device 201 based on a communication circuit and/or OOB configured to support wireless communication of the external device 201 through the first network 210 . It may include a communication circuit configured to support it.
  • the memory 370 may correspond to the memory 130 as described in the description with reference to FIG. 1 . According to an embodiment, the memory 370 may store various data used by the external device 201 when the external device 201 provides an AR service.
  • the data may include, for example, input data or output data for software (eg, the program 140 ) and instructions related thereto.
  • the processor 380 may correspond to the processor 120 as described in the description with reference to FIG. 1 .
  • the processor 380 for example, executes an application (eg, an AR application), and through a communication connection with the electronic device 101 at least such as scene information, sensor information, and/or location information One piece of information may be provided (eg, transmitted) to the electronic device 101 .
  • the processor 380 superimposes various digital contents (eg, AR images) on the real world provided through the display module 340 to display one image (eg, AR screen). ) can be controlled.
  • the external device 201 may include various sensors (eg, the sensor module 345 or the camera module 360 ), and the processor 380 receives the sensing information using at least one sensor. Based on it, at least one piece of information such as scene information (eg, image data), sensor information, and/or location information may be acquired.
  • scene information eg, image data
  • sensor information e.g., sensor information
  • location information e.g., location information
  • the processor 380 may perform various data processing or operations related to the AR service. For example, the processor 380 stores data received through the communication module 365 in the memory 370 , processes the data stored in the memory 370 , and results data as at least part of data processing or operation. may be stored in the memory 370 and/or transmitted to the electronic device 101 through the communication module 365 .
  • the processor 380 may control the communication module 365 to transmit frame rate information of the external device 201 to the electronic device 101 when the AR service is executed. According to an embodiment, the processor 380 may negotiate a target wake time (TWT) while connecting with the electronic device 101 . According to an embodiment, the processor 380 may transmit/receive data to/from the electronic device 101 based on the TWT setting, and may display the transmitted/received data through the display module 340 .
  • TWT target wake time
  • the electronic device 101 includes a wireless communication circuit 310 (eg, the wireless communication module 192 of FIG. 1 ), and a processor operatively connected to the wireless communication circuit 310 . and 120, wherein the processor 120 performs a first service period (SP) based on a data amount of a designated data path when an augmented reality (AR) service with the external device 201 is initiated.
  • SP first service period
  • AR augmented reality
  • connection information related to a connection with the external device 201 is determined based on a network that satisfies the transmission requirement, and the connection information with the external device 201 is determined based on the connection information. connection can be made.
  • the processor 120 is configured to be configured to: based on a target wake time (TWT) element of a first link between the electronic device 101 and the external device 201 . configure a first TWT related to a first link, configure a second TWT related to a second link between the electronic device and the network based at least on the first TWT and a TWT element of the first link,
  • the element may include a TWT wake interval, a TWT wake duration, and a TWT.
  • the processor 120 calculates the first SP based on the data amount of the first link, and calculates the second SP based on the data amount of the second link and, when the sum of the first SP and the second SP is included in a transmission period according to the frame rate, the network may determine that the transmission requirement is satisfied.
  • the first SP determines the amount of data required for one frame transmission in the first link between the electronic device 101 and the external device 201 in the link bandwidth of the first link. It may include the required time calculated by dividing by (link bandwidth).
  • the second SP is calculated by dividing the amount of data required to transmit one frame in the second link between the electronic device 101 and the network by the link bandwidth of the second link. It may include the required time.
  • the processor 120 may determine whether to change the network based on whether the network satisfies the transmission requirement.
  • the processor 120 determines that the network is an access point (AP) 215 supported by the first network 210 , and the AP 215 determines the transmission requirement. If not satisfied, it is configured to search for another AP supporting the first network 210 , and when searching for the other AP, an AP of a designated band may be preferentially searched.
  • AP access point
  • the processor 120 transfers the network from the first network 210 to the second network 220 when it fails to search for another AP that satisfies the transmission requirement. can be switched
  • the processor 120 determines a network that satisfies the transmission requirement, and determines the connection information related to a connection with the external device 201 based on the determined network and transmit the determined connection information to the external device 201 through out of band (OOB) communication.
  • OOB out of band
  • the processor 120 may determine the channel through which the electronic device 101 and the network are connected as a channel between the electronic device 101 and the external device 201 . have.
  • the processor 120 determines a first channel identical to a channel configured with the network as the connection information, and the determined network When the network is the second network 220 , a second channel different from the first channel may be determined as the connection information.
  • the processor 120 when the network is the first network 210 , the processor 120 is configured to provide the connection information based on a channel busy degree of the first network 210 . can be decided
  • the processor 120 preferentially measures the channel congestion level based on a channel of a band designated in the first network 210, and determines the channel congestion level based on the measurement result.
  • a low channel may be determined as a channel for connection with the external device 201 .
  • the processor 120 includes a first link between the electronic device 101 and the external device 201 and a second link between the electronic device 101 and the network. Whether the SPs overlap may be determined based on whether the network types of the SPs are the same.
  • the processor 120 overlaps the first SP and the second SP when the network types of the first link and the second link are the same type of network. and control so that, when the network types of the first link and the second link are different types of networks, the first SP and the second SP may be controlled to overlap at least partially.
  • the electronic device 101 includes a wireless communication circuit 310 (eg, the wireless communication module 192 of FIG. 1 ), and a processor 120 , and the processor 120 . , detects a connection with the external device 201 through the wireless communication circuit 310, and the amount of data of the first link between the electronic device 101 and the external device 201 and the electronic device 101 to obtain a data amount of a second link between calculating a second SP of the second link, determining a network satisfying an image transmission requirement based on the first SP and the second SP, and based on the determined network, a channel of the first link and a channel of the second link may be set to be the same to be connected to the external device 201 .
  • a wireless communication circuit 310 eg, the wireless communication module 192 of FIG. 1
  • the processor 120 detects a connection with the external device 201 through the wireless communication circuit 310, and the amount of data of the first link between the electronic device 101 and the external device 201 and the electronic device 101 to obtain a data amount of a second
  • operations performed by the electronic device 101 to be described below may be executed by the processor 120 including at least one processing circuit of the electronic device 101 .
  • the operations performed by the electronic device 101 may be stored in the memory 130 and, when executed, may be executed by instructions that cause the processor 120 to operate.
  • FIG. 4 is a flowchart illustrating an operation of an electronic device according to various embodiments of the present disclosure
  • the processor 120 of the electronic device 101 may detect initiation of an AR service.
  • the processor 120 executes an application related to an AR service (eg, an AR application) in the electronic device 101 and/or based on detecting a connection request with the external device 201 The initiation of the service can be detected.
  • an AR service eg, an AR application
  • the processor 120 determines an SP based on the data amount of a specified data path (eg, the first data path 230 or the second data path 240 ) based on the detection of the start of the AR service (or According to an embodiment, the processor 120 may determine the SP based on the amount of data (or the amount of traffic) for each link. For example, the processor 120 may The amount of data related to the first link between the 101 and the external device 201, and related to the second link between the electronic device 101 and the network (eg, the first network 210 or the second network 220) The SP may be determined based on the amount of data and/or the bandwidth for each link An operation of determining an SP according to an embodiment will be described in detail with reference to the drawings to be described later.
  • the processor 120 may identify an image frame transmission period based on a frame rate (or refresh rate or scan rate) of the external device 201 .
  • a frame rate or refresh rate or scan rate
  • the processor 120 is configured to transmit a second image frame according to the second frame rate (eg, about 16.6 ms).
  • operations 403 and 405 are not limited to the illustrated order, and may be performed sequentially, in parallel, or in reverse order.
  • the processor 120 receives information on the frame rate of the external device 201 through out of band (OOB) communication, or receives information about the frame rate of the external device 201 related to the AR service based on the connection history. You can check information about the frame rate.
  • OOB out of band
  • the processor 120 may determine a transmission requirement (eg, an AR image transmission requirement) based on at least one of an SP and/or an image frame transmission period.
  • the processor 120 is configured to perform a network currently connected between the electronic device 101 and the server 301 (eg, the first network 210 or It may be determined whether the second network 220 satisfies the AR image transmission requirement.
  • the network currently connected between the electronic device 101 and the server 301 is a communication connection between the electronic device 101 and the server 301 through the AP 215 supporting the first network 210 or the second network. It may refer to a communication connection with the server 301 through the base station 225 supporting the network 220 .
  • the processor 120 may determine connection information (eg, channel information) related to a connection with the external device 201 (or for an AR service with the external device 201 ). According to an embodiment, the processor 120 may determine whether to change the network between the electronic device 101 and the server 301 based on the result of determining the transmission requirement. An operation of determining whether to change a network according to an embodiment will be described in detail with reference to the drawings to be described later. According to an embodiment, the processor 120 may determine related connection information based on the determined network (eg, the first network 210 or the second network 220 ). For example, the processor 120 may determine a channel between the external device 201 and the electronic device 101 based on the determined network and a channel connected to the electronic device 101 . According to an embodiment, the processor 120 may transmit connection information (eg, channel information) related to the determined channel to the external device 201 using OOB (eg, BLE).
  • OOB eg, BLE
  • the processor 120 may connect to the external device 201 .
  • the processor 120 may differently set a communication connection with the external device 201 based on the determined network (eg, the first network 210 or the second network 220 ). For example, in the processor 120 , the first section between the electronic device 101 and the server 301 and the second section between the electronic device 101 and the external device 201 are in different bands or each other.
  • the SP is controlled to overlap, the first section and the second section
  • low-delay or low-power communication is performed by controlling the SP not to overlap.
  • FIG. 5 is a flowchart illustrating an operation of connecting an electronic device to an external device according to various embodiments of the present disclosure
  • FIG. 5 may show an example of an operation of selecting a network and performing network control in the electronic device 101 .
  • FIG. 5 illustrates an example of an operation in which the electronic device 101 determines whether to change the network and performs a connection between the electronic device 101 and the external device 201 based on the determined network change.
  • the processor 120 of the electronic device 101 may detect the external device 201 .
  • the processor 120 may detect the connectable external device 201 through out of band (OOB) communication.
  • OOB may use various communication methods such as NFC, BLE, and/or Wi-Fi 2.4GHz communication.
  • the processor 120 detects the external device 201 using BLE as OOB, and connects to the external device 201 through a specific channel using a Wi-Fi direct protocol. can be performed.
  • the external device 201 may periodically broadcast a BLE advertisement message.
  • the external device 201 may include information indicating that the external device 201 is a device for an AR service through a BLE advertisement message.
  • the electronic device 101 may perform periodic BLE scan, and upon receiving the BLE advertisement message of the external device 201 , selects a channel (eg, a WLAN channel) to be connected with the external device 201 . decision-making can be performed.
  • the processor 120 determines a channel for performing a wireless (eg, WLAN) connection between the electronic device 101 and the external device 201
  • the network performs the first network 210 (eg, WLAN) connection.
  • a wireless (eg, WLAN) connection between the electronic device 101 and the external device 201 may be performed in different ways.
  • channel can be determined. A method of determining a channel according to an embodiment will be described below.
  • the processor 120 detects the connectable external device 201 through the OOB, based on the detection of the network connected to the electronic device 101 (eg, the first network 210 or the second network 220 ) )) can be identified.
  • the network may indicate a path supporting data transmission/reception between the electronic device 101 and the server 301 .
  • the identification of the network may be determined whether communication with the server 301 is performed through a Wi-Fi AP supporting the first network 210 (eg, the AP 215 in FIG. 2 ) or the second network 220 . ) may mean whether communication is performed with the server 301 through a base station (eg, the base station 225 of FIG. 2 ).
  • the processor 120 may identify whether the network currently connected to the electronic device 101 corresponds to the first network 210 based on the identification result of the network.
  • the processor 120 When the processor 120 identifies that the network is the first network 210 including the AP (eg, the AP 215 of FIG. 2 ) (eg, 'Yes' in operation 505 ), in operation 507 , the electronic device First information related to the first network 210 to which 101 is connected may be confirmed. For example, when the network is the first network 210 , the processor 120 may determine a Wi-Fi channel, bandwidth, and/or link speed with respect to the AP of the first network 210 . speed) can be checked.
  • the processor 120 identifies whether the first network 210 (or AP-based communication state) satisfies the image transmission requirement of the external device 201 based on the checked first information. can According to an embodiment, the processor 120 may check whether an image transmission requirement is satisfied in the entire AR system. According to an embodiment, when determining whether the image transmission requirement is satisfied, the processor 120 may determine, for example, based on the time occupied by the first SP and the second SP and a period according to the frame rate. According to an embodiment, the first SP has a data amount (eg, uplink (UL)/downlink (DL)) required for the electronic device 101 and the external device 201 to transmit one frame.
  • UL uplink
  • DL downlink
  • the second SP determines the amount of data (eg, UL/DL data) required for the electronic device 101 and the server 301 to transmit one frame, the link bandwidth (eg, the second network 220 ).
  • the calculated required time can be expressed by dividing by the link bandwidth of An operation of identifying whether an image transmission requirement is satisfied according to an embodiment will be described below.
  • the processor 120 transmits connection information (eg, channel information) to the external device 201 in operation 511 .
  • connection information eg, channel information
  • the processor 120 transmits connection information (eg, channel information) to the external device 201 in operation 511 .
  • connection information eg, channel information
  • the processor 120 transmits connection information (eg, channel information) to the external device 201 in operation 511 .
  • connection information eg, channel information
  • the processor 120 when the image transmission requirement is satisfied, the processor 120 establishes a channel connected between the AP of the first network 210 and the electronic device 101 between the external device 201 and the electronic device 101 .
  • channel can be determined.
  • the processor 120 may transmit channel information related to the determined channel to the external device 201 using OOB (eg, BLE).
  • OOB eg, BLE
  • the processor 120 may perform wireless connection (eg, WLAN connection) with the external device 201 based on the determined channel.
  • wireless connection eg, WLAN connection
  • the processor 120 performs the first link between the external device 201 and the AP supporting the first network 210 and each link (eg, a first link between the electronic device 101 and the external device 201 , the electronic device). (a second link between 101 and the AP) may be negotiated. According to an embodiment, the processor 120 performs each link based on the first network 210 (eg, a first link between the electronic device 101 and the external device 201 , and a second link between the electronic device 101 and the AP). 2 link), negotiation may be performed with respect to an SP duration, an SP start time, and/or an SP period. A link-specific SP and cycle negotiation operation according to an embodiment will be described later.
  • the processor 120 When the network is the first network 210 and the first network 210 does not satisfy the image transmission requirement of the external device 201 (eg, 'No' in operation 509), the processor 120 performs operation 521 , other APs of the first network 210 may be discovered. According to an embodiment, the processor 120 determines that the current connection to the first network 210 between the electronic device 101 and the AP does not satisfy the image transmission requirement between the electronic device 101 and the external device 201 . In this case, an operation of searching for another AP supporting the connectable (or roaming) possible first network 210 may be performed.
  • the processor 120 when the processor 120 performs an operation of searching for another connectable AP, the processor 120 may preferentially perform a search for another AP supporting about 160 MHz bandwidth of about 6 GHz band of WLAN. . Latency performance may be important in an AR system, and for example, an about 6 GHz band may be more free from interference due to a wide bandwidth (eg, about 160 MHz). Accordingly, the processor 120 may operate to first search for a WLAN in the approximately 6 GHz band.
  • the processor 120 may identify whether another AP satisfying an image transmission requirement is searched based on the result of searching for the other AP.
  • the processor 120 may proceed to operation 525 and perform operations 525 or less. If another AP satisfying the image transmission requirement is not found (eg, 'No' in operation 523 ), for example, when the search for an AP that satisfies the image transmission requirement is unsuccessful, the processor 120 performs operation 531 By proceeding to , operations 531 and subsequent operations may be performed.
  • the processor 120 may perform a connection operation with another discovered AP.
  • the processor 120 may connect to the other AP, and proceed to operation 513, on the same channel as the channel connected to the other AP. to connect with the external device 201 and perform an operation of performing scheduling for a period or SP.
  • the processor 120 may proceed to operation 531 .
  • the processor 120 may identify whether the network currently connected to the electronic device 101 corresponds to the second network 220 including the base station (eg, the base station 225 of FIG. 2 ). For example, the processor 120 may identify whether the network corresponds to the second network 220 when there is no connection to the first network 210 or an AP satisfying an image transmission requirement is not found. .
  • the processor 120 may provide network-related state information to the external device 201 in operation 541 .
  • the external device 201 may display the current status on the display module 340 based on the reception of status information from the electronic device 101 .
  • the processor 120 establishes a network connection of the electronic device 101 to the external device 201 through OOB. It is possible to transmit None and notify the user that there is no network connection based on each user interface (eg, displayed on a display or provide an alarm sound) of the electronic device 101 and/or the external device 201 .
  • second information related to the second network 220 to which the electronic device 101 is connected may be checked.
  • the processor 120 checks second information on a WLAN channel for performing a connection between the electronic device 101 and the external device 201 . can do.
  • the second information may include a channel busy degree for at least one channel among a plurality of channels of the first network 210 .
  • the processor 120 may measure channel congestion for a plurality of channels having a bandwidth of about 160 MHz in an about 6 GHz band among a plurality of channels supporting the first network 210 .
  • the processor 120 may perform an operation of measuring the channel congestion level.
  • the channel congestion degree may be calculated as a ratio of a time during which a wireless channel is occupied by wireless packets by other electronic devices during a specified time.
  • the processor 120 may transmit connection information (eg, channel information) to the external device 201 .
  • connection information eg, channel information
  • the processor 120 selects a channel with the lowest degree of congestion based on the measured channel congestion, and relates the selected channel to the first network 210 between the external device 201 and the electronic device 101 . It can be determined by connection information (eg, channel information).
  • the processor 120 may transmit channel information related to the determined channel to the external device 201 using OOB (eg, BLE).
  • OOB eg, BLE
  • the processor 120 may perform a wireless connection (eg, a WLAN connection) with the external device 201 based on the determined channel.
  • a wireless connection eg, a WLAN connection
  • the processor 120 may negotiate a link with the external device 201 (eg, a first link between the electronic device 101 and the external device 201 ).
  • each link eg, a first link between the electronic device 101 and the external device 201 and a second link between the electronic device 101 and the second network 220 )
  • negotiation may be performed with respect to SP duration, SP start time, and/or SP period.
  • FIG. 6 is a diagram illustrating an operation example of calculating SP in an electronic device according to various embodiments of the present disclosure
  • the first SP related to the first link 610 between the electronic device 101 and the external device 201 , and the electronic device 101 and the first network 210 (eg: An example of calculating the second SP for the second link 620 between the APs 215 may be shown.
  • the amount of data per frame required for each link (eg, the first link 610 and the second link 620 ) is predetermined in FIG. 6 .
  • the amount of data per frame required for each link may be determined based on an AR application or AR service being executed in the electronic device 101 and/or the external device 201 .
  • the amount of data per frame required for each link (or transmission requirement) may vary based on conditions (eg, resolution or speed) required by an AR application or AR service.
  • the first amount of data between the electronic device 101 and the external device 201 (eg, the first link 610 ) is the amount of data transmitted from the electronic device 101 to the external device 201 .
  • the second amount of data between the electronic device 101 and the external device 201 is the amount of data transmitted from the external device 201 to the electronic device 101 . It may indicate the amount of data per frame required in the uplink (UL) 613 (eg, uplink path (UL path)).
  • the third data amount between the electronic device 101 and the first network 210 is determined by the first network 210 (eg, the second link 620 ) in the electronic device 101 .
  • the fourth amount of data between the electronic device 101 and the first network 220 (eg, the second link 620 ) is transmitted from the electronic device 101 to the first network 210 (eg, the second link 620 ). It may indicate the amount of data per frame required in the uplink (UL) 623 for transmitting data to the AP 215 .
  • the first data amount, the second data amount, the third data amount, and the fourth data amount are specific values that may be determined based on the service and/or application executed by the external device 201 . may include
  • the electronic device 101 based on the data amount for each link 610 and 620 and the bandwidth for each link 610 and 620, as shown in the following example, the SP related to each link 610 and 620 . (eg, the first SP, the second SP) may be determined.
  • the electronic device 101 determines the SP by dividing the data amount for each link by the bandwidth of each link (eg, the first link 610 and the second link 620).
  • the electronic device 101 has a downlink and uplink data amount (eg, a first data amount) between the electronic device 101 and the external device 201 .
  • the second data amount) divided by the bandwidth (eg, wireless link bandwidth) of the first link 610 may be determined as the first SP between the electronic device 101 and the external device 201 . .
  • the electronic device 101 provides a downlink and uplink data amount (eg, third data) between the electronic device 101 and the first network 210 .
  • a value obtained by dividing the sum of the amount and the fourth data amount by the bandwidth (eg, network link bandwidth) of the second link 620 is determined as the second SP between the electronic device 101 and the first network 210 .
  • the bandwidth (eg, wireless link bandwidth, network link bandwidth) for each link is a spatial stream used by the electronic device 101 and/or a modulation and coding scheme (MCS) designated for communication. It may be determined based on at least an index (eg, MCS 11).
  • MCS modulation and coding scheme
  • the electronic device 101 may exchange a frame for communication connection with the external device 201 and/or the AP 215 , for example, an association request and an association response.
  • the frame for the connection may include information about a standard, a channel bandwidth, and/or a maximum number of spatial streams that can be used in wireless communication.
  • the electronic device 101 may measure the signal quality of the received signal, for example, by comparing the received signal quality with the receiver minimum input level sensitivity value defined in each standard, the maximum modulation (modulation) usable in wireless communication. ) method and a channel coding rate and/or a maximum MCS index can be estimated.
  • the maximum data rate defined in the standard may be calculated based on the standard, the channel bandwidth, the maximum number of spatial streams, the maximum modulation method based on the received signal quality, the channel coding rate, and/or the maximum MCS index value, based on the value to the bandwidth of the link between the electronic device 101 and the external device 201 (eg, the first link 610) or the link between the electronic device 101 and the AP 215 (eg, the second link 620). ) can be defined as the bandwidth of
  • the SP may be calculated using the link bandwidth.
  • the electronic device 101 calculates the SP when the link bandwidths of the uplink path and the downlink path are different from each other, as illustrated in Equation 2 and/or Equation 3, Similarly, the SP can be calculated by adding the link bandwidths corresponding to each downlink path and the uplink path.
  • FIG. 7 is a flowchart illustrating a method of operating an electronic device according to various embodiments of the present disclosure
  • 8 is a diagram for describing an example of scheduling according to an SP and a period in an electronic device according to various embodiments of the present disclosure
  • the electronic device 101 when the network through which the electronic device 101 and the server 301 are communicatively connected is the first network 210 , the electronic device 101 operates as an external device 201 (eg, tethered AR Glasses). It may be determined whether an image transmission requirement for AR image transmission is satisfied. According to an embodiment, the electronic device 101 determines that the sum of the first SP and the second SP calculated based on Equations 1 to 3 is within a period according to the frame rate of the external device 201 . Based on whether or not it is included, it may be determined whether the image transmission requirement is satisfied. For example, FIGS. 7 and 8 show examples of determining the SP and period for determining whether the image transmission requirement is satisfied when the electronic device 101 uses the first network 210 as a network with the server 301 . can indicate
  • the processor 120 of the electronic device 101 may identify a frame rate for displaying content in the external device 201 .
  • the processor 120 may search for a connectable external device 201 using OOB (eg, NFC, BLE, and/or Wi-Fi 2.4GHz) communication.
  • OOB eg, NFC, BLE, and/or Wi-Fi 2.4GHz
  • the external device 201 may periodically perform BLE advertisement (eg, broadcast connection request), and information indicating that the device is a device for supporting AR service in BLE advertisement, the external device 201 ), information related to a component (eg, a camera module, a sensor) including the external device 201 may be included.
  • the processor 120 may perform a periodic BLE scan through the wireless communication circuit 310 and receive a BLE advertisement of the external device 201 based on the BLE scan. . According to an embodiment, the processor 120 may check the frame rate of the external device 201 based on information obtained through OOB communication with the external device 201 .
  • the processor 120 may determine a repetition period based on the frame rate of the external device 201 .
  • the processor 120 may determine an image frame transmission interval 811 based on the frame rate of the external device 201 as illustrated in FIG. 8 .
  • the processor 120 may determine a first period (eg, 33.3 ms) for a first frame rate (eg, 30 fps) and a second period for a second frame rate (eg, 60 fps) (eg, 16.6 ms) may be determined, or a third period (eg, 8.3 ms) may be determined for the third frame rate (eg, 120 fps).
  • a first period eg, 33.3 ms
  • a second frame rate eg, 60 fps
  • a third period eg, 8.3 ms
  • data corresponding to one frame may be transmitted at least every 16.6 ms.
  • data corresponding to at least one frame may be transmitted and received during the SP 813 calculated based on the amount of data every 16.6 ms, and the sleep mode 815 may be entered again.
  • the processor 120 may determine a necessary time for transmitting data of one frame according to the frame rate for the image, and as shown in the example of FIG. 8 , one frame according to the frame rate for the image The time to transmit the data of may be determined. For example, at about 60 fps, at least one image frame needs to be transmitted in about 16.6 ms. That is, in the case of about 60 fps, the period per frame may be about 16.6 ms.
  • the processor 120 performs the first link 610 (eg, a link between the electronic device 101 and the external device 201 ) and the second link 620 (eg, the electronic device 101 and the AP ( 215) can calculate the amount of data related to the link between According to an embodiment, as described above, the data amount per frame required for each link (eg, the first link 610 and the second link 620) may be predetermined.
  • the amount of data related to the first link 610 includes the amount of data per frame (eg, bits/frame) required in the downlink DL through which the external device 201 receives data from the electronic device 101 and , may include the amount of data per frame required in an uplink (UL) for transmitting data from the external device 201 to the electronic device 101 .
  • the amount of data related to the second link 620 is the amount of data per frame required in the downlink in which the electronic device 101 receives data from the first network 210 (eg, the AP 215 ). and the amount of data per frame required in an uplink for transmitting data from the electronic device 101 to the first network 210 (eg, the AP 215 ).
  • the amount of data for each link may be different based on a service and/or application executed by the external device 201 .
  • the frame rate is 60 fps and the SP 813 determines that it is 1 ms.
  • the SP 813 may be determined by the network bandwidth, the amount of data per frame, and the allocation time for retransmission.
  • the electronic device 101 and the external device 201 are wirelessly connected with a bandwidth of 160 MHz according to the IEEE 802.11ax-based WLAN standard, and can support two spatial streams using the MIMO technique. If there is (eg, assuming that it operates in a sufficiently good signal quality in a short distance), it may be provided with a physical layer link speed of up to 2400 Mbps.
  • the network bandwidth may be assumed to be 1800 Mbps (2400 Mbps * 0.75).
  • the SP 813 eg, minimum service period
  • the SP 813 is 1 ms (1.8 Mbit/1800 Mbps).
  • the processor 120 may calculate a first SP related to the first link 610 and a second SP related to the second link 620 .
  • the processor 120 may calculate the first SP and the second SP in response to the description in the description with reference to ⁇ Equation 1> to ⁇ Equation 3>.
  • the processor 120 may determine the SP based on the amount of each link data.
  • the SP determination operation based on the amount of data and the period determination operation based on the frame rate are not limited to the order shown in FIG. 7 , and are performed in reverse order, in parallel, or heuristically to the order shown. can be
  • the processor 120 may identify whether an image transmission requirement is satisfied based on the sum of the first SP and the second SP. According to an embodiment, the processor 120 may determine whether the current network (eg, the first network 210 ) satisfies an image transmission requirement based on the determined image frame transmission period and SP. For example, when the sum of the first SP and the second SP is included within a specified period (eg, the sum of the first SP and the second SP is greater than the period according to the frame rate of the external device 201 ) small), it can be identified that the corresponding link (eg, the AP 215 of the first network 210) satisfies the image transmission requirement.
  • a specified period eg, the sum of the first SP and the second SP is greater than the period according to the frame rate of the external device 201
  • the processor 120 determines that the corresponding link (eg, the AP 215 of the first network 210) determines the image transmission requirement. can be identified as not being satisfied.
  • the processor 120 may allocate an SP.
  • the processor 120 may set the SP to ensure each required SP (required SP).
  • the processor 120 may be an external device.
  • the AP 215 supporting the 201 and the first network 210 and each link eg, the first link 610 between the electronic device 101 and the external device 201 , the electronic device 101 and the AP
  • the second link 620 between 215 may be negotiated.
  • the processor 120 performs the first link 610 between the electronic device 101 and the external device 201, the first link 610 between the electronic device 101 and each link based on the first network 210 .
  • negotiation may be performed on the SP duration, the SP start time, and/or the SP period.
  • the electronic device 101 and the external device 201 negotiate with the first link 610 on the SP duration, the SP start time, and/or the SP period, and the electronic device 101 and the AP 215 may negotiate with respect to the second link 620 with respect to an SP duration, an SP start time, and/or an SP period.
  • the electronic device 101 performs negotiation with the AP 215 and the second link 620 based on the result of negotiation with the external device 201 on the first link 610 .
  • the electronic device 101 when the calculated sum of the first SP and the second SP comes within an image frame transmission period, as in the above-described example, the electronic device 101 performs a corresponding network (eg, the first network 210 ) It may be determined that the AP 215 of the AP 215) satisfies the image transmission condition. According to another embodiment, when the sum of the first SP and the second SP is smaller than the image frame transmission period according to the frame rate of the external device 201 , the electronic device 101 takes into account the ratio of each SP for an additional retransmission time (retransmission time) can be reserved.
  • retransmission time additional retransmission time
  • the electronic device 101 sets the values (eg, sum) of the first SP, the first retransmission time, the second SP, and the second retransmission time within the image frame transmission period. In this case, it may be determined that the corresponding network (eg, the AP 215 of the first network 210 ) satisfies the image transmission condition. An example of this is shown in FIG. 9 .
  • 9 is a diagram for explaining an example of inter-link scheduling according to various embodiments.
  • 10 is a diagram for explaining an example of performing scheduling based on a TWT protocol according to various embodiments.
  • FIG. 9 illustrates a frame rate between the Wi-Fi AP 901 (eg, the AP 215 of FIG. 2 ) of the first network 210 , the electronic device 101 and the external device 201 .
  • An example of an image frame transmission period according to , and sleep and wake-up control according to SP may be shown.
  • FIG. 10 shows an electronic device 101 requesting a target wake time (TWT) with respect to the Wi-Fi AP 901 and the external device 201 (hereinafter, TWT).
  • TWT target wake time
  • the retransmission time 915 and/or the second SP 920 and the second of the second link between the electronic device 101 and the Wi-Fi AP 901 (eg, the second link 620 in FIG. 6 )
  • a method of performing scheduling based on the TWT protocol as shown in FIG. 10 may be used.
  • the TWT protocol defined in the 802.11ax standard and/or similar non-standard basis Negotiation may be performed for each link (eg, the first link and the second link) by using a sleep/wake time protocol.
  • the first SP 910 or the first retransmission time 915 of the first link between the electronic device 101 and the external device 201 of the first network 210 and the first The second SP 920 or second retransmission time 925 of the second link between the electronic device 101 of the network 210 and the Wi-Fi AP 901 is, for example, approximately at about 60 fps frame rate.
  • the values of the first retransmission time 915 and the second retransmission time 925 may be determined based on the first SP 910 and the second SP 920 .
  • the first retransmission time 915 may be set to the same value as the first SP 910
  • the second retransmission time 925 may be set to the second SP 920 .
  • the retransmission time 925 may be set to 1 ms.
  • the network when the network is the first network 210 (eg, Wi-Fi AP 901), the first SP 910 and the second SP 920 overlap each other.
  • An example of setting not to be (or not to overlap) can be shown.
  • the network type between the server 301 and the electronic device 101 is the same type (eg, the first network 210 ) between the electronic device 101 and the external device 201 . In this case, it may be set so that the transmission periods do not overlap.
  • a first SP 910 and a second SP 920 when the electronic device 101 operates as a TWT requesting STA for the Wi-Fi AP 901 and the external device 201 , a first SP 910 and a second SP 920 .
  • An example of operating (or setting) not to overlap can be shown.
  • the electronic device 101 is connected to the Wi-Fi AP 901 by operating as an STA, and at the same time, a group client (GC) mode of a Wi-Fi peer to peer (P2P) group ( mode) and connected to the external device 201 operating in a group owner (GO, group owner) mode (or soft AP mode) of a Wi-Fi P2P group may be shown.
  • GC group client
  • P2P Wi-Fi peer to peer
  • GO, group owner group owner
  • soft AP mode soft AP mode
  • the external device 201 may transmit a TWT request to the electronic device 101 .
  • the external device 201 or 101 while transmitting the TWT request, the external device 201 or 101 includes a TWT wake interval (or target wake interval) 930 and a TWT wake duration (or minimum wake duration) 935 included in the TWT element. ), and a value corresponding to each corresponding field for setting of the first TWT 955 may be set respectively to request network control.
  • the external device 201 sets the first TWT 955 based on the first SP 910 start time (or service start time), and the first SP 910 and the first retransmission time 915 ), the TWT wake duration 935 may be set, and the TWT wake interval 930 may be set based on the image frame transmission period 900 and transmitted to the electronic device 101 .
  • the external device 201 may use the image frame transmission period 900 value determined as the TWT wake interval 930 value, and the TWT wake duration 935 value is the first The value of the SP 910 or the sum of the value of the first SP 910 and the value of the first retransmission time 915 may be used.
  • the electronic device 101 sets the sum of the first SP 910 and the first retransmission time 915 as the TWT wake duration 935 in the TWT setting operation of the electronic device 101 and the external device 201 . can be used
  • the electronic device 101 may receive the TWT request from the external device 201 , and may transmit an acknowledgment (ACK) for the reception of the TWT request to the external device 201 .
  • ACK acknowledgment
  • the electronic device 101 may transmit a TWT response to the external device 201 in response to the TWT request of the external device 201 .
  • the external device 201 receiving the TWT response from the electronic device 101 may operate in a wake-up state by the value of the TWT wake duration 935 set in the TWT request.
  • the external device 201 may enter a sleep state after the first SP 910 and may enter a wake-up state in the next TWT wake interval 930 .
  • the external device 201 may add (or set) a service start start time value to the TWT field of the TWT request.
  • the external device 201 may receive a TWT response from the electronic device 101 , and transmit an ACK for the reception of the TWT response to the electronic device 101 .
  • the electronic device 101 and the external device 201 set the TWT wake interval 930, the TWT wake duration 935, and the first TWT 955 included in the TWT element through TWT negotiation.
  • TWT element eg, a TWT wake interval 930 , a TWT wake duration 935 , and a first TWT 955
  • the electronic The device 101 approves the TWT request of the external device 201 based on the channel congestion level and status information of the electronic device 101 or sets a TWT element supportable by the electronic device 101 to the external device 201 It can transmit (eg, transmit TWT response).
  • the electronic device 101 may transmit a TWT request to the Wi-Fi AP 901 .
  • each of the TWT wake interval 940 included in the TWT element, the TWT wake duration 945, and the second TWT 965 are Network control may be performed by setting values corresponding to corresponding fields, respectively.
  • the electronic device 101 may or set the TWT of the first link, set the second TWT 965 (or the TWT of the second link) based on the second SP 920 and the second retransmission time 925, and send the image frame Based on the period 900 , the TWT wake interval 940 may be set.
  • the first TWT 955 and the second TWT 965 may be set to have different values, and the electronic device 101 sets the values of the first TWT 955 and the second TWT 965 . Based on the differential setting, it is possible to control so that the first SP 910 and the second SP 920 do not overlap.
  • the electronic device 101 may use the determined image frame transmission period 900 value for the TWT wake interval 940 value, and the TWT wake duration 945 value for the second
  • the value of the SP 920 or the sum of the value of the second SP 920 and the value of the second retransmission time 925 may be used.
  • the electronic device 101 calculates the sum of the second SP 920 and the second retransmission time 925 as the TWT of the Wi-Fi AP 901 for the connection between the electronic device 101 and the server 301 . It can be used as the TWT wake duration (945) in the setting operation.
  • the electronic device 101 retransmits the first retransmission with the first SP 910 of the external device 201 as the second TWT 965 value.
  • a time value in consideration of the time 915 may also be used.
  • the electronic device 101 adds the value of the first TWT 955 set with the external device 201 to the first SP 910 and the first retransmission time 915 to the Wi-Fi AP 901 .
  • the electronic device 101 may set the second TWT 965 in consideration of the time when the first SP 910 or the first retransmission time 915 ends.
  • the Wi-Fi AP 901 may receive a TWT request from the electronic device 101 , and transmit an ACK for the reception of the TWT request to the electronic device 101 .
  • the Wi-Fi AP 901 may transmit a TWT response to the electronic device 101 in response to the TWT request of the electronic device 101 .
  • the Wi-Fi AP 901 communicates with the electronic device 101 in the period of the TWT wake duration 945 set in the TWT request, the third data 621 and the fourth data (eg, uplink) 623 . ) can be transmitted and received.
  • the Wi-Fi AP 901 sets the TWT wake interval 940 , the TWT wake duration 945 , and the second TWT 965 included in the TWT element set by the electronic device 101 . can be determined through negotiation.
  • the Wi-Fi AP 901 may check whether an SP with at least one other electronic device (not shown) communicatively connected to the Wi-Fi AP 901 does not overlap.
  • the electronic device 101 may receive a TWT response from the Wi-Fi AP 901 , and transmit an ACK for the reception of the TWT response to the Wi-Fi AP 901 .
  • the electronic device 101 sets the TWT to the first SP 910 and the second SP 920 in the TWT setting operation of each link. ) can be set so that they do not overlap.
  • the electronic device 101 may re-perform the TWT setting operation with the external device 201 based on the TWT setting with the Wi-Fi AP 901 .
  • the electronic device 101 may reset a part of the TWT setting with the external device 201 (eg, the first TWT 955) based on the TWT setting with the Wi-Fi AP 901 have.
  • 11 is a diagram for explaining another example of performing scheduling based on a TWT protocol according to various embodiments.
  • FIG. 11 illustrates TWT settings for a case in which the electronic device 101 operates as a TWT requesting STA to the Wi-Fi AP 901 and operates as a TWT responding STA to the external device 201 An example of an operation to be performed can be shown.
  • the network when the network is the first network 210 (eg, Wi-Fi AP 901 ), the first SP 910 and the second SP 920 do not overlap each other (or An example of setting not to overlap) can be shown.
  • the network type between the server 301 and the electronic device 101 is the same type (eg, the first network 210 ) between the electronic device 101 and the external device 201 . In this case, it can be set so that the SPs do not overlap.
  • the first SP 910 ) and the second SP 920 may represent an example of operation (or setting) so that they do not overlap.
  • the electronic device 101 is connected to the Wi-Fi AP 901 by operating as an STA, and at the same time, the GO mode (or soft AP) of the Wi-Fi P2P group with the external device 201 mode) and connected to the external device 201 operating in the GC mode (or STA mode) of the Wi-Fi P2P group may be shown.
  • the electronic device 101 may transmit a TWT response to the external device 201 .
  • the electronic device 101 transmits the TWT response, each for setting the TWT wake interval 930, the TWT wake duration 935, and the first TWT 955 included in the TWT element.
  • Network control may be performed by setting values corresponding to corresponding fields, respectively.
  • the electronic device 101 sets the first TWT 955 based on the first SP 910 start time (or service start time), and the first SP 910 and the first retransmission time 915 .
  • the electronic device 101 may use the determined image frame transmission period 900 value for the TWT wake interval 930 value, and the TWT wake duration 935 value for the first
  • the value of the SP 910 or the sum of the value of the first SP 910 and the value of the first retransmission time 915 may be used.
  • the electronic device 101 sets the sum of the first SP 910 and the first retransmission time 915 as the TWT wake duration 935 in the TWT setting operation of the electronic device 101 and the external device 201 . can be used
  • the external device 201 may receive a TWT response from the electronic device 101 and transmit an ACK for the reception of the TWT response to the electronic device 101 .
  • the electronic device 101 may directly transmit a TWT response.
  • the TWT setting operation for the Wi-Fi AP 901 may be directly performed.
  • the external device 201 includes TWT setting information (eg, a TWT wake interval 930 , a TWT wake duration 935 , and/or a first
  • TWT setting information eg, a TWT wake interval 930 , a TWT wake duration 935 , and/or a first
  • the electronic device 101 does not receive the TWT teardown from the external device 201. If not, it may be determined that the TWT setting with the external device 201 is normally completed.
  • the electronic device 101 and the Wi-Fi AP 901 perform operations 1009, 1011, 1013, and 1015 in FIG. A corresponding action may be performed.
  • FIG. 12 is a diagram for explaining another example of inter-link scheduling according to various embodiments.
  • FIG. 12 is an image according to a frame rate between the base station 1201 (eg, the base station 225 of FIG. 2 ) of the second network 220 , the electronic device 101 , and the external device 201 of the second network 220 .
  • An example of sleep and wake-up control according to a frame transmission period and SP may be shown.
  • the network connected to the electronic device 101 is the base station 1201 of the second network 220
  • the first SP 1210 and the second SP 1220 are overlapped ( or setting) may be provided.
  • a network type (eg, second network 220 ) between the server 301 and the electronic device 101 is a network type (eg, second network 220 ) between the electronic device 101 and the external device 201 .
  • the transmission period may be set to overlap.
  • the electronic device 101 may negotiate with the external device 201 on a TWT wake duration, a TWT wake interval, and an image frame transmission period.
  • the electronic device 101 processes the first SP 1210 and the second SP 1220 within a given period, for example, a TWT protocol defined in the 802.11ax standard or a similar non-standard based As a result, negotiation can be performed for each link using the sleep/wake time protocol.
  • a TWT protocol defined in the 802.11ax standard or a similar non-standard based
  • a first SP 1210 and a first retransmission time 1215 between the electronic device 101 and the external device 201 of the first network 210 , and/or a second The second SP 1220, and the second retransmission time 1225 between the base station 1201 and the electronic device 101 of the network 220 for example, image transmission within a period of about 16.6 ms at a frame rate of about 60 fps
  • An example of a case in which a requirement is set can be shown.
  • the electronic device 101 schedules the first SP 1210 , the first retransmission time 1215 , the second SP 1220 , and the second retransmission time 1225 between links, For example, a method of performing scheduling based on the TWT protocol as illustrated in FIG. 10 or FIG. 11 may be used.
  • the first SP 1210 and the second SP 1220 overlap each other at least partially (or overlapping) can be shown.
  • the second SP 1220 and the second retransmission time 1225 are different from when the network is the first network 210 . may be performed at least partially at the same time as the first SP 1210 and the second retransmission time 1225 .
  • the electronic device 101 and the external device 201 may communicate using a WLAN protocol, and the electronic device 101 and the server 301 may communicate with the second network 220 (eg, a cellular base station). (1201)), there may be no interference even when the first SP 1210 and the second SP 1220 are used at the same time.
  • the electronic device 101 switches to the wake-up state at the same time, performs data transmission/reception with the external device 201 through the first network 210 , and connects to the second network 220 . Through this, data transmission/reception can be performed with the server 301 (or the cellular base station 1201). For example, since the electronic device 101 can enter a sleep mode when transmission and reception of both links are normally terminated, the electronic device 101 can have a gain in current consumption.
  • FIG. 13 is a flowchart illustrating an operation of an external device according to various embodiments of the present disclosure
  • FIG. 13 may show an example in which the external device 201 provides an AR service based on a TWT negotiation with the electronic device 101 .
  • the processor 380 of the external device 201 may execute an AR service.
  • the processor 380 may execute an AR service (or an AR application related to an AR service) in the external device 201 based on a request from a user or the electronic device 101 .
  • the processor 380 may detect the connectable electronic device 101 through OOB communication when the AR service is executed.
  • the processor 380 detects the electronic device 101 using BLE as OOB, and uses a Wi-Fi direct protocol to transmit the electronic device (eg, WLAN channel) to a specific channel (eg, WLAN channel). 101) can be connected.
  • the processor 380 may transmit frame rate information of the external device 201 to the electronic device 101 through the communication module 365 based on the execution of the AR service. According to an embodiment, the processor 380 transmits the frame rate information to the electronic device 101 after detecting the frame rate information through OOB communication before connecting to the electronic device 101 or after connecting to the electronic device 101 . Information may be transmitted to the electronic device 101 .
  • the processor 380 may perform TWT negotiation with the electronic device 101 .
  • the processor 380 may perform TWT negotiation with the electronic device 101 in response to the description in the description with reference to FIGS. 10 and/or 11 .
  • the processor 380 may transmit/receive data to and from the electronic device 101 based on the TWT setting.
  • the processor 120 may transmit data (eg, image information captured using the camera module 360 ) to the electronic device 101 based on a TWT parameter.
  • the processor 120 may display AR data (eg, an AR image) through the display module 340 .
  • the processor 120 may receive the AR image from the electronic device 101 through the communication module 365 , and display the received AR image through the display module 340 .
  • FIG. 14 shows a first network 210 (eg, in the second network 220 ) when the network to which the electronic device 101 is currently connected is the second network 220 (eg, a cellular network).
  • the second network 220 eg, a cellular network.
  • An example of changing the network to a Wi-Fi network can be shown.
  • the processor 120 of the electronic device 101 may perform an AR service based on the connection to the second network 220 .
  • the electronic device 101 communicates with the external device 201 based on the first network 210 , and performs the AR service while the server 301 and the second network 220 are communicatively connected. can do.
  • the processor 120 searches for an AP (eg, the AP 215 of FIG. 2 ) of the first network 210 that is connectable (or roaming) during the AR service based on the second network 220 .
  • an AP eg, the AP 215 of FIG. 2
  • the first network 210 may be periodically monitored, and the monitoring result
  • An operation of searching for the first network 210 (eg, Wi-Fi AP) capable of connecting or roaming may be performed based on the .
  • the operation of discovering the AP of the connectable (or roaming) first network 210 may be performed by a user's request or by the first network 210 through the second network. (220) may be performed based on a higher priority than the setting.
  • the processor 120 may identify whether an AP that satisfies a transmission requirement is searched for based on the search result. According to an embodiment, when an AP is discovered based on the AP discovery result, the processor 120 may determine whether the discovered AP satisfies a transmission requirement. For example, the processor 120 may determine whether the discovered AP satisfies an image transmission requirement in consideration of the first SP and the second SP and/or the first retransmission time and the second retransmission time.
  • the electronic device 101 calculates the first SP and the first retransmission time based on the frame rate of the external device 201, and the discovered AP determines the first SP and the first retransmission time based on the first SP and the first retransmission time.
  • the second SP and the second retransmission time can be supported (eg, whether the sum of the first SP, the second SP, the first retransmission time, and the second retransmission time is smaller than the period according to the frame rate of the external device 201 ) or not) can be determined.
  • the processor 120 delays for a specified period of time (eg, T, T > 0) in operation 1407, then operation 1403 , the operation of finding an appropriate AP may be re-performed.
  • the processor 120 may connect (or roam) with the corresponding AP in operation 1409 .
  • the processor 120 changes the network for the AR service from the second network 220 to the first network 210 (or changes the data path (eg, the second change from the data path 240 to the first data path 230.
  • the first SP and the second The AR service may be provided based on scheduling in consideration of the SP and/or the first retransmission time and the second retransmission time, for example, the processor 120 may provide the first SP and/or the first retransmission time and the second SP. and/or schedule such that the second retransmission times overlap at least partially.
  • 15 is a flowchart illustrating an operation of an electronic device according to various embodiments of the present disclosure.
  • FIG. 15 shows that the electronic device 101 is in a state of communication with the AP 215 supported by the first network 210 and is based on another application (or service) running in the electronic device 101 .
  • the TWT is set between the AP 215 and the electronic device 101 .
  • FIG. 15 shows that the electronic device 101 is in a state of communication with the AP 215 supported by the first network 210 and is based on another application (or service) running in the electronic device 101 .
  • the TWT is set between the AP 215 and the electronic device 101 .
  • the electronic device 101 searches for the external device 201 through OOB (or receives an AR service request from the external device 201), and the external device 201 ) of the first network 210 through the AP 215 and the AP 215, or the electronic device 101 and the AP 215 based on the AR service condition (or the transmission requirement (eg, frame rate)) ) may represent an example of changing the second network 220 including the base station 225 .
  • the processor 120 of the electronic device 101 may perform TWT negotiation with the AP 215 supporting the first network 210 .
  • the processor 120 corresponds to that described in the description with reference to FIGS. 10 and/or 11 , the AP 215 (eg, the Wi-Fi AP 901 of FIG. 10 or 11 ).
  • TWT negotiation can be performed with the AP 215 supporting the first network 210 .
  • the processor 120 may detect AR service start while the electronic device 101 is connected to the AP 215 .
  • the processor 120 executes an application related to an AR service (eg, an AR application) in the electronic device 101 and/or based on detecting a connection request with the external device 201 The initiation of the service can be detected.
  • an AR service eg, an AR application
  • the processor 120 performs the communication between the external device 201 and the first network 210 through the first network 210 .
  • AR service can be performed through communication connection.
  • the processor 120 may identify an AR service condition (or a transmission requirement condition (eg, frame rate)) of the external device 201 .
  • the processor 120 receives information on the frame rate of the external device 201 through OOB communication, or information on the frame rate of the external device 201 related to the AR service based on a connection history. can be checked.
  • the processor 120 may determine whether the AP 215 satisfies the AR service condition based on the AR service condition. According to an embodiment, the processor 120 may determine whether the first network 210 currently connected between the electronic device 101 and the AP 215 satisfies the AR service condition. The processor 120 may provide a transmission function for a satisfactory AR experience. According to an embodiment, the first network 210 currently connected between the electronic device 101 and the AP 215 is a server 301 through the AP 215 in which the electronic device 101 supports the first network 210 . ) may mean a communication connection with
  • the processor 120 may reset the TWT in operation 1509 .
  • the processor 120 may re-perform the TWT setting operation with the electronic device 101 based on the TWT setting with the external device 201 .
  • the processor 120 may configure a plurality of TWTs with the AP 215 based on an application (or service) being executed in the electronic device 101 .
  • a plurality of TWTs may be included between the electronic device 101 and the AP 215 .
  • the processor 120 considers the existing TWT based on an application (eg, AR service) additionally executed in the electronic device 101 in a state in which the AP 215 and the TWT have been configured. 201) and the second SP with the AP 215 may be set.
  • the processor 120 may provide the AR service based on scheduling in consideration of the first SP and the second SP and/or the first retransmission time and the second retransmission time. For example, the processor 120 may schedule the first SP and/or the first retransmission time and the second SP and/or the second retransmission time to at least partially overlap.
  • the processor 120 may change the network to another network in operation 1511 .
  • the processor 120 may change the network for the AR service from the first network 210 to the second network 220 including the base station 225 .
  • the processor 120 changes the connection between the electronic device 101 and the AP 215 from the first network 210 to the second network 220 to provide the AR service. can provide
  • the external device 201 may include a rollable, foldable, or slidable display (eg, the display module 160 of FIG. 1 ).
  • the external device 201 may require a different amount of data per frame based on a display state (eg, at least part of it is folded, at least part of it is folded or unfolded).
  • the amount of data per frame required by the external device 201 may vary based on the resolution of the display.
  • the external device 201 may renegotiate a TWT wake duration, a TWT wake interval, and an image frame transmission period with the electronic device 101 based on a change in the state of the display.
  • the operation method performed by the electronic device 101 includes, when initiating an augmented reality (AR) service with an external device 201 , based on a data amount of a specified data path. identifying a first service period (SP), identifying a transmission interval based on a frame rate of the external device 201, and at least based on the first SP and the transmission period, the electronic device An operation of identifying whether a network connected to 101 satisfies a specified transmission requirement, an operation of determining connection information related to a connection with the external device 201 based on a network that satisfies the transmission requirement, and the connection It may include an operation of performing a connection with the external device 201 based on the information.
  • AR augmented reality
  • the operation of identifying the first SP is performed in a target wake time (TWT) element of a first link between the electronic device 101 and the external device 201 .
  • TWT target wake time
  • establishing a first TWT related to the first link based on the second TWT related to a second link between the electronic device 101 and the network based at least on the first TWT and a TWT element of the first link and setting the TWT
  • the TWT element may include a TWT wake interval, a TWT wake duration, and a TWT.
  • the operation performed by the electronic device 101 includes calculating the first SP based on the data amount of the first link, and calculating the first SP based on the data amount of the second link. based on the calculation of the second SP.
  • the identifying whether the transmission requirement condition is satisfied may include: when the sum of the first SP and the second SP is included in a transmission period according to the frame rate, the network It may include an operation of determining that the transmission requirement is satisfied.
  • the first SP divides an amount of data required for one frame transmission in the first link between the electronic device and the external device by a link bandwidth of the first link. It may include a calculated required time.
  • the second SP calculates the required time calculated by dividing the amount of data required to transmit one frame in the second link between the electronic device and the network by the link bandwidth of the second link.
  • the determining of the connection information may include converting a channel through which the electronic device 101 and the network are connected to a channel between the electronic device 101 and the external device 201 . It may include an action to determine.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)

Abstract

다양한 실시예들은 테더드(tethered) AR 시스템에서 저지연(low latency) 및 저전력(low power) 데이터 통신을 위한 네트워크 제어 방법 및 장치에 관하여 개시한다. 다양한 실시예들에 따른 전자 장치는, 무선 통신 회로, 및 프로세서를 포함하고, 상기 프로세서는, 외부 장치와 AR(augmented reality) 서비스의 개시(initiate) 시에, 지정된 데이터 패스의 데이터량에 기반하여 제1 SP(service period)를 식별하고, 상기 외부 장치의 프레임 레이트에 기반하여 전송 주기(interval)를 식별하고, 상기 제1 SP 및 상기 전송 주기에 적어도 기반하여, 상기 전자 장치와 연결된 네트워크가 지정된 전송 요구 조건을 만족하는지 식별하고, 상기 전송 요구 조건을 만족하는 네트워크에 기반하여, 상기 외부 장치와 연결에 관련된 연결 정보를 결정하고, 및 상기 연결 정보에 기반하여 상기 외부 장치와 연결을 수행하도록 할 수 있다. 다양한 실시예들이 가능하다.

Description

전자 장치에서 데이터 통신을 위한 네트워크 제어 방법 및 장치
관련 출원(들)과의 상호 인용
본 출원은 2020년 8월 4일자 한국특허출원 제 10-2020-0097120호에 기초한 우선권의 이익을 주장하며, 해당 한국 특허 출원의 문헌에 개시된 모든 내용은 본 명세서의 일부로서 포함된다.
본 개시의 다양한 실시예들은 외부 장치들과 각각 통신 연결 가능한 전자 장치에서, 외부 장치들과 데이터 통신을 위한 네트워크 제어 방법 및 장치에 관하여 개시한다.
최근 전자 장치는 현실 세계에 3차원 가상 물체(virtual object)를 겹쳐 보여주는 증강 현실(AR, augmented reality) 기술을 이용한 다양한 서비스를 제공하고 있다. 전자 장치는, 예를 들면, 이동통신 단말기, 스마트 폰(smart phone), 태블릿(tablet) PC(personal computer), 노트북(notebook), 웨어러블 장치(wearable device), 및/또는 AR 글래스(glasses)(또는 스마트 글래스)와 같은 다양한 종류의 장치를 포함할 수 있다. 일 실시예에 따르면, AR은 웨어러블 유리 장치(예: AR 글래스), 헤드 마운트 장치(예: HMD, head mounted display) 또는 스마트 폰에서 제공될 수 있으며, AR 서비스에 관련된 어플리케이션을 통해 현실 세계 위에 다양한 디지털 컨텐츠(digital contents)를 오버레이(overlay)하여 제공할 수 있다. AR 컨텐츠는 AR 서비스를 제공하는 장치에서 생성되거나 또는 다른 장치로부터 수신하여 제공될 수 있다.
예를 들면, 최근에는 전자 장치(예: 스마트 폰)에 연결되어 AR 컨텐츠를 표시하는 외부 장치(예: 테더드 AR 글래스(tethered AR glasses))가 개발되고 있고, 이를 이용한 테더드 AR 시스템(tethered AR system)(또는 환경)에 기반한 AR 서비스에 관한 연구 및 개발이 진행되고 있다. 예를 들면, 테더드 AR 시스템은 전자 장치(예: 스마트 폰)가 AR 글래스와 서버(예: 클라우드(cloud))의 사이에서, AR 글래스 및/또는 서버와 각각 연결되고, 전자 장치가 서버(예: 클라우드)로부터 획득된 데이터(예: 이미지 및/또는 정보)를 처리하고, 전자 장치에서 처리된 데이터에 기반하여, AR 글래스에서 AR 환경을 구현할 수 있다.
일반적으로, 테더드 AR 시스템의 경우, 사용자에게 만족스러운 AR 경험을 제공하기 위해서는, 저지연 및/또는 초절전 방법을 이용해야 할 수 있다. 예를 들면, AR 글래스에서 재생하는 이미지의 지연이 클 경우 사용자에게 이미지가 끊겨서 표시될 수 있다. 따라서, 테더드 AR 시스템에서 각 구성 요소(예: 클라우드, 전자 장치 및/또는 AR 글래스) 간의 저지연 통신이 요구될 수 있다. 또 다른 예를 들어, AR 글래스의 경우 사용자가 착용해야 하므로, 경량화를 위해 배터리 용량의 한계가 있을 수 있으며, 사용자에게 AR 서비스의 오랜 시간 제공을 위해, 소모 전류 절감(또는 초절전 방법)이 요구될 수 있다.
다양한 실시예들에서는, 테더드(tethered) AR 시스템에서 전자 장치가 외부 장치들(예: 서버, AR Glasses)과 저지연(low latency) 및 저전력(low power) 데이터 통신을 위한 네트워크 제어 방법 및 장치에 관하여 개시할 수 있다.
다양한 실시예들에서는, 전자 장치와 외부 장치(예: AR glasses) 간의 전송 요구 조건에 기반하여 네트워크(또는 네트워크 베어러(network bearer))를 적응적으로 선택 또는 전환할 수 있는 방법 및 장치에 관하여 개시할 수 있다.
본 개시의 일 실시예에 따른 전자 장치는, 무선 통신 회로, 및 상기 무선 통신 회로와 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 외부 장치와 AR(augmented reality) 서비스의 개시(initiate) 시에, 지정된 데이터 패스의 데이터량에 기반하여 제1 SP(service period)를 식별하고, 상기 외부 장치의 프레임 레이트에 기반하여 전송 주기(interval)를 식별하고, 상기 제1 SP 및 상기 전송 주기에 적어도 기반하여, 상기 전자 장치와 연결된 네트워크가 지정된 전송 요구 조건을 만족하는지 식별하고, 상기 전송 요구 조건을 만족하는 네트워크에 기반하여, 상기 외부 장치와 연결에 관련된 연결 정보를 결정하고, 및 상기 연결 정보에 기반하여 상기 외부 장치와 연결을 수행하도록 할 수 있다.
본 개시의 일 실시예에 따른 전자 장치는, 무선 통신 회로, 및 프로세서를 포함하고, 상기 프로세서는, 상기 무선 통신 회로를 통해 외부 장치와 연결을 감지하고, 상기 전자 장치와 상기 외부 장치 사이의 제1 링크의 데이터량 및 상기 전자 장치와 네트워크 사이의 제2 링크의 데이터량을 획득하고, 상기 제1 링크의 데이터량에 기반하여 상기 제1 링크의 제1 SP(service period)를 계산하고, 상기 제2 링크의 데이터량에 기반하여 상기 제2 링크의 제2 SP를 계산하고, 상기 제1 SP와 상기 제2 SP에 기반하여 이미지 전송 요구 조건을 만족하는 네트워크를 결정하고, 및 상기 결정된 네트워크에 기반하여, 상기 제1 링크의 채널과 상기 제2 링크의 채널을 동일하게 설정하여 상기 외부 장치와 연결하도록 할 수 있다.
본 개시의 일 실시예에 따른 전자 장치의 동작 방법은, 외부 장치와 AR(augmented reality) 서비스의 개시(initiate) 시에, 지정된 데이터 패스의 데이터량에 기반하여 제1 SP(service period)를 식별하는 동작, 상기 외부 장치의 프레임 레이트에 기반하여 전송 주기(interval)를 식별하는 동작, 상기 제1 SP 및 상기 전송 주기에 적어도 기반하여, 상기 전자 장치와 연결된 네트워크가 지정된 전송 요구 조건을 만족하는지 식별하는 동작, 상기 전송 요구 조건을 만족하는 네트워크에 기반하여, 상기 외부 장치와 연결에 관련된 연결 정보를 결정하는 동작, 및 상기 연결 정보에 기반하여 상기 외부 장치와 연결을 수행하는 동작을 포함할 수 있다.
상기와 같은 과제를 해결하기 위하여 본 개시의 다양한 실시예들에서는, 상기 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
본 개시의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 개시의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 개시의 바람직한 실시예와 같은 특정 실시예는 단지 예시로 주어진 것으로 이해되어야 한다.
다양한 실시예들에 따른 전자 장치 및 그의 동작 방법에 따르면, 테더드(tethered) AR 시스템에서 구현을 위한 외부 장치들(예: Cloud, AR Glasses)과 저지연(low latency) 및/또는 저전력(low power) 데이터 통신이 가능할 수 있다. 다양한 실시예들에서는, 전자 장치가 제1 구간 및 제2 구간이 서로 다른 대역(band) 또는 서로 다른 종류의 네트워크를 이용하여 통신을 수행하는 경우 SP(service period)가 중첩(overlap) 되게 제어하고, 제1 구간 및 제2 구간이 같은 대역 또는 같은 종류의 네트워크를 이용하여 통신을 수행하는 경우 SP가 중첩되지 않도록 제어하여 저지연 또는 저전력 통신을 수행할 수 있다.
도면 설명과 관련하여, 동일 또는 유사한 구성 요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2a, 도 2b 및 도 2c는 다양한 실시예들에 따른 AR 서비스를 지원하는 AR 시스템의 예를 도시하는 도면들이다.
도 3a는 다양한 실시예들에 따른 전자 장치의 구성을 개략적으로 도시하는 도면이다.
도 3b는 다양한 실시예들에 따른 외부 장치의 구성을 개략적으로 도시하는 도면이다.
도 4는 다양한 실시예들에 따른 전자 장치의 동작을 도시하는 흐름도이다.
도 5는 다양한 실시예들에 따른 전자 장치에서 외부 장치와 연결하는 동작을 도시하는 흐름도이다.
도 6은 다양한 실시예들에 따른 전자 장치에서 SP를 계산하는 동작 예를 설명하기 위해 도시하는 도면이다.
도 7은 다양한 실시예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 8은 다양한 실시예들에 따른 전자 장치에서 SP 및 주기에 따른 스케줄링 예를 설명하기 위한 도면이다.
도 9는 다양한 실시예들에 따른 링크 간 스케줄링의 예를 설명하기 위한 도면이다.
도 10은 다양한 실시예들에 따라 TWT 프로토콜 기반으로 스케줄링을 수행하는 예를 설명하기 위한 도면이다.
도 11은 다양한 실시예들에 따라 TWT 프로토콜 기반으로 스케줄링을 수행하는 다른 예를 설명하기 위한 도면이다.
도 12는 다양한 실시예들에 따른 링크 간 스케줄링의 다른 예를 설명하기 위한 도면이다.
도 13은 다양한 실시예들에 따른 외부 장치의 동작을 도시하는 흐름도이다.
도 14는 다양한 실시예들에 따른 전자 장치의 동작을 도시하는 흐름도이다.
도 15는 다양한 실시예들에 따른 전자 장치의 동작을 도시하는 흐름도이다.
도 1은 다양한 실시예들에 따른 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치(CPU, central processing unit) 또는 어플리케이션 프로세서(AP, application processor)) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치(GPU, graphic processing unit), 신경망 처리 장치(NPU, neural processing unit), 이미지 시그널 프로세서(ISP, image signal processor), 센서 허브 프로세서(sensor hub processor), 또는 커뮤니케이션 프로세서(CP, communication processor))를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(inactive)(예: 슬립(sleep)) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(OS, operating system)(142), 미들 웨어(middleware)(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD(secure digital) 카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN(wide area network))와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB, enhanced mobile broadband), 단말 전력 최소화와 다수 단말의 접속(mMTC, massive machine type communications), 또는 고신뢰도와 저지연(URLLC, ultra-reliable and low-latency communications)을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO, full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC, mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱(heuristic)하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 2a, 도 2b 및 도 2c는 다양한 실시예들에 따른 AR 서비스를 지원하는 AR 시스템의 예를 설명하기 위해 도시하는 도면들이다.
일 실시예에 따르면, 도 2a, 도 2b 및 도 2c는 전자 장치(101), 외부 장치(201)(예: 도 1의 전자 장치(102)) 및 서버(301)(예: 도 1의 서버(108))가 AR(augmented reality) 서비스 지원을 위해 서로 통신을 수행하는 예를 나타낼 수 있다.
도 2a, 도 2b 및 도 2c에 도시한 바와 같이, 일 실시예에 따른 AR 서비스를 지원하기 위한 AR 시스템(예: 테더드(tethered) AR 시스템)은, 전자 장치(101)(예: 스마트 폰(smart phone)), 외부 장치(201)(예: AR 글래스(glasses), 스마트 글래스, 또는 디스플레이 장치), 서버(301)(예: 클라우드(cloud)), AP(access point)(215)(예: Wi-Fi AP 또는 Wi-Fi 라우터(router))를 포함하는 제1 네트워크(210)(예: Wi-Fi network), 및 기지국(base station)(225)을 포함하는 제2 네트워크(220)(예: cellular network)를 포함할 수 있다.
일 실시예에 따라, 전자 장치(101)는, 예를 들면, 도 1을 참조한 설명 부분에서 설명한 바에 대응하는 구성 요소를 포함할 수 있다. 일 실시예에 따라, 전자 장치(101)는 AR 서비스를 위해 관련 데이터(예: AR 이미지)를 직접 생성하거나(예: 저장 또는 처리된 데이터에 기반하여 생성) 또는 서버(301)로부터 획득하여, 외부 장치(201)에 제공하기 위한 컴퓨팅 호스트(computing host)의 동작을 수행할 수 있다. 예를 들면, 전자 장치(101)는 이미지 처리를 수행하고, AP(215)를 포함하는 제1 네트워크(210) 및/또는 기지국(225)을 포함하는 제2 네트워크(220)를 통해 서버(301)와 무선 통신이 가능한 스마트 폰과 같은 전자 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)는 외부 장치(201)와의 통신 연결을 통해 외부 장치(201)로부터 장면(scene) 정보(예: 이미지 데이터), 센서 정보 및/또는 위치 정보와 같은 적어도 하나의 정보를 획득(예: 수신)할 수 있다.
일 실시예에 따라, 외부 장치(201)는, 전자 장치(101)로부터 데이터(예: AR 이미지 또는 AR 이미지 프레임)를 수신하고, 수신된 데이터를 외부 장치(201)의 디스플레이를 통해 현실 세계 데이터와 함께 제공(예: 표시)할 수 있는 전자 장치를 포함할 수 있다. 예를 들면, 외부 장치(201)는 AR 글래스 및/또는 스마트 글래스(smart glasses)와 같은 웨어러블 장치를 포함하거나, 또는 표시 기능을 지원하는 디스플레이 장치를 포함할 수 있다. 일 실시예에 따르면, 외부 장치(201)는 전자 장치(101)와의 통신 연결을 통해 장면 정보, 센서 정보 및/또는 위치 정보와 같은 적어도 하나의 정보를 전자 장치(101)로 제공(예: 전송)할 수 있다.
일 실시예에 따르면, 전자 장치(101)와 외부 장치(201)는 Wi-Fi 및/또는 Wi-Gig와 같은 WLAN(wireless local area network) 통신을 이용하여 데이터를 송수신할 수 있다.
일 실시예에 따라, 서버(301)는 AR 컨텐츠를 제공하는 서버(또는 클라우드)(예: 클라우드 서버, 컨텐츠 서버, 또는 웹 서버)를 포함할 수 있다.
일 실시예에 따라, 제1 네트워크(210)는, 예를 들면, AP(215)(예: Wi-Fi AP 또는 Wi-Fi 라우터)를 포함할 수 있다. 일 실시예에 따라, 제1 네트워크(210)는 전자 장치(101)와 서버(301) 간의 제1 데이터 패스(first data path)(230)(또는 제1 네트워크 패스(first network path))(예: Wi-Fi path)를 제공할 수 있다. 예를 들어, 도 2b에 예시한 바와 같이, 제1 데이터 패스(230)는 전자 장치(101), AP(215) 및 서버(301) 사이의 패스를 포함할 수 있고, 전자 장치(101)와 서버(301)는 AP(215)를 포함하는 제1 네트워크(210)를 매개체로, 제1 데이터 패스(230)를 형성하여 통신할 수 있다. 예를 들어, 제1 네트워크(210)는 제1 데이터 패스(230)를 통해 서버(301)로부터 데이터를 전자 장치(101)에 제공할 수 있다.
일 실시예에 따라, 제2 네트워크(220)는, 예를 들면, 레거시 네트워크(예: 3G 네트워크, 4G 네트워크) 및/또는 5G 네트워크를 위한 기지국(225)을 포함할 수 있다. 일 실시예에 따라, 제2 네트워크(220)는 전자 장치(101)와 서버(301) 간의 제2 데이터 패스(240)(second data path)(또는 제2 네트워크 패스(second network path))(예: cellular path)를 제공할 수 있다. 예를 들어, 도 2c에 예시한 바와 같이, 제2 데이터 패스(240)는 전자 장치(101), 기지국(225) 및 서버(301) 사이의 패스를 포함할 수 있고, 전자 장치(101)와 서버(301)는 기지국(225)을 포함하는 제2 네트워크(220)를 매개체로, 제2 데이터 패스(240)를 형성하여 통신할 수 있다. 예를 들어, 제2 네트워크(220)는 제2 데이터 패스(240)를 통해 서버(301)로부터 데이터를 전자 장치(101)에 제공할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 제1 네트워크(210) 또는 제2 네트워크(220)를 통해 서버(301)와 데이터를 송수신할 수 있다. 일 실시예에 따라, 전자 장치(101)가 서버(301)로 전송하는 송신 데이터는, 예를 들면, 전자 장치(101)가 외부 장치(201)로부터 전달받은 장면 정보, 센서 정보 및/또는 위치 정보이거나, 또는 이들 정보에 기반하여 생성(예: 가공)된 데이터를 포함할 수 있다. 일 실시예에 따라, 전자 장치(101)가 서버(301)로부터 수신하는 수신 데이터는, 예를 들면, 전자 장치(101)가 외부 장치(201)에 제공하는 데이터(예: AR 이미지 또는 AR 이미지 프레임)를 구성하기 위한 다양한 정보(또는 요소)(예: 그래픽 객체 정보, 좌표 정보, 거리 정보, 및/또는 텍스트 정보)를 포함할 수 있다. 다른 예를 들어, 전자 장치(101)가 서버(301)로부터 수신하는 수신 데이터는, 전자 장치(101)가 외부 장치(201)로부터 수신한 데이터에 기반하여 전송한 송신 데이터에 대한 응답 데이터를 포함할 수 있다. 일 실시예에 따르면, 송수신 데이터(예: 송신 데이터 및/또는 수신 데이터)는 AR 서비스 또는 AR 어플리케이션에 따라 달라질 수 있다. 예를 들어, AR 서비스 또는 AR 어플리케이션에서 요구하는 조건(예: 해상도 또는 속도)에 기반하여 달라질 수 있다.
다양한 실시예들에 따르면, 도 2a, 도 2b 및 도 2c에 예시한 바와 같은 시스템 구성에 기반하여 AR 서비스를 제공할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 AR 서비스를 제공할 때, 데이터 패스(또는 네트워크 패스)(예: 제1 데이터 패스(230) 또는 제2 데이터 패스(240))에 따른 링크(link) 별 데이터량(또는 트래픽량)에 기반하여, 데이터 전송 구간(또는 데이터 전송 시간)(예: 서비스 피리어드(SP, service period: 이하, ‘SP’라 한다))을 결정할 수 있다. 일 실시예에 따른, SP를 결정하는 동작과 관련하여 후술하는 도면(예: 도 6)을 참조하여 상세히 설명된다.
일 실시예에 따르면, 전자 장치(101)는 외부 장치(201)의 프레임 레이트(frame rate)(또는 재생률(refresh rate) 또는 주사율(scan rate))(예: 30fps, 60fps 또는 120fps)에 기반하여 이미지 프레임 전송 주기(interval)를 결정할 수 있다. 일 예로, 전자 장치(101)는 제1 프레임 레이트(예: 약 30fps)에 대해 제1 이미지 프레임 전송 주기(예: 약 33.3ms)를 결정(예: 프레임 레이트 = 30fps → interval = 33.3ms)할 수 있다. 다른 예로, 전자 장치(101)는 제2 프레임 레이트(예: 약 60fps)에 대해 제2 이미지 프레임 전송 주기(예: 약 16.6ms)를 결정(예: 프레임 레이트 = 60fps → interval = 16.6ms)할 수 있다. 다른 예로, 전자 장치(101)는 제3 프레임 레이트(예: 약 120fps)에 대해 제3 이미지 프레임 전송 주기(예: 약 8.3ms)를 결정(예: 프레임 레이트 = 120fps → interval = 8.3ms)할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 SP 및/또는 이미지 프레임 전송 주기 중 적어도 하나에 기반하여, 현재 전자 장치(101)와 연결된 네트워크(예: 제1 네트워크(210) 또는 제2 네트워크(220))가 지정된 전송 요구 조건(또는 AR 이미지 전송 요구 조건)을 만족하는지 여부를 판단할 수 있다. 예를 들어, 지정된 전송 요구 조건은 연결된 네트워크(예: 제1 네트워크(210) 또는 제2 네트워크(220))가 AR 서비스 또는 AR 어플리케이션에서 요구하는 프레임 레이트, 해상도(resolution), 전송 속도 및/또는 데이터 전송량 중 적어도 일부를 포함할 수 있다. 일 실시예에 따라, 전자 장치(101)는 판단하는 결과에 기반하여 네트워크의 변경 여부를 결정할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 AP(215)를 포함하는 제1 네트워크(210)에서 기지국(225)을 포함하는 제2 네트워크(220)로의 연결 변경 또는 제2 네트워크(220)에서 제1 네트워크(210)로의 변경 여부를 결정할 수 있다. 일 실시예에 따라, 전자 장치(101)와 서버(301) 간에 현재 연결된 네트워크(예: 제1 네트워크(210) 또는 제2 네트워크(220))는 전자 장치(101)가 제1 네트워크(210)를 지원하는 AP(215)를 통한 서버(301)와의 통신 연결 또는 제2 네트워크(220)를 지원하는 기지국(225)을 통한 서버(301)와의 통신 연결을 의미할 수 있다. 예를 들어, 전자 장치(101)는 현재 연결된 네트워크(예: 제1 네트워크(210) 또는 제2 네트워크(220))에서 다른 네트워크로의 변경, 예를 들면, 네트워크 베어러(network bearer)(예: 제1 데이터 패스(230) 또는 제2 데이터 패스(240))의 변경 여부를 결정할 수 있다. 일 실시예에 따른, 네트워크의 변경 여부를 결정하는 동작과 관련하여 후술하는 도면을 참조하여 상세히 설명된다.
일 실시예에 따르면, 전자 장치(101)는 전자 장치(101)와 서버(301) 사이의 네트워크의 종류와 전자 장치(101)와 외부 장치(201) 사이의 네트워크 종류가 서로 같은 종류의 네트워크인지 여부를 확인하여, SP의 중첩 여부를 결정할 수 있다. 일 실시예에 따른, SP의 중첩 여부를 결정하는 동작과 관련하여 후술하는 도면을 참조하여 상세히 설명된다.
도 3a는 다양한 실시예들에 따른 전자 장치의 구성을 개략적으로 도시하는 도면이다.
도 3a는 다양한 실시예들에 따른 전자 장치(101)에서 AR 서비스를 지원하는 것과 관련된 구성의 예를 나타낼 수 있다. 일 실시예에 따르면, 전자 장치(101)는 외부 장치(201)와 제1 지정된 네트워크(예: 제1 네트워크(210)(예: Wi-Fi network))로 무선 연결하고, 서버(301)와 제2 지정된 네트워크(예: 제1 네트워크(210) 또는 제2 네트워크(220)(예: cellular network))로 무선 연결하고, 외부 장치(201)에 AR 서비스와 관련된 데이터를 제공하는 기능을 포함하는 다양한 형태의 장치를 포함할 수 있다. 예를 들면, 전자 장치(101)는 이동통신 단말기, 스마트 폰(smart phone), 태블릿(tablet) PC(personal computer), 및/또는 노트북(notebook)과 같은 컴퓨팅 호스트를 포함할 수 있다.
도 3a를 참조하면, 일 실시예에 따른 전자 장치(101)는 무선 통신 회로(310), 메모리(130), 및 프로세서(120)를 포함할 수 있다.
일 실시예에 따라, 무선 통신 회로(310)(예: 도 1의 무선 통신 모듈(192))는 레거시 네트워크(예: 3G 네트워크 및/또는 4G 네트워크), 5G 네트워크, OOB(out of band) 및/또는 차세대 통신 기술(예: NR(new radio) 기술)을 지원할 수 있다. 무선 통신 회로(310)는 도 1에 예시한 바와 같은 무선 통신 모듈(192)에 대응할 수 있다. 일 실시예에 따른 무선 통신 회로(310)는 제1 네트워크(210)(예: Wi-Fi network)를 통해 전자 장치(101)의 무선 통신을 지원하도록 설정된 제1 통신 회로(310A), 제2 네트워크(220)(예: cellular network)를 통해 전자 장치(101)의 무선 통신을 지원하도록 설정된 제2 통신 회로(310B), 및 OOB(예: NFC, BLE, 및/또는 Wi-Fi 2.4GHz)에 기반하여 전자 장치(101)의 무선 통신을 지원하도록 설정된 제3 통신 회로(310C)를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제1 통신 회로(310A)를 이용하여 제1 네트워크(210)를 통해 외부 장치(201) 및/또는 서버(301)와 통신을 수행할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제2 통신 회로(310B)를 이용하여 제2 네트워크(210)를 통해 서버(301)와 통신을 수행할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제3 통신 회로(310C)를 이용하여 제1 네트워크(210)와는 다른 네트워크(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크)를 통해 외부 장치(201)와 통신을 수행할 수 있다.
일 실시예에 따라, 메모리(130)는 도 1을 참조한 설명 부분에서 설명한 바와 같은 메모리(130)에 대응할 수 있다. 일 실시예에 따르면, 메모리(130)는, AR 서비스를 제공할 때, 전자 장치(101)에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)), 및 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 일 실시예에 따라, 메모리(130)는 실행 시에, 프로세서(120)가 동작하도록 하는 인스트럭션들(instructions)을 저장할 수 있다.
일 실시예에 따라, 프로세서(120)는 도 1을 참조한 설명 부분에서 설명한 바와 같은 프로세서(120)에 대응할 수 있다. 일 실시예에 따르면, 프로세서(120)는, 예를 들면, 어플리케이션(예: AR 어플리케이션)을 실행하여 전자 장치(101)에 연결된 외부 장치(201)를 제어할 수 있고, AR 서비스에 관련된 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 무선 통신 회로(310)를 통해 수신된 데이터를 메모리(130)에 저장하고, 메모리(130)에 저장된 데이터를 처리하고, 결과 데이터를 메모리(130)에 저장 및/또는 무선 통신 회로(310)를 통하여 외부 장치(201)로 전송할 수 있다.
일 실시예에 따르면, 프로세서(120)는, 무선 통신 회로(310)를 통하여, 테더드 AR 시스템에서 서버(301)와 필요한 데이터를 송수신하고, 외부 장치(201)로부터 외부 장치(201)에 장착된 구성요소(예: 카메라, 센서 및/또는 디스플레이)에 관련된 적어도 하나의 정보(예: 장면 정보, 센서 정보, 위치 정보, 및/또는 프레임 레이트)를 수신하고, 수신된 정보를 기반으로 가공된 데이터(예: AR 이미지)를 외부 장치(201)로 전송할 수 있다. 일 실시예에 따르면, 프로세서(120)는 AR 시스템에서 외부 장치(201)와 데이터 송수신 시에, 저지연(low latency) 및/또는 저전력(low power) 통신을 위한 네트워크 제어(또는 선택)를 수행할 수 있다.
일 실시예에 따라, 프로세서(120)는 제1 네트워크(210)를 지원하는 제1 통신 회로(310A) 또는 제2 네트워크(220)를 지원하는 제2 통신 회로(310B)를 통해, 서버(301)로부터 데이터를 송수신하도록 제어할 수 있다. 일 실시예에 따라, 프로세서(120)는 외부 장치(201)로부터 전달받은 장면 정보, 센서 정보, 위치 정보, 및/또는 프레임 레이트 정보에 기반하여 송신 데이터를 구성할 수 있다. 일 실시예에 따라, 송신 데이터는, 예를 들어, AR 이미지(또는 AR 이미지 프레임)를 구성하기 위한 요소를 포함할 수 있다.
일 실시예에 따르면, 프로세서(120)는 서버(301) 및 외부 장치(201) 각각과 AR 서비스를 위한 데이터 통신 시에 저지연 및/또는 저전력 통신을 위한 네트워크 제어에 관련된 동작을 수행하도록 설정된 SP 산출 모듈(320)과 조건 판단 모듈(330)을 포함할 수 있다. 일 실시예에 따라, 프로세서(120)에 포함되는 구성 요소들(예: SP 산출 모듈(320) 및 조건 판단 모듈(330))은, 예를 들면, 하드웨어 모듈(예: 회로(circuitry))로 이해될 수 있지만, 다양한 실시예들이 이에 한정되지 않는다. 예를 들어, 프로세서(120)에 포함되는 구성 요소들(예: SP 산출 모듈(320) 및 조건 판단 모듈(330))은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다. 일 실시예에 따르면, 프로세서(120)에 포함되는 구성 요소들(예: SP 산출 모듈(320) 및 조건 판단 모듈(330))은 프로세서(120)에 의해 읽을 수 있는 저장 매체(storage medium)(예: 메모리(130))에 저장된 하나 이상의 인스트럭션들(instructions)을 포함하는 소프트웨어(예: 도 1의 프로그램(140))로서 구현될 수 있다. 일 실시예에 따르면, SP 산출 모듈(320)과 조건 판단 모듈(330)에서 수행하는 동작들은, 메모리(130)에 저장되고, 실행 시에, 프로세서(120)가 동작하도록 하는 인스트럭션들에 의해 실행될 수 있다.
일 실시예에 따라, SP 산출 모듈(320)은, 예를 들어, 데이터량에 기반하여 SP를 결정하고, 외부 장치(201)의 프레임 레이트에 기반하여 이미지 프레임 전송 주기(interval)를 결정하는 것에 관련된 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 제1 네트워크(210)를 통해 외부 장치(201)와 서버(301) 사이의 통신에서, 각각의 링크(link)에 따른 필요 전송량(예: 프레임(frame) 당 데이터량)을 계산하여, 이에 따른 SP와 이미지 프레임 전송 주기를 결정할 수 있다. 다양한 실시예들에 따르면, 프로세서(120)는 도 1의 메인 프로세서(121)(예: 중앙 처리 장치(CPU, central processing unit) 또는 어플리케이션 프로세서(AP, application processor)) 또는 보조 프로세서(123)(예: 커뮤니케이션 프로세서(CP, communication processor))를 포함할 수 있다. 일 실시예에 따르면, SP 산출 모듈(320) 및/또는 조건 판단 모듈(330) 중 일부는 무선 통신 회로(310)에 포함될 수 있다.
일 실시예에 따라, 조건 판단 모듈(330)은 결정된 SP 및 결정된 이미지 프레임 전송 주기에 기반하여, 전자 장치(101)가 연결된 현재의 네트워크(또는 데이터 패스)가 지정된 전송 요구 조건(또는 AR 이미지 전송 요구 조건)을 만족하는지 여부를 판단하는 것에 관련된 동작을 수행할 수 있다. 일 실시예에 따라, 지정된 전송 요구 조건은 연결된 네트워크(예: 제1 네트워크(210) 또는 제2 네트워크(220))가 AR 서비스 또는 AR 어플리케이션에서 요구하는 프레임 레이트, 해상도, 전송 속도 및/또는 데이터 전송량 중 적어도 일부를 포함할 수 있다.
일 실시예에 따르면, 프로세서(120)는 전송 요구 조건의 만족 여부에 기반하여, 현재의 네트워크의 변경 여부를 결정할 수 있다. 예를 들면, 프로세서(120)는 현재의 네트워크에 기반한 통신이 전송 요구 조건을 만족하지 않은 경우, 네트워크의 변경을 결정할 수 있다. 다른 예를 들면, 프로세서(120)는 현재의 네트워크에 기반한 통신이 전송 요구 조건을 만족하는 경우, 네트워크를 변경하지 않도록 결정할 수 있다.
일 실시예에 따르면, 프로세서(120)는 네트워크가 AP(215)를 포함하는 제1 네트워크(210)(예: Wi-Fi network)일 경우, 제1 네트워크(210)의 채널(channel)(예: Wi-Fi 채널), 대역폭(bandwidth), 및/또는 링크 스피드(link speed)와 같은 적어도 하나의 정보를 확인할 수 있다. 일 실시예에 따라, 프로세서(120)는 적어도 하나의 정보를 기반으로, 제1 네트워크(210)(예: AP(215) 기반의 통신 상태)가 이미지 전송 요구 조건을 만족할 경우, 제1 네트워크(210)(예: AP(215))와 연결된 채널과 동일한 채널로 외부 장치(201)와 통신(예: Wi-Fi) 연결을 수행하도록 무선 통신 회로(310)(예: 제1 통신 회로(310A))를 제어할 수 있다. 예를 들어, 프로세서(120)는 OOB(out of band)(예: NFC, BLE, 및/또는 Wi-Fi 2.4GHz) 통신을 지원하는 제3 통신 회로(310)를 통하여, 외부 장치(201)의 채널(channel)(예: Wi-Fi 채널), 대역폭(bandwidth), 및/또는 링크 스피드(link speed)를 확인하고, 제1 네트워크(210)를 통해 전자 장치(101)와 외부 장치(201) 사이의 통신 및 전자 장치(101)와 AP(215) 사이의 통신을 지원할 수 있는지 판단할 수 있다.
다른 실시예에 따라, 프로세서(120)는 적어도 하나의 정보를 기반으로 제1 네트워크(210)(예: AP(215) 기반의 통신 상태)가 이미지 전송 요구 조건을 만족하지 못할 경우, 제1 네트워크(201)에서 통신하는 다른 연결(또는 로밍(roaming)) 가능한 다른 AP를 탐색하도록 무선 통신 회로(310)(예: 제1 통신 회로(310A))를 제어할 수 있다. 일 실시예에 따르면, 프로세서(120)는 다른 AP를 탐색하는 동작을 수행함에 있어서, 예를 들면, 약 6GHz 대역(band)의 약 160MHz 대역폭의 다른 AP를 우선적으로 검색하고, 검색된 다른 AP가 이미지 전송 요구 조건을 만족할 경우 검색된 다른 AP와 연결을 수행하도록 할 수 있다.
어떤 실시예에 따르면, 프로세서(120)는 이미지 전송 요구 조건을 만족하는 AP가 없을 경우, 제2 네트워크(220)(예: cellular network)로 변경(또는 데이터 패스 전환)하는 동작을 수행할 수 있다.
일 실시예에 따르면, 프로세서(120)는 상기의 네트워크 제어에 기반하여, 서버(301)와 전자 장치(101) 사이의 네트워크와 전자 장치(101)와 외부 장치(201) 사이의 네트워크를 동일한 네트워크로 연결하거나 또는 이종의 네트워크로 연결을 수행할 수 있다.
일 실시예에 따르면, 프로세서(120)는 전자 장치(101)가 기지국(225)을 포함하는 제2 네트워크(220)를 이용하여 서버(301)와 연결된 경우, 전자 장치(101)와 외부 장치(201) 사이의 연결에 있어서, 제1 네트워크(210)를 지원하는 복수의 채널(예: 채널 1 ~ 5) 중 약 6GHz 대역의 채널(예: 약 160MHz 대역폭의 다수 채널)을 우선으로 사용하며, 채널 혼잡도를 계산하여 약 6GHz 대역의 채널 중 하나(예: 채널 3)를 선택할 수 있다. 일 실시예에 따르면, 프로세서(120)는 제1 네트워크(210)를 지원하는 복수의 채널 중 선택된 채널에 기반하여 전자 장치(101)와 외부 장치(201) 사이를 연결하고, 전자 장치(101)와 외부 장치(201) 사이의 SP와 이미지 프레임 전송 주기(이하, ‘주기’라 한다)를 협상하고, 협상 결과에 기반하여 제2 네트워크(220)를 통한 서버(301)와의 통신의 SP 및 주기를 결정할 수 있다.
어떤 실시예에 따르면, 프로세서(120)는 제2 네트워크(220)를 통해 서버(301)와 통신을 사용하는 동안, 외부 장치(201)의 전송 요구 조건을 만족하는 제1 네트워크(210)의 AP를 탐색할 수 있다. 일 실시예에 따라, 프로세서(120)는 외부 장치(201)의 전송 요구 조건을 만족하는 AP를 발견하는 경우 해당 AP와 연결(또는 로밍)을 수행할 수 있다.
일 실시예에 따르면, 프로세서(120)는 전자 장치(101)와 서버(301) 사이의 제1 구간과 전자 장치(101)와 외부 장치(201) 사이의 제2 구간의 네트워크 종류가 동일한지 여부에 기반하여 SP의 중첩 여부를 결정하고, 결정하는 결과에 기반하여 네트워크 제어를 수행할 수 있다. 일 실시예에 따른, SP의 중첩 여부를 결정하는 동작과 관련하여 후술하는 도면을 참조하여 상세히 설명된다.
도 3b는 다양한 실시예들에 따른 외부 장치의 구성을 개략적으로 도시하는 도면이다.
일 실시예에 따라, 도 3b는 다양한 실시예들에 따른 외부 장치(201)에서 AR 서비스를 지원하는 것과 관련된 구성의 예를 나타낼 수 있다. 일 실시예에 따라, 도 3b에 예시된 외부 장치(201)는 도 1을 참조한 설명 부분에서 설명한 바와 같은 전자 장치(101)의 구성 요소의 전부 또는 적어도 일부를 포함할 수 있다. 일 실시예에 따라, 도 3b에서는 외부 장치(201)가 AR 장치(예: AR 글래스, 스마트 글래스 또는 디스플레이 장치)인 예를 나타낼 수 있다.
도 3b를 참조하면, 외부 장치(201)는 프로세서(380)(예: 도 1의 프로세서(120)), 디스플레이 모듈(340)(예: 도 1의 디스플레이 모듈(160)), 센서 모듈(345)(예: 도 1의 센서 모듈(176)), 글래스(350), 배터리(355)(예: 도 1의 배터리(189)), 카메라 모듈(360)(예: 도 1의 카메라 모듈(180)), 통신 모듈(365)(예: 도 1의 통신 모듈(190)), 메모리(370)(예: 도 1의 메모리(130)), 및 오디오 모듈(375)(예: 도 1의 오디오 모듈(170))을 포함할 수 있다.
일 실시예에 따라, 외부 장치(201)에 포함되는 구성 요소들은, 예를 들면, 하드웨어 모듈(예: 회로(circuitry))로 이해될 수 있다. 일 실시예에 따르면, 외부 장치(201)에 포함되는 구성 요소들은, 도 3b에 도시된 구성 요소들(예: 디스플레이 모듈(340), 센서 모듈(345), 글래스(350), 배터리(355), 카메라 모듈(360), 통신 모듈(365), 메모리(370), 및/또는 오디오 모듈(375))에 제한되지 않는다. 예를 들면, 도 3b에 도시된 외부 장치(201)의 구성 요소들은, 생략되거나, 다른 구성 요소들로 대체되거나, 또는 추가적인 구성 요소들이 외부 장치(201)에 추가될 수 있다. 예를 들면, 글래스(350)는, 외부 장치(201)가 AR 글래스 및/또는 스마트 글래스인 경우 포함될 수 있고, 외부 장치(201)가 스마트 폰인 경우 포함되지 않을 수 있다.
일 실시예에 따르면, 통신 모듈(365)은 안테나 모듈(예: 도 1의 안테나 모듈(197))을 포함할 수 있고, 지정된 주파수 대역에서의 성능 확보를 위한 다양한 기술들(예: 빔포밍(beamforming), 다중 입출력(MIMO), 및/또는 어레이 안테나(array antenna))을 지원할 수 있다. 일 실시예에 따르면, 통신 모듈(365)은 신호 또는 전력을 외부(예: 전자 장치(101))로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따라, 통신 모듈(365)은 제1 네트워크(210)를 통해 외부 장치(201)의 무선 통신을 지원하도록 설정된 통신 회로 및/또는 OOB에 기반하여 외부 장치(201)의 무선 통신을 지원하도록 설정된 통신 회로를 포함할 수 있다.
일 실시예에 따라, 메모리(370)는 도 1을 참조한 설명 부분에서 설명한 바와 같은 메모리(130)에 대응할 수 있다. 일 실시예에 따르면, 메모리(370)는, 외부 장치(201)가 AR 서비스를 제공할 때, 외부 장치(201)에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)), 및 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다.
일 실시예에 따라, 프로세서(380)는 도 1을 참조한 설명 부분에서 설명한 바와 같은 프로세서(120)에 대응할 수 있다. 일 실시예에 따르면, 프로세서(380)는, 예를 들면, 어플리케이션(예: AR 어플리케이션)을 실행하고, 전자 장치(101)와의 통신 연결을 통해 장면 정보, 센서 정보 및/또는 위치 정보와 같은 적어도 하나의 정보를 전자 장치(101)로 제공(예: 전송)할 수 있다. 일 실시예에 따르면, 프로세서(380)는 디스플레이 모듈(340)을 통해 제공된 현실 세계 상에 다양한 디지털 컨텐츠(예: AR 이미지)를 겹쳐서 하나의 영상(예: AR 화면)을 표시하도록 디스플레이 모듈(340)을 제어할 수 있다. 일 실시예에 따르면, 외부 장치(201)는 다양한 센서(예: 센서 모듈(345), 또는 카메라 모듈(360))를 포함할 수 있고, 프로세서(380)는 적어도 하나의 센서를 이용한 센싱 정보에 기반하여, 장면 정보(예: 이미지 데이터), 센서 정보 및/또는 위치 정보와 같은 적어도 하나의 정보를 획득할 수 있다.
일 실시예에 따르면, 프로세서(380)는 AR 서비스에 관련된 다양한 데이터 처리 또는 연산을 수행할 수 있다. 예를 들어, 프로세서(380)는 데이터 처리 또는 연산의 적어도 일부로서, 통신 모듈(365)을 통해 수신된 데이터를 메모리(370)에 저장하고, 메모리(370)에 저장된 데이터를 처리하고, 결과 데이터를 메모리(370)에 저장 및/또는 통신 모듈(365)을 통하여 전자 장치(101)로 전송할 수 있다.
일 실시예에 따르면, 프로세서(380)는 AR 서비스의 실행 시에, 외부 장치(201)의 프레임 레이트 정보를 전자 장치(101)로 전송하도록 통신 모듈(365)을 제어할 수 있다. 일 실시예에 따르면, 프로세서(380)는 전자 장치(101)와 연결하는 동안 타겟 웨이크 타임(TWT, target wake time) 협상을 수행할 수 있다. 일 실시예에 따르면, 프로세서(380)는 TWT 설정에 기반하여 전자 장치(101)와 데이터를 송수신할 수 있고, 송수신된 데이터를 디스플레이 모듈(340)을 통해 표시할 수 있다.
본 개시의 다양한 실시예들에 따른 전자 장치(101)는, 무선 통신 회로(310)(예: 도 1의 무선 통신 모듈(192)), 및 상기 무선 통신 회로(310)와 작동적으로 연결된 프로세서(120)를 포함하고, 상기 프로세서(120)는, 외부 장치(201)와 AR(augmented reality) 서비스의 개시(initiate) 시에, 지정된 데이터 패스의 데이터량에 기반하여 제1 SP(service period)를 식별하고, 상기 외부 장치(201)의 프레임 레이트에 기반하여 전송 주기(interval)를 식별하고, 상기 제1 SP 및 상기 전송 주기에 적어도 기반하여, 상기 전자 장치(101)와 연결된 네트워크가 지정된 전송 요구 조건을 만족하는지 식별하고, 상기 전송 요구 조건을 만족하는 네트워크에 기반하여, 상기 외부 장치(201)와 연결에 관련된 연결 정보를 결정하고, 및 상기 연결 정보에 기반하여 상기 외부 장치(201)와 연결을 수행할 수 있다.
본 개시의 다양한 실시예들에 따르면, 상기 프로세서(120)는, 상기 전자 장치(101)와 상기 외부 장치(201) 사이의 제1 링크(link)의 TWT(target wake time) element에 기반하여 상기 제1 링크에 관련된 제1 TWT를 설정하고, 상기 제1 TWT 및 상기 제1 링크의 TWT element에 적어도 기반하여 상기 전자 장치와 상기 네트워크 사이의 제2 링크에 관련된 제2 TWT를 설정하고, 상기 TWT element는 TWT wake interval, TWT wake duration 및 TWT를 포함할 수 있다.
본 개시의 다양한 실시예들에 따르면, 상기 프로세서(120)는, 상기 제1 링크의 데이터량에 기반하여 상기 제1 SP를 계산하고, 상기 제2 링크의 데이터량에 기반하여 제2 SP를 계산하고, 상기 제1 SP와 상기 제2 SP의 합이 상기 프레임 레이트에 따른 전송 주기 내에 포함되는 경우, 상기 네트워크가 상기 전송 요구 조건을 만족하는 것으로 결정할 수 있다.
본 개시의 다양한 실시예들에 따르면, 상기 제1 SP는 상기 전자 장치(101)와 상기 외부 장치(201) 사이의 상기 제1 링크에서 1 프레임 전송에 필요한 데이터량을 상기 제1 링크의 링크 대역폭(link bandwidth) 으로 나누어 계산된 필요 시간을 포함할 수 있다.
본 개시의 다양한 실시예들에 따르면, 상기 제2 SP는 상기 전자 장치(101)와 상기 네트워크 사이의 상기 제2 링크에서 1 프레임 전송에 필요한 데이터량을 상기 제2 링크의 링크 대역폭으로 나누어 계산된 필요 시간을 포함할 수 있다.
본 개시의 다양한 실시예들에 따르면, 상기 프로세서(120)는, 상기 네트워크가 상기 전송 요구 조건을 만족하는지 여부에 기반하여 상기 네트워크의 변경 여부를 결정할 수 있다.
본 개시의 다양한 실시예들에 따르면, 상기 프로세서(120)는, 상기 네트워크가 제1 네트워크(210)가 지원하는 AP(access point)(215)이고, 상기 AP(215)가 상기 전송 요구 조건을 만족하지 않는 경우, 상기 제1 네트워크(210)를 지원하는 다른 AP를 탐색하도록 설정되고, 상기 다른 AP의 탐색 시에 지정된 대역의 AP를 우선적으로 탐색할 수 있다.
본 개시의 다양한 실시예들에 따르면, 상기 프로세서(120)는, 상기 전송 요구 조건을 만족하는 다른 AP 탐색에 실패하는 경우, 상기 네트워크를 상기 제1 네트워크(210)에서 제2 네트워크(220)로 전환할 수 있다.
본 개시의 다양한 실시예들에 따르면, 상기 프로세서(120)는, 상기 전송 요구 조건을 만족하는 네트워크를 결정하고, 상기 결정된 네트워크에 기반하여 상기 외부 장치(201)와 연결에 관련된 상기 연결 정보를 결정하고, 상기 결정된 연결 정보를 OOB(out of band) 통신을 통해 상기 외부 장치(201)로 전송할 수 있다.
본 개시의 다양한 실시예들에 따르면, 상기 프로세서(120)는, 상기 전자 장치(101)와 상기 네트워크가 연결된 채널을, 상기 전자 장치(101)와 상기 외부 장치(201) 사이의 채널로 결정할 수 있다.
본 개시의 다양한 실시예들에 따르면, 상기 프로세서(120)는, 상기 결정된 네트워크가 제1 네트워크(210)일 경우 상기 네트워크와 설정되는 채널과 동일한 제1 채널을 상기 연결 정보로 결정하고, 상기 결정된 네트워크가 제2 네트워크(220)일 경우 상기 제1 채널과 다른 제2 채널을 상기 연결 정보로 결정할 수 있다.
본 개시의 다양한 실시예들에 따르면, 상기 프로세서(120)는, 상기 네트워크가 제1 네트워크(210)인 경우, 상기 제1 네트워크(210)의 채널 혼잡도(channel busy degree)에 기반하여 상기 연결 정보를 결정할 수 있다.
본 개시의 다양한 실시예들에 따르면, 상기 프로세서(120)는, 상기 제1 네트워크(210)에서 지정된 대역의 채널에 기반하여 상기 채널 혼잡도를 우선적으로 측정하고, 측정하는 결과에 기반하여 채널 혼잡도가 낮은 채널을 상기 외부 장치(201)와 연결을 위한 채널로 결정할 수 있다.
본 개시의 다양한 실시예들에 따르면, 상기 프로세서(120)는, 상기 전자 장치(101)와 상기 외부 장치(201) 사이의 제1 링크와 상기 전자 장치(101)와 상기 네트워크 사이의 제2 링크의 네트워크 종류가 동일한지 여부에 기반하여 상기 SP의 중첩 여부를 결정할 수 있다.
본 개시의 다양한 실시예들에 따르면, 상기 프로세서(120)는, 상기 제1 링크 및 상기 제2 링크의 네트워크 종류가 동일 종류의 네트워크인 경우 상기 제1 SP와 상기 제2 SP를 중첩(overlap) 되지 않도록 제어하고, 상기 제1 링크 및 상기 제2 링크의 네트워크 종류가 다른 종류의 네트워크인 경우 상기 제1 SP와 상기 제2 SP를 적어도 일부 중첩되게 제어할 수 있다.
본 개시의 다양한 실시예들에 따른 전자 장치(101)는, 무선 통신 회로(310)(예: 도 1의 무선 통신 모듈(192)), 및 프로세서(120)를 포함하고, 상기 프로세서(120)는, 상기 무선 통신 회로(310)를 통해 외부 장치(201)와 연결을 감지하고, 상기 전자 장치(101)와 상기 외부 장치(201) 사이의 제1 링크의 데이터량 및 상기 전자 장치(101)와 네트워크 사이의 제2 링크의 데이터량을 획득하고, 상기 제1 링크의 데이터량에 기반하여 상기 제1 링크의 제1 SP(service period)를 계산하고, 상기 제2 링크의 데이터량에 기반하여 상기 제2 링크의 제2 SP를 계산하고, 상기 제1 SP와 상기 제2 SP에 기반하여 이미지 전송 요구 조건을 만족하는 네트워크를 결정하고, 및 상기 결정된 네트워크에 기반하여, 상기 제1 링크의 채널과 상기 제2 링크의 채널을 동일하게 설정하여 상기 외부 장치(201)와 연결할 수 있다.
이하에서는 다양한 실시예들의 전자 장치(101)의 동작 방법에 대해서 상세하게 설명한다. 다양한 실시예들에 따라, 이하에서 설명하는 전자 장치(101)에서 수행하는 동작들은, 전자 장치(101)의 적어도 하나의 프로세싱 회로를 포함하는 프로세서(120)에 의해 실행될 수 있다. 일 실시예에 따라, 전자 장치(101)에서 수행하는 동작들은, 메모리(130)에 저장되고, 실행 시에, 프로세서(120)가 동작하도록 하는 인스트럭션들(instructions)에 의해 실행될 수 있다.
도 4는 다양한 실시예들에 따른 전자 장치의 동작을 도시하는 흐름도이다.
도 4를 참조하면, 동작 401에서, 전자 장치(101)의 프로세서(120)는 AR 서비스의 개시(initiate)를 감지할 수 있다. 일 실시예에 따르면, 프로세서(120)는 전자 장치(101)에서 AR 서비스와 관련된 어플리케이션(예: AR 어플리케이션)이 실행되거나, 및/또는 외부 장치(201)와의 연결 요청을 감지하는 것에 기반하여 AR 서비스의 개시를 감지할 수 있다.
동작 403에서, 프로세서(120)는 AR 서비스의 개시 감지에 기반하여, 지정된 데이터 패스(예: 제1 데이터 패스(230) 또는 제2 데이터 패스(240)의 데이터량에 기반하여 SP를 결정(또는 산출)할 수 있다. 일 실시예에 따르면, 프로세서(120)는 링크(link) 별 데이터량(또는 트래픽량)에 기반하여, SP를 결정할 수 있다. 예를 들면, 프로세서(120)는 전자 장치(101)와 외부 장치(201) 사이의 제1 링크에 관련된 데이터량, 전자 장치(101)와 네트워크(예: 제1 네트워크(210) 또는 제2 네트워크(220)) 사이의 제2 링크에 관련된 데이터량, 및/또는 각 링크 별 대역폭(bandwidth)에 기반하여, SP를 결정할 수 있다. 일 실시예에 따른, SP를 결정하는 동작과 관련하여 후술하는 도면을 참조하여 상세히 설명된다.
동작 405에서, 프로세서(120)는 외부 장치(201)의 프레임 레이트(또는 재생률 또는 주사율)에 기반하여 이미지 프레임 전송 주기를 식별할 수 있다. 일 실시예에 따르면, 프로세서(120)는 외부 장치(201)가 제1 프레임 레이트(예: 약 30fps)을 제공하는 경우, 제1 프레임 레이트에 따른 제1 이미지 프레임 전송 주기(예: 약 33.3ms)를 결정(예: 프레임 레이트 = 30fps → interval = 33.3ms)할 수 있다. 다른 실시예에 따르면, 프로세서(120)는 외부 장치(201)가 제2 프레임 레이트(예: 약 60fps)을 제공하는 경우, 제2 프레임 레이트에 따른 제2 이미지 프레임 전송 주기(예: 약 16.6ms)를 결정(예: 프레임 레이트 = 60fps → interval = 16.6ms)할 수 있다. 다른 실시예에 따르면, 프로세서(120)는 외부 장치(201)가 제3 프레임 레이트(예: 약 120fps)을 제공하는 경우, 제3 프레임 레이트에 따른 제3 이미지 프레임 전송 주기(예: 약 8.3ms)를 결정(예: 프레임 레이트 = 120fps → interval = 8.3ms)할 수 있다. 일 실시예에 따르면, 동작 403과 동작 405는 도시된 순서에 제한되지 않으며, 순차적으로, 병렬적으로, 또는 역순차적으로 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는OOB(out of band) 통신을 통해 외부 장치(201)의 프레임 레이트에 대한 정보를 수신하거나, 연결 이력에 기반하여 AR 서비스와 관련된 외부 장치(201)의 프레임 레이트에 대한 정보를 확인할 수 있다.
동작 407에서, 프로세서(120)는 SP 및/또는 이미지 프레임 전송 주기 중 적어도 하나에 기반하여 전송 요구 조건(예: AR 이미지 전송 요구 조건)을 판단할 수 있다. 일 실시예에 따르면, 프로세서(120)는 SP 및/또는 이미지 프레임 전송 주기 중 적어도 하나에 기반하여, 전자 장치(101)와 서버(301) 간에 현재 연결된 네트워크(예: 제1 네트워크(210) 또는 제2 네트워크(220))가 AR 이미지 전송 요구 조건을 만족하는지 여부를 판단할 수 있다. 예를 들어, 전자 장치(101)와 서버(301) 간에 현재 연결된 네트워크는 전자 장치(101)가 제1 네트워크(210)를 지원하는 AP(215)를 통한 서버(301)와의 통신 연결 또는 제2 네트워크(220)를 지원하는 기지국(225)을 통한 서버(301)와의 통신 연결을 의미할 수 있다.
동작 409에서, 프로세서(120)는 외부 장치(201)와 연결에 관련된(또는 외부 장치(201)와 AR 서비스를 위한) 연결 정보(예: 채널 정보)를 결정할 수 있다. 일 실시예에 따르면, 프로세서(120)는 전송 요구 조건을 판단하는 결과에 기반하여, 전자 장치(101)와 서버(301) 간의 네트워크의 변경 여부를 결정할 수 있다. 일 실시예에 따른, 네트워크의 변경 여부를 결정하는 동작과 관련하여 후술하는 도면을 참조하여 상세히 설명된다. 일 실시예에 따르면, 프로세서(120)는 결정된 네트워크(예: 제1 네트워크(210) 또는 제2 네트워크(220))에 기반하여 관련된 연결 정보를 결정할 수 있다. 예를 들면, 프로세서(120)는 결정된 네트워크와 전자 장치(101)와의 연결된 채널에 기반하여 외부 장치(201)와 전자 장치(101) 사이의 채널을 결정할 수 있다. 일 실시예에 따라, 프로세서(120)는 결정된 채널과 관련된 연결 정보(예: 채널 정보)를 OOB(예: BLE)를 이용하여 외부 장치(201)로 전달할 수 있다.
동작 411에서, 프로세서(120)는 외부 장치(201)와 연결을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 결정된 네트워크(예: 제1 네트워크(210) 또는 제2 네트워크(220))에 기반하여 외부 장치(201)와의 통신 연결을 다르게 설정할 수 있다. 예를 들면, 프로세서(120)는 전자 장치(101)와 서버(301) 사이의 제1 구간과 전자 장치(101)와 외부 장치(201) 사이의 제2 구간이 서로 다른 대역(band) 또는 서로 다른 종류의 네트워크를 이용하여 통신을 수행(예: 제2 네트워크(220)를 통해 제2 데이터 패스(240)로 통신)하는 경우 SP가 중첩(overlap) 되게 제어하고, 제1 구간 및 제2 구간이 같은 대역 또는 같은 종류의 네트워크를 이용하여 통신을 수행(예: 제1 네트워크(210)를 통해 제2 데이터 패스(240)로 통신)하는 경우 SP가 중첩되지 않도록 제어하여 저지연 또는 저전력 통신을 수행할 수 있다. 일 실시예에 따른, 전자 장치(101)와 외부 장치(201)가 연결하는 동작과 관련하여 후술하는 도면을 참조하여 상세히 설명된다.
도 5는 다양한 실시예들에 따른 전자 장치에서 외부 장치와 연결하는 동작을 도시하는 흐름도이다.
일 실시예에 따라, 도 5는 전자 장치(101)에서 네트워크 선택 및 네트워크 제어(network control)를 수행하는 동작에 대한 예를 나타낼 수 있다. 예를 들면, 도 5는, 전자 장치(101)에서 네트워크의 변경 여부를 결정하고, 결정된 네트워크의 변경 여부에 기반하여 전자 장치(101)와 외부 장치(201) 간에 연결을 수행하는 동작 예를 나타낼 수 있다.
도 5를 참조하면, 동작 501에서, 전자 장치(101)의 프로세서(120)는 외부 장치(201)를 감지할 수 있다. 일 실시예에 따르면, 프로세서(120)는 OOB(out of band) 통신을 통해 연결 가능한 외부 장치(201)를 탐지할 수 있다. 일 실시예에 따라, OOB는 NFC, BLE, 및/또는 Wi-Fi 2.4GHz 통신과 같은 다양한 통신 방식이 이용될 수 있다. 일 실시예에 따르면, 프로세서(120)는 BLE를 OOB로 사용하여 외부 장치(201)를 탐지하고, Wi-Fi 다이렉트(direct) 프로토콜(protocol)을 이용하여 특정 채널로 외부 장치(201)와 연결을 수행할 수 있다. 예를 들면, 외부 장치(201)는 주기적으로 BLE 광고(advertisement) 메시지를 브로드캐스팅(broadcasting)할 수 있다. 외부 장치(201)는 BLE 광고 메시지를 통해 외부 장치(201)가 AR 서비스를 위한 디바이스인 것을 나타내는 정보를 포함할 수 있다. 전자 장치(101)는 주기적인 BLE 스캔(scan)을 수행할 수 있고, 외부 장치(201)의 BLE 광고 메시지를 수신하면, 외부 장치(201)와 연결을 수행할 채널(예: WLAN 채널)을 결정하는 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 전자 장치(101)와 외부 장치(201) 사이의 무선(예: WLAN) 연결을 수행할 채널을 결정함에 있어서, 네트워크가 제1 네트워크(210)(예: Wi-Fi network)일 경우와 제2 네트워크(220)(예: cellular network)일 경우 서로 다른 방법으로 전자 장치(101)와 외부 장치(201) 사이의 무선(예: WLAN) 연결을 수행할 채널을 결정할 수 있다. 일 실시예에 따른 채널 결정 방법에 대하여 후술된다.
동작 503에서, 프로세서(120)는 OOB를 통해 연결 가능한 외부 장치(201)를 탐지하는 것에 기반하여, 전자 장치(101)와 연결 중인 네트워크(예: 제1 네트워크(210) 또는 제2 네트워크(220))를 식별할 수 있다. 일 실시예에 따르면, 네트워크는 전자 장치(101)와 서버(301) 간에 데이터 송수신을 지원하는 통로(path)를 나타낼 수 있다. 예를 들면, 네트워크의 식별은 제1 네트워크(210)를 지원하는 Wi-Fi AP(예: 도 2의 AP(215))를 통해 서버(301)와 통신을 수행하는지 여부 또는 제2 네트워크(220)를 지원하는 기지국(예: 도 2의 기지국(225))을 통해 서버(301)와 통신을 수행하는지 여부를 의미할 수 있다.
동작 505에서, 프로세서(120)는 네트워크의 식별 결과에 기반하여, 전자 장치(101)와 현재 연결된 네트워크가 제1 네트워크(210)에 대응하는지 식별할 수 있다.
프로세서(120)는 네트워크가 AP(예: 도 2의 AP(215))를 포함하는 제1 네트워크(210)인 것을 식별하는 경우(예: 동작 505의 ‘예’), 동작 507에서, 전자 장치(101)가 연결된 제1 네트워크(210)에 관련된 제1 정보를 확인할 수 있다. 예를 들면, 프로세서(120)는 네트워크가 제1 네트워크(210)일 경우, 제1 네트워크(210)의 AP에 대하여 Wi-Fi 채널(channel), 대역폭(bandwidth), 및/또는 링크 스피드(link speed)와 같은 정보를 확인할 수 있다.
동작 509에서, 프로세서(120)는 확인된 제1 정보를 기반으로, 제1 네트워크(210)(또는 AP 기반의 통신 상태)가 외부 장치(201)의 이미지 전송 요구 조건을 만족하는지 여부를 식별할 수 있다. 일 실시예에 따르면, 프로세서(120)는 전체 AR 시스템에서 이미지 전송 요구 조건을 만족하는지 여부를 확인할 수 있다. 일 실시예에 따르면, 프로세서(120)는 이미지 전송 요구 조건의 만족 여부를 판단할 때, 예를 들어, 제1 SP와 제2 SP가 차지하는 시간과 프레임 레이트에 따른 주기에 기반하여 결정할 수 있다. 일 실시예에 따라, 제1 SP는 전자 장치(101)와 외부 장치(201)가 하나의 프레임(frame) 전송에 필요한 데이터량(예: 업링크(UL, uplink)/다운링크(DL, downlink) 데이터량)을 링크 대역폭(link bandwidth)(예: 제1 네트워크(210)의 링크 대역폭)으로 나누어 계산된 필요 시간을 나타낼 수 있다. 일 실시예에 따라, 제2 SP는 전자 장치(101)와 서버(301)가 하나의 프레임 전송에 필요한 데이터량(예: UL/DL 데이터량)을 링크 대역폭(예: 제2 네트워크(220)의 링크 대역폭)으로 나누어 계산된 필요 시간을 나타낼 수 있다. 일 실시예에 따른 이미지 전송 요구 조건의 충족 여부를 식별하는 동작에 대하여 후술된다.
프로세서(120)는 제1 네트워크(210)가 이미지 전송 요구 조건을 만족하는 경우(예: 동작 509의 ‘예’), 동작 511에서, 연결 정보(예: 채널 정보)를 외부 장치(201)로 전송할 수 있다. 일 실시예에 따르면, 프로세서(120)는 계산된 제1 SP와 제2 SP의 합이 지정된 주기 이내에 포함되는 경우(예: 제1 SP와 제2 SP의 합이 외부 장치(201)의 프레임 레이트에 따른 주기보다 작은 경우), 해당 네트워크(예: 제1 네트워크(210)의 AP)가 이미지 전송 요구 조건을 만족하는 것으로 판단할 수 있다. 일 실시예에 따르면, 프로세서(120)는 이미지 전송 요구 조건을 만족한 경우, 제1 네트워크(210)의 AP와 전자 장치(101)와의 연결된 채널을 외부 장치(201)와 전자 장치(101) 간의 채널로 결정할 수 있다. 일 실시예에 따르면, 프로세서(120)는 결정된 채널과 관련된 채널 정보를 OOB(예: BLE)를 이용하여 외부 장치(201)로 전달할 수 있다.
동작 513에서, 프로세서(120)는 결정된 채널에 기반하여 외부 장치(201)와 무선 연결(예: WLAN 연결)을 수행할 수 있다.
동작 515에서, 프로세서(120)는 외부 장치(201) 및 제1 네트워크(210)를 지원하는 AP와 각각의 링크(예: 전자 장치(101)와 외부 장치(201) 간의 제1 링크, 전자 장치(101)와 AP 간의 제2 링크)에 대하여 협상을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 제1 네트워크(210)에 기반한 각각의 링크(예: 전자 장치(101)와 외부 장치(201) 간의 제1 링크, 전자 장치(101)와 AP 간의 제2 링크)에 대하여 SP 듀레이션(duration), SP 시작 시간(start time), 및/또는 SP 주기에 대하여 협상을 수행할 수 있다. 일 실시예에 따른 링크 별 SP 및 주기 협상 동작과 관련하여 후술된다.
프로세서(120)는 네트워크가 제1 네트워크(210)이고, 제1 네트워크(210)가 외부 장치(201)의 이미지 전송 요구 조건을 만족하지 않는 경우(예: 동작 509의 ‘아니오’), 동작 521에서, 제1 네트워크(210)의 다른 AP를 탐색할 수 있다. 일 실시예에 따르면, 프로세서(120)는 현재 전자 장치(101)와 AP간의 제1 네트워크(210) 연결이 전자 장치(101)와 외부 장치(201) 사이의 이미지 전송 요구 조건을 만족하지 않는다고 판단하는 경우, 연결(또는 로밍(roaming)) 가능한 제1 네트워크(210)를 지원하는 다른 AP를 탐색하는 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 연결 가능한 다른 AP를 탐색하는 동작을 수행할 때, WLAN의 약 6GHz 대역(band)의 약 160MHz 대역폭을 지원하는 다른 AP에 대하여 우선 검색을 수행할 수 있다. AR 시스템에서 레이턴시(latency) 성능이 중요할 수 있으며, 예를 들면, 약 6GHz 대역이 넓은 대역폭(예: 약 160MHz)에 의해 간섭에 보다 자유로울 수 있다. 따라서, 프로세서(120)는 약 6GHz 대역의 WLAN을 우선 검색하도록 동작할 수 있다.
동작 523에서, 프로세서(120)는 다른 AP를 탐색하는 결과에 기반하여, 이미지 전송 요구 조건을 만족하는 다른 AP가 탐색되는지 여부를 식별할 수 있다.
프로세서(120)는 이미지 전송 요구 조건을 만족하는 다른 AP가 탐색되는 경우(예: 동작 523의 ‘예’), 동작 525로 진행하여, 동작 525 이하의 동작을 수행할 수 있다. 프로세서(120)는 이미지 전송 요구 조건을 만족하는 다른 AP가 탐색되지 않는 경우(예: 동작 523의 ‘아니오’), 예를 들면, 이미지 전송 요구 조건을 만족하는 AP 탐색에 실패하는 경우, 동작 531로 진행하여, 동작 531 이하의 동작을 수행할 수 있다.
동작 525에서, 프로세서(120)는 탐색된 다른 AP와 연결 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 이미지 전송 요구 조건을 만족하는 다른 AP를 발견한 경우에는, 다른 AP와 연결을 수행할 수 있고, 동작 513으로 진행하여, 다른 AP와 연결된 채널과 동일 채널로 외부 장치(201)와 연결 및 주기 또는 SP에 대한 스케줄링을 수행하는 동작을 수행할 수 있다.
동작 505에서, 네트워크가 제1 네트워크(210)가 아닌 경우(예: 동작 505의 ‘아니오’), 또는 동작 523에서, 이미지 전송 요구 조건을 만족하는 다른 AP가 탐색되지 않는 경우(예: 동작 523의 ‘아니오’), 프로세서(120)는 동작 531로 진행할 수 있다.
동작 531에서, 프로세서(120)는 전자 장치(101)와 현재 연결된 네트워크가 기지국(예: 도 2의 기지국(225))을 포함하는 제2 네트워크(220)에 대응하는지 식별할 수 있다. 예를 들면, 프로세서(120)는 제1 네트워크(210)의 연결이 없거나, 또는 이미지 전송 요구 조건을 만족하는 AP가 탐색되지 않는 경우, 네트워크가 제2 네트워크(220)에 대응하는지 식별할 수 있다.
프로세서(120)는 전자 장치(101)와 현재 연결되는 네트워크가 식별되지 않는 경우(예: 동작 531의 ‘아니오’), 동작 541에서, 네트워크에 관련된 상태 정보를 외부 장치(201)에게 제공할 수 있다. 일 실시예에 따르면, 외부 장치(201)는 전자 장치(101)로부터 상태 정보의 수신에 기반하여 디스플레이 모듈(340)에 현재 상태를 표시할 수 있다. 일 실시예에 따르면, 프로세서(120)는 제1 네트워크(210) 및 제2 네트워크(220)의 연결이 존재하지 않는 경우, OOB를 통해 외부 장치(201)로 전자 장치(101)의 네트워크 연결이 없음을 전달하고, 전자 장치(101) 및/또는 외부 장치(201)의 각 사용자 인터페이스(예: 디스플레이에 표시, 또는 알람 사운드 제공)에 기반하여, 네트워크 연결이 없음을 사용자에게 통지할 수 있다.
프로세서(120)는 네트워크의 식별 결과에 기반하여, 전자 장치(101)와 연결된 네트워크가 기지국(예: 도 2의 기지국(225))을 포함하는 제2 네트워크(220)인 것을 식별하는 경우(예: 동작 531의 ‘예’), 동작 533에서, 전자 장치(101)가 연결된 제2 네트워크(220)에 관련된 제2 정보를 확인할 수 있다. 예를 들면, 프로세서(120)는 네트워크가 제2 네트워크(220)일 경우, 전자 장치(101)와 외부 장치(201) 간에 연결을 수행하기 위한 WLAN 채널에 대한 제2 정보를 확인하는 동작을 수행할 수 있다. 예를 들어, 제2 정보는 제1 네트워크(210)의 복수의 채널 중 적어도 하나의 채널에 대한 채널 혼잡도(channel busy degree)를 포함할 수 있다. 예를 들면, 프로세서(120)는 제1 네트워크(210)를 지원하는 복수의 채널 중 약 6GHz 대역의 약 160MHz 대역폭의 다수 채널에 대하여 채널 혼잡도를 측정할 수 있다. 일 실시예에 따르면 프로세서(120)는 채널 혼잡도를 측정하는 동작을 수행할 수 있다. 예를 들어, 채널 혼잡도는 지정된 시간 동안 무선 채널이 다른 전자 장치들에 의한 무선 패킷(packet)들에 의해 점유되어 있는 시간의 비율로 계산될 수 있다.
동작 535에서, 프로세서(120)는 연결 정보(예: 채널 정보)를 외부 장치(201)로 전송할 수 있다. 일 실시예에 따르면, 프로세서(120)는 측정된 채널 혼잡도를 기반으로 가장 혼잡도가 낮은 채널을 선택하고, 선택된 채널을 외부 장치(201)와 전자 장치(101) 간의 제1 네트워크(210)에 관련된 연결 정보(예: 채널 정보)로 결정할 수 있다. 일 실시예에 따르면, 프로세서(120)는 결정된 채널과 관련된 채널 정보를 OOB(예: BLE)를 이용하여 외부 장치(201)로 전달할 수 있다.
동작 537에서, 프로세서(120)는 결정된 채널에 기반하여 외부 장치(201)와 무선 연결(예: WLAN 연결)을 수행할 수 있다.
동작 539에서, 프로세서(120)는 외부 장치(201)와 링크(예: 전자 장치(101)와 외부 장치(201) 간의 제1 링크)에 대하여 협상을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 각각의 링크(예: 전자 장치(101)와 외부 장치(201) 간의 제1 링크 및 전자 장치(101)와 제2 네트워크(220) 간의 제2 링크)에 대하여 SP 듀레이션, SP 시작 시간, 및/또는 SP 주기에 대하여 협상을 수행할 수 있다.
도 6은 다양한 실시예들에 따른 전자 장치에서 SP를 계산하는 동작 예를 설명하기 위해 도시하는 도면이다.
일 실시예에 따라, 도 6에서는 전자 장치(101)와 외부 장치(201) 사이의 제1 링크(610)에 관련된 제1 SP, 및 전자 장치(101)와 제1 네트워크(210)(예: AP(215)) 사이의 제2 링크(620)에 대한 제2 SP를 계산하는 예를 나타낼 수 있다.
도 6을 참조하면, 도 6에서는 각 링크(예: 제1 링크(610), 제2 링크(620)) 별로 필요한 프레임(frame) 당 데이터량이 미리 정해져 있는 것을 가정할 수 있다. 예를 들어, 각 링크 별로 필요한 프레임(frame) 당 데이터량은 전자 장치(101) 및/또는 외부 장치(201)에서 실행중인 AR어플리케이션 또는 AR 서비스에 기반하여 결정될 수 있다. 예를 들어, 각 링크 별로 필요한 프레임 당 데이터량은 데이터량(또는 전송 요구 조건)은 AR 어플리케이션 또는 AR 서비스에서 요구하는 조건(예: 해상도 또는 속도)에 기반하여 달라질 수 있다. 일 실시예에 따라, 전자 장치(101)와 외부 장치(201) 사이(예: 제1 링크(610))의 제1 데이터량은 전자 장치(101)에서 외부 장치(201)로 데이터를 전송하는 다운링크(DL)(611)(예: 다운링크 패스(DL path))에서 필요한 프레임 당 데이터량(예: data bits 수)(예: bits/frame)을 나타낼 수 있다. 일 실시예에 따라, 전자 장치(101)와 외부 장치(201) 사이(예: 제1 링크(610))의 제2 데이터량은 외부 장치(201)에서 전자 장치(101)로 데이터를 전송하는 업링크(UL)(613)(예: 업링크 패스(UL path))에서 필요한 프레임 당 데이터량을 나타낼 수 있다. 일 실시예에 따라, 전자 장치(101)와 제1 네트워크(210) 사이(예: 제2 링크(620))의 제3 데이터량은 전자 장치(101)에서 제1 네트워크(210)(예: AP(215))로부터 데이터를 수신 받는 다운링크(DL)(621)에서 필요한 프레임 당 데이터량을 나타낼 수 있다. 일 실시예에 따라, 전자 장치(101)와 제1 네트워크(220) 사이(예: 제2 링크(620))의 제4 데이터량은 전자 장치(101)에서 제1 네트워크(210)(예: AP(215))로 데이터를 전송하는 업링크(UL)(623)에서 필요한 프레임 당 데이터량을 나타낼 수 있다. 일 실시예에 따르면, 제1 데이터량, 제2 데이터량, 제3 데이터량, 및 제4 데이터량은 외부 장치(201)에 의해 실행되는 서비스 및/또는 어플리케이션에 기반하여 결정될 수 있는 특정 값을 포함할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 각 링크(610, 620) 별 데이터량과 링크(610, 620) 별 대역폭에 기반하여, 아래의 예시와 같이 각 링크(610, 620)에 관련된 SP(예: 제1 SP, 제2 SP)를 결정할 수 있다.
Figure PCTKR2021009568-appb-M000001
Figure PCTKR2021009568-appb-M000002
Figure PCTKR2021009568-appb-M000003
<수학식 1>에 나타낸 바와 같이, 전자 장치(101)는 각 링크 별 데이터량을 각 링크(예: 제1 링크(610), 제2 링크(620))의 대역폭으로 나눈 값으로 SP를 결정할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 <수학식 2>의 예시와 같이, 전자 장치(101)와 외부 장치(201) 사이의 다운링크 및 업링크의 데이터량(예: 제1 데이터량, 제2 데이터량)의 합에 제1 링크(610)의 대역폭(예: wireless link bandwidth)으로 나눈 결과 값을, 전자 장치(101)와 외부 장치(201) 사이의 제1 SP로 결정할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 <수학식 3>의 예시와 같이, 전자 장치(101)와 제1 네트워크(210) 사이의 다운링크 및 업링크의 데이터량(예: 제3 데이터량, 제4 데이터량)의 합에 제2 링크(620)의 대역폭(예: network link bandwidth)으로 나눈 결과 값을, 전자 장치(101)와 제1 네트워크(210) 사이의 제2 SP로 결정할 수 있다. 일 실시예에 따라, 각 링크 별 대역폭(예: wireless link bandwidth, network link bandwidth)은, 전자 장치(101)가 사용하는 공간 스트림(spatial stream) 및/또는 통신에 지정된 MCS(modulation and coding scheme) 인덱스(index)(예: MCS 11)에 적어도 기반하여 결정될 수 있다.
예를 들어, 전자 장치(101)는 외부 장치(201) 및/또는 AP(215)와 통신 연결을 위한 프레임, 예를 들어, association request와 association response 교환할 수 있다. 상기 연결을 위한 프레임에는 무선 통신에서 사용할 수 있는 표준, 채널 대역폭, 및/또는 최대 공간 스트림(spatial stream) 개수 정보를 포함할 수 있다. 또한 전자 장치(101)는 수신 신호에 대한 신호 품질을 측정할 수 있으며, 예를 들어, 각 표준에 정의된 receiver minimum input level sensitivity 값과 수신 신호 품질을 비교하여 무선 통신에서 사용 가능한 최대 변조(modulation) 방법 및 채널 코딩 레이트 및/또는 최대 MCS 인덱스(index)를 추정할 수 있다. 상기 표준, 채널 대역폭, 최대 공간 스트림 개수, 수신 신호 품질에 기반한 최대 변조 방법, 채널 코딩 레이트, 및/또는 최대 MCS 인덱스 값에 기반하여 표준에 정의된 최대 데이터 레이트를 계산할 수 있으며, 상기 값에 기반하여 전자 장치(101)와 외부 장치(201) 사이의 링크(예: 제1 링크(610))의 대역폭 또는 전자 장치(101)와 AP(215) 사이의 링크(예: 제2 링크(620))의 대역폭으로 정의할 수 있다.
일 실시예에 따르면, <수학식 1>에 예시한 바와 같이, 전자 장치(101)는 SP를 계산할 때, 업링크 패스(UL path) 및 다운링크 패스(DL path)의 링크 대역폭(link bandwidth)이 같은 경우에는, 링크 대역폭을 이용하여 SP를 계산할 수 있다. 어떤 실시예에 따르면, 전자 장치(101)는 SP를 계산할 때, 업링크 패스 및 다운링크 패스의 링크 대역폭이 서로 다른 경우에는, <수학식 2> 및/또는 <수학식 3>에 예시한 바와 같이, 다운링크 패스와 업링크 패스 별로 대응하는 링크 대역폭을 이용하여 합산하는 것에 의해 SP를 계산할 수 있다.
도 7은 다양한 실시예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다. 도 8은 다양한 실시예들에 따른 전자 장치에서 SP 및 주기에 따른 스케줄링 예를 설명하기 위한 도면이다.
다양한 실시예들에 따르면, 전자 장치(101)와 서버(301)가 통신 연결된 네트워크가 제1 네트워크(210)인 경우, 전자 장치(101)는 외부 장치(201)(예: tethered AR Glasses)로 AR 이미지 전송을 위한 이미지 전송 요구 조건을 만족하는지 여부를 판별할 수 있다. 일 실시예에 따라, 전자 장치(101)는 <수학식 1> 내지 <수학식 3>에 기반하여 산출된 제1 SP와 제2 SP의 합이 외부 장치(201)의 프레임 레이트에 의한 주기 이내에 포함되는지 여부에 기반하여 이미지 전송 요구 조건의 만족 여부를 결정할 수 있다. 예를 들면, 도 7 및 도 8은 전자 장치(101)가 제1 네트워크(210)를 서버(301)와의 네트워크로 사용할 경우 이미지 전송 요구 조건의 만족 여부를 판단하기 위한 SP 및 주기를 결정하는 예를 나타낼 수 있다.
도 7을 참조하면, 동작 701에서, 전자 장치(101)의 프로세서(120)는 외부 장치(201)에서 컨텐츠를 표시하기 위한 프레임 레이트를 식별할 수 있다. 일 실시예에 따르면, 프로세서(120)는 OOB(예: NFC, BLE, 및/또는 Wi-Fi 2.4GHz) 통신을 이용하여 연결 가능한 외부 장치(201)를 탐색할 수 있다. 예를 들면, 외부 장치(201)는 주기적으로 BLE 광고(advertisement)(예: 연결 요청 브로드캐스트)를 수행할 수 있고, BLE 광고에 AR 서비스를 지원하기 위한 디바이스인 것을 나타내는 정보, 외부 장치(201)의 프레임 레이트에 관련된 정보, 외부 장치(201)가 포함된 구성 요소(예: 카메라 모듈, 센서)에 관련된 정보를 포함할 수 있다. 일 실시예에 따라, 프로세서(120)는 무선 통신 회로(310)를 통하여 주기적인 BLE 스캔(scan)을 수행할 수 있고, BLE 스캔에 기반하여 외부 장치(201)의 BLE 광고를 수신할 수 있다. 일 실시예에 따라, 프로세서(120)는 외부 장치(201)와 OOB 통신으로 획득된 정보에 기반하여 외부 장치(201)의 프레임 레이트를 확인할 수 있다.
동작 703에서, 프로세서(120)는 외부 장치(201)의 프레임 레이트에 기반하여 반복 주기를 결정할 수 있다. 예를 들면, 프로세서(120)는 도 8의 예시와 같이 외부 장치(201)의 프레임 레이트에 기반하여 이미지 프레임 전송 주기(interval)(811)를 결정할 수 있다. 일 실시예에 따르면, 프로세서(120)는 제1 프레임 레이트(예: 30fps)에 대해 제1 주기(예: 33.3ms)를 결정할 수 있고, 제2 프레임 레이트(예: 60fps)에 대해 제2 주기(예: 16.6ms)를 결정할 수 있고, 또는 제3 프레임 레이트(예: 120fps)에 대해 제3 주기(예: 8.3ms)를 결정할 수 있다. 일 실시예에 따라, 도 8을 참조하면, 외부 장치(201)의 프레임 레이트가 1초당 60프레임(예: 60fps)라고 가정하면, 전자 장치(101)와 외부 장치(201)의 무선 링크(wireless link) 구간에서 최소한 16.6ms 마다 1개의 프레임에 해당하는 데이터가 전송될 수 있다. 예를 들면, 도 8에서 16.6ms 마다 데이터량에 기반하여 계산된 SP(813) 동안 최소 1개의 프레임에 해당하는 데이터를 송수신하고, 다시 슬립 모드(sleep mode)(815)로 진입할 수 있다. 일 실시예에 따르면, 프로세서(120)는 이미지에 대한 프레임 레이트에 따라 하나의 프레임의 데이터를 전송해야 하는 필요 시간을 결정할 수 있으며, 도 8의 예시와 같이 이미지에 대한 프레임 레이트에 따라 하나의 프레임의 데이터를 전송해야 하는 시간이 결정될 수 있다. 예를 들면, 약 60fps의 경우 약 16.6ms 안에 최소 1개의 이미지 프레임을 전송해야 한다. 즉, 약 60fps의 경우 1 프레임 당 주기는 약 16.6ms 일 수 있다.
동작 705에서, 프로세서(120)는 제1 링크(610)(예: 전자 장치(101)와 외부 장치(201) 간의 링크) 및 제2 링크(620)(예: 전자 장치(101)와 AP(215) 간의 링크)에 관련된 데이터량을 계산할 수 있다. 일 실시예에 따르면, 전술한 바와 같이, 각 링크(예: 제1 링크(610), 제2 링크(620)) 별로 필요한 프레임 당 데이터량은 미리 정해져 있을 수 있다. 예를 들면, 제1 링크(610)에 관련된 데이터량은 외부 장치(201)에서 전자 장치(101)로부터 데이터를 수신 받는 다운링크(DL)에서 필요한 프레임 당 데이터량(예: bits/frame)과, 외부 장치(201)에서 전자 장치(101)로 데이터를 전송하는 업링크(UL)에서 필요한 프레임 당 데이터량을 포함할 수 있다. 일 실시예에 따라, 제2 링크(620)에 관련된 데이터량은 전자 장치(101)에서 제1 네트워크(210)(예: AP(215))로부터 데이터를 수신 받는 다운링크에서 필요한 프레임 당 데이터량과, 전자 장치(101)에서 제1 네트워크(210)(예: AP(215))로 데이터를 전송하는 업링크에서 필요한 프레임 당 데이터량을 포함할 수 있다. 일 실시예에 따라, 각 링크 별 데이터량은 외부 장치(201)에 의해 실행되는 서비스 및/또는 어플리케이션에 기반하여 다를 수 있다.
일 실시예에 따라, 도 8을 참조하여, 프레임 레이트가 60fps이고, SP(813)가 1ms로 결정하는 경우를 가정할 수 있다. 예를 들어, SP(813)는 네트워크 대역폭, 1 프레임 당 데이터량 및 재전송을 위한 할당 시간에 의해 결정될 수 있다. 예를 들어, 전자 장치(101)와 외부 장치(201)가 IEEE 802.11ax 기반의 WLAN 표준으로 160MHz의 대역폭으로 무선 연결이 되어 있고, MIMO 기법을 이용하여 2개의 공간 스트림(spatial streams)을 지원할 수 있는 경우(예: 근거리에서 충분히 좋은 신호 품질에서 동작한다고 가정하면), 최대 2400Mbps의 물리 계층 링크 속도(physical layer link speed)를 제공받을 수 있다. 그리고, 데이터 프레임이 TCP(transmission control protocol) 기반으로 전송되고, TCP 통신의 효율이 physical layer link speed의 75%라고 가정한다면, 네트워크 대역폭은 1800Mbps(2400Mbps*0.75)라고 가정할 수 있다. 그리고, 전자 장치(101)가 디스플레이 장치(201)에게 전송하는 1 프레임 당 1.8Mbits의 데이터 전송량이 필요하다고 가정하면, SP(813)(예: 최소 서비스 기간)는 1ms(1.8Mbit/1800Mbps)로 결정될 수 있다.
동작 707에서, 프로세서(120)는 제1 링크(610)에 관련된 제1 SP 및 제2 링크(620)에 관련된 제2 SP를 계산할 수 있다. 일 실시예에 따라, 프로세서(120)는 <수학식 1> 내지 <수학식 3>을 참조한 설명 부분에서 설명한 바에 대응하여 제1 SP와 제2 SP를 계산할 수 있다. 예를 들면, 프로세서(120)는 각 링크 데이터량에 기반하여 SP를 결정할 수 있다. 일 실시예에 따라, 데이터량에 기반한 SP 결정 동작과 프레임 레이트에 기반한 주기 결정 동작은, 도 7에 도시된 순서에 한정하지 않으며, 도시된 순서에 역순차적으로, 병렬적으로, 또는 휴리스틱 하게 수행될 수 있다.
동작 709에서, 프로세서(120)는 제1 SP와 제2 SP의 합에 기반하여 이미지 전송 요구 조건 만족 여부를 식별할 수 있다. 일 실시예에 따르면, 프로세서(120)는 결정된 이미지 프레임 전송 주기 및 SP에 기반하여, 현재의 네트워크(예: 제1 네트워크(210))가 이미지 전송 요구 조건을 만족하는지 여부를 판단할 수 있다. 예를 들면, 프로세서(120)는 제1 SP와 제2 SP의 합이 지정된 주기 이내에 포함되는 경우(예: 제1 SP와 제2 SP의 합이 외부 장치(201)의 프레임 레이트에 따른 주기보다 작은 경우), 해당 링크(예: 제1 네트워크(210)의 AP(215))가 이미지 전송 요구 조건을 만족하는 것으로 식별할 수 있다. 다른 예를 들면, 프로세서(120)는 제1 SP와 제2 SP의 합이 지정된 주기 이내에 포함되지 않는 경우, 해당 링크(예: 제1 네트워크(210)의 AP(215))가 이미지 전송 요구 조건을 만족하지 않는 것으로 식별할 수 있다.
동작 711에서, 프로세서(120)는 SP를 할당할 수 있다. 일 실시예에 따르면, 프로세서(120)는 이미지 전송 요구 조건을 만족하는 것으로 식별하는 경우, 각각 요구된 SP(required SP)를 보장하도록 SP를 설정할 수 있다 예를 들면, 프로세서(120)는 외부 장치(201) 및 제1 네트워크(210)를 지원하는 AP(215)와 각각의 링크(예: 전자 장치(101)와 외부 장치(201) 간의 제1 링크(610), 전자 장치(101)와 AP(215) 간의 제2 링크(620))에 대하여 협상할 수 있다. 일 실시예에 따르면, 프로세서(120)는 제1 네트워크(210)에 기반한 각각의 링크(예: 전자 장치(101)와 외부 장치(201) 간의 제1 링크(610), 전자 장치(101)와 AP(215) 간의 제2 링크(620))에 대하여 SP 듀레이션, SP 시작 시간, 및/또는 SP 주기에 대하여 협상을 수행할 수 있다. 예를 들어, 전자 장치(101)와 외부 장치(201)는 제1 링크(610)에 대하여 SP 듀레이션, SP 시작 시간, 및/또는 SP 주기에 대하여 협상을 수행하고, 전자 장치(101)와 AP(215)는 제2 링크(620)에 대하여 SP 듀레이션, SP 시작 시간, 및/또는 SP 주기에 대하여 협상을 수행할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 외부 장치(201)와 제1 링크(610)에 대하여 협상한 결과에 기반하여, AP(215)와 제2 링크(620)에 대하여 협상을 수행할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)는 전술한 예시와 같이, 계산된 제1 SP와 제2 SP의 합이 이미지 프레임 전송 주기 이내로 들어올 경우, 해당 네트워크(예: 제1 네트워크(210)의 AP(215))가 이미지 전송 조건을 만족하는 것으로 판단할 수 있다. 다른 실시예에 따라, 전자 장치(101)는 제1 SP와 제2 SP의 합이 외부 장치(201)의 프레임 레이트에 따른 이미지 프레임 전송 주기보다 작은 경우, 각 SP의 비율을 고려하여 추가적인 재전송 시간(retransmission time)을 리저브(reserve) 할 수 있다. 예를 들면, 전자 장치(101)는 여분의 재전송 시간을 고려하여, 제1 SP, 제1 재전송 시간, 제2 SP, 및 제2 재전송 시간의 값(예: 합)이 이미지 프레임 전송 주기 이내로 들어올 경우, 해당 네트워크(예: 제1 네트워크(210)의 AP(215))가 이미지 전송 조건을 만족하는 것으로 판단할 수도 있다. 이의 예가 도 9에 도시된다.
도 9는 다양한 실시예들에 따른 링크 간 스케줄링의 예를 설명하기 위한 도면이다. 도 10은 다양한 실시예들에 따라 TWT 프로토콜 기반으로 스케줄링을 수행하는 예를 설명하기 위한 도면이다.
일 실시예에 따라, 도 9는 제1 네트워크(210)의 Wi-Fi AP(901)(예: 도 2의 AP(215)), 전자 장치(101) 및 외부 장치(201) 간에, 프레임 레이트에 따른 이미지 프레임 전송 주기 및 SP에 따른 슬립(sleep) 및 웨이크-업(wake up) 제어에 대한 예를 나타낼 수 있다. 일 실시예에 따라, 도 10은 전자 장치(101)가 Wi-Fi AP(901) 및 외부 장치(201)에 대하여 타겟 웨이크 타임(TWT, target wake time) 요청 스테이션(requesting station)(이하, TWT requesting STA’라 한다)으로 동작하는 경우에 대한 TWT 설정(setup)을 수행하는 동작에 대한 예를 나타낼 수 있다. 일 실시예에 따르면, 도 9에서와 같이 전자 장치(101)와 외부 장치(201) 사이의 제1 링크(예: 도 6의 제1 링크(610))의 제1 SP(910) 및 제1 재전송 시간(915), 및/또는 전자 장치(101)와 Wi-Fi AP(901) 사이의 제2 링크(예: 도 6의 제2 링크(620))의 제2 SP(920) 및 제2 재전송 시간(925)을 스케줄링 하기 위하여, 예를 들어, 도 10에서와 같이 TWT 프로토콜 기반으로 스케줄링을 수행하는 방법을 사용할 수 있다.
도 9를 참조하면, 제1 SP(910)와 제2 SP(920)를 주어진 주기 안에 처리하기 위하여, 예를 들어, 802.11ax 표준에 정의된 TWT 프로토콜(protocol) 및/또는 이와 유사한 비표준 기반으로 슬립/웨이크 타임(sleep/wake time) 프로토콜을 이용하여, 각 링크(예: 제1 링크 및 제2 링크) 별로 협상을 수행할 수 있다. 일 실시예에 따라, 도 9에서는 제1 네트워크(210)의 전자 장치(101) 및 외부 장치(201) 사이의 제1 링크의 제1 SP(910) 또는 제1 재전송 시간(915) 및 제1 네트워크(210)의 전자 장치(101) 및 Wi-Fi AP(901) 사이의 제2 링크의 제2 SP(920) 또는 제2 재전송 시간(925)을, 예를 들어, 약 60fps 프레임 레이트에서 약 16.6ms 주기 안에 이미지 전송 요구 조건이 설정되는 경우의 예를 나타낼 수 있다. 일 실시예에 따라, 도 9에서, 제1 재전송 시간(915) 및 제2 재전송 시간(925)의 값은 제1 SP(910) 및 제2 SP(920)에 기반하여 결정될 수 있다. 예를 들면, 재전송율이 100%라고 가정하면, 제1 재전송 시간(915)은 제1 SP(910)와 동일한 값으로 설정할 수 있고, 및 제2 재전송 시간(925)은 제2 SP(920)와 동일한 값으로 설정할 수 있다. 예를 들어, 전자 장치(101)와 외부 장치(201) 사이의 제1 링크의 제1 SP(910)가 1ms인 경우, 제2 SP(920), 제1 재전송 시간(915) 및/또는 제2 재전송 시간(925)은 1ms으로 설정할 수 있다.
일 실시예에 따라, 도 9 및 도 10에서는 네트워크가 제1 네트워크(210)(예: Wi-Fi AP(901))일 경우, 제1 SP(910)와 제2 SP(920)가 서로 중첩되지(또는 겹치지) 않도록 설정하는 예를 나타낼 수 있다. 일 실시예에 따르면, 서버(301)와 전자 장치(101) 사이의 네트워크 종류가 전자 장치(101)와 외부 장치(201) 사이의 네트워크 종류가 같은 종류(예: 제1 네트워크(210))인 경우, 전송 주기가 중첩되지 않도록 설정할 수 있다.
예를 들면, 도 10에서는, 전자 장치(101)가 Wi-Fi AP(901) 및 외부 장치(201)에 대하여 TWT requesting STA로 동작하는 경우에 제1 SP(910)와 제2 SP(920)가 중첩되지 않도록 동작(또는 설정)하는 예를 나타낼 수 있다. 예를 들면, 도 10은 전자 장치(101)가 Wi-Fi AP(901)와는 STA로 동작하여 연결되고, 동시에 Wi-Fi P2P(peer to peer) 그룹의 그룹 클라이언트(GC, group client) 모드(mode)로 동작하여 Wi-Fi P2P 그룹의 그룹 오너(GO, group owner) 모드(또는 소프트(soft) AP 모드)로 동작하는 외부 장치(201)와 연결되는 경우의 예를 나타낼 수 있다.
일 실시예에 따른 도 9 및 도 10을 참조하면, 동작 1001에서, 외부 장치(201)는 전자 장치(101)에 대하여 TWT request를 전송할 수 있다. 일 실시예에 따라, 외부 장치(201)(101)는 TWT request를 전송하면서, TWT element에 포함된 TWT wake interval(또는 target wake interval)(930), TWT wake duration(또는 minimum wake duration)(935), 및 제1 TWT(955)의 설정을 위한 각각의 대응하는 필드(field)에 대응하는 값을 각각 설정하여 네트워크 제어를 요청할 수 있다. 예를 들면, 외부 장치(201)는 제1 SP(910) 시작 시간(또는 서비스 시작 시간)에 기반하여 제1 TWT(955)를 설정하고, 제1 SP(910)와 제1 재전송 시간(915)에 기반하여 TWT wake duration(935)을 설정하고, 및 이미지 프레임 전송 주기(900)에 기반하여 TWT wake interval(930)을 설정하여 전자 장치(101)로 전송할 수 있다. 예를 들면, 도 9에 예시한 바와 같이, 외부 장치(201)는 TWT wake interval(930) 값은 결정된 이미지 프레임 전송 주기(900) 값을 사용할 수 있고, TWT wake duration(935) 값은 제1 SP(910) 값 또는 제1 SP(910) 값과 제1 재전송 시간(915) 값을 합한 값을 사용할 수 있다. 예를 들면, 전자 장치(101)는 제1 SP(910)와 제1 재전송 시간(915)의 합을 전자 장치(101)와 외부 장치(201)의 TWT 설정 동작에서 TWT wake duration(935)으로 사용할 수 있다.
동작 1003에서, 전자 장치(101)는 외부 장치(201)로부터 TWT request를 수신하고, TWT request의 수신에 대한 ACK(acknowledge)을 외부 장치(201)로 전송할 수 있다.
동작 1005에서, 전자 장치(101)는 외부 장치(201)의 TWT request에 대응하여 TWT response를 외부 장치(201)로 전송할 수 있다. 일 실시예에 따르면, 전자 장치(101)로부터, TWT response를 수신한 외부 장치(201)는 TWT request에 설정된 TWT wake duration(935) 값만큼 웨이크-업 상태로 동작할 수 있다. 예를 들면, 외부 장치(201)는 제1 SP(910) 이후 슬립(sleep)에 진입하고, 다음 TWT wake interval(930)에서 웨이크-업 상태에 진입할 수 있다. 일 실시예에 따르면, 외부 장치(201)는 TWT request의 TWT 필드에 서비스가 시작되는 start time 값을 추가(또는 설정)할 수 있다.
동작 1007에서, 외부 장치(201)는 전자 장치(101)로부터 TWT response를 수신하고, TWT response의 수신에 대한 ACK을 전자 장치(101)로 전송할 수 있다.
일 실시 예에 따르면, 전자 장치(101)와 외부 장치(201)는 TWT element에 포함된 TWT wake interval(930), TWT wake duration(935), 및 제1 TWT(955)의 설정을 TWT 협상을 통해 결정할 수 있다. 예를 들어, 외부 장치(201)가 전자 장치(101)로 TWT element(예: TWT wake interval(930), TWT wake duration(935), 및 제1 TWT(955))를 설정하여 전송하면, 전자 장치(101)는 채널의 혼잡도 및 전자 장치(101)의 상태 정보에 기반하여 외부 장치(201)의 TWT request를 승인하거나 전자 장치(101)에서 지원 가능한 TWT element를 설정하여 외부 장치(201)로 전송(예: TWT response 전송)할 수 있다.
동작 1009에서, 전자 장치(101)는 Wi-Fi AP(901)에 대하여 TWT request를 전송할 수 있다. 일 실시예에 따라, 전자 장치(101)는 TWT request를 전송하면, TWT element에 포함된 TWT wake interval(940), TWT wake duration(945), 및 제2 TWT(965)의 설정을 위한 각각의 대응하는 필드에 대응하는 값을 각각 설정하여 네트워크 제어를 수행할 수 있다. 예를 들면, 전자 장치(101)는 제1 SP(910) 시작 시간(또는 서비스 시작 시간), 제1 SP(910) 및 제1 재전송 시간(915)에 기반하여, 제1 TWT(955)(또는 제1 링크의 TWT)을 설정하고, 제2 SP(920)와 제2 재전송 시간(925)에 기반하여 제2 TWT(965)(또는 제2 링크의 TWT)을 설정하고, 및 이미지 프레임 전송 주기(900)에 기반하여 TWT wake interval(940)을 설정할 수 있다. 일 실시예에 따르면, 제1 TWT(955)와 제2 TWT(965)는 다른 값을 가지도록 설정될 수 있고, 전자 장치(101)는 제1 TWT(955)와 제2 TWT(965)의 차등 설정에 기반하여 제1 SP(910)와 제2 SP(920)가 중첩되지 않도록 제어할 수 있다.
예를 들면, 도 9에 예시한 바와 같이, 전자 장치(101)는 TWT wake interval(940) 값은 결정된 이미지 프레임 전송 주기(900) 값을 사용할 수 있고, TWT wake duration(945) 값은 제2 SP(920) 값 또는 제2 SP(920) 값과 제2 재전송 시간(925) 값을 합한 값을 사용할 수 있다. 예를 들면, 전자 장치(101)는 제2 SP(920)와 제2 재전송 시간(925)의 합을 전자 장치(101)와 서버(301)의 연결을 위한 Wi-Fi AP(901)의 TWT 설정 동작에서 TWT wake duration(945)으로 사용할 수 있다. 어떤 실시예에 따르면, 전자 장치(101)는 Wi-Fi AP(901)의 TWT 설정 동작에서, 제2 TWT(965) 값으로, 외부 장치(201)의 제1 SP(910)와 제1 재전송 시간(915)을 고려한 시간 값을 사용할 수도 있다. 예를 들면, 전자 장치(101)는 외부 장치(201)와 설정한 제1 TWT(955) 값에 제1 SP(910)와 제1 재전송 시간(915)을 합한 값을 Wi-Fi AP(901)에 대한 제2 TWT(965) 값으로 사용할 수 있다. 예를 들면, 전자 장치(101)는 제2 TWT(965)를 제1 SP(910) 또는 제1 재전송 시간(915)이 끝나는 시간을 고려하여 설정할 수 있다.
동작 1011에서, Wi-Fi AP(901)는 전자 장치(101)로부터 TWT request를 수신하고, TWT request의 수신에 대한 ACK을 전자 장치(101)로 전송할 수 있다.
동작 1013에서, Wi-Fi AP(901)는 전자 장치(101)의 TWT request에 대응하여 TWT response를 전자 장치(101)로 전송할 수 있다. 일 실시예에 따르면, Wi-Fi AP(901)는 TWT request에 설정된 TWT wake duration(945) 구간에 전자 장치(101)와 제 3 데이터(621) 및 제 4 데이터(예: 업링크)(623)에 해당하는 데이터를 송수신할 수 있다. 일 실시예에 따르면, Wi-Fi AP(901)는 전자 장치(101)가 설정한 TWT element에 포함된 TWT wake interval(940), TWT wake duration(945), 및 제2 TWT(965)의 설정을 협상을 통해 결정할 수 있다. 예를 들어, Wi-Fi AP(901)는 Wi-Fi AP(901)와 통신 연결된 적어도 하나의 다른 전자 장치(미도시)와의 SP가 중복되지 않는지 확인할 수 있다.
동작 1015에서, 전자 장치(101)는 Wi-Fi AP(901)로부터 TWT response를 수신하고, TWT response의 수신에 대한 ACK을 Wi-Fi AP(901)로 전송할 수 있다.
이상에서와 같이, 다양한 실시예들에 따르면, 전자 장치(101)는 네트워크가 제1 네트워크(210)인 경우, 각 링크의 TWT 설정 동작에서 TWT를 제1 SP(910)와 제2 SP(920)가 중첩되지 않도록 설정할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 Wi-Fi AP(901)와의 TWT 설정에 기반하여 외부 장치(201)와의 TWT 설정 동작을 재수행할 수 있다. 예를 들어, 전자 장치(101)가 외부 장치(201)와의 TWT 설정에 기반하여 Wi-Fi AP(901)로 TWT request를 전송하고, Wi-Fi AP(901)가 TWT 설정을 변경 요청하는 경우(또는 거절하는 경우), 전자 장치(101)는 Wi-Fi AP(901)와의 TWT 설정에 기반하여 외부 장치(201)와의 TWT 설정의 일부(예: 제1 TWT(955))를 재설정할 수 있다.
도 11은 다양한 실시예들에 따라 TWT 프로토콜 기반으로 스케줄링을 수행하는 다른 예를 설명하기 위한 도면이다.
일 실시예에 따라, 도 11은 전자 장치(101)가 Wi-Fi AP(901)에 대하여 TWT requesting STA로 동작하고, 외부 장치(201)에 대하여 TWT responding STA로 동작하는 경우에 대한 TWT 설정을 수행하는 동작에 대한 예를 나타낼 수 있다.
일 실시예에 따라, 도 11에서는 네트워크가 제1 네트워크(210)(예: Wi-Fi AP(901))일 경우, 제1 SP(910)와 제2 SP(920)가 서로 중첩되지(또는 겹치지) 않도록 설정하는 예를 나타낼 수 있다. 일 실시예에 따르면, 서버(301)와 전자 장치(101) 사이의 네트워크 종류가 전자 장치(101)와 외부 장치(201) 사이의 네트워크 종류가 같은 종류(예: 제1 네트워크(210))인 경우, SP가 중첩되지 않도록 설정할 수 있다.
예를 들면, 도 11에서는, 전자 장치(101)가 Wi-Fi AP(901)에 대하여 TWT requesting STA로 동작하고, 외부 장치(201)에 대하여 TWT responding STA로 동작하는 경우에 제1 SP(910)와 제2 SP(920)가 중첩되지 않도록 동작(또는 설정)하는 예를 나타낼 수 있다. 예를 들면, 도 11은 전자 장치(101)가 Wi-Fi AP(901)와는 STA로 동작하여 연결되고, 동시에 외부 장치(201)와의 Wi-Fi P2P 그룹의 GO 모드(또는 소프트(soft) AP 모드)로 동작하여 Wi-Fi P2P 그룹의 GC 모드(또는 STA 모드)로 동작하는 외부 장치(201)와 연결되는 경우의 예를 나타낼 수 있다.
도 11에 도시한 바와 같이, 도 11에서는 도 10과 비교하여 전자 장치(101)가 외부 장치(201)와 TWT 설정(setup)을 수행할 때, TWT response를 이용하여 수행하는 것에 차이가 있다.
일 실시예에 따른 도 9 및 도 11을 참조하면, 동작 1101에서, 전자 장치(101)는 외부 장치(201)에 대하여 TWT response을 전송할 수 있다. 일 실시예에 따라, 전자 장치(101)는 TWT response를 전송하면서, TWT element에 포함된 TWT wake interval(930), TWT wake duration(935), 및 제1 TWT(955)의 설정을 위한 각각의 대응하는 필드에 대응하는 값을 각각 설정하여 네트워크 제어를 수행할 수 있다. 예를 들면, 전자 장치(101)는 제1 SP(910) 시작 시간(또는 서비스 시작 시간)에 기반하여 제1 TWT(955)를 설정하고, 제1 SP(910)와 제1 재전송 시간(915)에 기반하여 TWT wake duration(935)을 설정하고, 및 이미지 프레임 전송 주기(900)에 기반하여 TWT wake interval(930)을 설정하여 외부 장치(201)로 전송할 수 있다. 예를 들면, 도 9에 예시한 바와 같이, 전자 장치(101)는 TWT wake interval(930) 값은 결정된 이미지 프레임 전송 주기(900) 값을 사용할 수 있고, TWT wake duration(935) 값은 제1 SP(910) 값 또는 제1 SP(910) 값과 제1 재전송 시간(915) 값을 합한 값을 사용할 수 있다. 예를 들면, 전자 장치(101)는 제1 SP(910)와 제1 재전송 시간(915)의 합을 전자 장치(101)와 외부 장치(201)의 TWT 설정 동작에서 TWT wake duration(935)으로 사용할 수 있다.
동작 1103에서, 외부 장치(201)는 전자 장치(101)로부터 TWT response를 수신하고, TWT response의 수신에 대한 ACK을 전자 장치(101)로 전송할 수 있다. 일 실시예에 따르면, 도 11에서와 같이, 전자 장치(101)가 외부 장치(201)에 대해 Wi-Fi P2P 그룹의 GO 모드로 동작하는 경우, 전자 장치(101)는 TWT response를 직접 전송할 수 있고, 외부 장치(201)로부터 TWT response의 수신에 대한 ACK을 수신하는 것에 기반하여, Wi-Fi AP(901)에 대한 TWT 설정 동작을 바로 수행할 수 있다. 예를 들면, 전자 장치(101)는 TWT response를 전송한 이후에, 외부 장치(201)로부터 TWT teardown이 수신되지 않은 경우, 외부 장치(201)와의 TWT 설정이 정상적으로 완료된 것으로 판단하고, Wi-Fi AP(901)에 대한 TWT 설정 동작을 수행할 수 있다. 일 실시예에 따르면, 외부 장치(201)는 전자 장치(101)로부터 수신된 TWT response에 포함된 TWT 설정 정보(예: TWT wake interval(930), TWT wake duration(935), 및/또는 제1 TWT(955))가 외부 장치(201)의 프레임 레이트를 만족할 수 없다고 판단되는 경우 TWT setup을 종료하는 TWT teardown을 전송할 수 있으며, 전자 장치(101)는 외부 장치(201)로부터 TWT teardown이 수신되지 않는 경우, 외부 장치(201)와의 TWT 설정이 정상적으로 완료된 것으로 판단할 수 있다.
동작 1105, 동작 1107, 동작 1109, 및 동작 1111에서, 전자 장치(101)와 Wi-Fi AP(901)는 도 10에서 동작 1009, 동작 1011, 동작 1013, 및 동작 1015를 참조한 설명 부분에서 설명한 바에 대응하는 동작을 수행할 수 있다.
도 12는 다양한 실시예들에 따른 링크 간 스케줄링의 다른 예를 설명하기 위한 도면이다.
일 실시예에 따라, 도 12는 제2 네트워크(220)의 기지국(1201)(예: 도 2의 기지국(225)), 전자 장치(101) 및 외부 장치(201) 간에, 프레임 레이트에 따른 이미지 프레임 전송 주기 및 SP에 따른 슬립 및 웨이크-업 제어에 대한 예를 나타낼 수 있다. 일 실시예에 따라, 도 12에서는 전자 장치(101)와 연결된 네트워크가 제2 네트워크(220)의 기지국(1201)일 경우, 제1 SP(1210)와 제2 SP(1220)를 중첩되도록 동작(또는 설정)하는 예를 나타낼 수 있다. 일 실시예에 따르면, 서버(301)와 전자 장치(101) 사이의 네트워크 종류(예: 제2 네트워크(220))가 전자 장치(101)와 외부 장치(201) 사이의 네트워크 종류(예: 제1 네트워크(210))와 다른 종류인 경우, 전송 주기가 중첩되도록 설정할 수도 있다.
도 12를 참조하면, 전자 장치(101)는 외부 장치(201)와 TWT wake duration, TWT wake interval, 및 이미지 프레임 전송 주기에 대하여 협상을 수행할 수 있다. 일 실시예에 따라, 전자 장치(101)는 제1 SP(1210)와 제2 SP(1220)를 주어진 주기 안에 처리하기 위하여, 예를 들어, 802.11ax 표준에 정의된 TWT 프로토콜 또는 이와 유사한 비표준 기반으로 슬립/웨이크 타임 프로토콜을 이용하여 각 링크 별로 협상을 수행할 수 있다. 일 실시예에 따라, 도 12에서는 제1 네트워크(210)의 전자 장치(101) 및 외부 장치(201) 사이의 제1 SP(1210), 및 제1 재전송 시간(1215), 및/또는 제2 네트워크(220)의 기지국(1201) 및 전자 장치(101) 사이의 제2 SP(1220), 및 제2 재전송 시간(1225)을, 예를 들어, 약 60fps 프레임 레이트에서 약 16.6ms 주기 안에 이미지 전송 요구 조건이 설정되는 경우의 예를 나타낼 수 있다.
일 실시예에 따르면, 전자 장치(101)는 각 링크 간 제1 SP(1210), 제1 재전송 시간(1215), 제2 SP(1220), 및 제2 재전송 시간(1225)을 스케줄링 하기 위하여, 예를 들어, 도 10 또는 도 11에 예시한 바와 같은 TWT 프로토콜을 기반으로 스케줄링을 수행하는 방법을 사용할 수 있다.
일 실시예에 따라, 도 12에서는 네트워크가 제2 네트워크(220)(예: 셀룰러 기지국(1201))일 경우, 제1 SP(1210)와 제2 SP(1220)가 서로 적어도 일부 중첩되도록(또는 겹치도록) 설정하는 예를 나타낼 수 있다. 예를 들면, 도 12에 도시한 바와 같이, 네트워크가 제2 네트워크(220)인 경우에는, 네트워크가 제1 네트워크(210)인 경우와 다르게 제2 SP(1220)와 제2 재전송 시간(1225)을 제1 SP(1210)와 제2 재전송 시간(1225)과 적어도 일부 동일 시간에 수행하도록 할 수 있다.
일 실시예에 따르면, 전자 장치(101)와 외부 장치(201)는 WLAN 프로토콜을 이용하여 통신할 수 있고, 전자 장치(101)와 서버(301)는 제2 네트워크(220)(예: 셀룰러 기지국(1201))를 통해 통신을 수행할 수 있기 때문에, 제1 SP(1210)와 제2 SP(1220)를 동시간에 사용하더라도 간섭이 없을 수 있다. 일 실시예에 따르면, 전자 장치(101)는 동시간에 웨이크-업 상태로 전환하여, 제1 네트워크(210)를 통해 외부 장치(201)와 데이터 송수신을 수행하고, 제2 네트워크(220)를 통해 서버(301)(또는 셀룰러 기지국(1201))와 데이터 송수신을 수행할 수 있다. 예를 들어, 전자 장치(101)는 양 쪽 링크의 송수신이 정상적으로 종료된 경우 슬립 모드로 진입할 수 있기 때문에 소모 전류에서 이득을 가질 수 있다.
도 13은 다양한 실시예들에 따른 외부 장치의 동작을 도시하는 흐름도이다.
일 실시예에 따라, 도 13은 외부 장치(201)가 전자 장치(101)와 TWT 협상에 기반하여 AR 서비스를 제공하는 예를 나타낼 수 있다.
도 13을 참조하면, 동작 1301에서, 외부 장치(201)의 프로세서(380)는 AR 서비스를 실행할 수 있다. 일 실시예에 따르면, 프로세서(380)는 사용자 또는 전자 장치(101)의 요청에 기반하여, 외부 장치(201)에서 AR 서비스(또는 AR 서비스에 관련된 AR 어플리케이션)을 실행할 수 있다. 일 실시예에 따르면, 프로세서(380)는 AR 서비스를 실행 시에, OOB 통신을 통해 연결 가능한 전자 장치(101)를 탐지할 수 있다. 예를 들면, 프로세서(380)는 BLE를 OOB로 사용하여 전자 장치(101)를 탐지하고, Wi-Fi 다이렉트(direct) 프로토콜(protocol)을 이용하여 특정 채널(예: WLAN 채널)로 전자 장치(101)와 연결을 수행할 수 있다.
동작 1303에서, 프로세서(380)는 AR 서비스 실행에 기반하여, 통신 모듈(365)을 통해, 외부 장치(201)의 프레임 레이트 정보를 전자 장치(101)로 전송할 수 있다. 일 실시예에 따르면, 프로세서(380)는 프레임 레이트 정보는 전자 장치(101)와 연결 이전에 OOB 통신을 통해 전자 장치(101)와 탐지하는 동작 또는 전자 장치(101)와 연결 이후에, 프레임 레이트 정보를 전자 장치(101)로 전송할 수 있다.
동작 1305에서, 프로세서(380)는 전자 장치(101)와 TWT 협상을 수행할 수 있다. 일 실시예에 따르면, 프로세서(380)는 도 10 및/또는 도 11을 참조한 설명 부분에서 설명한 바에 대응하여, 전자 장치(101)와 TWT 협상을 수행할 수 있다.
동작 1307에서, 프로세서(380)는 TWT 설정에 기반하여 전자 장치(101)와 데이터를 송수신 할 수 있다. 일 실시예에 따르면, 프로세서(120)는 TWT 파라미터(parameter)에 기반하여 데이터(예: 카메라 모듈(360)을 이용하여 촬영된 영상 정보)를 전자 장치(101)로 전송할 수 있다.
동작 1309에서, 프로세서(120)는 AR 데이터(예: AR 이미지)를 디스플레이 모듈(340)을 통해 표시할 수 있다. 일 실시예에 따르면, 프로세서(120)는 통신 모듈(365)을 통해 전자 장치(101)로부터 AR 이미지를 수신하고, 수신된 AR 이미지를 디스플레이 모듈(340)을 통해 표시할 수 있다.
도 14는 다양한 실시예들에 따른 전자 장치의 동작을 도시하는 흐름도이다.
일 실시예에 따라, 도 14는 전자 장치(101)가 현재 연결된 네트워크가 제2 네트워크(220)(예: 셀룰러 네트워크)인 경우에, 제2 네트워크(220)에서 제1 네트워크(210)(예: Wi-Fi 네트워크)로 네트워크를 변경하는 예를 나타낼 수 있다.
도 14를 참조하면, 동작 1401에서, 전자 장치(101)의 프로세서(120)는 제2 네트워크(220) 연결에 기반하여 AR 서비스를 수행할 수 있다. 예를 들어, 전자 장치(101)는 외부 장치(201)와 제1 네트워크(210)에 기반하여 통신 연결하고, 서버(301)와 제2 네트워크(220)를 통해 통신 연결된 상태에서 AR 서비스를 수행할 수 있다.
동작 1403에서, 프로세서(120)는 제2 네트워크(220)에 기반하여 AR 서비스 중에, 연결(또는 로밍) 가능한 제1 네트워크(210)의 AP(예: 도 2의 AP(215))를 탐색할 수 있다. 일 실시예에 따르면, 전자 장치(101)가 제2 네트워크(220)에 기반하여 AR 서비스와 관련된 데이터 통신을 수행하게 되는 경우, 주기적으로 제1 네트워크(210)를 모니터링 할 수 있고, 모니터링 하는 결과에 기반하여 연결 또는 로밍이 가능한 제1 네트워크(210)(예: Wi-Fi AP)를 탐색하는 동작을 수행할 수 있다. 예를 들어, 제2 네트워크(220)에 기반하여 AR 서비스 중에, 연결(또는 로밍) 가능한 제1 네트워크(210)의 AP를 탐색하는 동작은 사용자의 요청 또는 제1 네트워크(210)가 제2 네트워크(220)보다 우선 순위가 높게 설정됨에 기반하여 수행될 수 있다.
동작 1405에서, 프로세서(120)는 탐색하는 결과에 기반하여 전송 요구 조건을 만족하는 AP가 탐색되는지 여부를 식별할 수 있다. 일 실시예에 따르면, 프로세서(120)는 AP 탐색 결과에 기반하여 AP가 탐색되는 경우, 탐색된 AP가 전송 요구 조건을 만족하는지 여부를 판단할 수 있다. 예를 들면, 프로세서(120)는 탐색된 AP가 제1 SP와 제2 SP 및/또는 제1 재전송 시간 및 제2 재전송 시간을 고려한 이미지 전송 요구 조건을 만족하는지 여부를 판단할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 외부 장치(201)의 프레임 레이트에 기반하여 제1 SP 및 제1 재전송 시간을 계산하고, 상기 탐색된 AP가 제1 SP 및 제1 재전송 시간에 기반한 제2 SP 및 제2 재전송 시간을 지원할 수 있는지 여부(예: 제1 SP, 제2 SP, 제1재전송 시간 및 제2 재전송 시간의 합이 외부 장치(201)의 프레임 레이트에 따른 주기보다 작은지 여부)를 판단할 수 있다.
프로세서(120)는 전송 요구 조건을 만족하는 AP가 탐색되지 않은 경우(예: 동작 1405의 ‘아니오’), 동작 1407에서, 지정된 일정 시간(예: T, T > 0)만큼 지연 후, 동작 1403으로 진행하여, 적절한 AP를 찾는 동작을 재수행할 수 있다.
프로세서(120)는 전송 요구 조건을 만족하는 AP가 탐색된 경우(예: 동작 1405의 ‘예’), 동작 1409에서, 해당 AP와 연결(또는 로밍)을 수행할 수 있다.
동작 1411에서, 프로세서(120)는 해당 AP와 연결(또는 로밍) 이후, AR 서비스를 위한 네트워크를 제2 네트워크(220)로부터 제1 네트워크(210)로 변경(또는 데이트 패스 변경(예: 제2 데이터 패스(240)에서 제1 데이터 패스(230)로 변경)할 수 있다. 일 실시예에 따르면, 프로세서(120)는 네트워크를 제1 네트워크(210)로 변경하는 경우, 제1 SP와 제2 SP 및/또는 제1 재전송 시간 및 제2 재전송 시간을 고려한 스케줄링에 기반하여 AR 서비스를 제공할 수 있다. 예를 들어, 프로세서(120)는 제1 SP 및/또는 제1 재전송 시간과 제2 SP 및/또는 제2 재전송 시간이 적어도 일부 중첩되도록 스케줄링할 수 있다.
도 15는 다양한 실시예들에 따른 전자 장치의 동작을 도시하는 흐름도이다.
일 실시예에 따라, 도 15는 전자 장치(101)가 제1 네트워크(210)로 지원하는 AP(215)와 통신 연결된 상태이고, 전자 장치(101)에서 실행중인 다른 어플리케이션(또는 서비스)에 기반하여 AP(215)와 전자 장치(101) 사이의 TWT 설정이 이루어진 상태를 가정할 수 있다. 일 실시예에 따르면, 도 15에서는 상기의 상태에서, 전자 장치(101)가 OOB를 통해 외부 장치(201)를 검색(또는 외부 장치(201)로부터 AR 서비스 요청을 수신)하고, 외부 장치(201)의 AR 서비스 조건(또는 전송 요구 조건(예: 프레임 레이트))에 기반하여 AP(215)와 새로운 TWT 설정을 수행하거나, 또는 전자 장치(101)와 AP(215)를 통한 제1 네트워크(210)를 기지국(225)을 포함하는 제2 네트워크(220)로 변경하는 예를 나타낼 수 있다.
도 15를 참조하면, 동작 1501에서, 전자 장치(101)의 프로세서(120)는 제1 네트워크(210)를 지원하는 AP(215)와 TWT 협상을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 도 10 및/또는 도 11을 참조하면 설명 부분에서 설명한 바에 대응하여, AP(215)(예: 도 10 또는 도 11의 Wi-Fi AP(901))와 TWT 협상을 수행할 수 있다.
동작 1503에서, 프로세서(120)는 전자 장치(101)가 AP(215)와 연결된 동안, AR 서비스 개시를 감지할 수 있다. 일 실시예에 따르면, 프로세서(120)는 전자 장치(101)에서 AR 서비스와 관련된 어플리케이션(예: AR 어플리케이션)이 실행되거나, 및/또는 외부 장치(201)와의 연결 요청을 감지하는 것에 기반하여 AR 서비스의 개시를 감지할 수 있다. 예를 들어, 프로세서(120)는 전자 장치(101)가 AP(215)와 제1 네트워크(210)에 기반하여 통신 연결하고 있는 상태에서, 외부 장치(201)와 제1 네트워크(210)를 통해 통신 연결하여 AR 서비스를 수행할 수 있다.
동작 1505에서, 프로세서(120)는 외부 장치(201)의 AR 서비스 조건(또는 전송 요구 조건(예: 프레임 레이트))을 식별할 수 있다. 일 실시예에 따르면, 프로세서(120)는 OOB 통신을 통해 외부 장치(201)의 프레임 레이트에 대한 정보를 수신하거나, 연결 이력에 기반하여 AR 서비스와 관련된 외부 장치(201)의 프레임 레이트에 대한 정보를 확인할 수 있다.
동작 1507에서, 프로세서(120)는 AR 서비스 조건에 기반하여, AP(215)가 AR 서비스 조건을 만족하는지 여부를 판단할 수 있다. 일 실시예에 따르면, 프로세서(120)는 전자 장치(101)와 AP(215) 간에 현재 연결된 제1 네트워크(210)가 AR 서비스 조건을 만족하는지 여부를 판단할 수 있다. 프로세서(120)는 만족스러운 AR 경험을 위한 전송 기능을 제공할 수 있다. 일 실시예에 따라, 전자 장치(101)와 AP(215) 간에 현재 연결된 제1 네트워크(210)는 전자 장치(101)가 제1 네트워크(210)를 지원하는 AP(215)를 통한 서버(301)와의 통신 연결을 의미할 수 있다.
프로세서(120)는 AP(215)가 AR 서비스 조건을 만족하는 경우(예: 동작 1507의 ‘예’), 동작 1509에서, TWT를 재설정할 수 있다. 예를 들어, 프로세서(120)는 외부 장치(201)와의 TWT 설정에 기반하여 전자 장치(101)와의 TWT 설정 동작을 재수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 전자 장치(101)에서 실행중인 어플리케이션(또는 서비스)에 기반하여 AP(215)와 복수개의 TWT 설정을 수행할 수 있다. 예를 들어, 전자 장치(101)와 AP(215) 사이에는 복수의 TWT를 포함할 수 있다. 일 실시예에 따르면, 프로세서(120)는 AP(215)와 TWT 설정이 이루어진 상태에서, 전자 장치(101)에서 추가적으로 실행되는 어플리케이션(예: AR 서비스)에 기반하여 기존 TWT를 고려하여 외부 장치(201)와의 제1 SP, AP(215)와의 제2 SP를 설정할 수 있다. 일 실시예에 따르면, 프로세서(120)는 제1 SP와 제2 SP 및/또는 제1 재전송 시간 및 제2 재전송 시간을 고려한 스케줄링에 기반하여 AR 서비스를 제공할 수 있다. 예를 들어, 프로세서(120)는 제1 SP 및/또는 제1 재전송 시간과 제2 SP 및/또는 제2 재전송 시간이 적어도 일부 중첩되도록 스케줄링할 수 있다.
프로세서(120)는 AP(215)가 AR 서비스 조건을 만족하지 않는 경우(예: 동작 1507의 ‘아니오’), 동작 1511에서, 네트워크를 다른 네트워크로 변경할 수 있다. 일 실시예에 따르면, 프로세서(120)는 AR 서비스를 위한 네트워크를 제1 네트워크(210)로부터 기지국(225)을 포함하는 제2 네트워크(220)로 변경할 수 있다. 예를 들어, 프로세서(120)는 AR 서비스가 우선 순위가 높은 경우, 전자 장치(101)와 AP(215)의 연결을 제1 네트워크(210)에서 제2 네트워크(220)로 변경하여 AR 서비스를 제공할 수 있다.
다양한 실시예들에 따르면, 외부 장치(201)는 롤러블(rollable), 폴더블(foldable) 또는 슬라이드블(slidable) 가능한 디스플레이(예: 도 1의 디스플레이 모듈(160))를 포함할 수 있다. 외부 장치(201)는 디스플레이 상태(예: 적어도 일부가 접힘, 적어도 일부가 감김 또는 펼침)에 기반하여 요구하는 프레임(frame) 당 데이터량이 다를 수 있다. 예를 들어, 외부 장치(201)가 필요한 프레임 당 데이터량은 디스플레이의 해상도에 기반하여 달라질 수 있다. 일 실시예에 따르면, 외부 장치(201)는 디스플레이의 상태 변화에 기반하여 전자 장치(101)와 TWT wake duration, TWT wake interval, 및 이미지 프레임 전송 주기에 대하여 협상을 재수행 할 수 있다.
본 개시의 다양한 실시예들에 따른 전자 장치(101)에서 수행하는 동작 방법은, 외부 장치(201)와 AR(augmented reality) 서비스의 개시(initiate) 시에, 지정된 데이터 패스의 데이터량에 기반하여 제1 SP(service period)를 식별하는 동작, 상기 외부 장치(201)의 프레임 레이트에 기반하여 전송 주기(interval)를 식별하는 동작, 상기 제1 SP 및 상기 전송 주기에 적어도 기반하여, 상기 전자 장치(101)와 연결된 네트워크가 지정된 전송 요구 조건을 만족하는지 식별하는 동작, 상기 전송 요구 조건을 만족하는 네트워크에 기반하여, 상기 외부 장치(201)와 연결에 관련된 연결 정보를 결정하는 동작, 및 상기 연결 정보에 기반하여 상기 외부 장치(201)와 연결을 수행하는 동작을 포함할 수 있다.
본 개시의 다양한 실시예들에 따르면, 상기 제1 SP를 식별하는 동작은, 상기 전자 장치(101)와 상기 외부 장치(201) 사이의 제1 링크(link)의 TWT(target wake time) element에 기반하여 상기 제1 링크에 관련된 제1 TWT를 설정하는 동작, 상기 제1 TWT 및 상기 제1 링크의 TWT element에 적어도 기반하여 상기 전자 장치(101)와 상기 네트워크 사이의 제2 링크에 관련된 제2 TWT를 설정하는 동작을 포함하고, 상기 TWT element는 TWT wake interval, TWT wake duration 및 TWT를 포함할 수 있다.
본 개시의 다양한 실시예들에 따르면, 상기 전자 장치(101)에서 수행하는 동작은, 상기 제1 링크의 데이터량에 기반하여 상기 제1 SP를 계산하는 동작, 및 상기 제2 링크의 데이터량에 기반하여 제2 SP를 계산하는 동작을 포함할 수 있다.
본 개시의 다양한 실시예들에 따르면, 상기 전송 요구 조건을 만족하는지 식별하는 동작은, 상기 제1 SP와 상기 제2 SP의 합이 상기 프레임 레이트에 따른 전송 주기 내에 포함되는 경우, 상기 네트워크가 상기 전송 요구 조건을 만족하는 것으로 결정하는 동작을 포함할 수 있다.
본 개시의 다양한 실시예들에 따르면, 상기 제1 SP는 상기 전자 장치와 상기 외부 장치 사이의 상기 제1 링크에서 1 프레임 전송에 필요한 데이터량을 상기 제1 링크의 링크 대역폭(link bandwidth) 으로 나누어 계산된 필요 시간을 포함할 수 있다.
본 개시의 다양한 실시예들에 따르면, 상기 제2 SP는 상기 전자 장치와 상기 네트워크 사이의 상기 제2 링크에서 1 프레임 전송에 필요한 데이터량을 상기 제2 링크의 링크 대역폭으로 나누어 계산된 필요 시간을 포함할 수 있다.
본 개시의 다양한 실시예들에 따르면, 상기 연결 정보를 결정하는 동작은, 상기 전자 장치(101)와 상기 네트워크가 연결된 채널을, 상기 전자 장치(101)와 상기 외부 장치(201) 사이의 채널로 결정하는 동작을 포함할 수 있다.
본 명세서와 도면에 개시된 본 개시의 다양한 실시예들은 본 개시의 기술 내용을 쉽게 설명하고 본 개시의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 범위를 한정하고자 하는 것은 아니다. 따라서 본 개시의 범위는 여기에 개시된 실시예들 이외에도 본 개시의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 전자 장치에 있어서,
    무선 통신 회로; 및
    상기 무선 통신 회로와 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는,
    외부 장치와 AR(augmented reality) 서비스의 개시(initiate) 시에, 지정된 데이터 패스의 데이터량에 기반하여 제1 SP(service period)를 식별하고,
    상기 외부 장치의 프레임 레이트에 기반하여 전송 주기(interval)를 식별하고,
    상기 제1 SP 및 상기 전송 주기에 적어도 기반하여, 상기 전자 장치와 연결된 네트워크가 지정된 전송 요구 조건을 만족하는지 식별하고,
    상기 전송 요구 조건을 만족하는 네트워크에 기반하여, 상기 외부 장치와 연결에 관련된 연결 정보를 결정하고, 및
    상기 연결 정보에 기반하여 상기 외부 장치와 연결을 수행하도록 설정된 전자 장치.
  2. 제1항에 있어서, 상기 프로세서는,
    상기 전자 장치와 상기 외부 장치 사이의 제1 링크(link)의 TWT(target wake time) element에 기반하여 상기 제1 링크에 관련된 제1 TWT를 설정하고, 상기 제1 TWT 및 상기 제1 링크의 TWT element에 적어도 기반하여 상기 전자 장치와 상기 네트워크 사이의 제2 링크에 관련된 제2 TWT를 설정하고,
    상기 TWT element는 TWT wake interval, TWT wake duration 및 TWT를 포함하도록 설정된 전자 장치.
  3. 제2항에 있어서, 상기 프로세서는,
    상기 제1 링크의 데이터량에 기반하여 상기 제1 SP를 계산하고,
    상기 제2 링크의 데이터량에 기반하여 제2 SP를 계산하고,
    상기 제1 SP와 상기 제2 SP의 합이 상기 프레임 레이트에 따른 전송 주기 내에 포함되는 경우, 상기 네트워크가 상기 전송 요구 조건을 만족하는 것으로 결정하도록 설정된 전자 장치.
  4. 제3항에 있어서,
    상기 제1 SP는 상기 전자 장치와 상기 외부 장치 사이의 상기 제1 링크에서 1 프레임 전송에 필요한 데이터량을 상기 제1 링크의 링크 대역폭(link bandwidth) 으로 나누어 계산된 제1 시간을 포함하고,
    상기 제2 SP는 상기 전자 장치와 상기 네트워크 사이의 상기 제2 링크에서 1 프레임 전송에 필요한 데이터량을 상기 제2 링크의 링크 대역폭으로 나누어 계산된 제2 시간을 포함하는 전자 장치.
  5. 제1항에 있어서, 상기 프로세서는,
    상기 네트워크가 상기 전송 요구 조건을 만족하는지 여부에 기반하여 상기 네트워크의 변경 여부를 결정하도록 설정된 전자 장치.
  6. 제5항에 있어서, 상기 프로세서는,
    상기 네트워크가 제1 네트워크를 지원하는 AP(access point)이고, 상기 AP가 상기 전송 요구 조건을 만족하지 않는 경우, 상기 제1 네트워크를 지원하는 다른 AP를 탐색하고,
    상기 전송 요구 조건을 만족하는 다른 AP 탐색에 실패하는 경우, 상기 네트워크를 상기 제1 네트워크에서 제2 네트워크로 전환하도록 설정되고,
    여기서, 상기 다른 AP의 탐색 시에 지정된 대역의 AP를 우선적으로 탐색하도록 설정된 전자 장치.
  7. 제2항에 있어서, 상기 프로세서는,
    상기 전송 요구 조건을 만족하는 네트워크를 결정하고,
    상기 결정된 네트워크에 기반하여 상기 외부 장치와 연결에 관련된 상기 연결 정보를 결정하고,
    상기 결정된 연결 정보를 OOB(out of band) 통신을 통해 상기 외부 장치로 전송하도록 설정된 전자 장치.
  8. 제7항에 있어서, 상기 프로세서는,
    상기 전자 장치와 상기 네트워크가 연결된 채널을, 상기 전자 장치와 상기 외부 장치 사이의 채널로 결정하고,
    상기 결정된 네트워크가 제1 네트워크일 경우 상기 네트워크와 설정되는 채널과 동일한 제1 채널을 상기 연결 정보로 결정하고,
    상기 결정된 네트워크가 제2 네트워크일 경우 상기 제1 채널과 다른 제2 채널을 상기 연결 정보로 결정하도록 설정된 전자 장치.
  9. 제8항에 있어서, 상기 프로세서는,
    상기 네트워크가 제1 네트워크인 경우, 상기 제1 네트워크의 채널 혼잡도(channel busy degree)에 기반하여 상기 연결 정보를 결정하도록 설정된 전자 장치.
  10. 제9항에 있어서, 상기 프로세서는,
    상기 제1 네트워크에서 지정된 대역의 채널에 기반하여 상기 채널 혼잡도를 우선적으로 측정하고, 측정하는 결과에 기반하여 채널 혼잡도가 낮은 채널을 상기 외부 장치와 연결을 위한 채널로 결정하도록 설정된 전자 장치.
  11. 제3항에 있어서, 상기 프로세서는,
    상기 제1 링크와 상기 제2 링크의 네트워크 종류가 동일한지 여부에 기반하여 상기 제1 SP와 상기 제2 SP의 중첩 여부를 결정하고,
    상기 제1 링크 및 상기 제2 링크의 네트워크 종류가 동일 종류의 네트워크인 경우 상기 제1 SP와 상기 제2 SP를 중첩(overlap) 되지 않도록 제어하고,
    상기 제1 링크 및 상기 제2 링크의 네트워크 종류가 다른 종류의 네트워크인 경우 상기 제1 SP와 상기 제2 SP를 적어도 일부 중첩되게 제어하도록 설정된 전자 장치.
  12. 전자 장치에 있어서,
    무선 통신 회로; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 무선 통신 회로를 통해 외부 장치와 연결을 감지하고,
    상기 전자 장치와 상기 외부 장치 사이의 제1 링크의 데이터량 및 상기 전자 장치와 네트워크 사이의 제2 링크의 데이터량을 획득하고,
    상기 제1 링크의 데이터량에 기반하여 상기 제1 링크의 제1 SP(service period)를 계산하고,
    상기 제2 링크의 데이터량에 기반하여 상기 제2 링크의 제2 SP를 계산하고,
    상기 제1 SP와 상기 제2 SP에 기반하여 이미지 전송 요구 조건을 만족하는 네트워크를 결정하고, 및
    상기 결정된 네트워크에 기반하여, 상기 제1 링크의 채널과 상기 제2 링크의 채널을 동일하게 설정하여 상기 외부 장치와 연결하도록 설정된 전자 장치.
  13. 전자 장치의 동작 방법에 있어서,
    상기 전자 장치의 적어도 하나의 프로세서에 의해, 외부 장치와 AR(augmented reality) 서비스의 개시(initiate) 시에, 지정된 데이터 패스의 데이터량에 기반하여 제1 SP(service period)를 식별하는 동작;
    상기 외부 장치에 이미지를 표시하는 프레임 레이트에 기반하여 전송 주기(interval)를 식별하는 동작;
    상기 제1 SP 및 상기 전송 주기에 적어도 기반하여, 상기 전자 장치와 연결된 네트워크가 지정된 전송 요구 조건을 만족하는지 식별하는 동작;
    상기 전송 요구 조건을 만족하는 네트워크에 기반하여, 상기 외부 장치와 연결에 관련된 연결 정보를 결정하는 동작; 및
    상기 연결 정보에 기반하여 상기 외부 장치와 연결을 수행하는 동작을 포함하는 방법.
  14. 제13항에 있어서, 상기 제1 SP를 식별하는 동작은,
    상기 전자 장치와 상기 외부 장치 사이의 제1 링크(link)의 TWT(target wake time) element에 기반하여 상기 제1 링크에 관련된 제1 TWT를 설정하는 동작,
    상기 제1 TWT 및 상기 제1 링크의 TWT element에 적어도 기반하여 상기 전자 장치와 상기 네트워크 사이의 제2 링크에 관련된 제2 TWT를 설정하는 동작을 포함하고,
    상기 TWT element는 TWT wake interval, TWT wake duration 및 TWT를 포함하는 방법.
  15. 제14항에 있어서,
    상기 제1 링크의 데이터량에 기반하여 상기 제1 SP를 계산하는 동작; 및
    상기 제2 링크의 데이터량에 기반하여 제2 SP를 계산하는 동작을 포함하고,
    상기 전송 요구 조건을 만족하는지 식별하는 동작은,
    상기 제1 SP와 상기 제2 SP의 합이 상기 프레임 레이트에 따른 전송 주기 내에 포함되는 경우, 상기 네트워크가 상기 전송 요구 조건을 만족하는 것으로 결정하는 동작을 포함하고,
    여기서, 상기 제1 SP는 상기 전자 장치와 상기 외부 장치 사이의 상기 제1 링크에서 1 프레임 전송에 필요한 데이터량을 상기 제1 링크의 링크 대역폭(link bandwidth) 으로 나누어 계산된 제1 시간을 포함하고,
    여기서, 상기 제2 SP는 상기 전자 장치와 상기 네트워크 사이의 상기 제2 링크에서 1 프레임 전송에 필요한 데이터량을 상기 제2 링크의 링크 대역폭으로 나누어 계산된 제2 시간을 포함하는 방법.
PCT/KR2021/009568 2020-08-04 2021-07-23 전자 장치에서 데이터 통신을 위한 네트워크 제어 방법 및 장치 WO2022030836A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/435,513 US20230020265A1 (en) 2020-08-04 2021-07-23 Apparatus and method for controlling network for data communication in electronic device
CN202180056928.XA CN116076106A (zh) 2020-08-04 2021-07-23 用于电子装置中的数据通信的网络控制方法和设备
EP21852192.0A EP4164290A4 (en) 2020-08-04 2021-07-23 NETWORK CONTROL METHOD AND DEVICE FOR DATA COMMUNICATION IN AN ELECTRONIC DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200097120A KR20220017067A (ko) 2020-08-04 2020-08-04 전자 장치에서 데이터 통신을 위한 네트워크 제어 방법 및 장치
KR10-2020-0097120 2020-08-04

Publications (1)

Publication Number Publication Date
WO2022030836A1 true WO2022030836A1 (ko) 2022-02-10

Family

ID=80117476

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/009568 WO2022030836A1 (ko) 2020-08-04 2021-07-23 전자 장치에서 데이터 통신을 위한 네트워크 제어 방법 및 장치

Country Status (5)

Country Link
US (1) US20230020265A1 (ko)
EP (1) EP4164290A4 (ko)
KR (1) KR20220017067A (ko)
CN (1) CN116076106A (ko)
WO (1) WO2022030836A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11861801B2 (en) * 2021-12-30 2024-01-02 Snap Inc. Enhanced reading with AR glasses
KR20240003738A (ko) * 2022-07-01 2024-01-09 현대자동차주식회사 밀집 환경에서 저지연 통신을 위한 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180069576A (ko) * 2016-12-15 2018-06-25 삼성전자주식회사 영상제공장치, 그의 제어 방법 및 영상제공시스템
KR20190102441A (ko) * 2018-02-26 2019-09-04 삼성전자주식회사 복수의 통신 방식들 중 신호의 강도에 기반하여 선택된 통신 방식에 따라 데이터를 전송하는 전자 장치 및 그 작동 방법
US20190313160A1 (en) * 2016-07-15 2019-10-10 Koninklijke Kpn N.V. Streaming Virtual Reality Video
KR102013729B1 (ko) * 2012-04-17 2019-10-21 타이완 세미콘덕터 매뉴팩쳐링 컴퍼니 리미티드 통신 네트워크에서 애플리케이션-인식 수락 제어를 위한 방법 및 시스템
KR20200044339A (ko) * 2018-10-19 2020-04-29 삼성전자주식회사 전자기 검출 회로를 포함하는 전자 장치 및 상기 전자 장치를 이용한 외부 전자 장치 제어 방법
KR20200097120A (ko) 2019-02-07 2020-08-18 맹근호 스코치방지 프레스장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100943615B1 (ko) * 2006-02-16 2010-02-24 삼성전자주식회사 무선 통신 시스템에서 서브 채널 할당 장치 및 방법
US9492741B2 (en) * 2013-05-22 2016-11-15 Microsoft Technology Licensing, Llc Wireless gaming protocol
US11509501B2 (en) * 2016-07-20 2022-11-22 Cisco Technology, Inc. Automatic port verification and policy application for rogue devices
US12050980B2 (en) * 2020-08-24 2024-07-30 International Business Machines Corporation Forecasting in multivariate irregularly sampled time series with missing values

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102013729B1 (ko) * 2012-04-17 2019-10-21 타이완 세미콘덕터 매뉴팩쳐링 컴퍼니 리미티드 통신 네트워크에서 애플리케이션-인식 수락 제어를 위한 방법 및 시스템
US20190313160A1 (en) * 2016-07-15 2019-10-10 Koninklijke Kpn N.V. Streaming Virtual Reality Video
KR20180069576A (ko) * 2016-12-15 2018-06-25 삼성전자주식회사 영상제공장치, 그의 제어 방법 및 영상제공시스템
KR20190102441A (ko) * 2018-02-26 2019-09-04 삼성전자주식회사 복수의 통신 방식들 중 신호의 강도에 기반하여 선택된 통신 방식에 따라 데이터를 전송하는 전자 장치 및 그 작동 방법
KR20200044339A (ko) * 2018-10-19 2020-04-29 삼성전자주식회사 전자기 검출 회로를 포함하는 전자 장치 및 상기 전자 장치를 이용한 외부 전자 장치 제어 방법
KR20200097120A (ko) 2019-02-07 2020-08-18 맹근호 스코치방지 프레스장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4164290A4

Also Published As

Publication number Publication date
US20230020265A1 (en) 2023-01-19
EP4164290A4 (en) 2024-01-10
KR20220017067A (ko) 2022-02-11
EP4164290A1 (en) 2023-04-12
CN116076106A (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
WO2020145622A1 (ko) 무선 통신 시스템에서 단말의 전력 소모 감소 방법 및 장치
WO2022030836A1 (ko) 전자 장치에서 데이터 통신을 위한 네트워크 제어 방법 및 장치
WO2022154363A1 (ko) 오디오 데이터를 처리하기 위한 오디오 장치 및 그의 동작 방법
WO2022097905A1 (ko) 와이파이 기반의 복수의 통신 방식을 지원하는 전자 장치 및 이의 제어 방법
WO2022030772A1 (ko) 타겟 웨이크 타임 제어 방법 및 이를 지원하는 전자 장치 및/또는 통신 모듈
WO2023136711A1 (ko) 전자 장치 및 전자 장치에서 uwb 신호를 이용하여 위치를 판단하는 방법
WO2022065657A1 (ko) 이웃 인식 네트워킹 통신을 수행하는 전자 장치 및 그 동작 방법
WO2022065707A1 (ko) 외부 전자 장치와의 직접 통신을 위한 전자 장치 및 그의 동작 방법
WO2022158763A1 (ko) 외부 전자 장치와의 통신 연결을 수립하는 전자 장치 및 이의 동작 방법
WO2021049794A1 (ko) 전력 및/또는 발열 제어를 구현하는 방법 및 그 전자 장치
WO2024096530A1 (ko) Nan 통신의 클러스터들을 병합하기 위한 전자 장치 및 그 동작 방법
WO2024063325A1 (ko) 전자 장치 및 nan 통신 방법
WO2023058981A1 (ko) 비콘과 관련된 정보에 기반하여 twt를 수행하는 전자 장치 및 전자 장치의 동작 방법
WO2022014971A1 (ko) 전자 장치, 전자 장치와 연결된 디스플레이 장치 및 이들의 동작 방법
WO2023063643A1 (ko) 복수의 외부 전자 장치들과의 무선랜 통신을 위한 전자 장치 및 그의 동작 방법
WO2023080447A1 (ko) 복수의 링크를 통한 데이터 전송 및 수신의 스케쥴링을 수행하는 전자 장치 및 전자 장치의 동작 방법
WO2022050777A1 (ko) 외부 장치와 무선 통신 연결을 수행하기 위한 대역폭을 결정하기 위한 전자 장치 및 이의 동작 방법
WO2024072025A1 (ko) 데이터 링크를 스케줄링하기 위한 전자 장치 및 그 동작 방법
WO2023008911A1 (ko) 전자 장치 및 그 통신 제어 방법
WO2023113370A1 (ko) 복수의 외부 장치들과의 무선랜 통신을 위한 전자 장치 및 그의 동작 방법
WO2024019286A1 (ko) Twt 모드 또는 절전 모드를 지원하는 전자 장치 및 전자 장치의 동작 방법
WO2023243957A1 (ko) 복수의 채널들을 통해 통신을 수행하기 위한 전자 장치 및 방법
WO2024096284A1 (ko) 무선 통신을 제공하는 전자 장치 및 그의 동작 방법
WO2023167452A1 (ko) 복수의 가입자 식별 모듈들을 포함하는 전자 장치 및 그의 동작 방법
WO2024123077A1 (ko) 사물 인터넷 서비스를 제공하는 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21852192

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202317002506

Country of ref document: IN

ENP Entry into the national phase

Ref document number: 2021852192

Country of ref document: EP

Effective date: 20230104

NENP Non-entry into the national phase

Ref country code: DE