WO2022010153A1 - 전자 장치에서 무선 통신 효율을 개선하기 위한 방법 및 그 장치 - Google Patents

전자 장치에서 무선 통신 효율을 개선하기 위한 방법 및 그 장치 Download PDF

Info

Publication number
WO2022010153A1
WO2022010153A1 PCT/KR2021/008141 KR2021008141W WO2022010153A1 WO 2022010153 A1 WO2022010153 A1 WO 2022010153A1 KR 2021008141 W KR2021008141 W KR 2021008141W WO 2022010153 A1 WO2022010153 A1 WO 2022010153A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
external device
image data
image
frame
Prior art date
Application number
PCT/KR2021/008141
Other languages
English (en)
French (fr)
Inventor
최준수
이선기
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2022010153A1 publication Critical patent/WO2022010153A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities

Definitions

  • Various embodiments disclosed in this document relate to an electronic device and method for improving wireless communication efficiency in a network.
  • An electronic device may provide virtual reality (VR), augmented reality (AR), and mixed reality (MR) services.
  • the electronic device may include modules such as a processor, a display, various sensors, a camera, and a communication circuit necessary for operation.
  • the electronic device may receive data corresponding to a field of view (FOV) of a user from an external device connected through a wireless network. For example, the electronic device transmits state information such as the current device location/direction to an external device (eg, a portable electronic device or a server), obtains a rendered image corresponding to the location and/or orientation from the external device, and Based on the rendered image, virtual and/or augmented reality content may be provided through a display device provided in the electronic device.
  • an external device eg, a portable electronic device or a server
  • a wireless network such as Wi-Fi (wireless fidelity) may be used to connect the electronic device to an external device.
  • Wi-Fi wireless fidelity
  • Wi-Fi 6 corresponding to 802.11ax of IEEE that improved Wi-Fi corresponding to IEEE 802.11ac, while supporting both 2.4Ghz and 5Ghz bands
  • OFDMA orthogonal frequency division multiple access
  • a wireless network supporting a multi-user function may be used.
  • an electronic device that provides VR, AR, or MR service in a wireless environment supplies power through a battery, it may be necessary to reduce power consumption for usability (eg, use time or portability).
  • the electronic device transmits device state information to an external device and receives an image corresponding to the transmitted state information from the external device, transmitting a signal through a wireless connection may consume more power than receiving it. For example, if the same conditions are followed in the IEEE 802.11ax standard, power consumed during signal transmission may correspond to about four times that of power consumed during signal reception.
  • WLAN wireless local area network
  • additional power consumption may occur in order to check which electronic device information is transmitted.
  • an address field is defined in a MAC header in a MAC layer packet used for data transmission and reception, and the data has a constant size.
  • decoding is performed to restore or obtain a digital data bit stream transmitted from the transmitting end on all packets received from the PHY layer corresponding to the lower layer of the MAC layer, and is transmitted to the MAC layer, which is the upper layer, and is transmitted to the MAC layer. Since the destination needs to be checked after referring to the address information in the MAC header, idle power consumption may occur in the corresponding operation.
  • a network used to connect the electronic device and an external device supports only frames that are sequentially required to be decoded, such as a single user (SU) frame, power consumption due to decoding may increase.
  • latency When the electronic device renders and transmits a corresponding image whenever a user's state is changed, latency may be increased. Such an increase in latency makes it impossible to output an immediate response to a user's movement change, thereby reducing the reality that is originally intended to be provided through the electronic device.
  • Various embodiments disclosed in this document may include an apparatus and an invention for reducing power consumption and latency.
  • An electronic device includes a display, a communication circuit, at least one sensor, a memory in which instructions are stored, and at least one processor electrically connected to the communication circuit, the at least one sensor, and the memory, When the stored instructions are executed, the at least one processor outputs a first image through the electronic device, and a plurality of independently decoded data from an external device connected to the electronic device through the communication circuit through a designated network.
  • Receive a frame defining resource blocks obtain status information of the electronic device using the at least one sensor, and correspond to the obtained status information among the plurality of resource blocks It may be configured to decode image data corresponding to a resource block and output a second image through the electronic device based on the decoded image data.
  • the method of operating an electronic device may include outputting a first image through the electronic device and decoding independently from an external device connected to the electronic device through a specified network through a communication circuit of the electronic device An operation of receiving a frame defining a plurality of possible resource blocks, an operation of obtaining status information of the electronic device using at least one sensor of the electronic device, an operation of the plurality of resource blocks and decoding image data corresponding to the first resource block corresponding to the obtained state information, and outputting a second image through the electronic device based on the decoded image data.
  • An electronic device includes a communication circuit, at least one sensor, a memory storing instructions, and at least one processor electrically connected to the communication circuit, the at least one sensor, and the memory, At least one processor receives a frame including a plurality of independently decodable resource blocks from an external device connected through a network designated through the communication circuit when the stored instructions are executed, and the at least one It is possible to obtain status information of the electronic device by using a sensor of , and decode data corresponding to a resource block corresponding to the obtained status information among the plurality of resource blocks.
  • the external device may transmit the rendered data in consideration of a plurality of possible state information in addition to the current state information of the electronic device.
  • FIG. 1 illustrates an external device, an electronic device, and a network according to an embodiment.
  • FIG. 2 is a block diagram of an external device in a network environment according to various embodiments of the present disclosure
  • FIG. 3 is a perspective view of an electronic device according to an embodiment.
  • FIG. 4 illustrates a hardware configuration of an electronic device according to an embodiment.
  • FIG. 5 is a flowchart illustrating an operation of an external device and an electronic device according to an exemplary embodiment.
  • 6A shows the structure of a PPDU according to various embodiments.
  • 6B illustrates a frame having independently formed resource blocks according to an embodiment.
  • 6C illustrates a frame having resource blocks configured consecutively according to an embodiment.
  • 6D shows a HE-SIG-B field including an identifier as part of a frame.
  • FIG. 7 illustrates a change in FOV according to an embodiment.
  • FIG. 8 is a flowchart illustrating an operation of an external device according to an exemplary embodiment.
  • FIG. 9 illustrates a movement of an electronic device or a change in state information according to the passage of time, according to an exemplary embodiment.
  • FIG. 10A illustrates image data generated according to a change in FOV according to an exemplary embodiment.
  • FIG. 10B illustrates a frame to which image data generated in the exemplary embodiment of FIG. 10A is mapped.
  • FIG. 11 is a flowchart illustrating an operation of an electronic device according to an exemplary embodiment.
  • FIG. 12 is a flowchart including an operation of determining a frame and an identifier in an electronic device according to an embodiment.
  • FIG. 13 illustrates a change in FOV according to an exemplary embodiment.
  • FIG. 14 is a flowchart including an operation of transmitting an acknowledgment from an external device according to an embodiment.
  • 15 shows a block used to transmit an acknowledgment according to an embodiment.
  • FIG 16 illustrates view tracking reflecting an acknowledgment according to an embodiment.
  • 17A illustrates a possible FOV of an electronic device and a FOV of a user, according to an embodiment.
  • 17B illustrates a case in which the FOV of the electronic device is greater than the FOV of the user, according to an embodiment.
  • FIG 18 illustrates an operation in which an external device and an electronic device transmit/receive an image according to an embodiment.
  • FIG. 19 illustrates an operation in which an electronic device transmits/receives an image to and from an external device according to a change in the FOV of the electronic device, according to an exemplary embodiment.
  • 20 is a block diagram of a receiving unit of an external device according to an exemplary embodiment.
  • 21 illustrates a case in which an electronic device can decode only one resource block, according to an embodiment.
  • FIG. 22 illustrates a case in which an electronic device can decode a plurality of resource blocks according to an embodiment.
  • FIG. 1 illustrates an external device 101 , an electronic device 200 , a user 300 wearing the electronic device 200 , and a network 10 according to an embodiment.
  • the external device 101 may include a station or home server that provides VR, AR, or MR service, or any electronic device having appropriate processing capability.
  • an electronic device 200 may be connected to an external device 101 through a network 10 .
  • network 10 may include a wireless network such as Wi-Fi.
  • the network 10 supports both a 2.4Ghz band and a 5Ghz band, such as Wi-Fi 6 corresponding to IEEE 802.11ax, while supporting an improved multi-user function such as orthogonal frequency division multiple access (OFDMA).
  • OFDMA orthogonal frequency division multiple access
  • the network 10 may include cellular or any other network in which the various embodiments described with reference to the following figures may be implemented.
  • Wi-Fi 6 is mainly described for convenience of description, the technical features disclosed in this document may be applied as long as the network supports a communication protocol having an MU frame or a format corresponding thereto.
  • the electronic device 200 is a virtual reality (VR), augmented reality (AR), or mixed reality (MR) device. It can include any type of device that provides a service.
  • the electronic device 200 may mean smart glasses.
  • FIG. 2 is a block diagram of an external device 101 in the network environment 100 according to various embodiments of the present disclosure.
  • the external device 101 connects to the electronic device 102 through the first network 198 (eg, a short-range wireless communication network) (eg, the network 10 of FIG. 1 )
  • the first network 198 eg, a short-range wireless communication network
  • the second network 199 eg, a remote wireless communication network
  • the first network 198 may correspond to the network 10 of FIG. 1 .
  • the external device 101 may communicate with the electronic device 104 through the server 108 .
  • the external device 101 includes a processor 120 , a memory 130 , an input device 150 , a sound output device 155 , a display device 160 , an audio module 170 , and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or an antenna module 197 may be included.
  • at least one of these components eg, the display device 160 or the camera module 180
  • the sensor module 176 eg, a fingerprint sensor, an iris sensor, or an illuminance sensor
  • the display device 160 eg, a display
  • the processor 120 for example, executes software (eg, a program 140) to execute at least one other component (eg, a hardware or software component) of the external device 101 connected to the processor 120 It can control and perform various data processing or operations.
  • the processor 120 stores a command or data received from another component (eg, the sensor module 176 or the communication module 190 ) into the volatile memory 132 .
  • the processor 120 includes a main processor 121 (eg, a central processing unit or an application processor), and an auxiliary processor 123 (eg, a graphic processing unit or an image signal processor) that can be operated independently or together with the main processor 121 . , a sensor hub processor, or a communication processor). Additionally or alternatively, the auxiliary processor 123 may be configured to use less power than the main processor 121 or to be specialized for a designated function. The auxiliary processor 123 may be implemented separately from or as a part of the main processor 121 .
  • a main processor 121 eg, a central processing unit or an application processor
  • an auxiliary processor 123 eg, a graphic processing unit or an image signal processor
  • the auxiliary processor 123 may be configured to use less power than the main processor 121 or to be specialized for a designated function.
  • the auxiliary processor 123 may be implemented separately from or as a part of the main processor 121 .
  • the auxiliary processor 123 is, for example, on behalf of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, executing an application). ), together with the main processor 121, at least one of the components of the external device 101 (eg, the display device 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the auxiliary processor 123 eg, image signal processor or communication processor
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176 ) of the external device 101 .
  • the data may include, for example, input data or output data for software (eg, the program 140 ) and instructions related thereto.
  • the memory 130 may include a volatile memory 132 or a non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 , and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input device 150 may receive a command or data to be used by a component (eg, the processor 120 ) of the external device 101 from the outside (eg, a user) of the external device 101 .
  • the input device 150 may include, for example, a microphone, a mouse, a keyboard, or a digital pen (eg, a stylus pen).
  • the sound output device 155 may output a sound signal to the outside of the external device 101 .
  • the sound output device 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback, and the receiver can be used to receive an incoming call.
  • the receiver may be implemented separately from or as a part of the speaker.
  • the display device 160 may visually provide information to the outside (eg, a user) of the external device 101 .
  • the display device 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the corresponding device.
  • the display device 160 may include a touch circuitry configured to sense a touch or a sensor circuit (eg, a pressure sensor) configured to measure the intensity of a force generated by the touch. have.
  • the audio module 170 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 170 acquires a sound through the input device 150 or an external electronic device (eg, a sound output device 155 ) directly or wirelessly connected to the external device 101 . A sound may be output through the electronic device 102 (eg, a speaker or headphones).
  • an external electronic device eg, a sound output device 155
  • a sound may be output through the electronic device 102 (eg, a speaker or headphones).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the external device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more designated protocols that may be used for the external device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102 ).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 178 may include a connector through which the external device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to an embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the external device 101 .
  • the power management module 188 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the external device 101 .
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the external device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It can support establishment and communication performance through the established communication channel.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : It may include a LAN (local area network) communication module, or a power line communication module).
  • a corresponding communication module among these communication modules is a first network 198 (eg, a short-range communication network such as Bluetooth, Wi-Fi direct, or infrared data association (IrDA)) or a second network 199 (eg, a cellular network, the Internet).
  • a first network 198 eg, a short-range communication network such as Bluetooth, Wi-Fi direct, or infrared data association (IrDA)
  • a second network 199 eg, a cellular network, the Internet.
  • the wireless communication module 192 uses the subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199 . It is possible to check and authenticate the external device 101 .
  • subscriber information eg, International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the antenna module 197 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module may include one antenna including a conductor formed on a substrate (eg, a printed circuit board) or a radiator formed of a conductive pattern.
  • the antenna module 197 may include a plurality of antennas. In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected from the plurality of antennas by, for example, the communication module 190 . can be selected. A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, RFIC
  • other than the radiator may be additionally formed as a part of the antenna module 197 .
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the external device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the electronic devices 102 and 104 may be the same as or different from the external device 101 .
  • all or part of the operations performed by the external device 101 may be executed by one or more external devices among the external electronic devices 102 , 104 , or 108 .
  • the external device 101 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • the one or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the external device 101 .
  • the external device 101 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, or client-server computing technology may be used.
  • FIG. 3 is a perspective view of an electronic device 200 according to an embodiment.
  • the electronic device 200 may include a display 210 , a body 220 , and/or a connection unit 230 .
  • the connection part 230 may be connected to the body 220 and have a structure or shape for fixing to a part of the body (eg, the head).
  • the connection part 230 may include a strap.
  • the body 220 may include the face form 221 .
  • the face form 221 may include at least one pressure sensor (not shown) connected to at least one processor (eg, the processor 410 of FIG. 4 ).
  • at least one pressure sensor may sense the pressure applied to the face form 221 .
  • a lens unit (not shown) including a left lens and a right lens may be disposed on the body 220 , and a user may view an image displayed on the display 210 through the lens unit.
  • the display 210 may display a left-eye image and a right-eye image for the left lens and the right lens, respectively.
  • the display 210 may display a different image on each lens of the lens unit, thereby allowing the user to feel a three-dimensional effect.
  • the electronic device 200 may implement virtual reality (VR) in a virtual 3D space through the left eye image and the right eye image.
  • VR virtual reality
  • the display 210 may be formed of a transmissive material so as not to block the view of the user 300 .
  • the user 300 may recognize the outside of the electronic device 200 by penetrating the transparent material.
  • the electronic device 200 may implement augmented reality (AR) by synthesizing or adding virtual objects or information to an actual environment through the display 210 formed of a transmissive material.
  • AR augmented reality
  • FIG. 4 illustrates a hardware configuration of the electronic device 200 according to an embodiment.
  • the electronic device 200 includes at least one processor 410 , a camera module 420 , an antenna module 430 , a communication circuit 440 , a display 210 , a memory 450 and/or At least one sensor 460 may be included.
  • the at least one processor 410 may transmit and/or receive a signal with the external device 101 through the communication circuit 440 and/or the antenna module 430 .
  • the at least one processor 410 transmits the state information of the electronic device 200 to the external device 101 or includes a resource block in which a plurality of data based on the state information is mapped and stored from the external device 101 frame (or packet) can be received.
  • the at least one processor 410 may be configured to use an external object (eg, a distance to the external device 101 , a shape of the external object and/or Changes in external objects (eg movement) can be detected.
  • mapping of data to a resource block may be interpreted as including not only linking data to the resource block but also storing data in the resource block.
  • the camera module 420 may take pictures and videos of the surrounding environment.
  • the camera module 420 may capture a change in the surrounding environment according to the user's movement as a picture or a video.
  • the electronic device 200 may include a transceiver for controlling the antenna module 430 and processing a signal.
  • the antenna module 430 may emit a transmission signal to the outside and receive a reflected signal in which the transmission signal is reflected by an external object.
  • the antenna module 430 may include a mmWave antenna module using a high frequency band.
  • the mmWave antenna module may use a frequency band such as 28 GHz, 39 GHz, or 60 GHz.
  • the antenna module 430 may be formed in an array form, and may intensively transmit a signal in a specific direction through a beamforming technology.
  • the antenna module 430 may receive a reflected signal of a signal transmitted through the beamforming technology, and may recognize the position of the external object and the characteristics of the external object (eg, the shape or amount of change of the external object). For example, the antenna module 430 may recognize a gesture of the user 300 by receiving a reflected signal of a signal transmitted through a beamforming technique. In an embodiment, the antenna module 430 may transmit a signal to the outside or receive a signal from the outside based on the control of the processor 410 and/or the communication circuit 440 .
  • the communication circuit 440 may perform communication between the electronic device 200 and the external device 101 using the antenna module 430 .
  • the communication circuit 440 may include a short-range wireless communication module capable of performing P2P communication through a wireless LAN (WLAN) communication channel.
  • WLAN wireless LAN
  • the communication circuit 440 transmits and/or receives data to and from an external device (eg, the external device 101 of FIG. 1 ) forming a P2P group with the electronic device 200 through the antenna module 430 . can do.
  • the display 210 may be electrically connected to at least one processor 410 .
  • image data mapped to a resource block included in a frame received by the at least one processor 410 from the external device 101 eg, image data generated corresponding to a predictable FOV based on state information
  • an image may be output through the display 210 .
  • the memory 450 may store various data used by at least one component (eg, the processor 410 or the sensor 460 ), and may be electrically connected to the at least one processor 410 . have.
  • at least one processor electrically connected to at least one pressure sensor (not shown) 410 may execute instructions stored in memory 450 .
  • the at least one sensor 460 may measure a physical quantity or sense an operating state of the electronic device 200 to convert the measured or sensed information into an electrical signal.
  • the at least one sensor 460 may include at least one of an acceleration sensor, a gyro sensor, a distance sensor, and an image sensor.
  • the function performed by the camera module 420 , the antenna module 430 , the communication circuit 440 and the display 210 , at least one processor 410 executes instructions stored in the memory 450 . It can be understood as being performed by executing.
  • the electronic device 200 may use one or more hardware processing circuits to perform functions and operations included in various embodiments disclosed herein.
  • hardware such as an application processor (AP) included in an electronic device, an image signaling processor (ISP) mounted in a camera module, a display driver integrated circuit (DDIC), a communication processor (CP), or a hardware encoder Processing circuitry may be used for implementation of various embodiments disclosed herein.
  • AP application processor
  • ISP image signaling processor
  • DDIC display driver integrated circuit
  • CP communication processor
  • CP communication processor
  • connection relationship between the hardware illustrated in FIG. 4 is for convenience of description and does not limit the flow/direction of data or commands.
  • Components included in the electronic device 200 may have various electrical and/or operational connection relationships.
  • FIG 5 is an operation flowchart of the external device 101 and the electronic device 200 according to an embodiment.
  • the external device 101 and the electronic device 200 when the external device 101 and the electronic device 200 operate to comply with the IEEE 802.11ax standard through the network 10 , the external device 101 and the electronic device 200 communicate with each other through a frame ( Alternatively, it may operate in the first mode used in a manner of mapping data for a plurality of devices to resource blocks included in the packet).
  • the electronic device 200 transmits an association request frame to the external device 101 , and the external device 101 receiving the association request frame sends an association response frame to the electronic device 200 . By transmitting (Association Response Frame), the external device 101 and the electronic device 200 may operate in the first mode.
  • the electronic device 200 when the electronic device 200 operates in the first mode, the electronic device 200 indicates that the electronic device 200 is one of a plurality of identifiers (eg, MAC address, ID, or device name) for identifying the device.
  • identifiers eg, MAC address, ID, or device name
  • a resource block corresponding to an identifiable identifier may be decoded.
  • the external device 101 and the electronic device 200 when operating differently from the IEEE 802.11ax standard, transmit a plurality of data for one device to resource blocks included in a frame (or packet) through a negotiation. It can operate in the second mode used as a mapping method.
  • the electronic device 200 transmits an association request frame to the external device 101 , and the external device 101 receiving the association request frame sends an association response frame to the electronic device 200 . (association response frame) is transmitted, and at the same time as each transmission, a vendor specific element is attached to each other to confirm capability information for the second mode operation, so that the external device 101 and the electronic device 200 are connected to the second mode can be operated.
  • the electronic device 200 when the electronic device 200 operates in the second mode, the electronic device 200 identifies the electronic device 200 among a plurality of identifiers related to state information included in a frame received from the external device 101 .
  • a resource block corresponding to an identifier corresponding to the state information may be decoded.
  • the state information of the electronic device 200 includes state change information (eg, motion information) of the electronic device 200 measured through the sensor 460 , and a change in the external environment detected through the camera module 420 .
  • Information eg, movement of an external object or user
  • information on changes in the external environment detected through the antenna module 430 eg, movement of an external object or user
  • the electronic device 200 when the external device 101 and the electronic device 200 operate in the second mode, to change the external device 101 and the electronic device 200 to operate in the first mode, the electronic device 200 transmits an association request frame to the external device 101 , and the external device 101 receiving the association request frame transmits an association response frame to the electronic device 200 .
  • the electronic device 200 transmits an association request frame to the external device 101
  • the external device 101 receiving the association request frame transmits an association response frame to the electronic device 200 .
  • a vendor specific element to each transmission at the same time and exchanging capability information for the first mode operation with each other, it is possible to switch to the first mode.
  • the electronic device 200 may perform the transition from the second mode to the first mode based on the vendor specific action frame transmitted/received by the external device 101 without an association request and association response frame.
  • FIG. 5 Various embodiments provided with reference to FIG. 5 and the following drawings may be understood as a case in which the electronic device 200 operates in the second mode.
  • the external device 101 may render an image while transmitting and/or receiving signals with the electronic device 200 , and the electronic device 200 transmits and/or receives signals with the external device 101 .
  • the rendered image received from the external device 101 may be output while receiving.
  • the external device 101 and the electronic device 200 may be connected through the network 10 .
  • the electronic device 200 receives first state information of the electronic device 200 (eg, state change information (eg, motion information) of the electronic device 200 measured through the sensor 460 . ), information on changes in the external environment detected through the camera module 420 (eg, movement of an external object or user)) may be transmitted to the external device 101 .
  • the electronic device 200 may transmit the first state information to the external device 101 periodically or when the first state information is changed.
  • the electronic device 200 transmits the image data captured by the camera module 240 of the electronic device 200 before, after, or substantially simultaneously with transmitting the first state information to the external device 101 ) can be transmitted.
  • the external device 101 generates a plurality of image data based on the first state information received from the electronic device 200 in operation 503, and uses the plurality of image data in a specified manner (eg, external).
  • the device 101 and the electronic device 200 may generate a mapped frame according to a method of mapping a plurality of data for one device to a plurality of resource blocks included in a frame (or packet) through consultation). have.
  • the external device 101 may transmit the generated frame to the electronic device 200 .
  • the electronic device 200 may output the first image in operation 507 .
  • the image output in operation 507 may be an image based on a frame received from the external device 101 in operation 505 .
  • the image output in operation 507 may be an image acquired from the external device 101 before receiving the frame from the external device 101 in operation 505 .
  • the HMD device 200 may acquire second state information in operation 509 . 5 shows that the second state information is acquired after receiving the frame from the external device 101, but the second state information is before/just before acquiring the frame to which image data is mapped, or before acquiring the frame by which image data is mapped and can be obtained substantially simultaneously.
  • the second state information may mean state information of the electronic device 200 that is generated after the electronic device 200 transmits the first state information to the external device 101 in operation 501 . .
  • the second state information may include state change information (eg, motion information) of the electronic device 200 measured through the sensor 460 and change information of the external environment detected through the camera module 420 (eg: movement of an external object or user) or information on changes in the external environment detected through the antenna module 430 (eg, movement of an external object or user).
  • state change information eg, motion information
  • change information of the external environment detected through the camera module 420 eg: movement of an external object or user
  • information on changes in the external environment detected through the antenna module 430 eg, movement of an external object or user
  • the electronic device 200 may identify a resource block (eg, the resource block 620 of FIG. 6A ) corresponding to the second state information in the frame received from the external device 101 in operation 511 .
  • the electronic device 200 may decode the resource block identified in operation 513 and output a second image corresponding to the second state information.
  • 6A shows the structure of a PPDU according to various embodiments.
  • 6B shows a frame having an independently formed resource block 620 according to an embodiment.
  • 6C shows a frame having resource blocks 630 continuously configured according to an embodiment.
  • 6D shows a HE-SIG-B field 610 that includes an identifier as part of a frame.
  • a physical layer conformance procedure protocol data unit (PPDU) 600 has a structure of a data packet defined in IEEE 802.11ax, and may be a high efficiency PPDU (HE-PPDU). According to various embodiments, the PPDU 600 may be a PPDU for multi user multi input multi output (MU-MIMO) and/or OFDMA operation of the external device 101 or the electronic device 200 .
  • PPDU physical layer conformance procedure protocol data unit
  • the PPDU 600 is a legacy short training field (L-STF) 601, a legacy long training field (L-LTF) 603, and an L-SIG field (legacy signal field) 605 .
  • L-STF legacy short training field
  • L-LTF legacy long training field
  • L-SIG field legacy signal field
  • RL-SIG field peerated legacy signal field
  • HE-SIG-A field high efficiency signal A field
  • HE-SIG-A field high efficiency signal A field
  • HE-SIG-A field high efficiency signal A field
  • HE- to include at least one of a high efficiency short training field (STF) 613, a high efficiency long training field (HE-LTF) 615, a Data field 617, or a packet extension field (PE) 619
  • STF high efficiency short training field
  • HE-LTF high efficiency long training field
  • PE packet extension field
  • the L-STF 601 , the L-LTF 603 , and the L-SIG field 605 may be described as fields constituting the legacy preamble.
  • the legacy preamble may include information enabling the antenna module 430 to perform a preparation step necessary for data packet reception.
  • the L-STF 601 including a specific repeated sequence, is used for Start-of-packet detection, Automatic gain control (AGC), Initial frequency offset estimation and/or Initial time synchronization. It may be a used field.
  • AGC Automatic gain control
  • Initial frequency offset estimation and/or Initial time synchronization. It may be a used field.
  • the L-LTF 603 may be a field used for channel estimation, more accurate frequency offset estimation, and/or more accurate time synchronization.
  • the L-SIG field 605 may be a field including rate, length, and parity information.
  • the RL-SIG field 607 may be inserted before the HE-SIG-A field 609 and may be a field for classifying the data format of the PPDU 600 into a HE-PPDU.
  • the HE-SIG-A field 609 indicates whether the PPDU 600 is a downlink (DL) PPDU transmitted from an access point (AP) or an uplink (UL) PPDU transmitted from a station (STA). It may be a field including information indicating
  • the HE-SIG-B field 611 may be a field to which data of each user is allocated when the PPDU 600 transmits a packet having payloads of multiple users.
  • the HE-STF 613 may be a field used to improve performance of automatic gain control in multi input multi output (MIMO) transmission.
  • MIMO multi input multi output
  • the HE-LTF 615 may be a field used by the antenna module 430 to estimate a MIMO channel.
  • the HE-LTF 615 may include n HE-LTF symbols 615-1, ..., or 615-n having different durations.
  • the size and/or phase of the subcarrier corresponding to each HE-LTF symbol 615-1, ..., or 615-n is previously determined. This can be done by ascertaining the degree of change with respect to a defined magnitude and/or phase.
  • the Data field 617 may be a field used for data communication.
  • the Data field 617 may include data (in other words, payload of a medium access control (MAC) layer) to be transmitted to the antenna module 430 .
  • the Data field 617 may be empty when the PPDU 600 is used for sensing a surrounding environment (in other words, a delivery environment) rather than data communication.
  • MAC medium access control
  • the PE field 619 may be a field used to guarantee a time for processing the received PPDU 600 by the antenna module 430 .
  • a frame having an independently formed resource block 620 is different from a frame having a continuously configured resource block 630 , the operation of mapping image data to the resource block in the external device 101
  • the electronic device 200 may perform an operation of decoding the image data mapped to the resource block independently of other image data.
  • Data 3 in a frame having a continuously formed resource block 630, Data 3 must be decoded after decoding Data 1 and Data 2, but in a frame having an independently formed resource block 620, Data 1, Data 2, and Data 3 can be independently decoded.
  • Data 3 may be decoded without decoding Data 1 or Data 2 .
  • a plurality of resource blocks 620 may be simultaneously decoded.
  • Data 1, Data 2, and Data 3 may be simultaneously decoded.
  • the external device 101 may reduce power consumed for decoding by decoding only data having a difference between a plurality of data included in the independently formed resource block 620 .
  • the external device 101 may Power consumed for decoding image data may be reduced by decoding only Data 1 and data corresponding to the difference between Data 1 and Data 1 and Data 2 without decoding Data 1 and Data 2, respectively.
  • independently performed mapping of image data or decoding of image data may consume less power than sequentially performed mapping of image data or decoding of image data.
  • the frame of FIG. 6B may be a multi user (MU) frame, and the frame of FIG. 6C may be a single user (SU) frame.
  • the frame includes the HE-SIG-B field 610 , but in the embodiment of FIG. 6C , the frame may not include the HE-SIG-B field 610 .
  • the electronic device 200 may distinguish the MU frame and the SU frame based on the presence or absence of the HE-SIG-B field 610 .
  • information about the electronic device 200 is provided in the HE-SIG-B field 610 in the received frame. If is not included, it is possible to reduce power consumption by stopping decoding.
  • the HE-SIG-B field 610 may include a common field and a user special field 611 .
  • the user special field 611 may include a part 612 including an identifier and a padding part.
  • the electronic device 200 receiving the frame from the external device 101 decodes the HE-SIG-B field 610 to obtain an identifier of the electronic device 200 (eg, the electronic device 200 ). It may be checked whether an identifier (MAC address, or ID) of , or an identifier capable of identifying state information according to a consultation between the external device 101 and the electronic device 200) exists. In an example, when an identifier related to the electronic device 200 does not exist in the HE-SIG-B field 610 , the electronic device 200 may reduce power loss by not performing decoding.
  • FIG. 7 illustrates a change in the FOV 710 according to an embodiment.
  • the FOV 710 is formed according to the direction in which the user 300 looks. According to an embodiment, as the direction in which the user 300 looks is changed, the position of the FOV 710 may also change. For example, as the direction in which the user 300 looks is changed to a clockwise direction, the position of the FOV 710 may also move in a clockwise direction.
  • the user 300 may recognize only the visual information that enters the FOV 710 from among the visual information in the 3D space.
  • the right boundary 730 of the FOV 710 may move in the order of 711 , 712 , or 713 .
  • the left boundary 720 of the FOV 710 may move to 714 .
  • FIG 8 is an operation flowchart of the external device 101 according to an exemplary embodiment.
  • the external device 101 generates a frame to which image data generated corresponding to a predictable FOV is mapped based on the state information received from the electronic device 200 , and converts the frame to the electronic device 200 . ) can be sent to
  • the external device 101 may receive first state information from the electronic device 200 .
  • the first state information may include information related to the movement of the electronic device 200 .
  • the moving direction and/or acceleration may be included in the first state information.
  • the first state information may include information related to an input of the user 300 .
  • the user 300 receives an input through an input device (not shown) (eg, a button or a pad) included in the electronic device 200 while wearing the electronic device 200 or receives an electronic device ( 200 of the camera module 420 or the antenna module 430 may receive the user's gesture.
  • the input of the user 300 may include an input through an external input device (eg, a controller or a joystick) capable of interworking (or communication connection) with the electronic device 200 .
  • the external device 101 receives first state information received from the electronic device 200 (eg, state change information of the electronic device 200 measured through the sensor 460 or a camera module).
  • the first image data corresponding to the FOV (eg, 710 in FIG. 7 ) of the electronic device 200 that can be identified through the change information of the external environment sensed through 420 may be generated.
  • the first image data may be generated even when there is no movement of the user 300 wearing the electronic device 200 .
  • the first image data may be generated based on the current FOV of the electronic device 200 .
  • the external device 101 negotiates with the electronic device 200 to include a plurality of resource blocks included in a frame (or packet) for one device.
  • second image data corresponding to a possible FOV may be generated based on the first image data and the first state information.
  • the size of the second image data may change according to the first state information. For example, when the rate of change of the FOV of the electronic device 200 is large, the size of the second image data may increase compared to when the rate of change of the FOV of the electronic device 200 is small.
  • the external device 101 may map the first image data and the second image data to a frame.
  • the external device 101 may map the first image data and the at least one second image data to the independently decodable data block included in the frame.
  • the first image data corresponds to an image corresponding to the user's field of view among images acquired by the camera module 420 of the electronic device 200
  • the second image data corresponds to the camera module ( It may correspond to an image out of the user's field of view among the images acquired in 420).
  • the first image data may correspond to an image based on the current FOV of the electronic device 200
  • the second image data may correspond to an image based on the FOV related to the expected movement direction of the electronic device 200 .
  • a portion of the first image data and the plurality of second image data may be the same.
  • the external device 101 may transmit the mapped frame to the electronic device 200 .
  • the frame may be transmitted over a designated network corresponding to the IEEE 802.11 ax standard.
  • FIG 9 illustrates a movement of the electronic device 200 or a change in state information according to the passage of time, according to an embodiment.
  • the state information of the electronic device 200 may change according to the movement of the electronic device 200 generated for a predetermined time.
  • the first area 912 and the second area 913 may be FOV areas in which movement is predicted from the current FOV area 911 of the electronic device 200, and at least some of them are different based on the current FOV. It may contain areas. For example, when the user 300 wearing the electronic device 200 moves the head to the right, the first area 912 including the area to the right of the current FOV area 911 of the electronic device 200 is newly created.
  • a second region (which may be formed as a FOV region and includes an region lower than the current FOV region 911 of the electronic device 200 when the user 300 wearing the electronic device 200 moves the head downward) 913) can be formed as a new FOV region.
  • the first region 912 and the second region 913 may include different regions over time.
  • the second time 920 , or the third time 930 progresses, the second At one time 910 , the current FOV area 911 is formed as the FOV area, at the second time 920 , the second area 913 is formed as the FOV area, and at a third time 930 , the FOV area is A region (eg, a third region (not shown)) to the right of the second region 913 at the second time 920 may be included.
  • FIG. 10A illustrates image data 1010 and 1020 generated according to a change in the FOV (eg, 710 of FIG. 7 ) according to an exemplary embodiment.
  • FIG. 10B illustrates a frame to which image data generated in the exemplary embodiment of FIG. 10A is mapped.
  • the external device 101 may generate first image data 1010 corresponding to the FOV of the electronic device 200 indicated by the first state information received from the electronic device 200, A plurality of second image data 1020 corresponding to a possible FOV may be generated based on the first state information and the first image data 1010 .
  • the plurality of second image data 1020 may include the electronic device 200 detectable by the electronic device 200 or the movement direction and/or the movement speed of the user 300 wearing the electronic device 200 . The number may be determined based on .
  • the at least one second image data 1010 corresponds to a FOV of the electronic device 200 indicated by at least one piece of second state information different from the first state information. For example, since the user 300 wearing the electronic device 200 can move east, west, south, or north, at least four pieces of second state information may be generated, and at least four pieces of second state information are indicated. At least four pieces of second image data 1020 may be generated based on the FOV of the electronic device 200 and the first state information.
  • the external device 101 includes the first image data 1010 and the plurality of second image data 1020 generated in the embodiment of FIG. 10A in a frame, a resource block 620 .
  • the first image data 1010 is mapped to the first resource block 621 of the resource block 620
  • any one image data 1021 among the plurality of second image data 1020 is the first It may be mapped to a second resource block 622 different from the resource block 621 .
  • the external device 101 may map the second image data 1020 to the resource block 620 based on table information shared with the electronic device 200 .
  • the frame including the HE-SIG-B field 610 may include an independently formed resource block 620 .
  • the first image data 1010 and the plurality of second image data 1020 may be mapped to independently formed resource blocks 620 .
  • the first image data 1010 is mapped to an independently formed first resource block 621
  • any one image data 1021 among the plurality of second image data 1020 is an independently formed second resource
  • the electronic device 200 may select and decode one of the first resource block 621 and the second resource block 622 .
  • the frame including the HE-SIG-B field 610 may include an independently formed resource block 620 in which normal data and fake data are mapped for wireless security.
  • normal data may be mapped to an independently formed first resource block 621
  • fake data may be mapped to an independently formed second resource block 622 .
  • the external device 101 may transmit to the electronic device 200 information about a resource block to which normal data is mapped and a frame including the first resource block 621 and the second resource block 622 . have.
  • the electronic device 200 that receives the frame transmitted by the external device 101 receives a first resource block 621 or a second resource block 622 based on information on a resource block to which normal data is mapped. ) to decode normal data.
  • 11 is an operation flowchart of the electronic device 200 according to an exemplary embodiment.
  • the electronic device 200 may output a first image.
  • the first image may correspond to an image obtained by decoding image data included in another frame received by the external device 101 before receiving the frame from the external device 101 .
  • the electronic device 200 may receive a frame that can be independently decoded from the external device 101 .
  • the independently decodable frame received from the external device 101 includes state information transmitted by the electronic device 200 (eg, state information before outputting the first image or during output of the first image). It may be a frame generated based on the state information).
  • the electronic device 200 may acquire state information using at least one sensor 460 electrically connected to the processor 410 .
  • operation 1130 may be performed before operation 1120 .
  • the electronic device 200 may identify a resource block corresponding to the acquired state information using at least one sensor 460 .
  • the state information obtained by using the at least one sensor 460 may correspond to at least one piece of state information regarding the FOV (eg, 710 of FIG. 7 ) of the electronic device 200 that can be generated.
  • the state information obtained using the at least one sensor 460 may include a moving direction, a moving speed, or a moving amount of the electronic device 200 .
  • the electronic device 200 may decode image data corresponding to a resource block identified as corresponding to the acquired state information using at least one sensor 460 .
  • the electronic device 200 may selectively decode a resource block corresponding to state information among independently formed resource blocks 620 .
  • the electronic device 200 may output a second image based on the decoded image data.
  • the second image may have a FOV that is at least partially different from that of the first image.
  • the electronic device 200 may not be able to output the second image based on a frame received from the external device. .
  • the electronic device 200 may request transmission of a new frame to the external device 101 .
  • the electronic device 200 may transmit the state information obtained through the sensor 460 to the external device 101 to request transmission of a new frame.
  • the electronic device 200 transmits new image information acquired through the camera module 420 to the external device 101 , and a new first image information generated from the external device 101 based on the new image information. An image and new second image information may be received.
  • FIG. 12 is a flowchart including an operation of determining a frame and an identifier in an electronic device according to an embodiment.
  • the electronic device 200 may determine whether to update the state information. In an example, when the FOV of the electronic device 200 does not change, the electronic device 200 may determine that the state information is not updated. For example, when the amount of data change measured by the sensor 460 is less than a threshold value, the electronic device 200 may determine that the location change of the electronic device 200 has not occurred. As another example, when a user input is not generated, the electronic device 200 may determine that status information of the electronic device 200 has not been generated. As another example, the electronic device 200 may periodically transmit state information of the electronic device 200 to the external device 101 .
  • the electronic device 200 may transmit the current state information of the electronic device 200 to the external device 101 .
  • the electronic device 200 may transmit status information to the external device 101 and receive a frame based on the status information transmitted by the electronic device 200 from the external device 101 .
  • the electronic device 200 may decode the PHY layer header of the frame received from the external device 101 .
  • the electronic device 200 may determine whether the frame received from the external device 101 is an MU frame or a SU frame.
  • the MU frame may include independently decodable resource blocks.
  • the electronic device 200 transmits/receives data (or frames) to and from the external device 101, it may be in an agreed state to use an MU frame including an independently decodable resource block.
  • the electronic device 200 decodes the PHY layer header of the frame received from the external device 101 to check a designated field (eg, HE-SIG-B field) in the case of an MU frame.
  • the frame received from the external device 101 is not an MU frame, or even if it is an MU frame, information on independent data blocks in the HE-SIG-B field is previously promised. Decoding may be stopped if it is different from that by operation.
  • the electronic device 200 and the external device 101 may be connected through Wi-Fi direct, Wi-Fi Aware, or a mobile hotspot (or soft AP).
  • the external device 101 when the electronic device 200 and the external device 101 are connected via Wi-Fi direct, the external device 101 operates as a group owner (GO) and the electronic device 200 operates as a group client (GC). ) can work.
  • the external device 101 when the electronic device 200 and the external device 101 are connected through Wi-Fi Aware, the external device 101 may operate as a master role and the electronic device 200 may operate as a slave role.
  • the external device 101 when the electronic device 200 and the external device 101 are connected through a mobile hotspot, the external device 101 operates as a hotspot (or soft AP), and the electronic device 200 operates as a station (STA). ) can work.
  • the electronic device 200 may check whether an identifier corresponding to the state information exists. In one example, there may be a plurality of identifiers corresponding to the state information.
  • the electronic device 200 may stop decoding the resource block included in the frame.
  • the external device 101 is used in a manner of mapping a plurality of data for one device to resource blocks included in a frame (or packet) through consultation with the electronic device 200
  • the electronic device When the 200 stops decoding, an operation of determining whether to update the state information of the electronic device 200 may be performed.
  • the electronic device 200 may stop decoding the resource block included in the frame in operation 1260 .
  • the electronic device 200 may decode a resource block corresponding to the identifier in operation 1270 .
  • the electronic device 200 may decode image data corresponding to a resource block identified as corresponding to the acquired state information using at least one sensor 460 .
  • the electronic device 200 may output an image based on the decoded image data to the display 210 .
  • FIG. 13 illustrates a change in FOV (eg, 710 in FIG. 7 ) according to an exemplary embodiment.
  • a first area 1320 and a second area 1330 corresponding to a possible FOV including the FOV 1310 of the current electronic device 200 in a predetermined space 1300 may exist.
  • the first area 1320 and the second area 1330 may occupy a larger area than the FOV 1310 of the current electronic device 200 .
  • the first region 1320 and the second region 1330 may include different regions according to possible FOVs. For example, when the user 300 wearing the electronic device 200 moves the head horizontally, a horizontally wide first area 1320 may be formed, and the user 300 wearing the electronic device 200 ( When the head 300 vertically moves, a vertically wide second area 1330 may be formed.
  • the first area 1320 or the second area 1330 may set different possible FOVs based on a history of the movement of the electronic device 200 or based on an area having a lot of additional information. For example, in the predetermined space 1300 , an area in which objects are located may form a larger FOV than an area in which a wall is located.
  • the external device 101 may receive data about the space 1300 acquired by the camera included in the electronic device 200 .
  • the external device 101 may generate image data corresponding to the FOV 1310 of the electronic device 200 and generated possible state information (eg, horizontal movement or vertical movement), and may map it to a resource block of a frame.
  • the external device 101 maps image data of the FOV 1310 to a first resource block, maps image data to be used for horizontal movement to a second resource block, and maps image data to be used for vertical movement to a third It can be mapped to a resource block.
  • the external device 101 may associate the second resource block with the horizontal movement-related state information among the state information, and may associate the vertical movement-related state information with the third block among the state information.
  • the matching information may be stored in the HE-SIG-B field 610 .
  • the external device 101 may transmit a frame including the HE-SIG-B field 610 including the matching information, the first resource block, the second resource block, or the third resource block to the electronic device 200 . have.
  • FIG. 14 is a flowchart including an operation of transmitting an acknowledgment from an external device according to an embodiment.
  • the external device 101 may determine whether to update the state information. For example, when receiving status information from the electronic device 200 , the external device 101 determines whether the status information of the electronic device 200 previously received from the electronic device 200 is different from the status information of the electronic device 200 , Whether to update the status information newly received from the device 200 may be checked.
  • the external device 101 may determine whether it is necessary to reflect the confirmation response received from the electronic device 200 . For example, the external device 101 may determine whether to update the already received state information based on the confirmation response received from the electronic device 200 .
  • the external device 101 when it is necessary to update the status information or when the confirmation response received from the electronic device 200 is reflected, the external device 101 receives the status information from the electronic device 200 in operation 1430 . information can be updated.
  • the external device 101 may generate the first image data based on the updated state information in operation 1440 .
  • the external device 101 may perform rendering based on state information previously received from the electronic device 200 . have.
  • the external device 101 may generate at least one second image data based on the first image data and the updated state information.
  • the external device 101 maps the first image data and the second image data to resource blocks included in the frame, and electronically converts the frame to which the first image data and the second image data are mapped. may be transmitted to the device 200 .
  • 15 shows a block used to transmit an acknowledgment according to an embodiment.
  • the multi-sta block ack format defined by the IEEE 802.11ax standard includes a field 1520 including Per AID TID Info (1510) and AID TID Info, Block Ack Starting Sequence Control, and Block Ack Bitmap. may include
  • the 11-bit AID field included in the Per AID TID Info 1510 may include information about the current FOV of the electronic device 200 and information about the possible FOV.
  • the AID field may include information about state information used by the electronic device 200 to decode image data corresponding to a resource block.
  • the electronic device 200 when the electronic device 200 operates in the second mode, the electronic device 200 decodes the HE-SIG-B field (eg, 610 of FIG. 6B ) of the MU frame received from the external device 101 to obtain an identifier. ) may be transmitted to the external device 101 by including information based on the part (eg, 612 in FIG. 6C ) in the AID field.
  • the external device 101 may identify resource block information that the electronic device 200 decodes and uses based on the AID field received from the electronic device 200 . According to an embodiment, the external device 101 may check a change (eg, movement direction) of the state information of the electronic device 200 based on the resource block information decoded and used by the electronic device 200 . For example, the external device 101 transmits a frame including new image information to the electronic device 200 or new image information to the electronic device 200 based on a change in the state information of the electronic device 200 . You can request image information necessary to create a .
  • a change eg, movement direction
  • FIG 16 illustrates view tracking reflecting an acknowledgment according to an embodiment.
  • a plurality of regions of interest 1620 , 1630 , 1640 , or 1650 may exist in a FOV 1610 of the electronic device 200 in a predetermined space 1600 .
  • the region of interest of the user 300 wearing the electronic device 200 is in the order of the first region 1620 , the second region 1630 , the third region 1640 , or the fourth region 1650 .
  • the change in the ROI may include a change in the movement direction, movement speed, or amount of movement of the electronic device 200 based on the passage of time and/or movement of the user 300 .
  • the electronic device 200 may transmit information regarding a change in the ROI of the user 300 wearing the electronic device 200 to the external device 101 through the AID.
  • the first image data and the second image data output by the electronic device 200 may correspond to data related to each other.
  • the image may be output by merging at least two second image data.
  • the electronic device 200 moves in a specified direction and second image data for the specified direction is sequentially stored, at least two image data may be decoded and sequentially output.
  • the electronic device 200 is a device that provides an augmented reality (AR) service according to various embodiments of FIGS. 17A to 22 .
  • AR augmented reality
  • 17A illustrates a possible FOV of the electronic device 200 and a FOV of the user 300 according to an embodiment.
  • 17B illustrates a case in which the FOV of the electronic device 200 is greater than the FOV of the user 300 according to an exemplary embodiment.
  • the electronic device 200 when the electronic device 200 is a device that provides an augmented reality (AR) service, the electronic device 200 displays an image captured by the camera module 420 of the electronic device 200 . and state information of the electronic device 200 may be transmitted to the external device 101 .
  • AR augmented reality
  • the external device 101 receives an image captured through the camera module 420 of the electronic device 200 and status information of the electronic device 200 from the electronic device 200, and based on this, Image data can be created.
  • the external device 101 receives, from the electronic device 200, an image captured at a predetermined location and motion information of the electronic device 200 through the camera module 420 of the electronic device 200, and the camera module A plurality of image data may be generated in consideration of a possible FOV based on an image captured through 420 and motion information of the electronic device 200 .
  • the electronic device 200 selects at least one of the plurality of images 1710 , 1720 , 1730 , and 1740 captured through the camera module 420 based on motion information of the electronic device 200 .
  • a new image reflecting the movement of the electronic device 200 may be output. For example, when the electronic device 200 moves to the north, the electronic device 200 transmits the image 1710 in the north direction (eg, the +y direction) photographed through the camera module 420 to the external device 101 .
  • the external device 101 generates a plurality of image data corresponding to a possible FOV based on the received image 1710 and transmits it back to the electronic device 200, so that the user's FOV 1700 is first An image in the case of moving to the north of the location can be output.
  • the electronic device 200 moves in the west (eg, -x direction)
  • the electronic device 200 displays an image 1720 in the west direction captured through the camera module 420 to the external device 101 .
  • the external device 101 generates a plurality of image data corresponding to a possible FOV based on the received image 1720 and transmits it back to the electronic device 200 , so that the electronic device 200 provides a user
  • An image may be output when the FOV 1700 of ' is moved to the west of the initial position.
  • the electronic device 200 transmits the image to the external device 101 . and the external device 101 generates a plurality of image data corresponding to a possible FOV based on the received image 1750 and transmits it back to the electronic device 200 , so that the electronic device 200 provides the FOV of the user. No matter which direction 1700 moves, a new image reflecting the movement of the electronic device 200 may be output.
  • the images 1750 captured by the electronic device 200 through the camera module 420 in FIG. 17B are images 1710 captured by the electronic device 200 through the camera module 420 in FIG. 17A .
  • 1720, 1730, and 1740) may have a larger area.
  • FIG 18 illustrates an operation in which the external device 101 and the electronic device 200 transmit/receive an image according to an embodiment.
  • the electronic device 101 when the external device 101 transmits a rendered image to the electronic device 200 , the electronic device transmits an acknowledgment (ACK) and a captured image to the external device 101, and receives the The external device 101 may transmit an acknowledgment (ACK) to the electronic device 200 .
  • ACK acknowledgment
  • ACK acknowledgment
  • the external device 101 may transmit the previous image rendered in operation 1801 to the external device 101 .
  • the external device 101 renders a plurality of images corresponding to possible FOVs based on the state information received from the electronic device 200, maps the rendered image data to resource blocks, may be transmitted to the device 200 .
  • the electronic device 200 may transmit an acknowledgment (ACK) thereto to the external device.
  • ACK acknowledgment
  • the electronic device 200 may transmit the current image 1805 captured by the electronic device 200 through the camera module 420 to an external device in operation 1805 .
  • the external device 101 may transmit an acknowledgment (ACK) to the electronic device 200 for the current captured image received from the electronic device in operation 1807 .
  • ACK acknowledgment
  • the external device 101 may transmit the current image rendered in operation 1809 to the electronic device 200 .
  • the rendered current image may include an image generated based on the captured current image received from the electronic device 200 in operation 1805 .
  • the electronic device 200 may transmit an acknowledgment (ACK) for the rendered current image received from the external device 101 to the external device 101 in operation 1811 .
  • ACK acknowledgment
  • the electronic device 200 may transmit an image captured in operation 1813 to the external device 101 .
  • the captured image may include an image captured while the current captured image is displayed on the display 210 of the electronic device 200 .
  • the external device 101 may transmit an acknowledgment (ACK) for the photographed image received from the electronic device 200 to the electronic device 200 .
  • ACK acknowledgment
  • the external device 101 may transmit an image rendered in operation 1817 to the electronic device 200 .
  • the electronic device 200 may transmit an acknowledgment (ACK) for the rendered image received from the external device 101 in operation 1819 to the external device 101 .
  • ACK acknowledgment
  • the external device 101 transmits the rendered image to the electronic device 200 , and the electronic device 200 receiving the image sends an acknowledgment (ACK) and the captured image to the external device 101
  • ACK acknowledgment
  • the electronic device 200 supports 60 frames per second (FPS)
  • 16.6 ms elapses in the operation of transmitting and transmitting the acknowledgment (ACK) to the electronic device 200 by the external device 101 that has received the transmission.
  • the external device 101 transmits a rendered image to the electronic device 200 , and the electronic device 200 that has received the image sends an acknowledgment (ACK) and the captured image to the external device 101
  • the operation of transmitting and transmitting the acknowledgment (ACK) to the electronic device 200 by the external device 101 receiving the transmission may be performed within a period of 16.6 ms.
  • FIG. 19 illustrates an operation in which the electronic device 200 transmits/receives an image to and from the external device 101 according to a change in the FOV of the electronic device 200 according to an exemplary embodiment.
  • the external device 101 transmits a rendered image and at least one image data generated in response to a possible FOV to the electronic device 200 , and the electronic device 200 receiving the at least one image data
  • An acknowledgment (ACK) regarding which image was used among the image data of may be transmitted to the external device 101 .
  • the external device 101 may transmit the previous image rendered in operation 1901 to the external device 101 .
  • the external device 101 renders a plurality of images corresponding to a possible FOV based on the state information received from the electronic device 200 and a captured image, and maps the rendered image data to a plurality of resource blocks. to transmit to the electronic device 200 through the frame.
  • the external device 101 and the electronic device 200 may negotiate to use a plurality of resource blocks included in a frame (or packet) in a manner of mapping a plurality of data for one device.
  • the electronic device 200 may transmit an acknowledgment (ACK) for the frame received from the external device 101 to the external device 101 in operation 1903 .
  • ACK acknowledgment
  • the electronic device 200 may transmit a current image captured by the electronic device 200 through the camera module 420 to the external device 101 in operation 1905 .
  • the external device 101 may transmit the acknowledgment ACK received from the electronic device 200 and the acknowledgment ACK for the captured current image to the electronic device 200 in operation 1907 . .
  • the external device 101 performs a rendered current image based on the captured current image received from the electronic device 200 and a plurality of image data (eg, A , B, and C) may be transmitted to the electronic device 200 .
  • a plurality of image data eg, A , B, and C
  • the electronic device 200 collects a plurality of image data (eg, A, B, and C) generated based on the rendered current image received from the external device 101 and the possible FOV. After receiving, an acknowledgment (ACK) regarding the fact that the image data A has been used may be transmitted to the external device 101 .
  • the electronic device 200 displays the rendered current image on the display 210 , and based on the movement of the electronic device 200 , A, which is one of a plurality of image data (eg, A, B, and C). may be selected to be decoded and displayed on the display 210 , and an acknowledgment (ACK) regarding the fact that the image data A has been used may be transmitted to the external device 101 .
  • the external device 101 may generate the current captured image rendered in operation 1913 and the image based on the image data A and the rendered current image and the image based on the image data A based on a possible FOV.
  • a frame including a plurality of generated image data (eg, W, X, Y, Z) may be transmitted to the electronic device 200 .
  • the external device 101 may predict the user's FOV of the electronic device 200 based on the electronic device 200 displaying the image data A, and based on the user's FOV (eg, the currently displayed image)
  • a plurality of image data eg, W, X, Y, Z
  • the electronic device 200 in operation 1915 , the electronic device 200 generates a plurality of image data (eg, W) generated based on the FOV that may be generated based on the rendered current image and the image data A received from the external device 101 in operation 1915 .
  • a plurality of image data eg, W
  • W image data
  • X, Y, and Z an acknowledgment
  • ACK acknowledgment
  • the electronic device 200 displays the rendered current image and image data A on the display 210 , and based on the movement of the electronic device 200 , a plurality of image data (eg, W, X, Y, One of Z), W, may be selected, decoded, and displayed on the display 210 , and an acknowledgment (ACK) regarding the fact that the image data W has been used may be transmitted to the external device 101 .
  • a plurality of image data eg, W, X, Y, One of Z
  • the external device 101 performs the image based on the captured current image rendered in operation 1917, image data A, and image data W, and the rendered captured current image, image data A, and image data W.
  • a frame including a plurality of image data (K, L, M, N) generated based on a possible FOV may be transmitted to the electronic device 200 .
  • the electronic device 200 may transmit an acknowledgment (ACK) to the external device 101 .
  • ACK acknowledgment
  • the electronic device 200 may transmit the current captured image selected based on the change of the FOV to the external device 101 in operation 1921 .
  • the electronic device 200 may transmit an image captured through the camera module 420 to the external device 101. .
  • the external device 101 may transmit an acknowledgment (ACK) to the electronic device 200 for the current captured image selected based on the change in the FOV received from the electronic device 200 in operation 1923 .
  • ACK acknowledgment
  • the external device 101 may generate a plurality of image data generated based on a rendered image based on a current captured image selected based on a change in the FOV received from the electronic device 200 and a possible FOV.
  • 20 is a block diagram of a transmitter of the external device 101 according to an exemplary embodiment.
  • the transmitter of the external device 101 may render an image received from the electronic device 200 to generate a plurality of image data and transmit it to the electronic device 200 .
  • the N frame encoders 2001 may encode a plurality of images and transmit them to a spatial and frequency mapper 2003 .
  • the spatial and frequency mapper 2003 may transmit the encoded images received from the N frame encoders 2001 to an inverse discrete Fourier transform (IDFT) 2005 .
  • IDFT inverse discrete Fourier transform
  • the IDFT 2005 converts the encoded images received from the spatial and frequency mapper 2003 into the temporal domain, and converts the converted images into a guard interval insert and windowing device ( 2007) can be transferred.
  • the GI insertion and windowing apparatus 2007 may transmit time-domain-converted images to the antenna (RF) 2009 .
  • 21 illustrates a case in which the electronic device 200 can decode only one resource block, according to an embodiment.
  • a plurality of antennas (RF) 2101 of the external device 101 may perform encoding using the received image data to transmit a frame including the mapped resource block to the electronic device 200 .
  • the electronic device 200 may transmit image data received through the antenna (RF) 2101 to the frame selector 2103 .
  • the frame selector 2103 may transmit image data to the GI remover 2105 .
  • the GI remover (guard interval remover) 2105 may transmit the image data received from the frame selector 2103 to the discrete Fourier transform (DFT) 2107 .
  • DFT discrete Fourier transform
  • the DFT 2107 may transform the received image data into a time domain, and transmit the transformed image data to a space and frequency demapper 2109 .
  • the spatial and frequency demapper 2109 may transmit image data to a frame decoder 2111 .
  • the frame decoder 2111 may perform decoding by selecting one of image data mapped to a plurality of resource blocks included in the received frame.
  • the external device 101 when the electronic device 200 receiving a frame from the external device 101 has a structure in which only one resource block can be decoded, the external device 101 provides a plurality of resources.
  • the block may include image data to be displayed by the electronic device 200 (eg, a current image) and image data generated corresponding to a predictable FOV and may be transmitted.
  • the current image is A and the plurality of predictable images are B, C, D, and E
  • the external device 101 provides A and B in the first block, A and C in the second block, and A and C in the second block.
  • a frame including A and D may be transmitted to the block, and A and E may be transmitted to the fourth block.
  • the electronic device 200 decodes one block (eg, a first block) among a plurality of resource blocks included in a frame received from the external device 101 to make predictable predictions based on the current screen and the movement of the electronic device 200 .
  • An image corresponding to the FOV may be displayed on the display 210 .
  • FIG. 22 illustrates a case in which the electronic device 200 can decode a plurality of resource blocks according to an embodiment.
  • the transmitter of the external device 101 transmits image data to a plurality of resources.
  • the block may be mapped, and a frame including a plurality of mapped resource blocks may be transmitted to the electronic device 200 .
  • the electronic device 200 may transmit image data received through an antenna (RF) 2201 to at least one or more frame selectors 2203 .
  • RF antenna
  • the plurality of frame selectors 2203 may transmit image data to a GI remover (guard interval remover) 2205 .
  • GI remover guard interval remover
  • the GI remover 2205 may transmit the image data received from the frame selector 2203 to the DFT 2207 .
  • the DFT 2207 may transform the received image data into the time domain and transmit the transformed image data to the spatial and frequency demapper 2209 .
  • the spatial and frequency demapper 2209 may transmit image data to at least one or more frame decoders 2211 (eg, a first frame decoder to an Nth frame decoder).
  • At least one frame encoder 2211 may select image data mapped to a plurality of resource blocks included in the received frame and perform decoding.
  • the external device 101 when the electronic device 200 receives a frame from the external device 101 and has a structure in which the plurality of resource blocks can be decoded, receives the plurality of resource blocks.
  • the block may include image data to be displayed by the electronic device 200 (eg, a current image) and image data generated corresponding to a predictable FOV and may be transmitted.
  • the current image is A and the plurality of predictable images are B, C, D, and E
  • the external device 101 provides A for the first block, B for the second block, and C for the third block.
  • a frame including D in the fourth block and E in the fifth block may be transmitted.
  • the electronic device 200 decodes a first block among a plurality of resource blocks included in the frame received from the external device 101 to display the current screen on the display 210, and based on the movement of the electronic device 200 An image corresponding to a predictable FOV may be displayed on the display 210 by decoding other blocks (eg, the second to fifth blocks).
  • the electronic device (eg, the electronic device 200 of FIG. 1 ) according to an embodiment includes a display (eg, the display 210 of FIG. 4 ), a communication circuit (eg, the communication circuit 440 of FIG. 4 ), at least One sensor (eg, sensor 460 in FIG. 4 ), a memory in which instructions are stored (eg, memory 450 in FIG. 4 ), and the communication circuit (eg, communication circuit 440 in FIG. 4 ), the At least one sensor (eg, the sensor 460 of FIG. 4 ), and at least one processor (eg, the processor 410 of FIG. 4 ) electrically connected to the memory (eg, the memory 450 of FIG. 4 )
  • the at least one processor (eg, the processor 410 of FIG.
  • the electronic device eg, the electronic device 200 of FIG. 1
  • an external device eg, the external device of FIG. 1
  • the electronic device Example It may be set to output the second image through the electronic device 200 of FIG. 1 .
  • the designated network (eg, the network 10 of FIG. 1 ) may correspond to the IEEE 802.11ax standard.
  • the at least one sensor may include at least one of an acceleration sensor, a gyro sensor, a distance sensor, and an image sensor.
  • the display (eg, the display 210 of FIG. 4 ) may be formed of a transmissive material so as not to block the user's view.
  • the at least one processor executes the stored instructions
  • the at least one processor transmits state information of the electronic device to the external device (eg, : Can be transmitted to the external device 101 of FIG. 1).
  • the at least one processor executes the stored instructions, a resource block corresponding to the acquired state information among the plurality of resource blocks does not exist. In this case, decoding may be stopped.
  • the at least one processor executes the stored instructions
  • the information about the state information used for the decoding is transmitted to the external device (eg, the external device of FIG. 1 ). device 101).
  • the decoded image data may include only image data that is different from image data corresponding to the first image.
  • the frame includes a plurality of identifiers respectively corresponding to the plurality of resource blocks, and when the electronic device is in the first mode, the at least one processor (eg, the processor ( 410)) decodes the resource block corresponding to a first identifier corresponding to the obtained state information among the plurality of identifiers when the stored instructions are executed, and the electronic device is in a second mode different from the first mode
  • the at least one processor eg, the processor 410 of FIG. 4
  • the at least one processor receives a frame of a specified format that is sequentially required to be decoded when the stored instructions are executed Then, decoding of at least a part of the frame of the specified format may not be performed.
  • the method of operating an electronic device includes an operation of outputting a first image through the electronic device, and a communication circuit (eg, the communication of FIG. 4 ) of the electronic device (eg, the electronic device 200 of FIG. 1 ).
  • the electronic device eg, the electronic device 200 of FIG. 1
  • an external device eg, the external device ( 101)
  • An operation of acquiring status information of the electronic device eg, the electronic device 200 of FIG.
  • an image corresponding to a first resource block corresponding to the acquired status information among the plurality of resource blocks It may include an operation of decoding data and an operation of outputting a second image through the electronic device (eg, the electronic device 200 of FIG. 1 ) based on the decoded image data.
  • transmitting status information of the electronic device (eg, the electronic device 200 of FIG. 1 ) to the external device (eg, the external device 101 of FIG. 1 ) in response to satisfying a specified condition It may further include an action.
  • the method may further include stopping decoding.
  • the acquired state information among a plurality of identifiers included in the frame and respectively corresponding to the plurality of resource blocks decoding the resource block corresponding to the first identifier corresponding to The method may further include decoding another resource block corresponding to a second identifier corresponding to identification information of the electronic device (eg, the electronic device 200 of FIG. 1 ).
  • the electronic device when the electronic device (eg, the electronic device 200 of FIG. 1 ) is in the first mode, when receiving frames of a specified format required to be decoded sequentially when the stored instructions are executed, the specified format may include an operation of not performing decoding on at least a portion of a frame of .
  • the electronic device (eg, the electronic device 200 of FIG. 1 ) according to an embodiment includes a communication circuit (eg, the communication circuit 440 of FIG. 4 ) and at least one sensor (eg, the sensor 460 of FIG. 4 ). ), a memory in which instructions are stored (eg, the memory 450 of FIG. 4 ), and the communication circuit (eg, the communication circuit 440 of FIG. 4 ), the at least one sensor (eg, the sensor 460 of FIG. 4 ) )), and at least one processor (eg, the processor 410 of FIG. 4 ) electrically connected to the memory, wherein the at least one processor (eg, the processor 410 of FIG.
  • an external device eg, external device 101 in FIG. 1
  • a designated network eg, network 10 in FIG. 1
  • the communication circuit eg, communication circuit 440 in FIG. 4
  • Receives a frame including a plurality of independently decodable resource blocks from may obtain status information of the electronic device 200 of , and decode data corresponding to a resource block corresponding to the obtained status information among the plurality of resource blocks.
  • the electronic device (eg, the electronic device 200 of FIG. 1 ) may be a head mounted display (HMD) device.
  • HMD head mounted display
  • the at least one processor is the electronic device (eg, the processor 410 of FIG. 4 ) for decoding the resource block in response to satisfying a specified condition when the stored instructions are executed: State information of the electronic device 200 of FIG. 1 ) may be transmitted to the external device (eg, the external device 101 of FIG. 1 ).
  • the at least one processor executes the stored instructions, a resource block corresponding to the acquired state information among the plurality of resource blocks does not exist. In this case, decoding may be stopped.
  • the at least one processor executes the stored instructions
  • the information about the state information used to decode the data is transmitted to the external device (eg, FIG. 1 ). It may further include a feature of transmitting to the external device (101) of the.
  • the electronic device may be a device of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a laptop, a desktop, a tablet, or a portable multimedia device
  • portable medical device e.g., a portable medical device
  • camera e.g., a camera
  • a wearable device e.g., a smart watch
  • a home appliance device e.g., a smart bracelet
  • first”, “second”, or “first” or “second” may simply be used to distinguish the component from other such components, and may refer to components in other aspects (eg, importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as, for example, logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • one or more instructions stored in a storage medium may be implemented as software (eg, the program 140) including
  • a processor eg, processor 120
  • a device eg, external device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • non-transitory only means that the storage medium is a tangible device and does not contain a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the methods according to various embodiments disclosed in this document may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed online (eg download or upload), directly between smartphones (eg smartphones).
  • a part of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each component eg, a module or a program of the above-described components may include a singular or a plurality of entities.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repetitively, or heuristically, or one or more of the operations are executed in a different order, omitted, or , or one or more other operations may be added.

Abstract

다양한 실시 예들에 따르면, 디스플레이, 통신 회로, 적어도 하나의 센서, 명령어들이 저장되는 메모리, 및 상기 통신 회로, 상기 적어도 하나의 센서, 및 상기 메모리와 전기적으로 연결된 적어도 하나의 프로세서를 포함하는 전자 장치가 개시된다. 상기 적어도 하나의 프로세서는 상기 저장된 명령어들의 실행 시, 상기 전자 장치를 통해 제1 영상을 출력하고, 상기 통신 회로를 통해 상기 전자 장치와 지정된 네트워크를 통해 연결된 외부 장치로부터, 독립적으로 디코딩이 가능한 복수 개의 자원 블록(resource block)들을 정의하는 프레임을 수신하고, 상기 적어도 하나의 센서를 이용하여 상기 전자 장치의 상태 정보(status information)를 획득하고, 상기 복수 개의 자원 블록들 중 상기 획득된 상태 정보에 대응하는 제1 자원 블록에 해당하는 영상 데이터를 디코딩하고, 상기 디코딩된 영상 데이터에 기반하여 상기 전자 장치를 통해 제2 영상을 출력하도록 설정될 수 있다.

Description

전자 장치에서 무선 통신 효율을 개선하기 위한 방법 및 그 장치
본 문서에서 개시되는 다양한 실시 예들은, 네트워크에서 무선 통신 효율을 개선하기 위한 전자 장치 및 방법에 관한 것이다.
전자 장치(예: head mounted display(HMD) device)는 가상 현실(VR, virtual reality), 증강 현실(AR, augmented reality), 및 혼합 현실(MR, mixed reality) 서비스를 제공할 수 있다. 전자 장치는 동작에 필요한 프로세서, 디스플레이, 각종 센서, 카메라 및 통신 회로와 같은 모듈들을 포함할 수 있다.
전자 장치는 가상 및/또는 증강 현실 컨텐츠를 제공하기 위해, 무선 네트워크를 통해 연결된 외부 장치로부터 사용자의 시야(FOV, field of view)에 해당하는 데이터를 수신할 수 있다. 예를 들어, 전자 장치는 현재 장치의 위치/방향과 같은 상태 정보를 외부 장치(예: 휴대용 전자 장치 또는 서버)로 전송하고, 외부 장치로부터 위치 및/또는 방향에 해당하는 렌더링 이미지를 획득하고, 렌더링 이미지에 기초하여 전자 장치에 구비된 디스플레이 장치를 통해 가상 및/또는 증강 현실 컨텐츠를 제공할 수 있다.
전자 장치와 외부 장치의 연결을 위해서 Wi-Fi(wireless fidelity)와 같은 무선 네트워크가 사용될 수 있다. 예를 들어, IEEE 802.11ac에 해당하는 Wi-Fi를 개선한 IEEE의 802.11ax에 해당하는 Wi-Fi 6와 같이, 2.4Ghz 대역과 5Ghz 대역을 모두 지원하면서, OFDMA(orthogonal frequency division multiple access)와 같이 멀티유저 기능을 지원하는 무선 네트워크가 이용될 수 있다.
무선 환경에서 VR, AR, 또는 MR 서비스를 제공하는 전자 장치가 배터리(battery)를 통하여 전력을 공급하는 경우, 사용성(예: 사용 시간 또는 휴대성)을 위해 전력 소모를 줄여야 할 수 있다. 전자 장치가 장치의 상태 정보를 외부 장치로 송신하고, 송신된 상태 정보에 대응하는 이미지를 외부 장치로부터 수신하는 경우, 무선 연결에서 신호를 송신하는 것은 수신하는 것에 비하여 전력 소모가 클 수 있다. 예를 들어, IEEE 802.11ax 표준에서 동일 조건을 따를 경우, 신호 송신 시에 소모되는 전력은 신호 수신 시에 소모되는 전력에 비하여 약 4배에 해당될 수 있다. 또한, WLAN(wireless local area network)을 이용하여 전자 장치에서 VR, AR, 또는 MR 서비스를 제공하는 경우, 어느 전자 장치에 전송된 정보인지 확인하기 위하여 추가적인 전력 소모가 발생될 수 있다. 예를 들어, IEEE 802.11 WLAN을 사용하는 무선 환경에서, 데이터 송수신 시에 사용되는 MAC 계층 패킷(MAC layer packet) 내 MAC 헤더(MAC header)에는 주소 필드(address field)가 정의되는데, 데이터가 일정한 크기로 분할된 데이터 패킷의 송수신 시에 해당 패킷의 목적지를 알기 위해서는 MAC 헤더 내 주소 정보(address information)을 참조해야만 한다. 이를 위해서는 MAC 계층의 하위 계층에 해당하는 PHY 계층에서 수신하는 모든 패킷에 대하여 송신단에서 송신한 digital data bit stream을 복원 또는 획득하는 디코딩(decoding)을 수행하여 상위 계층인 MAC 계층으로 전달하고, MAC 계층에서는 MAC 헤더 내 주소 정보를 참조한 후에 목적지를 확인해야 하므로, 해당 동작에서 유휴 전력 소모(idle power consumption)가 발생할 수 있다. 또한, 전자 장치와 외부 장치의 연결을 위해서 사용되는 네트워크가 SU(single user) 프레임과 같이 순차적으로 디코딩이 요구되는 프레임만 지원하는 경우 디코딩에 따른 전력 소모가 증가할 수 있다.
전자 장치에서 사용자의 상태가 변경될 때마다 대응되는 이미지를 렌더링하여 송신하는 경우, 레이턴시(latency)가 증가될 수 있다. 이와 같은 레이턴시의 증가는 사용자의 움직임 변화에 즉각적인 응답을 출력할 수 없도록 하여, 전자 장치를 통해 본래 제공하고자 하는 현실감(reality)을 떨어뜨릴 수 있다.
본 문서에 개시되는 다양한 실시 예들은, 전력 소모 및 레이턴시를 감소시키는 장치 및 발명을 포함할 수 있다.
일 실시 예에 따른 전자 장치는, 디스플레이, 통신 회로, 적어도 하나의 센서, 명령어들이 저장되는 메모리 및 상기 통신 회로, 상기 적어도 하나의 센서, 및 상기 메모리와 전기적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 저장된 명령어들의 실행 시, 상기 전자 장치를 통해 제1 영상을 출력하고, 상기 통신 회로를 통해 상기 전자 장치와 지정된 네트워크를 통해 연결된 외부 장치로부터, 독립적으로 디코딩이 가능한 복수 개의 자원 블록(resource block)들을 정의하는 프레임을 수신하고, 상기 적어도 하나의 센서를 이용하여 상기 전자 장치의 상태 정보(status information)를 획득하고, 상기 복수 개의 자원 블록들 중 상기 획득된 상태 정보에 대응하는 자원 블록에 해당하는 영상 데이터를 디코딩하고, 상기 디코딩된 영상 데이터에 기반하여 상기 전자 장치를 통해 제2 영상을 출력하도록 설정될 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법은, 상기 전자 장치를 통해 제1 영상을 출력하는 동작, 상기 전자 장치의 통신 회로를 통해 상기 전자 장치와 지정된 네트워크를 통해 연결된 외부 장치로부터, 독립적으로 디코딩이 가능한 복수 개의 자원 블록(resource block)들을 정의하는 프레임을 수신하는 동작, 상기 전자 장치의 적어도 하나의 센서를 이용하여 상기 전자 장치의 상태 정보(status information)를 획득하는 동작, 상기 복수 개의 자원 블록들 중 상기 획득된 상태 정보에 대응하는 제1 자원 블록에 해당하는 영상 데이터를 디코딩하는 동작, 상기 디코딩된 영상 데이터에 기반하여 상기 전자 장치를 통해 제2 영상을 출력하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치는, 통신 회로, 적어도 하나의 센서, 명령어들이 저장되는 메모리, 및 상기 통신 회로, 상기 적어도 하나의 센서, 및 상기 메모리와 전기적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 저장된 명령어들의 실행 시, 상기 통신 회로를 통해 지정된 네트워크를 통해 연결된 외부 장치로부터, 독립적으로 디코딩이 가능한 복수 개의 자원 블록(resource block)들을 포함하는 프레임을 수신하고, 상기 적어도 하나의 센서를 이용하여 상기 전자 장치의 상태 정보(status information)를 획득하고, 상기 복수 개의 자원 블록들 중 상기 획득된 상태 정보에 대응하는 자원 블록에 해당하는 데이터를 디코딩할 수 있다.
본 문서에 개시되는 다양한 실시 예들에 따르면, 외부 장치는 전자 장치의 현재의 상태 정보 외에도 발생 가능한 복수의 상태 정보를 함께 고려하여 렌더링을 수행한 데이터를 전송할 수 있다.
본 문서에 개시되는 다양한 실시 예들에 따르면, 전자 장치의 상태 정보의 변화가 영상에 반영되기까지의 레이턴시를 감소시킬 수 있고, 이미지 데이터를 송신하거나 목적지를 파악하는데 필요한 전력 소모를 감소시킬 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 일 실시 예에 따른 외부 장치, 전자 장치, 및 네트워크를 나타낸다.
도 2는 다양한 실시 예들에 따른 네트워크 환경 내의 외부 장치의 블록도이다.
도 3은 일 실시 예에 따른 전자 장치의 사시도이다.
도 4는 일 실시 예에 따른 전자 장치의 하드웨어 구성을 나타낸다.
도 5는 일 실시 예에 따른 외부 장치와 전자 장치의 동작 흐름도이다.
도 6a는 다양한 실시 예들에 따른 PPDU의 구조를 나타낸다.
도 6b는 일 실시 예에 따른 독립적으로 형성된 자원 블록을 갖는 프레임을 나타낸다.
도 6c는 일 실시 예에 따른 연속적으로 구성된 자원 블록을 갖는 프레임을 나타낸다.
도 6d는 프레임의 일부로서 식별자를 포함하는 HE-SIG-B 필드를 나타낸다.
도 7은 일 실시 예에 따른 FOV의 변화를 도시한다.
도 8은 일 실시 예에 따른 외부 장치의 동작 흐름도이다.
도 9는 일 실시 예에 따른 전자 장치의 움직임 또는 시간의 흐름에 따른 상태 정보의 변화를 도시한다.
도 10a는 일 실시 예에 따른 FOV 변화에 따라 생성된 영상 데이터를 도시한다.
도 10b는 도 10a의 일 실시 예에서 생성된 영상 데이터가 매핑되는 프레임을 도시한다.
도 11은 일 실시 예에 따른 전자 장치의 동작 흐름도이다.
도 12는 일 실시 예에 따른 전자 장치에서 프레임 및 식별자를 판별하는 동작이 포함된 흐름도이다.
도 13은 일 실시 예에 따른 FOV 변화를 나타낸다.
도 14는 일 실시 예에 따른 외부 장치에서 확인 응답을 전송하는 동작이 포함된 흐름도이다.
도 15는 일 실시 예에 따른 확인 응답을 전송하기 위해 사용되는 블록을 나타낸다.
도 16은 일 실시 예에 따른 확인 응답을 반영한 뷰 트래킹을 나타낸다.
도 17a는 일 실시 예에 따른 발생 가능한 전자 장치의 FOV와 사용자의 FOV를 나타낸다.
도 17b는 일 실시 예에 따른 전자 장치의 FOV가 사용자의 FOV 보다 큰 경우를 나타낸다.
도 18은 일 실시 예에 따른 외부 장치 및 전자 장치가 영상을 송수신하는 동작을 나타낸다.
도 19는 일 실시 예에 따른 전자 장치가 전자 장치의 FOV 변화에 따라 외부 장치와 영상을 송수신하는 동작을 나타낸다.
도 20은 일 실시 예에 따른 외부 장치의 수신부의 블록도이다.
도 21은 일 실시 예에 따른 전자 장치가 하나의 자원 블록만 디코딩할 수 있는 경우를 나타낸다.
도 22는 일 실시 예에 따른 전자 장치가 복수 개의 자원 블록을 디코딩할 수 있는 경우를 나타낸다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하, 본 개시의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modification), 균등물(equivalent), 또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
도 1은 일 실시 에에 따른 외부 장치(101), 전자 장치(200), 전자 장치(200)를 착용한 사용자(300) 및 네트워크(10)를 나타낸다.
일 실시 예에서, 외부 장치(101)는 VR, AR, 또는 MR 서비스를 제공하는 스테이션이나 홈 서버, 또는 적절한 처리 능력을 가지는 임의의 전자 장치를 포함할 수 있다.
도 1을 참고하면, 전자 장치(200)는 네트워크(10)를 통해 외부 장치(101)와 연결될 수 있다. 일 실시 예에서, 네트워크(10)는 Wi-Fi와 같은 무선 네트워크를 포함할 수 있다. 예를 들어, 네트워크(10)는 IEEE의 802.11ax에 해당하는 Wi-Fi 6와 같이, 2.4Ghz 대역과 5Ghz 대역을 모두 지원하면서, OFDMA(orthogonal frequency division multiple access)와 같이 향상된 멀티유저 기능을 지원하는 무선 네트워크를 포함할 수 있다.
다른 실시 예에서, 네트워크(10)는 셀룰러 또는 기타 이하의 도면들을 참고하여 설명되는 다양한 실시 예들이 구현될 수 있는 임의의 네트워크를 포함할 수 있다. 본 문서에서는 설명의 편의를 위해 Wi-Fi 6를 중심으로 설명하지만, MU 프레임 또는 그에 대응되는 포맷을 가지는 통신 규약을 지원하는 네트워크라면 본 문서에 개시되는 기술적 특징들이 적용될 수 있다.
이하 설명에서 본 개시의 다양한 실시예들은 도 3에 도시된 전자 장치(200)를 중심으로 설명되나, 전자 장치(200)는 가상 현실(VR), 증강 현실(AR), 또는 혼합 현실(MR) 서비스를 제공하는 모든 유형의 장치를 포함할 수 있다. 예를 들어, 전자 장치(200)는 스마트 글라스를 의미할 수 있다.
도 2는 다양한 실시 예들에 따른 네트워크 환경(100) 내의 외부 장치(101)의 블록도다.
일 실시 예에서, 네트워크 환경(100)에서 외부 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)(예: 도 1의 네트워크(10))를 통하여 전자 장치(102)(예: 도 1의 전자 장치(200))와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 다양한 실시 예에 따르면, 제1 네트워크(198)는 도 1의 네트워크(10)에 해당할 수 있다.
일 실시 예에 따르면, 외부 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시 예에 따르면, 외부 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시 예에서는, 외부 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시 예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 외부 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 외부 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 외부 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 외부 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 외부 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)는, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 외부 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 외부 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 외부 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 외부 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 외부 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 외부 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 외부 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 외부 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 외부 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, Wi-Fi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 외부 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈은 서브스트레이트(예: 인쇄 회로 기판) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시 예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 외부 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 외부 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 외부 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 외부 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 외부 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 외부 장치(101)로 전달할 수 있다. 외부 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 3은 일 실시 예에 따른 전자 장치(200)의 사시도이다.
도 3을 참고하면, 전자 장치(200)는 디스플레이(210), 바디(220) 및/또는 연결부(230)를 포함할 수 있다. 일 실시 예에서, 연결부(230)는 바디(220)에 연결되어 신체의 일부(예: 머리)에 고정시키기 위한 구조 또는 형태를 가질 수 있다. 연결부(230)는 스트랩(strap)을 포함할 수 있다.
일 실시 예에서, 바디(220)의 적어도 일부에는 페이스 폼(221)이 포함될 수 있다. 일 예에서, 페이스 폼(221)에는 적어도 하나의 프로세서(예: 도 4의 프로세서(410))와 연결된 적어도 하나의 압력 센서(미도시)를 포함할 수 있다. 일 예에서, 적어도 하나의 압력 센서(미도시)는 페이스 폼(221)에 가해지는 압력을 감지할 수 있다.
일 실시 예에서, 바디(220)에는 왼쪽 렌즈와 오른쪽 렌즈를 포함하는 렌즈 부(미도시)가 배치될 수 있고, 사용자는 상기 렌즈 부를 통하여 디스플레이(210)에 표시되는 영상을 시청할 수 있다. 일 실시 예에서, 디스플레이(210)는 왼쪽 렌즈와 오른쪽 렌즈에 대해 각각 좌안 영상과 우안 영상을 표시할 수 있다. 일 예에서, 디스플레이(210)는 렌즈 부의 각 렌즈에 서로 다른 영상을 표시함으로써 사용자로 하여금 입체감을 느끼게 할 수 있다. 일 실시 예에서, 전자 장치(200)는 좌안 영상과 우안 영상을 통해 가상의 3차원 공간 내의 가상 현실(VR)을 구현할 수 있다.
일 실시 예에서, 디스플레이(210)는 사용자(300)의 시야를 차단하지 않기 위해 투과성 물질로 형성될 수 있다. 일 예에서, 사용자(300)는 투과성 물질을 투과해 전자 장치(200)의 외부를 인식할 수 있다. 일 예에서, 전자 장치(200)는 투과성 물질로 형성된 디스플레이(210)를 통해서 실제로 존재하는 환경에 가상의 사물이나 정보를 합성하거나 또는 추가하여 제공함으로써 증강 현실(AR)을 구현할 수 있다.
도 4는 일 실시 예에 따른 전자 장치(200)의 하드웨어 구성을 나타낸다.
도 4를 참고하면, 전자 장치(200)는 적어도 하나의 프로세서(410), 카메라 모듈(420), 안테나 모듈(430), 통신 회로(440), 디스플레이(210), 메모리(450) 및/또는 적어도 하나의 센서(460)를 포함할 수 있다.
일 실시 예에서, 적어도 하나의 프로세서(410)는 통신 회로(440) 및/또는 안테나 모듈(430)을 통해 외부 장치(101)와 신호를 송신 및/또는 수신할 수 있다. 예를 들어, 적어도 하나의 프로세서(410)는 전자 장치(200)의 상태 정보를 외부 장치(101)로 송신하거나 외부 장치(101)로부터 상태 정보에 기반한 복수 개의 데이터가 매핑되어 저장된 자원 블록을 포함하는 프레임(또는 패킷)을 수신할 수 있다. 다른 예를 들어, 적어도 하나의 프로세서(410)는 안테나 모듈(430)을 통해 전송한 신호 및 수신한 신호에 기반하여 외부 물체(예: 외부 장치(101)와의 거리, 외부 물체의 형태 및/또는 외부 물체의 변화(예: 이동)를 감지할 수 있다.
이하, 다양한 실시 예들에 따라 데이터가 자원 블록에 매핑(mapping)된다는 것은 데이터를 자원 블록에 연결(linking)시키는 것뿐 아니라 데이터를 자원 블록에 저장하는 것을 포함하는 것으로 해석될 수 있다.
일 실시 예에서, 카메라 모듈(420)은 주변 환경에 대한 사진 및 동영상을 촬영할 수 있다. 예를 들어, 카메라 모듈(420)은 사용자의 움직임에 따른 주변 환경의 변화를 사진 또는 동영상으로 촬영할 수 있다.
일 실시 예에서, 전자 장치(200)는 안테나 모듈(430)의 제어 및 신호 처리를 위한 트랜스시버(transceiver)를 포함할 수 있다. 일 실시 예에서, 안테나 모듈(430)은 외부로 송신 신호를 방출하고, 송신 신호가 외부의 객체에 의해 반사되는 반사 신호를 수신할 수 있다. 일 실시 예에서, 안테나 모듈(430)은 고주파수 대역을 사용하는 mmWave 안테나 모듈을 포함할 수 있다. 예를 들어, mmWave 안테나 모듈은 28GHz, 39GHz, 또는 60GHz와 같은 주파수 대역을 사용할 수 있다. 일 실시 예에서, 안테나 모듈(430)은 어레이(array) 형태로 형성되고, 빔포밍(beamforming) 기술을 통해 신호를 특정 방향에 대해 집중적으로 송출할 수 있다. 예를 들어, 안테나 모듈(430)은 빔포밍 기술을 통해 송신한 신호의 반사 신호를 수신하여, 외부 물체의 위치 및 외부 물체의 특징(예: 외부 물체의 모양 또는 변화량)을 파악할 수 있다. 예를 들어, 안테나 모듈(430)은 빔포밍 기술을 통해 송신한 신호의 반사 신호를 수신하여, 사용자(300)의 제스처를 인식할 수 있다. 일 실시 예에서, 안테나 모듈(430)은 프로세서(410) 및/또는 통신 회로(440)의 제어에 기반하여 외부로 신호를 송출 또는 외부로부터 신호를 수신할 수 있다.
일 실시 예에서, 통신 회로(440)는 안테나 모듈(430)을 이용하여 전자 장치(200)와 외부 장치(101) 간의 통신을 수행할 수 있다. 일 실시 예에서, 통신 회로(440)는 무선 랜(WLAN) 통신 채널을 통한 P2P 통신을 수행할 수 있는 근거리 무선 통신 모듈을 포함할 수 있다. 예를 들어, 통신 회로(440)는 안테나 모듈(430)을 통하여 전자 장치(200)와 P2P 그룹을 형성한 외부 장치(예: 도 1의 외부 장치(101))와 데이터를 송신 및/또는 수신할 수 있다.
일 실시 예에서, 디스플레이(210)는 적어도 하나의 프로세서(410)와 전기적으로 연결될 수 있다. 일 예에서, 적어도 하나의 프로세서(410)가 외부 장치(101)로부터 수신한 프레임에 포함된 자원 블록에 매핑된 영상 데이터(예: 상태 정보에 기반하여 예측 가능한 FOV에 대응하여 생성된 영상 데이터)를 디코딩한 후, 디스플레이(210)를 통해 영상을 출력할 수 있다.
일 실시 예에서, 메모리(450)는 적어도 하나의 구성요소(예: 프로세서(410) 또는 센서(460))에 의해 사용되는 다양한 데이터를 저장하고, 적어도 하나의 프로세서(410)와 전기적으로 연결될 수 있다. 일 예에서, 페이스 폼(221)에 포함된 적어도 하나의 압력 센서(미도시)가 감지한 압력이 지정된 압력을 초과하는 경우, 적어도 하나의 압력 센서(미도시)와 전기적으로 연결된 적어도 하나의 프로세서(410)는 메모리(450)에 저장된 명령어들을 실행할 수 있다.
일 실시 예에서, 적어도 하나의 센서(460)는 물리량을 계측하거나 전자 장치(200)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 일 예에서, 적어도 하나의 센서(460)는 가속도 센서, 자이로(gyro) 센서, 거리 감지 센서 또는 이미지 센서 중 적어도 하나를 포함할 수 있다.
일 실시 예에서, 카메라 모듈(420), 안테나 모듈(430), 통신 회로(440) 및 디스플레이(210)에 의해 수행되는 기능은, 적어도 하나의 프로세서(410)가 메모리(450)에 저장된 명령어들을 실행함으로써 수행되는 것으로 이해될 수 있다. 또한 다양한 실시 예에서, 전자 장치(200)는 본 문서에서 개시되는 다양한 실시 예들에 포함된 기능과 동작을 수행하기 위해 하나 이상의 하드웨어 처리 회로를 이용할 수 있다. 예를 들어, 전자 장치에 포함되는 AP(application processor), 카메라 모듈에 탑재되는 ISP(image signaling processor), DDIC(display driver integrated circuit), CP(communication processor), 또는 하드웨어 인코더(encoder)와 같은 하드웨어 처리 회로가 본 문서에서 개시되는 다양한 실시 예들의 구현을 위해 이용될 수 있다. 본 문서의 다양한 실시 예들에서 적어도 하나의 프로세서(410)는, 상술한 적어도 하나 이상의 하드웨어 처리 회로를 의미하는 것으로 이해될 수 있다.
또한, 도 4에 도시된 하드웨어 사이의 연결 관계는 설명의 편의를 위한 것이며, 데이터나 명령의 흐름/방향을 제한하지 않는다. 전자 장치(200)에 포함되는 구성요소들은 다양한 전기적 및/또는 작동적 연결 관계를 가질 수 있다.
도 5는 일 실시 예에 따른 외부 장치(101)와 전자 장치(200)의 동작 흐름도이다.
일 실시 예에서, 외부 장치(101) 및 전자 장치(200)가 네트워크(10)를 통하여 IEEE 802.11ax 표준에 부합하도록 동작하는 경우 외부 장치(101) 및 전자 장치(200)는 협의를 통하여 프레임(또는 패킷)에 포함된 자원 블록들에 복수의 기기들에 대한 데이터를 매핑하는 방식으로 사용되는 제1 모드로 동작할 수 있다. 일 실시 예에서, 전자 장치(200)는 외부 장치(101)에 결합 요청 프레임(Association Request Frame)을 전송하고, 결합 요청 프레임을 수신한 외부 장치(101)가 전자 장치(200)에 결합 응답 프레임(Association Response Frame)을 전송함으로써 외부 장치(101) 및 전자 장치(200)는 제1 모드로 동작할 수 있다. 예를 들어, 전자 장치(200)가 제1 모드로 동작하는 경우, 전자 장치(200)는 기기를 식별할 수 있는 복수의 식별자(예: MAC 주소, ID 또는 장치명) 중 전자 장치(200)임을 식별할 수 있는 식별자에 해당하는 자원 블록을 디코딩할 수 있다.
일 실시 예에서, IEEE 802.11ax 표준과 다르게 동작하는 경우 외부 장치(101) 및 전자 장치(200)는 협의를 통하여 프레임(또는 패킷)에 포함된 자원 블록들에 하나의 기기에 대한 복수 개의 데이터를 매핑하는 방식으로 사용되는 제2 모드로 동작할 수 있다. 일 실시 예에서, 전자 장치(200)는 외부 장치(101)에 결합 요청 프레임(association request frame)을 전송하고, 결합 요청 프레임을 수신한 외부 장치(101)가 전자 장치(200)에 결합 응답 프레임(association response frame)을 전송하며, 각 전송과 동시에 공급자 특정 요소(vendor specific element)를 붙여서 제 2 모드 동작에 대한 capability 정보를 서로가 확인함으로써 외부 장치(101) 및 전자 장치(200)는 제2 모드로 동작할 수 있다. 예를 들어, 전자 장치(200)가 제2 모드로 동작하는 경우, 전자 장치(200)는 외부 장치(101)에서 수신한 프레임에 포함된 상태 정보에 관한 복수의 식별자 중 전자 장치(200)의 상태 정보에 대응하는 식별자에 해당하는 자원 블록을 디코딩할 수 있다. 예를 들어, 전자 장치(200)의 상태 정보는 센서(460)를 통해 측정된 전자 장치(200)의 상태 변화 정보(예: 움직임 정보), 카메라 모듈(420)을 통해 감지된 외부 환경의 변화 정보(예: 외부 객체 또는 사용자의 움직임) 또는 안테나 모듈(430)을 통해 감지된 외부 환경의 변화 정보(예: 외부 객체 또는 사용자의 움직임)를 포함할 수 있다.
일 실시 예에서, 외부 장치(101) 및 전자 장치(200)가 제2 모드로 동작하는 있는 경우에 외부 장치(101) 및 전자 장치(200)가 제1 모드로 동작하도록 변경하기 위하여, 전자 장치(200)는 외부 장치(101)에 결합 요청 프레임(association request frame)을 전송하고, 결합 요청 프레임을 수신한 외부 장치(101)가 전자 장치(200)에 결합 응답 프레임(association response frame)을 전송하며, 각 전송과 동시에 공급자 특정 요소(vendor specific element)를 붙여서 제 1 모드 동작에 대한 capability 정보를 서로가 주고 받음으로써, 제1 모드로 전환할 수 있다.
일 실시 예에서, 전자 장치(200)는 결합 요청 및 결합 응답 프레임 없이도, 외부 장치(101)가 송수신하는 vendor specific action 프레임에 기반하여 제2 모드에서 제1 모드로의 전환을 수행할 수 있다.
도 5 및 이하의 도면과 관련하여 제공되는 다양한 실시 예들은, 전자 장치(200)가 제2 모드로 동작하는 경우로 이해할 수 있다.
도 5를 참고하면, 외부 장치(101)는 전자 장치(200)와 신호를 송신 및/또는 수신하면서 영상을 렌더링할 수 있고, 전자 장치(200)는 외부 장치(101)와 신호를 송신 및/또는 수신하면서 외부 장치(101)로부터 수신된 렌더링된 영상을 출력할 수 있다. 외부 장치(101)와 전자 장치(200)는 네트워크(10)를 통해 연결된 상태일 수 있다.
일 실시 예에 따르면, 동작 501에서 전자 장치(200)는 전자 장치(200)의 제1 상태 정보(예: 센서(460)를 통해 측정된 전자 장치(200)의 상태 변화 정보(예: 움직임 정보), 카메라 모듈(420)을 통해 감지된 외부 환경의 변화 정보(예: 외부 객체 또는 사용자의 움직임))를 외부 장치(101)로 전송할 수 있다. 일 실시 예에서, 전자 장치(200)는 외부 장치(101)에 제1 상태 정보를 주기적으로 전송하거나 또는 제1 상태 정보가 변경된 경우에 전송할 수 있다. 일 실시예에 다르면, 전자 장치(200)는 전자 장치(200)의 카메라 모듈(240)로 촬영한 영상 데이터를, 제1 상태 정보를 전달하기 전, 전달한 후 또는 실질적으로 동시에, 외부 장치(101)로 전송할 수 있다.
일 실시 예에 따르면, 외부 장치(101)는 동작 503에서 전자 장치(200)로부터 수신한 제1 상태 정보에 기반해 복수의 영상 데이터를 생성하고, 상기 복수의 영상 데이터를 지정된 방식(예: 외부 장치(101) 및 전자 장치(200)가 협의를 통하여 프레임(또는 패킷)에 포함된 복수 개의 자원 블록들에 하나의 기기에 대한 복수 개의 데이터를 매핑하는 방식)에 따라 매핑한 프레임을 생성할 수 있다.
일 실시 예에 따르면, 동작 505에서 외부 장치(101)는 생성한 프레임을 전자 장치(200)에 전송할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 동작 507에서 제1 영상을 출력할 수 있다. 예를 들어, 동작 507에서 출력되는 영상은 동작 505에서 외부 장치(101)로부터 수신한 프레임에 기반한 영상일 수 있다. 다른 예를 들어, 동작 507에서 출력되는 영상은 동작 505에서 외부 장치(101)로부터 프레임을 수신하기 전에 외부 장치(101)로부터 획득한 영상일 수 있다.
일 실시 예에 따르면, HMD 장치(200)는 동작 509에서 제2 상태 정보를 획득할 수 있다. 도 5에는 외부 장치(101)로부터 프레임을 수신한 이후에 제2 상태 정보를 획득하는 것으로 도시되지만, 제2 상태 정보는 영상 데이터를 매핑한 프레임 획득 이전/직전에 또는 영상 데이터를 매핑한 프레임 획득과 실질적으로 동시에 획득될 수 있다. 예를 들어, 제2 상태 정보는, 동작 501에서, 전자 장치(200)가 외부 장치(101)로 제1 상태 정보를 전송한 뒤에, 발생된 전자 장치(200)의 상태 정보를 의미할 수 있다. 예를 들어 제2 상태 정보는, 센서(460)를 통해 측정된 전자 장치(200)의 상태 변화 정보(예: 움직임 정보), 카메라 모듈(420)을 통해 감지된 외부 환경의 변화 정보(예: 외부 객체 또는 사용자의 움직임) 또는 안테나 모듈(430)을 통해 감지된 외부 환경의 변화 정보(예: 외부 객체 또는 사용자의 움직임)를 포함할 수 있다.
일 실시 예에서, 전자 장치(200)는 동작 511에서 외부 장치(101)로부터 수신한 프레임에서 제2 상태 정보에 대응하는 자원 블록(예: 도 6a의 자원 블록(620))을 확인할 수 있다. 전자 장치(200)는 동작 513에서 확인된 자원 블록을 디코딩하여, 제2 상태 정보에 대응하는 제2 영상을 출력할 수 있다.
도 6a는 다양한 실시 예들에 따른 PPDU의 구조를 나타낸다. 도 6b는 일 실시 예에 따른 독립적으로 형성된 자원 블록(620)을 갖는 프레임을 나타낸다. 도 6c는 일 실시 예에 따른 연속적으로 구성된 자원 블록(630)을 갖는 프레임을 나타낸다. 도 6d는 프레임의 일부로서 식별자를 포함하는 HE-SIG-B 필드(610)를 나타낸다.
도 6a를 참고하면, PPDU(physical layer conformance procedure protocol data unit)(600)는, IEEE 802.11ax에서 정의하는 데이터 패킷(packet)의 구조로, HE-PPDU(high efficiency PPDU)일 수 있다. 다양한 실시 예들에 따르면, PPDU(600)는, 외부 장치(101) 또는 전자 장치(200)의 MU-MIMO(multi user MIMO(multi input multi output)) 및/또는 OFDMA 동작을 위한 PPDU일 수 있다.
다양한 실시 예들에 따르면, PPDU(600)는, L-STF(legacy short training field)(601), L-LTF(legacy long training field)(603), L-SIG 필드(legacy signal field)(605), RL-SIG 필드(repeated legacy signal field)(607), HE-SIG-A 필드(high efficiency signal A field)(609), HE-SIG-A 필드(high efficiency signal A field)(611), HE-STF 필드(high efficiency short training field)(613), HE-LTF(high efficiency long training field)(615), Data 필드(617) 또는 PE 필드(packet extension field)(619) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예들에 따르면, L-STF(601), L-LTF(603) 및 L-SIG 필드(605)는 legacy preamble를 구성하는 필드들이라고 설명될 수 있다. 다양한 실시 예들에 따르면, legacy preamble은, 안테나 모듈(430)이 데이터 패킷 수신에 필요한 준비 단계를 수행할 수 있도록 하는 정보들을 포함할 수 있다.
다양한 실시 예들에 따르면, L-STF(601)은, 특정한 반복된 시퀀스(sequence)를 포함하여, Start-of-packet detection, Automatic gain control(AGC), Initial frequency offset estimation 및/또는 Initial time synchronization에 사용되는 필드일 수 있다.
다양한 실시 예들에 따르면, L-LTF(603)는, Channel estimation, More accurate frequency offset estimation 및/또는 More accurate time synchronization에 사용되는 필드일 수 있다.
다양한 실시 예들에 따르면, L-SIG 필드(605)는, rate, length 및 parity 정보를 포함하는 필드일 수 있다.
다양한 실시 예들에 따르면, RL-SIG 필드(607)는, HE-SIG-A 필드(609) 앞에 삽입되어, PPDU(600)의 데이터 포맷을 HE-PPDU로 구분하기 위한 필드일 수 있다.
다양한 실시 예들에 따르면, HE-SIG-A 필드(609)는, PPDU(600)가 AP(access point)로부터 전송된 DL(downlink) PPDU인지, STA(station)로부터 전송된 UL(uplink) PPDU인지를 나타내는 정보를 포함하는 필드일 수 있다.
다양한 실시 예들에 따르면, HE-SIG-B 필드(611)는, PPDU(600)가 여러 사용자의 payload를 가진 패킷을 전송하는 경우에 각 사용자의 data가 할당되는 필드일 수 있다.
다양한 실시 예들에 따르면, HE-STF(613)는, MIMO(multi input multi output) 전송에 있어서 Automatic gain control의 성능을 개선하기 위해 사용되는 필드일 수 있다.
다양한 실시 예들에 따르면, HE-LTF(615)는, 안테나 모듈(430)이 MIMO 채널을 추정을 하기 위해 사용되는 필드일 수 있다. 다양한 실시 예들에 따르면, HE-LTF(615)는, 서로 다른 지속 시간(duration)을 가지는 n개의 HE-LTF 심볼(615-1, ..., 또는 615-n)을 포함할 수 있다. 다양한 실시 예들에 따르면, 안테나 모듈(430)이 채널을 추정하는 동작은, 각 HE-LTF 심볼(615-1, ..., 또는 615-n)에 대응하는 부반송파의 크기 및/또는 위상이 미리 정의된 크기 및/또는 위상에 대하여 변화한 정도를 확인함으로써 수행될 수 있다.
다양한 실시 예들에 따르면, Data 필드(617)는, 데이터 통신을 위해 사용되는 필드일 수 있다. 다양한 실시 예들에 따르면, Data 필드(617)는, 안테나 모듈(430)에 전달하기 위한 데이터(다른 말로, MAC(medium access control) layer의 payload)를 포함할 수 있다. 다양한 실시 예들에 따르면, Data 필드(617)는, PPDU(600)가 데이터 통신이 아닌 주변 환경(다른 말로, 전달 환경)의 감지에 사용될 경우에는 비워질 수도 있다.
다양한 실시 예들에 따르면, PE 필드(619)는, 안테나 모듈(430)이 수신한 PPDU(600)를 처리하기 시간을 보장하기 위해 사용되는 필드일 수 있다.
도 6b 및 도 6c를 참고하면, 독립적으로 형성된 자원 블록(620)을 갖는 프레임은 연속적으로 구성된 자원 블록(630)을 갖는 프레임과 달리, 외부 장치(101)에서 영상 데이터를 자원 블록에 매핑하는 동작이나 전자 장치(200)에서 자원 블록에 매핑된 영상 데이터를 디코딩하는 동작을 다른 영상 데이터에 대해 독립적으로 수행할 수 있다. 예를 들어, 연속적으로 형성된 자원 블록(630)을 갖는 프레임에서는 Data 1 및 Data 2를 디코딩한 후에 Data 3을 디코딩하여야 하나, 독립적으로 형성된 자원 블록(620)을 갖는 프레임에서는 Data 1, Data 2, 및 Data 3을 독립적으로 디코딩할 수 있다. 또 다른 예로, 독립적으로 형성된 자원 블록(620)을 갖는 프레임에서는 Data 1 또는 Data 2는 디코딩 하지 않고, Data 3을 디코딩할 수 있다.
일 실시 예에 따르면, 독립적으로 형성된 자원 블록(620)을 갖는 프레임에서, 복수 개의 자원 블록(620)을 동시에 디코딩할 수 있다. 예를 들어, 독립적으로 형성된 자원 블록(620)을 갖는 프레임에서는 Data 1, Data 2, 및 Data 3을 동시에 디코딩할 수 있다.
일 실시 예에 따르면, 외부 장치(101)는 독립적으로 형성된 자원 블록(620)에 포함된 복수의 데이터들 사이에 차이가 있는 데이터만을 디코딩함으로써, 디코딩에 소모되는 전력을 감소시킬 수 있다. 예를 들어, Data 1이 전자 장치(200)의 현재 FOV에 관한 영상 데이터이고 Data 2가 전자 장치(200)의 발생 가능한 상태 정보에 기반하여 생성된 영상 데이터인 경우, 외부 장치(101)는 Data 1 및 Data 2를 각각 디코딩하지 않고, Data 1 및 Data 1과 Data 2의 차이에 해당하는 데이터만을 디코딩함으로써, 영상 데이터를 디코딩하는데 소모되는 전력을 감소시킬 수 있다.
일 실시 예에서, 독립적으로 수행되는 영상 데이터의 매핑 또는 영상 데이터의 디코딩은 순차적으로 수행되는 영상 데이터의 매핑 또는 영상 데이터의 디코딩에 비하여 적은 전력을 소모할 수 있다.
일 실시 예에서, 도 6b의 프레임은 MU(multi user) 프레임일 수 있고, 도 6c의 프레임은 SU(single user) 프레임일 수 있다. 도 6b에 따른 일 실시 예에서 프레임에는 HE-SIG-B 필드(610)가 포함되나, 도 6c에 따른 일 실시 예에서 프레임에는 HE-SIG-B 필드(610)가 포함되지 않을 수 있다. 일 예에서, 전자 장치(200)는 상기 HE-SIG-B 필드(610)의 유무를 기반으로 MU 프레임과 SU 프레임을 구분할 수 있다. 일 예에서, 전자 장치(200)는 제2 모드로 동작하며 외부 장치(101)와 데이터를 송수신함에 있어, 수신한 프레임에 HE-SIG-B 필드(610)에 전자 장치(200)에 관한 정보가 포함되지 않은 경우 디코딩을 중단함으로써 전력 소모를 감소시킬 수 있다.
도 6d를 참고하면, HE-SIG-B 필드(610)는 공통 필드와 유저 특수 필드(611)를 포함할 수 있다.
일 실시 예에서, 유저 특수 필드(611)는 식별자(identifier)를 포함하는 부분(612)과 패딩(padding) 부분을 포함할 수 있다. 일 예에서, 외부 장치(101)로부터 프레임을 수신한 전자 장치(200)는 HE-SIG-B 필드(610)를 디코딩하여 전자 장치(200)의 식별자(identifier)(예: 전자 장치(200)의 식별자(MAC 주소, 또는 ID) 또는 외부 장치(101)와 전자 장치(200) 간의 협의에 따라 상태 정보를 식별할 수 있는 식별자)가 존재하는지 여부를 확인할 수 있다. 일 예에서, HE-SIG-B 필드(610)에 전자 장치(200)와 관련된 식별자가 존재하지 않는 경우 전자 장치(200)는 디코딩을 수행하지 않음으로써 전력 손실을 감소시킬 수 있다.
도 7은 일 실시 예에 따른 FOV(710)의 변화를 도시한다.
도 7을 참고하면 사용자(300)가 바라보는 방향에 따라서 FOV(710)가 형성된다. 일 실시 예에 따르면, 사용자(300)가 바라보는 방향이 바뀜에 따라 FOV(710)의 위치도 변화할 수 있다. 예를 들면, 사용자(300)가 바라보는 방향이 시계 방향으로 바뀜에 따라 FOV(710)의 위치도 시계 방향으로 이동할 수 있다.
일 실시 예에서, 사용자(300)는 3차원 공간의 시각 정보 중에서 FOV(710)에 들어오는 시각 정보만을 인지할 수 있다. 일 예에서, 사용자(300)가 바라보는 방향이 시계 방향으로 바뀜에 따라 FOV(710)의 오른쪽 경계(730)가 711, 712, 또는 713 순으로 이동할 수 있다. 일 예에서, 사용자(300)가 바라보는 방향이 시계 방향으로 연속적으로 바뀐 경우 FOV(710) 왼쪽 경계(720)가 714로 이동할 수 있다.
도 8은 일 실시 예에 따른 외부 장치(101)의 동작 흐름도이다.
도 8을 참고하면, 외부 장치(101)는 전자 장치(200)로부터 수신한 상태 정보에 기반해 예측 가능한 FOV에 대응해 생성된 영상 데이터가 매핑된 프레임을 생성하고, 상기 프레임을 전자 장치(200)에 전송할 수 있다.
일 실시 예에 따르면, 동작 810에서 외부 장치(101)는 전자 장치(200)로부터 제1 상태 정보를 수신할 수 있다. 일 실시 예에서, 상기 제1 상태 정보는 전자 장치(200)의 움직임과 관련된 정보를 포함할 수 있다. 예를 들어, 사용자(300)가 전자 장치(200)를 착용한 채 머리를 반시계 방향으로 회전하는 경우, 움직이는 방향 및/또는 가속도가 제1 상태 정보에 포함될 수 있다. 일 실시 예에서, 상기 제1 상태 정보는 사용자(300)의 입력과 관련된 정보를 포함할 수 있다. 예를 들어, 사용자(300)가 전자 장치(200)를 착용한 상태에서 전자 장치(200)에 포함된 입력 장치(미도시)(예: 버튼 또는 패드)를 통한 입력을 수신하거나 또는 전자 장치(200)의 카메라 모듈(420) 또는 안테나 모듈(430)을 통해 사용자의 제스처를 수신할 수 있다. 다른 예를 들어, 사용자(300)의 입력은 전자 장치(200)와 연동(또는 통신 연결) 가능한 외부 입력 장치(예: 컨트롤러 또는 조이스틱)를 통한 입력을 포함할 수 있다.
일 실시 예에 따르면, 동작 820에서 외부 장치(101)는 전자 장치(200)로부터 수신한 제1 상태 정보(예: 센서(460)를 통해 측정된 전자 장치(200)의 상태 변화 정보 또는 카메라 모듈(420)을 통해 감지된 외부 환경의 변화 정보)를 통하여 파악 가능한 전자 장치(200)의 FOV(예: 도 7의 710)에 대응하는 제1 영상 데이터를 생성할 수 있다. 일 예에서, 제1 영상 데이터는 전자 장치(200)를 착용한 사용자(300)의 움직임이 없는 경우에도 생성될 수 있다. 예를 들어, 제1 영상 데이터는 전자 장치(200)의 FOV에 변화가 없는 경우에도, 전자 장치(200)의 현재 FOV에 기반하여 생성될 수 있다.
일 실시 예에 따르면, 제1 영상 데이터가 생성된 경우 동작 830에서 외부 장치(101)는 전자 장치(200)와 협의를 통하여 프레임(또는 패킷)에 포함된 자원 블록들에 하나의 기기에 대한 복수 개의 데이터를 매핑하는 방식으로 사용되는 경우, 제1 영상 데이터와 제1 상태 정보에 기반하여 발생 가능한 FOV에 대응하는 제2 영상 데이터를 생성할 수 있다. 일 예에서, 제2 영상 데이터의 크기는 제1 상태 정보에 따라서 변화할 수 있다. 예를 들면, 전자 장치(200)의 FOV의 변화 속도가 큰 경우에는 전자 장치(200)의 FOV의 변화 속도가 작은 경우에 비하여 제2 영상 데이터의 크기가 증가할 수 있다.
일 실시 예에 따르면, 동작 840에서 외부 장치(101)는 제1 영상 데이터 및 제2 영상 데이터를 프레임에 매핑할 수 있다. 일 예에서, 외부 장치(101)는 프레임에 포함된 독립적으로 디코딩이 가능한 데이터 블록에 제1 영상 데이터 및 적어도 하나의 제2 영상 데이터를 매핑할 수 있다. 예를 들어, 제1 영상 데이터는 전자 장치(200)의 카메라 모듈(420)에서 획득한 영상 중 사용자의 시야에 대응하는 영상에 대응하고, 제2 영상 데이터는 전자 장치(200)의 카메라 모듈(420)에서 획득한 영상 중 사용자의 시야를 벗어나는 영상에 대응할 수 있다. 다른 예를 들어, 제1 영상 데이터는 전자 장치(200)의 현재 FOV에 기반한 영상에 대응하고, 제2 영상 데이터는 전자 장치(200)의 예상 이동 방향에 관련된 FOV에 기반한 영상에 대응할 수 있다. 일 실시 예에 따르면, 제1 영상 데이터 및 복수의 제2 영상 데이터의 일부는 동일할 수 있다.
일 실시 예에 따르면, 동작 850에서 외부 장치(101)는 매핑된 프레임을 전자 장치(200)에 전송할 수 있다. 일 예에서, 프레임은 IEEE 802.11 ax 표준에 해당하는 지정된 네트워크를 통해 전송될 수 있다.
도 9는 일 실시 예에 따른 전자 장치(200)의 움직임 또는 시간의 흐름에 따른 상태 정보의 변화를 도시한다.
도 9를 참고하면, 전자 장치(200)의 상태 정보는 일정 시간 동안 발생된 전자 장치(200)의 움직임에 따라 변화할 수 있다.
일 실시 예에서, 제1 영역(912) 및 제2 영역(913)은 전자 장치(200)의 현재 FOV 영역(911)으로부터 이동이 예측되는 FOV 영역일 수 있으며, 현재 FOV 기준으로 적어도 일부가 다른 영역을 포함할 수 있다. 예를 들어, 전자 장치(200)를 착용한 사용자(300)가 머리를 오른쪽으로 움직이는 경우 전자 장치(200)의 현재 FOV 영역(911) 보다 오른쪽의 영역을 포함하는 제1 영역(912)이 새로운 FOV 영역으로 형성될 수 있고, 전자 장치(200)를 착용한 사용자(300)가 머리를 아래로 움직이는 경우 전자 장치(200)의 현재 FOV 영역(911) 보다 아래쪽의 영역을 포함하는 제2 영역(913)이 새로운 FOV 영역으로 형성될 수 있다.
일 실시 예에서, 시간의 경과에 따라 제1 영역(912) 및 제2 영역(913)은 서로 다른 영역을 포함할 수 있다. 예를 들어, 전자 장치(200)를 착용한 사용자(300)가 제1 시간(910), 제2 시간(920), 또는 제3 시간(930)으로 진행됨에 따라 머리를 오른쪽으로 움직이는 경우, 제1 시간(910)에는 현재 FOV 영역(911)이 FOV 영역으로 형성되고, 제2 시간(920)에는 제2 영역(913)이 FOV 영역으로 형성되고, 제3 시간(930)에서의 FOV 영역은 제2 시간(920)에서의 제2 영역(913)보다 오른쪽의 영역(예: 제3 영역(미도시))을 포함할 수 있다.
도 10a는 일 실시 예에 따른 FOV(예: 도 7의 710) 변화에 따라 생성된 영상 데이터(1010, 1020)를 나타낸다. 도 10b는 도 10a의 일 실시 예에서 생성된 영상 데이터가 매핑되는 프레임을 도시한다.
도 10a를 참고하면, 외부 장치(101)가 전자 장치(200)로부터 수신한 제1 상태 정보가 지시하는 전자 장치(200)의 FOV에 대응하는 제1 영상 데이터(1010)를 생성할 수 있고, 제1 상태 정보 및 제1 영상 데이터(1010)에 기반하여 발생 가능한 FOV에 대응하는 복수의 제2 영상 데이터(1020)를 생성할 수 있다. 예를 들어, 복수의 제2 영상 데이터(1020)는 전자 장치(200)가 감지할 수 있는 전자 장치(200) 또는 전자 장치(200)를 착용한 사용자(300)의 움직임 방향 및/또는 움직임 속도에 기반하여 개수가 정해질 수 있다.
일 실시 예에서, 적어도 하나의 제2 영상 데이터(1010)는 제1 상태 정보와는 다른 적어도 하나의 제2 상태 정보가 지시하는 전자 장치(200)의 FOV에 대응되는 것으로 이해될 수 있다. 예를 들면, 전자 장치(200)를 착용한 사용자(300)는 동쪽, 서쪽, 남쪽, 또는 북쪽으로 움직일 수 있으므로 적어도 4개의 제2 상태 정보가 발생할 수 있고, 적어도 4개의 제2 상태 정보가 지시하는 전자 장치(200)의 FOV와 제1 상태 정보를 기반으로 적어도 4개의 제2 영상 데이터(1020)가 생성될 수 있다.
도 10a 및 도 10b를 참고하면, 외부 장치(101)는 도 10a의 일 실시 예에서 생성된 제1 영상 데이터(1010) 및 복수의 제2 영상 데이터(1020)를 프레임에 포함되는 자원 블록(620)에 매핑할 수 있다. 예를 들면, 제1 영상 데이터(1010)는 자원 블록(620)의 제1 자원 블록(621)에 매핑되고, 복수의 제2 영상 데이터(1020) 중 어느 하나의 영상 데이터(1021)는 제1 자원 블록(621)과는 다른 제2 자원 블록(622)에 매핑될 수 있다. 예를 들어, 외부 장치(101)는 전자 장치(200)와 공유된 테이블 정보에 기반하여 제2 영상 데이터(1020)를 자원 블록(620)에 매핑할 수 있다.
일 실시 예에서, HE-SIG-B 필드(610)를 포함하는 프레임에는 독립적으로 형성된 자원 블록(620)이 포함될 수 있다. 일 예에서, 제1 영상 데이터(1010) 및 복수의 제2 영상 데이터(1020)는 독립적으로 형성된 자원 블록(620)에 매핑될 수 있다. 예를 들어, 제1 영상 데이터(1010)는 독립적으로 형성된 제1 자원 블록(621)에 매핑되고 복수의 제2 영상 데이터(1020) 중 어느 하나의 영상 데이터(1021)는 독립적으로 형성된 제2 자원 블록(622)에 매핑됨으로써, 전자 장치(200)는 제1 자원 블록(621)과 제2 자원 블록(622) 중 어느 하나를 선택하여 디코딩할 수 있다.
일 실시 예에 따르면, HE-SIG-B 필드(610)를 포함하는 프레임에는 무선 보안을 위하여 정상적인 데이터와 페이크 데이터(fake data)가 매핑된 독립적으로 형성된 자원 블록(620)이 포함될 수 있다. 예를 들어, 정상적인 데이터는 독립적으로 형성된 제1 자원 블록(621)에 매핑되고 페이크 데이터는 독립적으로 형성된 제2 자원 블록(622)에 매핑될 수 있다.
일 실시 예에서, 외부 장치(101)는 정상적인 데이터가 매핑된 자원 블록에 관한 정보 및 제1 자원 블록(621), 제2 자원 블록(622)을 포함한 프레임을 전자 장치(200)로 송신할 수 있다.
일 실시 예에서, 외부 장치(101)가 송신하는 프레임을 수신하는 전자 장치(200)는 정상적인 데이터가 매핑된 자원 블록에 관한 정보에 기반하여 제1 자원 블록(621) 또는 제2 자원 블록(622) 중 어느 하나를 선택하여 정상적인 데이터를 디코딩할 수 있다.
도 11은 일 실시 예에 따른 전자 장치(200)의 동작 흐름도이다.
일 실시 예에 따르면, 동작 1110에서 전자 장치(200)는 제1 영상을 출력할 수 있다. 일 예에서, 제1 영상은 외부 장치(101)로부터 프레임을 수신하기 이전에 외부 장치(101)에서 수신한 다른 프레임에 포함된 영상 데이터를 디코딩한 영상에 해당할 수 있다.
일 실시 예에 따르면, 동작 1120에서 전자 장치(200)는 외부 장치(101)로부터 독립적으로 디코딩이 가능한 프레임을 수신할 수 있다. 예를 들어, 외부 장치(101)로부터 수신한 독립적으로 디코딩이 가능한 프레임은 전자 장치(200)가 전송한 상태 정보(예를 들어, 제1 영상을 출력하기 전의 상태 정보 또는 제1 영상을 출력 중의 상태 정보)에 기반하여 생성된 프레임일 수 있다.
일 실시 예에 따르면, 동작 1130에서 전자 장치(200)는 프로세서(410)와 전기적으로 연결된 적어도 하나의 센서(460)를 이용하여 상태 정보를 획득할 수 있다. 일 예에서, 동작 1130은 동작 1120 보다 먼저 수행될 수 있다.
일 실시 예에 따르면, 동작 1140에서 전자 장치(200)는 적어도 하나의 센서(460)를 이용하여 획득한 상태 정보에 대응하는 자원 블록을 확인할 수 있다. 일 예에서, 적어도 하나의 센서(460)를 이용하여 획득한 상태 정보는 발생 가능한 전자 장치(200)의 FOV(예: 도 7의 710)에 관한 적어도 하나의 상태 정보에 대응될 수 있다. 예를 들어, 적어도 하나의 센서(460)를 이용하여 획득한 상태 정보는 전자 장치(200)의 이동 방향, 이동 속도 또는 이동량을 포함할 수 있다.
일 실시 예에 따르면, 동작 1150에서 전자 장치(200)는 적어도 하나의 센서(460)를 이용하여 획득한 상태 정보에 대응하는 것으로 확인된 자원 블록에 해당하는 영상 데이터를 디코딩할 수 있다. 일 예에서, 전자 장치(200)는 독립적으로 형성된 자원 블록(620) 중 상태 정보에 대응하는 자원 블록을 선택적으로 디코딩할 수 있다.
일 실시 예에 따르면, 동작 1160에서 전자 장치(200)는 디코딩된 영상 데이터에 기반하여 제2 영상을 출력할 수 있다. 일 예에서, 제2 영상은 제1 영상과 적어도 일부가 다른 FOV를 가질 수 있다.
일 실시 예에 따르면, 전자 장치(200)가 획득한 상태 정보가 지정된 임계값 이상으로 변경된 경우, 전자 장치(200)는 외부 장치로부터 수신된 프레임에 기반하여 제2 영상을 출력하지 못 할 수 있다. 이 경우, 전자 장치(200)는 획득한 상태 정보가 지정된 임계값 이상인 경우, 외부 장치(101)로 새로운 프레임 전송을 요청할 수 있다. 예를 들어, 전자 장치(200)는 센서(460)를 통해 획득한 상태 정보를 외부 장치(101)로 전송하여 새로운 프레임 전송을 요청할 수 있다. 다른 예를 들어, 전자 장치(200)는 카메라 모듈(420)을 통해 획득한 새로운 영상 정보를 외부 장치(101)로 전송하고, 외부 장치(101)로부터 새로운 영상 정보에 기반하여 생성된 새로운 제1 영상과 새로운 제2 영상 정보들을 수신할 수 있다.
도 12는 일 실시 예에 따른 전자 장치에서 프레임 및 식별자를 판별하는 동작이 포함된 흐름도이다.
일 실시 예에 따르면, 동작 1210에서 전자 장치(200)는 상태 정보를 갱신할지 여부를 판단할 수 있다. 일 예에서, 전자 장치(200)의 FOV가 변하지 않은 경우 전자 장치(200)는 상태 정보를 갱신하지 않는다고 판단할 수 있다. 예를 들어, 전자 장치(200)는 센서(460)에서 측정한 데이터 변화량이 임계값 미만인 경우, 전자 장치(200)의 위치 변경이 발생되지 않았다고 판단할 수 있다. 다른 예를 들어, 전자 장치(200)는 사용자의 입력이 발생되지 않는 경우 전자 장치(200)의 상태 정보가 발생되지 않았다고 판단할 수 있다. 또 다른 예를 들어, 전자 장치(200)는 주기적으로 전자 장치(200)의 상태 정보를 외부 장치(101)로 전송할 수 있다.
일 실시 예에 따르면, 전자 장치(200)의 상태 정보를 갱신할 경우, 동작 1220에서 전자 장치(200)는 외부 장치(101)에 현재 전자 장치(200)의 상태 정보를 전송할 수 있다. 예를 들어, 전자 장치(200)는 외부 장치(101)로 상태 정보를 전송하고, 외부 장치(101)로부터 전자 장치(200)가 전송한 상태 정보에 기반한 프레임을 수신할 수 있다.
일 실시 예에 따르면, 동작 1230에서 전자 장치(200)는 외부 장치(101)로부터 수신한 프레임의 PHY 계층 헤더를 디코딩할 수 있다.
일 실시 예에 따르면, 동작 1240에서 전자 장치(200)는 외부 장치(101)로부터 수신한 프레임이 MU 프레임인지 또는 SU 프레임인지 판단할 수 있다. 일 예에서, MU 프레임은 독립적으로 디코딩이 가능한 자원 블록을 포함할 수 있다. 일 실시 예에 따르면, 전자 장치(200)는 외부 장치(101)와 데이터(또는 프레임)를 송수신함에 있어, 독립적으로 디코딩이 가능한 자원 블록을 포함하는 MU 프레임을 사용하기로 협의된 상태일 수 있다. 일 실시 예에 따르면, 전자 장치(200)는 외부 장치(101)로부터 수신한 프레임의 PHY 계층 헤더를 디코딩하여 MU 프레임인 경우, 지정된 필드(예: HE-SIG-B 필드)를 확인할 수 있다. 일 실시 예에 따르면, 전자 장치(200)는 외부 장치(101)로부터 수신한 프레임이 MU 프레임이 아닌 경우, 또는 MU 프레임이더라도 HE-SIG-B 필드 내 독립된 데이터 블록들에 대한 정보가 미리 약속된 동작에 의한 것과 다른 경우 디코딩을 중단할 수 있다.
일 실시 예에 따르면, 전자 장치(200)와 외부 장치(101)는 Wi-Fi direct, Wi-Fi Aware 또는 모바일 핫스팟(mobile hotspot)(또는 soft AP)으로 연결될 수 있다. 예를 들어, 전자 장치(200)와 외부 장치(101)가 Wi-Fi direct로 연결되는 경우, 외부 장치(101)가 GO(group owner)로 동작하고, 전자 장치(200)가 GC(group client)로 동작할 수 있다. 다른 예를 들어, 전자 장치(200)와 외부 장치(101)가 Wi-Fi Aware로 연결되는 경우, 외부 장치(101)가 master 역할로 동작하고 전자 장치(200)가 slave 역할로 동작할 수 있다. 또 다른 예를 들어, 전자 장치(200)와 외부 장치(101)가 모바일 핫스팟으로 연결되는 경우, 외부 장치(101)가 핫스팟(또는 soft AP)으로 동작하고, 전자 장치(200)가 STA(station)로 동작할 수 있다.
일 실시 예에 따르면, 외부 장치(101)로부터 수신한 프레임이 MU 프레임인 경우, 동작 1250에서 전자 장치(200)는 상태 정보에 대응하는 식별자가 존재하는지 확인할 수 있다. 일 예에서, 상태 정보에 대응하는 복수의 식별자가 존재할 수 있다.
일 실시 예에 따르면, 외부 장치(101)로부터 수신한 프레임이 SU 프레임인 경우, 동작 1260에서 전자 장치(200)는 프레임에 포함된 자원 블록을 디코딩하는 것을 중단할 수 있다. 일 예에서, 외부 장치(101)가 전자 장치(200)와 협의를 통하여 프레임(또는 패킷)에 포함된 자원 블록들에 하나의 기기에 대한 복수 개의 데이터를 매핑하는 방식으로 사용되는 경우, 전자 장치(200)가 디코딩을 중단하는 경우 전자 장치(200)의 상태 정보를 갱신할지 여부를 확인하는 동작이 수행될 수 있다.
일 실시 예에 따르면, 상태 정보에 대응하는 식별자가 존재하지 않는 경우, 동작 1260에서 전자 장치(200)는 프레임에 포함된 자원 블록을 디코딩하는 것을 중단할 수 있다.
일 실시 예에 따르면, 상태 정보에 대응하는 식별자가 존재하는 경우, 동작 1270에서 전자 장치(200)는 식별자에 해당하는 자원 블록을 디코딩할 수 있다. 예를 들어, 전자 장치(200)는 적어도 하나의 센서(460)를 이용하여 획득한 상태 정보에 대응하는 것으로 확인된 자원 블록에 해당하는 영상 데이터를 디코딩할 수 있다. 일 실시 예에 따르면, 전자 장치(200)는 디코딩된 영상 데이터에 기반한 영상을 디스플레이(210)에 출력할 수 있다.
도 13은 일 실시 예에 따른 FOV(예: 도 7의 710) 변화를 나타낸다.
도 13을 참고하면, 일정한 공간(1300)에서 현재 전자 장치(200)의 FOV(1310)를 포함하여 발생 가능한 FOV에 해당하는 제1 영역(1320) 및 제2 영역(1330)이 존재할 수 있다. 일 실시 예에서, 제1 영역(1320) 및 제2 영역(1330)은 현재 전자 장치(200)의 FOV(1310) 보다 큰 영역을 차지할 수 있다.
일 실시 예에서, 제1 영역(1320) 및 제2 영역(1330)은 발생 가능한 FOV에 따라서 서로 다른 영역을 포함할 수 있다. 예를 들어, 전자 장치(200)를 착용한 사용자(300)가 머리를 수평적으로 움직이는 경우 수평적으로 넓은 제1 영역(1320)이 형성될 수 있고, 전자 장치(200)를 착용한 사용자(300)가 머리를 수직적으로 움직이는 경우 수직적으로 넓은 제2 영역(1330)이 형성될 수 있다.
일 실시 예에서, 제1 영역(1320) 또는 제2 영역(1330)은 전자 장치(200)의 움직임의 히스토리 기반 또는 추가적인 정보가 많은 영역에 기반하여 발생 가능한 FOV를 다르게 설정할 수 있다. 예를 들어, 일정한 공간(1300)에서 벽이 위치한 영역보다 물건들이 위치한 영역이 발생 가능한 FOV를 더 크게 형성할 수 있다.
일 실시 예에서, 외부 장치(101)는 전자 장치(200)에 포함된 카메라가 획득한 공간(1300)에 대한 데이터를 수신할 수 있다. 외부 장치(101)는 전자 장치(200)의 FOV(1310) 및 발생한 가능한 상태 정보(예: 수평 이동, 또는 수직 이동)에 대응되는 영상 데이터를 생성하여, 프레임의 자원 블록에 매핑할 수 있다. 예를 들어, 외부 장치(101)는 FOV(1310)의 영상 데이터를 제1 자원 블록에 매핑하고, 수평 이동 시 사용될 영상 데이터를 제2 자원 블록에 매핑하고, 수직 이동 시 사용될 영상 데이터를 제3 자원 블록에 매핑할 수 있다. 외부 장치(101)는 상태 정보 중 수평 이동과 관련된 상태 정보와 제2 자원 블록을 대응시키고, 상태 정보 중 수직 이동과 관련된 상태 정보와 제3 블록을 대응시킬 수 있다. 상기 매칭 정보는 HE-SIG-B 필드(610)에 저장될 수 있다. 외부 장치(101)는 상기 매칭 정보를 포함하는 HE-SIG-B 필드(610), 제1 자원 블록, 제2 자원 블록, 또는 제3 자원 블록을 포함하는 프레임을 전자 장치(200)로 전송할 수 있다.
도 14는 일 실시 예에 따른 외부 장치에서 확인 응답을 전송하는 동작이 포함된 흐름도이다.
일 실시 예에 따르면, 동작 1410에서 외부 장치(101)는 상태 정보를 갱신할지 여부를 확인할 수 있다. 예를 들면, 외부 장치(101)는 전자 장치(200)로부터 상태 정보를 수신하는 경우, 이전에 전자 장치(200)로부터 수신된 전자 장치(200)의 상태 정보와 다른 지 여부를 판단하여, 전자 장치(200)로부터 새롭게 수신한 상태 정보로 갱신할지 여부를 확인할 수 있다.
일 실시 예에 따르면, 상태 정보를 갱신하지 않는 경우, 동작 1420에서 외부 장치(101)는 전자 장치(200)에서 수신한 확인 응답을 반영할 필요가 있는지 확인할 수 있다. 예를 들어, 외부 장치(101)는 전자 장치(200)에서 수신한 확인 응답에 기반하여 이미 수신된 상태 정보를 갱신할지 여부를 확인할 수 있다.
일 실시 예에 따르면, 상태 정보를 갱신할 필요가 있거나 전자 장치(200)에서 수신한 확인 응답을 반영할 경우, 동작 1430에서 외부 장치(101)는 상태 정보를 전자 장치(200)에서 수신한 상태 정보로 갱신할 수 있다.
일 실시 예에 따르면, 전자 장치(200)에서 수신한 확인 응답을 반영하지 않는 경우, 동작 1440에서 외부 장치(101)는 갱신된 상태 정보에 기반하여 제1 영상 데이터를 생성할 수 있다. 예를 들어, 동작 1420에서, 전자 장치(200)에서 수신한 확인 응답을 반영하지 않는 경우, 외부 장치(101)는 전자 장치(200)로부터 이전에 수신한 상태 정보에 기초하여 렌더링을 수행할 수 있다.
일 실시 예에 따르면, 동작 1450에서 외부 장치(101)는 제1 영상 데이터 및 갱신된 상태 정보에 기반해 적어도 하나의 제2 영상 데이터를 생성할 수 있다.
일 실시 예에 따르면, 동작 1460에서 외부 장치(101)는 제1 영상 데이터 및 제2 영상 데이터를 프레임에 포함된 자원 블록에 매핑하고, 제1 영상 데이터 및 제2 영상 데이터가 매핑된 프레임을 전자 장치(200)에 전송할 수 있다.
도 15는 일 실시 예에 따른 확인 응답을 전송하기 위해 사용되는 블록을 나타낸다.
도 15를 참고하면, IEEE 802.11ax 표준이 정의하는 multi-sta block ack 포맷은 Per AID TID Info(1510) 및 AID TID Info, Block Ack Starting Sequence Control, 및 Block Ack Bitmap을 포함하는 필드(1520)를 포함할 수 있다.
일 실시 예에서, Per AID TID Info(1510)에 포함된 11bit의 AID 필드는 현재 전자 장치(200)의 FOV에 관한 정보 및 발생 가능한 FOV에 관한 정보를 포함할 수 있다. 예를 들어, AID 필드는 전자 장치(200)가 자원 블록에 해당하는 영상 데이터를 디코딩하는데 사용한 상태 정보에 관한 정보를 포함할 수 있다. 일 실시 예에 따르면, 전자 장치(200)는 제2 모드로 동작하는 경우 외부 장치(101)로부터 수신한 MU 프레임의 HE-SIG-B 필드(예: 도 6b의 610)를 디코딩하여 식별자(identifier)를 포함하는 부분(예: 도 6c의 612)에 기반한 정보를 AID 필드에 포함하여 외부 장치(101)로 전송할 수 있다. 외부 장치(101)는 전자 장치(200)로부터 수신한 AID 필드에 기반하여 전자 장치(200)가 디코딩하여 사용한 자원 블록 정보를 확인할 수 있다. 일 실시 예에 따르면, 외부 장치(101)는 전자 장치(200)가 디코딩하여 사용한 자원 블록 정보에 기반하여 전자 장치(200)의 상태 정보의 변경(예: 이동 방향)을 확인할 수 있다. 예를 들어, 외부 장치(101)는 전자 장치(200)의 상태 정보의 변경에 기반하여, 새로운 영상 정보를 포함하는 프레임을 전자 장치(200)로 전송하거나 또는 전자 장치(200)로 새로운 영상 정보를 생성하기 위해 필요한 영상 정보를 요청할 수 있다.
도 16은 일 실시 예에 따른 확인 응답을 반영한 뷰 트래킹을 나타낸다.
도 16을 참고하면, 일정한 공간(1600)에서 전자 장치(200)가 가지는 FOV(1610) 내에 복수의 관심 영역(1620, 1630, 1640, 또는 1650)이 존재할 수 있다.
일 실시 예에서, 전자 장치(200)를 착용한 사용자(300)의 관심 영역이 제1 영역(1620), 제2 영역(1630), 제3 영역(1640), 또는 제4 영역(1650) 순으로 변화할 수 있다. 예를 들어, 관심 영역의 변화는 시간의 흐름 및/또는 사용자(300)의 움직임에 기반한 전자 장치(200)의 이동 방향, 이동 속도 또는 이동량의 변화를 포함할 수 있다.
일 실시 예에서, 일 예에서, 전자 장치(200)는 전자 장치(200)를 착용한 사용자(300)의 관심 영역이 변화한 것에 관한 정보를 AID를 통해 외부 장치(101)에 전송할 수 있다.
일 실시 예에서, 전자 장치(200)가 출력하는 제1 영상 데이터 및 제2 영상 데이터는 서로 연관된 데이터에 해당할 수 있다. 예를 들어, 영상 데이터의 크기가 크거나 복수의 영상 데이터들이 하나의 영상에 관하여 서로 관련된 데이터인 경우, 적어도 두 개의 제2 영상 데이터를 병합하여 영상을 출력할 수 있다. 또 다른 예에서, 전자 장치(200)가 지정된 방향으로 이동하고 상기 지정된 방향에 대한 제2 영상 데이터들이 순차적으로 저장된 경우, 적어도 두 개의 영상 데이터를 디코딩하여 순차적으로 출력할 수 있다.
이하 도 17a 내지 도 22에는 다양한 실시 예에 있어서 전자 장치(200)가 AR(augmented reality) 서비스를 제공하는 장치인 경우로 이해할 수 있다.
도 17a는 일 실시 예에 따른 발생 가능한 전자 장치(200)의 FOV와 사용자(300)의 FOV를 나타낸다. 도 17b는 일 실시 예에 따른 전자 장치(200)의 FOV가 사용자(300)의 FOV 보다 큰 경우를 나타낸다.
도 17a 및 도 17b를 참고하면, 전자 장치(200)가 AR(augmented reality) 서비스를 제공하는 장치인 경우, 전자 장치(200)는 전자 장치(200)의 카메라 모듈(420)을 통하여 촬영된 영상 및 전자 장치(200)의 상태 정보를 외부 장치(101)에 전송할 수 있다.
일 실시 예에 따르면, 외부 장치(101)는 전자 장치(200)의 카메라 모듈(420)을 통하여 촬영된 영상 및 전자 장치(200)의 상태 정보를 전자 장치(200)로부터 수신하고, 이를 기반으로 영상 데이터를 생성할 수 있다. 예를 들어, 외부 장치(101)는 전자 장치(200)의 카메라 모듈(420)을 통하여 일정한 장소에서 촬영된 영상 및 전자 장치(200)의 움직임 정보를 전자 장치(200)로부터 수신하고, 카메라 모듈(420)을 통하여 촬영한 영상 및 전자 장치(200)의 움직임 정보를 기반으로 발생 가능한 FOV를 고려하여 복수의 영상 데이터를 생성할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 카메라 모듈(420)을 통하여 촬영한 복수의 영상들(1710, 1720, 1730, 및 1740) 중에서 전자 장치(200)의 움직임 정보에 기반하여 적어도 하나의 영상을 외부 장치(101)에 전송하고 이를 기초로 생성된 복수의 영상 데이터를 수신함으로써 전자 장치(200)의 움직임을 반영한 새로운 영상을 출력할 수 있다. 예를 들어, 전자 장치(200)가 북쪽으로 움직이는 경우 전자 장치(200)는 카메라 모듈(420)을 통하여 촬영한 북쪽 방향(예: +y 방향)의 영상(1710)을 외부 장치(101)에 전송하고, 외부 장치(101)는 수신한 영상(1710)을 기초로 발생 가능한 FOV에 대응하는 복수의 영상 데이터를 생성하고 이를 다시 전자 장치(200)에 전송함으로써, 사용자의 FOV(1700)가 처음 위치보다 북쪽으로 이동하는 경우의 영상을 출력할 수 있다. 다른 예에 따르면, 전자 장치(200)가 서쪽(예: -x 방향)으로 움직이는 경우 전자 장치(200)는 카메라 모듈(420)을 통하여 촬영한 서쪽 방향의 영상(1720)을 외부 장치(101)에 전송하고, 외부 장치(101)는 수신한 영상(1720)을 기초로 발생 가능한 FOV에 대응하는 복수의 영상 데이터를 생성하고 이를 다시 전자 장치(200)에 전송함으로써, 전자 장치(200)는 사용자의 FOV(1700)가 처음 위치보다 서쪽으로 이동하는 경우의 영상을 출력할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 카메라 모듈(420)을 통하여 촬영한 영상(1750)이 사용자의 FOV(1700)에 비하여 큰 면적을 갖는 경우, 외부 장치(101)에 해당 영상을 전송하고, 외부 장치(101)는 수신한 영상(1750)을 기초로 발생 가능한 FOV에 대응하는 복수의 영상 데이터를 생성하고 이를 다시 전자 장치(200)에 전송함으로써, 전자 장치(200)는 사용자의 FOV(1700)가 어느 방향으로 움직이더라도 전자 장치(200)의 움직임을 반영한 새로운 영상을 출력할 수 있다.
일 실시 예에서, 도 17b에서 전자 장치(200)가 카메라 모듈(420)을 통하여 촬영한 영상(1750)은 도 17a에서 전자 장치(200)가 카메라 모듈(420)을 통하여 촬영한 영상들(1710, 1720, 1730, 1740)에 비하여 큰 면적을 가질 수 있다.
도 18은 일 실시 예에 따른 외부 장치(101) 및 전자 장치(200)가 영상을 송수신하는 동작을 나타낸다.
도 18을 참고하면, 외부 장치(101)는 전자 장치(200)에 렌더링된 영상을 전송하면, 전자 장치는 확인 응답(ACK) 및 촬영된 영상을 외부 장치(101)에 전송하고, 이를 수신한 외부 장치(101)는 확인 응답(ACK)을 전자 장치(200)에 전송할 수 있다.
일 실시 예에 따르면, 외부 장치(101)는 동작 1801에서 렌더링된 이전 영상을 외부 장치(101)에 전송할 수 있다. 예를 들면, 외부 장치(101)는 전자 장치(200)로부터 수신한 상태 정보에 기반하여 발생 가능한 FOV에 대응하는 복수의 영상을 렌더링하고, 렌더링된 영상 데이터를 자원 블록에 매핑하여 프레임을 통해 전자 장치(200)에 송신할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 동작 1803에서 외부 장치(101)로부터 프레임을 수신한 이후에 이에 대한 확인 응답(ACK)을 외부 장치로 전송할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 동작 1805에서 전자 장치(200)가 카메라 모듈(420)을 통하여 촬영한 현재 영상(1805)을 외부 장치로 전송할 수 있다.
일 실시 예에 따르면, 외부 장치(101)는 동작 1807에서 전자 장치로부터 수신한 촬영된 현재 영상에 대한 확인 응답(ACK)을 전자 장치(200)에 전송할 수 있다.
일 실시 예에 따르면, 외부 장치(101)는 동작 1809에서 렌더링된 현재 영상을 전자 장치(200)에 전송할 수 있다. 예를 들어, 렌더링된 현재 영상은 동작 1805에서 전자 장치(200)로부터 수신된 촬영된 현재 영상에 기반하여 생성된 영상을 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 동작 1811에서 외부 장치(101)로부터 수신한 렌더링된 현재 영상에 대한 확인 응답(ACK)을 외부 장치(101)로 전송할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 동작 1813에서 촬영된 이후 영상을 외부 장치(101)로 전송할 수 있다. 예를 들어, 촬영된 이후 영상은 촬영된 현재 영상을 전자 장치(200)의 디스플레이(210)에 표시 중에 촬영된 영상을 포함할 수 있다.
일 실시 예에 따르면, 외부 장치(101)는 동작 1815에서 전자 장치(200)로부터 수신한 촬영된 이후 영상에 대한 확인 응답(ACK)을 전자 장치(200)로 전송할 수 있다.
일 실시 예에 따르면, 외부 장치(101)는 동작 1817에서 렌더링된 이후 영상을 전자 장치(200)로 전송할 수 있다.
일 실시 예에 따르면 전자 장치(200)는 동작 1819에서 외부 장치(101)로부터 수신한 렌더링된 이후 영상에 대한 확인 응답(ACK)을 외부 장치(101)로 전송할 수 있다.
일 실시 예에 따르면 외부 장치(101)가 렌더링된 영상을 전자 장치(200)로 전송하고, 영상을 수신한 전자 장치(200)가 확인 응답(ACK) 및 촬영된 영상을 외부 장치(101)로 전송하고, 이를 수신한 외부 장치(101)가 확인 응답(ACK)을 전자 장치(200)로 전송하는 동작은, 전자 장치(200)가 60FPS(frame per second)를 지원하는 경우, 16.6ms가 경과하는 동안에 이루어질 수 있다. 다른 실시 예에서, 외부 장치(101)가 렌더링된 영상을 전자 장치(200)로 전송하고, 영상을 수신한 전자 장치(200)가 확인 응답(ACK) 및 촬영된 영상을 외부 장치(101)로 전송하고, 이를 수신한 외부 장치(101)가 확인 응답(ACK)을 전자 장치(200)로 전송하는 동작은 16.6ms 주기 이내에 이루어질 수 있다.
도 19는 일 실시 예에 따른 전자 장치(200)가 전자 장치(200)의 FOV 변화에 따라 외부 장치(101)와 영상을 송수신하는 동작을 나타낸다.
도 19를 참고하면, 외부 장치(101)는 렌더링된 영상 및 발생 가능한 FOV에 대응하여 생성된 적어도 하나의 영상 데이터를 전자 장치(200)에 전송하고, 이를 수신한 전자 장치(200)는 적어도 하나의 영상 데이터 중 어느 영상을 사용하였는지에 관한 확인 응답(ACK)을 외부 장치(101)에 전송할 수 있다.
일 실시 예에 따르면, 외부 장치(101)는 동작 1901에서 렌더링된 이전 영상을 외부 장치(101)에 전송할 수 있다. 예를 들면, 외부 장치(101)는 전자 장치(200)로부터 수신한 상태 정보 및 촬영 영상에 기반하여 발생 가능한 FOV에 대응하는 복수의 영상을 렌더링하고, 렌더링된 영상 데이터를 복수의 자원 블록에 매핑하여 프레임을 통해 전자 장치(200)에 송신할 수 있다. 예를 들어, 외부 장치(101)와 전자 장치(200)는 프레임(또는 패킷)에 포함된 복수의 자원 블록들은 하나의 기기에 대한 복수 개의 데이터를 매핑하는 방식으로 사용되도록 협의할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 동작 1903에서 외부 장치(101)로부터 수신한 프레임에 대한 확인 응답(ACK)을 외부 장치(101)에 전송할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 동작 1905에서 전자 장치(200)가 카메라 모듈(420)을 통하여 촬영한 현재 영상을 외부 장치(101)로 전송할 수 있다.
일 실시 예에 따르면, 외부 장치(101)는 동작 1907에서 전자 장치(200)로부터 수신한 확인 응답(ACK) 및 촬영된 현재 영상에 대한 확인 응답(ACK)을 전자 장치(200)에 전송할 수 있다.
일 실시 예에 따르면, 외부 장치(101)는 동작 1909에서 전자 장치(200)로부터 수신된 촬영된 현재 영상에 기반한 렌더링된 현재 영상, 발생 가능한 FOV에 기반하여 생성된 복수의 영상 데이터(예: A, B, C)를 포함한 프레임을 전자 장치(200)에 전송할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 동작 1911에서 외부 장치(101)로부터 수신한 렌더링된 현재 영상, 발생 가능한 FOV에 기반하여 생성된 복수의 영상 데이터(예: A, B, C)를 수신한 이후 영상 데이터 A를 사용한 사실에 관한 확인 응답(ACK)을 외부 장치(101)에 전송할 수 있다. 예를 들어, 전자 장치(200)는 렌더링된 현재 영상을 디스플레이(210)에 표시하고, 전자 장치(200)의 움직임에 기반하여 복수의 영상 데이터(예: A, B, C) 중 하나인 A를 선택하여 디코딩하여 디스플레이(210)에 표시하고, 영상 데이터 A를 사용한 사실에 관한 확인 응답(ACK)을 외부 장치(101)에 전송할 수 있다.
일 실시 예에 따르면, 외부 장치(101)는 동작 1913에서 렌더링된 촬영된 현재 영상 및 영상 데이터 A에 기반한 영상과 렌더링된 촬영된 현재 영상 및 영상 데이터 A에 기반한 영상을 기초로 발생 가능한 FOV에 기반하여 생성된 복수의 영상 데이터(예: W, X, Y, Z)를 포함한 프레임을 전자 장치(200)에 전송할 수 있다. 예를 들어, 외부 장치(101)는 전자 장치(200)가 영상 데이터 A를 표시함에 기반하여 전자 장치(200)의 사용자의 FOV를 예측할 수 있고, 사용자의 FOV(예: 현재 표시 영상)에 기반하여 복수의 영상 데이터(예: W, X, Y, Z)를 생성하여 전자 장치(200)로 전송할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 동작 1915에서 외부 장치(101)로부터 수신한 렌더링된 현재 영상 및 영상 데이터 A를 기초로 발생 가능한 FOV에 기반하여 생성된 복수의 영상 데이터(예: W, X, Y, Z)를 수신한 이후 영상 데이터 W를 사용한 사실에 관한 확인 응답(ACK)을 외부 장치(101)에 전송할 수 있다. 예를 들어, 전자 장치(200)는 렌더링된 현재 영상 및 영상 데이터 A를 디스플레이(210)에 표시하고, 전자 장치(200)의 움직임에 기반하여 복수의 영상 데이터(예: W, X, Y, Z) 중 하나인 W를 선택하여 디코딩하여 디스플레이(210)에 표시하고, 영상 데이터 W를 사용한 사실에 관한 확인 응답(ACK)을 외부 장치(101)에 전송할 수 있다.
일 실시 예에 따르면, 외부 장치(101)는 동작 1917에서 렌더링된 촬영된 현재 영상, 영상 데이터 A, 및 영상 데이터 W에 기반한 영상과 렌더링된 촬영된 현재 영상, 영상 데이터 A, 및 영상 데이터 W를 기초로 발생 가능한 FOV에 기반하여 생성된 복수의 영상 데이터(K, L, M, N)를 포함한 프레임을 전자 장치(200)에 전송할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 동작 1919에서 전자 장치(200)의 FOV의 변화가 크다고 판단되는 경우에 외부 장치(101)로 확인 응답(ACK)을 전송할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 동작 1921에서 FOV의 변화에 기초하여 선택된 촬영된 현재 영상을 외부 장치(101)에 전송할 수 있다. 예를 들어, 전자 장치(200)는 외부 장치(101)로부터 수신된 프레임에 포함된 영상 데이터를 사용할 수 없는 경우, 카메라 모듈(420)을 통해 촬영된 영상을 외부 장치(101)로 전송할 수 있다.
일 실시 예에 따르면, 외부 장치(101)는 동작 1923에서 전자 장치(200)로부터 수신한 FOV의 변화에 기초하여 선택된 촬영된 현재 영상에 대한 확인 응답(ACK)을 전자 장치(200)에 전송할 수 있다. 예를 들어, 외부 장치(101)는 전자 장치(200)로부터 수신된 FOV의 변화에 기초하여 선택된 촬영된 현재 영상에 기반한 렌더링된 영상 및 발생 가능한 FOV에 기반하여 생성된 복수의 영상 데이터를 생성할 수 있다.
도 20은 일 실시 예에 따른 외부 장치(101)의 송신부의 블록도이다.
도 20을 참고하면, 외부 장치(101)의 송신부는 전자 장치(200)로부터 수신한 영상을 렌더링하여 복수의 영상 데이터를 생성하여 전자 장치(200)로 전송할 수 있다.
일 실시 예에 따르면, N개의 프레임 인코더(frame encoder)(2001)는 복수의 영상을 인코딩하여 공간 및 주파수 매퍼(frequency mapper)(2003)에 전송할 수 있다.
일 실시 예에 따르면, 공간 및 주파수 매퍼(2003)는 N개의 프레임 인코더(2001)로부터 수신한 인코딩된 영상들을 IDFT(inverse discrete Fourier transform)(2005)로 전송할 수 있다.
일 실시 예에 따르면, IDFT(2005)는 공간 및 주파수 매퍼(2003)로부터 수신한 인코딩된 영상들을 시간 영역으로 변환하고, 변환된 영상들을 GI 삽입(guard interval insert) 및 윈도윙(windowing) 장치(2007)로 전송할 수 있다.
일 실시 예에 따르면, GI 삽입 및 윈도윙 장치(2007)는 시간 영역으로 변환된 영상들을 안테나(RF)(2009)로 전송할 수 있다.
도 21은 일 실시 예에 따른 전자 장치(200)가 하나의 자원 블록만 디코딩할 수 있는 경우를 나타낸다.
도 21을 참고하면, 외부 장치(101)로부터 프레임을 수신하는 전자 장치(200)가 하나의 자원 블록만 디코딩할 수 있는 구조인 경우에, 외부 장치(101)의 복수의 안테나(RF)(2101)는 수신된 영상 데이터를 이용하여 인코딩을 수행하여, 매핑된 자원 블록이 포함된 프레임을 전자 장치(200)에 전송할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 안테나(RF)(2101)를 통하여 수신한 영상 데이터를 프레임 셀렉터(frame selector)(2103)로 전송할 수 있다.
일 실시 예에 따르면, 프레임 셀렉터(2103)는 영상 데이터를 GI 리무버(2105)로 전송할 수 있다.
일 실시 예에 따르면, GI 리무버(guard interval remover)(2105)는 프레임 셀렉터(2103)로부터 수신한 영상 데이터를 DFT(discrete Fourier transform) (2107)로 전송할 수 있다.
일 실시 예에 따르면, DFT(2107)는 수신한 영상 데이터를 시간 영역으로 변환하고, 변환된 영상 데이터를 공간 및 주파수 디매퍼(space and frequency demapper)(2109)에 전송할 수 있다.
일 실시 예에 따르면, 공간 및 주파수 디매퍼(2109)는 영상 데이터를 프레임 디코더(decoder)(2111)에 전송할 수 있다.
일 실시 예에 따르면, 프레임 디코더(2111)는 수신한 프레임에 포함된 복수의 자원 블록에 매핑된 영상 데이터 중 하나를 선택하여 디코딩을 수행할 수 있다.
일 실시 예에 따르면, 전자 장치(200)가 외부 장치(101)로부터 프레임을 수신하는 전자 장치(200)가 하나의 자원 블록만 디코딩할 수 있는 구조인 경우, 외부 장치(101)는 복수의 자원 블록에 전자 장치(200)가 표시해야 할 영상 데이터(예: 현재 영상)과 예측 가능한 FOV에 대응해 생성된 영상 데이터를 포함하여 전송할 수 있다. 예를 들어, 외부 장치(101)는 현재 영상이 A, 예측 가능한 복수의 영상이 B, C, D 및 E인 경우, 제1 블록에는 A 및 B를 제2 블록에는 A 및 C를, 제3 블록에는 A 및 D를, 제4 블록에는 A 및 E를 포함하는 프레임을 전송할 수 있다. 전자 장치(200)는 외부 장치(101)로부터 수신한 프레임에 포함된 복수의 자원 블록 중 하나의 블록(예: 제1 블록)을 디코딩하여 현재 화면과 전자 장치(200)의 움직임에 기반한 예측 가능한 FOV에 대응하는 영상을 디스플레이(210)에 표시할 수 있다.
도 22는 일 실시 예에 따른 전자 장치(200)가 복수 개의 자원 블록을 디코딩할 수 있는 경우를 나타낸다.
도 22를 참고하면, 외부 장치(101)로부터 프레임을 수신하는 전자 장치(200)가 복수 개의 자원 블록을 디코딩할 수 있는 구조인 경우에, 외부 장치(101)의 송신부는 영상 데이터를 복수의 자원 블록에 매핑하고, 매핑된 복수의 자원 블록이 포함된 프레임을 전자 장치(200)에 전송할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 안테나(RF)(2201)를 통하여 수신한 영상 데이터를 적어도 하나 이상의 프레임 셀렉터(frame selector)(2203)로 전송할 수 있다.
일 실시 예에 따르면, 복수의 프레임 셀렉터(2203)는 영상 데이터를 GI 리무버(guard interval remover)(2205)로 전송할 수 있다.
일 실시 예에 따르면, GI 리무버(2205)는 프레임 셀렉터(2203)로부터 수신한 영상 데이터를 DFT(2207)로 전송할 수 있다.
일 실시 예에 따르면, DFT(2207)는 수신한 영상 데이터를 시간 영역으로 변환하고, 변환된 영상 데이터를 공간 및 주파수 디매퍼(2209)에 전송할 수 있다.
일 실시 예에 따르면, 공간 및 주파수 디매퍼(2209)는 영상 데이터를 적어도 하나 이상의 프레임 디코더(2211)(예: 제1 프레임 디코더 내지 제N 프레임 디코더)에 전송할 수 있다.
일 실시 예에 따르면, 적어도 하나 이상의 프레임 인코더(2211)는 수신한 프레임에 포함된 복수의 자원 블록에 매핑된 영상 데이터들을 선택하여 디코딩을 수행할 수 있다.
일 실시 예에 따르면, 전자 장치(200)가 외부 장치(101)로부터 프레임을 수신하는 전자 장치(200)가 복수의 자원 블록을 디코딩할 수 있는 구조인 경우, 외부 장치(101)는 복수의 자원 블록에 전자 장치(200)가 표시해야 할 영상 데이터(예: 현재 영상) 및 예측 가능한 FOV에 대응해 생성된 영상 데이터를 포함하여 전송할 수 있다. 예를 들어, 외부 장치(101)는 현재 영상이 A, 예측 가능한 복수의 영상이 B, C, D 및 E인 경우, 제1 블록에는 A를, 제2 블록에는 B를, 제3 블록에는 C를, 제4 블록에는 D를, 제5 블록에는 E를 포함하는 프레임을 전송할 수 있다. 전자 장치(200)는 외부 장치(101)로부터 수신한 프레임에 포함된 복수의 자원 블록 중 제1 블록을 디코딩하여 현재 화면을 디스플레이(210)에 표시하고, 전자 장치(200)의 움직임에 기반하여 다른 블록(예: 제2 내지 제5 블록)를 디코딩하여 예측 가능한 FOV에 대응하는 영상을 디스플레이(210)에 표시할 수 있다.
일 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(200))는, 디스플레이(예: 도 4의 디스플레이(210)), 통신 회로(예: 도 4의 통신 회로(440)), 적어도 하나의 센서(예: 도 4의 센서(460)), 명령어들이 저장되는 메모리(예: 도 4의 메모리(450)), 및 상기 통신 회로(예: 도 4의 통신 회로(440)), 상기 적어도 하나의 센서(예: 도 4의 센서(460)), 및 상기 메모리(예: 도 4의 메모리(450))와 전기적으로 연결된 적어도 하나의 프로세서(예: 도 4의 프로세서(410))를 포함하고, 상기 적어도 하나의 프로세서(예: 도 4의 프로세서(410))는 상기 저장된 명령어들의 실행 시, 상기 전자 장치(200)를 통해 제1 영상을 출력하고, 상기 통신 회로(예: 도 4의 통신 회로(440))를 통해 상기 전자 장치(예: 도 1의 전자 장치(200))와 지정된 네트워크(예: 도 1의 네트워크(10))를 통해 연결된 외부 장치(예: 도 1의 외부 장치(101))로부터, 독립적으로 디코딩이 가능한 복수 개의 자원 블록(resource block)들을 정의하는 프레임을 수신하고, 상기 적어도 하나의 센서를 이용하여 상기 전자 장치(예: 도 1의 전자 장치(200))의 상태 정보(status information)를 획득하고, 상기 복수 개의 자원 블록들 중 상기 획득된 상태 정보에 대응하는 자원 블록에 해당하는 영상 데이터를 디코딩하고, 상기 디코딩된 영상 데이터에 기반하여 상기 전자 장치(예: 도 1의 전자 장치(200))를 통해 제2 영상을 출력하도록 설정될 수 있다.
일 실시 예에서, 상기 지정된 네트워크(예: 도 1의 네트워크(10))는 IEEE 802.11ax 표준에 해당할 수 있다.
일 실시 예에서, 상기 적어도 하나의 센서(예: 도 4의 센서(460))는 가속도 센서, 자이로(gyro) 센서, 거리 감지 센서 또는 이미지 센서 중 적어도 하나를 포함할 수 있다.
일 실시 예에서, 상기 디스플레이(예: 도 4의 디스플레이(210))는 사용자의 시야를 차단하지 않기 위해 투과성 물질로 형성될 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서(예: 도 4의 프로세서(410))는 상기 저장된 명령어들의 실행 시, 지정된 조건을 만족하는 것에 응답하여, 상기 전자 장치의 상태 정보를 상기 외부 장치(예: 도 1의 외부 장치(101))로 송신할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서(예: 도 4의 프로세서(410))는 상기 저장된 명령어들의 실행 시, 상기 복수 개의 자원 블록들 중 상기 획득된 상태 정보에 대응하는 자원 블록이 존재하지 않는 경우 디코딩을 중단할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서(예: 도 4의 프로세서(410))는 상기 저장된 명령어들의 실행 시, 상기 디코딩하는데 사용한 상기 상태 정보에 관한 정보를 상기 외부 장치(예: 도 1의 외부 장치(101))로 전송하는 특징을 더 포함할 수 있다.
일 실시 예에서, 상기 디코딩된 영상 데이터는 상기 제1 영상에 대응되는 영상 데이터와 차이가 있는 영상 데이터만을 포함할 수 있다.
일 실시 예에서, 상기 프레임은 상기 복수 개의 자원 블록에 각각 대응하는 복수 개의 식별자(identifier)를 포함하고, 상기 전자 장치가 제1 모드인 경우, 상기 적어도 하나의 프로세서(예: 도 4의 프로세서(410))는 상기 저장된 명령어들의 실행 시 상기 복수 개의 식별자 중 상기 획득된 상태 정보에 대응되는 제1 식별자에 해당하는 상기 자원 블록을 디코딩하고, 상기 전자 장치가 상기 제1 모드와 다른 제2 모드인 경우, 상기 적어도 하나의 프로세서(예: 도 4의 프로세서(410))는 상기 복수 개의 식별자 중 상기 전자 장치의 식별 정보에 대응하는 제2 식별자에 해당하는 다른 자원 블록을 디코딩할 수 있다.
일 실시 예에서, 상기 전자 장치가 제1 모드일 때, 상기 적어도 하나의 프로세서(예: 도 4의 프로세서(410))는 상기 저장된 명령어들의 실행 시 순차적으로 디코딩이 요구되는 지정된 포맷의 프레임을 수신하면, 상기 지정된 포맷의 프레임의 적어도 일부에 대한 디코딩을 수행하지 않을 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법은, 상기 전자 장치를 통해 제1 영상을 출력하는 동작, 상기 전자 장치(예: 도 1의 전자 장치(200))의 통신 회로(예: 도 4의 통신 회로(440))를 통해 상기 전자 장치(예: 도 1의 전자 장치(200))와 지정된 네트워크(예: 도 1의 네트워크(10))를 통해 연결된 외부 장치(예: 도 1의 외부 장치(101))로부터, 독립적으로 디코딩이 가능한 복수 개의 자원 블록(resource block)들을 정의하는 프레임을 수신하는 동작, 상기 전자 장치(예: 도 1의 전자 장치(200))의 적어도 하나의 센서를 이용하여 상기 전자 장치(예: 도 1의 전자 장치(200))의 상태 정보(status information)를 획득하는 동작, 상기 복수 개의 자원 블록들 중 상기 획득된 상태 정보에 대응하는 제1 자원 블록에 해당하는 영상 데이터를 디코딩하는 동작, 상기 디코딩된 영상 데이터에 기반하여 상기 전자 장치(예: 도 1의 전자 장치(200))를 통해 제2 영상을 출력하는 동작을 포함할 수 있다.
일 실시 예에서, 지정된 조건을 만족하는 것에 응답하여 상기 전자 장치(예: 도 1의 전자 장치(200))의 상태 정보를 상기 외부 장치(예: 도 1의 외부 장치(101))로 송신하는 동작을 더 포함할 수 있다.
일 실시 예에서, 상기 복수 개의 자원 블록들 중 상기 획득된 상태 정보에 대응하는 자원 블록이 존재하지 않는 경우, 디코딩을 중단하는 동작을 더 포함할 수 있다.
일 실시 예에서, 상기 전자 장치(예: 도 1의 전자 장치(200))가 제1 모드인 경우, 상기 프레임에 포함되며 상기 복수 개의 자원 블록에 각각 대응하는 복수 개의 식별자 중 상기 획득된 상태 정보에 대응되는 제1 식별자에 해당하는 상기 자원 블록을 디코딩하는 동작, 상기 전자 장치(예: 도 1의 전자 장치(200))가 상기 제1 모드와 다른 제2 모드인 경우, 상기 복수 개의 식별자 중 상기 전자 장치(예: 도 1의 전자 장치(200))의 식별 정보에 대응하는 제2 식별자에 해당하는 다른 자원 블록을 디코딩하는 동작을 더 포함할 수 있다.
일 실시 예에서, 상기 전자 장치(예: 도 1의 전자 장치(200))가 제1 모드일 때, 상기 저장된 명령어들의 실행 시 순차적으로 디코딩이 요구되는 지정된 포맷의 프레임을 수신하면, 상기 지정된 포맷의 프레임의 적어도 일부에 대한 디코딩을 수행하지 않는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(200))는, 통신 회로(예: 도 4의 통신 회로(440)), 적어도 하나의 센서(예: 도 4의 센서(460)), 명령어들이 저장되는 메모리(예: 도 4의 메모리(450)), 및 상기 통신 회로(예: 도 4의 통신 회로(440)), 상기 적어도 하나의 센서(예: 도 4의 센서(460)), 및 상기 메모리와 전기적으로 연결된 적어도 하나의 프로세서(예: 도 4의 프로세서(410))를 포함하고, 상기 적어도 하나의 프로세서(예: 도 4의 프로세서(410))는 상기 저장된 명령어들의 실행 시, 상기 통신 회로(예: 도 4의 통신 회로(440))를 통해 지정된 네트워크(예: 도 1의 네트워크(10))를 통해 연결된 외부 장치(예: 도 1의 외부 장치(101))로부터, 독립적으로 디코딩이 가능한 복수 개의 자원 블록(resource block)들을 포함하는 프레임을 수신하고, 상기 적어도 하나의 센서(예: 도 4의 센서(460))를 이용하여 상기 전자 장치(예: 도 1의 전자 장치(200))의 상태 정보(status information)를 획득하고, 상기 복수 개의 자원 블록들 중 상기 획득된 상태 정보에 대응하는 자원 블록에 해당하는 데이터를 디코딩할 수 있다.
일 실시 예에서, 상기 전자 장치(예: 도 1의 전자 장치(200))는 머리 착용형 전자 장치(head mounted display (HMD) device)일 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서(예: 도 4의 프로세서(410))는 상기 저장된 명령어들의 실행 시, 지정된 조건을 만족하는 것에 응답하여, 자원 블록을 디코딩하기 위한 상기 전자 장치(예: 도 1의 전자 장치(200))의 상태 정보를 상기 외부 장치(예: 도 1의 외부 장치(101))로 송신할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서(예: 도 4의 프로세서(410))는 상기 저장된 명령어들의 실행 시, 상기 복수 개의 자원 블록들 중 상기 획득된 상태 정보에 대응하는 자원 블록이 존재하지 않는 경우 디코딩을 중단할 수 있다.
일 실시 예에서, 상기 적어도 하나의 프로세서(예: 도 4의 프로세서(410))는 상기 저장된 명령어들의 실행 시, 상기 데이터를 디코딩하는데 사용한 상기 상태 정보에 관한 정보를 상기 외부 장치(예: 도 1의 외부 장치(101))로 전송하는 특징을 더 포함할 수 있다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C," "A, B 및 C 중 적어도 하나", 및 " A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 외부 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 외부 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, "비일시적"은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이;
    통신 회로;
    적어도 하나의 센서;
    명령어들이 저장되는 메모리; 및
    상기 통신 회로, 상기 적어도 하나의 센서, 및 상기 메모리와 전기적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는 상기 저장된 명령어들의 실행 시:
    상기 디스플레이를 통해 제1 영상을 출력하고,
    상기 통신 회로를 통해 지정된 네트워크를 통해 연결된 외부 장치로부터, 독립적으로 디코딩이 가능한 복수 개의 자원 블록(resource block)들을 포함하는 프레임을 수신하고,
    상기 적어도 하나의 센서를 이용하여 상기 전자 장치의 상태 정보(status information)를 획득하고,
    상기 복수 개의 자원 블록들 중 상기 획득된 상태 정보에 대응하는 자원 블록에 해당하는 영상 데이터를 디코딩하고,
    상기 디코딩된 영상 데이터에 기반하여 상기 디스플레이를 통해 제2 영상을 출력하도록 설정되는, 전자 장치.
  2. 청구항 1에 있어서,
    상기 전자 장치는 머리 착용형 전자 장치(head mounted display (HMD) device)인 전자 장치.
  3. 청구항 1에 있어서,
    상기 적어도 하나의 센서는 가속도 센서, 자이로(gyro) 센서, 거리 감지 센서 또는 이미지 센서 중 적어도 하나를 포함하는, 전자 장치.
  4. 청구항 2에 있어서,
    상기 디스플레이는 사용자의 시야를 차단하지 않기 위해 투과성 물질로 형성된, 전자 장치.
  5. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는 상기 저장된 명령어들의 실행 시:
    지정된 조건을 만족하는 것에 응답하여, 자원 블록을 디코딩하기 위한 상기 전자 장치의 상태 정보를 상기 외부 장치로 송신하는, 전자 장치.
  6. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는 상기 저장된 명령어들의 실행 시:
    상기 복수 개의 자원 블록들 중 상기 획득된 상태 정보에 대응하는 자원 블록이 존재하지 않는 경우 디코딩을 중단하는, 전자 장치.
  7. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는 상기 저장된 명령어들의 실행 시:
    상기 영상 데이터를 디코딩하는데 사용한 상기 상태 정보에 관한 정보를 상기 외부 장치로 전송하는 특징을 더 포함하는, 전자 장치.
  8. 청구항 1에 있어서,
    상기 디코딩된 영상 데이터는 상기 제1 영상에 대응되는 영상 데이터와 차이가 있는 영상 데이터만을 포함하는, 전자 장치.
  9. 청구항 1에 있어서,
    상기 프레임은 상기 복수 개의 자원 블록에 각각 대응하는 복수 개의 식별자(identifier)를 포함하고,
    상기 전자 장치가 제1 모드인 경우, 상기 적어도 하나의 프로세서는 상기 복수 개의 식별자 중 상기 전자 장치의 식별 정보에 대응하는 제1 식별자에 해당하는 다른 자원 블록을 디코딩하고,
    상기 전자 장치가 상기 제1 모드와 다른 제2 모드인 경우, 상기 적어도 하나의 프로세서는 상기 저장된 명령어들의 실행 시 상기 복수 개의 식별자 중 상기 획득된 상태 정보에 대응되는 제2 식별자에 해당하는 상기 자원 블록을 디코딩하는, 전자 장치.
  10. 청구항 9에 있어서,
    상기 전자 장치가 상기 제2 모드일 때, 상기 적어도 하나의 프로세서는 상기 저장된 명령어들의 실행 시 순차적으로 디코딩이 요구되는 지정된 포맷의 프레임을 수신하면, 상기 지정된 포맷의 프레임의 적어도 일부에 대한 디코딩을 수행하지 않는, 전자 장치.
  11. 전자 장치의 동작 방법에 있어서,
    상기 전자 장치를 통해 제1 영상을 출력하는 동작,
    상기 전자 장치의 통신 회로를 통해 상기 전자 장치와 지정된 네트워크를 통해 연결된 외부 장치로부터, 독립적으로 디코딩이 가능한 복수 개의 자원 블록(resource block)들을 정의하는 프레임을 수신하는 동작,
    상기 전자 장치의 적어도 하나의 센서를 이용하여 상기 전자 장치의 상태 정보(status information)를 획득하는 동작,
    상기 복수 개의 자원 블록들 중 상기 획득된 상태 정보에 대응하는 제1 자원 블록에 해당하는 영상 데이터를 디코딩하는 동작,
    상기 디코딩된 영상 데이터에 기반하여 상기 전자 장치를 통해 제2 영상을 출력하는 동작을 포함하는, 전자 장치의 동작 방법.
  12. 청구항 11에 있어서,
    지정된 조건을 만족하는 것에 응답하여 자원 블록을 디코딩하기 위한 상기 전자 장치의 상태 정보를 상기 외부 장치로 송신하는 동작을 더 포함하는, 전자 장치의 동작 방법.
  13. 청구항 11에 있어서,
    상기 복수 개의 자원 블록들 중 상기 획득된 상태 정보에 대응하는 자원 블록이 존재하지 않는 경우, 디코딩을 중단하는 동작을 더 포함하는, 전자 장치의 동작 방법.
  14. 청구항 11에 있어서,
    상기 전자 장치가 제1 모드인 경우, 상기 복수 개의 식별자 중 상기 전자 장치의 식별 정보에 대응하는 제1 식별자에 해당하는 다른 자원 블록을 디코딩하는 동작,
    상기 전자 장치가 상기 제1 모드와 다른 제2 모드인 경우, 상기 프레임에 포함되며 상기 복수 개의 자원 블록에 각각 대응하는 복수 개의 식별자 중 상기 획득된 상태 정보에 대응되는 제2 식별자에 해당하는 상기 자원 블록을 디코딩하는 동작을 더 포함하는, 전자 장치의 동작 방법.
  15. 청구항 14에 있어서,
    상기 전자 장치가 상기 제2 모드일 때, 상기 저장된 명령어들의 실행 시 순차적으로 디코딩이 요구되는 지정된 포맷의 프레임을 수신하면, 상기 지정된 포맷의 프레임의 적어도 일부에 대한 디코딩을 수행하지 않는 동작을 포함하는, 전자 장치의 동작 방법.
PCT/KR2021/008141 2020-07-06 2021-06-29 전자 장치에서 무선 통신 효율을 개선하기 위한 방법 및 그 장치 WO2022010153A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0082911 2020-07-06
KR1020200082911A KR20220005274A (ko) 2020-07-06 2020-07-06 전자 장치에서 무선 통신 효율을 개선하기 위한 방법 및 그 장치

Publications (1)

Publication Number Publication Date
WO2022010153A1 true WO2022010153A1 (ko) 2022-01-13

Family

ID=79342040

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/008141 WO2022010153A1 (ko) 2020-07-06 2021-06-29 전자 장치에서 무선 통신 효율을 개선하기 위한 방법 및 그 장치

Country Status (2)

Country Link
KR (1) KR20220005274A (ko)
WO (1) WO2022010153A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140043358A1 (en) * 2012-08-07 2014-02-13 Intel Corporation Media encoding using changed regions
KR20150042145A (ko) * 2012-04-16 2015-04-20 텔레포나크티에볼라게트 엘엠 에릭슨(피유비엘) 압축 화상 시퀀스를 위해 병렬 프로세싱 가능성을 나타내는 고정 타일 구조 플래그
KR20180032089A (ko) * 2016-09-21 2018-03-29 삼성전자주식회사 이미지를 표시하는 전자 장치 및 그 제어 방법
KR101852680B1 (ko) * 2016-08-01 2018-04-26 연세대학교 산학협력단 증강현실 또는 혼합현실의 구현이 가능한 머리 장착형 디스플레이 장치 및 방법
KR20200056658A (ko) * 2018-11-15 2020-05-25 서울과학기술대학교 산학협력단 클라우드 기반의 가상현실 서비스를 위한 버퍼 관리 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150042145A (ko) * 2012-04-16 2015-04-20 텔레포나크티에볼라게트 엘엠 에릭슨(피유비엘) 압축 화상 시퀀스를 위해 병렬 프로세싱 가능성을 나타내는 고정 타일 구조 플래그
US20140043358A1 (en) * 2012-08-07 2014-02-13 Intel Corporation Media encoding using changed regions
KR101852680B1 (ko) * 2016-08-01 2018-04-26 연세대학교 산학협력단 증강현실 또는 혼합현실의 구현이 가능한 머리 장착형 디스플레이 장치 및 방법
KR20180032089A (ko) * 2016-09-21 2018-03-29 삼성전자주식회사 이미지를 표시하는 전자 장치 및 그 제어 방법
KR20200056658A (ko) * 2018-11-15 2020-05-25 서울과학기술대학교 산학협력단 클라우드 기반의 가상현실 서비스를 위한 버퍼 관리 방법 및 장치

Also Published As

Publication number Publication date
KR20220005274A (ko) 2022-01-13

Similar Documents

Publication Publication Date Title
WO2018131977A1 (en) Method and device for obtaining real time status and controlling of transmitting devices
WO2018044073A1 (en) Image streaming method and electronic device for supporting the same
WO2015034163A1 (en) Method of providing notification and electronic device thereof
WO2016039576A2 (ko) 무선 통신 시스템에서 다중 망 접속을 위한 장치 및 방법
WO2017022931A1 (ko) 이동단말기 및 그 제어방법
WO2021085850A1 (en) Electronic device sharing peripheral device with external electronic device and method thereof
WO2020067639A1 (en) Electronic device for pairing with stylus pen and method thereof
WO2021049827A1 (ko) 외부 전자 장치의 위치를 결정하기 위한 전자 장치 및 그 방법
WO2021085902A1 (ko) 복수의 어플리케이션들의 오디오 데이터를 출력하는 전자 장치 및 그 동작 방법
WO2015057013A1 (ko) 휴대용 장치가 웨어러블 장치를 통하여 정보를 표시하는 방법 및 그 장치
WO2016208992A1 (en) Electronic device and method for controlling display of panorama image
WO2020050473A1 (ko) Uwb 네트워크에서 프리앰블을 적응적으로 제어하기 위한 장치 및 방법
WO2017022872A1 (ko) 헤드 마운티드 디스플레이 및 그 제어방법
WO2016072721A1 (en) Method of transmitting and receiving data of electronic device and electronic device using the method
EP3931679A1 (en) Electronic device, method, and computer readable medium for providing screen sharing service through external electronic device
WO2017142207A1 (en) Electronic device including a plurality of cameras and operating method thereof
WO2020080675A1 (en) Remote control apparatus and control method thereof
WO2022014834A1 (ko) 전자 장치 및 전자 장치에서 이미지 전송 방법
WO2021187713A1 (ko) 통신 수행 방법 및 장치
WO2021002674A1 (en) Method for adjusting length of golay sequence for object recognition and electronic device therefor
WO2021033961A1 (en) Electronic device and method for providing service by electronic device
WO2020149722A1 (en) Working environment provisioning method and apparatus for execution of application program between electronic device and external server
WO2022010153A1 (ko) 전자 장치에서 무선 통신 효율을 개선하기 위한 방법 및 그 장치
WO2020050642A1 (en) Electronic device and method for controlling communication mode thereof
WO2016085038A1 (ko) 이동 단말기 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21836794

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21836794

Country of ref document: EP

Kind code of ref document: A1