WO2021235829A1 - 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치 - Google Patents

엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치 Download PDF

Info

Publication number
WO2021235829A1
WO2021235829A1 PCT/KR2021/006214 KR2021006214W WO2021235829A1 WO 2021235829 A1 WO2021235829 A1 WO 2021235829A1 KR 2021006214 W KR2021006214 W KR 2021006214W WO 2021235829 A1 WO2021235829 A1 WO 2021235829A1
Authority
WO
WIPO (PCT)
Prior art keywords
partial image
threshold value
rotation speed
information
size
Prior art date
Application number
PCT/KR2021/006214
Other languages
English (en)
French (fr)
Inventor
김은지
김관모
김지원
이보영
이재홍
오준섭
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200121793A external-priority patent/KR20210142520A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN202180036437.9A priority Critical patent/CN115668953A/zh
Priority to EP21808088.5A priority patent/EP4142292A4/en
Publication of WO2021235829A1 publication Critical patent/WO2021235829A1/ko
Priority to US17/990,319 priority patent/US20230079171A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • the present disclosure relates to a method and apparatus for transmitting image content using an edge computing service (eg, a multi-access edge computing (MEC) service).
  • an edge computing service eg, a multi-access edge computing (MEC) service.
  • MEC multi-access edge computing
  • Edge computing technology may include, for example, multi-access edge computing (MEC) or fog computing (FOC).
  • MEC multi-access edge computing
  • FOC fog computing
  • Edge computing technology provides data to an electronic device through a location geographically close to the electronic device, for example, a separate server installed inside or near the base station (hereinafter referred to as 'edge data network' or 'MEC server') It can mean the skill to For example, an application requiring low latency among at least one application installed in the electronic device is located in a geographically close location without going through a server located in an external data network (DN) (eg, the Internet). Data can be sent and received through the installed edge server.
  • DN external data network
  • 'MEC-based services' services using edge computing technology
  • 'MEC services' services using edge computing technology
  • an application of the electronic device may transmit/receive edge computing-based data to and from an edge server (or an application of the edge server) on an application layer.
  • the present disclosure relates to a method and apparatus for transmitting image content using an edge computing service.
  • an edge data network to transmit image content to an electronic device and an edge data network for providing image content to an electronic device are provided.
  • the present disclosure provides a method for an electronic device to receive image content from an edge data network, and an electronic device for receiving image content from an edge data network.
  • a method for an edge data network to transmit image content may include: acquiring sensor information including direction information sensed from an electronic device connected to the edge data network; obtaining state information including network state information between the edge data network and the electronic device; identifying a size and a position of a first partial image based on the sensor information and the state information; generating a first frame by encoding a first partial image based on the identified size and position of the first partial image; and transmitting the generated first frame to the electronic device.
  • the sensor information further includes rotation speed information
  • the status information further includes connection device status information
  • the method further includes identifying a number, wherein the encoding of the first partial image to generate a first frame comprises: a size, a position, a bitrate, and a predetermined number of frames per time of the identified first partial image.
  • a first frame may be generated by encoding the first partial image based on at least one of
  • the first partial image may be a partial image in the first VR image having a predetermined frame index of a VR sequence including a plurality of frames, and the first partial image may be related to azimuth information indicating a position of the partial image.
  • a value of at least one state parameter related to at least one of a state of at least one network included in the state information, a state of the edge data network, and a state of the electronic device is less than or equal to at least one first threshold value case
  • a size of the first partial image corresponding to the at least one state parameter that is less than or equal to the first threshold value is greater than a size of the first partial image corresponding to the at least one state parameter that is greater than the second threshold value.
  • the predetermined number of frames per time of the first partial image corresponding to the at least one state parameter greater than or equal to the first threshold value is greater than or equal to the first threshold value, and the number of frames per time corresponding to the at least one state parameter is greater than the second threshold value. It may be smaller than the predetermined number of frames per time of one partial image.
  • a value of at least one state parameter related to at least one of a state of at least one network included in the state information, a state of the edge data network, and a state of the electronic device is less than or equal to at least one first threshold value
  • a size of the first partial image corresponding to the at least one state parameter that is less than or equal to the first threshold value, a predetermined number of frames per time of the first partial image, and a bit rate of the first partial image are identified. to do;
  • the size of the first partial image corresponding to the at least one state parameter greater than the second threshold the at least one of a predetermined number of frames per time of the first partial image and the step of identifying a bit rate of the first partial image
  • a size of the first partial image corresponding to the at least one state parameter that is less than or equal to the first threshold value is greater than a size of the first partial image corresponding to the at least one state parameter that is greater than the second threshold value.
  • the predetermined number of frames per time of the first partial image corresponding to the state parameter greater than or equal to the first threshold value is greater than the predetermined number of frames per time of the first partial image corresponding to the at least one state parameter greater than the second threshold value. less than the number of frames per hour,
  • a bitrate of the first partial image corresponding to at least one state parameter less than or equal to the first threshold value is higher than a bitrate of the first partial image corresponding to at least one state parameter greater than the second threshold value.
  • a size of the first partial image corresponding to a rotation speed greater than the first threshold value may be greater than a size of the first partial image corresponding to a rotation speed equal to or smaller than the second threshold value.
  • the size of the first partial image corresponding to the rotation speed greater than the first threshold value is greater than the size of the first partial image corresponding to the rotation speed less than or equal to the second threshold value, and is larger than the first threshold value
  • the number of frames per time of the first partial image corresponding to the rotation speed may be less than or less than the number of frames per time of the first partial image corresponding to the same rotation speed as the second threshold value.
  • the size of the first partial image corresponding to the rotation speed greater than the first threshold value is greater than the size of the first partial image corresponding to the rotation speed less than or equal to the second threshold value, and is larger than the first threshold value
  • the predetermined number of frames per time of the first partial image corresponding to the rotation speed is less than the predetermined number of frames per time of the first partial image corresponding to the rotation speed equal to or less than the second threshold value, and is less than the first threshold value
  • the bit rate of the first partial image corresponding to the large rotation speed may be less than or smaller than the bit rate of the first partial image corresponding to the same rotation speed as the second threshold value.
  • the first partial image may include a user viewing angle image corresponding to the azimuth information and an extra viewing angle image corresponding to a predetermined number of frames per time.
  • the first partial image may include a user viewing angle image corresponding to the azimuth information and an extra viewing angle image corresponding to at least one of a rotation speed and a rotation direction of the rotation speed information.
  • the first partial image may include a user viewing angle image corresponding to the azimuth information and an extra viewing angle image identified based on at least one of a rotation speed and a rotation direction of the rotation speed information and a predetermined number of frames per time.
  • the extra viewing angle image includes a first extra viewing angle image positioned in the rotation direction with respect to the viewing angle image and a second extra viewing angle image positioned in a direction opposite to the rotation direction,
  • the first extra viewing angle image may be larger than the second extra viewing angle image.
  • the first partial image is composed of data units of a predetermined viewing angle range
  • the step of encoding the first partial image to generate a first frame includes:
  • the method may include generating the first frame including the encoded first data unit and the second data unit.
  • a value of at least one state parameter related to at least one of the state of at least one network, the state of the edge data network, and the state of the electronic device included in the state information is less than or equal to at least one first threshold value , when the rotation speed of the rotation speed information is greater than a third threshold value,
  • a predetermined number of frames per time and a bit rate of the first partial image corresponding to at least one state parameter greater than the second threshold value are identified, and at a rotation speed less than or equal to the fourth threshold value.
  • the number of frames per time of the first partial image corresponding to at least one state parameter that is less than or equal to the first threshold value is greater than the second threshold value. Frames per hour of the first partial image corresponding to one state parameter is also greater than the second threshold value.
  • the bit rate of the first partial image corresponding to at least one state parameter less than the number and less than or equal to the first threshold value is the bit rate of the first partial image corresponding to the at least one state parameter greater than the second threshold value.
  • the size of the first partial image corresponding to the rotation speed smaller than the rate and greater than the third threshold value is greater than the size of the first partial image corresponding to the rotation speed smaller than or equal to the fourth threshold value,
  • the first partial image includes a viewing angle image corresponding to the azimuth information and an extra viewing angle image corresponding to the rotation speed
  • the extra viewing angle image may acquire an extra viewing angle preset in a LUT form (Look Up Table) based on the rotation speed, and may be identified based on the obtained viewing angle.
  • LUT form Look Up Table
  • an edge data network for transmitting image content to an electronic device includes:
  • a memory storing one or more instructions
  • the processor by executing one or more instructions,
  • a first partial image is encoded to generate a first frame, and the generated first frame is transmitted to the electronic device.
  • the sensor information further includes rotation speed information
  • the status information further includes connection device status information,
  • the processor further identifies a bit rate or a predetermined number of frames per time of the first partial image based on the sensor information and the state information by executing one or more instructions,
  • the first partial image is generated based on at least one of a size, a position, a bit rate, and a predetermined number of frames per time of the identified first partial image.
  • a first frame may be generated by encoding the image.
  • a value of at least one state parameter related to at least one of a state of at least one network included in the state information, a state of the edge data network, and a state of the electronic device is less than or equal to at least one first threshold value case
  • the size of the first partial image corresponding to the at least one state parameter greater than the second threshold value and the second threshold value identifying a predetermined number of frames per time of one partial image; and a size of the first partial image corresponding to at least one state parameter less than or equal to the first threshold value corresponds to at least one state parameter greater than the second threshold value.
  • the predetermined number of frames per time of the first partial image corresponding to at least one state parameter greater than the size of the first partial image and less than or equal to the first threshold value is at least one state parameter greater than the second threshold value. may be smaller than the predetermined number of frames per time of the first partial image corresponding to .
  • a value of at least one state parameter related to at least one of a state of at least one network included in the state information, a state of the edge data network, and a state of the electronic device is less than or equal to at least one first threshold value case, identifying a size of the first partial image, a predetermined number of frames per time, and a bit rate corresponding to at least one state parameter that is less than or equal to the first threshold value;
  • the size of the first partial image corresponding to the at least one state parameter greater than the second threshold value and the second threshold value performing at least one operation among the operations of identifying a predetermined number of frames per time of one partial image
  • the size of the first partial image corresponding to at least one state parameter less than or equal to the first threshold value is greater than the size of the first partial image corresponding to at least one state parameter greater than the second threshold value;
  • the predetermined number of frames per time of the first partial image corresponding to the at least one state parameter less than or equal to the first threshold value is the predetermined number of frames per time of the first partial image corresponding to the at least one state parameter greater than the second threshold value.
  • a bit rate corresponding to the at least one state parameter less than the number of frames per time and less than or equal to the first threshold value is a first value corresponding to the at least one state parameter greater than the second threshold value less than the second threshold value. It may be larger than the predetermined number of frames per time of one partial image.
  • the size of the first partial image corresponding to the rotation speed greater than the first threshold is
  • the size of the first partial image corresponding to the rotation speed equal to or smaller than the second threshold value may be larger.
  • the size of the first partial image corresponding to the rotation speed greater than the first threshold value is greater than the size of the first partial image corresponding to the rotation speed less than or equal to the second threshold value, and is greater than the first threshold value.
  • the predetermined number of frames per time of the first partial image corresponding to the large rotation speed is less than the predetermined number of frames per time of the first partial image corresponding to the rotation speed equal to or less than the second threshold value, the first threshold value
  • the bit rate corresponding to the higher rotation speed may be greater than a predetermined number of frames per time of the first partial image corresponding to the rotation speed equal to or smaller than the second threshold value.
  • the first partial image may include a user's viewing angle image corresponding to the azimuth information and an extra viewing angle image corresponding to a predetermined number of frames per time.
  • a computer-readable recording medium recording a program is
  • obtaining sensor information including direction information sensed from an electronic device connected to the edge data network;
  • state information including network state information between the edge data network and the electronic device
  • the disclosed embodiment provides a method for effectively performing an operation between an edge data network and an electronic device based on image content.
  • FIG. 1 is a diagram schematically illustrating a multi-access edge computing (MEC) technology in a network environment according to an embodiment of the present disclosure.
  • MEC multi-access edge computing
  • FIG. 2 is an extended field of view (Fov) including an extra viewing angle image in consideration of a user's viewpoint (viewing direction), a state parameter, and a rotation speed of the edge data network 2000 according to an embodiment of the present disclosure; of View) is a diagram for explaining a method of adaptively streaming an image.
  • Fov extended field of view
  • FIG. 3 is a flowchart illustrating an operation procedure between an electronic device and an edge data network according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram schematically illustrating an operation procedure between an electronic device and an edge data network.
  • 5A is a flowchart illustrating a method of streaming video content by an edge data network according to an embodiment of the present disclosure.
  • FIG. 5B is a diagram for describing in detail a method for the edge data network 2000 to identify an encoding frame parameter of a first partial image based on state information according to an embodiment of the present disclosure.
  • FIG. 5C is a diagram for describing in detail a method for the edge data network 2000 to identify an encoding frame parameter of a first partial image based on rotation speed information according to an embodiment of the present disclosure.
  • FIG. 5D is a diagram for describing in detail a method for the edge data network 2000 to identify an encoding frame parameter of a first partial image based on state information and rotation speed information according to an embodiment of the present disclosure.
  • FIG. 6 is a flowchart illustrating a method for an electronic device to stream image content obtained from an edge data network according to an embodiment of the present disclosure.
  • FIG. 7 is a flowchart illustrating an operation procedure between an electronic device and an edge data network according to an embodiment of the present disclosure
  • FIG. 8A is a diagram for describing a process in which the edge data network 2000 streams a first partial image when at least one state parameter is greater than a first threshold, according to an embodiment.
  • FIG. 8B is a diagram for describing a process in which the edge data network 2000 streams a first partial image when at least one state parameter is less than or equal to a first threshold, according to an embodiment.
  • FIG. 8C is a diagram for explaining a process of adaptively changing, by the edge data network 2000, an encoding frame parameter when at least one state parameter is less than or equal to a first threshold value, according to an embodiment.
  • FIG. 8D is a diagram illustrating parameters of a streamed encoded frame when a state parameter is greater than, less than or equal to a first threshold, according to an embodiment.
  • FIG. 9 is a flowchart illustrating an operation procedure between an electronic device and an edge data network according to an embodiment of the present disclosure.
  • 10A is a diagram for explaining a process in which the edge data network 2000 streams a first partial image when the rotation speed of the electronic device 1000 worn by the user is less than or equal to a first threshold, according to an embodiment; It is a drawing.
  • FIG. 10B is a diagram for explaining a process in which the edge data network 2000 streams a first partial image when the rotation speed of the electronic device 1040 worn on the user's head is greater than a first threshold value, according to an embodiment; It is a drawing.
  • FIG. 11 is a diagram for explaining a process of identifying the left and right viewing angles of an encoded frame when the edge data network 2000 has a first value (fast speed) according to an embodiment.
  • the rotation speed of the edge data network 2000 is a second value (slow speed), according to an embodiment. It is a diagram for explaining a process of identifying left and right viewing angles.
  • FIG. 13 illustrates a process of identifying left and right viewing angles after the edge data network 2000 sets the FPS low when the rotation speed of the edge data network 2000 is a first value (fast speed), according to an embodiment
  • FIG. 14 is a diagram for explaining a process in which the edge data network 2000 identifies an additional extra viewing angle area based on object detection, according to an embodiment.
  • 15 is a diagram for describing a process in which the edge data network 2000 transmits a first partial image to the electronic device 1000 based on several pieces of data units, according to an embodiment.
  • 16 is a diagram schematically illustrating an operation procedure between an electronic device, an edge data network, and a VR gaming interface device.
  • 17 is a block diagram of an electronic device according to an embodiment of the present disclosure.
  • each block of the flowchart diagrams and combinations of the flowchart diagrams may be performed by computer program instructions.
  • These computer program instructions may be embodied in a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, such that the instructions performed by the processor of the computer or other programmable data processing equipment are not described in the flowchart block(s). It creates a means to perform functions.
  • These computer program instructions may also be stored in a computer-usable or computer-readable memory that may direct a computer or other programmable data processing equipment to implement a function in a particular manner, and thus the computer-usable or computer-readable memory.
  • the instructions stored in the flowchart block(s) produce an article of manufacture containing instruction means for performing the function described in the flowchart block(s).
  • the computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to create a computer or other programmable data processing equipment. It is also possible that instructions for performing the processing equipment provide steps for performing the functions described in the flowchart block(s).
  • each block may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s). It should also be noted that in some alternative implementations it is also possible for the functions recited in blocks to occur out of order. For example, two blocks shown one after another may in fact be performed substantially simultaneously, or it is possible that the blocks are sometimes performed in the reverse order according to the corresponding function.
  • ' ⁇ unit' used in this embodiment means software or hardware components such as FPGA or ASIC, and ' ⁇ unit' performs certain roles.
  • ' ⁇ part' is not limited to software or hardware.
  • ' ⁇ ' may be configured to reside on an addressable storage medium or may be configured to refresh one or more processors.
  • ' ⁇ ' denotes components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.
  • components and ' ⁇ units' may be combined into a smaller number of components and ' ⁇ units' or further separated into additional components and ' ⁇ units'.
  • components and ' ⁇ units' may be implemented to play one or more CPUs in a device or secure multimedia card.
  • ' ⁇ part' may include one or more processors.
  • FIG. 1 is a diagram schematically illustrating a multi-access edge computing (MEC) technology in a network environment according to an embodiment of the present disclosure.
  • MEC multi-access edge computing
  • the network environment 100 of the present disclosure may include an electronic device 1000 , an edge data network 2000 , a cloud server 3000 , and an access network (AN, 1100 ).
  • the configuration included in the network environment 100 is not limited thereto.
  • each of the components included in the network environment 100 may mean a physical entity unit or a software or module unit capable of performing an individual function.
  • the electronic device 1000 may mean a device used by a user.
  • the electronic device 1000 may include a terminal, a user equipment (UE), a mobile station, a subscriber station, a remote terminal, and a wireless terminal. , or a user device.
  • UE user equipment
  • the electronic device 1000 may include a terminal, a user equipment (UE), a mobile station, a subscriber station, a remote terminal, and a wireless terminal. , or a user device.
  • the electronic device 1000 allows the user to be immersed in a virtual environment including at least one of virtual reality (VR), augmented reality (AR), and mixed reality (MR). In order to do this, it may be a terminal that provides content. That is, according to an embodiment, the electronic device 1000 is a head mounted display (HMD) or a virtual reality headset (VRH) that provides content for virtual reality, augmented reality, or mixed reality.
  • VR virtual reality
  • AR augmented reality
  • MR mixed reality
  • the electronic device 1000 is a head mounted display (HMD) or a virtual reality headset (VRH) that provides content for virtual reality, augmented reality, or mixed reality.
  • HMD head mounted display
  • VRH virtual reality headset
  • the electronic device 1000 includes a first application client (or application client) 122 , a second application client 124 , and an edge enabler client (or MEL (MEC)). enabling layer) 130 .
  • the electronic device 1000 may perform a necessary operation using the edge enabler client 130 to use the MEC service. A detailed description of the edge enabler client 130 will be described later.
  • the electronic device 1000 may execute a plurality of applications.
  • the electronic device 1000 may execute the first application client 122 and the second application client 124 .
  • a plurality of applications may include a required data transmission rate, delay time (or latency), reliability, the number of electronic devices accessed to the network, a network access period of the electronic device 1000 , or average data.
  • Different network services may be required based on at least one of usage.
  • the different network services may include, for example, enhanced mobile broadband (eMBB), ultra-reliable and low latency communication (URLLC), or massive machine type communication (mMTC).
  • eMBB enhanced mobile broadband
  • URLLC ultra-reliable and low latency communication
  • mMTC massive machine type communication
  • the application client of the electronic device 1000 may refer to a basic application pre-installed in the electronic device 1000 or an application provided by a third party. That is, it may mean a client application program that is run in the electronic device 1000 for a specific application service. Several application clients may be driven in the electronic device 1000 . At least one of these application clients may use a service provided from the edge data network 2000 .
  • the application client is an application installed and executed in the electronic device 1000 , and may provide a function of transmitting and receiving data through the edge data network 2000 .
  • the application client of the electronic device 1000 may refer to application software executed on the electronic device 1000 to use a function provided by one or more specific edge applications.
  • the plurality of applications 122 and 124 of the electronic device 1000 perform data transmission with the cloud server 3000 or with the edge data network 2000 based on a required network service type.
  • Data transmission based on edge computing can be performed. For example, if the first application client 122 does not request a low delay time, the first application client 122 may perform data transmission with the cloud server 3000 .
  • the second application client 124 requests a low latency, the second application client 124 may perform MEC-based data transmission with the edge data network 2000 .
  • an application of the electronic device 1000 may be referred to as an application client, a client application, or a UE application.
  • an application of the electronic device 1000 is referred to as an application client.
  • the access network 1100 may provide a channel for wireless communication with the electronic device 1000 .
  • the access network 1100 may include a radio access network (RAN), a base station, an inode ratio (eNB, eNodeB), a 5G node (5G node), a transmission/reception point (TRP, transmission/reception point), or It may mean 5th generation NodeB (5GNB).
  • RAN radio access network
  • eNB inode ratio
  • 5G node 5G node
  • TRP transmission/reception point
  • It may mean 5th generation NodeB (5GNB).
  • the edge data network 2000 may refer to a server to which the electronic device 1000 accesses to use the MEC service.
  • the edge data network 2000 may be installed in a location geographically close to the electronic device, for example, inside or near the base station.
  • the edge data network 2000 may transmit/receive data to and from the electronic device 1000 without using an external data network (DN) (eg, the Internet).
  • DN external data network
  • MEC may be referred to as multi-access edge computing or mobile-edge computing.
  • the edge data network 2000 may include an MEC host, an edge computing server, a mobile edge host, an edge computing platform, an MEC server, and the like. may be referred to as
  • the MEC server is referred to as an edge data network 2000 in the present disclosure.
  • the edge data network 2000 includes a first edge application 142 , a second edge application 144 , and an edge enabler server (or MEP (MEC platform)) 146 . ) may be included.
  • the edge enabler server 146 is a configuration that provides an MEC service or performs traffic control in the edge data network 2000 , and a detailed description of the edge enabler server 146 will be described later.
  • the edge data network 2000 may execute a plurality of applications.
  • the edge data network 2000 may execute a first edge application 142 and a second edge application 144 .
  • the edge application may mean an application application provided by a third party in an edge data network that provides an MEC service, and may also be referred to as an edge application.
  • the edge application may be used to establish a data session with the application client in order to send and receive data related to the application client. That is, an edge application can establish a data session with an application client.
  • the data session may refer to a communication path formed in order to transmit and receive data between an application client of the electronic device 1000 and an edge application of the edge data network 2000 .
  • the application of the edge data network 2000 may be referred to as an MEC application (MEC App), an ME (MEC) App, an edge application server, and an edge application.
  • MEC App MEC application
  • ME ME
  • edge application server an edge application
  • an application of the edge data network 2000 is referred to as an edge application.
  • the edge application may mean an application server existing in the edge data network.
  • the cloud server 3000 may provide content related to an application.
  • the cloud server 3000 may be managed by a content provider.
  • the cloud server 3000 may transmit/receive data to and from the electronic device 1000 through an external data network (DN) (eg, the Internet).
  • DN external data network
  • a core network (CN) and a data network (DN) may exist between the access network 1100 and the edge data network 2000 .
  • the data network transmits and receives data (or data packets) to and from the electronic device 1000 through the core network and the access network 1100 to provide a service (eg, an Internet service, an IP multimedia subsystem (IMS) service) can provide
  • a service eg, an Internet service, an IP multimedia subsystem (IMS) service
  • IMS IP multimedia subsystem
  • the data network may be managed by a carrier.
  • the edge data network 2000 may be connected to the access network 1100 or the core network through a data network (eg, a local DN).
  • the electronic device 1000 when the first application client 122 or the second application client 124 is executed in the electronic device 1000 , the electronic device 1000 transmits edge data through the access network 1100 . By connecting to the network 2000, data for executing an application client can be transmitted and received.
  • a method of streaming image content between the above-described electronic device 1000 , the edge data network 2000 , and the cloud server 3000 may be provided.
  • a method for effectively providing content for virtual reality, augmented reality, or mixed reality to a user based on user interaction information with respect to an image reproduced by the electronic device 1000 will be described.
  • an embodiment of a method in which the edge data network 2000 streams image content based on azimuth information, state information, and rotation speed information of the image content reproduced by the electronic device 1000 will be described.
  • FIG. 2 is an extended field of view (Fov) including an extra viewing angle image in consideration of a user's viewpoint (viewing direction), state information, and rotation speed, in an edge data network 2000 according to an embodiment of the present disclosure; of View) is a diagram for explaining a method of adaptively streaming an image.
  • Fov extended field of view
  • the electronic device 1000 provides information (eg, state information (state parameter) 210 , a rotation speed 220 of the electronic device 1000 , and a user's viewing direction (viewpoint) 230 ).
  • information eg, state information (state parameter) 210 , a rotation speed 220 of the electronic device 1000 , and a user's viewing direction (viewpoint) 230 ).
  • orientation information may be periodically transmitted to the edge data network 2000 when there is a request from the edge data network 2000 or when there is a change in the value thereof.
  • the status information may include at least one of network status information and connection device status information.
  • the network state information may include a state parameter 210 .
  • the state parameter 210 is a throughput capable of processing tasks such as transmission and reception of data through a network connection in consideration of the network situation, the edge data network 2000 situation, or the electronic device 1000 situation. It may include, but is not limited to, throughput.
  • the throughput is data that can be processed end-to-end per unit time (data-related operations of the edge data network 2000, data transmission through the network, and data-related operations of the electronic device 1000 are processed) can mean the amount of
  • the throughput may mean the size or speed of data transmitted from the network per unit time.
  • it may mean the size of data processed by the edge data network 2000 and the electronic device 1000 or the speed of processing the operation.
  • the throughput may be identified based on at least one evaluation index (the number of received packets per unit time, the number of bytes, or the number of bits).
  • the electronic device 1000 may measure the total sum of data sizes received per unit time from the receiving module based on the transmission protocol, and transmit throughput information including the measured value to the edge data network 2000 .
  • the present invention is not limited thereto, and a person skilled in the art can understand that the throughput of related data may be measured in various modules and information related thereto may be transmitted to the edge data network 2000 .
  • connection device state information may be information required for operation (video streaming) of the edge data network 2000 and the electronic device 1000 .
  • the connection device state information may include capability information of the electronic device 1000 .
  • the capability information may be information indicating the operation-related capability of the electronic device 1000 , such as information on the size of the viewport area of the electronic device 1000 .
  • the orientation information may include angle values of the gaze viewed by the user of the electronic device measured using the sensing module of the electronic device 1000 .
  • the electronic device 1000 senses azimuth information (eg, Roll, Pitch, and Yaw values) of a user's gaze gazing at a specific partial image in the VR image using a sensing module (eg, a 3-axis tilt sensor), The electronic device 1000 transmits the sensed orientation information to the edge data network 2000 to share information on which part in the VR image the user of the electronic device is currently looking at with the edge data network 2000 . have.
  • azimuth information eg, Roll, Pitch, and Yaw values
  • the rotational speed information is information about the rotational speed 220 of the user's head using the electronic device, and may include information about the rotational speed and the rotational direction.
  • the electronic device 1000 may sense the instantaneous rotation speed of the electronic device using a sensing module (eg, a 3-axis tilt sensor).
  • the rotation speed may include information about the rotation speed of each angular component, for example, the rotation speed may include instantaneous angular velocities of Roll, Pitch, and Yaw values.
  • the electronic device 1000 transmits the sensed rotational speed information to the edge data network 2000, thereby providing information on the rotational direction and rotational speed of the user's head of the current electronic device (ie, which side to look at later). user's predicted gaze information) may be shared with the edge data network 2000 .
  • the present invention is not limited thereto, and the electronic device 1000 senses the current orientation information using a sensing module (eg, a 3-axis tilt sensor), and then based on a difference from the previously measured orientation information, the rotation speed of the electronic device. can be obtained.
  • a sensing module eg, a 3-axis tilt sensor
  • the electronic device 1000 separately transmits the rotation speed information to the edge data network 2000 as the rotation speed. Only the current azimuth information of the electronic device may be transmitted without transmitting information about , the current rotation speed information of the electronic device may be acquired.
  • the edge data network 2000 sets the bit rate and the number of frames per second (FPS) 240 of the image based on the information about the state parameter 210 and the rotation speed 220, and the user's field of view Based on information about the direction (viewpoint) 230 (eg, azimuth information), the size and position of the user's viewing angle image 250 are identified, and an extra viewing angle based on the state parameter and information about the rotation speed
  • the size and position of the image 255 are identified, and the user's viewing angle image 250 and the extra viewing angle image 255 are encoded based on the image encoding parameters such as the bit rate and the number of frames per second of the image, and the electronic device ( 1000) can be sent.
  • the viewing angle means a range (eg, expressed in an angle, but not limited thereto) that can be seen by the user's eyes. In the case of an image having a large viewing angle, the user's eyes can see a wider range.
  • the range that the user can see through the display of the electronic device 1000 may be limited by the size of the viewport area of the electronic device 1000 .
  • the size of the viewport area is the size of a viewing angle that can be reproduced on the display of the electronic device 1000 (the size of the display area), and the size of the viewport area may be identified according to the capability information of the electronic device 1000 .
  • the size of the viewport area is one of the hardware specifications for the display of the electronic device 1000
  • the edge data network 2000 is the electronic device 1000 from the electronic device 1000 through a network connection. Capability information may be received, and the size of the viewport area of the electronic device 1000 may be identified according to the capability information.
  • the electronic device 1000 provides information on the size of the viewport area through a network connection. transmits the capability information of the electronic device 1000 including , it can be identified that the size of the viewport area in the vertical direction is 90 degrees.
  • the user's viewing angle may mean a range that the user can see through the viewport area of the electronic device 1000 .
  • the extra viewing angle when the range of the image viewed by the user changes as the orientation of the electronic device 1000 is changed according to the user's head movement over time, the display of the electronic device 1000 is displayed only with the image of the existing user's viewing angle. Since a complete image cannot be viewed through the screen, it may mean a viewing angle that is extra secured in consideration of this point (eg, extra secured in the vertical, left and right directions based on the user's viewing angle).
  • the electronic device 1000 decodes only the encoded user's viewing angle image, if the latest azimuth information of the electronic device 1000 at the playback time is different from the azimuth information used for encoding, a part of the image at the user's viewpoint is This is because there is a problem in that it may not be properly decrypted, and thus, the user sees a black edge, thereby preventing the user's immersion.
  • the viewing angle of the first partial image encoded for display on the electronic device 1000 may be an extended viewing angle including a user viewing angle (default viewing angle) and an extra viewing angle. That is, the first partial image may be an extended field of view (FOV) image including a user viewing angle image (default viewing angle image) and an extra viewing angle image. That is, the extra viewing angle is transmitted, the electronic device 1000 decodes the extra viewing angle image together with the user viewing angle image, and the viewing angle image to be reproduced from the decoded image using the latest azimuth information of the electronic device 1000 at the time of reproduction. can be identified and a black edge may not occur by reproducing the corresponding viewing angle image.
  • FOV extended field of view
  • the extra viewing angle image may be an image corresponding to a predetermined viewing angle in all directions set as a default based on the user viewing angle image. Without being limited thereto, the extra viewing angle image may be an image corresponding to an adaptively identified viewing angle in consideration of a state parameter and a rotation speed of the electronic device 1000 .
  • the state of the network or the state of the connected device
  • the rotation speed of the electronic device 1000 eg, when the throughput measured by the reception module of the electronic device 1000 is low
  • the reproduction may not be stopped, or the user may not see the black edge when the reproduction is performed.
  • the number of frames per second means the number of frames reproduced per second, and as the value increases, it can be felt that the image is reproduced naturally, and as the value is smaller, it can be felt that the image is reproduced while being unnaturally cut off.
  • the bit rate of the image is one of parameters indicating the quality (quality) of the image, and may indicate, for example, a target bit value (or byte, or packet value) of an image encoded per second.
  • a target bit value or byte, or packet value
  • the quality of the encoded image may be relatively better than when the bit rate value is small. It may be used as a parameter input to the encoding module to adjust the quality of the image.
  • the resolution of an image means the number of pixels of a frame to be coded, and when the pixel sizes are the same, the larger the resolution value, the larger the image size may be, and the image quality may be relatively good.
  • the resolution of the image is related to the size of the image, and therefore, when at least one of the size of the user viewing angle image input to the encoding module and the size of the extra viewing angle image is adjusted, it can be considered that the resolution of the image is changed.
  • the size of the user's viewing angle image may be fixed in consideration of the size of the viewport area, and the size of the extra viewing angle image may be identified based on information about a state parameter and rotation speed, and as a result, As the size of the viewing angle image increases, the resolution of the image may increase.
  • the edge data network 2000 guarantees a frame to be rendered when the value of at least one of the state parameters is greater than or equal to a predetermined threshold (previous state) and lower than the predetermined threshold (current state).
  • a predetermined threshold previous state
  • the bit rate of the image and the number of frames per second are set lower than the previous state, and an additional extra viewing angle image can be transmitted in consideration of the changed bit rate and the number of frames per second. If the number of frames per second is lowered, the interval between displayed frames increases, so the time during which the electronic device 1000 can move increases. Therefore, consider the time during which the electronic device 1000 can move Accordingly, the size of the extra viewing angle image may be set to be larger.
  • the MTP latency is obtained through the sensing module of the electronic device 1000 and based on sensor information (eg, azimuth information) transmitted to the edge data network 2000, the edge data network 2000 performs the user's movement (eg, For example, the user's gaze movement) is identified, the edge data network 2000 provides a frame of a partial image of the VR image based on the sensor information, and the electronic device 1000 decodes the frame of the provided partial image. And it may mean a time until the rendered frame is displayed on the display after rendering.
  • sensor information eg, azimuth information
  • the edge data network 2000 performs the user's movement (eg, For example, the user's gaze movement) is identified
  • the edge data network 2000 provides a frame of a partial image of the VR image based on the sensor information
  • the electronic device 1000 decodes the frame of the provided partial image. And it may mean a time until the rendered frame is displayed on the display after rendering.
  • the quality of the encoded image may be lowered by lowering the bit rate of the image, and the quality of the image may be lowered by lowering the number of frames per second.
  • the orientation information updated according to the latest orientation information of the electronic device 1000 at the time of reproduction is significantly different from the previous orientation information. Therefore, since the possibility of seeing a black edge may increase, the size of the extra viewing angle image is set to be large in consideration of the number of frames per second, thereby minimizing the black edge.
  • the edge data network 2000 may acquire from the first partial image 200 . Accordingly, even if the edge data network 2000 has substantially increased latency (MTP latency; Motion to Photon Latency) before receiving the second frame, the user through local processing based on the extra viewing angle image Since it is possible to avoid seeing a black edge, and thus, it is possible to secure a long time until receiving the second frame, it is possible to substantially guarantee the MTP latency.
  • MTP latency Motion to Photon Latency
  • the edge data network 2000 may transmit an additional extra viewing angle image.
  • the edge data network 2000 may minimize the occurrence of black edges by setting the size of the extra viewing angle image to be large.
  • the size of the extra viewing angle image increases, the size of encoded data increases, and accordingly, the MTP latency may increase somewhat and the bandwidth may increase.
  • a bit rate of an image may be reduced. Also, it is possible to reduce the number of frames per second of an image. When the number of frames per second of an image is reduced, the size of the extra viewing angle image to ensure MTP latency considering that as the interval between displayed frames is widened, the time for which motion can occur until just before the playback point is increased may be additionally set large. In addition, since a user's view after the present can be predicted based on the rotation speed of the electronic device 1000, an extra viewing angle image is further secured in the rotation direction, thereby minimizing the possibility of occurrence of a black edge and By appropriately increasing the size of data, bandwidth and MTP latency can be guaranteed.
  • FIG. 3 is a flowchart illustrating an operation procedure between an electronic device and an edge data network according to an embodiment of the present disclosure.
  • the edge data network 2000 establishes a network connection with the electronic device 1000 , and provides connection device state information necessary for the operation of the edge data network 2000 and the electronic device 1000 . can share with each other.
  • the state information may be shared only initially, but may be shared periodically or aperiodically according to a request or only when there is a change.
  • the edge data network 2000 may receive capability information of the electronic device 1000 from the electronic device 1000 .
  • the capability information may be information indicating the operation-related capability of the electronic device 1000 , such as information on the size of the viewport area of the electronic device 1000 .
  • the edge data network 2000 may receive throughput information from the electronic device 1000 .
  • the throughput information may be information regarding the amount of data received per unit time by the receiving module.
  • the edge data network 2000 may obtain latency information from the electronic device 1000 .
  • the edge data network 2000 transmits predetermined data according to a request of the electronic device 1000 , and the electronic device 1000 receives the predetermined data, in this case, a receiving module of the electronic device 1000 .
  • the electronic device 1000 may transmit information about the network latency to the edge data network 2000 .
  • the electronic device 1000 may acquire sensor information including at least one of azimuth information and rotation speed information.
  • the orientation information may be information indicating an angle component.
  • the rotation speed information may be directly obtained from the sensing module, or may be obtained based on a difference between the azimuth information of the current view and the azimuth information of the previous time already obtained from the sensing module.
  • the electronic device 1000 provides the direction Sensor information including at least one of information and rotation speed information may be transmitted to the edge data network 2000 .
  • the electronic device 1000 may periodically transmit the sensor information to the edge data network 2000, but is not limited thereto, and may transmit the sensor information aperiodically. For example, the electronic device 1000 may transmit sensor information only when there is a request from the edge data network 2000 or there is a change in the value of the sensor information.
  • the edge data network 2000 may identify the user's viewing angle image based on the azimuth information. For example, the edge data network 2000 may identify the location of the user's viewing angle image based on the received azimuth information.
  • the edge data network 2000 determines the size, position, bitrate and At least one of the predetermined number of frames per time may be identified.
  • the reference coordinate position of the first partial image corresponds to the azimuth information
  • the reference coordinate position of the user's viewing angle image also corresponds to the azimuth information
  • the reference coordinate position of the first partial image (eg, the image center coordinate position)
  • the user's viewing angle may be the same as the reference coordinate position of the image (eg, the image center coordinate position), but is not limited thereto.
  • the reference coordinate position of the image indicates the upper left position of the image
  • the reference coordinate position of the first partial image and the reference coordinate position of the user's viewing angle image may be different.
  • the rotation speed information may be obtained based on a difference between the currently acquired orientation information and the previously acquired orientation information. .
  • the edge data network 2000 may set the first threshold
  • the size of the first partial image and the predetermined number of frames corresponding to at least one state parameter less than or equal to the value may be identified.
  • the first threshold value may be a value set on the premise that at least one state parameter before the current time point is greater than the first threshold value.
  • the edge data network 2000 determines the size of the first partial image corresponding to the at least one state parameter greater than the second threshold value and a predetermined value.
  • the number of frames per hour can be identified.
  • the second threshold value may be a value set on the premise that at least one state parameter before the current time point is less than or equal to the second threshold value.
  • the first threshold may have the same value as the second threshold, but is not limited thereto.
  • the size of the first partial image corresponding to the at least one state parameter which is less than or equal to the first threshold value, may be greater than the size of the first partial image corresponding to the at least one state parameter, which is greater than the second threshold value.
  • the predetermined number of frames per time of the first partial image corresponding to the at least one state parameter which is less than or equal to the first threshold value is greater than the second threshold value of the first partial image corresponding to the at least one state parameter. It may be smaller than a predetermined number of frames per time.
  • the first partial image may include a user's viewing angle image corresponding to the azimuth information and an extra viewing angle image corresponding to a predetermined number of frames per time.
  • the user's viewing angle image may be obtained based on information about the size of the viewport area of the electronic device 1000 .
  • the extra viewing angle image may correspond to a predetermined number of frames per time, and when the predetermined number of frames per time is a predetermined first value (eg, 60 fps), the size of the first extra viewing angle image may be It may be smaller than the size of the second extra viewing angle image when the number of frames is a predetermined second value (eg, 30 fps) smaller than the predetermined first value.
  • a predetermined first value eg, 60 fps
  • the edge data network 2000 may additionally identify the bit rate of the first partial image based on the state information.
  • the edge data network 2000 identifies the bit rate of the first partial image corresponding to the at least one state parameter less than or equal to the first threshold value. can do.
  • the edge data network 2000 may identify the bit rate of the first partial image corresponding to the at least one state parameter greater than the second threshold value.
  • the bitrate of the first partial image corresponding to the at least one state parameter that is less than or equal to the first threshold value may be less than the bitrate of the first partial image corresponding to the at least one state parameter and which is greater than the second threshold value.
  • the edge data network 2000 may identify the size of the first partial image corresponding to the rotation speed greater than the first threshold value.
  • the edge data network 2000 may identify the size of the first partial image corresponding to the rotation speed less than or equal to the second threshold value.
  • the size of the first partial image corresponding to the rotation speed greater than the first threshold value may be greater than the size of the first partial image corresponding to the rotation speed less than or equal to the second threshold value.
  • the first partial image may include a (user) viewing angle image corresponding to the azimuth information and an extra viewing angle image corresponding to at least one of a rotation speed and a rotation direction of the rotation speed information.
  • the first partial image may include an extra viewing angle image identified based on at least one of a rotation speed and a rotation direction of a viewing angle image corresponding to the orientation information and a predetermined number of frames per time.
  • the predetermined number of frames per time may be identified based on the rotation speed, but is not limited thereto.
  • the extra viewing angle image includes a first extra viewing angle image positioned in a rotational direction based on the viewing angle image and a second extra viewing angle image positioned in a direction opposite to the rotational direction, and the first extra viewing angle is a second extra viewing angle. It can be bigger than the video. That is, the size of the viewing angle image located in the rotational direction with respect to the viewing angle image is identified to be larger than the size of the viewing angle image located in the opposite direction (that is, the viewing angle image is identified asymmetrically), so that an extra viewing angle is appropriately secured While doing so, black edges may not occur.
  • the edge data network 2000 may identify an extra viewing angle preset in a LUT form (Look Up Table) based on the rotation speed information, and may identify an extra viewing angle image based on the identified viewing angle.
  • LUT form Look Up Table
  • the edge data network 2000 may further identify the number of frames per predetermined time as well as the size of the first partial image according to the rotation speed.
  • the edge data network 2000 determines the size of the first partial image corresponding to the rotation speed greater than the first threshold and a predetermined frame per time of the first partial image. number can be identified.
  • the edge data network 2000 determines the size of the first partial image corresponding to the rotation speed less than or equal to the second threshold value and a predetermined value of the first partial image. can identify the number of frames per hour of
  • the size of the first partial image corresponding to the rotation speed greater than the first threshold value may be greater than the size of the first partial image corresponding to the rotation speed less than or equal to the second threshold value.
  • the predetermined number of frames per time of the first partial image corresponding to the rotation speed greater than the first threshold value may be less than the predetermined number of frames per hour of the first partial image corresponding to the rotation speed equal to or less than the second threshold value.
  • the edge data network 2000 may identify the bit rate of the first image according to the rotation speed.
  • the edge data network 2000 may identify the bit rate of the first image corresponding to the rotation speed greater than the first threshold value.
  • the edge data network 2000 may identify the bit rate of the first image corresponding to the rotation speed less than or equal to the second threshold value.
  • the bit rate of the first partial image corresponding to the rotation speed greater than the first threshold value may be smaller than the bit rate of the first partial image corresponding to the rotation speed less than or equal to the second threshold value.
  • the edge data network 2000 may identify at least one of a size, a position, a bit rate, and a predetermined number of frames per time of the first partial image by comprehensively considering the state information and the rotation speed information. .
  • the edge data network 2000 when the value of at least one state parameter included in the state information is less than or equal to the first threshold value and the rotation speed of the rotation speed information is greater than the third threshold value, the first A predetermined number of frames per time and a bit rate of the first partial image corresponding to at least one state parameter less than or equal to the threshold value may be identified. Also, the edge data network 2000 may identify the size of the first partial image corresponding to the rotation speed greater than the third threshold value.
  • the edge data network 2000 When the value of the at least one state parameter is greater than the second threshold value and the rotation speed of the rotation speed information is less than or equal to the fourth threshold value, the edge data network 2000 includes at least one at least one greater than the second threshold value. It is possible to identify a predetermined number of frames per time and a bit rate corresponding to the parameters of . Also, the edge data network 2000 may identify the size of the first partial image corresponding to a rotation speed that is less than or equal to the fourth threshold value.
  • the predetermined number of frames per time and the bit rate of the first partial image corresponding to the at least one state parameter which is less than or equal to the first threshold value are greater than the second threshold value and the first partial image corresponding to the at least one state parameter is greater than the second threshold value. It may be smaller than a predetermined number of frames per time and a bit rate of the partial image.
  • the size of the first partial image corresponding to the rotation speed greater than the third threshold value may be greater than the size of the first partial image corresponding to the rotation speed less than or equal to the fourth threshold value.
  • the edge data network 2000 identifies the bit rate and the number of frames per predetermined time of the first partial image corresponding to the state information, and identifies the size of the first partial image corresponding to the rotation speed information. , merely an embodiment, not limited thereto, and comprehensively considers the state information and the rotation speed information, and the size, position, bit rate and predetermined frames per hour of the first partial image corresponding to the state information and the rotation speed information. It can be understood that at least one of the numbers can be identified.
  • step S310 the edge data network 2000 encodes the first partial image based on at least one of the size, position, bit rate, and a predetermined number of frames per time of the first partial image identified in step S308 to form the first frame can create
  • the edge data network 2000 may transmit the first frame generated in operation S310 to the electronic device 1000 .
  • the electronic device 1000 may restore the first partial image by decoding the first frame received from the edge data network 2000 .
  • the restored first partial image may include an extra viewing angle image.
  • the electronic device 1000 may reproduce the restored first partial image.
  • some images among the restored first partial images may be acquired, and the acquired partial images may be reproduced.
  • FIG. 4 is a diagram schematically illustrating an operation procedure between an electronic device and an edge data network.
  • the electronic device 1000 may include a sensing module 410 , a network interface 420 , a processor 430 , and a memory 440 .
  • the configuration of the electronic device is not limited to the above, and may include more or fewer configurations.
  • the electronic device 1000 may decode images received from the edge data network 2000 or the cloud server 3000 and display the decoded images on the display of the electronic device 1000 . Also, the electronic device 1000 may acquire sensor information including at least one of azimuth information and rotation speed information of the reproduced images by using the sensing module 410 .
  • the orientation information may include angle values of the gaze viewed by the user of the electronic device measured using the sensing module.
  • the rotation speed information may include instantaneous changes in angle values of the gaze viewed by the user of the electronic device measured using the sensing module.
  • the electronic device 1000 transmits sensor information including at least one of azimuth information and rotation speed information 452 to the edge data network 2000 using the network interface 420 .
  • the electronic device 1000 may transmit frame index information when azimuth information and rotation speed information are sensed to the edge data network 2000 .
  • the present invention is not limited thereto, and reference frame information among the restored frames before the azimuth information and rotation speed information are sensed may be transmitted to the edge data network 2000 .
  • the frame index may be information indicating the encoding/decoding order of the frame, but is not limited thereto and may be information indicating the rendering order of the frame.
  • the processor 430 controls the overall operation of the electronic device 1000 by executing one or more instructions in the memory 440 .
  • the processor 430 may control the sensing module 410 and the network interface 420 by executing one or more instructions stored in the memory 440 .
  • the processor 430 is configured to perform the first partial image according to at least one of a size, a position, a bit rate, and a predetermined number of frames per time of the first partial image identified based on at least one of the state information and the rotation speed information.
  • An encoded first frame with respect to the partial image may be obtained.
  • the first frame may be an I frame or a P frame (or a B frame).
  • the processor 430 receives the encoded frame 454 from the edge data network 2000 and decodes the first partial image based on the encoded frame to restore the first partial image.
  • the processor 430 may obtain azimuth information at a reproduction time point, and reproduce a part of the restored first partial image based on the obtained azimuth information.
  • the memory 440 may include a decoder module 442 that stores instructions for decoding encoded frames received from the edge data network 2000 , but is not limited thereto.
  • the edge data network 2000 may include a network interface 460 , a processor 470 , and a memory 480 .
  • the configuration of the edge data network 2000 is not limited to the above, and more configurations may be included or some configurations may be omitted.
  • the edge data network 2000 obtains sensor information including at least one of azimuth information and rotation speed information from the electronic device 1000 using the network interface 460 , and the edge data network 2000 based on the sensor information. ) may transmit the encoded frame to the electronic device.
  • the processor 470 controls the overall operation of the edge data network 2000 by executing one or more instructions in the memory 480 .
  • the processor 470 may identify a parameter of the encoded frame based on at least one of state information and rotation speed information. Specifically, the processor 470 may identify at least one of a size, a position, a bit rate, and a predetermined number of frames per time of the first partial image based on at least one of the state information and the rotation speed information. In this regard, since it has been described above with reference to FIG. 4, the contents thereof will be omitted.
  • the processor 470 may generate the first frame by acquiring and encoding the first partial image corresponding to the orientation information based on at least one of a size, a bit rate, and a predetermined number of frames per time of the first partial image. .
  • the processor 470 may transmit the first frame to the electronic device 1000 .
  • the memory 480 stores the encoder module 482 for storing instructions for encoding images to be transmitted by the edge data network 2000 to the electronic device 1000 and instructions for identifying an encoding frame parameter. and an encoding frame parameter identification module 484 to store the VR sequence 486 including the entire image data for the VR sequence, but is not limited thereto.
  • the edge data network 2000 may store a VR sequence including the entire frame in a database (Data Base, DB).
  • the edge data network 2000 may use the azimuth information obtained from the electronic device 1000 to identify a user's viewing angle image, etc. from among the VR sequences stored in the database DB.
  • 5A is a flowchart illustrating a method of streaming video content by an edge data network according to an embodiment of the present disclosure.
  • the edge data network 2000 may acquire sensor information including azimuth information from the electronic device.
  • the sensor information may further include rotation speed information.
  • the edge data network 2000 may obtain state information including network state information between the edge data network 2000 and the electronic device 1000 .
  • the status information may further include connection device status information.
  • the edge data network 2000 may identify the size and location of the first partial image based on the sensor information and the state information.
  • the edge data network 2000 may identify at least one of a size, a location, a bit rate, and a predetermined number of frames per time of the first partial image based on the sensor information and the state information.
  • step S506 the edge data network 2000 encodes the first partial image corresponding to the azimuth information based on at least one of a size, a position, a bit rate, and a predetermined number of frames per time of the first partial image to form a first frame can create
  • the edge data network 2000 may transmit the first frame to the electronic device 1000 .
  • FIG. 5B is a diagram for describing in detail a method for the edge data network 2000 to identify an encoding frame parameter of a first partial image based on state information according to an embodiment of the present disclosure.
  • the edge data network 2000 determines that the value of at least one state parameter related to at least one of a network state and a connected device state included in the state information is less than a first threshold or can be identified as being equal.
  • step S512 when the value of at least one state parameter included in the state information is less than or equal to the first threshold, the edge data network 2000
  • At least one of the size of the first partial image corresponding to at least one state parameter that is less than or equal to the first threshold value, the number of frames per predetermined time, and the bit rate of the first partial image may be identified.
  • the first threshold value may be a value set on the premise that the value of at least one previous state parameter is greater than the first threshold value. It may be larger than the size of the partial image.
  • the number of frames per time of the identified first partial image may be smaller than the number of frames per time of the first partial image in the previous state.
  • a bit rate of the identified first partial image may be smaller than a bit rate of the first partial image in a previous state.
  • the edge data network 2000 may identify whether a value of at least one state parameter related to at least one of a network state and a connected device state included in the state information is greater than a second threshold value.
  • step S5166 when the value of the at least one state parameter is greater than the second threshold, the edge data network 2000
  • At least one of the size of the first partial image corresponding to the at least one state parameter greater than the second threshold value, the number of frames per predetermined time, and the bit rate of the first partial image may be identified.
  • the second threshold value may be a value set on the premise that the value of at least one previous state parameter is less than or equal to the second threshold value. It may be smaller than the size of the first partial image. Also, the number of frames per time of the identified first partial image may be greater than the number of frames per time of the first partial image in the previous state. A bit rate of the identified first partial image may be greater than a bit rate of the first partial image in a previous state.
  • step S5128 when the value of the at least one state parameter related to at least one of the network state and the connected device state included in the state information is greater than the first threshold value, the edge data network 2000
  • the same size of the first partial image as the previous state, the number of frames per predetermined time, and the bit rate of the first partial image may be maintained.
  • the edge data network 2000 performs the first state identical to the previous state.
  • the size of the partial image, the predetermined number of frames per time, and the bit rate of the first partial image may be maintained.
  • first threshold value and the second threshold value may be different from each other, but the present invention is not limited thereto, and the first threshold value and the second threshold value may be the same. In this case, it can be understood by those skilled in the art that step S518 is not performed.
  • the at least one state parameter is a parameter whose state improves as its value increases, but the present invention is not limited thereto. understand that it can be done.
  • parameters such as bit error rate (BER) and latency may be state parameters whose state deteriorates as their values increase.
  • BER bit error rate
  • latency may be state parameters whose state deteriorates as their values increase.
  • each encoded frame parameter corresponding to at least one state parameter less than or equal to the first threshold value and the encoding frame parameters corresponding to at least one state parameter greater than the second threshold value may be reversed.
  • FIG. 5C is a diagram for describing in detail a method for the edge data network 2000 to identify an encoding frame parameter of a first partial image based on rotation speed information according to an embodiment of the present disclosure.
  • the edge data network 2000 may identify whether the rotation speed of the rotation speed information is greater than a first threshold value.
  • step S522 when the rotation speed of the rotation speed information is greater than the first threshold value, the edge data network 2000 determines the size of the first partial image corresponding to the rotation speed greater than the first threshold value, the number of frames per predetermined time, and At least one of bit rates may be identified.
  • the first threshold value may be a value set on the premise that the previous rotation speed is less than or equal to the first threshold value, and the size of the identified first partial image may be greater than the size of the first partial image in the previous state. . Also, the number of frames per time of the identified first partial image may be smaller than the number of frames per time of the first partial image in the previous state. A bit rate of the identified first partial image may be smaller than a bit rate of the first partial image in a previous state.
  • step S524 the edge data network 2000 may identify whether the rotation speed of the rotation speed information is less than or equal to the second threshold value.
  • step S526 when the rotation speed of the rotation speed information is less than or equal to the second threshold value, the edge data network 2000 determines the size of the first partial image corresponding to the rotation speed less than or equal to the second threshold value, At least one of the number of frames per time and the bit rate may be identified.
  • the second threshold value may be a value set on the assumption that the previous rotation speed is greater than the second threshold value
  • the size of the identified first partial image may be smaller than the size of the first partial image in the previous state.
  • the number of frames per time of the identified first partial image may be greater than the number of frames per time of the first partial image in the previous state.
  • a bit rate of the identified first partial image may be greater than a bit rate of the first partial image in a previous state.
  • step S528 when the rotation speed of the rotation speed information is less than or equal to the first threshold value, the edge data network 2000 determines the size of the first partial image, the number of frames per predetermined time, and the number of first partial images that are the same as in the previous state. bitrate can be maintained.
  • the edge data network 2000 may maintain the same size of the first partial image as the previous state, the number of frames per predetermined time, and the bit rate of the first partial image. have.
  • first threshold value and the second threshold value may be different from each other, but the present invention is not limited thereto, and the first threshold value and the second threshold value may be the same. In this case, it can be understood by those skilled in the art that step S528 is not performed.
  • FIG. 5D is a diagram for describing in detail a method for the edge data network 2000 to identify an encoding frame parameter of a first partial image based on state information and rotation speed information according to an embodiment of the present disclosure.
  • the edge data network 2000 determines whether the value of at least one state parameter is less than or equal to the first threshold value, and whether the rotation speed of rotation speed information is greater than the third threshold value. can be identified.
  • step S532 when the value of the at least one state parameter is less than or equal to the first threshold and the rotation speed of the rotation speed information is greater than the third threshold, the edge data network 2000 is less than or equal to the first threshold. At least one of a predetermined number of frames per time of the first partial image and a bit rate of the first partial image corresponding to the same at least one state parameter and a rotation speed greater than the third threshold may be identified.
  • the first threshold value is a value set on the premise that the value of at least one state parameter among the previous state parameters is large
  • the third threshold value is set on the assumption that the previous rotation speed is less than or equal to the third threshold value.
  • the size of the identified first partial image may be greater than the size of the first partial image in the previous state.
  • the number of frames per time of the identified first partial image may be smaller than the number of frames per time of the first partial image in the previous state.
  • a bit rate of the identified first partial image may be smaller than a bit rate of the first partial image in a previous state.
  • the size of the first partial image may be identified corresponding to the state parameter.
  • a predetermined number of frames per time and a bit rate of the first partial image may be identified corresponding to a rotation speed.
  • the present invention is not limited thereto, and it can be understood by those skilled in the art that each identification element (a predetermined number of frames per time and a bit rate of the first partial image) may be identified by comprehensively considering the rotation speed and state parameters.
  • the edge data network 2000 assigns a weight to the state parameter and rotation speed, and identifies the size of the first partial image, the number of frames per predetermined time, and the bit rate of the first partial image in consideration of the weight. can do.
  • the edge data network 2000 may identify whether the value of the at least one state parameter is greater than the second threshold value and the rotation speed of the rotation speed information is less than or equal to the fourth threshold value.
  • step S536 when the value of the at least one state parameter is greater than the second threshold value, and the rotation speed of the rotation speed information is less than or equal to the fourth threshold value, the edge data network 2000 is at least greater than the second threshold value. At least one of a predetermined number of frames per time of the first partial image and a bit rate of the first partial image corresponding to one state parameter and a rotation speed less than or equal to the fourth threshold may be identified.
  • the second threshold value may be a value set on the premise that the value of at least one previous state parameter is less than or equal to the value
  • the fourth threshold value may be a value set on the assumption that the previous rotation speed is greater than the fourth threshold value
  • the size of the identified first partial image may be smaller than the size of the first partial image of the previous state.
  • the number of frames per time of the identified first partial image may be greater than the number of frames per time of the first partial image in the previous state.
  • a bit rate of the identified first partial image may be greater than a bit rate of the first partial image in a previous state.
  • the size of the first partial image may be identified corresponding to the state parameter.
  • a predetermined number of frames per time and a bit rate of the first partial image may be identified corresponding to a rotation speed.
  • the present invention is not limited thereto, and it can be understood by those skilled in the art that each identification element (a predetermined number of frames per time and a bit rate of the first partial image) may be identified by comprehensively considering the rotation speed and state parameters.
  • the edge data network 2000 may maintain the same size of the first partial image, the number of frames per predetermined time, and the bit rate of the first partial image as in the previous state. have.
  • the present invention is not limited thereto, and when the value of the at least one state parameter is less than or equal to the first threshold value or the rotation speed is greater than the third threshold value, the value of the at least one state parameter is smaller than or equal to the first threshold value. At least one of a corresponding, size of the first partial image, a predetermined number of frames per time, and a bit rate may be identified, and the remaining encoded frame parameters that are not identified may be kept the same as the previous state. Otherwise, the edge data network 2000 may maintain the size of the first partial image, the predetermined number of frames per time, and the bit rate as before.
  • first threshold value and the second threshold value may be different from each other, and the third threshold value may be different from the fourth threshold value, but the present invention is not limited thereto and may have the same value.
  • FIG. 6 is a flowchart illustrating a method for an electronic device to stream image content obtained from an edge data network according to an embodiment of the present disclosure.
  • the electronic device 1000 may transmit sensor information including at least one of azimuth information and rotation speed information to the edge data network 2000 .
  • the electronic device 1000 determines the size and position of the first partial image identified based on at least one of the rotation speed information and the network state information and the state information including the device state information from the edge data network 2000 .
  • a bit rate, and a first frame encoded with respect to the first partial image may be obtained according to at least one of the number of frames per time.
  • the content of the edge data network 2000 identifying at least one of the size, position, bit rate, and the number of frames per predetermined time of the first partial image based on at least one of the state information and the rotation speed information has been described above. , details are omitted.
  • the electronic device 1000 may reconstruct the first partial image by decoding the first frame.
  • the electronic device 1000 may reproduce the restored first partial image.
  • the electronic device 1000 may reproduce a part of the restored first partial image based on the azimuth information at the reproduction time point.
  • FIG. 7 is a flowchart illustrating an operation procedure between an electronic device and an edge data network according to an embodiment of the present disclosure
  • the electronic device 1000 may obtain azimuth information.
  • the electronic device 1000 may additionally acquire rotation speed information, but is not limited thereto.
  • the electronic device 1000 may transmit azimuth information to the edge data network 2000 .
  • the electronic device 1000 may additionally transmit rotation speed information.
  • the orientation information and the rotation speed information may be acquired and transmitted periodically, but is not limited thereto.
  • the electronic device 1000 may transmit state information including at least one of a network state and a state of the electronic device 1000 to the edge data network 2000 .
  • the transmitted state information may be information on throughput measured by a specific module of the electronic device 1000 , and for example, reception per unit time, such as the number of received packets and the number of bits, measured by the receiving module.
  • Information on the size of data may be transmitted to the edge data network 2000 .
  • the edge data network 2000 may identify the user's viewing angle image based on the azimuth information. For example, the edge data network 2000 may identify the location of the user's viewing angle image based on the received azimuth information.
  • the edge data network 2000 may identify at least one of a size, a location, and a bit rate of the number of frames per time of the first partial image based on the state information.
  • the edge data network 2000 may determine the bit rate or the number of frames per time based on the state information. For example, when at least one state parameter included in the state information is greater than the first threshold, it may be determined to increase the bit rate or the number of frames per time. Alternatively, when at least one state parameter included in the state information is smaller than the second threshold, it may be determined to decrease the bit rate or the number of frames per time.
  • the edge data network 2000 may determine the size of the first partial image based on the determined number of frames per time. When the determined number of frames per time is greater than the first threshold, the size of the first partial image may be determined to increase. Alternatively, when the determined number of frames per time is less than the second threshold, the size of the first partial image may be determined to be reduced. The relationship between the number of frames per time and the size of the first partial image will be described in more detail below with reference to FIGS. 11 and 13 .
  • the edge data network 2000 may determine at least one of the size of the first partial image and the number of frames per time of the bitrate first partial image based on the state information. This will be described in more detail below with reference to FIG. 8 .
  • FIG. 8A is a diagram for describing a process in which the edge data network 2000 streams a first partial image when at least one state parameter is greater than a first threshold, according to an embodiment.
  • the electronic device 1000 transmits information about at least one state parameter to the edge data network 2000 , and the edge data network 2000 receives the information, and at least a value greater than a first threshold value
  • One state parameter 810 may be identified.
  • the state parameter may be information about throughput.
  • the throughput may be information about at least one of a throughput of data in the edge data network 2000 , a throughput of data in the electronic device 1000 , and a throughput of data transmitted/received through the network.
  • the electronic device 1000 may measure the size of data per unit time received through the network in the reception module, and transmit the information thereto to the edge data network 2000 .
  • the edge data network 2000 identifies at least one state parameter greater than a first threshold value, sets a bit rate corresponding to at least one state parameter greater than the first threshold value, and an extra viewing angle in consideration of a predetermined rotation speed The first partial image 820 with .
  • the present invention is not limited thereto, and when the edge data network 2000 is initially connected to the electronic device 1000 , the bit rate and the extra viewing angle may be set by default, irrespective of the first threshold, in the same manner as in the above case. Those skilled in the art can understand.
  • FIG. 8B is a diagram for describing a process in which the edge data network 2000 streams a first partial image when at least one state parameter is less than or equal to a first threshold, according to an embodiment.
  • the electronic device 1000 transmits information about at least one state parameter to the edge data network 2000 .
  • the edge data network 2000 may receive the corresponding information, and identify at least one state parameter 830 that is less than or equal to the first threshold value.
  • the edge data network 2000 identifies at least one state parameter less than or equal to a first threshold value, and a bit rate, viewing angle, and FPS corresponding to at least one state parameter less than or equal to the first threshold value may be set. have.
  • the bit rate may be set lower than when at least one state parameter is greater than the first threshold value.
  • the FPS may be set lower than a case in which at least one state parameter has a large first threshold value.
  • the extra viewing angle may be set wider than when the at least one state parameter is greater than the first threshold value.
  • the edge data network 2000 identifies at least one state parameter less than or equal to a first threshold value, and sets a bit rate, FPS, and an extra viewing angle corresponding to the at least one state parameter less than or equal to the first threshold value.
  • the first partial image 840 may be encoded, and the encoded first partial image 840 may be transmitted to the electronic device 1000 .
  • FIG. 8C is a diagram for explaining a process of adaptively changing, by the edge data network 2000, an encoding frame parameter when at least one state parameter is less than or equal to a first threshold value, according to an embodiment.
  • the edge data network 2000 may identify whether at least one state parameter is less than or equal to a first threshold value in the process of encoding the current frame.
  • a first threshold value in the process of encoding the current frame.
  • bitrate, FPS, and extra viewing angle are set by default.
  • the bit rate, FPS, and extra viewing angle set as defaults may be the same as the bit rate, FPS, and extra viewing angle corresponding to at least one state parameter greater than the first threshold value.
  • the edge data network 2000 may set the bit rate to be lower than the previous bit rate when at least one state parameter is less than or equal to the first threshold value in the process of encoding the current frame. That is, the quality of the encoded frame may be reduced. Accordingly, it is possible to prevent frame reproduction from stopping in the electronic device 1000 even when the value of at least one state parameter is decreased.
  • the edge data network 2000 may set the FPS to be lower than the previous FPS.
  • the FPS By setting the FPS low, network bandwidth can be saved, and as the frame transmission interval increases, the value of the state parameter (eg, the throughput measured by the reception module of the electronic device 1000 ) increases. It is possible to prevent frame reproduction from being stopped in the electronic device 1000 even when the frame is lowered.
  • the edge data network 2000 may set a wider extra viewing angle in consideration of the lowered FPS.
  • FPS Frequency Division Multiple Access
  • ATW Asynchronous TimeWarp
  • ATW refers to a technique of displaying an image drawn by a rendering engine of a rendered frame on a display by modifying it according to a user's movement.
  • FPS among the encoding parameters of the frame before encoding the current frame in the edge data network 2000 is 60 fps and the extra viewing angle is 0.83 degrees in one direction
  • FPS among the encoding parameters of the current frame may be 30 fps, and an extra viewing angle may be set to 1.67 degrees based on one direction.
  • the edge data network 2000 when a person rotates his head 5 degrees for 100 ms while wearing the electronic device 1000 (an example of a general degree of rotation), the edge data network 2000 can rotate 0.83 degrees for 16.6 ms based on 60 fps. Therefore, in the case of the previous encoding frame, the extra viewing angle can be set to 0.83 degrees based on one direction, and when lowered to 30 fps, the frame is transmitted 16.6 ms later than 60 fps, so the rotation angle of the electronic device 1000 that can move in the meantime is larger, so the extra viewing angle can be set to 1.67 degrees, doubling on a one-way basis.
  • the edge data network 2000 may identify how many degrees the electronic device 1000 rotates for a predetermined time, and may set an extra viewing angle based on the following proportional expression.
  • FIG. 8D is a diagram illustrating parameters of a streamed encoded frame when a state parameter is greater than, less than or equal to a first threshold, according to an embodiment.
  • the width and height of the encoded frame 850 streamed from the edge data network 2000 may be 2500 pixels and 1400 pixels, and the bit rate is 25 Mbps,
  • the FPS may be 60 fps.
  • the width and height of the encoded frame 860 streamed from the edge data network 2000 may be 2600 pixels and 1500 pixels.
  • the bit rate may be 15 Mbps, and the FPS may be 30 fps.
  • values of the parameters described above with reference to FIG. 8D are merely examples, and may be values of various parameters in consideration of the relationship between relative parameters when the above-described state parameter is less than or equal to the first threshold value and greater than the first threshold value.
  • the edge data network 2000 adaptively identifies the bit rate, the number of frames per second, and the extra viewing angle, so that the state Tolerance to a situation in which the value of the parameter is less than or equal to the first threshold value (for example, a situation in which the amount of data received per unit time acquired from the receiving module is less than or equal to the first threshold value)
  • black edges can be minimized and MTP latency can be continuously guaranteed.
  • FIG. 9 is a flowchart illustrating an operation procedure between an electronic device and an edge data network according to an embodiment of the present disclosure.
  • the electronic device 1000 may acquire azimuth information and rotation speed information.
  • the electronic device 1000 may transmit the azimuth information and the rotation speed information to the edge data network 2000 .
  • the edge data network 2000 may identify the user's viewing angle image based on the received azimuth information. For example, the edge data network 2000 may identify the location of the user's viewing angle image based on the received azimuth information.
  • the edge data network 2000 may determine at least one of a size, a position, a bit rate, and the number of frames per time of the first partial image based on the rotation speed information.
  • the rotational speed information may be received from the electronic device 1000 , but is not limited thereto, and is not directly received from the electronic device 1000 , and the difference between the currently received azimuth information and the previously received azimuth information is measured. can be obtained on the basis of
  • the edge data network 2000 may determine the size and position of the first partial image including the user's viewing angle image and an extra viewing angle image surrounding it based on the rotation speed information. Thereafter, at least one of a bit rate of the first partial image and the number of frames per predetermined time may be determined based on the determined size of the first partial image. For example, when the size of the first partial image is greater than the first threshold value, the bit rate or the number of frames per time may be determined to decrease. Alternatively, when the size of the first partial image is smaller than the second threshold, the bit rate or the number of frames per time may be determined to increase.
  • a size, a position, a bit rate, and a predetermined number of frames per time of the first partial image may be determined based on the rotation speed information. This will be described in more detail with reference to FIGS. 10A, 10B, 11 and 12 .
  • 10A is a diagram for explaining a process in which the edge data network 2000 streams a first partial image when the rotation speed of the electronic device 1000 worn by the user is less than or equal to a first threshold, according to an embodiment; It is a drawing.
  • the electronic device 1000 transmits rotation speed information to the edge data network 2000 , and the edge data network 2000 may receive rotation speed information and identify the rotation speed. have. For example, the electronic device 1000 may identify whether the rotation speed of the electronic device 1010 worn on the user's head is less than the first threshold value (ie, whether the rotation speed is slow or stops rotation). have.
  • the first threshold value ie, whether the rotation speed is slow or stops rotation.
  • the edge data network 2000 may set a bit rate corresponding to (or by default) a rotation speed less than or equal to the first threshold value and a predetermined extra value.
  • the viewing angle 1020 may be set.
  • the edge data network 2000 may encode the first partial image 1030 to which a bit rate corresponding to a rotation speed less than or equal to the first threshold and a predetermined extra viewing angle 1020 are set and transmitted to the electronic device 1000 . have.
  • FIG. 10B is a diagram for explaining a process in which the edge data network 2000 streams a first partial image when the rotation speed of the electronic device 1040 worn on the user's head is greater than a first threshold value, according to an embodiment; It is a drawing.
  • the electronic device 1000 may transmit information about the rotation speed to the edge data network 2000 , and the edge data network 2000 may receive information about the rotation speed and identify the rotation speed. have. In this case, the electronic device 1000 may identify whether the rotation speed of the electronic device 1040 worn on the user's head is greater than the first threshold value (ie, the rotation speed is high).
  • the edge data network 2000 may set bit rates and extra viewing angle sizes 1055 and 1060 corresponding to the rotation speed greater than the first threshold value.
  • the extra viewing angle 1055 in the rotation direction 1050 may be set wider than the extra viewing angle 1060 in the opposite direction to the rotation direction 1050 .
  • the extra viewing angle 1060 in the opposite direction may be the same as the size of the default extra viewing angle, but is not limited thereto, and may be large.
  • the edge data network 2000 is set to a lower bit rate compared to the bit rate and the extra viewing angle described with reference to FIG.
  • the first partial image 1070 may be encoded and transmitted to the electronic device 1000 .
  • FIG. 11 is a diagram for explaining a process of identifying the left and right viewing angles of an encoded frame when the edge data network 2000 has a first value (fast speed) according to an embodiment.
  • the electronic device 1000 may periodically transmit sensor information including azimuth information such as yaw, pitch, and roll and instantaneous rotation speed information such as velocity to the edge data network 2000 .
  • the electronic device 1000 may transmit sensor information including azimuth information and rotation speed information every 16.6 ms.
  • the electronic device 1000 transmits sensor information and then receives a response (response including the extended height ext-Height and the extended width ext-Width and reference orientation information Yaw, Pitch, and Roll).
  • Time may be defined as latency (L).
  • the latency (L) is a time in consideration of the processing time and network delay time of the edge data network 2000, and may be, for example, 33.3 ms.
  • the time until the electronic device 1000 receives the next frame may be defined as a frame interval r.
  • the frame interval r may be 16.6 ms.
  • the basic viewing angle of the electronic device 1000 may be defined as F.
  • the basic viewing angle F of the electronic device 1000 may be 110 degrees.
  • the rotational speed of the head can be defined as V.
  • the rotation speed V may be 600 degrees/sec.
  • the edge data network 2000 may identify the left and right viewing angle region of interest (ROI) (basic viewing angle + extra viewing angle) of the frame to be transmitted according to the following equation.
  • ROI region of interest
  • the ROI can be identified as 170 degrees.
  • the rotation speed of the edge data network 2000 is a second value (slow speed), according to an embodiment. It is a diagram for explaining a process of identifying left and right viewing angles.
  • the rotation speed may be changed from 600 degrees/sec to 200 degrees/sec.
  • the edge data network 2000 may identify the left and right viewing angle ROIs of the frame to be transmitted according to the above equation, and if other conditions are the same, 130 degrees may be identified.
  • FIG. 13 illustrates a process of identifying left and right viewing angles after the edge data network 2000 sets the FPS low when the rotation speed of the edge data network 2000 is a first value (fast speed), according to an embodiment
  • the FPS set by the edge data network 2000 may be changed to 30 fps.
  • the edge data network 2000 may identify the left and right viewing angle ROIs of the frame to be transmitted according to the above equation, and if other conditions are the same, 170 degrees may be identified.
  • the edge data network 2000 identifies, according to the rotation speed, a predetermined number of frames per hour, and according to the predetermined number of frames per time, identifies an extra viewing angle, including a basic viewing angle (user viewing angle) and an extra viewing angle.
  • the viewing angle can be identified.
  • the extra viewing angle identified in consideration of the expected head movement during the frame interval may increase.
  • an extra viewing angle in a rotational direction may be identified as V x ( L + r), and an extra viewing angle in a direction opposite to the rotational direction may be identified as a default extra viewing angle.
  • the edge data network 2000 may identify an extra viewing angle by considering a weight between the rotation direction and the opposite direction in addition to the head rotation speed, latency, and frame interval.
  • the edge data network 2000 streams a frame and the electronic device 1000 renders the frame based on the method of identifying the left and right viewing angles described above with reference to FIGS. 11 and 13 , according to an embodiment. I will explain the process up to the following.
  • the edge data network 2000 may identify in advance a predetermined range of rotational speeds in the left and right directions. For example, the edge data network 2000 may pre-identify a range from 0 to 50 degrees/sec as Range 1 and a range from 50 degrees/sec to 200 degrees/sec as Range 2 in advance. In addition, the range from 200 degrees/sec to 600 degrees/sec can be identified in advance as Range 3.
  • Dummy data may be exchanged between the electronic device 1000 and the edge data network 2000 to measure latency including network latency.
  • the electronic device 1000 transmits a request for a basic viewing angle image including orientation information (Yaw, Pitch, Roll) and a timestamp (measurement timestamp) of the time to the edge data network 2000,
  • a basic viewing angle image may be received from the edge data network 2000, a difference between a timestamp (current timestamp) and a measurement timestamp of the received time point may be calculated, and latency may be measured based on the time stamp difference.
  • the edge data network 2000 may pre-identify the viewing angle with respect to the maximum speed for each range in consideration of latency and the like.
  • each range and a viewing angle corresponding thereto may be stored in the form of a lookup table.
  • the electronic device 1000 may periodically transmit the current head angle (Yaw, Pitch, Roll) and each instantaneous rotation speed (Velocity of Yaw, Velocity of Pitch, Velocity of Roll) to the edge data network 2000 .
  • the edge data network 2000 may encode and transmit a frame of a viewing angle corresponding to a previously identified range.
  • the height and width of the reference angle and the extended viewing angle region of the coded frame to be transmitted may be included in the payload of the transport protocol header of the coded frame to be transmitted.
  • the information included in the payload may be ⁇ "Yaw”:0.125, "Pitch”: 0.545, “Roll”: 0.13, "extWidth”: 110px, "extHeight”:200px ⁇ .
  • the electronic device 1000 checks the payload of the received data, identifies the position, width, and height of the frame, decodes the frame, and displays the restored frame on the display of the electronic device 1000 based on the decoded frame. can do.
  • FIG. 14 is a diagram for explaining a process in which the edge data network 2000 identifies an additional extra viewing angle area based on object detection, according to an embodiment.
  • the edge data network 2000 may identify a basic viewing angle area 1410 and an extra viewing angle area 1420 in the VR image 1400 .
  • the edge data network 2000 may detect the object and detect the object 1455 that the extra viewing angle area 1420 does not cover.
  • an extra viewing angle area 1430 that is wider than the extra viewing angle area 1420 may be identified so as to cover the sensed object.
  • the user can additionally move the head out of the field of view to identify the object, thus identifying a wider, extra field of view based on the sensed object. can do.
  • 15 is a diagram for describing a process in which the edge data network 2000 transmits a first partial image to the electronic device 1000 based on several pieces of data units, according to an embodiment.
  • the edge data network 2000 divides the VR image 1500 in the vertical direction (longitude) to obtain data units of several pieces, and in the process of acquiring the first partial image, at least as much as a required viewing angle among the data units of several pieces
  • a data unit (1, 2, and 3) of one piece may be selected, encoded and transmitted to the electronic device 1000 .
  • 16 is a diagram schematically illustrating an operation procedure between an electronic device, an edge data network, and a VR gaming interface device.
  • a VR gaming interface device 4000 is further illustrated.
  • the VR gaming interface device 4000 unlike the VR streaming field, there is user interaction, and therefore, the VR gaming interface device 4000 other than the electronic device 1000 may be used.
  • the edge data network 2000 may generate a VR game image (interactive VR image) included in the VR sequence based on the instruction of the VR game processing module 1686 .
  • the VR game processing module 1686 may store instructions for generating a first partial image of the VR game image based on the orientation information, the rotation speed information, and the VR gaming interface device sensing information 1652 .
  • the VR game processing module 1686 may store an instruction for outputting the VR gaming interface device control information 1654 .
  • the electronic device 1000 may transmit the VR gaming interface device sensing information 1652 to the edge data network 2000 for VR game processing. In this case, the electronic device 1000 may receive the VR gaming interface device sensing information from the VR gaming interface device 4000 .
  • the VR gaming interface device 4000 may include a network interface 4020 , a sensing module 4010 , and an actuating module 4030 .
  • the network interface 4020 may be a module for communicating with the outside
  • the sensing module 4010 may be a module for detecting a user's motion.
  • the sensing module 4010 may obtain sensing information of the VR gaming interface device.
  • the actuating module 4030 may be a module that provides various types of outputs (haptic feedback) such as vibration to the user.
  • the actuating module 4030 may provide various types of outputs to the user based on the VR gaming interface device sensing control information.
  • the VR gaming interface device 4000 may transmit sensing information of the VR gaming interface device to the electronic device 1000 . Also, the VR gaming interface device 4000 may receive VR gaming interface device control information from the electronic device 1000 .
  • the VR interface device sensing information is transmitted to the edge data network 2000 via the electronic device 1000 , or the VR interface device sensing information and the VR interface device control information are transmitted to the VR gaming interface device 4000 via the electronic device 1000 .
  • the VR interface device sensing information and the VR interface device control information are transmitted to the VR gaming interface device 4000 via the electronic device 1000 .
  • synchronization information for synchronization with the electronic device 1000 may be transmitted together.
  • FIG. 16 an operation procedure between an electronic device, an edge data network, and a VR gaming interface device in the field of VR gaming has been described, but the present invention is not limited thereto. Those skilled in the art can understand that it can be used in many fields that can intervene in content.
  • 17 is a block diagram of an electronic device according to an embodiment of the present disclosure.
  • the electronic device connected to the edge data network of FIGS. 1 to 16 may correspond to the electronic device 110 of FIG. 17 .
  • the electronic device 110 communicates with the electronic device 1702 (where the electronic device includes a VR gaming interface device) via a first network 1798 (eg, a short-range wireless communication network). or communicate with the electronic device 1704 or the server 1708 through the second network 1799 (eg, a remote wireless communication network).
  • the electronic device 110 may communicate with the electronic device 1704 through the server 1708 .
  • the electronic device 110 includes a processor 1720 , a memory 1730 , an input device 1750 , a sound output device 1755 , a display device 1760 , an audio module 1770 , and a sensor module ( 1776 , interface 1777 , haptic module 1779 , camera module 1780 , power management module 1788 , battery 1789 , communication module 1790 , subscriber identification module 1796 , or antenna module 1797 ) ) may be included.
  • at least one of these components eg, the display device 1760 or the camera module 1780
  • the sensor module 1776 may be implemented while being embedded in the display device 1760 (eg, a display).
  • the processor 1720 executes software (eg, a program 1740) to execute at least one other component (eg, hardware or software component) of the electronic device 110 connected to the processor 1720. It can control and perform various data processing or operations. According to an embodiment, as at least part of data processing or operation, the processor 1720 stores commands or data received from other components (eg, the sensor module 1776 or the communication module 1790 ) into volatile memory. ) 1732 may be loaded, a command or data stored in the volatile memory 1732 may be processed, and the resultant data may be stored in a non-volatile memory 1734 .
  • software eg, a program 1740
  • the processor 1720 stores commands or data received from other components (eg, the sensor module 1776 or the communication module 1790 ) into volatile memory.
  • 1732 may be loaded, a command or data stored in the volatile memory 1732 may be processed, and the resultant data may be stored in a non-volatile memory 1734 .
  • the processor 1720 may execute an application client, and as the application client is executed, it may transmit a request message for confirming a network protocol to be used by the application client to the edge data network 2000 . Also, the processor 1720 may receive a response message indicating a network protocol to be used by the application client from the edge data network 2000 . The processor 1720 may update the network protocol to be used by the UE application based on the response message. The processor 1720 may select a network socket corresponding to the updated network protocol. The processor 1720 may receive data generated for the application client from the edge data network 2000 by using the selected network socket.
  • the processor 1720 includes a main processor 1721 (eg, a central processing unit (CPU) or an application processor (AP)), and a coprocessor capable of operating independently or together with the processor 1720 .
  • 1723 eg, a graphic processing unit (GPU), an image signal processor (ISP), a sensor hub processor, or a communication processor (CP)
  • the auxiliary processor 1723 may be configured to use less power than the main processor 1721 or to be specialized for a designated function.
  • the coprocessor 1723 may be implemented separately from or as part of the main processor 1721 .
  • the coprocessor 1723 may be, for example, on behalf of the main processor 1721 or the main processor 1721 while the main processor 1721 is in an inactive (eg, sleep) state. At least one of the components of the electronic device 110 (eg, the display device 1760 , the sensor module 1776 together with the main processor 1721 ) while in an active (eg, application execution) state ), or at least some of functions or states related to the communication module 1790).
  • the coprocessor 1723 eg, an image signal processor or a communication processor
  • may be implemented as part of another functionally related component eg, the camera module 1780 or the communication module 1790 ). have.
  • the memory 1730 may store various data used by at least one component of the electronic device 110 (eg, the processor 1720 or the sensor module 1776 ).
  • the data may include, for example, input data or output data for software (eg, a program 1740) and instructions related thereto.
  • the memory 1730 may include a volatile memory 1732 or a non-volatile memory 1734 .
  • the program 1740 may be stored as software in the memory 1730 and may include, for example, an operating system (OS) 1742 , middleware 1744 , or an application 1746 . .
  • the program 1740 may include the first application client 122 and the second application client 124 of FIG. 1 .
  • the program 1740 may include the edge enabler client 130 of FIG. 1 .
  • the input device 1750 may receive a command or data to be used by a component (eg, the processor 1720 ) of the electronic device 1710 from the outside (eg, a user) of the electronic device 110 .
  • a component eg, the processor 1720
  • the input device 1750 may receive a command or data to be used by a component (eg, the processor 1720 ) of the electronic device 1710 from the outside (eg, a user) of the electronic device 110 .
  • the sound output device 1755 may output a sound signal to the outside of the electronic device 110 .
  • the sound output device 1755 may include, for example, a speaker.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the display device 1760 may visually provide information to the outside (eg, a user) of the electronic device 110 .
  • the display device 1760 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the corresponding device.
  • the display device 1760 may include a touch circuitry configured to sense a touch or a sensor circuit configured to measure the intensity of a force generated by the touch (eg, a pressure sensor). may include.
  • the audio module 1770 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 1770 acquires a sound through the input device 1750 , or an external electronic device (eg, a sound output device 1755 ) directly or wirelessly connected to the electronic device 110 . The sound may be output through the electronic device 1702 (eg, a speaker or headphones).
  • an external electronic device eg, a sound output device 1755
  • the sound may be output through the electronic device 1702 (eg, a speaker or headphones).
  • the sensor module 1776 detects an operating state (eg, power or temperature) of the electronic device 110 or an external environmental state (eg, user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 1776 may include, for example, a gesture sensor, a gyro sensor, a barometer sensor, a magnetic sensor, and an acceleration sensor.
  • grip sensor proximity sensor, color sensor (eg, RGB (red, green, blue) sensor), IR (infrared) sensor, biometric sensor, temperature Sensor (temperature sensor), humidity sensor (humidity sensor), illuminance sensor (illuminance sensor), or sensors related to autonomous vehicles (eg, inertial measurement sensor (IMU), global positioning system (GPS) sensor, camera, LIDAR ( Light Imaging Detection and Ranging), RADAR (Radio Detection and Ranging, etc.) may include a sensor module.
  • color sensor eg, RGB (red, green, blue) sensor
  • IR infrared
  • biometric sensor e.g., temperature Sensor (temperature sensor), humidity sensor (humidity sensor), illuminance sensor (illuminance sensor), or sensors related to autonomous vehicles (eg, inertial measurement sensor (IMU), global positioning system (GPS) sensor, camera, LIDAR ( Light Imaging Detection and Ranging), RADAR (Radio Detection and Ranging, etc.) may include
  • the interface 1777 may support one or more designated protocols that may be used for direct or wireless connection with an external electronic device (eg, the electronic device 1702 ) of the electronic device 110 .
  • connection terminal 1778 may include a connector through which the electronic device 110 may be physically connected to an external electronic device (eg, the electronic device 1702 ).
  • the haptic module 1779 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that a user can perceive through tactile or kinesthetic sense.
  • the camera module 1780 may capture still images and moving images. According to one embodiment, the camera module 1780 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 1788 may manage power supplied to the electronic device 1710 .
  • the battery 1789 may supply power to at least one component of the electronic device 1710 .
  • the communication module 1790 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 110 and an external electronic device (eg, the electronic device 1702, the electronic device 1704, or the server 1708). It can support establishment and communication through the established communication channel.
  • the communication module 1790 may include one or more communication processors that operate independently of the processor 1720 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 1790 may include a wireless communication module 1792 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 1794 (eg, : LAN (local area network) communication module, or a power line communication module) may be included.
  • a wireless communication module 1792 eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 1794 eg, : LAN (local area network) communication module, or a power line communication module
  • the corresponding communication module is a first network 1798 (eg, a short-range communication network such as Bluetooth, Wi-Fi direct, or infrared data association (IrDA)) or a second network 1799 (eg, a cellular network, the Internet).
  • a first network 1798 eg, a short-range communication network such
  • a computer network eg, a telecommunication network such as a LAN or a wide area network (WAN)
  • a telecommunication network such as a LAN or a wide area network (WAN)
  • WAN wide area network
  • the wireless communication module 1792 communicates with the first network 1798 or the second network 1799 using subscriber information (eg, international mobile subscriber identity (IMSI)) stored in the subscriber identification module 1796 .
  • subscriber information eg, international mobile subscriber identity (IMSI)
  • IMSI international mobile subscriber identity
  • the antenna module 1797 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 110 and the external electronic device 1704 through the server 1708 connected to the second network 1799 .
  • Each of the electronic devices 1702 and 1704 may be the same or a different type of device as the electronic device 110 .
  • all or part of the operations performed by the electronic device 110 may be executed by one or more of the external electronic devices 1702 , 1704 , or 1708 .
  • the electronic device 110 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices 1702 and 1704 may be requested to perform at least a part of the function or the service.
  • the one or more external electronic devices 1702 and 1704 that have received the request execute at least a part of the requested function or service, or an additional function or service related to the request, and send a result of the execution to the electronic device 110 .
  • the electronic device 110 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, or client-server computing technology may be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 개시는, 엣지 컴퓨팅 서비스(예: MEC(multi-access edge computing) 서비스)를 이용한 영상 컨텐츠 전송 방법 및 장치에 관한 것으로, 일 실시 예에 의하면, 엣지 데이터 네트워크가 엣지 데이터 네트워크와 연결된 전자 장치로부터 감지된 방위 정보를 포함하는 센서 정보를 획득하는 단계; 엣지 데이터 네트워크와 전자 장치 사이의 네트워크 상태 정보를 포함하는 상태 정보를 획득하는 단계; 센서 정보 및 상태 정보를 기초로 제1 부분 영상의 크기 및 위치를 식별하는 단계; 및 식별된 제1 부분 영상의 크기 및 위치를 기초로, 제1 부분 영상을 부호화하여 제1 프레임을 생성하는 단계; 및 생성된 제1 프레임을 전자 장치로 전송하는 단계;를 포함할 수 있다.

Description

엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치
본 개시는 엣지 컴퓨팅 서비스(예: MEC(multi-access edge computing) 서비스)를 이용한 영상 컨텐츠 전송 방법 및 장치에 관한 것이다.
최근, 엣지 서버(edge server)를 이용하여 데이터를 전송하는 엣지 컴퓨팅(edge computing) 기술이 논의되고 있다. 엣지 컴퓨팅 기술은, 예를 들어, MEC(Multi-access Edge Computing) 또는 포그 컴퓨팅(fog computing, FOC)을 포함할 수 있다. 엣지 컴퓨팅 기술은 전자 장치와 지리적으로 가까운 위치, 예를 들어, 기지국 내부 또는 기지국 근처에 설치된 별도의 서버(이하, '엣지 데이터 네트워크' 또는 'MEC 서버'라 한다)를 통해 전자 장치로 데이터를 제공하는 기술을 의미할 수 있다. 예를 들어, 전자 장치에 설치된 적어도 하나의 애플리케이션 중 낮은 지연 시간(latency)을 요구하는 애플리케이션은 외부 데이터 네트워크(data network, DN)(예: 인터넷)에 위치한 서버를 통하지 않고, 지리적으로 가까운 위치에 설치된 엣지 서버를 통해 데이터를 송수신할 수 있다.
최근에는 엣지 컴퓨팅 기술을 이용한 서비스(이하, 'MEC 기반 서비스' 또는 'MEC 서비스'라 한다)에 관하여 논의되고 있으며, MEC 기반 서비스를 지원하도록 전자 장치에 관한 연구 및 개발이 진행되고 있다. 예를 들면, 전자 장치의 애플리케이션은 엣지 서버(또는 엣지 서버의 애플리케이션)와 애플리케이션 레이어(application layer) 상에서 엣지 컴퓨팅 기반 데이터를 송수신할 수 있다.
MEC 기반 서비스를 지원하기 위한 연구 및 개발이 진행됨에 따라, MEC를 이용한 고해상도 영상 컨텐츠를 전자 장치로 제공하기 위한 기술들이 논의 되고 있다.
상술한 논의를 바탕으로, 본 개시는 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치에 관한 것이다.
보다 상세하게는, 엣지 데이터 네트워크가 영상 컨텐츠를 전자 장치로 전송하는 방법 및 전자 장치로 영상 컨텐츠를 제공하는 엣지 데이터 네트워크를 제공한다.
또한, 본 개시는 전자 장치가 엣지 데이터 네트워크로부터 영상 컨텐츠를 수신하는 방법 및 엣지 데이터 네트워크로부터 영상 컨텐츠를 수신하는 전자 장치를 제공한다.
일 실시 예에 의하면, 엣지 데이터 네트워크가 영상 컨텐츠를 전송하는 방법은, 상기 엣지 데이터 네트워크와 연결된 전자 장치로부터 감지된 방위 정보를 포함하는 센서 정보(sensor information)를 획득하는 단계; 상기 엣지 데이터 네트워크와 상기 전자 장치 사이의 네트워크 상태 정보를 포함하는 상태 정보를 획득하는 단계; 상기 센서 정보 및 상기 상태 정보를 기초로, 제1 부분 영상의 크기 및 위치를 식별하는 단계; 상기 식별된 제1 부분 영상의 크기 및 위치를 기초로, 제1 부분 영상을 부호화하여 제1 프레임을 생성하는 단계; 및 상기 생성된 제1 프레임을 상기 전자 장치로 전송하는 단계를 포함한다.
이때, 상기 센서 정보는 회전 속도 정보를 더 포함하고, 상기 상태 정보는 연결 장치 상태 정보를 더 포함하고, 상기 센서 정보 및 상기 상태 정보를 기초로, 제1 부분 영상의 비트레이트 또는 소정의 시간당 프레임 수를 식별하는 단계를 더 포함하고, 상기 제1 부분 영상을 부호화하여 제1 프레임을 생성하는 단계는, 상기 식별된 제1 부분 영상의 크기, 위치, 비트레이트(Bitrate) 및 소정의 시간당 프레임 수 중 적어도 하나를 기초로, 상기 제1 부분 영상을 부호화하여 제1 프레임을 생성할 수 있다.
제1 부분 영상은 복수의 프레임을 포함하는 VR 시퀀스의 소정의 프레임 인덱스를 가지는 제1 VR 영상 내 부분 영상이며, 상기 제1 부분 영상은 부분 영상의 위치를 나타내는 방위 정보와 관련될 수 있다.
상기 센서 정보 및 상기 상태 정보를 기초로, 제1 부분 영상의 크기, 위치, 비트레이트(Bitrate), 및 소정의 시간당 프레임 수 중 적어도 하나를 식별하는 단계는,
상기 상태 정보에 포함된 적어도 하나의 네트워크 상태, 상기 엣지 데이터 네트워크의 상태 및 상기 전자 장치의 상태 중 적어도 하나의 상태에 관한 적어도 하나의 상태 파라메터의 값이 적어도 하나의 제1 임계값보다 작거나 같은 경우,
상기 제1 임계값보다 작거나 같은 상기 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기 및 소정의 시간당 프레임 수를 식별하는 단계;
상기 상태 정보에 포함된 적어도 하나의 상태 파라메터의 값이 적어도 하나의 제2 임계값보다 큰 경우,
상기 제2 임계값보다 큰 상기 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기 및 상기 제1 부분 영상의 소정의 시간당 프레임 수를 식별하는 단계 중 적어도 하나의 단계를 포함하고,
상기 제1 임계값보다 작거나 같은 상기 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기는 상기 제2 임계값보다 큰 상기 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기보다 크고, 상기 제1 임계값보다 작거나 같은 상기 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 소정의 시간당 프레임 수는 상기 제2 임계값보다 큰 상기 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 소정의 시간당 프레임 수보다 작을 수 있다.
상기 센서 정보 및 상기 상태 정보를 기초로 제1 부분 영상의 크기, 위치, 비트레이트(Bitrate) 및 소정의 시간당 프레임 수 중 적어도 하나를 식별하는 단계는,
상기 상태 정보에 포함된 적어도 하나의 네트워크 상태, 상기 엣지 데이터 네트워크의 상태 및 상기 전자 장치의 상태 중 적어도 하나의 상태에 관한 적어도 하나의 상태 파라메터의 값이 적어도 하나의 제1 임계값보다 작거나 같은 경우, 상기 제1 임계값보다 작거나 같은 상기 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기, 상기 제1 부분 영상의 소정의 시간당 프레임 수 및 상기 제1 부분 영상의 비트레이트를 식별하는 단계; 및
상기 상태 정보에 포함된 적어도 하나의 상태 파라메터의 값이 적어도 하나의 제2 임계값보다 큰 경우, 상기 제2 임계값보다 큰 상기 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기, 상기 제1 부분 영상의 소정의 시간당 프레임 수 및 상기 제1 부분 영상의 비트레이트를 식별하는 단계 중 적어도 하나의 단계를 포함하고,
상기 제1 임계값보다 작거나 같은 상기 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기는 상기 제2 임계값보다 큰 상기 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기보다 크고, 상기 제1 임계값보다 작거나 같은 상태 파라메터에 대응하는 상기 제1 부분 영상의 소정의 시간당 프레임 수는 상기 제2 임계값보다 큰 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 소정의 시간당 프레임 수보다 작고,
상기 제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 비트레이트는 상기 제2 임계값보다 큰 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 비트레이트보다 작을 수 있다.
상기 센서 정보 및 상기 상태 정보를 기초로 제1 부분 영상의 크기, 위치, 비트레이트(Bitrate) 및 소정의 시간당 프레임 수 중 적어도 하나를 식별하는 단계는,
상기 센서 정보에 포함된 회전 속도 정보의 회전 속도가 제1 임계값보다 큰 경우, 상기 제1 임계값보다 큰 회전 속도에 대응하는 상기 제1 부분 영상의 크기를 식별하는 단계; 및
상기 회전 속도 정보의 회전 속도가 제2 임계값보다 작거나 같은 경우, 상기 제2 임계값보다 작거나 같은 회전 속도에 대응하는 상기 제1 부분 영상의 크기를 식별하는 단계 중 적어도 하나의 단계를 포함하고,
상기 제1 임계값보다 큰 회전 속도에 대응하는 상기 제1 부분 영상의 크기가 상기 제2 임계값보다 작거나 같은 회전 속도에 대응하는 제1 부분 영상의 크기보다 클 수 있다.
상기 센서 정보 및 상기 상태 정보를 기초로 제1 부분 영상의 크기, 위치, 비트레이트(Bitrate) 및 소정의 시간당 프레임 수 중 적어도 하나를 식별하는 단계는,
상기 회전 속도 정보의 회전 속도가 제1 임계값보다 큰 경우, 상기 제1 임계값보다 큰 회전 속도에 대응하는 상기 제1 부분 영상의 크기 및 상기 제1 부분 영상의 소정의 시간당 프레임 수를 식별하는 단계; 및
상기 회전 속도 정보의 회전 속도가 제2 임계값보다 작거나 같은 경우, 상기 제2 임계값보다 작거나 같은 회전 속도에 대응하는 상기 제1 부분 영상의 크기 및 상기 제1 부분 영상의 소정의 시간당 프레임 수를 식별하는 단계 중 적어도 하나의 단계를 포함하고,
상기 제1 임계값보다 큰 회전 속도에 대응하는 상기 제1 부분 영상의 크기가 상기 제2 임계값보다 작거나 같은 회전 속도에 대응하는 제1 부분 영상의 크기보다 크고, 상기 제1 임계값보다 큰 회전 속도에 대응하는 상기 제1 부분 영상의 소정의 시간당 프레임 수가 상기 제2 임계값보다 작거나 같은 회전 속도에 대응하는 상기 제1 부분 영상의 소정의 시간당 프레임 수보다 작을 수 있다.
상기 센서 정보 및 상기 상태 정보를 기초로 제1 부분 영상의 크기, 위치, 비트레이트(Bitrate) 및 소정의 시간당 프레임 수 중 적어도 하나를 식별하는 단계는,
제1 임계값보다 큰 회전 속도에 대응하는 상기 제1 부분 영상의 크기, 상기 제1 부분 영상의 소정의 시간당 프레임 수 및 상기 제1 부분 영상의 비트레이트를 식별하는 단계; 및
제2 임계값보다 작거나 같은 회전 속도에 대응하는 상기 제1 부분 영상의 크기, 상기 제1 부분 영상의 소정의 시간당 프레임 수 및 상기 제1 부분 영상의 비트레이트를 식별하는 단계;
중 적어도 하나의 단계를 포함하고,
상기 제1 임계값보다 큰 회전 속도에 대응하는 상기 제1 부분 영상의 크기가 상기 제2 임계값보다 작거나 같은 회전 속도에 대응하는 제1 부분 영상의 크기보다 크고, 상기 제1 임계값보다 큰 회전 속도에 대응하는 상기 제1 부분 영상의 소정의 시간당 프레임 수가 상기 제2 임계값보다 작거나 같은 회전 속도에 대응하는 상기 제1 부분 영상의 소정의 시간당 프레임 수보다 작고, 상기 제1 임계값보다 큰 회전 속도에 대응하는 상기 제1 부분 영상의 비트레이트가 상기 제2 임계값보다 작거나 같은 회전 속도에 대응하는 상기 제1 부분 영상의 비트레이트를 이전보다 작을 수 있다.
상기 제1 부분 영상은 상기 방위 정보에 대응하는 사용자 시야각 영상 및 소정의 시간당 프레임 수에 대응하는 여분의 시야각 영상을 포함할 수 있다.
상기 제1 부분 영상은 상기 방위 정보에 대응하는 사용자 시야각 영상 및 상기 회전 속도 정보의 회전 속도 및 회전 방향 중 적어도 하나에 대응하는 여분의 시야각 영상을 포함할 수 있다.
상기 제1 부분 영상은 상기 방위 정보에 대응하는 사용자 시야각 영상 및 상기 회전 속도 정보의 회전 속도 및 회전 방향 중 적어도 하나와 소정의 시간당 프레임 수를 기초로 식별된 여분의 시야각 영상을 포함할 수 있다.
상기 여분의 시야각 영상은 상기 시야각 영상을 기준으로 상기 회전 방향에 위치하는 제1 여분 시야각 영상 및 상기 회전 방향과 반대 방향에 위치하는 제2 여분 시야각 영상을 포함하고,
상기 제1 여분 시야각 영상은 상기 제2 여분 시야각 영상보다 클 수 있다.
상기 제1 부분 영상은 소정의 시야각 범위의 데이터 단위로 구성되고,
상기 제1 부분 영상을 부호화하여 제1 프레임을 생성하는 단계는,
상기 제1 부분 영상 중 상기 사용자 시야각 영상에 대응하는 적어도 하나의 소정의 시야각 범위의 제1 데이터 단위 및 상기 제1 부분 영상 중 상기 여분의 시야각 영상에 대응하는 적어도 하나의 소정의 시야각 범위의 제2 데이터 단위를 부호화하는 단계; 및
상기 부호화된 제1 데이터 단위 및 제2 데이터 단위를 포함하는 상기 제1 프레임을 생성하는 단계를 포함할 수 있다.
상기 센서 정보 및 상기 상태 정보를 기초로 제1 부분 영상의 크기, 위치, 비트레이트(Bitrate) 및 소정의 시간당 프레임 수 중 적어도 하나를 식별하는 단계는,
상기 상태 정보에 포함된 적어도 하나의 네트워크 상태, 상기 엣지 데이터 네트워크의 상태 및 상기 전자 장치의 상태 중 적어도 하나의 상태에 관한 적어도 하나의 상태 파라메터의 값이 적어도 하나의 제1 임계값보다 작거나 같고, 상기 회전 속도 정보의 회전 속도가 제3 임계값보다 큰 경우,
상기 제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 소정의 시간당 프레임 수 및 상기 제1 부분 영상의 비트 레이트를 식별하고, 상기 제3 임계값보다 큰 회전 속도에 대응하는 제1 부분 영상의 크기를 식별하는 단계; 및
상기 상태 정보에 포함된 적어도 하나의 상태 파라메터의 값이 적어도 하나의 제2 임계값보다 크고, 상기 회전 속도 정보의 회전 속도가 제4 임계값보다 작거나 같은 경우,
상기 제2 임계값보다 큰 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 소정의 시간당 프레임 수 및 상기 제1 부분 영상의 비트 레이트를 식별하고, 상기 제4 임계값보다 작거나 같은 회전 속도에 대응하는 제1 부분 영상의 크기를 식별하는 단계; 중 적어도 하나의 단계를 포함하고,
상기 제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 시간당 프레임 수는, 상기 제2 임계값보다 큰 저겅도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 시간당 프레임 수보다 작고, 상기 제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 비트 레이트는 상기 제2 임계값보다 큰 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 비트 레이트보다 작고, 상기 제3 임계값보다 큰 회전 속도에 대응하는 제1 부분 영상의 크기는 상기 제4 임계값보다 작거나 같은 회전 속도에 대응하는 제1 부분 영상의 크기보다 크고,
상기 제1 부분 영상은 상기 방위 정보에 대응하는 시야각 영상 및 상기 회전 속도에 대응하는 여분의 시야각 영상을 포함하고,
상기 여분의 시야각 영상은 상기 회전 속도를 기초로, LUT 형태(Look Up Table)로 미리 설정된 여분의 시야각을 획득하고, 상기 획득된 시야각을 기초로 식별될 수 있다.
일 실시 예에 의하면, 전자 장치로 영상 컨텐츠를 전송하는 엣지 데이터 네트워크는,
네트워크 인터페이스;
하나 이상의 인스트럭션들을 저장하는 메모리;
상기 하나 이상의 인스트럭션들을 실행하는 프로세서;를 포함하고,
상기 프로세서는 하나 이상의 인스트럭션들을 실행함으로써,
상기 엣지 데이터 네트워크와 연결된 전자 장치로부터 감지된 방위 정보를 포함하는 센서 정보(sensor information)를 획득하고,상기 엣지 데이터 네트워크와 상기 전자 장치 사이의 네트워크 상태 정보를 포함하는 상태 정보를 획득하고,상기 센서 정보 및 상기 상태 정보를 기초로, 제1 부분 영상의 크기 및 위치를 식별하고,
상기 식별된 제1 부분 영상의 크기 및 위치를 기초로, 제1 부분 영상을 부호화하여 제1 프레임을 생성하고, 상기 생성된 제1 프레임을 상기 전자 장치로 전송한다.
상기 센서 정보는 회전 속도 정보를 더 포함하고,
상기 상태 정보는 연결 장치 상태 정보를 더 포함하고,
상기 프로세서는 하나 이상의 인스트럭션들을 실행함으로써, 상기 센서 정보 및 상기 상태 정보를 기초로, 제1 부분 영상의 비트레이트 또는 소정의 시간당 프레임 수를 더 식별하고,
상기 제1 부분 영상을 부호화하여 제1 프레임을 생성할 때, 상기 식별된 제1 부분 영상의 크기, 위치, 비트레이트(Bitrate) 및 소정의 시간당 프레임 수 중 적어도 하나를 기초로, 상기 제1 부분 영상을 부호화하여 제1 프레임을 생성할 수 있다.
상기 센서 정보 및 상기 상태 정보를 기초로 제1 부분 영상의 크기, 위치, 비트레이트(Bitrate) 및 소정의 시간당 프레임 수 중 적어도 하나를 식별할 때,
상기 상태 정보에 포함된 적어도 하나의 네트워크 상태, 상기 엣지 데이터 네트워크의 상태 및 상기 전자 장치의 상태 중 적어도 하나의 상태에 관한 적어도 하나의 상태 파라메터의 값이 적어도 하나의 제1 임계값보다 작거나 같은 경우,
상기 제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기 및 소정의 시간당 프레임 수를 식별하는 동작; 및
상기 상태 정보에 포함된 적어도 하나의 상태 파라메터의 값이 적어도 하나의 제2 임계값보다 큰 경우, 상기 제2 임계값보다 큰 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기 및 상기 제1 부분 영상의 소정의 시간당 프레임 수를 식별하는 동작; 중 적어도 하나의 동작을 수행하고,상기 제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기는 상기 제2 임계값보다 큰 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기보다 크고, 상기 제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 소정의 시간당 프레임 수는 상기 제2 임계값보다 큰 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 소정의 시간당 프레임 수보다 작을 수 있다.
상기 센서 정보 및 상기 상태 정보를 기초로 제1 부분 영상의 크기, 위치, 비트레이트(Bitrate) 및 소정의 시간당 프레임 수 중 적어도 하나를 식별할 때,
상기 상태 정보에 포함된 적어도 하나의 네트워크 상태, 상기 엣지 데이터 네트워크의 상태 및 상기 전자 장치의 상태 중 적어도 하나의 상태에 관한 적어도 하나의 상태 파라메터의 값이 적어도 하나의 제1 임계값보다 작거나 같은 경우, 상기 제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기, 소정의 시간당 프레임 수 및 비트 레이트를 식별하는 동작; 및
상기 상태 정보에 포함된 적어도 하나의 상태 파라메터의 값이 적어도 하나의 제2 임계값보다 큰 경우, 상기 제2 임계값보다 큰 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기 및 상기 제1 부분 영상의 소정의 시간당 프레임 수를 식별하는 동작 중 적어도 하나의 동작을 수행하고,
상기 제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기는 상기 제2 임계값보다 큰 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기보다 크고, 상기 제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 소정의 시간당 프레임 수는 상기 제2 임계값보다 큰 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 소정의 시간당 프레임 수보다 작고, 상기 제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터에 대응하는 비트 레이트는 상기 제2 임계값보다 작은 상기 제2 임계값보다 큰 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 소정의 시간당 프레임 수보다 클 수 있다.
상기 센서 정보 및 상기 상태 정보를 기초로 제1 부분 영상의 크기, 위치, 비트레이트(Bitrate) 및 소정의 시간당 프레임 수 중 적어도 하나를 식별할 때,
상기 회전 속도 정보의 회전 속도가 제1 임계값보다 큰 경우, 상기 제1 임계값보다 큰 회전 속도에 대응하는 상기 제1 부분 영상의 크기를 식별하는 동작; 및
상기 회전 속도 정보의 회전 속도가 제2 임계값보다 작거나 같은 경우, 상기 제2 임계값보다 작거나 같은 회전 속도에 대응하는 제1 부분 영상의 크기를 식별하는 동작 중 적어도 하나의 동작을 수행하고,
상기 제1 임계값보다 큰 회전 속도에 대응하는 상기 제1 부분 영상의 크기는
상기 제2 임계값보다 작거나 같은 회전 속도에 대응하는 제1 부분 영상의 크기보다 클 수 있다.
상기 센서 정보 및 상기 상태 정보를 기초로 제1 부분 영상의 크기, 위치, 비트레이트(Bitrate) 및 소정의 시간당 프레임 수 중 적어도 하나를 식별할 때,
상기 회전 속도 정보의 회전 속도가 제1 임계값보다 큰 경우, 상기 제1 임계값보다 큰 회전 속도에 대응하는 상기 제1 부분 영상의 크기, 상기 제1 부분 영상의 소정의 시간당 프레임 수 및 상기 제1 부분 영상의 비트레이트를 식별하는 동작; 및
상기 회전 속도 정보의 회전 속도가 제2 임계값보다 작거나 같은 경우, 상기 제2 임계값보다 작거나 같은 회전 속도에 대응하는 상기 제1 부분 영상의 크기, 상기 제1 부분 영상의 소정의 시간당 프레임 수 및 상기 제1 부분 영상의 비트레이트를 식별하는 동작 중 적어도 하나의 동작을 수행하고,
상기 제1 임계값보다 큰 회전 속도에 대응하는 상기 제1 부분 영상의 크기는 상기 제2 임계값보다 작거나 같은 회전 속도에 대응하는 상기 제1 부분 영상의 크기보다 크고, 상기 제1 임계값보다 큰 회전 속도에 대응하는 상기 제1 부분 영상의 소정의 시간당 프레임 수는 상기 제2 임계값보다 작거나 같은 회전 속도에 대응하는 제1 부분 영상의 소정의 시간당 프레임 수보다 작고, 상기 제1 임계값보다 큰 회전 속도에 대응하는 비트 레이트는 상기 제2 임계값보다 작거나 같은 회전 속도에 대응하는 제1 부분 영상의 소정의 시간당 프레임 수보다 클 수 있다.
상기 제1 부분 영상은 상기 방위 정보에 대응하는 사용자의 시야각 영상 및 소정의 시간당 프레임 수에 대응하는 여분의 시야각 영상을 포함할 수 있다.
일 실시에에 의한, 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체는
엣지 데이터 네트워크가
상기 엣지 데이터 네트워크와 연결된 전자 장치로부터 감지된 방위 정보를 포함하는 센서 정보(sensor information)를 획득하는 단계;
상기 엣지 데이터 네트워크와 상기 전자 장치 사이의 네트워크 상태 정보를 포함하는 상태 정보를 획득하는 단계;
상기 센서 정보 및 상기 상태 정보를 기초로, 제1 부분 영상의 크기 및 위치를 식별하는 단계;
상기 식별된 제1 부분 영상의 크기 및 위치를 기초로, 제1 부분 영상을 부호화하여 제1 프레임을 생성하는 단계; 및
상기 생성된 제1 프레임을 상기 전자 장치로 전송하는 단계를 포함하는, 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한다.
개시된 실시 예는 엣지 데이터 네트워크 및 전자 장치 사이에서 영상 컨텐츠를 기초로 효과적으로 동작을 수행할 수 있는 방법을 제공한다.
도 1은 본 개시의 일 실시 예에 따른 네트워크 환경에서 MEC(multi-access edge computing) 기술을 설명하기 위해 개략적으로 도시하는 도면이다.
도 2는 본 개시의 일 실시예에 따라, 엣지 데이터 네트워크(2000)가 사용자 시점(시야 방향), 상태 파라메터 및 회전 속도를 고려하여, 여분의 시야각 영상을 포함하는 확장된(Extended) Fov(Field of View) 영상을 적응적으로 스트리밍하는 방법을 설명하기 위한 도면이다.
도 3는 본 개시의 일 실시 예에 따른 전자 장치와 엣지 데이터 네트워크 간의 동작 절차를 나타내는 흐름도이다.
도 4는 전자 장치와 엣지 데이터 네트워크(edge data network) 간의 동작 절차를 개략적으로 설명하기 위한 도면이다.
도 5a는 본 개시의 일 실시 예에 따른 엣지 데이터 네트워크가 영상 컨텐츠를 스트리밍 하는 방법을 나타내는 흐름도이다.
도 5b는 본 개시의 일 실시 예에 따른 엣지 데이터 네트워크(2000)가 상태 정보를 기초로 제1 부분 영상의 부호화 프레임 파라메터를 식별하는 방법을 구체적으로 설명하기 위한 도면이다.
도 5c는 본 개시의 일 실시 예에 따른 엣지 데이터 네트워크(2000)가 회전 속도 정보를 기초로 제1 부분 영상의 부호화 프레임 파라메터를 식별하는 방법을 구체적으로 설명하기 위한 도면이다.
도 5d는 본 개시의 일 실시 예에 따른 엣지 데이터 네트워크(2000)가 상태 정보 및 회전 속도 정보를 기초로 제1 부분 영상의 부호화 프레임 파라메터를 식별하는 방법을 구체적으로 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 전자 장치가 엣지 데이터 네트워크로부터 획득된 영상 컨텐츠를 스트리밍하는 방법을 나타내는 흐름도이다.
도 7은 일 실시예에 따라, 본 개시의 일 실시 예에 따른 전자 장치와 엣지 데이터 네트워크 간의 동작 절차를 나타내는 흐름도이다.
도 8a는 일 실시예예 따라, 적어도 하나의 상태 파라메터가 제1 임계값보다 큰 경우에 엣지 데이터 네트워크(2000)가 제1 부분 영상을 스트리밍하는 과정을 설명하기 위한 도면이다.
도 8b는 일 실시예예 따라, 적어도 하나의 상태 파라메터가 제1 임계값보다 작거나 같은 경우에 엣지 데이터 네트워크(2000)가 제1 부분 영상을 스트리밍하는 과정을 설명하기 위한 도면이다.
도 8c는 일 실시예에 따라, 엣지 데이터 네트워크(2000)가 적어도 하나의 상태 파라메터가 제1 임계값보다 작거나 같은 경우, 부호화 프레임 파라메터를 적응적으로 변경하는 과정을 설명하기 위한 도면이다.
도 8d는 일 실시예에 따라, 상태 파라메터가 제1 임계값보다 큰 경우, 또는 작거나 같은 경우, 스트리밍되는 부호화 프레임의 파라메터를 도시한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치와 엣지 데이터 네트워크 간의 동작 절차를 나타내는 흐름도이다.
도 10a는 일 실시예예 따라, 사용자가 착용한 전자 장치(1000)의 회전속도가 제1 임계값보다 작거나 같은 경우, 엣지 데이터 네트워크(2000)가 제1 부분 영상을 스트리밍하는 과정을 설명하기 위한 도면이다.
도 10b는 일 실시예예 따라, 사용자의 머리에 착용한 전자 장치(1040)의 회전속도가 제1 임계값보다 큰 경우에 엣지 데이터 네트워크(2000)가 제1 부분 영상을 스트리밍하는 과정을 설명하기 위한 도면이다.
도 11은 일 실시예에 따라, 엣지 데이터 네트워크(2000)가 회전 속력이 제1값(빠른 속력)을 갖는 경우에 부호화 프레임의 좌우 시야각을 식별하는 과정을 설명하기 위한 도면이다.
도 12는 일 실시예에 따라, 엣지 데이터 네트워크(2000)가 회전 속력이 제2값(느린 속력)인 경우. 좌우 시야각을 식별하는 과정을 설명하기 위한 도면이다.
도 13은 일 실시예에 따라, 엣지 데이터 네트워크(2000)가 회전 속도가 제1값(빠른 속력)인 경우, 엣지 데이터 네트워크(2000)가 FPS를 낮게 설정한 후에, 좌우 시야각을 식별하는 과정을 설명하기 위한 도면이다.
도 14는 일 실시예에 따라, 엣지 데이터 네트워크(2000)가 객체 감지를 기초로 추가 여분의 시야각 영역을 식별하는 과정을 설명하기 위한 도면이다.
도 15는 일 실시예에 따라, 엣지 데이터 네트워크(2000)가 여러 조각의 데이터 단위를 기초로, 제1 부분 영상을 전자 장치(1000)로 전송하는 과정을 설명하기 위한 도면이다.
도 16은 전자 장치와 엣지 데이터 네트워크(edge data network) 및 VR 게이밍 인터페이스 장치 간의 동작 절차를 개략적으로 설명하기 위한 도면이다.
도 17은 본 개시의 일 실시 예에 따른 전자 장치의 블록도이다.
이하, 본 개시의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
실시 예를 설명함에 있어서 본 개시가 속하는 기술 분야에 익히 알려져 있고 본 개시와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 개시의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다. 또한 실시예에서 ‘~부’는 하나 이상의 프로세서를 포함할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 네트워크 환경에서 MEC(multi-access edge computing) 기술을 설명하기 위해 개략적으로 도시하는 도면이다.
도 1을 참조하면, 본 개시의 네트워크 환경(100)은 전자 장치(1000), 엣지 데이터 네트워크(2000), 클라우드 서버(3000) 및 액세스 네트워크(access network, AN, 1100)를 포함할 수 있다. 다만, 네트워크 환경(100)이 포함하는 구성이 이에 제한되는 것은 아니다.
일 실시예에 따르면, 네트워크 환경(100)에 포함되는 구성요소들 각각은 물리적인 객체(entity) 단위를 의미하거나, 개별적인 기능(function)을 수행할 수 있는 소프트웨어 또는 모듈 단위를 의미할 수 있다.
일 실시예에 따르면, 전자 장치(1000)는 사용자에 의해 사용되는 장치를 의미할 수 있다. 예를 들면, 전자 장치(1000)는 단말(terminal), 사용자 단말(UE, user equipment), 이동국(mobile station), 가입자국(subscriber station), 원격 단말(remote terminal), 무선 단말(wireless terminal), 또는 사용자 장치(user device)를 의미할 수 있다.
또한, 전자 장치(1000)는 가상 현실(Virtual Reality, VR), 증강 현실(Augmented Reality, AR), 또는 혼합 현실(Mixed Reality, MR) 중 적어도 하나를 포함하는 가상 환경에 사용자가 몰입(immersed) 하도록 하기 위한, 컨텐츠를 제공하는 단말일 수 있다. 즉, 일 실시 예에 의하면, 전자 장치(1000)는 가상 현실, 증강 현실 또는 혼합 현실을 위한 컨텐츠를 제공하는 헤드 마운트 디스플레이(Head Mounted Display, HMD) 또는 가상 현실 헤드셋(Virtual Reality Headset, VRH)일 수 있다.
도 1을 참조하면, 전자 장치(1000)는 제1 애플리케이션 클라이언트(또는, 애플리케이션 클라이언트)(122), 제2 애플리케이션 클라이언트(124) 및 엣지 인에이블러 클라이언트(edge enabler client)(또는, MEL(MEC enabling layer))(130)를 포함할 수 있다. 전자 장치(1000)는 MEC 서비스의 사용을 위하여 엣지 인에이블러 클라이언트(130)를 이용하여 필요한 작업을 수행할 수 있다. 엣지 인에이블러 클라이언트(130)에 대한 구체적인 설명은 후술된다.
일 실시예에 따르면, 전자 장치(1000)는 복수의 애플리케이션들을 실행할 수 있다. 예를 들면, 전자 장치(1000)는 제1 애플리케이션 클라이언트(122) 및 제2 애플리케이션 클라이언트(124)를 실행할 수 있다. 복수의 애플리케이션들은 요구되는 데이터 전송 속도, 지연 시간(또는 속도)(latency), 신뢰성(reliability), 네트워크에 접속(access)된 전자 장치의 수, 전자 장치(1000)의 네트워크 접속 주기, 또는 평균 데이터 사용량 중 적어도 하나에 기반하여 서로 다른 네트워크 서비스를 요구(require)할 수 있다. 서로 다른 네트워크 서비스는, 예를 들어, eMBB(enhanced mobile broadband), URLLC(ultra- reliable and low latency communication), 또는 mMTC(massive machine type communication)를 포함할 수 있다.
전자 장치(1000)의 애플리케이션 클라이언트는 전자 장치(1000)에 미리 설치된 기본 애플리케이션 또는 제 3자가 제공하는 애플리케이션을 의미할 수 있다. 즉, 특정 응용 서비스를 위하여 전자 장치(1000) 내에서 구동되는 클라이언트(client) 응용 프로그램을 의미할 수 있다. 전자 장치(1000) 내에는 여러 애플리케이션 클라이언트들이 구동될 수 있다. 이 애플리케이션 클라이언트들 중 적어도 하나 이상은 엣지 데이터 네트워크(2000)로부터 제공되는 서비스를 사용할 수 있다. 예를 들면, 애플리케이션 클라이언트는 전자 장치(1000)에 설치되어 실행되는 애플리케이션으로서, 엣지 데이터 네트워크(2000)를 통해 데이터를 송수신하는 기능을 제공할 수 있다. 전자 장치(1000)의 애플리케이션 클라이언트는, 하나 이상의 특정 엣지 애플리케이션들에 의해 제공된 기능을 이용하기 위해, 전자 장치(1000) 상에서 실행되는 애플리케이션 소프트웨어를 의미할 수 있다.
일 실시예에 따르면, 전자 장치(1000)의 복수의 애플리케이션들(122, 124)은 요구되는 네트워크 서비스 타입에 기반하여 클라우드 서버(3000)와 데이터 전송을 수행하거나, 또는 엣지 데이터 네트워크(2000)와 엣지 컴퓨팅에 기반한 데이터 전송을 수행할 수 있다. 예를 들어, 제1 애플리케이션 클라이언트(122)가 낮은 지연 시간을 요구하지 않으면, 제1 애플리케이션 클라이언트(122)는 클라우드 서버 (3000)와 데이터 전송을 수행할 수 있다. 다른 예를 들어, 제2 애플리케이션 클라이언트(124)가 낮은 지연 시간을 요구하면, 제2 애플리케이션 클라이언트(124)는 엣지 데이터 네트워크(2000)와 MEC 기반 데이터 전송을 수행할 수 있다.
일 실시예에 따르면, 전자 장치(1000)의 애플리케이션은, 애플리케이션 클라이언트(application client), 클라이언트 애플리케이션(client application, Client App), UE 애플리케이션(UE App)으로 지칭될 수 있다. 편의를 위해, 이하, 본 개시에서는 전자 장치(1000)의 애플리케이션은 애플리케이션 클라이언트로 지칭된다.
일 실시예에 따르면, 엑세스 네트워크(1100)는 전자 장치(1000)와의 무선 통신을 위한 채널(channel)을 제공할 수 있다. 예를 들면, 엑세스 네트워크(1100)는 RAN(radio access network), 기지국(base station), 이노드비(eNB, eNodeB), 5G 노드(5G node), 송수신 포인트(TRP, transmission/reception point), 또는 5GNB(5th generation NodeB)를 의미할 수 있다.
일 실시예에 따르면, 엣지 데이터 네트워크(2000)는 전자 장치(1000)가 MEC 서비스를 이용하기 위하여 접속하는 서버를 의미할 수 있다. 엣지 데이터 네트워크(2000)는 전자 장치와 지리적으로 가까운 위치, 예를 들어, 기지국 내부 또는 기지국 근처에 설치될 수 있다. 일 실시예에 따르면, 엣지 데이터 네트워크(2000)는 외부 데이터 네트워크(data network, DN)(예: 인터넷)를 통하지 않고, 전자 장치(1000)와 데이터를 송수신할 수 있다. 일 실시 예에서, MEC는 multi-access edge computing 또는 mobile-edge computing로 지칭될 수 있다.
일 실시예에 따르면, 엣지 데이터 네트워크(2000)는, MEC 호스트(host), 엣지 컴퓨팅 서버(edge computing server), 모바일 엣지 호스트(mobile edge host), 엣지 컴퓨팅 플랫폼(edge computing platform), MEC 서버 등으로 지칭될 수 있다. 편의를 위해, 이하, 본 개시에서는 MEC 서버는 엣지 데이터 네트워크(2000)로 지칭된다. 도 1을 참조하면, 엣지 데이터 네트워크(2000)는, 제1 엣지 애플리케이션(edge application)(142), 제2 엣지 애플리케이션(144) 및 엣지 인에이블러 서버(또는, MEP(MEC platform))(146)를 포함할 수 있다. 엣지 인에이블러 서버(146)는 엣지 데이터 네트워크(2000)에서 MEC 서비스를 제공하거나 트래픽 제어 등을 수행하는 구성으로, 엣지 인에이블러 서버(146)에 대한 구체적인 설명은 후술된다.
일 실시예에 따르면, 엣지 데이터 네트워크(2000)는 복수의 애플리케이션들을 실행할 수 있다. 예를 들면, 엣지 데이터 네트워크(2000)는 제1 엣지 애플리케이션(142) 및 제2 엣지 애플리케이션(144)을 실행할 수 있다. 일 실시예에 따르면, 엣지 에플리케이션은 MEC 서비스를 제공하는 엣지 데이터 네트워크 내 제 3자가 제공하는 응용 애플리케이션을 의미할 수 있고, 엣지 애플리케이션으로 지칭될 수도 있다. 엣지 애플리케이션은 애플리케이션 클라이언트와 관련된 데이터를 송수신하기 위하여, 애플리케이션 클라이언트와 데이터 세션을 형성하는데 이용될 수 있다. 즉, 엣지 애플리케이션은 애플리케이션 클라이언트와 데이터 세션을 형성할 수 있다. 일 실시예에서, 데이터 세션은, 전자 장치(1000)의 애플리케이션 클라이언트와 엣지 데이터 네트워크(2000)의 엣지 애플리케이션이 데이터를 송수신하기 위하여 형성되는 통신 경로를 의미할 수 있다.
일 실시예에 따르면, 엣지 데이터 네트워크(2000)의 애플리케이션은, MEC 애플리케이션(MEC App), ME(MEC) App, 엣지 애플리케이션 서버(edge application server) 및 엣지 애플리케이션으로 지칭될 수 있다. 편의를 위해, 이하, 본 개시에서는 엣지 데이터 네트워크(2000)의 애플리케이션은 엣지 에플리케이션으로 지칭된다. 이때, 애플리케이션으로 기재되었으나, 엣지 애플리케이션은 엣지 데이터 네트워크에 존재하는 애플리케이션 서버를 의미할 수 있다.
일 실시예에 따르면, 클라우드 서버(3000)는 애플리케이션과 관련된 컨텐츠를 제공할 수 있다. 예를 들어, 클라우드 서버(3000)는 컨텐츠 사업자에 의하여 관리될 수 있다. 일 실시예에 따르면, 클라우드 서버(3000)는 외부 데이터 네트워크(data network, DN)(예: 인터넷)를 통해서, 전자 장치(1000)와 데이터를 송수신할 수 있다.
도 1에는 도시되지 아니하였으나, 엑세스 네트워크(1100)와 엣지 데이터 네트워크(2000) 사이에 코어 네트워크(core network, CN) 및 데이터 네트워크(data network, DN)가 존재할 수 있다. 일 실시예에 따르면, 데이터 네트워크는 코어 네트워크 및 엑세스 네트워크(1100)를 통해, 전자 장치(1000)에게 데이터(또는 데이터 패킷)를 송수신함으로써 서비스(예: 인터넷 서비스, IMS(IP multimedia subsystem) 서비스)를 제공할 수 있다. 예를 들어, 데이터 네트워크는 통신 사업자에 의하여 관리될 수 있다. 일 실시 예에서, 엣지 데이터 네트워크(2000)는 데이터 네트워크(예: 로컬(local) DN)를 통해 엑세스 네트워크(1100) 또는 코어 네트워크와 연결될 수 있다.
본 개시의 일 실시예에 따르면, 전자 장치(1000)에서 제1 애플리케이션 클라이언트(122) 또는 제2 애플리케이션 클라이언트(124)가 실행되는 경우, 전자 장치(1000)는 엑세스 네트워크(1100)를 통해 엣지 데이터 네트워크(2000)에 접속함으로써, 애플리케이션 클라이언트를 실행시키기 위한 데이터를 송수신할 수 있다.
본 개시에서는, 상술된 전자 장치(1000), 엣지 데이터 네트워크(2000) 및 클라우드 서버(3000) 사이의 영상 컨텐츠를 스트리밍하는 방법이 제공될 수 있다. 보다 상세하게는, 전자 장치(1000)에서 재생되는 영상에 대한 사용자의 인터랙션 정보에 기초하여, 가상 현실, 증강 현실 또는 혼합 현실을 위한 컨텐츠를 사용자에게 효과적으로 제공하기 위한 방법이 설명된다. 이하, 전자 장치(1000)에서 재생된 영상 컨텐츠에 대한 방위 정보 및 상태 정보 및 회전 속도 정보에 기초하여, 엣지 데이터 네트워크(2000)가 영상 컨텐츠를 스트리밍하는 방법의 일 실시 예를 설명한다.
도 2는 본 개시의 일 실시예에 따라, 엣지 데이터 네트워크(2000)가 사용자 시점(시야 방향), 상태 정보 및 회전 속도를 고려하여, 여분의 시야각 영상을 포함하는 확장된(Extended) Fov(Field of View) 영상을 적응적으로 스트리밍하는 방법을 설명하기 위한 도면이다.
도 2를 참조하면, 전자 장치(1000)는 상태 정보(상태 파라메터)(210), 전자 장치(1000)의 회전 속도(220) 및 사용자의 시야 방향(시점)(230)에 관한 정보(예를 들어, 방위 정보)를 주기적으로, 엣지 데이터 네트워크(2000)의 요청이 있는 경우 또는 그 값에 변화가 있는 경우에, 엣지 데이터 네트워크(2000)로 전송할 수 있다.
여기서, 상태 정보는 네트워크 상태 정보와 연결 장치 상태 정보 중 적어도 하나를 포함할 수 있다. 또한, 네트워크 상태 정보는 상태 파라메터(210)를 포함할 수 있다.
상태 파라메터(210)는 네트워크의 상황, 엣지 데이터 네트워크(2000)의 상황 또는 전자 장치(1000)의 상황을 고려하여, 네트워크 연결을 통해 데이터의 전송 및 수신 등의 작업 등을 처리할 수 있는 처리량인 쓰루풋(throughput)을 포함할 수 있으나, 이에 제한되지 않는다.
쓰루풋은 앤드-투-앤드(End to End)로 단위 시간당 처리(엣지 데이터 네트워크(2000)의 데이터 관련 작업, 네트워크를 통한 데이터 전송, 전자 장치(1000)의 데이터 관련 작업을 처리)할 수 있는 데이터의 양을 의미할 수 있다. 예를 들어, 쓰루풋은 단위시간당 네트워크에서 전달되는 데이터의 크기나 속도를 의미할 수 있다. 또는 엣지 데이터 네트워크(2000)와 전자 장치(1000)의 작업 처리하는 데이터의 크기나 작업 처리하는 속도를 의미할 수 있다. 쓰루풋은 적어도 하나의 평가 지표(단위시간 당 수신 패킷 수, 바이트 수 또는 비트 수)에 기초하여 식별될 수 있다.
예를 들어, 전자 장치(1000)는 전송 프로토콜을 기반으로 수신 모듈에서 단위 시간당 수신한 데이터 사이즈의 총 합을 측정하고, 측정된 값을 포함하는 쓰루풋 정보를 엣지 데이터 네트워크(2000)로 전송할 수 있다. 다만, 이에 제한되지 않고, 다양한 모듈에서 관련 데이터의 처리량을 측정하고, 이에 관한 정보를 엣지 데이터 네트워크(2000)로 전송할 수 있음을 당업자는 이해할 수 있다.
한편, 연결 장치 상태 정보는 엣지 데이터 네트워크(2000) 및 전자 장치(1000)의 동작(영상 스트리밍)에 필요한 정보일 수 있다. 예를 들어, 연결 장치 상태 정보는 전자 장치(1000)의 캐이퍼빌리티 정보를 포함할 수 있다. 예를 들어, 캐이퍼빌리티 정보는 전자 장치(1000)의 뷰포트 영역의 크기에 관한 정보 등과 같은 전자 장치(1000)의 동작 관련 캐이퍼빌리티를 나타내는 정보일 수 있다.
이때, 방위 정보는 전자 장치(1000)의 센싱 모듈을 이용하여 측정된 전자 장치 사용자가 바라보는 시선의 각도 값들을 포함할 수 있다. 예를 들어, 전자 장치(1000)는 센싱 모듈(예컨대 3축 기울기 센서)를 이용하여 VR 영상 내 특정 부분 영상을 응시하는 사용자 시선의 방위 정보(예컨대, Roll, Pitch, Yaw 값)를 센싱하고, 전자 장치(1000)는 센싱된 방위 정보를 엣지 데이터 네트워크(2000)로 전송함으로써, 현재 전자 장치의 사용자가 VR 영상 내 어떤 부분을 바라보고 있는지에 대한 정보를 엣지 데이터 네트워크(2000)와 공유할 수 있다.
회전 속도 정보는, 전자 장치를 이용하는 사용자 머리의 회전 속도(220)에 관한 정보로, 회전 속력 및 회전 방향에 관한 정보를 포함할 수 있다. 예를 들어, 전자 장치(1000)는 센싱 모듈(예컨데 3축 기울기 센서)를 이용하여 전자 장치의 순간 회전 속도를 센싱할 수 있다. 이때, 회전 속도는 각 각도 성분의 회전 속도에 관한 정보를 포함할 수 있고, 예를 들어, 회전 속도는 Roll, Pitch, Yaw 값의 순간 각속도를 포함할 수 있다.
전자 장치(1000)는 센싱된 회전 속도 정보를 엣지 데이터 네트워크(2000)로 전송함으로써, 현재 전자 장치의 사용자의 머리의 회전 방향 및 회전 속력에 대한 정보(즉, 어느 쪽을 이후에 바라볼 것인지에 대한 사용자의 예측 시선 정보)를 엣지 데이터 네트워크(2000)과 공유할 수 있다.
다만 이에 제한되지 않고, 전자 장치(1000)는 센싱 모듈(예컨데 3축 기울기 센서)를 이용하여 현재 방위 정보를 센싱한 후에, 이전에 측정된 방위 정보와의 차이를 기초로, 전자 장치의 회전 속도를 획득할 수 있다.
한편, 회전 속도 정보는 전자 장치(1000)의 이전 방위 정보를 엣지 데이터 네트워크(2000)와 공유하고 있다면, 전자 장치(1000)는 회전 속도에 관한 정보를 별도로 엣지 데이터 네트워크(2000)에 회전 속도에 관한 정보를 전송하지 않고, 현재 전자 장치의 방위 정보만을 전송할 수 있고, 엣지 데이터 네트워크(2000)는 현재 전자 장치의 방위 정보를 수신하고, 이전에 수신한 전자 장치의 방위 정보와의 차이를 기초로, 현재 전자 장치의 회전 속도 정보를 획득할 수 있다.
엣지 데이터 네트워크(2000)는 상태 파라메터(210) 및 회전 속도(220)에 관한 정보를 기초로, 영상의 비트레이트 및 초당 프레임 수(FPS;Frame Per Second)(240)를 설정하고, 사용자의 시야 방향(시점)(230)에 관한 정보(예를 들어, 방위 정보)를 기초로, 사용자 시야각 영상(250)의 크기 및 위치를 식별하고, 상태 파라메터 및 회전 속도에 관한 정보를 기초로 여분의 시야각 영상(255)의 크기 및 위치를 식별하고, 영상의 비트레이트 및 초당 프레임 수 등과 같은 영상 부호화 파라메터를 기초로, 샤용자 시야각 영상(250) 및 여분의 시야각 영상(255)을 부호화하여 전자 장치(1000)로 전송할 수 있다. 여기서 시야각이란, 사용자의 눈으로 볼 수 있는 범위(예를 들어, 각도로 표현되나, 이에 제한되지 않음)를 의미한다. 시야각이 큰 영상의 경우, 사용자의 눈으로 더 넓은 범위를 볼 수 있다.
다만, 사용자가 전자 장치(1000)의 디스플레이를 통해 볼 수 있는 범위는, 전자 장치(1000)의 뷰포트 영역의 크기로 제한될 수 있다. 뷰포트 영역의 크기는 전자 장치(1000)의 디스플레이에서 재생될 수 있는 시야각의 크기(디스플레이 영역의 크기)로, 뷰포트 영역의 크기는 전자 장치(1000)의 캐이퍼빌리티 정보에 따라, 식별될 수 있다. 즉, 뷰포트 영역의 크기는 전자 장치(1000)의 디스플레이에 대한 하드웨어 스펙 중 하나로, 엣지 데이터 네트워크(2000)는 전자 장치(1000)와의 네트워크 연결을 통해 전자 장치(1000)로부터 전자 장치(1000)의 캐이퍼빌리티 정보를 수신하고, 캐이퍼빌리티 정보에 따라, 전자 장치(1000)의 뷰포트 영역의 크기를 식별할 수 있다.
예를 들어, 전자 장치(1000)의 좌우방향의 뷰포트 영역의 크기가 110도, 상하방향의 뷰포트 영역의 크기가 90도인 경우, 전자 장치(1000)는 네트워크 연결을 통해 뷰포트 영역의 크기에 관한 정보를 포함하는 전자 장치(1000)의 캐이퍼빌리티 정보를 엣지 데이터 네트워크(2000)로 전송하고, 엣지 데이터 네트워크(2000)는 캐이퍼빌리터 정보를 기초로, 좌우방향의 뷰포트 영역의 크기가 110도이고, 상하방향의 뷰포트 영역의 크기가 90도임을 식별할 수 있다.
따라서, 사용자 시야각(디폴트 시야각)은 사용자가 전자 장치(1000)의 뷰포트 영역을 통해 볼 수 있는 범위를 의미할 수 있다.
여분의 시야각은 시간이 흐름에 따른 사용자의 머리 움직임에 따라 전자 장치(1000)의 방위가 변경됨으로써 사용자가 보고 있는 영상의 범위가 달라지는 경우, 기존 사용자 시야각의 영상만으로는 전자 장치(1000)의 디스플레이를 통해 온전한 영상을 볼 수 없기 때문에, 이러한 점을 고려하여 여분으로 확보(예를 들어, 사용자 시야각 기준 상하좌우 방향으로 여분으로 확보)한 시야각을 의미할 수 있다. 전자 장치(1000)가 부호화된 사용자 시야각 영상만을 복호화하는 경우, 재생 시점의 전자 장치(1000)의 최신 방위 정보가 부호화에 이용된 방위 정보와 상이한 경우라면, 사용자가 바라보는 시점의 영상의 일부가 제대로 복호화되지 않을 수 있고, 따라서, 사용자가 블랙 엣지를 보게 되어 사용자의 몰입을 방해하는 문제점이 있기 때문이다.
전자 장치(1000)에 디스플레이하기 위해 부호화되는 제1 부분 영상의 시야각은 사용자 시야각(디폴트 시야각)과 여분의 시야각을 포함하는, 확장된(Extended) 시야각일 수 있다. 즉, 제1 부분 영상은 사용자 시야각 영상(디폴트 시야각 영상)과 여분의 시야각 영상을 포함하는, 확장된 시야각 영상(Extended FOV(Field Of View) 영상)일 수 있다. 즉, 여분의 시야각을 전송하고, 전자 장치(1000)는 사용자 시야각 영상과 함께 여분의 시야각 영상을 복호화하고, 재생 시점의 전자 장치(1000)의 최신 방위 정보를 이용하여 복호화된 영상에서 재생할 시야각 영상을 식별하고, 해당 시야각 영상을 재생함으로써 블랙 엣지가 발생하지 않도록 할 수 있다.
여분의 시야각 영상은 사용자 시야각 영상을 기준으로 디폴트로 설정된 전 방향의 소정의 시야각에 대응하는 영상일 수 있다. 이에 제한되지 않고, 여분의 시야각 영상은 상태 파라메터 및 전자 장치(1000)의 회전 속도를 고려하여 적응적으로 식별된 시야각에 대응되는 영상일 수 있다. 상태 파라메터 및 전자 장치(1000)의 회전 속도를 고려함으로써, 네트워크의 상태(또는 연결 장치의 상태)가 좋지 않은 경우(예를 들어, 전자 장치(1000)의 수신모듈에서 측정된 쓰루풋이 낮은 경우)나, 전자 장치(1000)의 회전 속도가 빠른 경우와 같은 최악의 경우에도 재생이 중지되지 않도록 하거나, 재생되는 경우에 사용자가 블랙 에지를 보지 않도록 할 수 있다.
여기서, 초당 프레임 수는 초당 재생되는 프레임의 수를 의미하고, 그 값이 클수록 영상이 자연스럽게 재생된다고 느낄 수 있고, 작을수록 영상이 부자연스럽게 끊기면서 재생된다고 느낄 수 있다.
영상의 비트 레이트는 영상의 퀄리티(품질)를 나타내는 파라메터 중 하나로, 예를 들어, 초당 부호화되는 영상의 목표 비트 값(또는 바이트, 패킷 값)을 나타낼 수 있다. 영상의 해상도(또는 크기)가 동일할 때, 비트 레이트의 값이 크다면, 부호화된 영상의 퀄리티는 비트레이트의 값이 작을 때보다 상대적으로 좋을 수 있다. 영상을 퀄리티를 조절하기 위해 부호화 모듈에 입력되는 파라메터로 이용될 수 있다.
영상의 해상도는 부호화되는 프레임의 픽셀 수를 의미하고, 픽셀의 크기가 동일한 경우, 해상도의 값이 클수록 영상의 크기가 커질 수 있고, 영상의 퀄리티가 상대적으로 좋을 수 있다. 영상의 해상도는 영상의 크기와 관련되고, 따라서, 부호화 모듈에 입력되는 사용자 시야각 영상의 크기 및 여분의 시야각 영상의 크기 중 적어도 하나가 조절되는 경우, 영상의 해상도가 변경된다고 볼 수 있다.
예를 들어, 사용자 시야각 영상의 크기는 뷰 포트 영역의 크기를 고려하여 고정될 수 있고, 여분의 시야각 영상의 크기는 상태 파라메터, 회전 속도에 관한 정보를 기초로 식별될 수 있고, 결과적으로 여분의 시야각 영상의 크기가 커짐에 따라, 영상의 해상도가 커질 수 있다.
예를 들어, 엣지 데이터 네트워크(2000)는 상태 파라메터 중 적어도 하나의 값이 소정의 임계값 이상(이전 상태)이다가, 소정의 임계값보다 낮아지는 경우(현재 상태), 렌더링할 프레임을 보장(재생할 프레임을 보장)하기 위해, 영상의 비트레이트, 초당 프레임 수를 이전 상태보다 낮게 설정하고, 변경된 비트레이트, 초당 프레임 수를 고려하여 추가 여분의 시야각 영상을 전송할 수 있다. 초당 프레임 수가 낮아진다면 표시되는 프레임 간의 간격이 커지게 되므로, 그 동안 전자 장치(1000)의 움직임이 발생할 수 있는 시간이 커지게 되고, 따라서, 전자 장치(1000)의 움직임이 발생할 수 있는 시간을 고려하여, 여분의 시야각 영상의 크기가 더 크게 설정될 수 있다.
따라서, 사용자의 몰입에 영향을 미치지 않을 정도의 MTP(Motion To Photon) 레이턴시를 지속적으로 보장 받을 수 있다.
MTP 레이턴시는 전자 장치(1000)의 센싱 모듈을 통해 획득되고 엣지 데이터 네트워크(2000)로 전송된 센서 정보(예를 들어, 방위 정보)를 기초로 엣지 데이터 네트워크(2000)는 사용자의 움직임(예를 들어, 사용자의 시선의 움직임)을 식별하고, 엣지 데이터 네트워크(2000)는 센서 정보를 기초로, VR 영상 중 부분 영상의 프레임을 제공하고, 전자 장치(1000)가 제공받은 부분 영상의 프레임을 복호화 및 렌더링한 후에 렌더링된 프레임을 디스플레이에 표시하기까지의 시간을 의미할 수 있다.
즉, 네트워크 상태 또는 연결 장치의 상태가 좋지 않은 경우(예를 들어, 네트워크가 혼잡한 경우), 퀄리티가 좋은 영상을 부호화 및 전송하게 되면, 레이턴시가 커지게 되기 때문에, 영상 전송이 지연됨에 따라, 사용자의 몰입에 영향을 미칠 수 있으므로, 레이턴시를 줄이기 위해, 영상의 비트레이트를 낮춤으로써 부호화되는 영상의 퀄리티를 낮추고, 초당 프레임 수를 낮춤으로써 영상의 퀄리티를 낮출 수 있다. 다만, 초당 프레임 수가 변경되었음에도 이전 상태와 동일한 크기의 여분의 시야각 영상을 수신하게 된다면, 재생 시점의 전자 장치(1000)의 최신 방위 정보에 따라 업데이트된 방위 정보가 이전의 방위 정보와 차이가 많이 나게 됨으로 인하여, 블랙 엣지를 보게 될 가능성이 높아질 수 있으므로, 초당 프레임 수를 고려하여 여분의 시야각 영상의 크기가 크게 설정됨으로써, 블랙 엣지를 최소화할 수 있다.
즉, 엣지 데이터 네트워크(2000)는 그 다음 방위 정보에 기초한 그 다음 프레임(예를 들어, 제2 프레임)을 수신하기 전까지, 센싱 모듈로부터 획득된 최신 방위 정보를 기초로, 제1 프레임으로부터 획득된 제1 부분 영상(200)으로부터 최신 사용자 시야각 영상을 획득할 수 있다. 따라서, 엣지 데이터 네트워크(2000)는 제2 프레임을 수신하기 전까지의 레이턴시(MTP 레이턴시; Motion to Photon Latency)가 실질적으로 커지더라도, 여분의 시야각 영상을 기초로 하는 로컬 프로세싱(Local Processing)을 통하여 사용자가 블랙 엣지(Black Edge)를 보지 않게 할 수 있고, 따라서, 제2 프레임을 수신하기까지 시간을 길게 확보가능하기 때문에, 실질적으로 MTP 레이턴시를 보장받을 수 있게 된다.
또는, 예를 들어, 엣지 데이터 네트워크(2000)는 전자 장치(1000)의 회전 속도가 소정의 임계값보다 큰 경우에는, 추가 여분의 시야각 영상을 전송할 수 있다.
즉, 전자 장치(1000)의 회전 속도가 빠른 경우, 재생 시점의 방위 정보와 부분 영상의 부호화 시점에 이용되는 방위 정보의 차이가 커지게 되기 때문에, 여분의 사야각 영상의 크기가 충분히 확보되지 않은 경우, 사용자가 블랙 엣지를 볼 가능성이 높아지므로, 사용자의 몰입을 방해할 수 있다. 이 경우, 엣지 데이터 네트워크(2000)는 여분의 시야각 영상의 크기를 크게 설정함으로써 블랙 엣지의 발생을 최소화할 수 있다. 다만, 여분의 시야각 영상의 크기가 커지는 경우, 부호화되는 데이터의 크기가 커지고, 따라서, MTP 레이턴시가 다소 커지고 대역폭이 커질 수 있다.
MTP 레이턴시를 줄이고, 대역폭을 감소시키기 위해, 영상의 비트레이트를 감소시킬 수 있다. 또한, 영상의 초당 프레임 수를 감소시킬 수 있다. 영상의 초당 프레임 수를 감소시킨 경우, 표시되는 프레임의 간격이 넓어짐에 따라, 재생 시점 직전까지 움직임이 발생할 수 있는 시간이 커질 수 있음을 고려하여, MTP 레이턴시를 보장받기 위해 여분의 시야각 영상의 크기가 추가적으로 크게 설정될 수 있다. 또한, 전자 장치(1000)의 회전 속도를 기초로 현재 이후의 사용자의 시점을 예측할 수 있기 때문에, 회전 방향으로 여분의 시야각 영상을 더 확보함으로써, 블랙 에지의 발생 가능성을 최소화하면서도, 부호화되는 영상의 데이터의 크기가 적절하게 커지게 함으로써, 대역폭(Bandwidth) 및 MTP 레이턴시를 보장받을 수 있다.
도 3는 본 개시의 일 실시 예에 따른 전자 장치와 엣지 데이터 네트워크 간의 동작 절차를 나타내는 흐름도이다.
도 3를 참조하면, S300 단계에서, 엣지 데이터 네트워크(2000)는 전자 장치(1000)와 네트워크 연결을 수립하고, 엣지 데이터 네트워크(2000) 및 전자 장치(1000)의 동작에 필요한 연결 장치 상태 정보를 서로 공유할 수 있다. 이때, 상태 정보는 초기에만 공유될 수 있으나, 주기적으로 공유되거나, 비주기적으로 요청에 따라 또는 변화가 있는 경우에만 공유 될 수 있다.
예를 들어, 엣지 데이터 네트워크(2000)는 전자 장치(1000)로부터 전자 장치(1000)의 캐이퍼빌리티 정보를 수신할 수 있다. 예를 들어, 캐이퍼빌리티 정보는 전자 장치(1000)의 뷰포트 영역의 크기에 관한 정보 등과 같은 전자 장치(1000)의 동작 관련 캐이퍼빌리티를 나타내는 정보일 수 있다.
이에 제한되지 않고, 엣지 데이터 네트워크(2000)는 전자 장치(1000)로부터 쓰루풋 정보를 수신할 수 있다. 예를 들어, 쓰루풋 정보는 수신 모듈에서 단위 시간당 수신하는 데이터의 양에 관한 정보일 수 있다. 또는, 엣지 데이터 네트워크(2000)는 전자 장치(1000)로부터 레이턴시 정보를 획득할 수 있다.
예를 들어, 엣지 데이터 네트워크(2000)는 전자 장치(1000)의 요청에 따라 소정의 데이터를 전송하고, 전자 장치(1000)는 소정의 데이터를 수신하고, 이때, 전자 장치(1000)의 수신 모듈에서 네트워크 레이턴시를 측정하고, 전자 장치(1000)는 네트워크 레이턴시에 관한 정보를 엣지 데이터 네트워크(2000)로 전송할 수 있다.
S302 단계에서, 전자 장치(1000)는 방위 정보 및 회전 속도 정보 중 적어도 하나를 포함하는 센서 정보를 획득할 수 있다. 방위 정보는, 각도 성분을 나타내는 정보일 수 있다. 회전 속도 정보는 센싱 모듈로부터 직접 획득되거나, 이미 센싱 모듈로부터 획득된 현재 시점의 방위 정보와 이전 시점의 방위 정보와의 차이를 기초로 획득될 수 있다.S304 단계에서, 전자 장치(1000)는 방위 정보 및 회전 속도 정보 중 적어도 하나를 포함하는 센서 정보를 엣지 데이터 네트워크(2000)로 전송할 수 있다. 전자 장치(1000)는 주기적으로 센서 정보를 엣지 데이터 네트워크(2000)로 전송할 수 있으나, 이에 제한되지 않고, 비주기적으로 전송할 수 있다. 예를 들어, 전자 장치(1000)는 엣지 데이터 네트워크(2000)의 요청이 있거나, 센서 정보의 값에 변화가 있는 경우에만 센서 정보를 전송할 수 있다
S306 단계에서, 엣지 데이터 네트워크(2000)는 방위 정보를 기초로 사용자 시야각 영상을 식별할 수 있다. 예를 들어, 엣지 데이터 네트워크(2000)는 수신한 방위 정보를 기초로 사용자 시야각 영상의 위치를 식별할 수 있다.
S308 단계에서, 엣지 데이터 네트워크(2000)는 네트워크 상태 정보 및 연결 장치 상태 정보 중 적어도 하나를 포함하는 상태 정보 및 회전 속도 정보 중 적어도 하나를 기초로, 제1 부분 영상의 크기, 위치, 비트레이트 및 소정의 시간당 프레임 수 중 적어도 하나를 식별할 수 있다. 이때, 제1 부분 영상의 기준 좌표 위치는 방위 정보에 대응되고, 사용자 시야각 영상의 기준 좌표 위치도 방위 정보에 대응되므로, 제1 부분 영상의 기준 좌표 위치(예를 들어, 영상 중심 좌표 위치)는 사용자 시야각 영상의 기준 좌표 위치(예를 들어, 영상 중심 좌표 위치)와 동일할 수 있으나, 이에 제한되지 않는다. 예를 들어, 영상의 기준 좌표 위치가 영상의 좌측 상단 위치를 나타내는 경우, 제1 부분 영상의 기준 좌표 위치와 사용자 시야각 영상의 기준 좌표 위치는 달라질 수 있다.
엣지 데이터 네트워크(2000)가 별도로 회전 속도 정보를 전자 장치(1000)로부터 수신하지 않는 경우에는, 회전 속도 정보는 현재 획득된 방위 정보와 이전에 획득된 방위 정보의 차이를 기초로, 획득될 수 있다.
예를 들어, 엣지 데이터 네트워크(2000)는 상태 정보에 포함된 네트워크 상태 및 연결 장치 상태 중 적어도 하나의 상태에 관한 적어도 하나의 상태 파라메터의 값이 제1 임계값보다 작거나 같은 경우, 제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 크기 및 소정의 프레임 수를 식별할 수 있다. 이때, 제1 임계값은, 현재 시점 이전의 적어도 하나의 상태 파라메터가 제1 임계값보다 큰 경우를 전제로 설정된 값일 수 있다.
엣지 데이터 네트워크(2000)는 상태 정보에 포함된 적어도 하나의 상태 파라메터 값이 제2 임계값보다 큰 경우, 제2 임계값보다 큰 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 크기 및 소정의 시간당 프레임 수를 식별할 수 있다. 이때, 제2 임계값은, 현재 시점 이전의 적어도 하나의 상태 파라메터가 제2 임계값보다 작거나 같은 경우를 전제로 설정된 값일 수 있다. 제1 임계값은 제2 임계값과 값이 동일할 수 있으나, 이제 제한되지는 않는다.
이때, 제1 임계값보다 작거나 같은, 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 크기는 제2 임계값보다 큰, 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 크기보다 클 수 있다.
한편, 제1 임계값보다 작거나 같은, 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 소정의 시간당 프레임 수는 제2 임계값보다 큰, 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 소정의 시간당 프레임 수보다 작을 수 있다.
이때, 제1 부분 영상은 방위 정보에 대응하는 사용자의 시야각 영상과, 소정의 시간당 프레임 수에 대응하는 여분의 시야각 영상을 포함할 수 있다. 사용자 시야각 영상은 전자 장치(1000)의 뷰포트 영역의 크기에 관한 정보를 기초로 획득될 수 있다. 또한, 여분의 시야각 영상은 소정의 시간당 프레임 수에 대응될 수 있고, 소정의 시간당 프레임 수가 소정의 제1값(예를 들어, 60fps)인 경우, 제1 여분 시야각 영상의 크기는, 소정의 시간당 프레임 수가 소정의 제1값보다 작은 소정의 제2값(예를 들어, 30fps)인 경우의 제2 여분의 시야각 영상의 크기보다 작을 수 있다.
한편, 엣지 데이터 네트워크(2000)는 상태 정보를 기초로, 제1 부분 영상의 비트레이트를 추가적으로 식별할 수 있다.
엣지 데이터 네트워크(2000)는 적어도 하나의 상태 파라메터의 값이 제1 임계값보다 작거나 같은 경우, 제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 비트레이트를 식별할 수 있다.
엣지 데이터 네트워크(2000)는 적어도 하나의 상태 파라메터의 값이 제2 임계값보다 큰 경우, 제2 임계값보다 큰 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 비트레이트를 식별할 수 있다.
제1 임계값보다 작거나 같은, 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 비트레이트는 제2 임계값보다 큰, 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 비트레이트보다 작을 수 있다.
엣지 데이터 네트워크(2000)는 회전 속도 정보의 회전 속도가 제1 임계값보다 큰 경우, 제1 임계값보다 큰 회전 속도에 대응하는 제1 부분 영상의 크기를 식별할 수 있다.
한편, 엣지 데이터 네트워크(2000)는 회전 속도 정보의 회전 속도가 제2 임계값보다 작거나 같은 경우, 제2 임계값보다 작거나 같은 회전 속도에 대응하는 제1 부분 영상의 크기를 식별할 수 있다.
이때, 제1 임계값보다 큰 회전 속도에 대응하는 제1 부분 영상의 크기는 제2 임계값보다 작거나 같은 회전 속도에 대응하는 제1 부분 영상의 크기보다 클 수 있다.
일 실시예에 의하면, 제1 부분 영상은 방위 정보에 대응하는 (사용자) 시야각 영상 및 회전 속도 정보의 회전 속력 및 회전 방향 중 적어도 하나에 대응하는 여분의 시야각 영상을 포함할 수 있다.
또는, 일 실시에 의하면, 제1 부분 영상은 방위 정보에 대응하는 시야각 영상 및 회전 속도의 회전 속력 및 회전 방향 중 적어도 하나와 소정의 시간당 프레임 수를 기초로 식별된 여분의 시야각 영상을 포함할 수 있다. 이때, 소정의 시간당 프레임 수는 회전 속도를 기초로 식별될 수 있으나, 이에 제한되지 않는다.
한편, 여분의 시야각 영상은 시야각 영상을 기준으로 회전 방향에 위치하는 제1 여분 시야각 영상 및 회전 방향과 반대 방향에 위치하는 제2 여분 시야각 영상을 포함하고, 제1 여분 시야각은 제2 여분의 시야각 영상보다 클 수 있다. 즉, 시야각 영상을 기준으로 회전 방향에 위치하는 시야각 영상의 크기가 반대 방향에 위치하는 시야각 영상의 크기보다 더 크게 식별(즉, 비대칭적으로 시야각 영상이 식별)됨으로써, 여분의 시야각을 적절하게 확보하면서 블랙 엣지가 발생되지 않을 수 있다.
엣지 데이터 네트워크(2000)는 회전 속도 정보를 기초로, LUT 형태(Look Up Table)로 미리 설정된 여분의 시야각을 식별하고, 식별된 시야각을 기초로 여분의 시야각 영상을 식별할 수 있다.
다른 실시예에 의하면, 엣지 데이터 네트워크(2000)는 회전 속도에 따라, 제 1 부분 영상의 크기뿐 아니라, 소정의 시간당 프레임 수를 더 식별할 수 있다.
엣지 데이터 네트워크(2000)는 회전 속도 정보의 회전 속도가 제1 임계값보다 큰 경우, 제1 임계값보다 큰 회전 속도에 대응하는 제1 부분 영상의 크기 및 상기 제1 부분 영상의 소정의 시간당 프레임 수를 식별할 수 있다.
엣지 데이터 네트워크(2000)는 회전 속도 정보의 회전 속도가 제2 임계값보다 작거나 같은 경우, 제2 임계값보다 작거나 같은 회전 속도에 대응하는 제1 부분 영상의 크기 및 제1 부분 영상의 소정의 시간당 프레임 수를 식별할 수 있다.
이때, 제1 임계값보다 큰 회전 속도에 대응하는 제1 부분 영상의 크기는 제2 임계값보다 작거나 같은 회전 속도에 대응하는 제1 부분 영상의 크기보다 클 수 있다. 또한, 제1 임계값보다 큰 회전 속도에 대응하는 제1 부분 영상의 소정의 시간당 프레임 수는 제2 임계값보다 작거나 같은 회전 속도에 대응하는 제1 부분 영상의 소정의 시간당 프레임 수보다 작을 수 있다.
다른 실시예에 의하면, 엣지 데이터 네트워크(2000)는 회전 속도에 따라, 제1 영상의 비트레이트를 식별할 수 있다.
엣지 데이터 네트워크(2000)는 회전 속도가 제1 임계값보다 큰 경우, 제1 임계값보다 큰 회전 속도에 대응하는 제1 영상의 비트레이트를 식별할 수 있다.
엣지 데이터 네트워크(2000)는 회전 속도 정보의 회전 속도가 제2 임계값보다 작거나 같은 경우, 제2 임계값보다 작거나 같은 회전 속도에 대응하는 제1 영상의 비트레이트를 식별할 수 있다.
이때, 제1 임계값보다 큰 회전 속도에 대응하는 제1 부분 영상의 비트레이트는 제2 임계값보다 작거나 같은 회전 속도에 대응하는 제1 부분 영상의 비트레이트보다 작을 수 있다.
일 실시에에 의하면, 엣지 데이터 네트워크(2000)는 상태 정보와 회전 속도 정보를 종합적으로 고려하여, 제1 부분 영상의 크기, 위치, 비트레이트 및 소정의 시간당 프레임 수 중 적어도 하나를 식별할 수 있다.
예를 들어, 엣지 데이터 네트워크(2000)는 상태 정보에 포함된 적어도 하나의 상태 파라메터의 값이 제1 임계값보다 작거나 같고, 회전 속도 정보의 회전 속도가 제3 임계값보다 큰 경우, 제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 소정의 시간당 프레임 수 및 비트레이트를 식별할 수 있다. 또한, 엣지 데이터 네트워크(2000)는 제3 임계값보다 큰 회전 속도에 대응하는 제1 부분 영상의 크기를 식별할 수 있다.
엣지 데이터 네트워크(2000)는 적어도 하나의 상태 파라메터의 값이 제2 임계값보다 크고, 회전 속도 정보의 회전 속도가 제4 임계값보다 작거나 같은 경우, 제2 임계값보다 큰 적어도 하나의 적어도 하나의 파라메터에 대응하는 소정의 시간당 프레임 수 및 비트레이트를 식별할 수 있다. 또한, 엣지 데이터 네트워크(2000)는 제4 임계값보다 작거나 같은 회전 속도에 대응하는 제1 부분 영상의 크기를 식별할 수 있다.
이때, 제1 임계값보다 작거나 같은, 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 소정의 시간당 프레임 수 및 비트레이트는 제2 임계값보다 큰, 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 소정의 시간당 프레임 수 및 비트레이트보다 작을 수 있다.
이때, 제3 임계값보다 큰 회전 속도에 대응하는 제1 부분 영상의 크기는 제4 임계값보다 작거나 같은 회전 속도에 대응하는 제1 부분 영상의 크기보다 클 수 있다.
이상, 엣지 데이터 네트워크(2000)가 상태 정보에 대응하는 제1 부분 영상의 비트레이트 및 소정의 시간당 프레임 수를 식별하고, 회전 속도 정보에 대응하는 제1 부분 영상의 크기를 식별하는 내용을 설명하였으나, 일 실시예에 불과하고, 이에 제한되지 않고, 상태 정보와 회전 속도 정보를 종합적으로 고려하여, 상태 정보 및 회전 속도 정보에 대응하는 제1 부분 영상의 크기, 위치, 비트레이트 및 소정의 시간당 프레임 수 중 적어도 하나를 식별할 수 있음을 이해할 수 있다.
S310 단계에서, 엣지 데이터 네트워크(2000)는 S308 단계에서 식별한 제1 부분 영상의 크기, 위치, 비트레이트 및 소정의 시간당 프레임 수 중 적어도 하나를 기초로, 제1 부분 영상을 부호화하여 제1 프레임을 생성할 수 있다.
S312 단계에서, 엣지 데이터 네트워크(2000)는 S310 단계에서 생성된 제1 프레임을 전자 장치(1000)로 전송할 수 있다.
S314 단계에서, 전자 장치(1000)는 엣지 데이터 네트워크(2000)로부터 수신한 제1 프레임을 복호화하여 제1 부분 영상을 복원할 수 있다. 이때, 복원된 제1 부분 영상은 여분의 시야각 영상을 포함할 수 있다.
S316 단계에서, 전자 장치(1000)는 복원된 제1 부분 영상을 재생할 수 있다. 이때, 재생 시점의 방위 정보를 기초로, 복원된 제1 부분 영상 중 일부의 영상을 획득하고, 획득된 일부의 영상을 재생할 수 있다.
도 4는 전자 장치와 엣지 데이터 네트워크(edge data network) 간의 동작 절차를 개략적으로 설명하기 위한 도면이다.
일 실시 예에 의하면, 전자 장치(1000)는 센싱 모듈(410), 네트워크 인터페이스(420), 프로세서(430) 및 메모리(440)를 포함할 수 있다. 그러나, 전자 장치의 구성은 전술한 바에 한정되지 않고, 더 많은 구성을 포함하거나 적은 구성을 포함할 수 있다.
전자 장치(1000)는 엣지 데이터 네트워크(2000) 또는 클라우드 서버(3000)로부터 수신된 영상들을 디코딩하고, 디코딩된 영상들을 전자 장치(1000)의 디스플레이에 표시할 수 있다. 또한, 전자 장치(1000)는 센싱 모듈(410)을 이용하여, 재생된 영상들에 대한 방위 정보 및 회전 속도 정보 중 적어도 하나를 포함하는 센서 정보를 획득할 수 있다. 방위 정보는 센싱 모듈을 이용하여 측정된 전자 장치 사용자가 바라보는 시선의 각도 값들을 포함할 수 있다. 회전 속도 정보는, 센싱 모듈을 이용하여 측정된 전자 장치 사용자가 바라보는 시선의 각도 값들의 순간 변화량들을 포함할 수 있다.
전자 장치(1000)는 네트워크 인터페이스(420)를 이용하여 방위 정보 및 회전 속도 정보(452) 중 적어도 하나를 포함하는 센서 정보를 엣지 데이터 네트워크(2000)로 전송한다. 이때, 전자 장치(1000)는 방위 정보와 회전 속도 정보가 센싱되었을 때의 프레임 인덱스 정보를 엣지 데이터 네트워크(2000)로 전송할 수 있다. 이에 제한되지 않고, 방위 정보와 회전 속도 정보가 센싱되기 전에 복원된 프레임 중 참조 프레임 정보를 엣지 데이터 네트워크(2000)로 전송할 수 있다. 여기서 프레임 인덱스는 프레임의 부/복호화 순서를 나타내는 정보일 수 있으나, 이에 제한되지 않고 프레임의 렌더링 순서를 나타내는 정보일 수 있다.
프로세서(430)는 메모리(440) 내 하나 이상의 인스트럭션을 실행함으로써 전자 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(430)는 메모리(440)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 센싱 모듈(410), 네트워크 인터페이스(420)을 제어할 수 있다. 일 실시 예에 의하면, 프로세서(430)는 상태 정보 및 회전 속도 정보 중 적어도 하나를 기초로 식별된 제1 부분 영상의 크기, 위치, 비트레이트 및 소정의 시간당 프레임 수 중 적어도 하나에 따라, 제1 부분 영상에 대하여 부호화된 제1 프레임을 획득할 수 있다. 이때, 제1 프레임은 I 프레임 또는 P 프레임(또는 B프레임)일 수 있다.
또한, 일 실시예에 의하면, 프로세서(430)는 엣지 데이터 네트워크(2000)로부터 부호화된 프레임(454)를 수신하고, 부호화된 프레임을 기초로 제1 부분 영상을 복호화하여 제1 부분 영상을 복원할 수 있다.
프로세서(430)는 재생 시점의 방위 정보를 획득하고, 획득된 방위 정보를 기초로, 복원된 제1 부분 영상 중 일부를 재생할 수 있다.
일 실시 예에 의하면, 메모리(440)는 엣지 데이터 네트워크(2000)로부터 수신된, 인코딩된 프레임들을 디코딩하기 위한 인스트럭션들을 저장하는 디코더 모듈(442)을 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시 예에 의하면, 엣지 데이터 네트워크(2000)는 네트워크 인터페이스(460), 프로세서(470) 및 메모리(480)를 포함할 수 있다. 그러나, 엣지 데이터 네트워크(2000)의 구성은 전술한 바에 한정되지 않고, 더 많은 구성을 포함하거나, 일부 구성이 생략될 수도 있다.
엣지 데이터 네트워크(2000)는 네트워크 인터페이스(460)를 이용하여 전자 장치(1000)로부터 방위 정보 및 회전 속도 정보 중 적어도 하나를 포함하는 센서 정보를 획득하고, 센서 정보 등을 기초로 엣지 데이터 네트워크(2000)에서 부호화된 프레임을 전자 장치로 전송할 수 있다.
프로세서(470)는 메모리(480) 내 하나 이상의 인스트럭션을 실행함으로써 엣지 데이터 네트워크(2000)의 전반적인 동작을 제어한다.
예를 들어, 프로세서(470)는 상태 정보 및 회전 속도 정보 중 적어도 하나를 기초로, 부호화 프레임의 파라메터를 식별할 수 있다. 구체적으로, 프로세서(470)는 상태 정보 및 회전 속도 정보 중 적어도 하나를 기초로, 제1 부분 영상의 크기, 위치, 비트레이트 및 소정의 시간당 프레임 수 중 적어도 하나를 식별할 수 있다. 이와 관련하여, 도 4를 참조하여 전술한 바 있으므로, 그 내용은 생략하겠다.
프로세서(470)는 제1 부분 영상의 크기, 비트레이트 및 소정의 시간당 프레임 수 중 적어도 하나를 기초로, 방위 정보에 대응하는 제1 부분 영상을 획득 및 부호화하여, 제1 프레임을 생성할 수 있다.
프로세서(470)는 제1 프레임을 전자 장치(1000)로 전송할 수 있다.
일 실시 예에 의하면, 메모리(480)는 엣지 데이터 네트워크(2000)가 전자 장치(1000)로 전송할 영상들을 인코딩하기 위한 인스트럭션들을 저장하는 인코더 모듈(482) 및 부호화 프레임 파라메터를 식별하기 위한 인스트럭션들을 저장하는 부호화 프레임 파라메터 식별 모듈(484)를 포함하고, VR 시퀀스에 대한 전체 영상 데이터를 포함하는 VR 시퀀스(486)를 저장할 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 엣지 데이터 네트워크(2000)는 전체 프레임을 포함하는 VR 시퀀스를 데이터 베이스(Data Base, DB)에 저장할 수 있다. 엣지 데이터 네트워크(2000)는 전자 장치(1000)로부터 획득된 방위 정보를 이용하여, 데이터 베이스(DB)에 저장된 VR 시퀀스 중, 사용자 시야각 영상 등을 식별(identify)할 수 있다.
도 5a는 본 개시의 일 실시 예에 따른 엣지 데이터 네트워크가 영상 컨텐츠를 스트리밍 하는 방법을 나타내는 흐름도이다.
도 5a를 참조하면, S502 단계에서, 엣지 데이터 네트워크(2000)는 전자 장치로부터 방위 정보를 포함하는 센서 정보를 획득할 수 있다. 센서 정보는 회전 속도 정보를 더 포함할 수 있다.
S503 단계에서, 엣지 데이터 네트워크(2000)는 엣지 데이터 네트워크(2000)와 전자 장치(1000) 사이의 네트워크 상태 정보를 포함하는 상태 정보를 획득할 수 있다. 상태 정보는 연결 장치 상태 정보를 더 포함할 수 있다.
S504 단계에서, 엣지 데이터 네트워크(2000)는 센서 정보 및 상태 정보를 기초로, 제1 부분 영상의 크기 및 위치를 식별할 수 있다. 엣지 데이터 네트워크(2000)는 센서 정보 및 상태 정보를 기초로, 제1 부분 영상의 크기, 위치, 비트레이트 및 소정의 시간당 프레임 수 중 적어도 하나를 식별할 수 있다. 이와 관련하여 상세한 내용은 도 3을 참조하여 전술된 바 있다.
S506 단계에서, 엣지 데이터 네트워크(2000)는 제1 부분 영상의 크기, 위치, 비트레이트 및 소정의 시간당 프레임 수 중 적어도 하나를 기초로, 방위 정보에 대응하는 제1 부분 영상을 부호화하여 제1 프레임을 생성할 수 있다.
S508 단계에서, 엣지 데이터 네트워크(2000)는 제1 프레임을 전자 장치(1000)로 전송할 수 있다.
도 5b는 본 개시의 일 실시 예에 따른 엣지 데이터 네트워크(2000)가 상태 정보를 기초로 제1 부분 영상의 부호화 프레임 파라메터를 식별하는 방법을 구체적으로 설명하기 위한 도면이다.
도 5b를 참조하면, S510 단계에서, 엣지 데이터 네트워크(2000)는 상태 정보에 포함된 네트워크 상태 및 연결 장치 상태 중 적어도 하나의 상태에 관한 적어도 하나의 상태 파라메터의 값이 제1 임계값보다 작거나 같은지를 식별할 수 있다.
S512 단계에서, 엣지 데이터 네트워크(2000)는 상태 정보에 포함된 적어도 하나의 상태 파라메터의 값이 제1 임계값보다 작거나 같은 경우,
제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 크기, 소정의 시간당 프레임 수 및 제1 부분 영상의 비트레이트 중 적어도 하나를 식별할 수 있다. 이때, 제1 임계값은 이전의 적어도 하나의 상태 파라메터의 값이 제1 임계값보다 큰 것을 전제로 설정된 값일 수 있고, 결과적으로, 이때, 식별된 제1 부분 영상의 크기는 이전 상태의 제1 부분 영상의 크기보다 클 수 있다. 또한, 식별된 제1 부분 영상의 소정의 시간당 프레임 수는 이전 상태의 제1 부분 영상의 소정의 시간당 프레임 수보다 작을 수 있다. 식별된 제1 부분 영상의 비트레이트는 이전 상태의 제1 부분 영상의 비트레이트보다 작을 수 있다.
한편, S514 단계에서, 엣지 데이터 네트워크(2000)는 상태 정보에 포함된 네트워크 상태 및 연결 장치 상태 중 적어도 하나의 상태에 관한 적어도 하나의 상태 파라메터의 값이 제2 임계값보다 큰지를 식별할 수 있다.
S516 단계에서, 엣지 데이터 네트워크(2000)는 적어도 하나의 상태 파라메터의 값이 제2 임계값보다 큰 경우,
제2 임계값보다 큰 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 크기, 소정의 시간당 프레임 수 및 제1 부분 영상의 비트레이트 중 적어도 하나를 식별할 수 있다.
이때, 제2 임계값은 이전의 적어도 하나의 상태 파라메터의 값이 제2 임계값보다 작거나 같은 것을 전제로 설정된 값일 수 있고, 결과적으로, 이때, 식별된 제1 부분 영상의 크기는 이전 상태의 제1 부분 영상의 크기보다 작을 수 있다. 또한, 식별된 제1 부분 영상의 소정의 시간당 프레임 수는 이전 상태의 제1 부분 영상의 소정의 시간당 프레임 수보다 클 수 있다. 식별된 제1 부분 영상의 비트레이트는 이전 상태의 제1 부분 영상의 비트레이트보다 클 수 있다.
S518 단계에서, 엣지 데이터 네트워크(2000)는 상태 정보에 포함된 네트워크 상태 및 연결 장치 상태 중 적어도 하나의 상태에 관한 적어도 하나의 상태 파라메터의 값이 제1 임계값보다 큰 경우,
이전 상태와 동일한 제1 부분 영상의 크기, 소정의 시간당 프레임 수 및 제1 부분 영상의 비트레이트를 유지할 수 있다.
한편 엣지 데이터 네트워크(2000)는 상태 정보에 포함된 네트워크 상태 및 연결 장치 상태 중 적어도 하나의 상태에 관한 적어도 하나의 상태 파라메터의 값이 제2 임계값보다 작거나 같은 경우, 이전 상태와 동일한 제1 부분 영상의 크기, 소정의 시간당 프레임 수 및 제1 부분 영상의 비트레이트를 유지할 수 있다.
이때, 제1 임계값과 제2 임계값은 상이할 수 있으나, 이에 제한되지 않고, 제1 임계값과 제2 임계값은 동일할 수 있다. 이 경우, S518 단계는 수행되지 않음을 당업자는 이해할 수 있다.
한편, 도 5b를 참조하여, 상기 적어도 하나의 상태 파라메터는 그 값이 커질수록 상태가 좋아지는 파라메터임을 전제로 설명하였으나, 이에 제한되지 않고, 반대의 경우에도, 도 5b를 참조하여 설명한 것과 유사하게 동작할 수 있음을 이해할 수 있다. 예를 들어, BER(Bit Error Rate), Latency와 같은 파라메터들은 그 값이 커질수록 상태가 나빠지는 상태 파라메터일 수 있다.
이때, 제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터에 대응하는 각 부호화 프레임 파라메터들과 제2 임계값보다 큰 적어도 하나의 상태 파라메터에 대응하는 부호화 프레임 파라메터들 간의 관계가 반대가 될 수 있음을 당업자는 이해할 수 있다.
도 5c는 본 개시의 일 실시 예에 따른 엣지 데이터 네트워크(2000)가 회전 속도 정보를 기초로 제1 부분 영상의 부호화 프레임 파라메터를 식별하는 방법을 구체적으로 설명하기 위한 도면이다.
도 5c를 참조하면, S520 단계에서, 엣지 데이터 네트워크(2000)는 회전 속도 정보의 회전 속도가 제1 임계값보다 큰지 여부를 식별할 수 있다.
S522 단계에서, 엣지 데이터 네트워크(2000)는 회전 속도 정보의 회전 속도가 제1 임계값보다 큰 경우, 제1 임계값보다 큰 회전 속도에 대응하는 제1 부분 영상의 크기, 소정의 시간당 프레임 수 및 비트레이트 중 적어도 하나를 식별할 수 있다.
이때, 제1 임계값은 이전의 회전 속도가 제1 임계값보다 작거나 같은 것을 전제로 설정된 값일 수 있고, 식별된 제1 부분 영상의 크기는 이전 상태의 제1 부분 영상의 크기보다 클 수 있다. 또한, 식별된 제1 부분 영상의 소정의 시간당 프레임 수는 이전 상태의 제1 부분 영상의 소정의 시간당 프레임 수보다 작을 수 있다. 식별된 제1 부분 영상의 비트레이트는 이전 상태의 제1 부분 영상의 비트레이트보다 작을 수 있다.
S524 단계에서, 엣지 데이터 네트워크(2000)는 회전 속도 정보의 회전 속도가 제2 임계값보다 작거나 같은지 여부를 식별할 수 있다.
S526 단계에서, 엣지 데이터 네트워크(2000)는 회전 속도 정보의 회전 속도가 제2 임계값보다 작거나 같은 경우, 제2 임계값보다 작거나 같은 회전 속도에 대응하는 제1 부분 영상의 크기, 소정의 시간당 프레임 수 및 비트레이트 중 적어도 하나를 식별할 수 있다.
이때, 제2 임계값은 이전의 회전 속도가 제2 임계값보다 큰 것을 전제로 설정된 값일 수 있고, 식별된 제1 부분 영상의 크기는 이전 상태의 제1 부분 영상의 크기보다 작을 수 있다. 또한, 식별된 제1 부분 영상의 소정의 시간당 프레임 수는 이전 상태의 제1 부분 영상의 소정의 시간당 프레임 수보다 클 수 있다. 식별된 제1 부분 영상의 비트레이트는 이전 상태의 제1 부분 영상의 비트레이트보다 클 수 있다.
S528 단계에서, 엣지 데이터 네트워크(2000)는 회전 속도 정보의 회전 속도가 제1 임계값보다 작거나 같은 경우, 이전 상태와 동일한 제1 부분 영상의 크기, 소정의 시간당 프레임 수 및 제1 부분 영상의 비트레이트를 유지할 수 있다.
한편 엣지 데이터 네트워크(2000)는 회전 속도 정보의 회전 속도가 제2 임계값보다 큰 경우, 이전 상태와 동일한 제1 부분 영상의 크기, 소정의 시간당 프레임 수 및 제1 부분 영상의 비트레이트를 유지할 수 있다.
이때, 제1 임계값과 제2 임계값은 상이할 수 있으나, 이에 제한되지 않고, 제1 임계값과 제2 임계값은 동일할 수 있다. 이 경우, S528 단계는 수행되지 않음을 당업자는 이해할 수 있다.
도 5d는 본 개시의 일 실시 예에 따른 엣지 데이터 네트워크(2000)가 상태 정보 및 회전 속도 정보를 기초로 제1 부분 영상의 부호화 프레임 파라메터를 식별하는 방법을 구체적으로 설명하기 위한 도면이다.
도 5d를 참조하면, S530 단계에서, 엣지 데이터 네트워크(2000)는 적어도 하나의 상태 파라메터의 값이 제1 임계값보다 작거나 같고, 회전 속도 정보의 회전 속도가 제3 임계값보다 큰 지 여부를 식별할 수 있다.
S532 단계에서, 엣지 데이터 네트워크(2000)는 적어도 하나의 상태 파라메터의 값이 제1 임계값보다 작거나 같고, 회전 속도 정보의 회전 속도가 제3 임계값보다 큰 경우, 제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터 및 제3 임계값보다 큰 회전 속도에 대응하는, 제1 부분 영상의 소정의 시간당 프레임 수 및 제1 부분 영상의 비트레이트 중 적어도 하나를 식별할 수 있다.
이때, 제1 임계값은 이전의 상태 파라메터 중 적어도 하나의 상태 파라메터의 값이 큰 것을 전제로 설정된 값이고, 제3 임계값은 이전의 회전 속도가 제3 임계값보다 작거나 같은 것을 전제로 설정된 값일 수 있고, 결과적으로, 이때, 식별된 제1 부분 영상의 크기는 이전 상태의 제1 부분 영상의 크기보다 클 수 있다. 또한, 식별된 제1 부분 영상의 소정의 시간당 프레임 수는 이전 상태의 제1 부분 영상의 소정의 시간당 프레임 수보다 작을 수 있다. 식별된 제1 부분 영상의 비트레이트는 이전 상태의 제1 부분 영상의 비트레이트보다 작을 수 있다. 이때, 제1 부분 영상의 크기는 상태 파라메터에 대응하여 식별될 수 있다. 또한, 제1 부분 영상의 소정의 시간당 프레임 수 및 비트레이트는 회전 속도에 대응하여 식별될 수 있다. 다만 이에 제한되지 않고, 각 식별 요소들(제1 부분 영상의 소정의 시간당 프레임 수 및 비트레이트)은 회전 속도 및 상태 파라메터를 종합적으로 고려하여 식별될 수 있음을 당업자는 이해할 수 있다.
예를 들어, 엣지 데이터 네트워크(2000)는 상태 파라메터 및 회전 속도에 대한 가중치를 부여하고, 가중치를 고려하여, 제1 부분 영상의 크기, 소정의 시간당 프레임 수 및 제1 부분 영상의 비트레이트를 식별할 수 있다.
S534 단계에서, 엣지 데이터 네트워크(2000)는 적어도 하나의 상태 파라메터의 값이 제2 임계값보다 크고, 회전 속도 정보의 회전 속도가 제4 임계값보다 작거나 같은지를 식별할 수 있다.
S536 단계에서, 엣지 데이터 네트워크(2000)는 적어도 하나의 상태 파라메터의 값이 제2 임계값보다 크고, 회전 속도 정보의 회전 속도가 제4 임계값보다 작거나 같은 경우, 제2 임계값보다 큰 적어도 하나의 상태 파라메터 및 제4 임계값보다 작거나 같은 회전 속도에 대응하는, 제1 부분 영상의 소정의 시간당 프레임 수 및 제1 부분 영상의 비트레이트 중 적어도 하나를 식별할 수 있다.
이때, 제2 임계값은 이전의 적어도 하나의 상태 파라메터의 값이 작거나 같은 것을 전제로 설정된 값이고, 제4 임계값은 이전의 회전 속도가 제4 임계값보다 큰 것을 전제로 설정된 값일 수 있고, 식별된 제1 부분 영상의 크기는 이전 상태의 제1 부분 영상의 크기보다 작을 수 있다. 또한, 식별된 제1 부분 영상의 소정의 시간당 프레임 수는 이전 상태의 제1 부분 영상의 소정의 시간당 프레임 수보다 클 수 있다. 식별된 제1 부분 영상의 비트레이트는 이전 상태의 제1 부분 영상의 비트레이트보다 클 수 있다.
이때, 제1 부분 영상의 크기는 상태 파라메터에 대응하여 식별될 수 있다. 또한, 제1 부분 영상의 소정의 시간당 프레임 수 및 비트레이트는 회전 속도에 대응하여 식별될 수 있다. 다만 이에 제한되지 않고, 각 식별 요소들(제1 부분 영상의 소정의 시간당 프레임 수 및 비트레이트)은 회전 속도 및 상태 파라메터를 종합적으로 고려하여 식별될 수 있음을 당업자는 이해할 수 있다.
S538 단계에서, 엣지 데이터 네트워크(2000)는 S530 및 S534 단계의 식별 결과가 No인 경우, 이전 상태와 동일한 제1 부분 영상의 크기, 소정의 시간당 프레임 수 및 제1 부분 영상의 비트레이트를 유지할 수 있다. 다만 이에 제한되지 않고, 적어도 하나의 상태 파라메터의 값이 제1 임계값보다 작거나 같은 경우나 회전 속도가 제3 임계값보다 큰 경우에, 제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터에 대응하는, 제1 부분 영상의 크기, 소정의 시간당 프레임 수 및 비트레이트 중 적어도 하나를 식별할 수 있고, 식별되지 않는 나머지 부호화 프레임 파라메터는 이전 상태와 동일하게 유지할 수 있다. 그렇지 않은 경우, 엣지 데이터 네트워크(2000)는 제1 부분 영상의 크기, 소정의 시간당 프레임 수 및 비트레이트를 이전과 동일하게 유지할 수 있다.
한편, 제1 임계값과 제2 임계값은 상이하고, 제3 임계값은 제4 임계값과 상이할 수 있으나, 이제 제한되지 않고, 동일한 값을 가질 수 있음을 당업자는 이해할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 전자 장치가 엣지 데이터 네트워크로부터 획득된 영상 컨텐츠를 스트리밍하는 방법을 나타내는 흐름도이다.
S602 단계에서, 전자 장치(1000)는 엣지 데이터 네트워크(2000)로 방위 정보 및 회전 속도 정보 중 적어도 하나를 포함하는 센서 정보를 전송할 수 있다.
S604 단계에서, 전자 장치(1000)는 엣지 데이터 네트워크(2000)로부터, 네트워크 상태 정보 및 장치 상태 정보를 포함하는 상태 정보 및 회전 속도 정보 중 적어도 하나를 기초로 식별된 제1 부분 영상의 크기, 위치, 비트레이트 및 소정의 시간당 프레임 수 중 적어도 하나에 따라, 제1 부분 영상에 대하여 부호화된 제1 프레임을 획득할 수 있다.
이때, 엣지 데이터 네트워크(2000)가 상태 정보 및 회전 속도 정보 중 적어도 하나를 기초로 제1 부분 영상의 크기, 위치, 비트레이트 및 소정의 시간당 프레임 수 중 적어도 하나를 식별하는 내용은 전술한 바 있으므로, 상세한 내용은 생략한다.
S606 단계에서, 전자 장치(1000)는 제1 프레임을 복호화하여 제1 부분 영상을 복원할 수 있다.
S608 단계에서, 전자 장치(1000)는 복원된 제1 부분 영상을 재생할 수 있다. 이때, 전자 장치(1000)는 재생 시점의 방위 정보를 기초로, 복원된 제1 부분 영상 중 일부를 재생할 수 있다.
도 7은 일 실시예에 따라, 본 개시의 일 실시 예에 따른 전자 장치와 엣지 데이터 네트워크 간의 동작 절차를 나타내는 흐름도이다.
도 7을 참조하면, S702 단계에서, 전자 장치(1000)는 방위 정보를 획득할 수 있다. 이때, 전자 장치(1000)는 추가적으로 회전 속도 정보를 획득할 수 있으나, 이에 제한되지 않는다.
S704 단계에서, 전자 장치(1000)는 방위 정보를 엣지 데이터 네트워크(2000)로 전송할 수 있다. 이때, 전자 장치(1000)는 추가적으로 회전 속도 정보를 전송할 수 있다. 방위 정보 및 회전 속도 정보는 주기적으로 획득되어 전송될 수 있으나, 이에 제한되지 않는다.
S706 단계에서, 전자 장치(1000)는 네트워크 상태 및 전자 장치(1000)의 상태 중 적어도 하나의 상태를 포함하는 상태 정보를 엣지 데이터 네트워크(2000)로 전송할 수 있다. 이때, 전송되는 상태 정보는 전자 장치(1000)의 특정 모듈에서 측정된 쓰루풋에 관한 정보일 수 있고, 예를 들어, 수신 모듈에서 측정된 단위 시간당 수신 패킷의 수, 비트의 수와 같은 단위 시간당 수신 데이터의 크기 등에 관한 정보가 엣지 데이터 네트워크(2000)로 전송될 수 있다.
S708 단계에서, 엣지 데이터 네트워크(2000)는 방위 정보를 기초로 사용자 시야각 영상을 식별할 수 있다. 예를 들어, 엣지 데이터 네트워크(2000)는 수신된 방위 정보를 기초로 사용자 시야각 영상의 위치를 식별할 수 있다.
S710 단계에서, 엣지 데이터 네트워크(2000)는 상태 정보를 기초로, 제1 부분 영상의 크기, 위치, 비트레이트 제1 부분 영상의 시간당 프레임 수 중 적어도 하나를 식별할 수 있다.
일 실시예에 있어서, 엣지 데이터 네트워크(2000)는 상태 정보를 기초로 비트레이트 또는 시간당 프레임 수를 결정할 수 있다. 예를 들어, 상태 정보에 포함된 적어도 하나의 상태 파라메터가 제1 임계값보다 큰 경우, 비트레이트 또는 시간당 프레임 수가 증가되도록 결정될 수 있다. 이와 달리, 상태 정보에 포함된 적어도 하나의 상태 파라메터가 제2 임계값보다 작은 경우, 비트레이트 또는 시간당 프레임 수가 감소되도록 결정될 수 있다.
이후, 엣지 데이터 네트워크(2000)는 결정된 시간당 프레임 수를 기초로 제1 부분 영상의 크기를 결정할 수 있다. 결정된 시간당 프레임 수가 제1 임계값보다 큰 경우, 제1 부분 영상의 크기는 증가되도록 결정될 수 있다. 이와 달리, 결정된 시간당 프레임 수가 제2 임계값보다 작은 경우, 제1 부분 영상의 크기는 감소되도록 결정될 수 있다. 시간당 프레임 수와 제1 부분 영상의 크기와의 관계는 이하 도 11 및 도 13을 참조로 더 자세히 설명한다.
다른 실시예에 있어서, 엣지 데이터 네트워크(2000)는 상태 정보를 기초로, 제1 부분 영상의 크기 그리고, 비트레이트 제1 부분 영상의 시간당 프레임 수 중 적어도 하나를 결정할 수 있다. 이에 대해서는 이하 도 8을 참조로 더 상세히 설명한다.
나머지 단계는, 도 3에서 전술한 바 있으므로, 상세한 설명은 생략하기로 한다.
도 8a는 일 실시예예 따라, 적어도 하나의 상태 파라메터가 제1 임계값보다 큰 경우에 엣지 데이터 네트워크(2000)가 제1 부분 영상을 스트리밍하는 과정을 설명하기 위한 도면이다.
도 8a를 참조하면, 전자 장치(1000)는 엣지 데이터 네트워크(2000)로 적어도 하나의 상태 파라메터에 관한 정보를 전송하고, 엣지 데이터 네트워크(2000)는 정보를 수신하고, 제1 임계값보다 큰 적어도 하나의 상태 파라메터(810)를 식별할 수 있다. 이때, 상태 파라메터는 쓰루풋에 관한 정보일 수 있다. 쓰루풋은 엣지 데이터 네트워크(2000) 내 데이터의 처리량, 전자 장치(1000) 내 데이터의 처리량 또는 네트워크를 통해 송수신되는 데이터의 처리량 중 적어도 하나에 관한 정보일 수 있다. 예를 들어, 전자 장치(1000)는 수신 모듈에서 네트워크를 통해 수신되는 단위 시간당 데이터의 크기를 측정하고, 이에 관한 정보를 엣지 데이터 네트워크(2000)로 전송할 수 있다.
엣지 데이터 네트워크(2000)는 제1 임계값보다 큰 적어도 하나의 상태 파라메터를 식별하고, 제1 임계값보다 큰 적어도 하나의 상태 파라메터에 대응하는 비트레이트를 설정하고, 소정의 회전 속도를 고려한 여분 시야각을 둔 제1 부분 영상(820)을 부호화하여 전자 장치(1000)로 전송할 수 있다.
다만, 이에 제한되지 않고, 엣지 데이터 네트워크(2000)는 초기에 전자 장치(1000)와 연결된 경우, 제1 임계값에 관계없이 디폴트로 상기의 경우와 동일하게 비트레이트 및 여분 시야각을 설정할 수 있음을 당업자는 이해할 수 있다.
도 8b는 일 실시예예 따라, 적어도 하나의 상태 파라메터가 제1 임계값보다 작거나 같은 경우에 엣지 데이터 네트워크(2000)가 제1 부분 영상을 스트리밍하는 과정을 설명하기 위한 도면이다.
도 8b를 참조하면, 전자 장치(1000)는 적어도 하나의 상태 파라메터가 제1 임계값보다 작거나 같은 상태 파라메터(830)인 경우, 엣지 데이터 네트워크(2000)로 적어도 하나의 상태 파라메터에 관한 정보를 전송하고, 엣지 데이터 네트워크(2000)는 해당 정보를 수신하고, 제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터(830)를 식별할 수 있다. 엣지 데이터 네트워크(2000)는 제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터를 식별하고, 제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터에 대응하는 비트레이트, 시야각 및 FPS이 설정될 수 있다.
이때, 비트레이트는 적어도 하나의 상태 파라메터가 제1 임계값보다 큰 경우보다 낮게 설정될 수 있다. FPS는 적어도 하나의 상태 파라메터가 제 1 임계값이 큰 경우보다 낮게 설정될 수 있다. 여분 시야각은 적어도 하나의 상태 파라메터가 제1 임계값보다 큰 경우보다 넓게 설정될 수 있다.
엣지 데이터 네트워크(2000)는 제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터를 식별하고, 제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터에 대응하는 비트레이트, FPS 및 여분의 시야각을 설정하여 제1 부분 영상(840)을 부호화하고, 부호화된 제1 부분 영상(840)을 전자 장치(1000)로 전송할 수 있다.
도 8c는 일 실시예에 따라, 엣지 데이터 네트워크(2000)가 적어도 하나의 상태 파라메터가 제1 임계값보다 작거나 같은 경우, 부호화 프레임 파라메터를 적응적으로 변경하는 과정을 설명하기 위한 도면이다.
도 8c를 참조하면, S840 단계에서, 엣지 데이터 네트워크(2000)는 현재 프레임을 부호화하는 과정에서, 적어도 하나의 상태 파라메터가 제1 임계값보다 작거나 같은지를 식별할 수 있다. 이때, 이전의 상태 파라메터가 제1 임계값보다 크고, 제1 임계값보다 큰 해당 상태 파라메터에 대응하는 비트레이트, FPS, 여분 시야각이 설정된 경우를 전제로 하거나, 전자 장치(1000)와 연결된 후에, 디폴트로 비트레이트, FPS, 여분 시야각이 설정된 경우를 전제로 한다. 디폴트로 설정된 비트레이트, FPS, 여분 시야각은 제1 임계값보다 큰 적어도 하나의 상태 파라메터에 대응하는 비트레이트, FPS, 여분 시야각과 동일할 수 있다.
엣지 데이터 네트워크(2000)는 현재 프레임을 부호화하는 과정에서, 적어도 하나의 상태 파라메터가 제1 임계값보다 작거나 같은 경우, 비트레이트를 이전의 비트레이트보다 낮게 설정할 수 있다. 즉, 부호화되는 프레임의 품질을 낮출 수 있다. 따라서, 적어도 하나의 상태 파라메터의 값이 낮아졌음에도 전자 장치(1000)에서 프레임 재생이 멈추는 것을 방지할 수 있다.
또한, 엣지 데이터 네트워크(2000)는 FPS를 이전의 FPS보다 낮게 설정할 수 있다. FPS를 낮게 설정함으로써, 네트워크 대역폭(Bandwidth)을 절약할 수 있고, 프레임을 전송하는 간격이 길어짐에 따라, 상태 파라메터의 값(예를 들어, 전자 장치(1000)의 수신 모듈에서 측정된 쓰루풋)이 낮아졌음에도 전자 장치(1000)에서 프레임 재생이 멈추는 것을 방지할 수 있다.
엣지 데이터 네트워크(2000)는 낮아진 FPS를 고려하여 더 넓은 여분의 시야각을 설정할 수 있다. FPS를 낮추게 되면, 프레임의 전송 간격이 길어지기 때문에 길어진 간격만큼 더 넓은 여분의 시야각을 설정함으로써, MTP 레이턴시를 보장하면서, ATW(Asynchronous TimeWarp)의 적절한 구현을 위한 것이다. 여기서 ATW는 렌더링된 프레임의 렌더링 엔진이 그려낸 이미지를 사용자의 움직임에 따라 수정하여 디스플레이에 표시하는 기법을 의미한다.
예를 들어, 엣지 데이터 네트워크(2000)에서 현재 프레임을 부호화하기 이전 프레임의 부호화 파라메터 중 FPS는 60fps이고, 여분의 시야각은 한 방향 기준으로 0.83도인 경우, 현재 프레임을 부호화하는 과정에서, 적어도 하나의 상태 파라메터가 제1 임계값보다 작거나 같다면, 현재 프레임의 부호화 파라메터 중 FPS는 30fps이고, 여분의 시야각은 한 방향 기준으로 1.67도로 설정할 수 있다.
엣지 데이터 네트워크(2000)는 사람이 전자 장치(1000)를 착용한 채로 100ms 동안 머리를 5도 회전(일반적으로 회전하는 정도의 일 예)한다고 할 때, 60fps 기준으로 16.6ms동안 0.83도 회전할 수 있으므로, 이전 부호화 프레임의 경우 여분의 시야각을 한 방향 기준으로 0.83도로 설정할 수 있고, 30fps로 낮춘 경우, 60fps보다 16.6ms 더 늦게 프레임이 전송되므로, 그 동안 움직일 수 있는 전자 장치(1000)의 회전 각도가 더 커지므로, 여분의 시야각을 한 방향 기준으로 두배인 1.67도로 설정할 수 있다.
즉, 엣지 데이터 네트워크(2000)는 소정의 시간동안 전자 장치(1000)가 몇 도 회전하는지를 식별하고, 하기와 같은 비례식에 기초하여 여분의 시야각을 설정할 수 있다.
[비례식]
소정의 시간: 회전 각도 = 프레임 전송 간격: 여분의 시야각
도 8d는 일 실시예에 따라, 상태 파라메터가 제1 임계값보다 큰 경우, 또는 작거나 같은 경우, 스트리밍되는 부호화 프레임의 파라메터를 도시한 도면이다.
도 8d를 참조하면, 상태 파라메터가 제1 임계값보다 큰 경우, 엣지 데이터 네트워크(2000)로부터 스트리밍되는 부호화 프레임(850)의 너비 및 높이는 2500 픽셀 및 1400 픽셀일 수 있고, 비트레이트는 25Mbps이고, FPS는 60fps일 수 있다.
한편, 상태 파라메터가 제1 임계값보다 작거나 같은 경우, 엣지 데이터 네트워크(2000)로부터, 스트리밍되는 부호화 프레임(860)의 너비 및 높이는 2600 픽셀 및 1500 픽셀일 수 있다. 비트레이트는 15Mbps이고, FPS는 30fps일 수 있다.
다만, 도 8d를 참조하여 상술한 파라메터들의 값은 일 예에 불과하고, 상술한 상태 파라메터가 제1 임계값보다 작거나 같은 경우와 큰 경우의 상대적인 파라메터의 관계를 고려한 다양한 파라메터의 값일 수 있다.
도 7 내지 8d를 참조하여 상술한 바와 같이, 엣지 데이터 네트워크(2000)는 상태 파라메터가 제1 임계값보다 작거나 같은 경우, 비트레이트, 초당 프레임 수 및 여분의 시야각을 적응적으로 식별함으로써, 상태 파라메터의 값이 제1 임계값보다 작거나 같은 상황(예를 들어, 수신 모듈에서 획득된 단위 시간당 수신된 데이터의 양이 제1 임계값보다 작거나 같은 상황)에 대한 내성(Tolerance)을 가질 수 있고, 블랙 에지를 최소화하고, MTP 레이턴시를 지속 보장할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치와 엣지 데이터 네트워크 간의 동작 절차를 나타내는 흐름도이다.
도 9를 참조하면, S902 단계에서, 전자 장치(1000)는 방위 정보 및 회전 속도 정보를 획득할 수 있다.
S904 단계에서, 전자 장치(1000)는 방위 정보 및 회전 속도 정보를 포함하는 엣지 데이터 네트워크(2000)로 전송할 수 있다.
S906 단계에서, 엣지 데이터 네트워크(2000)는 수신된 방위 정보를 기초로 사용자 시야각 영상을 식별할 수 있다. 예를 들어, 엣지 데이터 네트워크(2000)는 수신된 방위 정보를 기초로 사용자 시야각 영상의 위치를 식별할 수 있다.
S908 단계에서, 엣지 데이터 네트워크(2000)는 회전 속도 정보를 기초로 제1 부분 영상의 크기, 위치, 비트레이트 및 시간당 프레임 수 중 적어도 하나를 결정할 수 있다. 이때, 회전 속도 정보는 전자 장치(1000)로부터 수신될 수 있으나, 다만, 이에 제한되지 않고, 전자 장치(1000)로부터 직접 수신되지 않고, 현재 수신된 방위 정보와 이전에 수신된 방위 정보의 차이를 기초로 획득될 수 있다.
일 실시예에 있어서, 엣지 데이터 네트워크(2000)는 회전 속도 정보를 기초로 사용자 시야각 영상과 이를 둘러싼 여분의 시야각 영상을 포함하는 제1 부분 영상의 크기 및 위치를 결정할 수 있다. 이후, 결정된 제1 부분 영상의 크기를 기초로 제1 부분 영상의 비트레이트 및 소정의 시간당 프레임 수 중 적어도 하나를 결정할 수 있다. 예를 들어, 제1 부분 영상의 크기가 제1 임계값보다 큰 경우, 비트레이트 또는 시간당 프레임 수가 감소되도록 결정될 수 있다. 이와 달리, 제1 부분 영상의 크기가 제2 임계값보다 작은 경우, 비트레이트 또는 시간당 프레임 수가 증가되도록 결정될 수 있다.
다른 실시예에 있어서, 회전 속도 정보를 기초로 제1 부분 영상의 크기, 위치, 비트레이트, 및 소정의 시간당 프레임 수가 결정될 수 있다. 이에 대해서는 도 10a, 도 10b, 도 11 및 도 12을 참조로 더 상세히 설명한다.
나머지 단계는 도 3에서 전술한 내용과 중복되므로 생략하기로 한다.
도 10a는 일 실시예예 따라, 사용자가 착용한 전자 장치(1000)의 회전속도가 제1 임계값보다 작거나 같은 경우, 엣지 데이터 네트워크(2000)가 제1 부분 영상을 스트리밍하는 과정을 설명하기 위한 도면이다.
도 10a를 참조하면, 전자 장치(1000)는 회전 속도에 관한 정보를 엣지 데이터 네트워크(2000)로 전송하고, 엣지 데이터 네트워크(2000)는 회전 속도에 관한 정보를 수신하고, 회전 속도를 식별할 수 있다. 예를 들어, 전자 장치(1000)는 사용자의 머리에 착용한 전자 장치(1010)의 회전 속도가 제1 임계값보다 작은지(즉, 회전속도가 느리거나, 회전을 멈추는지)를 식별할 수 있다.
엣지 데이터 네트워크(2000)는 현재 회전 속도가 제1 임계값보다 작거나 같은 경우(또는 연결된 직후), 제1 임계값보다 작거나 같은 회전 속도에 대응하는(또는 디폴트로) 비트레이트 및 일정 여분의 시야각(1020)을 설정할 수 있다.
엣지 데이터 네트워크(2000)는 제1 임계값보다 작거나 같은 회전 속도에 대응하는 비트레이트 및 일정 여분의 시야각(1020)이 설정된 제1 부분 영상(1030)을 부호화하여 전자 장치(1000)로 전송할 수 있다.
도 10b는 일 실시예예 따라, 사용자의 머리에 착용한 전자 장치(1040)의 회전속도가 제1 임계값보다 큰 경우에 엣지 데이터 네트워크(2000)가 제1 부분 영상을 스트리밍하는 과정을 설명하기 위한 도면이다.
도 10b를 참조하면, 전자 장치(1000)는 회전 속도에 관한 정보를 엣지 데이터 네트워크(2000)로 전송하고, 엣지 데이터 네트워크(2000)는 회전 속도에 관한 정보를 수신하고, 회전 속도를 식별할 수 있다. 이때, 전자 장치(1000)는 사용자가 머리에 착용한 전자 장치(1040)의 회전 속도가 제1 임계값보다 큰 지(즉, 회전 속도가 빠른지)를 식별할 수 있다.
엣지 데이터 네트워크(2000)는 현재 회전 속도가 제1 임계값보다 큰 경우, 제1 임계값보다 큰 회전 속도에 대응하는 비트레이트 및 여분의 시야각 크기(1055,1060)를 설정할 수 있다. 이때, 회전 방향(1050)을 고려하여, 회전 방향(1050)의 여분의 시야각(1055)을 회전 방향(1050)의 반대방향의 여분의 시야각(1060)보다 더 넓게 설정될 수 있다. 반대방향의 여분의 시야각(1060)은 디폴트로 설정된 여분의 시야각의 크기와 동일할 수 있으나, 이에 제한되지 않고, 클 수 있다.
엣지 데이터 네트워크(2000)는 도 10a를 참조하여 설명한 비트레이트 및 여분의 시야각에 비하여, 낮은 비트레이트로 설정되고, 회전 진행 방향(및 그 반대 방향)으로 더 넓게 여분의 시야각(1055,1060)을 둔 제1 부분 영상(1070)을 부호화하여 전자 장치(1000)로 전송할 수 있다.
도 11은 일 실시예에 따라, 엣지 데이터 네트워크(2000)가 회전 속력이 제1값(빠른 속력)을 갖는 경우에 부호화 프레임의 좌우 시야각을 식별하는 과정을 설명하기 위한 도면이다.
도 11을 참조하면, 전자 장치(1000)는 주기적으로, Yaw, Pitch, Roll와 같은 방위 정보와 Velocity와 같은 순간 회전 속도 정보를 포함하는 센서 정보를 엣지 데이터 네트워크(2000)로 전송할 수 있다. 예를 들어, 전자 장치(1000)는 16.6ms마다, 방위 정보 및 회전 속도 정보를 포함하는 센서 정보를 전송할 수 있다.
이때, 전자 장치(1000)가 센서 정보를 보낸 후, 응답(확장된 높이 ext-Height 및 확장된 너비 ext-Width 및 기준 방위 정보 Yaw, Pitch, Roll를 포함하는 응답)을 수신하기까지의 총 처리 시간이 레이턴시(L)로 정의될 수 있다. 레이턴시(L)는, 엣지 데이터 네트워크(2000)의 처리 시간 및 네트워크 지연 시간을 고려한 시간으로, 예를 들어, 33.3ms일 수 있다.
한편, 전자 장치(1000)가 다음 프레임을 수신하기까지의 시간은 프레임 간격(r)으로 정의될 수 있다. 예를 들어, FPS가 60fps인 경우, 프레임 간격(r)은 16.6ms일 수 있다.
전자 장치(1000)의 기본 시야각은 F로 정의될 수 있다. 예를 들어, 전자 장치(1000)의 기본 시야각(F)는 110도일 수 있다. 머리의 회전 속력은 V로 정의될 수 있다. 예를 들어, 회전 속력(V)는 600도/초일 수 있다.
이때, 엣지 데이터 네트워크(2000)는 전송해야 할 프레임의 좌우 시야각 ROI(Region Of Interest)(기본 시야각 + 여분의 시야각)를 다음 수학식에 따라 식별할 수 있다.
[수학식]
ROI=F+(2 x ( V x (L + r) ) )
예를 들어, F는 110도이고, V는 600도/초, L은 33.3ms 및 r은 16.6ms 인 경우, ROI는 170도로 식별될 수 있다.
도 12는 일 실시예에 따라, 엣지 데이터 네트워크(2000)가 회전 속력이 제2값(느린 속력)인 경우. 좌우 시야각을 식별하는 과정을 설명하기 위한 도면이다.
도 12를 참조하면, 도 11과 달리, 회전 속력이 600도/초에서 200도/초로 변경될 수 있다. 이 경우, 엣지 데이터 네트워크(2000)는 전송해야 할 프레임의 좌우 시야각 ROI를 상기 수학식에 따라 식별할 수 있고, 다른 조건이 동일한 경우, 130도로 식별될 수 있다.
도 13은 일 실시예에 따라, 엣지 데이터 네트워크(2000)가 회전 속도가 제1값(빠른 속력)인 경우, 엣지 데이터 네트워크(2000)가 FPS를 낮게 설정한 후에, 좌우 시야각을 식별하는 과정을 설명하기 위한 도면이다.
도 13를 참조하면, 도 11과 달리, 엣지 데이터 네트워크(2000)가 설정한 FPS는 30fps로 변경될 수 있다.
이 경우, 엣지 데이터 네트워크(2000)는 전송해야 할 프레임의 좌우 시야각 ROI를 상기 수학식에 따라 식별할 수 있고, 다른 조건이 동일한 경우, 170도로 식별될 수 있다.
따라서, 엣지 데이터 네트워크(2000)는 회전 속력에 따라, 소정의 시간당 프레임 수를 식별하고, 소정의 시간당 프레임 수에 따라, 여분의 시야각을 식별하고, 기본 시야각(사용자 시야각) 및 여분의 시야각을 포함한 시야각을 식별할 수 있다. 이때, 소정의 시간당 프레임 수가 감소함에 따라, 프레임 간격 동안의 예상 머리 움직임을 고려하여 식별된 여분의 시야각은 커질 수 있다.
도 11 내지 도 13을 참조하여, 시야각을 식별하는 과정을 상술하였고, 이때, 좌우 여분의 시야각은 동일함을 전제로 설명하였으나, 이에 제한되지 않고, 회전 방향의 시야각과 그 반대 방향의 시야각을 비대칭적으로 식별할 수 있음을 당업자는 이해할 수 있다. 예를 들어, 회전 방향의 여분의 시야각은 V x ( L + r)로 식별될 수 있고, 회전 방향 반대 방향의 여분의 시야각은 디폴트 여분의 시야각으로 식별될 수 있다. 또는, 엣지 데이터 네트워크(2000)는 머리의 회전 속력, 레이턴시 및 프레임 간격에 추가적으로, 회전 방향과 그 반대 방향 간의 가중치를 고려하여 여분의 시야각을 식별할 수 있음을 당업자는 이해할 수 있다.
이하에서는, 일 실시예에 따라, 도 11 및 13을 참조하여, 상술한 좌우 시야각을 식별하는 방법을 기초로, 엣지 데이터 네트워크(2000)가 프레임을 스트리밍하고, 전자 장치(1000)가 프레임을 렌더링하기까지의 과정을 설명하겠다.
엣지 데이터 네트워크(2000)는 좌우방향의 회전 속력의 소정의 범위를 미리 식별할 수 있다. 예를 들어, 엣지 데이터 네트워크(2000)는 0에서 50도/초까지의 범위를 Range 1로 미리 식별할 수 있고, 50도/초에서 200도/초까지의 범위를 Range 2로 미리 식별할 수 있고, 200도/초에서 600도/초까지의 범위를 Range 3로 미리 식별할 수 있다.
전자 장치(1000)와 엣지 데이터 네트워크(2000) 간에 더미 데이터(Dummy Data)를 주고 받아 네트워크 레이턴시를 포함하는 레이턴시를 측정할 수 있다. 예를 들어, 전자 장치(1000)는 방위 정보(Yaw,Pitch,Roll) 및 그 시점의 타임스템프(측정 타임스탬프)를 포함하는 기본 시야각 영상에 대한 요청을 엣지 데이터 네트워크(2000)로 전송하고, 기본 시야각 영상을 엣지 데이터 네트워크(2000)로부터 수신하고, 수신한 시점의 타임스템프(현재 타임스템프)와 측정 타임스탬프의 차이를 산출하고, 타임 스탬프의 차이를 기초로 레이턴시를 측정할 수 있다.
엣지 데이터 네트워크(2000)는 레이턴시 등을 고려하여, 범위 별로 최대 속력에 대한 시야각을 미리 식별할 수 있다. 이때, 각 범위 및 이에 대응하는 시야각은 룩업 테이블 형태로 저장될 수 있다.
전자 장치(1000)는 주기적으로 현재 머리가 향하는 각도(Yaw, Pitch, Roll)과 각각의 순간 회전 속도(Velocity of Yaw, Velocity of Pitch, Velocity of Roll)을 엣지 데이터 네트워크(2000)로 전송할 수 있다. 예를 들어, 전송되는 정보는 {"Yaw":0.125, "Pitch":0.545, "Roll":0.13, "vYaw"=45도/초, "vPictch":20도/초, "vRoll" :5도/초}일 수 있다.
엣지 데이터 네트워크(2000)는 미리 식별된 범위에 대응하는 시야각의 프레임을 부호화하여 전송할 수 있다. 이때, 전송되는 부호화 프레임의 전송 프로토콜 헤더의 페이로드(Payload)에 전송되는 부호화 프레임의 기준 각도 및 확장 시야각 영역의 높이 및 너비가 포함될 수 있다. 예를 들어, 페이로드에 포함되는 정보는 {"Yaw":0.125, "Pitch": 0.545, "Roll": 0.13, "extWidth": 110px, "extHeight":200px}일 수 있다.
전자 장치(1000)는 수신된 데이터의 페이로드를 확인하여 프레임의 위치와 너비 및 높이를 식별하여 프레임을 복호화하고, 복호화된 프레임을 기초로, 전자 장치(1000)의 디스플레이에 복원된 프레임을 표시할 수 있다.
도 14는 일 실시예에 따라, 엣지 데이터 네트워크(2000)가 객체 감지를 기초로 추가 여분의 시야각 영역을 식별하는 과정을 설명하기 위한 도면이다.
도 14를 참조하면, 엣지 데이터 네트워크(2000)는 전술한 바와 같이, VR 영상(1400) 내 기본 시야각 영역(1410) 및 여분의 시야각 영역(1420)을 식별할 수 있다. 이때, 엣지 데이터 네트워크(2000)는 객체 감지를 수행하고, 여분의 시야각 영역(1420)이 커버하지 못하는 객체(1455)를 감지할 수 있다. 이때, 감지된 객체를 커버할 수 있도록 여분의 시야각 영역(1420)보다 넓은 여분의 시야각 영역(1430)이 식별될 수 있다.
즉, 사용자는 관심을 가질만한 객체가 시야각 영역에 걸쳐 있는 경우, 객체를 식별하기 위해, 추가적으로 머리를 시야각 영역 바깥 방향으로 움직일 수 있기 때문에, 감지된 객체를 기초로 더 넓은 여분의 시야각 영역을 식별할 수 있다.
도 15는 일 실시예에 따라, 엣지 데이터 네트워크(2000)가 여러 조각의 데이터 단위를 기초로, 제1 부분 영상을 전자 장치(1000)로 전송하는 과정을 설명하기 위한 도면이다.
엣지 데이터 네트워크(2000)는 VR 영상(1500)을 세로 방향(경도)으로 나누어 여러 조각의 데이터 단위를 획득하고, 제1 부분 영상을 획득하는 과정에서, 여러 조각의 데이터 단위 중 필요한 시야각만큼의 적어도 하나의 조각의 데이터 단위(①,②,③)를 선택하고 이를 부호화하여 전자 장치(1000)로 전송할 수 있다.
도 16은 전자 장치와 엣지 데이터 네트워크(edge data network) 및 VR 게이밍 인터페이스 장치 간의 동작 절차를 개략적으로 설명하기 위한 도면이다.
도 16를 참조하면, 도 4와 달리, VR 게이밍 인터페이스 장치(4000)를 추가로 도시하고 있다. VR 게이밍 분야의 경우, VR 스트리밍 분야와 달리, 사용자의 인터랙션(Interaction)이 존재하고, 따라서, 전자 장치(1000) 외 VR 게이밍 인터페이스 장치(4000)가 이용될 수 있다.
VR 스트리밍 분야에서의 전자 장치와 엣지 데이터 네트워크(edge data network) 간의 동작 절차에 대해서는, 도 4 등을 참조하여 전술한 바 있는 바, 중복되는 부분은 생략하고, VR 게이밍 분야에서의 전자 장치와 엣지 데이터 네트워크 및 VR 게이밍 인터페이스의 장치의 동작 절차를 설명하겠다.
엣지 데이터 네트워크(2000)는 VR 게임 처리 모듈(1686)의 인스트럭션을 기초로 VR 시퀀스에 포함된 VR 게임 영상(인터랙티브 VR 영상)을 생성할 수 있다.
구체적으로, VR 게임 처리 모듈(1686)은 방위 정보, 회전 속도 정보 및 VR 게이밍 인터페이스 장치 센싱 정보(1652)를 기초로 VR 게임 영상의 제1 부분 영상을 생성하기 위한 인스트럭션을 저장할 수 있다. VR 게임 처리 모듈(1686)은 VR 게이밍 인터페이스 장치 제어 정보(1654)를 출력하기 위한 인스트럭션을 저장할 수 있다.
전자 장치(1000)는 VR 게임 처리를 위해 VR 게이밍 인터페이스 장치 센싱 정보(1652)를 엣지 데이터 네트워크(2000)로 전송할 수 있다. 이때, 전자 장치(1000)는 VR 게이밍 인터페이스 장치(4000)로부터 VR 게이밍 인터페이스 장치 센싱 정보를 수신할 수 있다.
VR 게이밍 인터페이스 장치(4000)는 네트워크 인터페이스(4020), 센싱 모듈(4010), 엑츄에이팅 모듈(4030)을 포함할 수 있다. 네트워크 인터페이스(4020)는 외부와 통신하기 위한 모듈이고, 센싱 모듈(4010)은 사용자의 동작을 감지하기 위한 모듈일 수 있다. 센싱 모듈(4010)은 VR 게이밍 인터페이스 장치 센싱 정보를 획득할 수 있다.
엑츄에이팅 모듈(4030)은 진동 등과 같은 다양한 형태의 출력(햅틱 피드백)을 사용자에게 제공하는 모듈일 수 있다. 엑츄에이팅 모듈(4030)은 VR 게이밍 인터페이스 장치 센싱 제어 정보를 기초로 사용자에게 다양한 형태의 출력을 제공할 수 있다.
VR 게이밍 인터페이스 장치(4000)는 전자 장치(1000)로 VR 게이밍 인터페이스 장치 센싱 정보를 전송할 수 있다. 또한, VR 게이밍 인터페이스 장치(4000)는 전자 장치(1000)로부터 VR 게이밍 인터페이스 장치 제어 정보를 수신할 수 있다.
이상, VR 인터페이스 장치 센싱 정보는 전자 장치(1000)를 거쳐 엣지 데이터 네트워크(2000)로 전송되거나, VR 인터페이스 장치 센싱 정보 및 VR 인터페이스 장치 제어 정보는 전자 장치(1000)를 거쳐 VR 게이밍 인터페이스 장치(4000)로 전송되는 내용을 상술하였으나, 이에 제한되지 않고, 직접 VR 게이밍 인터페이스 장치(4000)와 엣지 데이터 네트워크(2000) 간에 교환될 수 있다. 이때, 전자 장치(1000)와 동기화를 위한 동기화 정보가 함께 전송될 수 있다.
도 16을 참조하여, VR 게이밍 분야에서의 전자 장치와 엣지 데이터 네트워크(edge data network) 및 VR 게이밍 인터페이스 장치 간의 동작 절차를 설명하였으나, 이에 제한되지 않고, 인터랙티브 VR은 주로 시뮬레이션, 훈련 등 사용자가 직접 콘텐츠에 개입해 활동을 할 수 있는 많은 분야에 활용될 수 있음을 당업자는 이해할 수 있다.
도 17은 본 개시의 일 실시 예에 따른 전자 장치의 블록도이다.
도 1 내지 도 16의 엣지 데이터 네트워크에 연결된 전자 장치는 도 17의 전자 장치(110)에 대응될 수 있다. 예를 들어, 네트워크 환경(100)에서 전자 장치(110)는 제1 네트워크(1798)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(1702)(여기서 전자 장치는 VR 게이밍 인터페이스 장치를 포함)와 통신하거나, 또는 제2 네트워크(1799)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(1704) 또는 서버(1708)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(110)는 서버(1708)를 통하여 전자 장치(1704)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(110)는 프로세서(1720), 메모리(1730), 입력 장치(1750), 음향 출력 장치(1755), 표시 장치(1760), 오디오 모듈(1770), 센서 모듈(1776), 인터페이스(1777), 햅틱 모듈(1779), 카메라 모듈(1780), 전력 관리 모듈(1788), 배터리(1789), 통신 모듈(1790), 가입자 식별 모듈(1796), 또는 안테나 모듈(1797)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(110)에는, 이 구성 요소들 중 적어도 하나(예: 표시 장치(1760) 또는 카메라 모듈(1780))이 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성 요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(1776)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(1760)(예: 디스플레이)에 임베디드(embedded)된 채 구현될 수 있다.
프로세서(1720)는, 예를 들면, 소프트웨어(예: 프로그램(1740))을 실행하여 프로세서(1720)에 연결된 전자 장치(110)의 적어도 하나의 다른 구성 요소(예: 하드웨어 또는 소프트웨어 구성 요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(1720)는 다른 구성 요소(예: 센서 모듈(1776) 또는 통신 모듈(1790))로부터 수신된 명령 또는 데이터를 휘발성 메모리(volatile memory)(1732)에 로드(load)하고, 휘발성 메모리(1732)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(non-volatile memory)(1734)에 저장할 수 있다.
일 실시예에 따르면, 프로세서(1720)는, 애플리케이션 클라이언트를 실행할 수 있고, 애플리케이션 클라이언트가 실행됨에 따라, 애플리케이션 클라이언트가 이용할 네트워크 프로토콜을 확인하기 위한 요청 메시지를 엣지 데이터 네트워크(2000)에 전송할 수 있다. 또한, 프로세서(1720)는 애플리케이션 클라이언트가 이용할 네트워크 프로토콜을 나타내는 응답 메시지를 엣지 데이터 네트워크(2000)로부터 수신할 수 있다. 프로세서(1720)는, 응답 메시지에 기초하여 UE 애플리케이션이 이용할 네트워크 프로토콜을 업데이트할 수 있다. 프로세서(1720)는 업데이트된 네트워크 프로토콜에 대응하는 네트워크 소켓을 선택할 수 있다. 프로세서(1720)는 선택된 네트워크 소켓을 이용하여, 엣지 데이터 네트워크(2000)로부터 애플리케이션 클라이언트에 대하여 생성된 데이터를 수신할 수 있다.
일 실시예에 따르면, 프로세서(1720)는 메인 프로세서(1721)(예: 중앙 처리 장치(CPU, central processing unit) 또는 어플리케이션 프로세서(AP, application processor)), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(1723)(예: 그래픽 처리 장치(GPU, graphic processing unit), 이미지 시그널 프로세서(ISP, image signal processor), 센서 허브 프로세서(sensor hub processor), 또는 커뮤니케이션 프로세서(CP, communication processor))를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(1723)는 메인 프로세서(1721)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(1723)는 메인 프로세서(1721)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(1723)는, 예를 들면, 메인 프로세서(1721)가 인액티브(inactive)(예: 슬립(sleep)) 상태에 있는 동안 메인 프로세서(1721)를 대신하여, 또는 메인 프로세서(1721)가 액티브(active)(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(1721)와 함께, 전자 장치(110)의 구성 요소들 중 적어도 하나의 구성 요소(예: 표시 장치(1760), 센서 모듈(1776), 또는 통신 모듈(1790))과 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(1723)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(1780) 또는 통신 모듈(1790))의 일부로서 구현될 수 있다.
메모리(1730)는, 전자 장치(110)의 적어도 하나의 구성 요소(예: 프로세서(1720) 또는 센서 모듈(1776))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(1740)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(1730)는, 휘발성 메모리(1732) 또는 비휘발성 메모리(1734)를 포함할 수 있다.
프로그램(1740)은 메모리(1730)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(OS, operating system)(1742), 미들웨어(middleware)(1744) 또는 어플리케이션(1746)을 포함할 수 있다. 일 실시예에서, 프로그램(1740)은, 도 1의 제1 애플리케이션 클라이언트(122) 및 제2 애플리케이션 클라이언트(124)를 포함할 수 있다. 그리고, 프로그램(1740)은 도 1의 엣지 인에이블러 클라이언트(130)를 포함할 수 있다.
입력 장치(1750)는, 전자 장치(1710)의 구성 요소(예: 프로세서(1720))에 사용될 명령 또는 데이터를 전자 장치(110)의 외부(예: 사용자)로부터 수신할 수 있다.
음향 출력 장치(1755)는 음향 신호를 전자 장치(110)의 외부로 출력할 수 있다. 음향 출력 장치(1755)는, 예를 들면, 스피커(speaker)를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다.
표시 장치(1760)는 전자 장치(110)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(1760)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 표시 장치(1760)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서(pressure sensor))를 포함할 수 있다.
오디오 모듈(1770)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(1770)은, 입력 장치(1750)를 통해 소리를 획득하거나, 음향 출력 장치(1755), 또는 전자 장치(110)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(1702))(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(1776)은 전자 장치(110)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(1776)은, 예를 들면, 제스처 센서(gesture sensor), 자이로 센서(gyro sensor), 기압 센서(barometer sensor), 마그네틱 센서(magnetic sensor), 가속도 센서(acceleration sensor), 그립 센서(grip sensor), 근접 센서(proximity sensor), 컬러 센서(color sensor)(예: RGB(red, green, blue) 센서), IR(infrared) 센서, 생체 센서(biometric sensor), 온도 센서(temperature sensor), 습도 센서(humidity sensor), 조도 센서(illuminance sensor), 또는 자율 주행차와 관련된 센서들(예: 관성 측정 센서(IMU), GPS(Global Positioning System) 센서, 카메라, LIDAR(Light Imaging Detection and Ranging), RADAR(Radio Detection and Ranging) 등)을 포함하는 센서 모듈을 포함할 수 있다.
인터페이스(1777)는 전자 장치(110)의 외부 전자 장치(예: 전자 장치(1702))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜(protocol)들을 지원할 수 있다.
연결 단자(connection terminal)(1778)는, 그를 통해서 전자 장치(110)가 외부 전자 장치(예: 전자 장치(1702))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다.
햅틱 모듈(haptic module)(1779)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다.
카메라 모듈(1780)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(1780)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(1788)은 전자 장치(1710)에 공급되는 전력을 관리할 수 있다.
배터리(1789)는 전자 장치(1710)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다.
통신 모듈(1790)은 전자 장치(110)와 외부 전자 장치(예: 전자 장치(1702), 전자 장치(1704), 또는 서버(1708)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(1790)은 프로세서(1720)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(1790)은 무선 통신 모듈(1792)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(1794)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(1798)(예: 블루투스, Wi-Fi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(1799)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN(wide area network))와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다.
무선 통신 모듈(1792)은 가입자 식별 모듈(1796)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI, international mobile subscriber identity))를 이용하여 제1 네트워크(1798) 또는 제2 네트워크(1799)와 같은 통신 네트워크 내에서 전자 장치(110)를 확인 및 인증할 수 있다.
안테나 모듈(1797)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다.
상기 구성 요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고, 신호(예: 명령 또는 데이터)를 상호 간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(1799)에 연결된 서버(1708)를 통해서 전자 장치(110)와 외부의 전자 장치(1704) 간에 송신 또는 수신될 수 있다. 전자 장치(1702, 1704) 각각은 전자 장치(110)와 동일한 또는 다른 종류의 장치일 수 있다.
일 실시예에 따르면, 전자 장치(110)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(1702, 1704 또는 1708) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(110)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(110)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들(1702, 1704)에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들(1702, 1704)은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(110)로 전달할 수 있다. 전자 장치(110)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅(cloud computing), 분산 컴퓨팅(distributed computing), 또는 클라이언트-서버 컴퓨팅(client-server computing) 기술이 이용될 수 있다.

Claims (15)

  1. 엣지 데이터 네트워크가 영상 컨텐츠를 전송 하는 방법에 있어서,
    상기 엣지 데이터 네트워크와 연결된 전자 장치로부터 감지된 방위 정보를 포함하는 센서 정보(sensor information)를 획득하는 단계;
    상기 엣지 데이터 네트워크와 상기 전자 장치 사이의 네트워크 상태 정보를 포함하는 상태 정보를 획득하는 단계;
    상기 센서 정보 및 상기 상태 정보를 기초로, 제1 부분 영상의 크기 및 위치를 식별하는 단계;
    상기 식별된 제1 부분 영상의 크기 및 위치를 기초로, 제1 부분 영상을 부호화하여 제1 프레임을 생성하는 단계; 및
    상기 생성된 제1 프레임을 상기 전자 장치로 전송하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 센서 정보는 회전 속도 정보를 더 포함하고,
    상기 상태 정보는 연결 장치 상태 정보를 더 포함하고,
    상기 센서 정보 및 상기 상태 정보를 기초로, 제1 부분 영상의 비트레이트 또는 소정의 시간당 프레임 수를 식별하는 단계를 더 포함하고,
    상기 제1 부분 영상을 부호화하여 제1 프레임을 생성하는 단계는,
    상기 식별된 제1 부분 영상의 크기, 위치, 비트레이트(Bitrate) 및 소정의 시간당 프레임 수 중 적어도 하나를 기초로, 상기 제1 부분 영상을 부호화하여 제1 프레임을 생성하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서, 제1 부분 영상은 복수의 프레임을 포함하는 VR 시퀀스의 소정의 프레임 인덱스를 가지는 제1 VR 영상 내 부분 영상이며, 상기 제1 부분 영상은 부분 영상의 위치를 나타내는 방위 정보와 관련되는 것을 특징으로 하는 방법.
  4. 제2항에 있어서,
    상기 센서 정보 및 상기 상태 정보를 기초로, 제1 부분 영상의 크기, 위치, 비트레이트(Bitrate), 및 소정의 시간당 프레임 수 중 적어도 하나를 식별하는 단계는,
    상기 상태 정보에 포함된 적어도 하나의 네트워크 상태, 상기 엣지 데이터 네트워크의 상태 및 상기 전자 장치의 상태 중 적어도 하나의 상태에 관한 적어도 하나의 상태 파라메터의 값이 적어도 하나의 제1 임계값보다 작거나 같은 경우,
    상기 제1 임계값보다 작거나 같은 상기 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기 및 소정의 시간당 프레임 수를 식별하는 단계;
    상기 상태 정보에 포함된 적어도 하나의 상태 파라메터의 값이 적어도 하나의 제2 임계값보다 큰 경우,
    상기 제2 임계값보다 큰 상기 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기 및 상기 제1 부분 영상의 소정의 시간당 프레임 수를 식별하는 단계 중 적어도 하나의 단계를 포함하고,
    상기 제1 임계값보다 작거나 같은 상기 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기는 상기 제2 임계값보다 큰 상기 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기보다 크고, 상기 제1 임계값보다 작거나 같은 상기 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 소정의 시간당 프레임 수는 상기 제2 임계값보다 큰 상기 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 소정의 시간당 프레임 수보다 작은 것을 특징으로 하는 방법.
  5. 제2항에 있어서,
    상기 센서 정보 및 상기 상태 정보를 기초로 제1 부분 영상의 크기, 위치, 비트레이트(Bitrate) 및 소정의 시간당 프레임 수 중 적어도 하나를 식별하는 단계는,
    상기 상태 정보에 포함된 적어도 하나의 네트워크 상태, 상기 엣지 데이터 네트워크의 상태 및 상기 전자 장치의 상태 중 적어도 하나의 상태에 관한 적어도 하나의 상태 파라메터의 값이 적어도 하나의 제1 임계값보다 작거나 같은 경우, 상기 제1 임계값보다 작거나 같은 상기 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기, 상기 제1 부분 영상의 소정의 시간당 프레임 수 및 상기 제1 부분 영상의 비트레이트를 식별하는 단계; 및
    상기 상태 정보에 포함된 적어도 하나의 상태 파라메터의 값이 적어도 하나의 제2 임계값보다 큰 경우, 상기 제2 임계값보다 큰 상기 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기, 상기 제1 부분 영상의 소정의 시간당 프레임 수 및 상기 제1 부분 영상의 비트레이트를 식별하는 단계 중 적어도 하나의 단계를 포함하고,
    상기 제1 임계값보다 작거나 같은 상기 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기는 상기 제2 임계값보다 큰 상기 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 크기보다 크고, 상기 제1 임계값보다 작거나 같은 상태 파라메터에 대응하는 상기 제1 부분 영상의 소정의 시간당 프레임 수는 상기 제2 임계값보다 큰 적어도 하나의 상태 파라메터에 대응하는 제1 부분 영상의 소정의 시간당 프레임 수보다 작고,
    상기 제1 임계값보다 작거나 같은 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 비트레이트는 상기 제2 임계값보다 큰 적어도 하나의 상태 파라메터에 대응하는 상기 제1 부분 영상의 비트레이트보다 작은 것을 특징으로 하는 방법.
  6. 제2항에 있어서,
    상기 센서 정보 및 상기 상태 정보를 기초로 제1 부분 영상의 크기, 위치, 비트레이트(Bitrate) 및 소정의 시간당 프레임 수 중 적어도 하나를 식별하는 단계는,
    상기 센서 정보에 포함된 회전 속도 정보의 회전 속도가 제1 임계값보다 큰 경우, 상기 제1 임계값보다 큰 회전 속도에 대응하는 상기 제1 부분 영상의 크기를 식별하는 단계; 및
    상기 회전 속도 정보의 회전 속도가 제2 임계값보다 작거나 같은 경우, 상기 제2 임계값보다 작거나 같은 회전 속도에 대응하는 상기 제1 부분 영상의 크기를 식별하는 단계 중 적어도 하나의 단계를 포함하고,
    상기 제1 임계값보다 큰 회전 속도에 대응하는 상기 제1 부분 영상의 크기가 상기 제2 임계값보다 작거나 같은 회전 속도에 대응하는 제1 부분 영상의 크기보다 큰 것을 특징으로 하는 방법.
  7. 제2항에 있어서,
    상기 센서 정보 및 상기 상태 정보를 기초로 제1 부분 영상의 크기, 위치, 비트레이트(Bitrate) 및 소정의 시간당 프레임 수 중 적어도 하나를 식별하는 단계는,
    상기 회전 속도 정보의 회전 속도가 제1 임계값보다 큰 경우, 상기 제1 임계값보다 큰 회전 속도에 대응하는 상기 제1 부분 영상의 크기 및 상기 제1 부분 영상의 소정의 시간당 프레임 수를 식별하는 단계; 및
    상기 회전 속도 정보의 회전 속도가 제2 임계값보다 작거나 같은 경우, 상기 제2 임계값보다 작거나 같은 회전 속도에 대응하는 상기 제1 부분 영상의 크기 및 상기 제1 부분 영상의 소정의 시간당 프레임 수를 식별하는 단계 중 적어도 하나의 단계를 포함하고,
    상기 제1 임계값보다 큰 회전 속도에 대응하는 상기 제1 부분 영상의 크기가 상기 제2 임계값보다 작거나 같은 회전 속도에 대응하는 제1 부분 영상의 크기보다 크고, 상기 제1 임계값보다 큰 회전 속도에 대응하는 상기 제1 부분 영상의 소정의 시간당 프레임 수가 상기 제2 임계값보다 작거나 같은 회전 속도에 대응하는 상기 제1 부분 영상의 소정의 시간당 프레임 수보다 작은 것을 특징으로 하는 방법.
  8. 제2항에 있어서,
    상기 센서 정보 및 상기 상태 정보를 기초로 제1 부분 영상의 크기, 위치, 비트레이트(Bitrate) 및 소정의 시간당 프레임 수 중 적어도 하나를 식별하는 단계는,
    제1 임계값보다 큰 회전 속도에 대응하는 상기 제1 부분 영상의 크기, 상기 제1 부분 영상의 소정의 시간당 프레임 수 및 상기 제1 부분 영상의 비트레이트를 식별하는 단계; 및
    제2 임계값보다 작거나 같은 회전 속도에 대응하는 상기 제1 부분 영상의 크기, 상기 제1 부분 영상의 소정의 시간당 프레임 수 및 상기 제1 부분 영상의 비트레이트를 식별하는 단계;
    중 적어도 하나의 단계를 포함하고,
    상기 제1 임계값보다 큰 회전 속도에 대응하는 상기 제1 부분 영상의 크기가 상기 제2 임계값보다 작거나 같은 회전 속도에 대응하는 제1 부분 영상의 크기보다 크고, 상기 제1 임계값보다 큰 회전 속도에 대응하는 상기 제1 부분 영상의 소정의 시간당 프레임 수가 상기 제2 임계값보다 작거나 같은 회전 속도에 대응하는 상기 제1 부분 영상의 소정의 시간당 프레임 수보다 작고, 상기 제1 임계값보다 큰 회전 속도에 대응하는 상기 제1 부분 영상의 비트레이트가 상기 제2 임계값보다 작거나 같은 회전 속도에 대응하는 상기 제1 부분 영상의 비트레이트를 이전보다 작은 것을 특징으로 하는 방법.
  9. 제4항에 있어서,
    상기 제1 부분 영상은 상기 방위 정보에 대응하는 사용자 시야각 영상 및 소정의 시간당 프레임 수에 대응하는 여분의 시야각 영상을 포함하는 것을 특징으로 하는 방법.
  10. 제6항에 있어서,
    상기 제1 부분 영상은 상기 방위 정보에 대응하는 사용자 시야각 영상 및 상기 회전 속도 정보의 회전 속도 및 회전 방향 중 적어도 하나에 대응하는 여분의 시야각 영상을 포함하는 것을 특징으로 하는 방법.
  11. 제7항에 있어서,
    상기 제1 부분 영상은 상기 방위 정보에 대응하는 사용자 시야각 영상 및 상기 회전 속도 정보의 회전 속도 및 회전 방향 중 적어도 하나와 소정의 시간당 프레임 수를 기초로 식별된 여분의 시야각 영상을 포함하는 것을 특징으로 하는 방법.
  12. 제10항에 있어서,
    상기 여분의 시야각 영상은 상기 시야각 영상을 기준으로 상기 회전 방향에 위치하는 제1 여분 시야각 영상 및 상기 회전 방향과 반대 방향에 위치하는 제2 여분 시야각 영상을 포함하고,
    상기 제1 여분 시야각 영상은 상기 제2 여분 시야각 영상보다 큰 것을 특징으로 하는 방법.
  13. 제9항에 있어서,
    상기 제1 부분 영상은 소정의 시야각 범위의 데이터 단위로 구성되고,
    상기 제1 부분 영상을 부호화하여 제1 프레임을 생성하는 단계는,
    상기 제1 부분 영상 중 상기 사용자 시야각 영상에 대응하는 적어도 하나의 소정의 시야각 범위의 제1 데이터 단위 및 상기 제1 부분 영상 중 상기 여분의 시야각 영상에 대응하는 적어도 하나의 소정의 시야각 범위의 제2 데이터 단위를 부호화하는 단계; 및
    상기 부호화된 제1 데이터 단위 및 제2 데이터 단위를 포함하는 상기 제1 프레임을 생성하는 단계를 포함하는 방법.
  14. 전자 장치로 영상 컨텐츠를 전송하는 엣지 데이터 네트워크에 있어서,
    네트워크 인터페이스;
    하나 이상의 인스트럭션들을 저장하는 메모리;
    상기 하나 이상의 인스트럭션들을 실행하는 프로세서;를 포함하고,
    상기 프로세서는 하나 이상의 인스트럭션들을 실행함으로써,
    상기 엣지 데이터 네트워크와 연결된 전자 장치로부터 감지된 방위 정보를 포함하는 센서 정보(sensor information)를 획득하고,상기 엣지 데이터 네트워크와 상기 전자 장치 사이의 네트워크 상태 정보를 포함하는 상태 정보를 획득하고,상기 센서 정보 및 상기 상태 정보를 기초로, 제1 부분 영상의 크기 및 위치를 식별하고,
    상기 식별된 제1 부분 영상의 크기 및 위치를 기초로, 제1 부분 영상을 부호화하여 제1 프레임을 생성하고,
    상기 생성된 제1 프레임을 상기 전자 장치로 전송하는, 엣지 데이터 네트워크.
  15. 엣지 데이터 네트워크가
    상기 엣지 데이터 네트워크와 연결된 전자 장치로부터 감지된 방위 정보를 포함하는 센서 정보(sensor information)를 획득하는 단계;
    상기 엣지 데이터 네트워크와 상기 전자 장치 사이의 네트워크 상태 정보를 포함하는 상태 정보를 획득하는 단계;
    상기 센서 정보 및 상기 상태 정보를 기초로, 제1 부분 영상의 크기 및 위치를 식별하는 단계;
    상기 식별된 제1 부분 영상의 크기 및 위치를 기초로, 제1 부분 영상을 부호화하여 제1 프레임을 생성하는 단계; 및
    상기 생성된 제1 프레임을 상기 전자 장치로 전송하는 단계를 포함하는, 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2021/006214 2020-05-18 2021-05-18 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치 WO2021235829A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180036437.9A CN115668953A (zh) 2020-05-18 2021-05-18 使用边缘计算服务的图像内容传输方法和设备
EP21808088.5A EP4142292A4 (en) 2020-05-18 2021-05-18 METHOD AND DEVICE FOR TRANSMITTING IMAGE CONTENT USING ON-BOARD CALCULATION SERVICE
US17/990,319 US20230079171A1 (en) 2020-05-18 2022-11-18 Image content transmitting method and device using edge computing service

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063026312P 2020-05-18 2020-05-18
US63/026,312 2020-05-18
KR1020200121793A KR20210142520A (ko) 2020-05-18 2020-09-21 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치
KR10-2020-0121793 2020-09-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/990,319 Continuation US20230079171A1 (en) 2020-05-18 2022-11-18 Image content transmitting method and device using edge computing service

Publications (1)

Publication Number Publication Date
WO2021235829A1 true WO2021235829A1 (ko) 2021-11-25

Family

ID=78708676

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/006214 WO2021235829A1 (ko) 2020-05-18 2021-05-18 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치

Country Status (4)

Country Link
US (1) US20230079171A1 (ko)
EP (1) EP4142292A4 (ko)
CN (1) CN115668953A (ko)
WO (1) WO2021235829A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230377215A1 (en) * 2022-05-18 2023-11-23 Google Llc Adaptive color mapping based on behind-display content measured by world-view camera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190074267A (ko) * 2017-12-19 2019-06-27 대구대학교 산학협력단 Mec 서버를 활용한 단말의 전력 절감 방법
KR102046713B1 (ko) * 2018-05-15 2019-11-19 순천향대학교 산학협력단 모바일 비디오의 품질 향상을 위한 모바일 에지 클라우드에서의 트래픽 관리 방법 및 이를 위한 장치
US20200007905A1 (en) * 2018-06-29 2020-01-02 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US20200045288A1 (en) * 2018-07-31 2020-02-06 Intel Corporation Six degree of freedom video transcoding mechanism
WO2020079320A1 (en) * 2018-10-16 2020-04-23 Nokia Technologies Oy Delivering and handling media content in a wireless communication network

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10560660B2 (en) * 2017-01-04 2020-02-11 Intel Corporation Rectilinear viewport extraction from a region of a wide field of view using messaging in video transmission

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190074267A (ko) * 2017-12-19 2019-06-27 대구대학교 산학협력단 Mec 서버를 활용한 단말의 전력 절감 방법
KR102046713B1 (ko) * 2018-05-15 2019-11-19 순천향대학교 산학협력단 모바일 비디오의 품질 향상을 위한 모바일 에지 클라우드에서의 트래픽 관리 방법 및 이를 위한 장치
US20200007905A1 (en) * 2018-06-29 2020-01-02 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US20200045288A1 (en) * 2018-07-31 2020-02-06 Intel Corporation Six degree of freedom video transcoding mechanism
WO2020079320A1 (en) * 2018-10-16 2020-04-23 Nokia Technologies Oy Delivering and handling media content in a wireless communication network

Also Published As

Publication number Publication date
EP4142292A4 (en) 2023-09-27
EP4142292A1 (en) 2023-03-01
US20230079171A1 (en) 2023-03-16
CN115668953A (zh) 2023-01-31

Similar Documents

Publication Publication Date Title
WO2021049710A1 (en) Method and apparatus for edge computing service
WO2021033867A1 (en) Decoding apparatus and operating method of the same, and artificial intelligence (ai) up-scaling apparatus and operating method of the same
WO2016017945A1 (en) Mobile device and method of pairing the same with electronic device
WO2015178562A1 (en) Method and apparatus for providing notification
WO2019050164A1 (en) APPARATUS AND METHOD FOR PROCESSING IMAGE RECEIVED VIA A PLURALITY OF CAMERAS
WO2018199597A1 (en) Electronic device and proximity discovery method thereof
WO2015030545A1 (en) Method and system for presenting content
WO2019050366A1 (en) APPARATUS AND METHOD FOR PROCESSING IMAGE RECEIVED USING A PLURALITY OF CAMERAS
WO2015190877A1 (ko) Hdmi를 사용하여 데이터를 송수신하기 위한 방법 및 장치
WO2019050361A1 (ko) 복수의 카메라를 통해 수신되는 이미지를 처리하기 위한 장치 및 방법
WO2019050200A1 (ko) 이미지를 처리하기 위한 장치 및 방법
WO2022060175A1 (ko) 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치
WO2016093510A1 (en) Display apparatus and display method
WO2017113183A1 (zh) 无人机飞行体验方法、装置、系统以及无人机
WO2019050261A1 (ko) 카메라 동작에 기반한 오디오 신호 처리 장치 및 방법
WO2021235829A1 (ko) 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치
WO2020017936A1 (ko) 전자 장치 및 이미지의 전송 상태에 기반하여 이미지를 보정하는 방법
WO2017119571A1 (ko) 디지털 디바이스 및 그를 이용한 컬러 제어 시스템 및 방법
WO2017039130A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2021242049A1 (ko) 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치
WO2021230720A1 (ko) 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치
WO2024085368A1 (ko) 전자 장치 및 그 동작 방법
WO2024034752A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 증강현실 장치
WO2021101217A1 (ko) 단말기 거치대의 제어 및 화상 합성 방법
WO2023008605A1 (ko) 영상표시장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21808088

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021808088

Country of ref document: EP

Effective date: 20221124

NENP Non-entry into the national phase

Ref country code: DE