WO2017142354A1 - Gpu 기반의 가상 현실 비디오 스트리밍 서버를 위한 방법 및 시스템 - Google Patents

Gpu 기반의 가상 현실 비디오 스트리밍 서버를 위한 방법 및 시스템 Download PDF

Info

Publication number
WO2017142354A1
WO2017142354A1 PCT/KR2017/001790 KR2017001790W WO2017142354A1 WO 2017142354 A1 WO2017142354 A1 WO 2017142354A1 KR 2017001790 W KR2017001790 W KR 2017001790W WO 2017142354 A1 WO2017142354 A1 WO 2017142354A1
Authority
WO
WIPO (PCT)
Prior art keywords
image frame
video
gpu
frame data
fov
Prior art date
Application number
PCT/KR2017/001790
Other languages
English (en)
French (fr)
Inventor
하상유
이살로몬
Original Assignee
알카크루즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 알카크루즈 인코포레이티드 filed Critical 알카크루즈 인코포레이티드
Priority to KR1020207027413A priority Critical patent/KR102272859B1/ko
Priority to CN201780013448.9A priority patent/CN108702522B/zh
Priority to CN202110538794.7A priority patent/CN113286168B/zh
Priority to KR1020227003157A priority patent/KR102502546B1/ko
Priority to KR1020217013537A priority patent/KR102358205B1/ko
Priority to CN202110538787.7A priority patent/CN113286167B/zh
Priority to JP2018562485A priority patent/JP6663043B2/ja
Priority to EP17753515.0A priority patent/EP3419293B1/en
Priority to KR1020187023908A priority patent/KR102160992B1/ko
Publication of WO2017142354A1 publication Critical patent/WO2017142354A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/04—Partial updating of the display screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling
    • G09G2360/121—Frame memory handling using a cache memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a system and method for virtual reality video streaming. More specifically, the present invention relates to a method and system for streaming and processing virtual reality video using a Graphic Processing Unit (GPU).
  • GPU Graphic Processing Unit
  • Virtual Reality (VR) video content generally has very high resolution to provide 360 degree video data.
  • the 360 degree video data may include Ultra High Definition (UHD) video data having a Frame Per Second (FPS) of 30 to 60 and having a resolution of 4K (3840x1920) or more.
  • UHD Ultra High Definition
  • FPS Frame Per Second
  • GPUs are specialized electronic circuits designed to quickly read and write memory to accelerate image generation in frame buffers for display output. Compared to central processing units (CPUs), GPUs can provide high speed real-time image processing at low power consumption (eg 25% of CPU) and low cost (eg $ 160 for GPUs with 768 cores as of 2016). . In addition, GPUs can provide parallel computing performance by utilizing multiple cores.
  • the technical problem to be solved by the present invention is to provide a method and system for processing and streaming virtual reality video using a GPU.
  • Another technical problem to be solved by the present invention is to provide a processing method for minimizing the encoding delay of the virtual reality video.
  • Another technical problem to be solved by the present invention is to provide a method for effectively displaying virtual reality video at a client terminal.
  • a virtual reality video streaming system includes a first processor, a first memory, a graphics processing unit (GPU), a second memory including a plurality of frame buffers, at least one of the first processor, or the GPU.
  • a video server implemented by the first processor, wherein the video server obtains, by the first processor, source video data comprising a plurality of concrete image frame data from a video data source and converts the source video data into the first memory.
  • the GPU In response to the first sphere image frame data being stored in a first frame buffer of the second memory, by the GPU, by the GPU to store the first sphere image frame data in the first sphere image.
  • the first equirectangular tooth corresponding to the portion of the sphere image represented by the frame data Converted to whether the frame data, and the converted first encodes taenggyul multiple image frame data kwirek, and the encoded first may store taenggyul multiple image frame data kwirek the encoded frame buffer of the second memory.
  • a streaming server implemented by at least one of the first processor or the GPU, the streaming server, by the first processor, establishes a first connection with a client terminal, the first Obtain the encoded first Equilegant image frame data from the encoded frame buffer of a second memory; and stream the encoded first Equiregular image frame data to the client terminal through the first connection.
  • the streaming server by the first processor, establishes a first connection with a client terminal, the first Obtain the encoded first Equilegant image frame data from the encoded frame buffer of a second memory; and stream the encoded first Equiregular image frame data to the client terminal through the first connection.
  • the video server and the streaming server may be executed in separate processes.
  • further comprising a communication server implemented by at least one of the first processor or the GPU the communication server, by the first processor, establishes a second connection with the client terminal, Transmitting first information about a field of view (FOV) corresponding to first Equilegal tangential image frame data to the client terminal, receiving second information about a second FOV from the client terminal, and receiving the video server.
  • the GPU may convert second sphere image frame data into second dichroic tangular image frame data corresponding to the second FOV of the sphere image represented by the second sphere image frame data.
  • the communication server and the streaming server may be executed in a single process.
  • the display apparatus of claim 4, wherein the first information about the first FOV and the second information about the second FOV may include viewing angle data indicating azimuth and pitch angles.
  • a video processing method comprising: storing, by a GPU of a video server, first spherical image frame data representing a first spherical image frame of a video in a first frame buffer memory; Receiving, by a processor, first information about a first FOV from a client terminal, wherein the GPU of the video server indicates that the concrete image frame data represents the first concrete image frame data stored in the first buffer memory; Converting the first spherical image frame into first equalitangular image frame data corresponding to the first FOV and the GPU of the video server converting the converted first to generate first encoded image frame data.
  • the method may include encoding one Equilegant image frame data.
  • the GPU of the video server may further include parsing and decoding the video to generate the first sphere image frame data.
  • the first information about the first FOV may include viewing angle data indicating azimuth and pitch angles.
  • the converting to the first Equilegant image frame data may comprise: before the GPU starts converting the first Sphere image frame data to the first Equiregular image frame data. And determining that the 1 information has been received.
  • the first processor of the video server receives second information regarding a second FOV from the client terminal, wherein the GPU of the video server is in the first specific image frame of the video.
  • the GPU of the video server stores the first sphere image frame data in the first Equiregular.
  • the video server In response to determining that the second information has been received between a time point after conversion to image frame data and a time point before storing the second concrete image frame data in the first frame buffer memory, (i) the video server The first sphere image frame data stored in the first frame buffer memory by the GPU of the first sphere Converting to second Equilegal tangular image frame data corresponding to the second FOV of the first spherical image frame indicated by the image frame data, and (ii) the GPU of the video server Encoding tangular image frame data into second encoded image frame data, and (iii) omitting conversion and encoding of the second specific image frame data stored in the first frame buffer memory.
  • a computer program is executed by a GPU of a video server, where the GPU of the video server stores first concrete image frame data representing a first concrete image frame of a video in a first frame buffer memory. And receiving, by the first processor of the video server, first information regarding a first FOV from a client terminal, by the GPU of the video server, the first concrete image frame data stored in the first buffer memory. Converting the first image into the equivalent Equi- tangular image frame data corresponding to the first FOV of the first sphere image frame represented by the sphere image frame data, and the GPU of the video server converts the first encoded image frame. Encoding the transformed first Equiectangular image frame data to produce data. It may include a system.
  • the GPU of the video server may be stored on a computer readable recording medium to execute the step of parsing and decoding the video to generate the first sphere image frame data.
  • the first information about the first FOV may include viewing angle data indicating azimuth and pitch angles.
  • the converting to the first Equilegant image frame data may comprise: before the GPU starts converting the first Sphere image frame data to the first Equiregular image frame data. And determining that the 1 information has been received.
  • the first processor of the video server receives second information regarding a second FOV from the client terminal, wherein the GPU of the video server is in the first specific image frame of the video.
  • the GPU of the video server stores the first sphere image frame data in the first Equiregular.
  • the video server In response to determining that the second information has been received between a time point after conversion to image frame data and a time point before storing the second concrete image frame data in the first frame buffer memory, (i) the video server The first sphere image frame data stored in the first frame buffer memory by the GPU of the first sphere Converting to second Equilegal tangular image frame data corresponding to the second FOV of the first spherical image frame indicated by the image frame data, and (ii) the GPU of the video server Encoding tangular image frame data into second encoded image frame data, and (iii) omitting conversion and encoding of the second specific image frame data stored in the first frame buffer memory.
  • a video display method comprising: receiving, by a first processor of a client terminal, first image frame data representing a first image frame of a video from a video streaming server, wherein the GPU of the client terminal is: Rendering a first area of the first image frame on a display of the client terminal having a size at least less than or equal to the size of the first image frame, in a first display area of the display, and displaying a second display of the display Rendering the remaining area of the first image frame hidden in an area and in response to the first processor of the client terminal receiving a user input pointing to a first FOV, the GPU of the client terminal causes the first FOV to be rendered.
  • the hidden in the first image frame to may comprise the step of rendering the second region.
  • the user input with respect to the first FOV may include viewing angle data indicating azimuth and pitch angles.
  • the rendering of the second area of the first image frame may include: rendering, by the GPU of the client terminal, a rendering area of the display in the same shape as the first display area in the first display area. And relocating to a third display area that includes the second area of the first image frame.
  • the first processor of the client terminal sends information indicating the first FOV to the video streaming server, wherein the first processor of the client terminal is configured to transmit the first from the video streaming server.
  • the method may further include rendering a partial area of the second image frame and rendering the second area of the first image frame on the second display area of the display.
  • the display is rectangular in shape
  • the first display area of the display is rectangular in shape, positioned in the center of the display
  • the second display area of the display is left margin, right margin of the display. It may include at least one of a top margin and a bottom margin.
  • the first processor of the client terminal sends information indicating the first FOV to the video streaming server, wherein the first processor of the client terminal is configured to transmit the first from the video streaming server.
  • Receiving second image frame data corresponding to an FOV and representing a second image frame of the video and the GPU of the client terminal moves the rendering area of the display from the third display area to the first display area;
  • the method may further include relocating.
  • a computer program is executed by a first processor or a GPU of a client terminal, wherein the first processor of the client terminal represents first image frame data representing a first image frame of video from a video streaming server.
  • the GPU of the client terminal receives, the GPU of the client terminal, on the display of the client terminal having the same size or smaller size than the first image frame, the first area of the first image frame in the first display area of the display Rendering and rendering the remaining area of the first image frame hidden in a second display area of the display and in response to the first processor of the client terminal receiving a user input indicating a first FOV,
  • the GPU of the client terminal is the first FOV
  • the computer is located can be saved in a readable recording medium in order to execute the step of rendering the second area prior to the second frame, the first image display area on the hidden.
  • the user input with respect to the first FOV may include viewing angle data indicating azimuth and pitch angles.
  • the rendering of the second area of the first image frame may include: rendering, by the GPU of the client terminal, a rendering area of the display in the same shape as the first display area in the first display area. And relocating to a third display area that includes the second area of the first image frame.
  • the first processor of the client terminal sends information indicating the first FOV to the video streaming server, wherein the first processor of the client terminal is configured to transmit the first from the video streaming server.
  • the method may further include rendering a partial area of the second image frame and rendering the second area of the first image frame on the second display area of the display.
  • the display is rectangular in shape
  • the first display area of the display is rectangular in shape, positioned in the center of the display
  • the second display area of the display is left margin, right margin of the display. It may include at least one of a top margin and a bottom margin.
  • the first processor of the client terminal sends information indicating the first FOV to the video streaming server, wherein the first processor of the client terminal is configured to transmit the first from the video streaming server.
  • Receiving second image frame data corresponding to an FOV and representing a second image frame of the video and the GPU of the client terminal moves the rendering area of the display from the third display area to the first display area;
  • the method may further include relocating.
  • the VR video streaming system can effectively utilize the computing power (e.g. parallel computing performance through multi-core) of the GPU when processing high-resolution VR video data.
  • the cost of the streaming service can be reduced by transmitting only the video portion reflecting the FOV. This is because the provider of the streaming service needs to pay according to its network service usage.
  • Partially streamed video data received as the FOV reflected video portion is transmitted may contain only a portion of the FOV reflected video that is dynamically changed, thereby preventing content of the video from being illegally copied.
  • the client terminal can immediately provide the user with the video portion for the changed viewing angle without delay.
  • FIG. 1 is a block diagram of a network environment including a client terminal and a VR video streaming system according to some embodiments of the invention.
  • FIG. 2 is a block diagram illustrating a computing system in accordance with an embodiment of the present invention.
  • FIG. 3 is a block diagram exemplarily illustrating a VR video streaming system according to an exemplary embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a frame image by way of example.
  • FIG. 5 and 6 are flowcharts illustrating the operation of a FOV based post-processing method performed by a VR video streaming system, in accordance with some embodiments of the invention.
  • FIG. 7, 8, and 9 are block diagrams illustrating an FOV based post-processing method performed in a VR video streaming system according to an embodiment of the present invention.
  • FIGS. 10, 11 and 12 are block diagrams illustrating an FOV based post-processing method for reducing an encoding delay time in a VR video streaming system according to an embodiment of the present invention.
  • FIG. 13 is a flowchart illustrating an operation of a video display method of a client terminal according to some embodiments of the present invention.
  • 14, 15, and 16 are views illustrating a display screen of a client terminal displayed through a video display method in some embodiments of the present invention.
  • a method and system for Virtual Reality (VR) video streaming More specifically, an invention is provided for a method and system for streaming and processing virtual reality video using a Graphic Processing Unit (GPU).
  • the GPU of the video server included in the VR video streaming system may convert spherical image frame data into equirectangular image frame data corresponding to a portion of the first spherical image frame data. Can be.
  • the VR video streaming system can effectively utilize the computing power of the GPU (e.g. parallel computing performance through multiple cores) when processing high resolution VR video data.
  • the processor of the video server may receive information regarding a first field of view (FOV) from a client terminal, and the GPU of the video server may retrieve the first sphere image frame data from the first sphere image frame. It may be converted to the first Equilegal tangular image frame data corresponding to the first FOV of.
  • the first sphere image frame refers to an image frame indicated by the first sphere image frame data.
  • the GPU of the client terminal renders the first area of the image frame received from the video streaming server to the first display area of the display (eg, the center area of the display), while the remaining area of the image frame. Is hidden in the second display area of the display (eg the four-way margin of the rectangular display).
  • the GPU In response to receiving input from a user pointing to a particular field of view (eg, viewing angle towards the upper left corner of the display), the GPU is previously hidden in the second display area and the first field of view (eg previously hidden near the top left corner of the display). The second area of the first image frame located within the area).
  • the client terminal can immediately show a portion of the image frame previously hidden. Accordingly, the client terminal can immediately provide the user with the video portion of the changed viewing angle without the delay that may occur when providing a new video portion of the changed viewing angle after receiving the new video portion from the video streaming server.
  • FIG. 1 is a block diagram illustrating a network environment 1000 including a VR video streaming system 100, client terminals 200A and 200B, and a VR content server 750.
  • the network environment shown in FIG. 1 is a network (e.g., client terminal and VR video system) interconnected with network 650 for interconnected network nodes (eg VR video system and VR content server). 650 ').
  • network 650 is the same network as network 650 ′.
  • a network 650 or 650 ′ is used to facilitate interaction between devices participating in the network environment 1000.
  • An illustrative example network 650 or 650 ′ is the Internet.
  • the network 650 may be various kinds of networks, such as a local network in a data center, a network febric or other local area or wide area network.
  • the network 650 or 650 ′ may consist of multiple connected sub-networks or autonomous networks.
  • the network 650 or 650 ′ may be a local area network (LAN) such as an enterprise intranet, a metropolitan area network (MAN), a wide area network (WAN), or an inter-network network such as the Internet, or peer-to-peer. to-Peer network (eg an ad hoc WiFi P2P network). Any type and / or form of data network and / or communication network may be used for the network 650 or 650 ′.
  • LAN local area network
  • MAN metropolitan area network
  • WAN wide area network
  • inter-network network such as the Internet
  • peer-to-peer. to-Peer network eg an ad hoc WiFi P2P network.
  • the network 650 or 650 ' may be a public network, a private network, or a combination of public and private networks.
  • a network 650 or 650 ′ is used to transfer information between computing devices. For example, it may be used to transfer information between client terminals 200A, 200B, VR video streaming system 100, and VR content server 750.
  • the VR video streaming system 100 includes a video server 120 and a streamer 180.
  • video server 120 stores VR video data locally (e.g. as a video file) or receives video data streamed from VR content server 750.
  • the streamer 180 includes a communication server 130 and a streaming server 140.
  • the communication server 130 communicates information (eg user login, VR video content selection, low latency video streaming, etc.) with each of the client terminals 200A, 200B about the service of the VR video streaming system 100. do.
  • streaming server 140 streams VR video frame data to each client terminal 200A, 200B.
  • the VR video streaming system 100 has a configuration similar to the computing system 300 shown in FIG. 2. Computing system 300 is described in more detail below with reference to FIG. In some embodiments of the VR video streaming system 100 shown in FIG. 1, some of the components of the computing system 300 shown in FIG. 2 may be omitted.
  • each client terminal 200A, 200B receives video streaming data from the VR video streaming system 100.
  • the video streaming data may be received from the streaming server 140 of the streamer 180.
  • each of the client terminals 200A, 200B has a display (eg Head Mounted Display (HMD), optical HMD), an input device (eg camera, headset) and sensors (eg motion sensor, position / direction sensor, motion). Simulator, gesture tracking system, etc.).
  • each of client terminals 200A, 200B may also communicate with communication server 130 to exchange information about services of VR video streaming system 100.
  • each of the client terminals 200A and 200B may provide the communication server 130 with the user's current FOV in the form of viewing angle data indicating azimuth and pitch angles.
  • client terminals 200A and 200B have a configuration similar to computing system 300 shown in FIG. 2.
  • client terminals 200A and 200B shown in FIG. 1 some of the components of computing system 300 shown in FIG. 2 may be omitted.
  • computing system 300 is suitable for use in implementing the computerized components described herein.
  • computing system 300 includes at least one processor 310 for performing operations in accordance with an instruction and one or more memory devices 360 or 320 for storing instructions and data.
  • Computing system 300 also includes at least one Graphic Processing Unit (GPU) and video memory 380 as described in the next section.
  • GPU Graphic Processing Unit
  • the illustrated computing system 300 is a network for connecting to one or more processors 310, a network (not shown) that communicates with the memory 350 via a communication system 340 (eg, a bus).
  • a communication system 340 eg, a bus
  • At least one network interface controller 330 having an interface port and other components such as an input / output (I / O) component 350.
  • processor (s) 310 will execute instructions (or computer programs) received from memory 360.
  • the illustrated processor 310 includes or is directly connected to the cache memory 320. In some cases, the cache memory 320 reads instructions from the memory 360, and the processor 310 reads the instructions from the cache memory 320 and executes the instructions.
  • processor (s) 310 may be any logic circuit that processes instructions fetched from memory 360 or cache memory 320, for example.
  • processor 310 is a microprocessor unit or special purpose processor.
  • Computing system 300 may be based on any processor or set of processors that may operate as described herein.
  • Processor (s) 310 may be a single core or a multi core processor.
  • Processor (s) 310 may be a number of separate processors.
  • Memory 360 may be any device suitable for storing computer readable data.
  • the memory 360 may be a fixed storage device or a device for reading a removable storage medium.
  • Examples of memory 360 include all forms of nonvolatile memory, media and memory devices, semiconductor memory devices (eg EPROM, EEPROM, SDRAM and flash memory devices), magnetic disks, magneto-optical disks and optical disks (eg CD ROM, DVD). -ROM or Blu-ray Disc).
  • Computing system 300 may have any number of memory devices 360.
  • Cache memory 320 is generally in the form of computer memory disposed proximate processor (s) 310 to provide fast access times.
  • cache memory 320 may be part of processor (s) 310 or on the same chip as processor 310.
  • the network interface controller 330 manages data exchange over a network interface (sometimes called a network interface port).
  • the network interface controller 330 processes the physical layer and data link layer of the OSI model for network communication.
  • some of the tasks of network interface controller 330 are handled by one or more processor (s) 310.
  • network interface controller 330 may be part of processor 310.
  • computing system 300 has multiple network interfaces controlled by a single controller 330.
  • computing system 300 has multiple network interface controllers 330.
  • each network interface is a connection point to a physical network link (e.g. cat-5 Ethernet link).
  • network interface controller 330 supports a wireless network connection and the network interface port is a wireless (eg radio) transmitter / receiver (eg IEEE 802.11 protocol, Near Field Communication (NFC), Bluetooth, ANT or For any of the other wireless protocols).
  • network interface controller 330 implements one or more network protocols, such as Ethernet.
  • computing system 300 exchanges data with other computing devices over a physical or wireless link by using a network interface.
  • the network interface may connect the computing system 300 directly to another device or connect the computing system 300 to another device through a relay device.
  • the relay device may refer to a network device that connects the computing system 300 to a data network such as the Internet, for example, a hub, a bridge, a switch, or a router.
  • Computing system 300 may include or provide an interface to one or more input or output (I / O) devices.
  • I / O input or output
  • Input devices may include, but are not limited to, keyboards, microphones, touch screens, foot pedals, sensors, MIDI devices, and pointing devices such as mice or trackballs.
  • Output devices may include, but are not limited to, video displays, speakers, playable braille terminals, lighting, MIDI devices, and 2-D or 3-D printers.
  • computing system 300 may include an interface (e.g. Universal Serial Bus (USB) interface) for connecting an input device, an output device or an additional memory device (e.g. portable flash drive or external media drive).
  • interface e.g. Universal Serial Bus (USB) interface
  • additional memory device e.g. portable flash drive or external media drive.
  • computing system 300 may include additional devices, such as a coprocessor.
  • computing system 300 may include a numerically operational coprocessor, which may assist processor 310 by performing high precision or complex calculations.
  • GPU 370 may be a graphics accelerator chip, a processor, an application specific integrated circuit (ASIC), an analog circuit, a digital circuit, an accelerator card, or a combination thereof.
  • GPU 370 may be a personal computer graphics accelerator card or component such as manufactured by nVidia, ATI or Matrox.
  • the GPU 370 provides a hardware device for accelerating a volume rendering process, such as using an application programming interface (API) for 3D texture mapping.
  • APIs include OpenGL and DirectX, but other APIs may be used independently of or in conjunction with GPU 370.
  • Exemplary APIs for nVidia GPUs are described in a web document titled "CUDA Toolkit Documentation v.
  • GPU 370 may transform, project and map to computer graphics (eg, spherical projection and coordinate system). To perform the transformation).
  • the video memory 380 includes a video random access memory (VRAM), a random access memory (RAM), a RAM drive or a RAM disk, or another memory device for storing data or video information.
  • video memory 380 is a VRAM for GPU 370.
  • the driver or memory driver for the GPU 370 controls data storage by the video memory 380.
  • Video memory 380 responds to the driver to store, transmit, and retrieve data.
  • Video memory 380 may be operable to store a subset or block of data.
  • the VR video streaming system 100 includes a first processor 101, a first memory 110, a GPU 102, and a second memory 150.
  • the second memory 150 may include a plurality of frame buffers such as the decoded frame buffer 160, the first frame buffer 161, the second frame buffer 162, and the encoded frame buffer 164.
  • the first processor 101 has a configuration similar to the processor 310 shown in FIG. 2.
  • GPU 102 has a configuration similar to GPU 370 of FIG. 2.
  • first memory 110 has a configuration similar to memory 360 shown in FIG. 2.
  • the second memory 150 has a configuration similar to the video memory 380 shown in FIG. 2.
  • the VR video streaming system 100 includes a source video memory 115 that may reside in the first memory 110 or the second memory 150.
  • video server 120 may be executed or implemented by first processor 101 or GPU 102.
  • the video server 120 may obtain source video data (eg, a video file stored locally of the video server 120 or video data streamed from the VR content server 750) through the first processor 101.
  • the source video data includes a plurality of concrete image frame data (e.g. 360 degree 4K UHD frame data).
  • video server 120 may store the source video data in source video memory 115.
  • video server 120 may include a parser 121, a decoder 122, a post-processor 123, and an encoder 124 that may be executed or implemented by GPU 102. , encoder).
  • parser 121 parses source video data stored in source video memory 115 via GPU 102 and identifies different concrete image frames from the source video data.
  • decoder 122 decodes the parsed concrete image frames through GPU 102 and stores the decoded concrete image frames in decoded frame buffer 160.
  • decoder 122 and encoder 124 may use an industry standard compression / decompression technique such as H.264, H.265 / High Efficiency Video Coding (HEVC).
  • HEVC High Efficiency Video Coding
  • decoder 122 decodes the first specific image frame data and stores the decoded data in decoded frame buffer 160.
  • An example decoder is described in a document entitled “NVIDIA VIDEO DECODER (NVCUVID) INTERFACE Programming Guide” in November 2015. For details on how to configure the decoder to achieve the decoding functionality described in this patent application, see Incorporated herein by reference.
  • postprocessor 123 performs color format conversion.
  • the post processor 123 may convert frame data stored in the decoded frame buffer 160 from a luminance / chrominance format to an alpha red green blue (ARGB) color format.
  • the post processor 123 stores the color format converted frame data in the first frame buffer 161.
  • postprocessor 123 performs sphere-equiectangular transformation (using an e.g. sphere / equiectangular projection or mapping method) via GPU 102.
  • sphere-equiectangular transformation using an e.g. sphere / equiectangular projection or mapping method
  • Exemplary sphere / equiectangular projections are described in a document entitled "Transformations and projections" by Paul Bourke, for details of the projection, transformation, and mapping methods described in this patent application Included as.
  • the postprocessor 123 in response to the first concrete image frame data being stored in the first frame buffer 161, the postprocessor 123 may be configured to display the first concrete image frame data via the GPU 102 in a first equalizing manner. To convert the image frame data.
  • the post processor 123 converts the 360 degree 4K UHD image frame data through the GPU 102 to the corrected or undistorted Iquiretangular image frame data.
  • the post processor 123 uses the GPU 102 to map the first sphere image frame data (eg 360 degrees 4K UHD image frame data) to a portion of the sphere image represented by the first sphere image frame data. 1 is converted to Equilegal tangular image frame data (eg, a portion of 360 degree 4K UHD image frame data corresponding to the current FOV of the user in the client terminal).
  • 4 illustratively shows a sphere frame image 301 and a portion 302 of the sphere frame image 301 that corresponds to the current FOV.
  • postprocessor 123 performs image processing for Augmented Reality (AR) via GPU 102.
  • the post processor 123 may combine the converted first Equilegant image frame with graphic content (eg blending road image with vehicle image) or text / graphic information (eg blending street image with store image). Blending can be performed.
  • the post-processor 123 in response to the completion of the post-processing operation (e.g. spherical-equiectural conversion), stores the post-processed frame data in the second frame buffer 162.
  • encoder 124 encodes the post-processed frame data stored in second frame buffer 162 via GPU 102 and stores the encoded frame data in encoded frame buffer 164. .
  • parser 121, decoder 122, postprocessor 123 and encoder 124 are executed by GPU 102 of VR video streaming system 100.
  • some operations of parser 121, decoder 122, postprocessor 123, and encoder 124 are executed by first processor 101, and other operations are executed by GPU 102. do.
  • the VR video streaming system 100 includes a communication server 130.
  • the communication server 130 may be executed or implemented by at least one of the first processor 101 or the GPU 102.
  • the communication server 130 establishes a connection with the client terminal (e.g. client terminal 200A) via the first processor 101.
  • the established connection uses a full-duplex channel protocol, such as, for example, a web socket protocol. By doing so, latency can be reduced because the connection can be established using a few frames (e.g. web socket frames) without communicating a large amount of protocol headers (e.g. http headers).
  • the communication server 130 may transmit, to the client terminal, first information about the first FOV corresponding to the first Equiectangular image frame data converted by the post processor 123.
  • the communication server 130 may receive second information regarding a second FOV (e.g. current FOV of the user of the client terminal) from the client terminal.
  • the initial FOV may be set by default to an angle that points straight to the center of the image frame the user is currently viewing.
  • the information about the FOV includes viewing angle information indicating pitch angles and azimuth angles.
  • upon request of a client terminal via e.g.
  • communication server 130 may asynchronously update the user's current FOV via first processor 101.
  • the update is performed while the GPU 102 processes operations of the video server 120 (eg, operations performed by the parser 121, the decoder 122, the postprocessor 123, and the encoder 124).
  • asynchronously updated FOVs may be utilized to reduce encoding latency as described below with reference to FIGS. 4-6.
  • the video server 120 immediately transfers the spherical image frame data through the GPU 102 into the Equiectangular spherical image frame data corresponding to the FOV asynchronously updated in the spherical image represented by the spherical image frame data.
  • the client terminal may update the communication server with respect to the current viewing angle of the user of the client terminal using a stable connection method (e.g. jetty based web socket protocol) with the communication server 130. Doing so can provide a constant connection state and reduce security overhead and latency.
  • a stable connection method e.g. jetty based web socket protocol
  • the client terminal may request specific VR image / video data from the communication server 130.
  • the client terminal may transmit a VR image request to the communication server 130 through the web socket protocol.
  • the communication server 130 is stored by the VR content server 750 or stored in the source video data (eg local file) corresponding to the request via the first processor 101. Streamed source video data) and provide the corresponding source video data to the GPU 102.
  • GPU 102 may perform the above-described decoding / post-processing / encoding operations on the corresponding source video data.
  • the communication server 130 may provide a web service for managing a service of the VR video streaming system 100 (eg, user login and credential check management, user for the service).
  • VR video content listing for account / profile management and allowing users to select the video content to watch.
  • the VR video streaming system 100 may include a streaming server 140.
  • the streaming server 140 may be executed or implemented by at least one of the first processor 101 or the GPU 102.
  • the streaming server 140 establishes a first connection with the client terminal (e.g. client terminal 200A) via the first processor 101.
  • the streaming server 140 uses a Real Time Streaming Protocol (RTSP) to deliver video data to the user of the client terminal in a timely manner.
  • RTSP Real Time Streaming Protocol
  • the streaming server 140 reads the encoded first Equiectangular image frame data from the encoded frame buffer 164 and concatenates the encoded first Equiectangular image frame data to a first concatenation. Streaming to the client terminal 200A through.
  • video server 120 and streaming server 140 run as separate processes.
  • communication server 130 streaming server 140 may be configured to run as a single process.
  • communication server 130 interacts directly with the client terminal via a web socket protocol and runs on the same physical server as video server 120. By doing so, feedback and communication delay time can be reduced.
  • streaming server 140 and communication server 130 (collectively "streamer" 180) run in the same single process, while video server 120 is started by streamer 180. Run as a separate process that can be managed and managed. This dual process configuration can improve network responsiveness (by reducing latency) and system stability.
  • streaming server 140 and video server 120 may share video stream data (finally provided to a client terminal) via a RAM drive or RAM disk.
  • RAM drives or RAM disks can be accessed as files while the actual data is in system RAM, eliminating hardware I / O overhead and latency.
  • the FOV based post-processing method 400 begins at step 410, where the GPU of the video server (eg GPU 102 of FIG. 3) is configured to generate the source video to generate the first sphere image frame data. Parse and decode
  • the GPU 102 may store first concrete image frame data representing a first concrete image frame of the video in a first frame buffer memory (eg, the first frame buffer 161).
  • the first processor eg, the processor 101 of FIG. 3 of the video server may receive first information regarding the first FOV from the client terminal.
  • the GPU 102 of the video server may convert the spherical image frame data stored in the first frame buffer memory into the equivalent liquid image data corresponding to the first FOV of the first spherical image frame. .
  • the GPU 102 of the video server may stream only the encoded Equiectangular image frame data corresponding to the first FOV by the streaming server (eg, the streaming server 140 of FIG. 3) to the client terminal.
  • the converted Equilegant image frame data may be encoded so that it can be encoded.
  • encoded image frame data is generated according to the encoding. The flowchart shown in FIG. 5 will be described in more detail with reference to FIGS. 7 to 9.
  • FIG. 7 is block diagrams illustrating an FOV based post-processing method performed in an exemplary VR video streaming system.
  • 7 illustratively illustrates the timing of GPU processing for successive video frames (e.g. frame #N, frame # N + 1, and frame # N + 2).
  • a typical video file's FPS is usually 24, 25, 29, or 30 frames per second.
  • the time interval between completion of encoding of each frame may be 33ms
  • the time stamp of frame #N from the decoder is N * 33ms days.
  • the time stamp of frame # N + 1 may be (N + 1) * 33ms and so on.
  • the time interval between completion of decoding / post-processing / encoding of frame #N 501 and frame # N + 1 502 is 33ms
  • frame # N + 1 502 and The time interval between completion of decoding / post-processing / encoding of frame # N + 2 503 is also 33ms.
  • each frame is encoded every 33ms to generate (and stream) 30 frames per second.
  • FIG. 8 illustrates an example in which an FOV based post-processing method is performed when a FOV change input (e.g. azimuth and pitch angle) is received from a client terminal before post-processing frame #N.
  • the GPU decodes (511) / post-processes 513 / encodes 514 frame #N, and then decodes 515 / post-processes 516 frame # N + 1. / Encode 518.
  • a first FOV (relative to a first FOV) from the client terminal before the processor of the VR video streaming system 100 (eg, processor 101 of FIG. 3) postprocesses 513 frame #N.
  • the GPU may reflect 517 the first FOV change input V1 during postprocessing 516 of frame # N + 1.
  • the GPU converts the spherical image data associated with frame # N + 1 into the equivalent liquid image data corresponding to the first FOV of the spherical image frame represented by the spherical image frame data of frame # N + 1.
  • the first FOV change input V1 may be reflected.
  • the time interval between encoding completion of frame #N and encoding completion of frame # N + 1 may be maintained at 33 ms.
  • FIG. 9 illustrates another example in which the FOV based post-processing method is performed when a FOV change input (e.g. changed azimuth and pitch angle) is received from a client terminal during post-processing of frame #N.
  • a FOV change input e.g. changed azimuth and pitch angle
  • the GPU decodes 521 / post-processes 523 / encodes 524 the frame #N, and then decodes 525 / post-processes 526 the frame # N + 1. Decode 528.
  • the processor of the VR video streaming system 100 when the processor of the VR video streaming system 100 receives 522 a second FOV change input V2 (relative to a second FOV) from a client terminal after post-processing 523 of the frame #N, the The GPU reflects 527 the second FOV change input V2 during post-processing 526 of frame # N + 1.
  • the GPU converts the spherical image data associated with frame # N + 1 into the equivalent liquid image data corresponding to the second FOV of the spherical image frame represented by the spherical image frame data of frame # N + 1.
  • the second FOV change input V2 may be reflected.
  • the time interval between encoding completion of frame #N and encoding completion of frame # N + 1 may be maintained at 33 ms.
  • step 410 the GPU (eg GPU 102 shown in FIG. 3) of the video server (eg, video server 120 shown in FIG. 3) parses the source video to generate first concrete image frame data. And decode. For example, referring to FIG. 8, the GPU parses and decodes frame #N 511 to generate concrete image frame data for frame #N.
  • the GPU of the video server stores the first concrete image frame data representing the first concrete image frame of the source video in a first frame buffer memory (eg, the first frame buffer 161 shown in FIG. 3). Can be stored in
  • the GPU next reads the first concrete image frame data from the first frame buffer 161 and post-processes the first concrete image frame data. For example, referring to FIG. 8, the GPU reads the spherical image frame data for frame #N from the first frame buffer 161 and post-processes the first spherical image frame data for frame #N (513). do. Similarly, referring to FIG. 9, the GPU reads the spherical image frame data for frame #N from the first frame buffer 161 and post-processes 523 the first spherical image frame data for frame #N. do.
  • the first processor 101 of the video server may receive first information about the first FOV from the client terminal (eg, the client terminal 200A illustrated in FIGS. 1 and 3). For example, referring to FIG. 8, the first processor receives the first FOV change input V1 512 from the client terminal before postprocessing 513 the frame #N. Similarly, referring to FIG. 9, the first processor 101 receives a second FOV change input V2 522 during or after post processing 523 frame #N from the client terminal. In some embodiments, the client terminal sends a FOV change input including viewing angle data indicating azimuth and pitch angles to the VR video streaming system (e.g. VR video streaming system 100 shown in FIGS. 1 and 3).
  • the VR video streaming system e.g. VR video streaming system 100 shown in FIGS. 1 and 3
  • the GPU 102 of the video server may display the spherical image frame data stored in the first frame buffer memory corresponding to the first FOV of the first spherical image frame represented by the spherical image frame data. Can be converted to frame data.
  • the GPU of the video server may convert the spherical image frame data of frame # N + 1 (during post-processing 516) of frame # N + 1 corresponding to the first change input FOV V1. Convert to Equilegal tangential image frame data (to reflect the first FOV change input V1 in the spherical image frame data for frame # N + 1).
  • FIG. 1 the GPU of the video server may convert the spherical image frame data of frame # N + 1 (during post-processing 516) of frame # N + 1 corresponding to the first change input FOV V1. Convert to Equilegal tangential image frame data (to reflect the first FOV change input V1 in the spherical image frame data for frame # N + 1).
  • FIG. 1 the GPU of the
  • the GPU of the video server sends the spherical image frame data of frame # N + 1 (during post-processing 526) to the equals of frame # N + 1 corresponding to a second FOV V2. Convert to Tangential image frame data (to reflect the second FOV change input V2 in the spherical image frame data for frame # N + 1).
  • the modified operation of step 450 for reducing the encoding delay time will be described in more detail later with reference to FIGS. 6 and 10 to 12.
  • the GPU 102 of the video server may convert the converted Equi-Lectangular image frame data so that the streaming server may stream only the encoded Equi-Lectangular image frame data corresponding to the first FOV to the client terminal.
  • encoded image frame data can be generated.
  • the GPU of the video server encodes 518 the converted Equiectangular image frame data for frame # N + 1 to encode encoded image frame data for frame # N + 1.
  • the GPU of the video server encodes 528 the converted Equiectangular image frame data for frame # N + 1 to obtain encoded image frame data for frame # N + 1.
  • FIG. 6 illustrates an FOV based post-processing method (eg, modified operation of step 450 shown in FIG. 6 to reduce encoding delay time) performed by the VR video streaming system 100 according to some embodiments of the invention.
  • step 452 in response to determining that the first FOV information has been received from the client terminal, before the GPU starts converting the first concrete image frame data into the first equal-equaltangular image frame data, the GPU The first spherical image frame data may be converted into first equal-equaltangular image frame data corresponding to the first FOV of the first spherical image frame indicated by the first spherical image frame data.
  • step 453 in response to determining that the first information about the first FOV has been received after the GPU begins converting the first concrete image frame data to the first Equilegant Tangular Image Frame data, the video server 120 further determines whether first FOV information has been received before the GPU stores second sphere image frame data (eg sphere image frame data subsequent to the first sphere image frame data) in a first frame buffer memory. can do.
  • step 454 in response to determining that the first FOV information was received before the GPU stores the second sphere image frame data in the first frame buffer memory, the GPU sends the first sphere stored in the first frame buffer memory.
  • the GPU may omit the conversion and encoding of the second concrete image frame data stored in the first frame buffer memory.
  • FIG. 10 is block diagrams illustrating an FOV based post-processing method performed to reduce encoding delay time in an exemplary VR video streaming system.
  • the GPU decodes frame #N (601) / converts spherical image frame data for frame #N to Equilegant image frame data (604) / encodes frame #N ( 606), and then decode 607, etc., frame # N + 1.
  • the processor of video streaming system 100 eg, processor 101 shown in FIG. 3
  • the GPU may then reflect the third FOV change input V3 during transform 604 of frame #N.
  • the GPU may convert sphere image frame data associated with frame #N into a sphere of frame #N.
  • the third FOV change input V3 may be reflected (605) by converting to the Equilegal regular image frame data corresponding to the third FOV of the concrete image frame indicated by the image frame data.
  • the GPU decodes frame #N (610) / converts concrete image frame data of frame #N into equalitangular frame data (612) / encodes frame #N (615).
  • the frame # N + 1 is decoded 617.
  • a processor of video streaming system 100 receives a fourth FOV change input V4 (relative to a fourth FOV) from the client terminal during or after transforming frame #N (612) (613)
  • the GPU may reflect 614 ′ a fourth FOV change input in a transform 614 and encoding 616 step for frame # N + 1.
  • the GPU instead of waiting for decoding 617 for frame # N + 1 to complete, the GPU immediately uses frame #N stored in first frame buffer 161 for frame #N.
  • the spherical image frame data may be converted into Equilegant tangential frame data corresponding to the fourth FOV of the spherical image frame indicated by the spherical image frame data for the frame #N.
  • the GPU may encode 616 the converted Equilegant image for encoded frame # N + 1.
  • the GPU may omit (eg not perform) further processing of frame # N + 1 (eg, conversion and encoding of frame # N + 1). (619).
  • the encoded frame # N + 1 is already available (to be available) from other transform 614 and encoding 616 operations.
  • the time interval between the completion of encoding of frame #N and the completion of encoding of frame # N + 1 may be less than 33 ms random time, thereby reducing the time required to encode the frame.
  • the GPU decodes frame #N (620) / converts concrete image frame data of frame #N into equalitangular frame data (622) / encodes frame #N (623)
  • frame 624 is decoded 624.
  • the processor of video streaming system 100 receives a fifth FOV change input V5 (relative to a fifth FOV) from the client terminal during or after decoding (624) frame # N + 1 (625).
  • the GPU may reflect 627 the fifth FOV change input in the transform 626 and encoding 628 step for the frame # N + 1.
  • the GPU instead of waiting for decoding 624 for frame # N + 1 to complete, the GPU immediately uses frame #N stored in first frame buffer 161 for frame #N.
  • the spherical image frame data may be converted into Equilegant frame data corresponding to a fifth FOV of the spherical image frame represented by the spherical image frame data of the frame #N (626).
  • the GPU may then encode 628 the transformed Equilegant image for encoded frame # N + 1.
  • the GPU may omit (eg not perform) further processing of frame # N + 1 (eg, conversion and encoding of frame # N + 1). 630. This is because the encoded frame # N + 1 is already available (to be available) from other transform 626 and encoding 628 operations. In this way, the time interval between the completion of encoding of frame #N and the completion of encoding of frame # N + 1 may be less than 33 ms random time, thereby reducing the time required to encode the frame.
  • the first processor 101 or the GPU 102 may determine that the client before the GPU starts converting the first sphere image frame data into the first equilinear tangential image frame data. It may be determined whether first information regarding the first FOV is received from the terminal. For example, referring to FIG. 10, the first processor 101 or the GPU 102 may determine that the GPU 102 converts the spherical image frame data of the frame #N into the Equiectangular image frame data of the frame #N ( It is determined that the third FOV change input V3 has been received before beginning 604. On the other hand, referring to FIG. 11, the first processor 101 or the GPU 102 allows the GPU 102 to convert the spherical image frame data of frame #N into the Equilegant image frame data of frame #N ( 612, it determines that a fourth FOV change input V4 has been received.
  • the GPU of the video server may include a first FOV of the first sphere image frame in which the first sphere image frame data represents the first sphere image frame data stored in the first frame buffer memory (eg, the frame buffer 161 shown in FIG. 3). It may be converted to the first Equiectangular image frame data corresponding to the. For example, referring to FIG. 10, before the GPU initiates conversion 604 of spherical image frame data for frame #N to Equilegant image frame data for frame #N, a third FOV change input.
  • the GPU converts the spherical image frame data for frame #N into the Equiectangular image frame data of frame #N corresponding to the third FOV change input V3 (third FOV change). Input V3 to be reflected 605 in the spherical image frame data for frame #N).
  • the GPU of the video server decodes the second sphere image frame data representing the second sphere image frame of the video following the first sphere image frame, and decodes the second sphere image frame data into the first sphere. It may be stored in the frame buffer (eg, the first frame buffer 161 of FIG. 3). For example, referring to FIG. 11, the GPU of the video server decodes frame # N + 1 (next frame of frame #N), and first outputs spherical image frame data representing the decoded frame # N + 1.
  • the frame buffer 161 is stored.
  • the GPU of the first processor 101 or the video server may determine that the first FOV information has been received before the GPU stores the second concrete image frame data in the first frame buffer memory.
  • step 454 in response to determining that the first information regarding the first FOV has been received before the GPU of the video server stores the second sphere image frame data in the first frame buffer memory, the GPU of the video server
  • the first spherical image frame data stored in the first frame buffer memory may be converted into second dichroic tangular image frame data corresponding to the second FOV of the first spherical image frame represented by the first spherical image frame data.
  • the fourth FOV change input V4 is received before the GPU of the video server stores the spherical image frame data for frame # N + 1 in the first frame buffer 161, the fourth FOV change input V4 is received.
  • the GPU converts the spherical image frame data for frame #N stored in the first frame buffer 161 into the equivalent liquid image data corresponding to the fourth FOV change input V4 at the time of transform 614 ( 614) (for the fourth FOV change input V4 to be reflected 614 ′ in the spherical image frame data for frame #N).
  • the GPU in response to determining that a fifth FOV change input V5 has been received before the GPU stores concrete image frame data for frame # N + 1 in the first frame buffer 161, The GPU converts 626 the spherical image frame data for frame #N stored in the first frame buffer 161 into Equilegant image frame data corresponding to the fifth FOV change input V5 at the time of conversion 626.
  • the streaming server (eg streaming server 140 shown in FIG. 3) is the encoded second image corresponding to the current FOV.
  • the GPU may encode the converted equilegant image frame data into second encoded image frame data so as to stream only the Quirectural image frame data to the client terminal.
  • the GPU converts the converted Equiectangular image frame data to the encoded image for frame # N + 1.
  • the frame data is encoded (616).
  • the GPU converts the converted Equilegant image frame data to an encoded image frame for frame # N + 1.
  • the data is encoded (628).
  • the GPU may omit the conversion and encoding on the second concrete image frame data stored in the first frame buffer memory. For example, referring to FIG. 11, after decoding 617 of frame # N + 1, the GPU no longer converts the spherical image frame data for frame # N + 1 stored in the first frame buffer 161. And do not encode. This is because the encoded frame # N + 1 is already available (to be available) from other transform 614 and encoding 616 operations. Similarly, referring to FIG. 12, after decoding 624 of frame # N + 1, the GPU is no longer capable of converting the spherical image frame data for frame # N + 1 stored in the first frame buffer 161. Do not encode. This is because the encoded frame # N + 1 is already available (to be available) from other transform 626 and encoding 628 operations.
  • the video display method 700 begins at step 710, where the GPU (eg, the GPU shown in FIG. 2) of the client terminal (eg, client terminal 200A shown in FIGS. 1 and 3). 370) may render the first area of the first image frame on the first display area of the display, and render the remaining area of the first image frame on the second display area of the display in a hidden state.
  • the GPU eg, the GPU shown in FIG. 2
  • the GPU of the client terminal may previously displayed in the second display area.
  • the processor of the client terminal may transmit information indicating the first FOV to a video streaming server (eg, the streamer 180 illustrated in FIG. 3).
  • the second image frame data corresponding to the first FOV may be received from the server.
  • the GPU in response to receiving second image frame data representing a second image frame of video from the video streaming server, the GPU replaces a portion of the second image frame with the first display area of the display. Render and render the hidden second area of the first image frame in the second display area of the display.
  • FIGS. 1-3 and 14-16 are views illustrating a display screen of a client terminal displayed through a video display method according to some embodiments of the present invention.
  • the GPU of the client terminal (eg, client terminal 200A shown in Figs. 1 and 3) (eg, GPU 370 shown in Fig. 2) is connected to a video streaming server (eg, shown in Fig. 3).
  • the trimmer 180 may receive first image frame data representing the first image frame of the video.
  • the GPU of the client terminal (eg, the GPU 370 illustrated in FIG. 2) places the first region of the first image frame on the first display region 810 of the display 800 of the client terminal.
  • the display device may render the remaining area of the first image frame in a hidden state in the second display area 820 of the display.
  • the display 800 of the client terminal may be at least the same size or smaller than the first image frame.
  • display 800 may be rectangular in shape. In some embodiments, display 800 may be of other shapes, such as, for example, a circle shape, a polygon shape.
  • the first display area 810 may be a rectangular shape area positioned in the center of the rectangular display 800.
  • the second display area 820 of the display may include at least one of the left margin, the right margin, the top margin, and the bottom margin of the rectangular display 800.
  • step 720 in response to the user's input pointing to a first FOV (not shown) being received by the processor of the client terminal (eg, processor 310 shown in FIG. 2),
  • the GPU of the client terminal may render the second area 825 of the first image frame that is hidden in the second display area 820 and located in the first FOV.
  • the user of the client terminal changes his viewing angle in the direction 830, whereby the changed viewing angle points to the first FOV.
  • the client terminal can detect this change in viewing angle and provide an FOV change input to the GPU of the client terminal to render the second region 825 previously hidden by the GPU. have.
  • the GPU of the client terminal when rendering the second region 825 of the first image frame, displays the rendering region of the display 800 in the third display region 810 (see FIG. 14). May be relocated to an area 840 (see FIG. 15).
  • the third display area 840 may have the same shape as the first display area 810 and may include the second display area 825 of the first image frame.
  • the processor of the client terminal may transmit information indicating the first FOV to the video streaming server (e.g. streamer 180 shown in FIG. 3).
  • the processor of the client terminal may receive second image frame data corresponding to a first FOV from the video streaming server.
  • the processor of the client terminal may receive second image frame data indicating a second image frame of video from the video streaming server and corresponding to the first FOV.
  • the processor of the client terminal may also receive corrected FOV information of second image frame data from the video streaming server.
  • the GPU renders a partial region of the second image frame on the first display region 810 of the display 800, and the second display region 820 of the display 800. ) May render the hidden second area of the first image frame.
  • the GPU of the client terminal may rearrange the rendering area of the display from the third display area 840 (see FIG. 15) to the first display area 810 located at the center of the display. Repositioning the display area to the center of the display following the immediate rendering of the previously hidden display area 825 (see FIG. 15) is performed by the user of the client terminal in the third display area 840 in step 720.
  • a difference between the frame image and the frame image rendered in the first display area 810 may not be recognized.
  • the VR video streaming system can provide the following advantages.
  • First, the VR video streaming system can effectively utilize the computing power of the GPU (e.g. parallel computing performance through multi-core) when processing high-resolution VR video data.
  • Third, only the video portion reflecting the FOV can improve not only the user experience but also the streaming cost.
  • the cost of the streaming service can also be reduced by transmitting only the video portion reflecting the FOV. This is because the provider of the streaming service needs to pay according to its network service usage.
  • illegal transmission of contents can also be prevented by transmitting only the video portion reflecting the FOV.
  • Partially streamed video data received as the FOV reflected video portion is transmitted may contain only a portion of the FOV reflected video that is dynamically changed, thereby preventing content of the video from being illegally copied.
  • the client terminal can immediately provide the user with the video portion for the changed viewing angle without the changed delay. In this case, the delay may occur, for example, when receiving a new video portion from a video streaming server and then providing a new video portion for the changed viewing angle.
  • Coupled refers to combining two components or components directly or indirectly with each other. Such coupling may be fixed (e.g. permanent) or removable (e.g. removable, releasable, etc.). This combination can be achieved by forming two components or two components and any additional intermediate components in a single body from each other or by attaching two components or two components and any additional intermediate components to each other. Can be.
  • Embodiments of the present invention contemplates methods, systems, and program products on any machine readable medium to accomplish various operations.
  • Embodiments of the present invention can be implemented using an existing computer processor. Or by a dedicated computer processor or hardwired system for a suitable system integrated for the purposes of the present invention or for other purposes.
  • Embodiments within the scope of the present disclosure include program products that include a machine readable medium for conveying a machine executable instruction set or data structures.
  • Such machine-readable media can be any available media that can be accessed by a general purpose or special purpose computer or other machine with a processor.
  • Such machine readable media may include RAM, ROM, EPROM, EEPROM, CD-ROM or other optical disk storage, magnetic disk storage or other magnetic storage, or any other nonvolatile media. .
  • the machine-readable media described above may be used to store or deliver desired program code in the form of a set of machine executable instructions or a data structure.
  • the machine-readable media described above may be accessed by a general purpose or special purpose computer or other machine having a processor.
  • the machine regards the connection as a computer readable medium.
  • a network or other communication connection a combination of wired, wireless or wired or wireless
  • the machine regards the connection as a computer readable medium.
  • a connection is suitably referred to as a machine readable medium.
  • Combinations of the above are also included within the scope of machine-readable media.
  • the set of machine executable instructions includes, for example, instructions and data that cause a general purpose computer, special purpose computers, or special purpose processing machines to perform particular functions or groups of functions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

GPU(Graphic Processing Unit)를 이용하여 가상 현실 비디오를 처리하고 스트리밍 하는 시스템 및 방법이 제공된다. 비디오 서버는 프로세서로 하여금 비디오 데이터 소스로부터 다수의 구체 이미지 프레임 데이터를 포함하는 소스 비디오 데이터를 읽어오고, 상기 소스 비디오 데이터를 제1 메모리에 저장하게 하도록 구성된다. 제1 구체 이미지 프레임 데이터를 제2 메모리의 제1 프레임 버퍼에 저장되는 것에 응답하여, 상기 비디오 서버는 상기 GPU로 하여금 상기 제1 구체 이미지 프레임 데이터를 상기 제1 구체 이미지 프레임 데이터에 의해 표현되는 구체 이미지의 일부분에 대응되는 제1 이퀴렉탱귤러 이미지 프레임으로 변환하도록 하고, 상기 변환된 제1 이퀴렉탱귤러 이미지 프레임 데이터를 인코딩 하도록 하고, 상기 인코딩 된 제1 이퀴렉탱귤러 이미지 프레임 데이터를 상기 제2 메모리의 인코딩 된 프레임 버퍼에 저장하도록 한다.

Description

GPU 기반의 가상 현실 비디오 스트리밍 서버를 위한 방법 및 시스템
본 발명은 가상 현실 비디오 스트리밍을 위한 시스템 및 방법에 관한 것이다. 보다 자세하게는, 본 발명은 GPU(Graphic Processing Unit)를 이용하여 가상 현실 비디오를 스트리밍하고 처리하기 위한 방법 및 시스템에 관한 것이다.
가상 현실(Virtual Reality; VR) 비디오 콘텐츠는 일반적으로 360도 비디오 데이터를 제공하기 위해 매우 높은 해상도를 갖는다. 예를 들어, 360도 비디오 데이터는 초당 프레임(Frame Per Second; FPS)이 30 ~ 60 이고, 4K(3840x1920) 이상의 해상도를 갖는 UHD(Ultra High Definition) 비디오 데이터를 포함할 수 있다.
GPU(Graphic Processing Unit)는 디스플레이 출력용 프레임 버퍼에서 이미지 생성을 가속화하기 위해 메모리를 신속하게 읽고 쓰도록 설계된 특수한 전자 회로이다. CPU(Central Processing Unit)와 비교하여, GPU는 저전력 소모(e.g. CPU의 25 %) 및 저렴한 비용(e.g. 2016년 기준, 768코어의 GPU의 경우 160달러)으로 고속의 실시간 이미지 처리를 제공할 수 있다. 또한, GPU는 멀티 코어를 활용함으로써 병렬 컴퓨팅 성능을 제공할 수 있다.
본 발명이 해결하고자 하는 기술적 과제는, GPU를 이용하여 가상 현실 비디오를 처리하고 스트리밍하는 방법 및 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 가상 현실 비디오의 인코딩 지연을 최소화하기 위한 처리 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 클라이언트 단말에서 가상 현실 비디오를 효과적으로 디스플레이 하는 방법을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 태양에 따른 가상 현실 비디오 스트리밍 시스템은, 제1 프로세서, 제1 메모리, GPU(Graphic Processing Unit), 복수의 프레임 버퍼를 포함하는 제2 메모리, 상기 제1 프로세서 또는 상기 GPU 중 적어도 하나에 의해 구현되는 비디오 서버를 포함하되, 상기 비디오 서버는, 상기 제1 프로세서에 의해, 비디오 데이터 소스로부터 복수의 구체 이미지 프레임 데이터를 포함하는 소스 비디오 데이터를 얻어오고 상기 소스 비디오 데이터를 상기 제1 메모리에 저장하며, 상기 비디오 서버는, 상기 제2 메모리의 제1 프레임 버퍼에 제1 구체 이미지 프레임 데이터가 저장되는 것에 응답하여, 상기 GPU에 의해, 상기 제1 구체 이미지 프레임 데이터를 상기 제1 구체 이미지 프레임 데이터가 나타내는 구체 이미지의 일부분에 대응되는 제1 이퀴렉탱귤러(equirectangular) 이미지 프레임 데이터로 변환하고, 상기 변환된 제1 이퀴렉탱귤러 이미지 프레임 데이터를 인코딩하며, 상기 인코딩 된 제1 이퀴렉탱귤러 이미지 프레임 데이터를 상기 제2 메모리의 인코딩 된 프레임 버퍼에 저장할 수 있다. 일 실시예에서, 상기 제1 프로세서 또는 상기 GPU 중 적어도 하나에 의해 구현되는 스트리밍 서버를 더 포함하되, 상기 스트리밍 서버는, 상기 제1 프로세서에 의해, 클라이언트 단말과 제1 연결을 설정하고, 상기 제2 메모리의 상기 인코딩 된 프레임 버퍼에서 상기 인코딩 된 제1 이퀴렉탱귤러 이미지 프레임 데이터를 얻어오며, 상기 인코딩 된 제1 이퀴렉탱귤러 이미지 프레임 데이터를 상기 제1 연결을 통해 상기 클라이언트 단말로 스트리밍할 수 있다. 일 실시예에서, 상기 비디오 서버와 상기 스트리밍 서버는 별도의 프로세스로 실행될 수 있다. 일 실시예에서, 상기 제1 프로세서 또는 상기 GPU 중 적어도 하나에 의해 구현되는 통신 서버를 더 포함하되, 상기 통신 서버는, 상기 제1 프로세서에 의해, 상기 클라이언트 단말과 제2 연결을 설정하고, 상기 제1 이퀴렉탱귤러 이미지 프레임 데이터에 대응되는 FOV(Field of View)에 관한 제1 정보를 상기 클라이언트 단말로 전송하며, 상기 클라이언트 단말로부터 제2 FOV에 관한 제2 정보를 수신하고, 상기 비디오 서버는, 상기 GPU에 의해, 제2 구체 이미지 프레임 데이터를 상기 제2 구체 이미지 프레임 데이터가 나타내는 구체 이미지의 상기 제2 FOV에 대응되는 제2 이퀴렉탱귤러 이미지 프레임 데이터로 변환할 수 있다. 일 실시예에서, 상기 통신 서버와 상기 스트리밍 서버는 단일 프로세스로 실행될 수 있다. 일 실시예에서, 제4 항에 있어서, 상기 제1 FOV에 관한 상기 제1 정보와 상기 제2 FOV에 관한 상기 제2 정보는 방위각과 피치각을 가리키는 시야각 데이터를 포함할 수 있다.
본 발명의 다른 태양에 따른 비디오 처리 방법은, 비디오 서버의 GPU가, 비디오의 제1 구체 이미지 프레임을 나타내는 제1 구체 이미지 프레임 데이터를 제1 프레임 버퍼 메모리에 저장하는 단계, 상기 비디오 서버의 제1 프로세서가, 클라이언트 단말로부터 제1 FOV에 관한 제1 정보를 수신하는 단계, 상기 비디오 서버의 상기 GPU가, 상기 제1 버퍼 메모리에 저장된 상기 제1 구체 이미지 프레임 데이터를 상기 구체 이미지 프레임 데이터가 나타내는 상기 제1 구체 이미지 프레임의 상기 제1 FOV에 대응되는 제1 이퀴렉탱귤러 이미지 프레임 데이터로 변환하는 단계 및 상기 비디오 서버의 상기 GPU가, 제1 인코딩 된 이미지 프레임 데이터를 생성하기 위해 상기 변환된 제1 이퀴렉탱귤러 이미지 프레임 데이터를 인코딩하는 단계를 포함할 수 있다. 일 실시예에서, 상기 비디오 서버의 상기 GPU가, 상기 제1 구체 이미지 프레임 데이터를 생성하기 위해 상기 비디오를 파싱하고 디코딩하는 단계를 더 포함할 수 있다. 일 실시예에서, 상기 제1 FOV에 관한 상기 제1 정보는 방위각과 피치각을 가리키는 시야각 데이터를 포함할 수 있다. 일 실시예에서, 상기 제1 이퀴렉탱귤러 이미지 프레임 데이터로 변환하는 단계는, 상기 GPU가 상기 제1 구체 이미지 프레임 데이터에서 상기 제1 이퀴렉텡귤러 이미지 프레임 데이터로의 변환을 시작하기 전에 상기 제1 정보가 수신된 것으로 판정하는 단계를 포함할 수 있다. 일 실시예에서, 상기 비디오 서버의 상기 제1 프로세서가, 상기 클라이언트 단말로부터 제2 FOV에 관한 제2 정보를 수신하는 단계, 상기 비디오 서버의 상기 GPU가, 상기 비디오의 상기 제1 구체 이미지 프레임에 후속된 제2 구체 이미지 프레임을 나타내는 제2 구체 이미지 프레임 데이터를 상기 제1 프레임 버퍼 메모리에 저장하는 단계 및 상기 비디오 서버의 상기 GPU가, 상기 제1 구체 이미지 프레임 데이터를 상기 제1 이퀴렉탱귤러 이미지 프레임 데이터로 변환한 후의 시점과 상기 제1 프레임 버퍼 메모리에 상기 제2 구체 이미지 프레임 데이터를 저장하기 전의 시점 사이에 상기 제2 정보가 수신된 것으로 판정한 것에 응답하여, (i) 상기 비디오 서버의 상기 GPU가, 상기 제1 프레임 버퍼 메모리에 저장된 상기 제1 구체 이미지 프레임 데이터를 상기 제1 구체 이미지 프레임 데이터가 나타내는 상기 제1 구체 이미지 프레임의 상기 제2 FOV에 대응되는 제2 이퀴렉탱귤러 이미지 프레임 데이터로 변환하고, (ii) 상기 비디오 서버의 상기 GPU가, 상기 변환된 제2 이퀴렉탱귤러 이미지 프레임 데이터를 제2 인코딩 된 이미지 프레임 데이터로 인코딩하며, (iii) 상기 제1 프레임 버퍼 메모리에 저장된 상기 제2 구체 이미지 프레임 데이터의 변환 및 인코딩을 생략하는 단계를 포함할 수 있다.
본 발명의 또 다른 태양에 따른 컴퓨터 프로그램은, 비디오 서버의 GPU에 의해 실행되며, 비디오 서버의 GPU가, 비디오의 제1 구체 이미지 프레임을 나타내는 제1 구체 이미지 프레임 데이터를 제1 프레임 버퍼 메모리에 저장하는 단계, 상기 비디오 서버의 제1 프로세서가, 클라이언트 단말로부터 제1 FOV에 관한 제1 정보를 수신하는 단계, 상기 비디오 서버의 상기 GPU가, 상기 제1 버퍼 메모리에 저장된 상기 제1 구체 이미지 프레임 데이터를 상기 구체 이미지 프레임 데이터가 나타내는 상기 제1 구체 이미지 프레임의 상기 제1 FOV에 대응되는 제1 이퀴렉탱귤러 이미지 프레임 데이터로 변환하는 단계 및 상기 비디오 서버의 상기 GPU가, 제1 인코딩 된 이미지 프레임 데이터를 생성하기 위해 상기 변환된 제1 이퀴렉탱귤러 이미지 프레임 데이터를 인코딩하는 단계를 포함할 수 있다. 일 실시예에서, 상기 비디오 서버의 상기 GPU가, 상기 제1 구체 이미지 프레임 데이터를 생성하기 위해 상기 비디오를 파싱하고 디코딩하는 단계를 실행시키기 위해서 컴퓨터가 읽기 가능한 기록 매체에 저장될 수 있다. 일 실시예에서, 상기 제1 FOV에 관한 상기 제1 정보는 방위각과 피치각을 가리키는 시야각 데이터를 포함할 수 있다. 일 실시예에서, 상기 제1 이퀴렉탱귤러 이미지 프레임 데이터로 변환하는 단계는, 상기 GPU가 상기 제1 구체 이미지 프레임 데이터에서 상기 제1 이퀴렉텡귤러 이미지 프레임 데이터로의 변환을 시작하기 전에 상기 제1 정보가 수신된 것으로 판정하는 단계를 포함할 수 있다. 일 실시예에서, 상기 비디오 서버의 상기 제1 프로세서가, 상기 클라이언트 단말로부터 제2 FOV에 관한 제2 정보를 수신하는 단계, 상기 비디오 서버의 상기 GPU가, 상기 비디오의 상기 제1 구체 이미지 프레임에 후속된 제2 구체 이미지 프레임을 나타내는 제2 구체 이미지 프레임 데이터를 상기 제1 프레임 버퍼 메모리에 저장하는 단계 및 상기 비디오 서버의 상기 GPU가, 상기 제1 구체 이미지 프레임 데이터를 상기 제1 이퀴렉탱귤러 이미지 프레임 데이터로 변환한 후의 시점과 상기 제1 프레임 버퍼 메모리에 상기 제2 구체 이미지 프레임 데이터를 저장하기 전의 시점 사이에 상기 제2 정보가 수신된 것으로 판정한 것에 응답하여, (i) 상기 비디오 서버의 상기 GPU가, 상기 제1 프레임 버퍼 메모리에 저장된 상기 제1 구체 이미지 프레임 데이터를 상기 제1 구체 이미지 프레임 데이터가 나타내는 상기 제1 구체 이미지 프레임의 상기 제2 FOV에 대응되는 제2 이퀴렉탱귤러 이미지 프레임 데이터로 변환하고, (ii) 상기 비디오 서버의 상기 GPU가, 상기 변환된 제2 이퀴렉탱귤러 이미지 프레임 데이터를 제2 인코딩 된 이미지 프레임 데이터로 인코딩하며, (iii) 상기 제1 프레임 버퍼 메모리에 저장된 상기 제2 구체 이미지 프레임 데이터의 변환 및 인코딩을 생략하는 단계를 포함할 수 있다.
본 발명의 또 다른 태양에 따른 비디오 디스플레이 방법은, 클라이언트 단말의 제1 프로세서가, 비디오 스트리밍 서버로부터 비디오의 제1 이미지 프레임을 나타내는 제1 이미지 프레임 데이터를 수신하는 단계, 상기 클라이언트 단말의 GPU가, 적어도 상기 제1 이미지 프레임의 크기보다 작거나 같은 크기를 갖는 상기 클라이언트 단말의 디스플레이 상에, 상기 디스플레이의 제1 디스플레이 영역에 상기 제1 이미지 프레임의 제1 영역을 렌더링하고, 상기 디스플레이의 제2 디스플레이 영역에 상기 제1 이미지 프레임의 나머지 영역을 숨겨진 상태로 렌더링하는 단계 및 상기 클라이언트 단말의 상기 제1 프로세서가 제1 FOV를 가리키는 사용자 입력의 수신에 응답하여, 상기 클라이언트 단말의 GPU가 상기 제1 FOV 내에 위치하고 이전에 상기 제2 디스플레이 영역에 숨겨진 상기 제1 이미지 프레임의 제2 영역을 렌더링하는 단계를 포함할 수 있다. 일 실시예에서, 상기 제1 FOV에 관한 상기 사용자 입력은 방위각 및 피치각을 가리키는 시야각 데이터를 포함할 수 있다. 일 실시예에서, 상기 제1 이미지 프레임의 상기 제2 영역을 렌더링하는 단계는, 상기 클라이언트 단말의 상기 GPU가, 상기 디스플레이의 렌더링 영역을 상기 제1 디스플레이 영역에서 상기 제1 디스플레이 영역과 동일한 모양을 갖고 상기 제1 이미지 프레임의 상기 제2 영역을 포함하는 제3 디스플레이 영역으로 재배치하는 단계를 포함할 수 있다. 일 실시예에서, 상기 클라이언트 단말의 상기 제1 프로세서가, 상기 비디오 스트리밍 서버로 상기 제1 FOV를 가리키는 정보를 전송하는 단계, 상기 클라이언트 단말의 상기 제1 프로세서가, 상기 비디오 스트리밍 서버로부터 상기 제1 FOV에 대응되는 상기 비디오의 제2 이미지 프레임을 나타내는 제2 이미지 프레임 데이터를 수신하는 단계 및 상기 클라이언트 단말의 상기 GPU가, 상기 클라이언트 단말의 상기 디스플레이 상에, 상기 디스플레이의 상기 제1 디스플레이 영역에 상기 제2 이미지 프레임의 일부 영역을 렌더링하고, 상기 디스플레이의 상기 제2 디스플레이 영역에 상기 제1 이미지 프레임의 상기 제2 영역을 렌더링하는 단계를 더 포함할 수 있다. 일 실시예에서, 상기 디스플레이는 직사각형 모양이고, 상기 디스플레이의 상기 제1 디스플레이 영역은 직사각형 모양이고, 상기 디스플레이의 중앙에 위치하며, 상기 디스플레이의 상기 제2 디스플레이 영역은 상기 디스플레이의 왼쪽 여백, 오른쪽 여백, 위쪽 여백 및 아래쪽 여백 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 상기 클라이언트 단말의 상기 제1 프로세서가, 상기 비디오 스트리밍 서버로 상기 제1 FOV를 가리키는 정보를 전송하는 단계, 상기 클라이언트 단말의 상기 제1 프로세서가, 상기 비디오 스트리밍 서버로부터 상기 제1 FOV에 대응되고 상기 비디오의 제2 이미지 프레임을 나타내는 제2 이미지 프레임 데이터를 수신하는 단계 및 상기 클라이언트 단말의 상기 GPU가, 상기 디스플레이의 상기 렌더링 영역을 상기 제3 디스플레이 영역에서 상기 제1 디스플레이 영역으로 재배치하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 태양에 따른 컴퓨터 프로그램은, 클라이언트 단말의 제1 프로세서 또는 GPU에 의해 실행되며, 클라이언트 단말의 제1 프로세서가, 비디오 스트리밍 서버로부터 비디오의 제1 이미지 프레임을 나타내는 제1 이미지 프레임 데이터를 수신하는 단계, 상기 클라이언트 단말의 GPU가, 상기 제1 이미지 프레임과 동일한 크기 또는 작은 크기를 갖는 상기 클라이언트 단말의 디스플레이 상에, 상기 디스플레이의 제1 디스플레이 영역에 상기 제1 이미지 프레임의 제1 영역을 렌더링하고, 상기 디스플레이의 제2 디스플레이 영역에 상기 제1 이미지 프레임의 나머지 영역을 숨겨진 상태로 렌더링하는 단계 및 상기 클라이언트 단말의 상기 제1 프로세서가 제1 FOV를 가리키는 사용자 입력의 수신에 응답하여, 상기 클라이언트 단말의 GPU가 상기 제1 FOV 내에 위치하고 이전에 상기 제2 디스플레이 영역에 숨겨진 상기 제1 이미지 프레임의 제2 영역을 렌더링하는 단계를 실행시키기 위하여 컴퓨터가 읽기 가능한 기록 매체에 저장될 수 있다. 일 실시예에서, 상기 제1 FOV에 관한 상기 사용자 입력은 방위각 및 피치각을 가리키는 시야각 데이터를 포함할 수 있다. 일 실시예에서, 상기 제1 이미지 프레임의 상기 제2 영역을 렌더링하는 단계는, 상기 클라이언트 단말의 상기 GPU가, 상기 디스플레이의 렌더링 영역을 상기 제1 디스플레이 영역에서 상기 제1 디스플레이 영역과 동일한 모양을 갖고 상기 제1 이미지 프레임의 상기 제2 영역을 포함하는 제3 디스플레이 영역으로 재배치하는 단계를 포함할 수 있다. 일 실시예에서, 상기 클라이언트 단말의 상기 제1 프로세서가, 상기 비디오 스트리밍 서버로 상기 제1 FOV를 가리키는 정보를 전송하는 단계, 상기 클라이언트 단말의 상기 제1 프로세서가, 상기 비디오 스트리밍 서버로부터 상기 제1 FOV에 대응되는 상기 비디오의 제2 이미지 프레임을 나타내는 제2 이미지 프레임 데이터를 수신하는 단계 및 상기 클라이언트 단말의 상기 GPU가, 상기 클라이언트 단말의 상기 디스플레이 상에, 상기 디스플레이의 상기 제1 디스플레이 영역에 상기 제2 이미지 프레임의 일부 영역을 렌더링하고, 상기 디스플레이의 상기 제2 디스플레이 영역에 상기 제1 이미지 프레임의 상기 제2 영역을 렌더링하는 단계를 더 포함할 수 있다. 일 실시예에서, 상기 디스플레이는 직사각형 모양이고, 상기 디스플레이의 상기 제1 디스플레이 영역은 직사각형 모양이고, 상기 디스플레이의 중앙에 위치하며, 상기 디스플레이의 상기 제2 디스플레이 영역은 상기 디스플레이의 왼쪽 여백, 오른쪽 여백, 위쪽 여백 및 아래쪽 여백 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 상기 클라이언트 단말의 상기 제1 프로세서가, 상기 비디오 스트리밍 서버로 상기 제1 FOV를 가리키는 정보를 전송하는 단계, 상기 클라이언트 단말의 상기 제1 프로세서가, 상기 비디오 스트리밍 서버로부터 상기 제1 FOV에 대응되고 상기 비디오의 제2 이미지 프레임을 나타내는 제2 이미지 프레임 데이터를 수신하는 단계 및 상기 클라이언트 단말의 상기 GPU가, 상기 디스플레이의 상기 렌더링 영역을 상기 제3 디스플레이 영역에서 상기 제1 디스플레이 영역으로 재배치하는 단계를 더 포함할 수 있다.
상술한 본 발명에 따르면, 상기 VR 비디오 스트리밍 시스템은 고해상도 VR 비디오 데이터를 처리할 때 GPU의 컴퓨팅 성능(e.g. 멀티 코어를 통한 병렬 컴퓨팅 성능)을 효과적으로 활용할 수 있다.
또한, 현재의 시야 범위(Field of View; FOV)가 반영된 비디오 부분만을 전송함으로써 상당한 네트워크 대역폭 요구량(e.g. FOV 비디오 데이터 전송은 단지 1 ~ 2Mbps의 대역폭만 요구되는데 반해 4K UHD 비디오 데이터 전송은 16 ~ 20Mbps의 대역폭이 요구됨)이 절감될 수 있다.
또한, FOV가 반영된 비디오 부분만을 전송함으로써 사용자 경험뿐만 아니라 스트리밍 비용까지 모두 개선할 수 있다.
또한, FOV가 반영된 비디오 부분만을 전송함으로써 낮은 데이터 전송 속도로 스트리밍 서비스를 제공할 수 있다. 그렇게 함으로써, 데이터 버퍼링을 제거하고 클라이언트 단말의 배터리 소모를 감소시킬 수 있다.
또한, FOV가 반영된 비디오 부분만을 전송함으로써 스트리밍 서비스의 비용 또한 줄일 수 있다. 왜냐하면, 상기 스트리밍 서비스의 제공자는 자신의 네트워크 서비스 사용량에 따라 비용을 지불할 필요가 있기 때문이다.
또한, FOV가 반영된 비디오 부분만을 전송함으로써 콘텐츠 불법 복제 또한 방지할 수 있다. FOV가 반영된 비디오 부분이 전송됨에 따라 수신된 부분적으로 스트리밍 된 비디오 데이터는 동적으로 변경되는 FOV가 반영된 비디오의 일부분만을 포함할 수 있기 때문에, 이로써 상기 비디오의 콘텐츠가 불법적으로 복사되는 것을 방지한다.
또한, 현재의 FOV에 기초하여 클라이언트 단말에 포함된 디스플레이의 렌더링 영역을 변경함으로써, 상기 클라이언트 단말은 지연 없이 변경된 시야각에 대한 비디오 부분을 사용자에게 즉각적으로 제공할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 본 발명 또는 상술한 본 발명과 관련된 목적, 특징 및/또는 이점은 아래의 도면과 함께 후술할 상세한 설명을 참조하면 더욱 명확하게 이해될 것이다.
도 1은 본 발명의 몇몇 실시예에 따른 클라이언트 단말과 VR 비디오 스트리밍 시스템을 포함하는 네트워크 환경의 블록도이다.
도 2는 본 발명의 실시예에 따른 컴퓨팅 시스템을 예시적으로 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 VR 비디오 스트리밍 시스템을 예시적으로 나타내는 블록도이다.
도 4는 프레임 이미지를 예시적으로 나타내는 도면이다.
도 5 및 도 6은 본 발명의 몇몇 실시예에 따라, VR 비디오 스트리밍 시스템에 의해 수행되는 FOV 기반의 후처리 방법의 동작을 도시하는 흐름도이다.
도 7, 도 8 및 도 9는 본 발명의 실시예에 따른 VR 비디오 스트리밍 시스템에서 수행되는 FOV 기반의 후처리 방법을 예시적으로 나타내는 블록도이다.
도 10, 도 11 및 도 12는 본 발명의 실시예에 따른 VR 비디오 스트리밍 시스템에서 인코딩 지연 시간을 감소하기 위한 FOV 기반 후처리 방법을 예시적으로 나타내는 블록도이다.
도 13은 본 발명의 몇몇 실시예에 따른 클라이언트 단말의 비디오 디스플레이 방법의 동작을 도시하는 흐름도이다.
도 14, 도 15 및 도 16은 본 발명의 몇몇 실시예에서, 비디오 디스플레이 방법을 통해 디스플레이 된 클라이언트 단말의 디스플레이 화면을 예시적으로 나타내는 도면이다.
가상 현실(Virtual Reality; VR) 비디오 스트리밍을 위한 방법 및 시스템에 관한 발명이 제공된다. 보다 자세하게는, GPU(Graphic Processing Unit)를 이용하여 가상 현실 비디오를 스트리밍하고 처리하기 위한 방법 및 시스템에 관한 발명이 제공된다. 몇몇 실시예에서, VR 비디오 스트리밍 시스템에 포함된 비디오 서버의 GPU는 구체 이미지(spherical image) 프레임 데이터를 제1 구체 이미지 프레임 데이터의 일부분에 대응되는 이퀴렉탱귤러(equirectangular) 이미지 프레임 데이터로 변환할 수 있다. 이로 인해, 상기 VR 비디오 스트리밍 시스템은 고해상도의 VR 비디오 데이터 처리할 때 GPU의 컴퓨팅 성능(e.g. 다중 코어를 통한 병렬 컴퓨팅 성능)을 효과적으로 활용할 수 있다.
몇몇 실시예에서, 비디오 서버의 프로세서는 클라이언트 단말로부터 제1 시야 범위(Field of View; FOV)에 관한 정보를 수신할 수 있고, 비디오 서버의 GPU는 제1 구체 이미지 프레임 데이터를 제1 구체 이미지 프레임의 제1 FOV에 대응되는 제1 이퀴렉탱귤러 이미지 프레임 데이터로 변환할 수 있다. 여기서, 제1 구체 이미지 프레임은 제1 구체 이미지 프레임 데이터가 나타내는 이미지 프레임을 말한다. 이와 같은 구성으로, 클라이언트 단말로부터의 사용자 입력마다, VR 비디오 스트리밍 시스템은 상기 사용자가 현재 보고 싶어하는 비디오 데이터의 부분만을 상기 클라이언트 단말에 제공할 수 있다. 예를 들어, 상기 VR 비디오 스트리밍 시스템은 상기 사용자가 입력한 현재 FOV에 관한 비디오 부분만을 상기 클라이언트 단말에 제공할 수 있다. 현재 FOV에 관한 비디오 부분만을 전송함으로써 얻을 수 이점은 매우 많다. 첫째, 이로 인해 상당한 네트워크 대역폭 요구량(e.g. FOV 비디오 데이터 전송은 1 ~ 2Mbps의 대역폭만 요구되는데 반해 4KUHD 비디오 데이터 전송은 16 ~ 20Mbps의 대역폭이 요구됨)이 절감될 수 있다. 둘째, FOV 비디오 데이터만을 전송함으로써 사용자 경험 및 스트리밍 서비스의 비용을 모두 개선시킬 수 있다. FOV 비디오 데이터만을 전송함으로써 낮은 데이터 전송 속도로 스트리밍 서비스의 제공 가능하므로, 데이터 버퍼링을 제거하고 클라이언트 단말의 배터리 소모 또한 줄일 수 있다. 또한, 상기 FOV 비디오 데이터만을 전송함으로써 스트리밍 서비스 비용 또한 줄일 수 있다. 왜냐하면, 스트리밍 서비스 제공자는 네트워크 서비스 사용량에 따라 요금을 지불할 필요가 있기 때문이다. 셋째, FOV 비디오 데이터만을 전송함으로써 콘텐츠의 불법 복제를 방지할 수 있다. 예를 들어, 4K UHD 비디오 콘텐츠는 불법 복제에 노출될 가능성이 크다. FOV 비디오 데이터의 전송을 통해서 수신된, 부분적으로 스트리밍 된 비디오 데이터는 동적으로 변경된 시야각에 관한 비디오 데이터 부분만 포함할 수 있으므로 비디오 콘텐츠가 불법적으로 복사되는 것을 방지한다.
몇몇 실시예에서, 클라이언트 단말의 GPU는 비디오 스트리밍 서버로부터 수신된 이미지 프레임의 제1 영역을 디스플레이의 제1 디스플레이 영역(e.g. 디스플레이의 중앙 영역)에 렌더링(rendering)하는 한편, 상기 이미지 프레임의 나머지 영역을 상기 디스플레이의 제2 디스플레이 영역(e.g. 직사각형 디스플레이의 네 방향 여백)에서 숨긴다. 특정 FOV(e.g. 디스플레이의 왼쪽 상단 코너를 향한 시야각)를 가리키는 사용자의 입력 수신에 응답하여, 상기 GPU는 이전에 제2 디스플레이 영역에 숨겨지고 제1 FOV(e.g. 이전에 상기 디스플레이의 왼쪽 상단 근처에 숨겨진 영역) 내에 위치한 제1 이미지 프레임의 제2 영역을 렌더링 할 수 있다. 이와 같은 구성으로 인해, 예를 들어, 클라이언트 단말의 사용자가 이미지 프레임을 보면서 디스플레이의 왼쪽 상단 코너를 향하여 시야각을 변화시킬 때, 상기 클라이언트 단말은 이전에 숨겨놓은 상기 이미지 프레임의 일부분을 즉시 보여줄 수 있다. 따라서, 클라이언트 단말은 비디오 스트리밍 서버로부터 새로운 비디오 부분을 수신한 후에 변경된 시야각의 새로운 비디오 부분을 제공하는 경우에 발생할 수 있는 지연 없이 변경된 시야각의 비디오 부분을 즉각적으로 상기 사용자에게 제공 할 수 있다.
도 1은 VR 비디오 스트리밍 시스템(100), 클라이언트 단말(200A, 200B) 및 VR 콘텐츠 서버(750)를 포함하는 네트워크 환경(1000)을 예시적으로 나타내는 블록도이다. 개략적으로 보면, 도 1에 도시된 네트워크 환경은 상호 연결된 네트워크 노드(e.g. VR 비디오 시스템과 VR 콘텐츠 서버)에 대한 네트워크(650)와 상호 연결된 네트워크 노드(e.g. 클라이언트 단말과 VR 비디오 시스템)에 대한 네트워크(650')를 포함한다. 몇몇 실시예에서, 네트워크(650)는 네트워크(650')와 동일한 네트워크이다. 도 1을 참조하여 보다 상세하게 살펴보면, 네트워크(650 또는 650')는 네트워크 환경(1000)에 참여하는 장치들 사이에 인터랙션(interaction)을 용이하게 하기 위해 이용된다. 실례가 되는 예제의 네트워크(650 또는 650 ')는 인터넷이다. 그러나, 다른 실시예에 따르면, 네트워크(650)는 데이터 센터 내의 로컬 네트워크(local network), 네트워크 페브릭(network febric) 또는 다른 근거리 영역 또는 광역 네트워크 등 다양한 종류의 네트워크일 수 있다. 네트워크(650 또는 650 ')는 다수의 연결된 서브 네트워크 또는 자율적인 네트워크로 구성될 수 있다. 또한, 네트워크(650 또는 650 ')는 기업의 인트라넷(intranet)과 같은 LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network), 인터넷과 같은 네트워크 간 네트워크 또는 P2P(Peer-to-Peer) 네트워크(e.g. 애드혹(ad hoc) WiFi P2P 네트워크)일 수 있다. 임의의 유형 및/또는 형태의 데이터 네트워크 및/또는 통신 네트워크가 네트워크(650 또는 650 ')에 이용될 수 있다. 네트워크(650 또는 650')는 공개 네트워크(public network), 사설 네트워크(private network) 또는 공개 및 사설 네트워크의 조합일 수 있다. 일반적으로, 네트워크(650 또는 650 ')는 컴퓨팅 장치 사이에서 정보를 전달하는데 이용된다. 예를 들어, 클라이언트 단말(200A, 200B), VR 비디오 스트리밍 시스템(100) 및 VR 콘텐츠 서버(750) 사이에 정보를 전달하는데 이용될 수 있다.
도 1을 참조하면, VR 비디오 스트리밍 시스템(100)은 비디오 서버(120)와 스트리머(180, streamer)를 포함한다. 몇몇 실시예에서, 비디오 서버(120)는 VR 비디오 데이터를 로컬에 저장(e.g. 비디오 파일로서)하거나 VR 콘텐츠 서버(750)에서 스트리밍되는 비디오 데이터를 수신한다. 몇몇 실시예에서, 스트리머(180)는 통신 서버(130)와 스트리밍 서버(140)를 포함한다. 몇몇 실시예에서, 통신 서버(130)는 클라이언트 단말(200A, 200B) 각각과 VR 비디오 스트리밍 시스템(100)의 서비스에 관한 정보(e.g. 사용자 로그인, VR 비디오 콘텐츠 선택, 저지연 비디오 스트리밍 등)를 통신한다. 몇몇 실시예에서, 스트리밍 서버(140)는 VR 비디오 프레임 데이터를 각 클라이언트 단말(200A, 200B)로 스트리밍 한다. 몇몇 실시예에서, VR 비디오 스트리밍 시스템(100)은 도 2에 도시된 컴퓨팅 시스템(300)과 유사한 구성을 갖는다. 컴퓨팅 시스템(300)은 도 2를 참조하여 이하에서 보다 상세하게 설명한다. 도 1에 도시된 VR 비디오 스트리밍 시스템(100)의 몇몇 실시예에서, 도 2에 도시된 컴퓨팅 시스템(300)의 구성 요소 중 일부는 생략될 수도 있다.
다시 도 1을 참조하면, 각각의 클라이언트 단말(200A, 200B)은 VR 비디오 스트리밍 시스템(100)으로부터 비디오 스트리밍 데이터를 수신한다. 보다 자세하게는, 스트리머(180)의 스트리밍 서버(140)로부터 상기 비디오 스트리밍 데이터를 수신할 수 있다. 몇몇 실시예에서, 클라이언트 단말(200A, 200B) 각각은 디스플레이(e.g. HMD(Head Mounted Display), 광학 HMD)), 입력 장치(e.g. 카메라, 헤드셋) 및 센서(e.g. 모션 센서, 위치/방향 센서, 모션 시뮬레이터, 제스처 추적 시스템 등)를 갖는 가상 현실 클라이언트 단말일 수 있다. 몇몇 실시예에서, 클라이언트 단말(200A, 200B) 각각은 또한 VR 비디오 스트리밍 시스템(100)의 서비스에 관한 정보를 교환하기 위해 통신 서버(130)와 통신할 수 있다. 예를 들어, 클라이언트 단말(200A, 200B) 각각은 방위각 및 피치각을 가리키는 시야각 데이터의 형태로 사용자의 현재 FOV를 통신 서버(130)에 제공할 수 있다. 몇몇 실시예에서, 클라이언트 단말(200A, 200B)은 도 2에 도시된 컴퓨팅 시스템(300)과 유사한 구성을 갖는다. 도 1에 도시된 클라이언트 단말(200A, 200B)의 몇몇 실시예에서, 도 2에 도시된 컴퓨팅 시스템(300)의 구성 요소 중 일부는 생략될 수도 있다.
도 2는 컴퓨팅 시스템(300)을 예시적으로 나타낸 블록도이다. 예시적인 구현예에서, 예시적인 컴퓨팅 시스템(300)은 본 명세서에 기재된 컴퓨터화된 구성 요소를 구현하는 용도로 적합하다. 개략적으로 살펴보면, 컴퓨팅 시스템(300)은 인스트럭션(instruction)에 따라 동작을 수행하기 위한 적어도 하나의 프로세서(310)와 인스트럭션 및 데이터를 저장하기 위한 하나 이상의 메모리 장치(360 또는 320)를 포함한다. 컴퓨팅 시스템(300)은 또한 다음 섹션에서 설명되는 바와 같이 적어도 하나의 GPU(370, Graphic Processing Unit)와 비디오 메모리(380)를 포함한다.
도 2를 참조하면, 도시된 예시적인 컴퓨팅 시스템(300)은 통신 시스템(340, e.g. 버스)을 통해 메모리(350)와 통신하는 하나 이상의 프로세서(310), 네트워크(미도시)에 연결하기 위한 네트워크 인터페이스 포트를 갖는 적어도 하나의 네트워크 인터페이스 컨트롤러(330) 및 입/출력(I/O) 컴포넌트(350)와 같은 다른 컴포넌트를 포함한다. 일반적으로, 프로세서(들)(310)는 메모리(360)로부터 수신한 인스트럭션(또는 컴퓨터 프로그램)을 실행할 것이다. 도시된 프로세서(310)는 캐시 메모리(320)를 포함하거나 직접적으로 연결된다. 경우에 따라, 캐시 메모리(320)는 메모리(360)로부터 인스트럭션을 읽어오고, 프로세서(310)는 캐시 메모리(320)로부터 상기 인스트럭션을 읽어와 실행하게 된다.
보다 자세하게는, 프로세서(들)(310)는 예를 들어 메모리(360) 또는 캐시 메모리(320)로부터 인출(fetch)된 인스트럭션을 처리하는 임의의 논리 회로일 수 있다. 많은 실시예에서, 프로세서(310)는 마이크로프로세서 유닛(microprocessor unit) 또는 특수한 목적의 프로세서이다. 컴퓨팅 시스템(300)은 여기에 설명된 바와 같이 동작할 수 있는 임의의 프로세서 또는 프로세서의 집합에 기초할 수 있다. 프로세서(들)(310)는 단일 코어 또는 멀티 코어 프로세서일 수 있다. 프로세서(들)(310)는 다수의 별개의 프로세서일 수 있다.
메모리(360)는 컴퓨터가 읽기 가능한 데이터를 저장하기에 적합한 임의의 장치일 수 있다. 메모리(360)는 고정식 저장 장치 또는 이동식 저장 매체를 읽기 위한 장치일 수 있다. 메모리(360)의 예로는 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치, 반도체 메모리 장치(e.g. EPROM, EEPROM, SDRAM 및 플래시 메모리 장치), 자기 디스크, 광자기 디스크 및 광 디스크(e.g. CD ROM, DVD -ROM 또는 블루레이 디스크)가 포함될 수 있다. 컴퓨팅 시스템(300)은 임의의 수의 메모리 장치(360)를 가질 수 있다.
캐시 메모리(320)는 일반적으로 빠른 접근 시간을 제공하기 위해 프로세서(들)(310)에 근접하여 배치 된 컴퓨터 메모리의 형태이다. 몇몇 실시예에서, 캐시 메모리(320)는 프로세서(들)(310)의 일부분이거나 프로세서(310)와 동일한 칩 상에 있을 수 있다. 몇몇 실시예에서, L2 및 L3 캐시 레이어와 같이 다중 레벨의 캐시(320)가 있을 수 있다.
네트워크 인터페이스 컨트롤러(330)는 네트워크 인터페이스(때때로 네트워크 인터페이스 포트로 명명됨)를 통한 데이터 교환을 관리한다. 네트워크 인터페이스 컨트롤러(330)는 네트워크 통신을 위해 OSI 모델의 물리 계층 및 데이터 링크 계층을 처리한다. 몇몇 실시예에서, 네트워크 인터페이스 컨트롤러(330)의 태스크 중 일부는 하나 이상의 프로세서(들)(310)에 의해 처리된다. 몇몇 실시예에서, 네트워크 인터페이스 컨트롤러(330)는 프로세서(310)의 일부일 수 있다. 몇몇 실시예에서, 컴퓨팅 시스템(300)은 단일 컨트롤러(330)에 의해 제어되는 다수의 네트워크 인터페이스를 갖는다. 몇몇 실시예에서, 컴퓨팅 시스템(300)은 다수의 네트워크 인터페이스 컨트롤러(330)를 갖는다. 몇몇 실시예에서, 각각의 네트워크 인터페이스는 물리적 네트워크 링크(e.g. cat-5 이더넷 링크)에 대한 연결점이다. 몇몇 실시예에서, 네트워크 인터페이스 컨트롤러(330)는 무선 네트워크 접속을 지원하고 네트워크 인터페이스 포트는 무선(e.g. 라디오) 송/수신기(e.g. IEEE 802.11 프로토콜, NFC(Near Field Communication), 블루투스(Bluetooth), ANT 또는 다른 무선 프로토콜 중 임의의 것에 대한)이다. 몇몇 실시예에서, 네트워크 인터페이스 컨트롤러(330)는 이더넷(Ethernet)과 같은 하나 이상의 네트워크 프로토콜을 구현한다. 일반적으로, 컴퓨팅 시스템(300)은 네트워크 인터페이스를 이용함으로써 물리적 또는 무선 링크를 통해 다른 컴퓨팅 장치와 데이터를 교환한다. 네트워크 인터페이스는 컴퓨팅 시스템 (300)을 직접 다른 장치와 연결시키거나 중계 장치를 통해 컴퓨팅 시스템 (300)을 다른 장치에 연결시킬 수 있다. 여기서, 상기 중계 장치는 예를 들어, 허브, 브리지, 스위치 또는 라우터와 같이 컴퓨팅 시스템(300)을 인터넷과 같은 데이터 네트워크에 연결시키는 네트워크 장치를 의미할 수 있다.
컴퓨팅 시스템(300)은 하나 이상의 입력 또는 출력(I/O) 장치를 포함하거나 그에 대한 인터페이스를 제공할 수 있다. 입력 장치에는 키보드, 마이크, 터치 스크린, 풋 페달, 센서, MIDI 장치 및 마우스 또는 트랙볼과 같은 포인팅 장치가 포함될 수 있으나, 이에 국한되는 것은 아니다. 출력 장치에는 비디오 디스플레이, 스피커, 재생 가능한 점자 단말기, 조명, MIDI 장치 및 2-D 또는 3-D 프린터가 포함될 수 있으나, 이에 국한되는 것은 아니다.
다른 구성 요소에는 I/O 인터페이스, 외부 직렬 장치 포트 및 추가적인 보조 프로세서(co-processor)가 포함될 수 있다. 예를 들어, 컴퓨팅 시스템(300)은 입력 장치, 출력 장치 또는 추가 메모리 장치(e.g. 휴대용 플래시 드라이브 또는 외부 미디어 드라이브)를 연결하기 위한 인터페이스(e.g. USB(Universal Serial Bus) 인터페이스)를 포함할 수 있다. 몇몇 실시예에서, 컴퓨팅 시스템(300)는 보조 프로세서와 같은 부가 장치를 포함할 수 있다. 예를 들어, 컴퓨팅 시스템(300)은 수치 동작 보조 프로세서를 포함할 수 있고, 상기 수치 동작 프로세서는 높은 정밀도 또는 복잡한 계산을 수행함으로써 프로세서(310)를 보조할 수 있다.
GPU(370)는 그래픽 가속기 칩, 프로세서, ASIC(Application Specific Integrated Circuit), 아날로그 회로, 디지털 회로, 가속기 카드 또는 이들의 조합일 수 있다. 일 실시예에서, GPU(370)는 nVidia, ATI 또는 Matrox에 의해 제조된 것과 같은 퍼스널 컴퓨터 그래픽 가속기 카드 또는 컴포넌트일 수 있다. GPU(370)는 3차원 텍스처 매핑(3D texture mapping)을 위한 API(Application Programming Interface)를 이용하는 것과 같이, 볼륨 렌더링(volume rendering) 프로세스를 가속화하기 위한 하드웨어 장치를 제공한다. 예를 들어, 그러한 API는 OpenGL 및 DirectX를 포함하지만, 다른 API는 GPU(370)와 독립적으로 이용되거나 GPU(370)와 함께 이용될 수 있다. nVidia GPU에 대한 예시적인 API는 http://docs.nvidia.com/cuda/#axzz40TIGVdNL에서 이용 가능한 "CUDA Toolkit Documentation v. 7.5"라는 제목의 웹 문서에 설명되어 있으며, 본 특허 출원에서 설명된 기능을 수행하도록 GPU를 구성하는 방법에 대한 자세한 내용은 본 명세서에 참조로 포함된다. 몇몇 실시예에서, API 또는 상기 API를 제어하는 애플리케이션(application)에 기초하여, GPU(370)는 컴퓨터 그래픽에 대한 변형(transformation), 투영(projection) 및 매핑(e.g. 구체 투영(spherical projection) 및 좌표계 변환)을 수행하도록 동작할 수 있다.
비디오 메모리(380)는 VRAM(Video Random Access Memory), RAM(Random Access Memory), RAM 드라이브 또는 RAM 디스크, 또는 데이터 또는 비디오 정보를 저장하기 위한 다른 메모리 장치를 포함한다. 일 실시예에서, 비디오 메모리(380)는 GPU(370)에 대한 VRAM이다. GPU(370) 용 드라이버 또는 메모리 드라이버는 비디오 메모리(380)에 의한 데이터 저장을 제어한다. 비디오 메모리(380)는 데이터를 저장, 전송 및 인출하기 위해 드라이버에 응답한다. 비디오 메모리(380)는 데이터의 서브셋(subset) 또는 블록을 저장하도록 동작할 수 있다.
도 3은 VR 비디오 스트리밍 시스템을 예시적으로 나타내는 블록도이다. 도 3을 참조하면, 몇몇 실시예에서, VR 비디오 스트리밍 시스템(100)은 제1 프로세서(101), 제1 메모리(110), GPU(102) 및 제2 메모리(150)를 포함한다. 또한, 제2 메모리(150)는 예를 들어 디코딩 된 프레임 버퍼(160), 제1 프레임 버퍼(161), 제2 프레임 버퍼(162) 및 인코딩 된 프레임 버퍼(164) 등의 복수의 프레임 버퍼를 포함한다. 몇몇 실시예에서, 제1 프로세서(101)는 도 2에 도시된 프로세서(310)와 유사한 구성을 갖는다. 몇몇 실시예에서, GPU(102)는 도 2의 GPU(370)와 유사한 구성을 갖는다. 몇몇 실시예에서, 제1 메모리(110)는 도 2에 도시된 메모리(360)와 유사한 구성을 갖는다. 몇몇 실시예에서, 제2 메모리(150)는 도 2에 도시된 비디오 메모리(380)와 유사한 구성을 갖는다. 몇몇 실시예에서, VR 비디오 스트리밍 시스템(100)은 제1 메모리(110) 또는 제2 메모리(150)에 상주 할 수 있는 소스 비디오 메모리(115, source video memory)를 포함한다.
도 3을 참조하면, 몇몇 실시예에서, 비디오 서버(120)는 제1 프로세서(101) 또는 GPU(102)에 의해 실행되거나 구현될 수 있다. 예를 들어, 비디오 서버(120)는 제1 프로세서(101)를 통해 소스 비디오 데이터(e.g. 비디오 서버(120)의 로컬에 저장된 비디오 파일 또는 VR 콘텐츠 서버(750)로부터 스트리밍 된 비디오 데이터)를 얻어오도록 구성될 수 있다. 몇몇 실시예에서, 상기 소스 비디오 데이터는 다수의 구체 이미지 프레임 데이터(e.g. 360도 4K UHD 프레임 데이터)를 포함한다. 몇몇 실시예에서, 비디오 서버(120)는 상기 소스 비디오 데이터를 소스 비디오 메모리(115)에 저장할 수 있다.
몇몇 실시예에서, 비디오 서버(120)는 GPU(102)에 의해 실행되거나 구현될 수 있는 파서(121, parser), 디코더(122, decoder), 후처리기(123, post-processor) 및 인코더(124, encoder)를 포함할 수 있다. 몇몇 실시예에서, 파서(121)는 GPU(102)를 통해 소스 비디오 메모리(115)에 저장된 소스 비디오 데이터를 파싱하고, 상기 소스 비디오 데이터로부터 상이한 구체 이미지 프레임을 식별한다. 몇몇 실시예에서, 디코더(122)는 GPU(102)를 통해 파싱 된 구체 이미지 프레임을 디코딩하고, 디코딩 된 구체 이미지 프레임을 디코딩 된 프레임 버퍼(160)에 저장한다. 몇몇 실시예에서, 디코더(122) 및 인코더(124)는 H.264, H.265/HEVC(High Efficiency Video Coding)와 같은 산업 표준(industrial standard)의 압축/압축해제 기술을 이용할 수 있다. 몇몇 실시예에서, 디코더(122)는 제1 구체 이미지 프레임 데이터를 디코딩하고 디코딩 된 데이터를 디코딩 된 프레임 버퍼(160)에 저장한다. 예시적인 디코더는 2015년 11월 "NVIDIA VIDEO DECODER(NVCUVID) INTERFACE Programming Guide "라는 제목의 문서에 설명되어 있으며, 본 특허 출원에서 설명된 디코딩 기능을 달성하기 위해 디코더를 구성하는 방법에 대한 자세한 내용은 본 명세서에 참조로 포함된다. 몇몇 실시예에서, 후처리기(123)는 컬러 포맷 변환(color format conversion)을 수행한다. 예를 들어, 후처리기(123)는 디코딩 된 프레임 버퍼(160)에 저장된 프레임 데이터를 휘도(luminance)/색차(chrominance) 포맷에서 ARGB(Alpha Red Green Blue) 컬러 포맷으로 변환할 수 있다. 몇몇 실시예에서, 후처리기(123)는 컬러 포맷 변환된 프레임 데이터를 제1 프레임 버퍼(161)에 저장한다. 몇몇 실시예에서, 후처리기(123)는 GPU(102)를 통해 구체-이퀴렉탱귤러 변환 (e.g. 구체/이퀴렉탱귤러 투영 또는 매핑 방법 이용)을 수행한다. 예시적인 구체/이퀴렉탱귤러 투영은 Paul Bourke에 의해 작성된 "Transformations and projections"이라는 제목의 문서에 설명되어 있으며, 본 특허 출원에서 설명된 투영, 전환 및 매핑 방법에 대한 자세한 내용은 본 명세서에 참조로 포함된다. 몇몇 실시예에서, 제1 구체 이미지 프레임 데이터가 제1 프레임 버퍼(161)에 저장되는 것에 응답하여, 후처리기(123)는 GPU(102)를 통해 제1 구체 이미지 프레임 데이터를 제1 이퀴렉탱귤러 이미지 프레임 데이터로 변환한다. 예를 들어, 후처리기(123)는 GPU(102)를 통해 360도 4K UHD 이미지 프레임 데이터를 보정되거나(corrected) 왜곡(undistorted)되지 않은 이퀴렉탱귤러 이미지 프레임 데이터로 변환한다. 몇몇 실시예에서, 후처리기(123)는 GPU(102)를 통해 제1 구체 이미지 프레임 데이터(e.g. 360도 4K UHD 이미지 프레임 데이터)를 제1 구체 이미지 프레임 데이터가 나타내는 구체 이미지의 일부분에 대응되는 제1 이퀴렉탱귤러 이미지 프레임 데이터(e.g. 클라이언트 단말에서 사용자의 현재 FOV에 대응되는 360도 4K UHD 이미지 프레임 데이터의 일부분)로 변환한다. 도 4는 구체 프레임 이미지(301)와 현재 FOV에 대응되는 및 구체 프레임 이미지(301)의 일부분(302)을 예시적으로 도시한다.
또한 몇몇 실시예에서, 후처리기(123)는 GPU(102)를 통해 증강 현실(Augmented Reality; AR)을 위한 이미지 처리를 수행한다. 예를 들어, 후처리기(123)는 변환된 제1 이퀴렉탱귤러 이미지 프레임을 그래픽 콘텐츠(e.g. 도로 이미지를 차량 이미지와 블렌딩) 또는 텍스트/그래픽 정보(e.g. 거리 이미지를 상점 이미지와 블렌딩)와 함께 블렌딩(blending)할 수 있다. 몇몇 실시예에서, 후처리 동작(e.g. 구체-이퀴렉탱귤러 변환) 완료에 응답하여, 후처리기(123)는 후처리 된 프레임 데이터를 제2 프레임 버퍼(162)에 저장한다. 몇몇 실시예에서, 인코더(124)는 GPU(102)를 통해 제2 프레임 버퍼(162)에 저장된 상기 후처리 된 프레임 데이터를 인코딩 하고, 인코딩 된 프레임 데이터를 인코딩 된 프레임 버퍼(164)에 저장한다. 예시적인 인코더는 "NVIDIA VIDEO ENCODER(NVENC) INTERFACE Programming Guide"라는 제목의 문서에 설명되어 있으며, 본 특허 출원에서 설명된 상기 인코딩 기능을 달성하기 위해서 인코더를 구성하는 방법에 대한 자세한 내용은 본 명세서에 참조로 포함된다. 몇몇 실시예에서, 파서(121), 디코더(122), 후처리기(123) 및 인코더(124)는 VR 비디오 스트리밍 시스템(100)의 GPU(102)에 의해 실행된다. 몇몇 실시예에서, 파서(121), 디코더(122), 후처리기(123) 및 인코더(124)의 일부 동작은 제1 프로세서(101)에 의해 실행되고, 다른 동작은 GPU(102)에 의해 실행된다.
도 3을 참조하면, 몇몇 실시예에서, VR 비디오 스트리밍 시스템(100)은 통신 서버(130)를 포함한다. 또한, 통신 서버(130)는 제1 프로세서(101) 또는 GPU(102) 중 적어도 하나에 의해 실행되거나 구현될 수 있다. 몇몇 실시예에서, 통신 서버(130)는 제1 프로세서(101)를 통해 클라이언트 단말(e.g. 클라이언트 단말(200A))과 연결을 설정한다. 몇몇 실시예에서, 상기 설정된 연결은 예를 들어 웹 소켓 프로토콜과 같이 전이중 채널 프로토콜(full-duplex channel protocol)을 이용한다. 그렇게 함으로써, 많은 양의 프로토콜 헤더(e.g. http 헤더)를 통신하지 않고 약간의 프레임(e.g. 웹 소켓 프레임)을 이용하여 연결이 설정될 수 있기 때문에 지연 시간이 감소될 수 있다. 몇몇 실시예에서, 통신 서버(130)는 후처리기(123)에 의해 변환된 제1 이퀴렉탱귤러 이미지 프레임 데이터에 대응되는 제1 FOV에 관한 제1 정보를 클라이언트 단말로 전송할 수 있다. 몇몇 실시예에서, 통신 서버(130)는 상기 클라이언트 단말로부터 제2 FOV(e.g. 상기 클라이언트 단말의 사용자의 현재 FOV)에 관한 제2 정보를 수신할 수 있다. 몇몇 실시예에서, 클라이언트 단말(200A) 및 VR 비디오 스트리밍 시스템(100) 양쪽 모두에서, 초기 FOV는 디폴트로 사용자가 현재 보고 있는 이미지 프레임의 중심에서 일직선으로 오른쪽을 향하는 각도로 설정될 수 있다. 몇몇 실시예에서, FOV에 관한 정보는 피치각 및 방위각을 가리키는 시야각 정보를 포함한다. 몇몇 실시예에서, 클라이언트 단말의 요청에 따라(e.g. 웹 소켓 프로토콜을 통해), 통신 서버(130)는 제1 프로세서(101)를 통해 상기 사용자의 현재 FOV를 비동기적으로 업데이트할 수 있다. 또한, 상기 업데이트는 GPU(102)가 비디오 서버(120)의 동작(e.g. 파서(121), 디코더(122), 후처리기(123) 및 인코더(124)에 의해 수행되는 동작)을 처리하는 동안 수행될 수 있다. 몇몇 실시예에서, 비동기적으로 업데이트 된 FOV는 도 4 내지 도 6를 참조하여 후술되는 바와 같이 인코딩 지연 시간을 줄이기 위해 활용될 수 있다. 예를 들어, 비디오 서버(120)는 GPU(102)를 통해 구체 이미지 프레임 데이터를 상기 구체 이미지 프레임 데이터가 나타내는 구체 이미지에서 비동기적으로 업데이트 된 FOV에 대응되는 이퀴렉탱귤러 구체 이미지 프레임 데이터로 즉시 변환함으로써 인코딩 지연 시간을 감소시킬 수 있다. 몇몇 실시예에서, 클라이언트 단말은 통신 서버(130)와 안정적인 연결 방법(e.g. jetty 기반의 웹 소켓 프로토콜)을 이용하여 상기 클라이언트 단말의 사용자의 현재 시야각에 대해 통신 서버를 업데이트할 수 있다. 그렇게 함으로써 일정한 연결 상태를 제공할 수 있고, 보안 오버 헤드 및 지연 시간을 감소시킬 수다.
몇몇 실시예에서, 클라이언트 단말은 특정한 VR 이미지/비디오 데이터를 통신 서버(130)로 요청할 수 있다. 예를 들어, 클라이언트 단말은 웹 소켓 프로토콜을 통해 통신 서버(130)에 VR 이미지 요청을 전송할 수 있다. 몇몇 실시예에서, 이러한 클라이언트 단말의 요청에 따라, 통신 서버(130)는 제1 프로세서(101)를 통해 상기 요청에 대응되는 소스 비디오 데이터(e.g. 로컬 파일에 저장되거나 VR 콘텐츠 서버(750)에 의해 스트리밍 된 소스 비디오 데이터)를 인출하고, GPU(102)에게 상기 대응되는 소스 비디오 데이터를 제공할 수 있다. GPU(102)는 상기 대응되는 소스 비디오 데이터에 대하여 상술한 디코딩/후처리/인코딩 동작을 수행할 수 있다. 몇몇 실시예에서, 통신 서버(130)는 VR 비디오 스트리밍 시스템(100)의 서비스를 관리하기 위한 용도로 웹 서비스를 제공 할 수 있다(e.g. 상기 서비스에 대한 사용자 로그인 및 인증서(credential) 검사 관리, 사용자 계정/프로파일 관리 및 사용자가 시청할 비디오 콘텐츠를 선택할 수 있도록 하기 위한 VR 비디오 콘텐츠 리스팅).
도 3을 참조하면, VR 비디오 스트리밍 시스템(100)은 스트리밍 서버(140)를 포함할 수 있다. 또한, 스트리밍 서버(140)는 제1 프로세서(101) 또는 GPU(102) 중 적어도 하나에 의해 실행되거나 구현될 수 있다. 몇몇 실시예에서, 스트리밍 서버(140)는 제1 프로세서(101)를 통해 클라이언트 단말(e.g. 클라이언트 단말(200A))과 제1 연결을 설정한다. 몇몇 실시예에서. 스트리밍 서버(140)는 상기 클라이언트 단말의 사용자에게 비디오 데이터를 적시에 전달하기 위해 RTSP(Real Time Streaming Protocol)를 이용한다. 몇몇 실시예에서, 스트리밍 서버(140)는 인코딩 된 프레임 버퍼(164)로부터 인코딩 된 제1 이퀴렉탱귤러 이미지 프레임 데이터를 읽어오고, 상기 인코딩 된 제1 이퀴렉탱귤러 이미지 프레임 데이터를 제1 연결을 통해 클라이언트 단말(200A)로 스트리밍 한다. 몇몇 실시예에서, 비디오 서버(120)와 스트리밍 서버(140)는 별개의 프로세스로서 실행된다. 몇몇 실시예에서, 통신 서버(130) 스트리밍 서버(140)는 단일 프로세스로서 실행되도록 구성될 수 있다. 몇몇 실시예에서, 통신 서버(130)는 웹 소켓 프로토콜을 통해 클라이언트 단말과 직접적으로 인터랙션 하고 비디오 서버(120)와 동일한 물리적 서버 상에서 실행된다. 그렇게 함으로써 피드백 및 통신 지연 시간이 감소될 수 있다. 몇몇 실시예에서, 스트리밍 서버(140)와 통신 서버(130)(통칭하여 "스트리머"(180))는 동일한 단일 프로세스로 실행되는 반면, 비디오 서버(120)는 스트리머(180)에 의해 시작되고 관리될 수 있는 별도의 프로세스로 실행된다. 이러한 이중 프로세스 구성은 네트워크 응답성(지연 감소에 의해) 및 시스템 안정성을 향상시킬 수 있다. 몇몇 실시예에서, 스트리밍 서버(140)와 비디오 서버(120)는 RAM 드라이브 또는 RAM 디스크를 통해 비디오 스트림 데이터(최종적으로 클라이언트 단말에 제공되는)를 공유할 수 있다. 이러한 RAM 드라이브 또는 RAM 디스크는 실제 데이터가 시스템 RAM에 있는 동안 파일로 액세스 될 수 있으므로 하드웨어 I/O 오버 헤드 및 지연 시간이 제거된다.
도 5는 본 발명의 몇몇 실시예에 따른 VR 비디오 스트리밍 시스템(100)의 FOV 기반 후처리 방법(400)의 동작을 도시하는 흐름도이다. 개략적으로 살펴보면, FOV 기반 후처리 방법(400)은 단계(410)에서 시작하며, 여기서 비디오 서버의 GPU(e.g.도 3의 GPU(102))는 제1 구체 이미지 프레임 데이터를 생성하기 위해 소스 비디오를 파싱하고 디코딩 할 수 있다. 단계(420)에서, GPU(102)는 상기 비디오의 제1 구체 이미지 프레임을 나타내는 제1 구체 이미지 프레임 데이터를 제1 프레임 버퍼 메모리(e.g. 제1 프레임 버퍼(161))에 저장할 수 있다. 단계(440)에서, 비디오 서버의 제1 프로세서(e.g. 도 3의 프로세서(101))는 클라이언트 단말로부터 제1 FOV에 관한 제1 정보를 수신할 수 있다. 단계(450)에서, 비디오 서버의 GPU(102)는 제1 프레임 버퍼 메모리에 저장된 구체 이미지 프레임 데이터를 제1 구체 이미지 프레임의 제1 FOV에 대응되는 이퀴렉탱귤러 이미지 프레임 데이터로 변환할 수 있다. 단계(460)에서, 비디오 서버의 GPU(102)는 스트리밍 서버(e.g. 도 3의 스트리밍 서버(140))가 제1 FOV에 대응되는 인코딩 된 이퀴렉탱귤러 이미지 프레임 데이터만을 클라이언트 단말로 스트리밍 할 수 있도록 상기 변환된 이퀴렉탱귤러 이미지 프레임 데이터를 인코딩 할 수 있다. 또한, 상기 인코딩에 따라 인코딩 된 이미지 프레임 데이터가 생성된다. 도 5에 도시된 흐름도는 도 7 내지 도 9를 참조하여 보다 상세하게 설명하도록 한다.
도 7, 도 8 및 도 9는 예시적인 VR 비디오 스트리밍 시스템에서 수행되는 FOV 기반 후처리 방법을 예시적으로 나타낸 블록도이다. 도 7은 연속적인 비디오 프레임(e.g. 프레임 #N, 프레임 #N+1, 및 프레임 #N+2)에 대한 GPU 처리의 타이밍을 예시적으로 도시한다. 일반적인 비디오 파일의 FPS는 대개 초당 24, 25, 29 또는 30 프레임이다. 예를 들어, 도 7에 도시된 바와 같이, 30FPS 비디오 파일의 경우, 각 프레임의 인코딩 완료 사이의 시간 간격은 33ms 일 수 있고, 디코더로부터 프레임 #N의 타임 스탬프(time stamp)는 N * 33ms 일 수 있고, 프레임 #N+1의 타임 스탬프는(N+1) * 33ms 등이 될 수 있다. 다시 말해서, 도 7을 참조하면, 프레임 #N(501)과 프레임 #N+1(502)의 디코딩/후처리/인코딩의 완료 사이의 시간 간격은 33ms 이고, 프레임 #N+1(502)과 프레임 #N+2(503)의 디코딩/후처리/인코딩의 완료 사이의 시간 간격도 33ms 이다. 따라서, 본 예에서, 각 프레임은 1 초당 30 프레임을 생성(및 스트림)하기 위해 33ms 마다 인코딩 된다.
도 8은 프레임 #N을 후처리 하기 전에 클라이언트 단말로부터 FOV 변경 입력(e.g. 방위각 및 피치각)이 수신되는 경우에 FOV 기반의 후처리 방법이 수행되는 예를 도시한다. 도 8을 참조하면, 예를 들어, GPU가 프레임 #N을 디코딩(511)/후처리(513)/인코딩(514) 하고, 이어서 프레임 #N+1을 디코딩(515)/후처리(516)/인코딩(518) 한다. 몇몇 실시예에서, VR 비디오 스트리밍 시스템(100)의 프로세서(e.g. 도 3의 프로세서(101))가 프레임 #N을 후처리(513) 하기 전에 상기 클라이언트 단말로부터(제1 FOV에 관한) 제1 FOV 변경 입력 V1(512)을 수신하면, 상기 GPU는 프레임#N+1를 후처리(516) 하는 동안 제1 FOV 변경 입력 V1을 반영(517)할 수 있다. 몇몇 실시예에서, 상기 GPU는 프레임 #N+1과 연관된 구체 이미지 데이터를 상기 프레임 #N+1의 구체 이미지 프레임 데이터가 나타내는 구체 이미지 프레임의 제1 FOV에 대응되는 이퀴렉탱귤러 이미지 프레임 데이터로 변환함으로써 제1 FOV 변경 입력 V1을 반영할 수 있다. 본 예에서, 프레임 #N의 인코딩 완료와 프레임 # N+1의 인코딩 완료 사이의 시간 간격은 33ms로 유지될 수 있다.
도 9는 프레임 #N의 후처리 동안 클라이언트 단말로부터의 FOV 변경 입력(e.g. 변경된 방위각 및 피치각)이 수신되는 경우에 FOV 기반 후처리 방법이 수행되는 다른 예를 도시한다. 도 9를 참조하면, 예를 들어, GPU는 프레임 #N을 디코딩(521)/후처리(523)/인코딩(524) 하고, 이어서 프레임 #N+1을 디코딩(525)/후처리(526)/디코딩(528) 한다. 몇몇 실시예에서, VR 비디오 스트리밍 시스템(100)의 프로세서가 상기 프레임 #N의 후처리(523) 후에 클라이언트 단말로부터(제2 FOV에 관한) 제2 FOV 변경 입력 V2를 수신(522)하면, 상기 GPU는 상기 프레임 #N+1을 후처리(526) 하는 동안 제2 FOV 변경 입력 V2를 반영(527)한다. 몇몇 실시예에서, 상기 GPU는 프레임 #N+1과 연관된 구체 이미지 데이터를 상기 프레임 #N+1의 구체 이미지 프레임 데이터가 나타내는 구체 이미지 프레임의 제2 FOV에 대응되는 이퀴렉탱귤러 이미지 프레임 데이터로 변환함으로써 제2 FOV 변경 입력 V2를 반영할 수 있다. 본 예에서, 프레임 #N의 인코딩 완료와 프레임 # N+1의 인코딩 완료 사이의 시간 간격은 33ms로 유지될 수 있다.
이제, 도 5에 도시된 흐름도를 도 7 내지 도 9를 참조하여 보다 상세하게 설명한다. 단계(410)에서, 비디오 서버(e.g. 도 3에 도시된 비디오 서버(120))의 GPU(e.g.도 3에 도시된 GPU(102))는 제1 구체 이미지 프레임 데이터를 생성하기 위해 소스 비디오를 파싱하고 디코딩 할 수 있다. 예를 들어, 도 8을 참조하면, 상기 GPU가 프레임 #N에 대한 구체 이미지 프레임 데이터를 생성하기 위해 프레임 #N을 파싱 및 디코딩(511) 한다.
단계(420)에서, 비디오 서버의 상기 GPU는 상기 소스 비디오의 제1 구체 이미지 프레임을 나타내는 제1 구체 이미지 프레임 데이터를 제1 프레임 버퍼 메모리(e.g. 도 3에 도시된 제1 프레임 버퍼(161))에 저장할 수 있다. 몇몇 실시예에서, 다음으로 상기 GPU는 제1 프레임 버퍼(161)에서 제1 구체 이미지 프레임 데이터를 읽어오고 제1 구체 이미지 프레임 데이터를 후처리 한다. 예를 들어, 도 8을 참조하면, 상기 GPU는 제1 프레임 버퍼(161)에서 프레임 #N에 대한 구체 이미지 프레임 데이터를 읽어오고 프레임 #N에 대한 제1 구체 이미지 프레임 데이터를 후처리(513) 한다. 유사하게, 도 9를 참조하면, 상기 GPU는 제1 프레임 버퍼(161)로부터 프레임 #N에 대한 구체 이미지 프레임 데이터를 읽어오고, 프레임 #N에 대한 제1 구체 이미지 프레임 데이터를 후처리(523) 한다.
단계(440)에서, 비디오 서버의 제1 프로세서(101)는 클라이언트 단말(e.g. 도 1 및 도 3에 도시된 클라이언트 단말(200A))로부터 제1 FOV에 관한 제1 정보를 수신할 수 있다. 예를 들어, 도 8을 참조하면, 제1 프로세서는 프레임 #N를 후처리(513) 하기 이전에 제1 FOV 변경 입력 V1(512)을 클라이언트 단말로부터 수신한다. 유사하게, 도 9를 참조하면, 제1 프로세서(101)는 상기 클라이언트 단말로부터 프레임 #N을 후처리(523) 하는 동안 또는 후에 제2 FOV 변경 입력 V2(522)를 수신한다. 몇몇 실시예에서, 상기 클라이언트 단말은 방위각 및 피치각을 가리키는 시야각 데이터를 포함하는 FOV 변경 입력을 VR 비디오 스트리밍 시스템(e.g. 도 1 및 도 3에 도시된 VR 비디오 스트리밍 시스템(100))으로 전송한다.
단계(450)에서, 비디오 서버의 GPU(102)는 제1 프레임 버퍼 메모리에 저장된 구체 이미지 프레임 데이터를 상기 구체 이미지 프레임 데이터가 나타내는 제1 구체 이미지 프레임의 제1 FOV에 대응되는 이퀴렉탱귤러 이미지 프레임 데이터로 변환할 수 있다. 예를 들어, 도 8을 참조하면, 비디오 서버의 상기 GPU는 (후처리(516) 동안) 프레임 #N+1의 구체 이미지 프레임 데이터를 제1 변경 입력 FOV V1에 대응되는 프레임 #N+1의 이퀴렉탱귤러 이미지 프레임 데이터로 변환한다(제1 FOV 변경 입력 V1이 프레임 #N+1에 대한 구체 이미지 프레임 데이터에 반영되기 위해). 유사하게, 도 9를 참조하면, 비디오 서버의 상기 GPU는 (후처리(526) 동안) 프레임 #N+1의 상기 구체 이미지 프레임 데이터를 제2 FOV V2에 대응되는 프레임 #N+1의 이퀴렉탱귤러 이미지 프레임 데이터로 변환한다(제2 FOV 변경 입력 V2가 프레임 #N+1에 대한 구체 이미지 프레임 데이터에 반영되기 위해). 인코딩 지연 시간을 줄이기 위한 단계(450)의 변형된 동작은 도 6 및 도 10 내지 도 12를 참조하여 보다 상세하게 후술하도록 한다.
단계(460)에서, 비디오 서버의 GPU(102)는 스트리밍 서버가 제1 FOV에 대응되는 인코딩 된 이퀴렉탱귤러 이미지 프레임 데이터만을 클라이언트 단말로 스트리밍 할 수 있도록 변환된 이퀴렉탱귤러 이미지 프레임 데이터를 인코딩하여 인코딩 된 이미지 프레임 데이터를 생성할 수 있다. 예를 들어, 도 8을 참조하면, 비디오 서버의 상기 GPU는 프레임 #N+1에 대한 변환된 이퀴렉탱귤러 이미지 프레임 데이터를 인코딩(518) 하여 프레임 #N+1에 대한 인코딩 된 이미지 프레임 데이터를 생성한다. 유사하게, 도 9를 참조하면, 비디오 서버의 상기 GPU는 프레임 #N+1에 대한 변환된 이퀴렉탱귤러 이미지 프레임 데이터를 인코딩(528) 하여 프레임 #N+1에 대한 인코딩 된 이미지 프레임 데이터를 생성한다.
도 6은 본 발명의 몇몇 실시예에 따라, VR 비디오 스트리밍 시스템(100)이 수행하는 FOV 기반 후처리 방법(e.g. 인코딩 지연 시간을 줄이기 위해 도 6에 도시된 단계(450)의 변형된 동작)의 동작을 도시하는 흐름도이다. 개략적으로 살펴보면, 방법(450)은 단계(451)에서 시작하며, 여기서 비디오 서버(120)는 GPU(102)가 제1 구체 이미지 프레임 데이터를 제1 이퀴렉탱귤러 이미지 프레임 데이터로 변환을 시작하기 전에 클라이언트 단말로부터 제1 FOV에 관한 제1 정보가 수신되었는지 여부를 판정할 수 있다. 단계(452)에서, 상기 GPU가 제1 구체 이미지 프레임 데이터를 제1 이퀴렉탱귤러 이미지 프레임 데이터로 변환을 시작하기 전에, 클라이언트 단말로부터 제1 FOV 정보가 수신되었다는 판정에 응답하여, 상기 GPU는 제1 구체 이미지 프레임 데이터를 제1 구체 이미지 프레임 데이터가 나타내는 제1 구체 이미지 프레임의 제1 FOV에 대응되는 제1 이퀴렉탱귤러 이미지 프레임 데이터로 변환할 수 있다. 단계(453)에서, 상기 GPU가 제1 구체 이미지 프레임 데이터를 제1 이퀴렉탱귤러 이미지 프레임 데이터로 변환하는 동작을 시작한 후에 제1 FOV에 관한 제1 정보가 수신되었다는 판정에 응답하여, 비디오 서버(120)는 상기 GPU가 제2 구체 이미지 프레임 데이터(e.g. 제1 구체 이미지 프레임 데이터에 후속하는 구체 이미지 프레임 데이터)를 제1 프레임 버퍼 메모리에 저장하기 전에 제1 FOV 정보가 수신되었는지 여부를 더 판정할 수 있다. 단계(454)에서, 상기 GPU가 제2 구체 이미지 프레임 데이터를 제1 프레임 버퍼 메모리에 저장하기 전에 제1 FOV 정보가 수신되었다는 판정에 응답하여, 상기 GPU는 제1 프레임 버퍼 메모리에 저장된 제1 구체 이미지 프레임 데이터를 제1 구체 이미지 프레임 데이터가 나타내는 제1 구체 이미지 프레임의 제1 FOV에 대응되는 이퀴렉탱귤러 이미지 프레임 데이터로 변환하고, 변환된 이퀴렉탱귤러 이미지 프레임 데이터를 인코딩하여 제2 이퀴렉탱귤러 이미지 프레임 데이터를 생성한다. 단계(455)에서, 상기 GPU는 제1 프레임 버퍼 메모리에 저장된 제2 구체 이미지 프레임 데이터의 변환 및 인코딩을 생략할 수 있다. 도 6에 도시된 흐름도는 도 10 내지 도 12를 참조하여 보다 상세하게 설명하도록 한다.
도 10, 도 11 및 도 12는 예시적인 VR 비디오 스트리밍 시스템에서 인코딩 지연 시간을 감소하기 위해 수행되는 FOV 기반 후처리 방법을 예시적으로 나타낸 블록도이다. 도 10을 참조하면, 예를 들어, GPU가 프레임 #N을 디코딩(601)/프레임 #N에 대한 구체 이미지 프레임 데이터를 이퀴렉탱귤러 이미지 프레임 데이터로 변환(604)/프레임 #N을 인코딩(606) 하고, 이어서 프레임 #N+1을 디코딩(607) 등을 한다. 몇몇 실시예에서, 비디오 스트리밍 시스템(100)의 프로세서(e.g. 도 3에 도시된 프로세서(101))가 프레임 #N의 변환(604) 이전에 클라이언트 단말로부터 제3 FOV 변경 입력 V3(602)을 수신하면, 상기 GPU는 프레임 #N을 변환(604)하는 동안 제3 FOV 변경 입력 V3를 반영할 수 있다.몇몇 실시예에서, 상기 GPU는 프레임 #N에 연관된 구체 이미지 프레임 데이터를 프레임 #N의 구체 이미지 프레임 데이터가 나타내는 구체 이미지 프레임의 제3 FOV에 대응되는 이퀴렉탱귤러 이미지 프레임 데이터로 변환함으로써 제3 FOV 변경 입력 V3을 반영(605)할 수 있다.
도 11을 참조하면, 예를 들어 GPU는 프레임 #N을 디코딩(610)/프레임 #N의 구체 이미지 프레임 데이터를 이퀴렉탱귤러 프레임 데이터로 변환(612)/프레임 #N을 인코딩(615) 하고, 이어서 프레임 #N+1을 디코딩(617) 한다. 몇몇 실시예에서, 비디오 스트리밍 시스템(100)의 프로세서가 프레임 #N을 변환(612)하는 동안 또는 후에 상기 클라이언트 단말로부터 (제4 FOV에 관한) 제4 FOV 변경 입력 V4을 수신하면(613), 상기 GPU는 프레임 #N+1에 대한 변환(614) 및 인코딩(616) 단계에서 제4 FOV 변경 입력을 반영(614')할 수 있다. 몇몇 실시예에서, 프레임 #N+1에 대한 디코딩(617)이 완료될 때까지 기다리는 대신에, 상기 GPU는 제1 프레임 버퍼(161)에 저장된 프레임 #N을 이용하여 즉각적으로 프레임 #N에 대한 구체 이미지 프레임 데이터를 상기 프레임 #N에 대한 구체 이미지 프레임 데이터가 나타내는 구체 이미지 프레임의 제4 FOV에 대응되는 이퀴렉탱귤러 프레임 데이터로 변환할 수 있다(614). 이어서, 상기 GPU는 인코딩 된 프레임 #N+1에 대해 상기 변환된 이퀴렉탱귤러 이미지를 인코딩(616) 할 수 있다. 또한, 프레임 #N+1의 디코딩(617)이 완료된 후, 상기 GPU는 프레임 #N+1의 추가 처리(e.g. 프레임 #N+1의 변환 및 인코딩)를 생략(e.g. 수행하지 않는 것)할 수 있다(619). 왜냐하면, 상기 인코딩 된 프레임 #N+1이 이미 다른 변환(614) 및 인코딩(616) 동작으로부터 이용 가능하기(이용 가능할 예정이기) 때문이다. 이러한 방식으로, 프레임 #N의 인코딩 완료와 프레임 #N+1의 인코딩 완료 사이의 시간 간격은 33ms 미만의 랜덤 시간일 수 있어서, 프레임을 인코딩 하는데 소요되는 시간을 감소시킬 수 있다.
도 12를 참조하면, 예를 들어 GPU는 프레임 #N을 디코딩(620)/프레임 #N의 구체 이미지 프레임 데이터를 이퀴렉탱귤러 프레임 데이터로 변환(622)/프레임 #N을 인코딩(623) 하고, 이어서 프레임 #N+1을 디코딩(624) 한다. 몇몇 실시예에서, 비디오 스트리밍 시스템(100)의 프로세서가 프레임 #N+1을 디코딩(624) 하는 동안 또는 후에 상기 클라이언트 단말로부터 (제5 FOV에 관한) 제5 FOV 변경 입력 V5을 수신하면(625), 상기 GPU는 프레임 #N+1에 대한 변환(626) 및 인코딩(628) 단계에서 제5 FOV 변경 입력을 반영(627)할 수 있다. 몇몇 실시예에서, 프레임 #N+1에 대한 디코딩(624)이 완료될 때까지 기다리는 대신에, 상기 GPU는 제1 프레임 버퍼(161)에 저장된 프레임 #N을 이용하여 즉각적으로 프레임 #N에 대한 상기 구체 이미지 프레임 데이터를 상기 프레임 #N의 구체 이미지 프레임 데이터가 나타내는 구체 이미지 프레임의 제5 FOV에 대응되는 이퀴렉탱귤러 프레임 데이터로 변환할 수 있다(626). 이어서, 상기 GPU는 인코딩 된 프레임 #N+1에 대해 상기 변환된 이퀴렉탱귤러 이미지를 인코딩(628) 할 수 있다. 또한, 프레임 #N+1의 디코딩(624)이 완료된 후, 상기 GPU는 프레임 #N+1의 추가 처리(e.g. 프레임 #N+1의 변환 및 인코딩)를 생략(e.g. 수행하지 않는 것)할 수 있다(630). 왜냐하면, 인코딩 된 프레임 #N+1이 이미 다른 변환(626) 및 인코딩(628) 동작으로부터 이용 가능하기(이용 가능할 예정이기) 때문이다. 이러한 방식으로, 프레임 #N의 인코딩 완료와 프레임 #N+1의 인코딩 완료 사이의 시간 간격은 33ms 미만의 랜덤 시간일 수 있어서, 프레임을 인코딩 하는데 소요되는 시간을 감소시킬 수 있다.
이제, 도 10 내지 도 12를 참조하여 도 6에 도시된 흐름도를 보다 상세하게 설명한다. 도 6을 참조하면, 단계(451)에서, 제1 프로세서(101) 또는 GPU(102)는 상기 GPU가 제1 구체 이미지 프레임 데이터를 제1 이퀴렉탱귤러 이미지 프레임 데이터로 변환을 시작하기 전에 클라이언트 단말로부터 제1 FOV에 관한 제1 정보가 수신되었는지 여부를 판정할 수 있다. 예를 들어, 도 10을 참조하면, 제1 프로세서(101) 또는 GPU(102)는 GPU(102)가 프레임 #N의 구체 이미지 프레임 데이터를 프레임 #N의 이퀴렉탱귤러 이미지 프레임 데이터로 변환(604)을 시작하기 전에 제3 FOV 변경 입력 V3이 수신된 것으로 판정한다. 다른 한편으로, 도 11을 참조하면, 제1 프로세서(101) 또는 GPU(102)는 GPU(102)가 프레임 #N의 구체 이미지 프레임 데이터를 프레임 #N의 이퀴렉탱귤러 이미지 프레임 데이터로 변환(612)하는 동안 또는 후에 제4 FOV 변경 입력 V4가 수신된 것으로 판정한다.
단계(452)에서, 상기 GPU가 제1 구체 이미지 프레임 데이터를 제1 이퀴렉탱귤러 이미지 프레임 데이터로 변환을 시작하기 전에 클라이언트 단말로부터 제1 FOV에 관한 제1 정보가 수신되었다는 판정에 응답하여, 상기 비디오 서버의 GPU는 제1 프레임 버퍼 메모리(e.g. 도 3에 도시된 프레임 버퍼(161))에 저장된 제1 구체 이미지 프레임 데이터를 제1 구체 이미지 프레임 데이터가 나타내는 제1 구체 이미지 프레임의 제1 FOV에 대응되는 제1 이퀴렉탱귤러 이미지 프레임 데이터로 변환할 수 있다. 예를 들어, 도 10을 참조하면, 상기 GPU가 프레임 #N에 대한 구체 이미지 프레임 데이터를 프레임 #N에 대한 이퀴렉탱귤러 이미지 프레임 데이터로 변환(604)을 시작하기 전에, 제3 FOV 변경 입력 V3이 수신(602)되기 때문에, 상기 GPU는 프레임 #N에 대한 구체 이미지 프레임 데이터를 제3 FOV 변경 입력 V3에 대응되는 프레임 #N의 이퀴렉탱귤러 이미지 프레임 데이터로 변환한다(제3 FOV 변경 입력 V3이 프레임 #N에 대한 구체 이미지 프레임 데이터에 반영(605)되기 위해).
도 6을 참조하면, 상기 비디오 서버의 GPU는 제1 구체 이미지 프레임에 후속하는 비디오의 제2 구체 이미지 프레임을 나타내는 제2 구체 이미지 프레임 데이터를 디코딩 하고, 디코딩 된 제2 구체 이미지 프레임 데이터를 제1 프레임 버퍼(e.g. 도 3의 제1 프레임 버퍼(161))에 저장할 수 있다. 예를 들어, 도 11을 참조하면, 상기 비디오 서버의 GPU는 프레임 #N+1(프레임 #N의 다음 프레임)을 디코딩 하고, 상기 디코딩 된 프레임 #N+1을 나타내는 구체 이미지 프레임 데이터를 제1 프레임 버퍼(161)에 저장한다. 단계(453)에서, 제1 프로세서(101) 또는 상기 비디오 서버의 GPU는 상기 GPU가 제2 구체 이미지 프레임 데이터를 제1 프레임 버퍼 메모리에 저장하기 전에 제1 FOV 정보가 수신되었다고 판정할 수 있다. 예를 들어, 도 11을 참조하면, GPU가 제1 프레임 버퍼(161)에 프레임 #N+1에 대한 구체 이미지 프레임 데이터를 저장하기 전에 제4 FOV 변경 입력 V4가 수신된 것으로 판정된다(왜냐하면, 저장이 프레임 #N+1의 디코딩(617) 이후에 발생하기 때문에). 유사하게, 도 12를 참조하면, GPU가 제1 프레임 버퍼(161)에 프레임 #N+1에 대한 구체 이미지 프레임 데이터를 저장하기 전에 제5 FOV 변경 입력 V5가 수신된 것으로 결정된다(왜냐하면, 저장이 프레임 #N+1의 디코딩(624) 이후에 발생하기 때문에).
단계(454)에서, 상기 비디오 서버의 GPU가 제2 구체 이미지 프레임 데이터를 제1 프레임 버퍼 메모리에 저장하기 전에 제1 FOV에 관한 제1 정보가 수신되었다는 판정에 응답하여, 상기 비디오 서버의 GPU는 제1 프레임 버퍼 메모리에 저장된 제1 구체 이미지 프레임 데이터를 제1 구체 이미지 프레임 데이터가 나타내는 제1 구체 이미지 프레임의 제2 FOV에 대응되는 제2 이퀴렉탱귤러 이미지 프레임 데이터로 변환할 수 있다. 예를 들어, 도 11을 참조하면, 상기 비디오 서버의 GPU가 제1 프레임 버퍼(161)에 프레임 #N+1에 대한 구체 이미지 프레임 데이터를 저장하기 전에 제4 FOV 변경 입력 V4가 수신되었다는 판정에 응답하여, 상기 GPU는 변환(614) 시점에 제1 프레임 버퍼(161)에 저장된 프레임 #N에 대한 구체 이미지 프레임 데이터를 제4 FOV 변경 입력 V4에 대응되는 이퀴렉탱귤러 이미지 프레임 데이터로 변환(614)한다(제4 FOV 변경 입력 V4가 프레임 #N에 대한 구체 이미지 프레임 데이터에 반영(614')되기 위해). 유사하게, 도 12를 참조하면, 상기 GPU가 제1 프레임 버퍼(161)에 프레임 #N+1에 대한 구체 이미지 프레임 데이터를 저장하기 전에 제5 FOV 변경 입력 V5가 수신되었다는 판정에 응답하여, 상기 GPU는 변환(626) 시점에 제1 프레임 버퍼(161)에 저장된 프레임 #N에 대한 상기 구체 이미지 프레임 데이터를 제5 FOV 변경 입력 V5에 대응되는 이퀴렉탱귤러 이미지 프레임 데이터로 변환(626)한다(제5 FOV 변경 입력 V5가 프레임 #N에 대한 구체 이미지 프레임 데이터에 반영(627)되기 위해). 몇몇 실시예에서, 단계(454)에서 제1 구체 이미지 프레임 데이터의 변환 과정 다음에, 스트리밍 서버(e.g. 도 3에 도시된 스트리밍 서버(140))가 현재의 FOV에 대응되는 상기 인코딩 된 제2 이퀴렉탱귤러 이미지 프레임 데이터만을 상기 클라이언트 단말로 스트리밍 하도록, 상기 GPU는 변환된 이퀴렉탱귤러 이미지 프레임 데이터를 제2 인코딩 된 이미지 프레임 데이터로 인코딩 할 수 있다. 예를 들어, 도 11을 참조하면, 프레임 #N에 대한 구체 이미지 프레임 데이터의 변환(614)에 이어서, 상기 GPU는 변환된 이퀴렉탱귤러 이미지 프레임 데이터를 프레임 #N+1에 대한 인코딩 된 이미지 프레임 데이터로 인코딩(616) 한다. 유사하게, 도 12를 참조하면, 프레임 #N에 대한 구체 이미지 프레임 데이터의 변환(626)에 이어서, 상기 GPU는 변환된 이퀴렉탱귤러 이미지 프레임 데이터를 프레임 #N+1에 대한 인코딩 된 이미지 프레임 데이터로 인코딩(628) 한다.
단계(455)에서, 상기 GPU는 제2 구체 이미지 프레임 데이터를 디코딩 한 후에, 상기 GPU는 제1 프레임 버퍼 메모리에 저장된 제2 구체 이미지 프레임 데이터에 대한 변환 및 인코딩을 생략할 수 있다. 예를 들어, 도 11을 참조하면, 프레임 #N+1을 디코딩(617) 한 후에, 상기 GPU는 제1 프레임 버퍼(161)에 저장된 프레임 #N+1에 대한 구체 이미지 프레임 데이터를 더 이상 변환 및 인코딩 하지 않는다. 왜냐하면, 인코딩 된 프레임 #N+1은 이미 다른 변환(614) 및 인코딩(616) 동작으로부터 이용 가능하기(이용 가능할 예정이기) 때문이다. 유사하게, 도 12를 참조하면, 프레임 #N+1을 디코딩(624) 한 후에, 상기 GPU는 제1 프레임 버퍼(161)에 저장된 프레임 #N+1에 대한 구체 이미지 프레임 데이터를 더 이상 변환 및 인코딩 하지 않는다. 왜냐하면, 인코딩 된 프레임 #N+1은 이미 다른 변환(626) 및 인코딩(628) 동작으로부터 이용 가능하기(이용 가능할 예정이기) 때문이다.
도 13은 본 발명의 몇몇 실시예에 따라, 클라이언트 단말이 수행하는 비디오 디스플레이 방법(700)의 동작을 도시하는 흐름도이다. 개략적으로 살펴보면, 비디오 디스플레이 방법(700)은 단계(710)에서 시작하며, 여기서 상기 클라이언트 단말(e.g.도 1 및 도 3에 도시된 클라이언트 단말(200A))의 GPU(e.g.도 2에 도시된 GPU(370))는 디스플레이의 제1 디스플레이 영역에 제1 이미지 프레임의 제1 영역을 렌더링 하고, 상기 디스플레이의 제2 디스플레이 영역에 제1 이미지 프레임의 나머지 영역은 보이지 않도록 숨겨진 상태로 렌더링 할 수 있다. 단계(720)에서, 제1 FOV를 가리키는 사용자 입력이 클라이언트 단말의 프로세서(e.g. 도 2에 도시된 프로세서(310))에 의해 수신되는 것에 응답하여, 상기 클라이언트 단말의 GPU가 제2 디스플레이 영역에 미리 숨겨져 있고 제1 FOV 내에 위치한 제1 이미지 프레임의 제2 영역을 렌더링 할 수 있다. 단계(730)에서, 상기 클라이언트 단말의 프로세서는 비디오 스트리밍 서버(e.g. 도 3에 도시된 스트리머(180))로 제1 FOV를 가리키는 정보를 전송할 수 있다 또한, 상기 클라이언트 단말의 프로세서는 상기 비디오 스트리밍 서버로부터 제1 FOV에 대응되는 제2 이미지 프레임 데이터를 수신할 수 있다. 단계(740)에서, 상기 비디오 스트리밍 서버로부터 비디오의 제2 이미지 프레임을 나타내는 제2 이미지 프레임 데이터를 수신하는 것에 응답하여, 상기 GPU는 상기 디스플레이의 제1 디스플레이 영역에 제2 이미지 프레임의 일부 영역을 렌더링 하고, 상기 디스플레이의 제2 디스플레이 영역에 제1 이미지 프레임의 숨겨졌던 제2 영역을 렌더링 할 수 있다.
이제, 도 13에 도시된 흐름도를 도 1 내지 도 3 및 도 14 내지 도 16을 참조하여 보다 상세하게 설명한다. 도 14 내지 도 16은 본 발명의 몇몇 실시예에 따른 비디오 디스플레이 방법을 통해 디스플레이 된 클라이언트 단말의 디스플레이 화면을 예시적으로 나타낸 도면이다.
단계(710)에서, 클라이언트 단말(e.g. 도 1 및 도 3에 도시된 클라이언트 단말(200A))의 GPU(e.g. 도 2에 도시된 GPU(370))는 비디오 스트리밍 서버(e.g. 도 3에 도시된 스트리머(180))로부터 비디오의 제1 이미지 프레임을 나타내는 제1 이미지 프레임 데이터를 수신할 수 있다. 도 14를 참조하면, 상기 클라이언트 단말의 GPU(e.g. 도 2에 도시된 GPU(370))는 상기 클라이언트 단말의 디스플레이(800)의 제1 디스플레이 영역(810)에 제1 이미지 프레임의 제1 영역을 렌더링 하고, 상기 디스플레이의 제2 디스플레이 영역(820)에 제1 이미지 프레임의 나머지 영역은 보이지 않도록 숨겨진 상태로 렌더링 할 수 있다. 몇몇 실시예에서, 상기 클라이언트 단말의 디스플레이(800)는 적어도 제1 이미지 프레임과 동일한 크기 또는 작은 크기일 수 있다. 몇몇 실시예에서, 디스플레이(800)는 직사각형 모양일 수 있다. 몇몇 실시예에서, 디스플레이(800)는 예를 들어 원 모양, 다각형 모양과 같이 다른 모양일 수도 있다. 제1 디스플레이 영역(810)은 직사각형 디스플레이(800)의 중앙에 위치한 직사각형 모양의 영역일 수 있다. 상기 디스플레이의 제2 디스플레이 영역(820)은 직사각형 디스플레이(800)의 왼쪽 여백, 오른쪽 여백, 위쪽 여백 및 아래쪽 여백 중 적어도 하나를 포함할 수 있다.
단계(720)에서, 도 15를 참조하면, 제1 FOV(미도시)를 가리키는 사용자의 입력이 상기 클라이언트 단말의 프로세서(e.g. 도 2에 도시된 프로세서(310))에 의해 수신되는 것에 응답하여, 상기 클라이언트 단말의 GPU는 제2 디스플레이 영역(820)에 미리 숨겨져 있고 제1 FOV 내에 위치한 제1 이미지 프레임의 제2 영역(825)을 렌더링 할 수 있다. 예를 들어, 도 14를 참조하면, 상기 클라이언트 단말의 사용자는 자신의 시야각을 방향(830)으로 변경하고, 그렇게 함으로써 변경된 시야각이 제1 FOV를 가리키게 된다. 몇몇 실시예에서, 상기 클라이언트 단말은 이러한 시야각의 변화를 감지할 수 있고, 상기 GPU가 이전에 숨겨놓은 제2 영역(825)을 렌더링 할 수 있도록 FOV 변경 입력을 상기 클라이언트 단말의 GPU에게 제공할 수 있다. 몇몇 실시예에서, 제1 이미지 프레임의 제2 영역(825)을 렌더링 할 때, 상기 클라이언트 단말의 GPU는 디스플레이(800)의 렌더링 영역을 제1 디스플레이 영역(810, 도 14 참조)에서 제3 디스플레이 영역(840, 도 15 참조)으로 재배치할 수 있다. 이때, 제3 디스플레이 영역(840)은 제1 디스플레이 영역(810)과 동일한 모양을 갖고 제1 이미지 프레임의 제2 디스플레이 영역(825)을 포함할 수 있다.
단계(730)에서, 상기 클라이언트 단말의 프로세서는 비디오 스트리밍 서버(e.g. 도 3에 도시된 스트리머(180))로 제1 FOV를 가리키는 정보를 전송할 수 있다. 또한, 상기 클라이언트 단말의 프로세서는 상기 비디오 스트리밍 서버로부터 제1 FOV에 대응되는 제2 이미지 프레임 데이터를 수신할 수 있다. 몇몇 실시예에서, 상기 클라이언트 단말의 프로세서는 상기 비디오 스트리밍 서버로부터 비디오의 제2 이미지 프레임을 나타내고 제1 FOV에 대응되는 제2 이미지 프레임 데이터를 수신할 수 있다. 몇몇 실시예에서, 상기 클라이언트 단말의 프로세서는 또한 상기 비디오 스트리밍 서버로부터 제2 이미지 프레임 데이터의 보정된 FOV 정보를 수신할 수도 있다.
단계(740)에서, 도 16을 참조하면, 상기 GPU는 디스플레이(800)의 제1 디스플레이 영역(810)에 제2 이미지 프레임의 일부 영역을 렌더링 하고, 디스플레이(800)의 제2 디스플레이 영역(820)에 제1 이미지 프레임의 숨겨졌던 제2 영역을 렌더링 할 수 있다. 상기 클라이언트 단말의 GPU는 상기 디스플레이의 렌더링 영역을 제3 디스플레이 영역(840, 도 15 참조)에서 다시 상기 디스플레이의 중앙에 위치한 제1 디스플레이 영역(810)으로 재배치할 수 있다. 이전에 숨겨진 디스플레이 영역(825, 도 15 참조)의 즉각적인 렌더링에 뒤이어 상기 디스플레이 영역을 상기 디스플레이의 중앙으로 재배치하는 것은 상기 클라이언트 단말의 사용자가 단계(720)에서 제3 디스플레이 영역(840)에 렌더링 된 프레임 이미지와 단계(740)에서 제1 디스플레이 영역(810)에 렌더링 된 프레임 이미지 사이의 차이를 인식하지 못하도록 할 수 있다.
몇몇 실시예에서, 상기 VR 비디오 스트리밍 시스템은 다음과 같은 이점을 제공할 수 있다. 첫째, 상기 VR 비디오 스트리밍 시스템은 고해상도 VR 비디오 데이터를 처리할 때 GPU의 컴퓨팅 성능(e.g. 멀티 코어를 통한 병렬 컴퓨팅 성능)을 효과적으로 활용할 수 있다. 둘째, 현재의 FOV가 반영된 비디오 부분만을 전송함으로써 상당한 네트워크 대역폭 요구량(e.g. FOV 비디오 데이터 전송은 단지 1 ~ 2Mbps의 대역폭만 요구되는데 반해 4K UHD 비디오 데이터 전송은 16 ~ 20Mbps의 대역폭이 요구됨)이 절감될 수 있다. 셋째, FOV가 반영된 비디오 부분만을 전송함으로써 사용자 경험뿐만 아니라 스트리밍 비용까지 모두 개선할 수 있다. 넷째, FOV가 반영된 비디오 부분만을 전송함으로써 낮은 데이터 전송 속도로도 스트리밍 서비스를 제공할 수 있다. 그렇게 함으로써, 데이터 버퍼링을 제거하고 클라이언트 단말의 배터리 소모를 감소시킬 수 있다. 다섯째, FOV가 반영된 비디오 부분만을 전송함으로써 스트리밍 서비스의 비용 또한 줄일 수 있다. 왜냐하면, 상기 스트리밍 서비스의 제공자는 자신의 네트워크 서비스 사용량에 따라 비용을 지불할 필요가 있기 때문이다. 여섯째, FOV가 반영된 비디오 부분만을 전송함으로써 콘텐츠 불법 복제 또한 방지할 수 있다. FOV가 반영된 비디오 부분이 전송됨에 따라 수신된 부분적으로 스트리밍 된 비디오 데이터는 동적으로 변경되는 FOV가 반영된 비디오의 일부분만을 포함할 수 있기 때문에, 이로써 상기 비디오의 콘텐츠가 불법적으로 복사되는 것을 방지한다. 일곱째, 현재의 FOV에 기초하여 클라이언트 단말에 포함된 디스플레이의 렌더링 영역을 변경함으로써, 상기 클라이언트 단말은 변경된 지연 없이 변경된 시야각에 대한 비디오 부분을 사용자에게 즉각적으로 제공할 수 있다. 이때, 상기 지연은 예를 들어 비디오 스트리밍 서버로부터 새로운 비디오 부분을 수신한 후에 변경된 시야각에 대한 새로운 비디오 부분을 제공하게 될 때 발생할 수 있다.
다양한 실시예들을 설명하기 위해 본 명세서에서 사용된 "예" 또는 "예시적인"이라는 용어는 그러한 실시예들이 가능한 실시예들의 가능한 예들, 표현들 및/또는 예시들임을 가리키는 것일 뿐임에 유의하여 한다(그리고 이러한 용어는 그러한 실시예들이 필연적으로 대단한, 최상의 또는 최선의 예라는 것을 암시하는 것은 아니다).
본 명세서에 이용된, "결합된", "연결된" 등의 용어는 2개의 구성 요소들 또는 컴포넌트들을 서로 직접 또는 간접적으로 결합하는 것을 의미한다. 이러한 결합은 고정식(e.g. 영구적) 또는 이동식(e.g. 제거 가능, 해제 가능 등)일 수 있다. 이러한 결합은 2개의 구성 요소 또는 2개의 구성 요소와 임의의 추가적인 중간 구성 요소가 서로 하나의 단일체로 형성되거나 또는 2 개의 구성 요소 또는 2 개의 구성 요소 및 임의의 추가적인 중간 구성 요소가 서로 부착됨으로써 달성될 수 있다.
본 발명은 다양한 동작들을 달성하기 위해서 임의의 기계 판독 가능 매체 상의 방법, 시스템 및 프로그램 제품을 고려한다. 본 발명의 실시예들은 기존의 컴퓨터 프로세서를 이용하여 구현될 수 있다. 또는 본 발명의 목적 또는 다른 목적을 위해 통합된 적절한 시스템에 대한 전용 컴퓨터 프로세서 또는 하드와이어드 시스템(hardwired system)에 의해 수행될 수도 있다. 본 개시의 범위 내의 실시예는 기계 실행 가능 명령어 집합 또는 데이터 구조들을 전달하기 위해서 기계 판독 가능 매체가 포함된 프로그램 제품들을 포함한다. 이러한 기계 판독 가능 매체는 범용 또는 특수한 목적의 컴퓨터 또는 프로세서를 갖는 다른 기계에 의해 액세스될 수 있는 임의의 이용 가능한 매체 일 수 있다. 예를 들어, 그러한 기계 판독 가능 매체는 RAM, ROM, EPROM, EEPROM, CD-ROM 또는 다른 광학 디스크 저장 장치, 자기 디스크 저장 장치 또는 다른 자기 저장 장치, 또는 임의의 다른 비휘발성 매체를 포함할 수 있다. 상술한 기계 판독 가능 매체는 기계 실행 가능 명령어의 집합 또는 데이터 구조의 형태로 원하는 프로그램 코드를 저장하거나 전달하는데 이용될 수 있다. 또한, 상술한 기계 판독 가능 매체는 범용 또는 특수한 목적의 컴퓨터 또는 프로세서를 갖는 다른 기계에 의해 액세스될 수 있다. 정보가 네트워크 또는 다른 통신 연결(유선, 무선 또는 유선 또는 무선의 조합)을 통해 임의의 기계로 전송되거나 제공되면 상기 기계는 해당 연결을 컴퓨터가 읽을 수 있는 매체로 간주한다. 따라서, 그러한 연결은 적절하게 기계 판독 가능 매체라고 지칭된다. 상술한 것들의 조합들 또한 기계 판독 가능 매체의 범위 내에 포함된다. 기계 실행 가능 명령어의 집합은 예를 들어 범용 컴퓨터, 특수 목적의 컴퓨터들 또는 특수 목적의 처리 기계들로 하여금 특정 기능들 또는 기능들의 그룹을 수행하게 하는 명령어들 및 데이터를 포함한다.
예시적인 실시예에 도시된 방법들 및 시스템들의 구성과 상기 방법들 및 시스템들의 구성 요소의 배열은 단지 예시적인 것임을 유의하는 것이 중요하다. 비록 본 발명의 단지 몇몇 실시예가 상세히 설명되었지만, 본 개시를 검토하는 당해 기술 분야의 통상의 기술자라면 본 명세서에 열거된 발명 주제의 신규한 교시 및 이점으로부터 실질적으로 벗어나지 않고도 많은 수정이 가능하다는 것을 용이하게 이해할 것이다. 예를 들어, 일체로 형성된 것으로 도시된 구성 요소들은 다수의 부분 또는 구성 요소로 구성될 수 있다. 따라서, 이러한 모든 수정은 본 발명의 범위 내에 포함되는 것으로 의도된다. 본 발명의 범위 또는 첨부된 특허 청구 범위의 사상을 벗어나지 않고 바람직한 실시예들 또는 다른 대표적인 실시예들에 대한 설계, 작동 조건들 및 배열에서 기타 치환, 수정, 변경 및 생략이 이루어질 수 있다.

Claims (17)

  1. 제1 프로세서;
    제1 메모리;
    GPU(Graphic Processing Unit);
    복수의 프레임 버퍼를 포함하는 제2 메모리;
    상기 제1 프로세서 또는 상기 GPU 중 적어도 하나에 의해 구현되는 비디오 서버를 포함하되,
    상기 비디오 서버는, 상기 제1 프로세서에 의해, 비디오 데이터 소스로부터 복수의 구체 이미지 프레임 데이터를 포함하는 소스 비디오 데이터를 얻어오고 상기 소스 비디오 데이터를 상기 제1 메모리에 저장하며,
    상기 비디오 서버는, 상기 제2 메모리의 제1 프레임 버퍼에 제1 구체 이미지 프레임 데이터가 저장되는 것에 응답하여, 상기 GPU에 의해, 상기 제1 구체 이미지 프레임 데이터를 상기 제1 구체 이미지 프레임 데이터가 나타내는 구체 이미지의 일부분에 대응되는 제1 이퀴렉탱귤러(equirectangular) 이미지 프레임 데이터로 변환하고, 상기 변환된 제1 이퀴렉탱귤러 이미지 프레임 데이터를 인코딩하며, 상기 인코딩 된 제1 이퀴렉탱귤러 이미지 프레임 데이터를 상기 제2 메모리의 인코딩 된 프레임 버퍼에 저장하는,
    가상 현실 비디오 스트리밍 시스템.
  2. 제1 항에 있어서,
    상기 제1 프로세서 또는 상기 GPU 중 적어도 하나에 의해 구현되는 스트리밍 서버를 더 포함하되,
    상기 스트리밍 서버는, 상기 제1 프로세서에 의해, 클라이언트 단말과 제1 연결을 설정하고, 상기 제2 메모리의 상기 인코딩 된 프레임 버퍼에서 상기 인코딩 된 제1 이퀴렉탱귤러 이미지 프레임 데이터를 얻어오며, 상기 인코딩 된 제1 이퀴렉탱귤러 이미지 프레임 데이터를 상기 제1 연결을 통해 상기 클라이언트 단말로 스트리밍하는,
    가상 현실 비디오 스트리밍 시스템.
  3. 제2 항에 있어서,
    상기 비디오 서버와 상기 스트리밍 서버는 별도의 프로세스로 실행되는,
    가상 현실 비디오 스트리밍 시스템.
  4. 제2 항에 있어서,
    상기 제1 프로세서 또는 상기 GPU 중 적어도 하나에 의해 구현되는 통신 서버를 더 포함하되,
    상기 통신 서버는, 상기 제1 프로세서에 의해, 상기 클라이언트 단말과 제2 연결을 설정하고, 상기 제1 이퀴렉탱귤러 이미지 프레임 데이터에 대응되는 FOV(Field of View)에 관한 제1 정보를 상기 클라이언트 단말로 전송하며, 상기 클라이언트 단말로부터 제2 FOV에 관한 제2 정보를 수신하고,
    상기 비디오 서버는, 상기 GPU에 의해, 제2 구체 이미지 프레임 데이터를 상기 제2 구체 이미지 프레임 데이터가 나타내는 구체 이미지의 상기 제2 FOV에 대응되는 제2 이퀴렉탱귤러 이미지 프레임 데이터로 변환하는,
    가상 현실 비디오 스트리밍 시스템.
  5. 제4 항에 있어서,
    상기 통신 서버와 상기 스트리밍 서버는 단일 프로세스로 실행되는,
    가상 현실 비디오 스트리밍 시스템.
  6. 제4 항에 있어서,
    상기 제1 FOV에 관한 상기 제1 정보와 상기 제2 FOV에 관한 상기 제2 정보는 방위각과 피치각을 가리키는 시야각 데이터를 포함하는,
    가상 현실 비디오 스트리밍 시스템.
  7. 비디오 서버의 GPU가, 비디오의 제1 구체 이미지 프레임을 나타내는 제1 구체 이미지 프레임 데이터를 제1 프레임 버퍼 메모리에 저장하는 단계;
    상기 비디오 서버의 제1 프로세서가, 클라이언트 단말로부터 제1 FOV에 관한 제1 정보를 수신하는 단계;
    상기 비디오 서버의 상기 GPU가, 상기 제1 버퍼 메모리에 저장된 상기 제1 구체 이미지 프레임 데이터를 상기 구체 이미지 프레임 데이터가 나타내는 상기 제1 구체 이미지 프레임의 상기 제1 FOV에 대응되는 제1 이퀴렉탱귤러 이미지 프레임 데이터로 변환하는 단계; 및
    상기 비디오 서버의 상기 GPU가, 제1 인코딩 된 이미지 프레임 데이터를 생성하기 위해 상기 변환된 제1 이퀴렉탱귤러 이미지 프레임 데이터를 인코딩하는 단계를 포함하는,
    비디오 처리 방법.
  8. 제7 항에 있어서,
    상기 비디오 서버의 상기 GPU가, 상기 제1 구체 이미지 프레임 데이터를 생성하기 위해 상기 비디오를 파싱하고 디코딩하는 단계를 더 포함하는,
    비디오 처리 방법.
  9. 제7 항에 있어서,
    상기 제1 FOV에 관한 상기 제1 정보는 방위각과 피치각을 가리키는 시야각 데이터를 포함하는,
    비디오 처리 방법.
  10. 제7 항에 있어서,
    상기 제1 이퀴렉탱귤러 이미지 프레임 데이터로 변환하는 단계는,
    상기 GPU가 상기 제1 구체 이미지 프레임 데이터에서 상기 제1 이퀴렉텡귤러 이미지 프레임 데이터로의 변환을 시작하기 전에 상기 제1 정보가 수신된 것으로 판정하는 단계를 포함하는,
    비디오 처리 방법.
  11. 제7 항에 있어서,
    상기 비디오 서버의 상기 제1 프로세서가, 상기 클라이언트 단말로부터 제2 FOV에 관한 제2 정보를 수신하는 단계;
    상기 비디오 서버의 상기 GPU가, 상기 비디오의 상기 제1 구체 이미지 프레임에 후속된 제2 구체 이미지 프레임을 나타내는 제2 구체 이미지 프레임 데이터를 상기 제1 프레임 버퍼 메모리에 저장하는 단계; 및
    상기 비디오 서버의 상기 GPU가, 상기 제1 구체 이미지 프레임 데이터를 상기 제1 이퀴렉탱귤러 이미지 프레임 데이터로 변환한 후의 시점과 상기 제1 프레임 버퍼 메모리에 상기 제2 구체 이미지 프레임 데이터를 저장하기 전의 시점 사이에 상기 제2 정보가 수신된 것으로 판정한 것에 응답하여, (i) 상기 비디오 서버의 상기 GPU가, 상기 제1 프레임 버퍼 메모리에 저장된 상기 제1 구체 이미지 프레임 데이터를 상기 제1 구체 이미지 프레임 데이터가 나타내는 상기 제1 구체 이미지 프레임의 상기 제2 FOV에 대응되는 제2 이퀴렉탱귤러 이미지 프레임 데이터로 변환하고, (ii) 상기 비디오 서버의 상기 GPU가, 상기 변환된 제2 이퀴렉탱귤러 이미지 프레임 데이터를 제2 인코딩 된 이미지 프레임 데이터로 인코딩하며, (iii) 상기 제1 프레임 버퍼 메모리에 저장된 상기 제2 구체 이미지 프레임 데이터의 변환 및 인코딩을 생략하는 단계를 포함하는,
    비디오 처리 방법.
  12. 클라이언트 단말의 제1 프로세서가, 비디오 스트리밍 서버로부터 비디오의 제1 이미지 프레임을 나타내는 제1 이미지 프레임 데이터를 수신하는 단계;
    상기 클라이언트 단말의 GPU가, 상기 제1 이미지 프레임의 크기보다 작거나 같은 크기를 갖는 상기 클라이언트 단말의 디스플레이 상에, 상기 디스플레이의 제1 디스플레이 영역에 상기 제1 이미지 프레임의 제1 영역을 렌더링하고, 상기 디스플레이의 제2 디스플레이 영역에 상기 제1 이미지 프레임의 나머지 영역을 숨겨진 상태로 렌더링하는 단계; 및
    상기 클라이언트 단말의 상기 제1 프로세서가 제1 FOV를 가리키는 사용자 입력의 수신에 응답하여, 상기 클라이언트 단말의 GPU가 상기 제1 FOV 내에 위치하고 이전에 상기 제2 디스플레이 영역에 숨겨진 상기 제1 이미지 프레임의 제2 영역을 렌더링하는 단계를 포함하는,
    비디오 디스플레이 방법.
  13. 제12 항에 있어서,
    상기 제1 FOV에 관한 상기 사용자 입력은 방위각 및 피치각을 가리키는 시야각 데이터를 포함하는,
    비디오 디스플레이 방법.
  14. 제12 항에 있어서,
    상기 제1 이미지 프레임의 상기 제2 영역을 렌더링하는 단계는,
    상기 클라이언트 단말의 상기 GPU가, 상기 디스플레이의 렌더링 영역을 상기 제1 디스플레이 영역에서 상기 제1 디스플레이 영역과 동일한 모양을 갖고 상기 제1 이미지 프레임의 상기 제2 영역을 포함하는 제3 디스플레이 영역으로 재배치하는 단계를 포함하는,
    비디오 디스플레이 방법.
  15. 제12 항에 있어서,
    상기 클라이언트 단말의 상기 제1 프로세서가, 상기 비디오 스트리밍 서버로 상기 제1 FOV를 가리키는 정보를 전송하는 단계;
    상기 클라이언트 단말의 상기 제1 프로세서가, 상기 비디오 스트리밍 서버로부터 상기 제1 FOV에 대응되는 상기 비디오의 제2 이미지 프레임을 나타내는 제2 이미지 프레임 데이터를 수신하는 단계; 및
    상기 클라이언트 단말의 상기 GPU가, 상기 클라이언트 단말의 상기 디스플레이 상에, 상기 디스플레이의 상기 제1 디스플레이 영역에 상기 제2 이미지 프레임의 일부를 렌더링하고, 상기 디스플레이의 상기 제2 디스플레이 영역에 상기 제1 이미지 프레임의 상기 제2 영역을 렌더링하는 단계를 더 포함하는,
    비디오 디스플레이 방법.
  16. 제12 항에 있어서,
    상기 디스플레이는 직사각형 모양이고,
    상기 디스플레이의 상기 제1 디스플레이 영역은 직사각형 모양이고, 상기 디스플레이의 중앙에 위치하며,
    상기 디스플레이의 상기 제2 디스플레이 영역은 상기 디스플레이의 왼쪽 여백, 오른쪽 여백, 위쪽 여백 및 아래쪽 여백 중 적어도 하나를 포함하는,
    비디오 디스플레이 방법.
  17. 제14 항에 있어서,
    상기 클라이언트 단말의 상기 제1 프로세서가, 상기 비디오 스트리밍 서버로 상기 제1 FOV를 가리키는 정보를 전송하는 단계;
    상기 클라이언트 단말의 상기 제1 프로세서가, 상기 비디오 스트리밍 서버로부터 상기 제1 FOV에 대응되고 상기 비디오의 제2 이미지 프레임을 나타내는 제2 이미지 프레임 데이터를 수신하는 단계; 및
    상기 클라이언트 단말의 상기 GPU가, 상기 디스플레이의 상기 렌더링 영역을 상기 제3 디스플레이 영역에서 상기 제1 디스플레이 영역으로 재배치하는 단계를 더 포함하는,
    비디오 디스플레이 방법.
PCT/KR2017/001790 2016-02-19 2017-02-17 Gpu 기반의 가상 현실 비디오 스트리밍 서버를 위한 방법 및 시스템 WO2017142354A1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR1020207027413A KR102272859B1 (ko) 2016-02-19 2017-02-17 Gpu 기반의 가상 현실 비디오 스트리밍 서버를 위한 방법 및 시스템
CN201780013448.9A CN108702522B (zh) 2016-02-19 2017-02-17 用于基于gpu的虚拟现实视频流式传输服务器的方法及系统
CN202110538794.7A CN113286168B (zh) 2016-02-19 2017-02-17 用于处理视频的方法、系统以及存储介质
KR1020227003157A KR102502546B1 (ko) 2016-02-19 2017-02-17 Gpu 기반의 가상 현실 비디오 스트리밍 서버를 위한 방법 및 시스템
KR1020217013537A KR102358205B1 (ko) 2016-02-19 2017-02-17 Gpu 기반의 가상 현실 비디오 스트리밍 서버를 위한 방법 및 시스템
CN202110538787.7A CN113286167B (zh) 2016-02-19 2017-02-17 用于基于gpu的虚拟现实视频流式传输服务器的方法及系统
JP2018562485A JP6663043B2 (ja) 2016-02-19 2017-02-17 Ｇｐｕベースの仮想現実ビデオストリーミングサーバのための方法およびシステム
EP17753515.0A EP3419293B1 (en) 2016-02-19 2017-02-17 Method and system for gpu based virtual reality video streaming server
KR1020187023908A KR102160992B1 (ko) 2016-02-19 2017-02-17 Gpu 기반의 가상 현실 비디오 스트리밍 서버를 위한 방법 및 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662297394P 2016-02-19 2016-02-19
US62/297,394 2016-02-19

Publications (1)

Publication Number Publication Date
WO2017142354A1 true WO2017142354A1 (ko) 2017-08-24

Family

ID=59625327

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/KR2017/001790 WO2017142354A1 (ko) 2016-02-19 2017-02-17 Gpu 기반의 가상 현실 비디오 스트리밍 서버를 위한 방법 및 시스템
PCT/KR2017/010197 WO2018052259A1 (ko) 2016-02-19 2017-09-18 가상 현실 비디오 변환 및 스트리밍을 위한 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/010197 WO2018052259A1 (ko) 2016-02-19 2017-09-18 가상 현실 비디오 변환 및 스트리밍을 위한 시스템 및 방법

Country Status (6)

Country Link
US (10) US10334224B2 (ko)
EP (1) EP3419293B1 (ko)
JP (3) JP6663043B2 (ko)
KR (7) KR102272859B1 (ko)
CN (5) CN113286168B (ko)
WO (2) WO2017142354A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020004695A1 (ko) * 2018-06-29 2020-01-02 주식회사 에이펀인터렉티브 Gpu를 이용해 모션캡쳐 영상의 실시간 병렬 렌더링을 수행하는 시스템

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170026659A1 (en) * 2015-10-13 2017-01-26 Mediatek Inc. Partial Decoding For Arbitrary View Angle And Line Buffer Reduction For Virtual Reality Video
WO2017068926A1 (ja) * 2015-10-21 2017-04-27 ソニー株式会社 情報処理装置及びその制御方法、並びにコンピュータ・プログラム
US10334224B2 (en) 2016-02-19 2019-06-25 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server
EP3249928A1 (en) * 2016-05-23 2017-11-29 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
CN105915990B (zh) * 2016-05-25 2022-11-15 歌尔光学科技有限公司 一种虚拟现实头盔及其使用方法
DE102016213494A1 (de) * 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung sowie Verfahren zur Erfassung eines Umgebungsbereichs eines eigenen Fahrzeugs
DE102016213493A1 (de) * 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung zur Aufnahme eines Umgebungsbereichs eines eigenen Fahrzeugs sowie Verfahren zur Bereitstellung einer Fahrerassistenzfunktion
US10410320B2 (en) 2016-09-30 2019-09-10 Sony Interactive Entertainment Inc. Course profiling and sharing
US10679511B2 (en) 2016-09-30 2020-06-09 Sony Interactive Entertainment Inc. Collision detection and avoidance
US11125561B2 (en) 2016-09-30 2021-09-21 Sony Interactive Entertainment Inc. Steering assist
US10850838B2 (en) 2016-09-30 2020-12-01 Sony Interactive Entertainment Inc. UAV battery form factor and insertion/ejection methodologies
CN109362242B (zh) 2016-10-10 2021-05-14 华为技术有限公司 一种视频数据的处理方法及装置
KR102498598B1 (ko) * 2016-10-18 2023-02-14 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
US10306180B2 (en) * 2016-10-21 2019-05-28 Liquidsky Software, Inc. Predictive virtual reality content streaming techniques
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
US10631012B2 (en) * 2016-12-02 2020-04-21 Centurylink Intellectual Property Llc Method and system for implementing detection and visual enhancement of video encoding artifacts
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
CN108282449B (zh) * 2017-01-06 2020-10-09 华为技术有限公司 一种应用于虚拟现实技术的流媒体的传输方法和客户端
WO2018131813A1 (en) * 2017-01-10 2018-07-19 Samsung Electronics Co., Ltd. Method and apparatus for generating metadata for 3d images
WO2018151977A1 (en) * 2017-02-14 2018-08-23 Axon Enterprise, Inc. Systems and methods for determining a field of view
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
CN108513119A (zh) * 2017-02-27 2018-09-07 阿里巴巴集团控股有限公司 图像的映射、处理方法、装置和机器可读介质
US10467775B1 (en) * 2017-05-03 2019-11-05 Amazon Technologies, Inc. Identifying pixel locations using a transformation function
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
MX2019014416A (es) 2017-06-02 2020-02-05 Vid Scale Inc Suministro de video en 360 grados a través de la red de próxima generación.
US11107177B1 (en) * 2017-06-16 2021-08-31 Amazon Technologies, Inc. Data/metadata synchronization using metadata queue statistics
US10754242B2 (en) * 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US11521349B2 (en) 2017-09-21 2022-12-06 Faro Technologies, Inc. Virtual reality system for viewing point cloud volumes while maintaining a high point cloud graphical resolution
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
US10636118B2 (en) * 2018-06-25 2020-04-28 Microsoft Technology Licensing, Llc Input scaling to keep controller inside field of view
US10616621B2 (en) 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US20200022632A1 (en) * 2018-07-17 2020-01-23 Limbix Health, Inc. Digital content processing and generation for a virtual environment
US10360713B1 (en) * 2018-07-17 2019-07-23 Disney Enterprises, Inc. Event enhancement using augmented reality effects
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
US10708494B2 (en) 2018-08-13 2020-07-07 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic video content
US10735778B2 (en) 2018-08-23 2020-08-04 At&T Intellectual Property I, L.P. Proxy assisted panoramic video streaming at mobile edge
CN110876082B (zh) * 2018-08-31 2020-12-29 网宿科技股份有限公司 一种视频帧的复杂度的确定方法及装置
US10560759B1 (en) 2018-10-23 2020-02-11 At&T Intellectual Property I, L.P. Active network support on adaptive virtual reality video transmission
US10536666B1 (en) * 2019-01-22 2020-01-14 Facebook Technologies, Llc Systems and methods for transmitting aggregated video data
US10742882B1 (en) * 2019-05-17 2020-08-11 Gopro, Inc. Systems and methods for framing videos
US11076158B2 (en) * 2019-09-09 2021-07-27 Facebook Technologies, Llc Systems and methods for reducing WiFi latency using transmit opportunity and duration
WO2021162446A1 (en) * 2020-02-14 2021-08-19 Samsung Electronics Co., Ltd. Method and apparatus for streaming vr image
KR20210107409A (ko) 2020-02-24 2021-09-01 삼성전자주식회사 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치
WO2021194483A1 (en) * 2020-03-25 2021-09-30 Alcacruz Inc. Generating a representation of a spherical image
US20210349308A1 (en) * 2020-05-05 2021-11-11 Szu Wen FAN System and method for video processing using a virtual reality device
US11188902B1 (en) * 2020-05-20 2021-11-30 Louise Dorothy Saulog Sano Live time connection application method and devices
CN113766272B (zh) * 2020-06-04 2023-02-10 腾讯科技（深圳）有限公司 一种沉浸媒体的数据处理方法
JP7470387B2 (ja) * 2020-06-08 2024-04-18 株式会社大一商会 遊技機
CN113839908B (zh) * 2020-06-23 2023-07-11 华为技术有限公司 视频传输方法、装置、系统及计算机可读存储介质
US11494951B2 (en) 2020-07-24 2022-11-08 At&T Intellectual Property I, L.P. Policy definition and enforcement for extended reality media sessions
CN114071150B (zh) 2020-07-31 2023-06-16 京东方科技集团股份有限公司 图像压缩方法及装置、图像显示方法及装置和介质
KR20220037617A (ko) * 2020-09-18 2022-03-25 삼성전자주식회사 엣지 컴퓨팅 서비스를 이용한 동영상 처리 방법 및 장치
US11908364B2 (en) * 2020-09-23 2024-02-20 Samsung Electronics Co., Ltd. Low-power display driving circuit performing internal encoding and decoding and operating method thereof
CN112774193A (zh) * 2021-01-14 2021-05-11 江苏卫健信息科技有限公司 一种云游戏的图像渲染方法
US11924393B2 (en) * 2021-01-22 2024-03-05 Valeo Comfort And Driving Assistance Shared viewing of video among multiple users
CN112954442B (zh) * 2021-03-18 2023-07-18 北京字节跳动网络技术有限公司 视频播放方法、装置、设备和存储介质
CN113094019A (zh) * 2021-04-30 2021-07-09 咪咕文化科技有限公司 交互方法、装置、电子设备及存储介质
GB2609013A (en) * 2021-07-16 2023-01-25 Sony Interactive Entertainment Inc Video recording and playback systems and methods
EP4120238A1 (en) * 2021-07-16 2023-01-18 Sony Interactive Entertainment Inc. Video processing and playback systems and methods
CN113676753B (zh) * 2021-10-21 2022-02-15 北京拾音科技文化有限公司 Vr场景中展示视频的方法、装置、电子设备和存储介质
US12112687B2 (en) * 2021-12-07 2024-10-08 Kyndryl, Inc. Dynamic display for image-enabled clothing
KR20230094587A (ko) 2021-12-21 2023-06-28 서강대학교산학협력단 마이크로 배치 스트리밍 처리 시스템 및 상기 시스템에서의 동적 데이터 배치 및 쿼리 계획 방법
CN114938456A (zh) * 2022-01-20 2022-08-23 上海瞳观智能科技有限公司 Vr直播系统及方法
WO2023141313A2 (en) * 2022-01-21 2023-07-27 Arizona Board Of Regents On Behalf Of The University Of Arizona Wavelength and diffractive multiplexed expansion of field of view for display devices
US11983822B2 (en) 2022-09-02 2024-05-14 Valeo Comfort And Driving Assistance Shared viewing of video with prevention of cyclical following among users

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000060869A1 (en) * 1999-04-08 2000-10-12 Internet Pictures Corporation Perspective-corrected video presentations
JP2005341093A (ja) * 2004-05-26 2005-12-08 Mitsubishi Electric Corp コンテンツ適応化装置、コンテンツ適応化システム、コンテンツ適応化方法
US20120062444A1 (en) * 2010-09-09 2012-03-15 Cok Ronald S Switchable head-mounted display transition
US20120092348A1 (en) * 2010-10-14 2012-04-19 Immersive Media Company Semi-automatic navigation with an immersive image
US20160012855A1 (en) * 2014-07-14 2016-01-14 Sony Computer Entertainment Inc. System and method for use in playing back panorama video content

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62168102A (ja) 1986-12-30 1987-07-24 Furukawa Electric Co Ltd:The 光フアイバ融着接続用スリツプホルダ
US5185667A (en) 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
US5880734A (en) 1996-10-03 1999-03-09 Intel Corporation Peripheral vision simulator for immersive 3D virtual environments
JPH10191355A (ja) * 1996-12-26 1998-07-21 Sony Corp 映像信号切換装置およびその方法
US6043837A (en) * 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
US6466254B1 (en) * 1997-05-08 2002-10-15 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US6778211B1 (en) * 1999-04-08 2004-08-17 Ipix Corp. Method and apparatus for providing virtual processing effects for wide-angle video images
JP2003101989A (ja) * 2001-09-25 2003-04-04 Matsushita Electric Ind Co Ltd 仮想鑑賞方法、鑑賞サーバ装置、端末、プログラム
GB0230328D0 (en) * 2002-12-31 2003-02-05 British Telecomm Video streaming
KR100613752B1 (ko) 2004-03-11 2006-08-22 경북대학교 산학협력단 파노라마 영상의 스트리밍 방법
KR100677142B1 (ko) * 2004-08-13 2007-02-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
US20060055807A1 (en) * 2004-09-14 2006-03-16 Pemer Frederick A Imaging methods, image sensors, imaging systems, and articles of manufacture
CN101000461B (zh) * 2006-12-14 2010-09-08 上海杰图软件技术有限公司 一种鱼眼图像生成立方体全景的方法
JP5115150B2 (ja) * 2007-11-02 2013-01-09 ソニー株式会社 情報提示装置及び情報提示方法
US8747116B2 (en) 2008-08-21 2014-06-10 Lincoln Global, Inc. System and method providing arc welding training in a real-time simulated virtual reality environment using real-time weld puddle feedback
US8851896B2 (en) 2008-08-21 2014-10-07 Lincoln Global, Inc. Virtual reality GTAW and pipe welding simulator and setup
TW201044185A (en) 2009-06-09 2010-12-16 Zillians Inc Virtual world simulation systems and methods utilizing parallel coprocessors, and computer program products thereof
US8270473B2 (en) * 2009-06-12 2012-09-18 Microsoft Corporation Motion based dynamic resolution multiple bit rate video encoding
JP2012014676A (ja) 2010-05-31 2012-01-19 Sony Computer Entertainment Inc 仮想現実空間提供システム、仮想現実空間提供方法およびそのプログラム
US20120212491A1 (en) 2011-02-22 2012-08-23 Sony Computer Entertainment Inc. Indirect lighting process for virtual environments
WO2013038679A1 (ja) * 2011-09-13 2013-03-21 パナソニック株式会社 符号化装置、復号装置、再生装置、符号化方法、及び復号方法
CN202257030U (zh) * 2011-10-19 2012-05-30 广东工业大学 大视场直接投影式激光光刻光学系统
EP2777273B1 (en) * 2011-11-11 2019-09-04 GE Video Compression, LLC Efficient multi-view coding using depth-map estimate for a dependent view
US9516225B2 (en) * 2011-12-02 2016-12-06 Amazon Technologies, Inc. Apparatus and method for panoramic video hosting
JP5861499B2 (ja) * 2012-03-01 2016-02-16 大日本印刷株式会社 動画提示装置
EP2645713A1 (en) * 2012-03-30 2013-10-02 Alcatel Lucent Method and apparatus for encoding a selected spatial portion of a video stream
US10514541B2 (en) 2012-12-27 2019-12-24 Microsoft Technology Licensing, Llc Display update time reduction for a near-eye display
US20160205341A1 (en) * 2013-08-20 2016-07-14 Smarter Tv Ltd. System and method for real-time processing of ultra-high resolution digital video
US9774881B2 (en) * 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
JP6075889B2 (ja) * 2014-06-10 2017-02-08 日本電信電話株式会社 映像配信装置及び映像再生装置
KR101953679B1 (ko) * 2014-06-27 2019-03-04 코닌클리즈케 케이피엔 엔.브이. Hevc-타일드 비디오 스트림을 기초로 한 관심영역 결정
US9917877B2 (en) * 2014-10-20 2018-03-13 Google Llc Streaming the visible parts of a spherical video
US10104361B2 (en) 2014-11-14 2018-10-16 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
GB2536025B (en) * 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
US9848212B2 (en) * 2015-07-10 2017-12-19 Futurewei Technologies, Inc. Multi-view video streaming with fast and smooth view switch
US10674205B2 (en) * 2015-11-17 2020-06-02 Rovi Guides, Inc. Methods and systems for selecting a preferred viewpoint for media assets
US20170147830A1 (en) * 2015-11-24 2017-05-25 Comcast Cable Communications, Llc Adaptive Rights Management System
US10334224B2 (en) 2016-02-19 2019-06-25 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000060869A1 (en) * 1999-04-08 2000-10-12 Internet Pictures Corporation Perspective-corrected video presentations
JP2005341093A (ja) * 2004-05-26 2005-12-08 Mitsubishi Electric Corp コンテンツ適応化装置、コンテンツ適応化システム、コンテンツ適応化方法
US20120062444A1 (en) * 2010-09-09 2012-03-15 Cok Ronald S Switchable head-mounted display transition
US20120092348A1 (en) * 2010-10-14 2012-04-19 Immersive Media Company Semi-automatic navigation with an immersive image
US20160012855A1 (en) * 2014-07-14 2016-01-14 Sony Computer Entertainment Inc. System and method for use in playing back panorama video content

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020004695A1 (ko) * 2018-06-29 2020-01-02 주식회사 에이펀인터렉티브 Gpu를 이용해 모션캡쳐 영상의 실시간 병렬 렌더링을 수행하는 시스템

Also Published As

Publication number Publication date
US20200092532A1 (en) 2020-03-19
CN113286168A (zh) 2021-08-20
WO2018052259A1 (ko) 2018-03-22
EP3419293A4 (en) 2019-05-29
CN113286167B (zh) 2023-07-07
US10939087B2 (en) 2021-03-02
KR102506000B1 (ko) 2023-03-03
KR102333398B1 (ko) 2021-12-02
KR20210158381A (ko) 2021-12-30
KR20210054600A (ko) 2021-05-13
JP2019514311A (ja) 2019-05-30
CN110226316A (zh) 2019-09-10
US10904511B2 (en) 2021-01-26
US11050996B2 (en) 2021-06-29
CN115225882A (zh) 2022-10-21
KR102155681B1 (ko) 2020-09-15
KR20200108369A (ko) 2020-09-17
US20210281815A1 (en) 2021-09-09
JP6663043B2 (ja) 2020-03-11
US9912717B2 (en) 2018-03-06
JP7041440B2 (ja) 2022-03-24
KR20200113289A (ko) 2020-10-06
CN113286168B (zh) 2023-09-08
US20200267370A1 (en) 2020-08-20
US20220264069A1 (en) 2022-08-18
KR102358205B1 (ko) 2022-02-08
EP3419293A1 (en) 2018-12-26
CN108702522B (zh) 2021-06-08
KR20220020997A (ko) 2022-02-21
US20220408073A1 (en) 2022-12-22
US20180152690A1 (en) 2018-05-31
CN110226316B (zh) 2022-06-10
US11470301B2 (en) 2022-10-11
KR102502546B1 (ko) 2023-02-21
KR102272859B1 (ko) 2021-07-05
US20190253693A1 (en) 2019-08-15
US20170244775A1 (en) 2017-08-24
US20170244951A1 (en) 2017-08-24
EP3419293B1 (en) 2023-08-02
KR20190067856A (ko) 2019-06-17
JP2022091767A (ja) 2022-06-21
JP2020099083A (ja) 2020-06-25
EP3419293C0 (en) 2023-08-02
KR102160992B1 (ko) 2020-10-15
US20210195164A1 (en) 2021-06-24
CN108702522A (zh) 2018-10-23
CN113286167A (zh) 2021-08-20
KR20180099891A (ko) 2018-09-05
US11375172B2 (en) 2022-06-28
US10334224B2 (en) 2019-06-25
US11843759B2 (en) 2023-12-12

Similar Documents

Publication Publication Date Title
WO2017142354A1 (ko) Gpu 기반의 가상 현실 비디오 스트리밍 서버를 위한 방법 및 시스템
TW202028928A (zh) 用於分裂延展實境之交叉層流量優化
US20060164328A1 (en) Method and apparatus for wireless display monitor
JP2010091845A (ja) 画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17753515

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20187023908

Country of ref document: KR

Kind code of ref document: A

Ref document number: 2018562485

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020187023908

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017753515

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017753515

Country of ref document: EP

Effective date: 20180919