WO2021107703A1 - 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법 - Google Patents

하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법 Download PDF

Info

Publication number
WO2021107703A1
WO2021107703A1 PCT/KR2020/017142 KR2020017142W WO2021107703A1 WO 2021107703 A1 WO2021107703 A1 WO 2021107703A1 KR 2020017142 W KR2020017142 W KR 2020017142W WO 2021107703 A1 WO2021107703 A1 WO 2021107703A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
virtual reality
streaming
images
time
Prior art date
Application number
PCT/KR2020/017142
Other languages
English (en)
French (fr)
Inventor
차동우
정태식
Original Assignee
주식회사 알파서클
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 알파서클 filed Critical 주식회사 알파서클
Priority to CN202080019248.6A priority Critical patent/CN113545097B/zh
Publication of WO2021107703A1 publication Critical patent/WO2021107703A1/ko
Priority to US17/464,922 priority patent/US11325032B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/49—Saving the game status; Pausing or ending the game
    • A63F13/497—Partially or entirely replaying previous game actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/63—Methods for processing data by generating or executing the game program for controlling the execution of the game in time
    • A63F2300/634—Methods for processing data by generating or executing the game program for controlling the execution of the game in time for replaying partially or entirely the game actions since the beginning of the game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Definitions

  • the present invention relates to a virtual reality playback apparatus and method.
  • the plurality of virtual reality images photographed in this way are images obtained by photographing different areas at the same time. Therefore, when the user's gaze moves to another area and the playing virtual reality image can no longer cover the corresponding area, a new virtual reality image has to be played instead of the previously played virtual reality image.
  • this prior art has a problem in that the server must first store a plurality of virtual reality images, and since the virtual reality image corresponding to the user's gaze is changed as the user's gaze is changed, the load on the server is increased.
  • the inventor of the present invention has completed the present invention after a long period of research and trial and error in order to solve such a problem.
  • the present invention streams a plurality of virtual reality images using one streaming image in order to solve such a problem.
  • the present invention replaces a change in space with a change in time by combining a plurality of virtual reality images into one streaming image. That is, the problem of changing a streamed file according to a change in space is to be solved by using a change in time within a single file.
  • the plurality of virtual reality images include a wide area image generated by stitching all or part of the original image, and a patch image generated by stitching a narrower area than the wide area image. Accordingly, when the user views the area corresponding to the patch image, the user views the high-quality image.
  • the plurality of virtual reality images include a plurality of divided images obtained by dividing the original image into N pieces.
  • the plurality of segmented images may not overlap each other or may intentionally overlap a predetermined region.
  • the image quality of the partially stitched image is higher than that of the entire stitched image of the original image. Therefore, the split image is more advantageous for producing a high-quality image.
  • the present invention may further include asynchronously reproduced content in addition to the synchronized wide-area image, patch image, and split image.
  • asynchronous content this is referred to as asynchronous content.
  • a producer who produces a virtual reality image can implement more diverse expression methods by expressing asynchronous content on any one of a plurality of virtual reality images.
  • a first aspect of the present invention is a virtual reality image reproducing apparatus for reproducing a plurality of virtual reality images
  • a streaming image input unit for receiving a streaming image including a plurality of virtual reality images taken at the same point in different directions at the same time;
  • a streaming time calculator that synchronizes the newly played virtual reality image by adding the play position of the currently playing virtual reality image to the reference time of the newly played virtual reality image ;
  • the plurality of virtual reality images are files stitched from one original image generated to implement virtual reality,
  • the streaming image is a single file in which a plurality of virtual reality images are arranged in different time zones based on the reference time allocated to each virtual reality image,
  • the virtual reality image reproducing apparatus is a method of jumping the streaming time of a streaming image by using a reference time at which an individual virtual reality image starts when it is necessary to play a virtual reality image taken in a different direction as the user's gaze is changed, It provides a virtual reality image reproducing apparatus for playing a plurality of virtual reality images using a single streaming image, characterized in that a plurality of virtual reality images are reproduced using a single streaming image.
  • a second aspect of the present invention is a virtual reality image reproducing apparatus for reproducing a plurality of virtual reality images
  • Streaming image input unit receiving a streaming image containing a plurality of virtual reality images taken in different directions at the same time;
  • a streaming time calculator for synchronizing the newly played virtual reality image
  • the streaming image is a single file in which a plurality of virtual reality images are arranged in different time zones based on the reference time allocated to each virtual reality image.
  • the streaming time calculation unit is to synchronize in the following way when selectively playing the first virtual reality image and the second virtual reality image included in the streaming image according to the user's gaze,
  • the first reference time when the first virtual reality image starts jumps to the streaming time plus the play position of the currently playing virtual reality image
  • the second reference time at which the second virtual reality image starts jumps to the streaming time plus the play position of the currently playing virtual reality image, one streaming image
  • a third aspect of the present invention is a virtual reality image reproducing device that has received a streaming image including a plurality of virtual reality images.
  • a fourth aspect of the present invention is a file stitched from a single original image generated to implement virtual reality, the image input unit receiving a plurality of virtual reality images taken in different directions at the same time of the original image;
  • the streaming providing unit provides a streaming image by jumping a reference time in one streaming image even when the virtual reality image to be played is changed due to a change in the user's gaze, characterized in that it provides a streaming image using one streaming image.
  • a virtual reality image providing server that reproduces virtual reality images is provided.
  • the image reproducing unit In a preferred embodiment, the image reproducing unit
  • a wide area image reproducing unit for reproducing a wide area image included in a plurality of virtual reality images
  • It includes a patch image reproducing unit that overlaps the patch image included in the plurality of virtual reality images on the wide area image,
  • the patch image may be an image in which a partial region of a wide area image is expressed with different image quality.
  • the image reproducing unit In a preferred embodiment, the image reproducing unit
  • a plurality of divided image playback units for reproducing the divided images included in the plurality of virtual reality images to overlap each other
  • the segmented image is an image obtained by dividing one original image into N regions, and may be one in which predetermined regions overlap each other.
  • the present invention has the effect of streaming a plurality of virtual reality images using one streaming image. Since a virtual reality image corresponding to all areas, spaces, and viewing angles can be reproduced with one streaming image, the load on the server is reduced, and there is an effect that there is no need for effort to synchronize when playing a plurality of virtual reality image files.
  • the present invention combines a plurality of virtual reality images into one streaming image, and responds by changing only the streaming time within one file, rather than changing the file and playing it even if the user's gaze changes.
  • the present invention has an effect of resolving the technical disadvantages mentioned in the prior art by providing a technique for substituting a change in space with a change in time.
  • the present invention can reproduce the synchronized patch image on the wide area image.
  • the producer can select the necessary part of the original image and produce it as a patch image, and the patch image can be produced in higher quality than the wide area image. Therefore, there is an effect that only a part of the region can be generated as a high-quality patch image when producing virtual reality content where the eyes mainly stay on the front part, such as a performance or a lecture, for example.
  • the present invention can generate a divided image obtained by dividing the original image into N pieces.
  • the divided N divided images may have different image quality. Therefore, even in this case, there is an effect that only a part of the region can be generated as a high-definition divided image when producing virtual reality content in which the gaze mainly stays on the front part, such as a performance or a lecture.
  • the present invention may further include asynchronously reproduced content in addition to the synchronized wide-area image, patch image, and split image.
  • a producer who produces a virtual reality image can implement more diverse expression methods by expressing asynchronous content on any one of a plurality of virtual reality images. For example, when the user's gaze looks at the area where the asynchronous content is arranged, separate asynchronous content independent of the plurality of virtual reality images being reproduced is activated.
  • the asynchronous content may be not only an image but also various content such as a predetermined operation and an event pop-up.
  • 1 is a diagram for explaining the concept of a wide area image, a patch image, and a plurality of divided images according to the present invention.
  • FIG. 2 is a view for explaining another embodiment of a divided image of the present invention.
  • FIG. 3 is a view for showing a preferred embodiment of the virtual reality image reproducing system of the present invention.
  • FIG. 4 is a view for explaining a preferred embodiment of the structure of the streaming video of the present invention.
  • 5 is a view for showing a preferred embodiment of jumping the streaming time in the streaming video of the present invention.
  • FIG. 6 is a view showing a preferred embodiment of the virtual reality image reproducing method of the present invention.
  • a plurality of virtual reality images are images stitched from an original image, and are a concept including a wide area image, a patch image, and a split image.
  • 1 is a diagram for explaining the concept of a wide area image, a patch image, and a plurality of divided images according to the present invention.
  • the wide-area image V 0 is an image representing a wider area than the entire 360-degree virtual reality area 10 or a patch image.
  • the wide-area image will be described as covering the entire virtual reality area, but is not necessarily limited thereto.
  • the wide area image (V 0 ) is always played back.
  • the patch images V 1 to 3 are images representing a part of the virtual reality area 10 of 360 degrees.
  • the patch images V 1 to 3 may have different coverage areas, different areas, and different image quality.
  • the first patch image V 1 may be a high-quality image that covers a partial area above and below the front part. If the virtual reality content is a musical, the first patch image V 1 may be an area covering the stage of the musical.
  • the second patch image V 2 may be an image covering a partial region of the upper portion of the rear portion, and the third patch image V 3 may be an image covering a portion of the lower portion of the rear portion.
  • the patch images V 1 to 3 are reproduced by being overlapped or patched on the wide area image V 0 . Therefore, even if any one of the reproduced patch images V 1 to 3 is turned off as necessary, since the wide area image V 0 is reproduced later, no space is generated in the image.
  • the patch image (V 1-3 ) is played in synchronization with the wide area image (V 0 ). This is because the patch images V 1 to 3 may cause dizziness to the user if synchronization of the wide area image V 0 is not implemented.
  • the asynchronous content (V 4 ) refers to content arbitrarily inserted by the intention of the creator regardless of the plurality of virtual reality images.
  • the asynchronous content V 4 may be a video or a specific event operation. In terms of content, it may be an advertisement, or it may be an event related to a virtual reality image.
  • Asynchronous content (V 4 ) is not synchronized with a plurality of virtual reality images. That is, the patch image (V 1-3 ) and the wide area image (V 0 ) are reproduced or operated by separate trigger information regardless of the sync.
  • the trigger information includes information on whether the user's gaze looks at the location of the asynchronous content (V 4 ).
  • the segmented image V 1 to N may be an image obtained by dividing one original image into N regions that do not overlap each other.
  • the plurality of divided images V 1 to N may have different sizes and may have different image quality.
  • a plurality of divided images (V 1 ⁇ N ) are reproduced in synchronization with each other. Some of the plurality of divided images V 1 to N may be turned off as needed. Although not shown, the asynchronous content V 4 may be displayed in a predetermined area of the divided images V 1 to N .
  • FIG. 2 is a view for explaining another embodiment of a divided image of the present invention.
  • the divided images V 1 to N may overlap each other by a predetermined area.
  • a plurality of divided images (V 1 ⁇ N ) are reproduced in synchronization with each other.
  • the overlapping divided images are played while overlapping each other.
  • Some of the plurality of divided images V 1 to N may be turned off as needed.
  • V 1 is 270 to 90 degrees
  • V 2 is 0 to 180 degrees
  • V 3 is 90 to 270 degrees
  • V 4 is 180 to 180 degrees
  • the gaze coordinate is 45 degrees
  • any one of V 1 and V 2 may be on and V 3 and V 4 may be off.
  • the embodiment of the wide area image, the patch image, and the embodiment of the segmented image may be mixed with each other.
  • a patch image may be reproduced in a part of a plurality of divided images.
  • the segmented image in which the patch image overlaps will be understood as a wide area image.
  • FIG. 3 is a view for showing a preferred embodiment of the virtual reality image reproducing system of the present invention.
  • the virtual reality image reproducing system of the present invention includes a virtual reality image reproducing apparatus 100 and a virtual reality image providing server 200 .
  • the virtual reality image reproducing apparatus 100 of the present invention is a device that receives a streaming image from the virtual reality image providing server 200 and reproduces the virtual reality image to the user.
  • the virtual reality image reproducing apparatus 100 may be a smart terminal including a smart phone or a wearable device worn on the user's head, but is not necessarily limited thereto.
  • a plurality of virtual reality images are files stitched from one original image generated to implement virtual reality.
  • the streaming image is a single file in which a plurality of virtual reality images are arranged in different time zones based on the reference time allocated to each virtual reality image.
  • the reference time means a reference point at which a specific virtual reality image starts within one streaming image.
  • the play position refers to how far the playing virtual reality image has been played. For example, if there is a 10-minute virtual reality video, and currently 3 minutes and 31 seconds are streaming, the play position will be 3 minutes and 31 seconds.
  • reference time and play position are used to describe a specific position in an image file. Therefore, in this concept, the above terms may be substituted with terms such as a reference frame and a play frame. That is, it is okay to view time as a frame.
  • the streaming time of the streaming image is determined using the reference time at which the individual virtual reality image starts.
  • the virtual reality image reproducing apparatus 100 may include a streaming image input unit 110 , a streaming time calculation unit 120 , an image reproduction unit 130 , and a gaze change detection unit 140 .
  • the streaming video input unit 110 receives one streaming video.
  • the server when streaming a plurality of virtual reality images shot in different directions, the server stored a plurality of virtual reality images, and each time the user's gaze changed, a new virtual reality image file had to be changed and streamed. burden is cut Not only that, there was a delay in the virtual reality playback device while the file was changed and streamed, which was a problem.
  • the streaming image input unit 110 of the present invention receives one streaming image including a plurality of virtual reality images shot in different directions at the same time and at the same time, this problem is solved. That is, by attaching a plurality of virtual reality images in different time zones within one streaming image, even if it reaches a situation where another virtual reality image needs to be played, the time played in the streaming image without the hassle of changing the file being streamed You can respond just by jumping.
  • the streaming time calculator 120 synchronizes the virtual reality image to be newly played.
  • the streaming time calculator 120 adds the play position of the currently playing virtual reality image to the reference time of the newly reproduced virtual reality image when the virtual reality image to be played is changed as the user's gaze changes during streaming. Synchronize the virtual reality image to be played.
  • the streaming time calculator 120 may synchronize the first virtual reality image and the second virtual reality image included in the streaming image according to the user's gaze in the following way.
  • the streaming time is jumped to the first reference time when the first virtual reality image starts, plus the play position of the currently playing virtual reality image.
  • the streaming time is jumped to the second reference time at which the second virtual reality image starts, plus the play position of the currently playing virtual reality image.
  • the streaming time calculation unit may be excluded from the virtual reality image reproducing apparatus. That is, the virtual reality image reproducing apparatus can perform this in the virtual reality image providing server without calculating the streaming time to jump directly.
  • the image reproducing unit 130 reproduces the streamed streaming image on the display device.
  • the gaze change detection unit 140 tracks the gaze direction of the user.
  • the gaze change detection unit 140 may include an acceleration sensor, a tilt sensor, and the like.
  • the gaze change detector 140 may detect the gaze direction of the user and determine whether to change the reproduced virtual reality image. If the user's gaze is outside the space (or angle of view) of the currently playing virtual reality image, this is provided to the streaming time calculation unit so that the streaming time calculation unit jumps the streaming time.
  • the gaze change detection unit 140 may track the gaze direction of the user and transmit the tracking result to the virtual reality image providing server.
  • the streaming time to jump is calculated by the virtual reality image providing server.
  • the virtual reality image reproducing apparatus 100 of the present invention may further include a configuration such as a communication unit for receiving a streaming image.
  • the virtual reality image providing server 200 generates a single streaming image by combining a plurality of virtual reality images, and streams it to a virtual reality image reproducing apparatus.
  • the server that generates the streaming image and the server that actually streams the streaming image may be physically different servers.
  • the virtual reality image providing server 200 may include an image input unit 210 , a streaming image generating unit 220 , a streaming providing unit 230 , and a switching point search unit 240 .
  • the image input unit 210 is a file stitched from one original image generated to implement virtual reality, and receives a plurality of virtual reality images taken in different directions at the same time of the original image.
  • the streaming image generating unit 220 allocates a different reference time to each individual virtual reality image, and arranges a plurality of virtual reality images in different time zones based on the reference time. Instead of creating a separate file, it is created as a single streaming video file.
  • One generated streaming image may include information about a reference time.
  • the streaming image generation unit 220 generates a reference time not smaller than a running time analysis unit that analyzes the running time at which the virtual reality image is reproduced, and a reference time for allocating a reference time to each of a plurality of virtual reality images It may include a time allocator, a reference time storage unit for storing information about the reference time matched to the plurality of virtual reality images.
  • the streaming providing unit 230 streams the generated one streaming image to the virtual reality image reproducing apparatus.
  • the reference time allocated to the plurality of virtual reality images may be provided to the virtual reality image reproducing apparatus together with the streaming image.
  • the streaming providing unit 230 provides the streaming video by jumping the reference time in one streaming video even when the user's gaze changes and the virtual reality video to be played is changed.
  • the switching point search unit 240 is configured to calculate the streaming time when the streaming time to jump is not directly calculated in the virtual reality image reproducing apparatus.
  • the transition point search unit 240 synchronizes the virtual reality image to be newly reproduced.
  • the transition point search unit 240 adds the play position of the currently playing virtual reality image to the reference time of the newly reproduced virtual reality image when the virtual reality image to be played is changed as the user's gaze changes during streaming. Synchronize the newly played virtual reality image.
  • FIG. 4 is a view for explaining a preferred embodiment of the structure of the streaming video of the present invention.
  • a plurality of virtual reality images V1, V2, and V3 are generated as different files such as V1.mp4, V2.mp4, and V3.mp4, respectively.
  • the streaming video is combined into one streaming video based on the reference time (S1, S2, S3).
  • the running time analysis unit analyzes the running time of individual virtual reality images. Since multiple virtual reality images are created from a single original image, the running time of individual virtual reality images will be the same in most cases. In the embodiment of FIG. 4 , it is assumed that the running times of the plurality of virtual reality images V1, V2, and V3 are each 10 minutes.
  • the reference time allocator generates a reference time not smaller than the running time, and allocates the reference time to each of the plurality of virtual reality images.
  • the reference time of the mth virtual reality image among the N virtual reality images may be calculated by the following formula.
  • the reference time S1 of V1 may be 0, the reference time of V2 may be 10 minutes, and the reference time of V3 may be 20 minutes.
  • the reference time storage unit stores information about a reference time matched to a plurality of virtual reality images.
  • 5 is a view for showing a preferred embodiment of jumping the streaming time in the streaming video of the present invention.
  • one streaming image (Vtotal.mp4) is being streamed to the virtual reality image playback device.
  • V1 the currently playing virtual reality image
  • t play the play position
  • the user's gaze is changed and it is determined that the virtual reality image V2 needs to be reproduced, it jumps to the streaming time in which the play position (t play ) is added to the reference time of the virtual reality image V2. That is, 13 minutes and 30 seconds by adding 3 minutes and 30 seconds, which is the play position (t play ) to the reference time of 10 minutes of the virtual reality image V2, is the streaming time to jump.
  • the present invention solves the problems of the prior art by changing the playing time in one streaming file rather than changing the file to be streamed as described above. Simply put, the present invention solves the problems of the prior art by replacing the movement of space with the movement of time.
  • FIG. 6 is a view showing a preferred embodiment of the virtual reality image reproducing method of the present invention.
  • a plurality of virtual reality images are files stitched from one original image generated to implement virtual reality.
  • the streaming image is a single file in which a plurality of virtual reality images are arranged in different time zones based on the reference time allocated to each virtual reality image.
  • the reference time refers to a reference point at which a specific virtual reality image starts within one streaming image.
  • the play position refers to how far the playing virtual reality image has been played. For example, if there is a 10-minute virtual reality video, and currently 3 minutes 31 seconds are streaming, the play position will be 3 minutes 31 seconds.
  • the terms reference time and play position are used to describe a specific position in an image file. Therefore, in this concept, the above terms may be substituted with terms such as reference frame and play frame. That is, it is okay to view time as a frame.
  • the streaming video using the streaming time plus the reference time and the play position at which individual virtual reality images start
  • a method of jumping the streaming time of multiple virtual reality images can be played even if one streaming image is streamed.
  • the virtual reality image reproducing apparatus that receives one streaming image including a plurality of virtual reality images implements the following virtual reality image reproduction method.
  • One streaming image including a plurality of virtual reality images shot in different directions at the same point at the same time is streamed (S1100).
  • the virtual reality image corresponding to the current user's gaze is played, and the play position of the currently playing virtual reality image is checked (S1200).
  • the current play position of the currently playing virtual reality image is added to the reference time of the newly played virtual reality image to synchronize the newly played virtual reality image (S1300) .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 동일한 시간에 동일한 지점에서 서로 다른 방향으로 촬영한 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받는 스트리밍영상입력부, 스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 기준시간에 현재 재생 중인 가상현실영상의 플레이위치를 더하여 새롭게 재생할 가상현실영상의 싱크를 맞추는 스트리밍시간연산부, 및 스트리밍된 스트리밍영상을 디스플레이장치에 재생하는 영상재생부를 포함하고, 상기 가상현실영상재생장치는 사용자의 시선이 변경됨에 따라 다른 방향을 촬영한 가상현실영상을 재생해야할 때, 개별 가상현실영상이 시작되는 기준시간을 이용하여 스트리밍영상의 스트리밍시간을 점프하는 방법으로, 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 것을 특징으로 하는, 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치를 제공한다.

Description

하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법
본 발명은 가상현실재생장치 및 방법에 대한 것이다.
종래 가상현실(Virtual Reality)영상을 기술에서 360° 전 방위를 커버하는 원본영상을 스티칭(stitching)하기 위해서는, 복수의 카메라를 이용하여 복수의 가상현실영상을 촬영해야 했다.
이렇게 촬영된 복수의 가상현실영상은 동일한 시간에 서로 다른 영역을 촬연한 영상이다. 따라서, 사용자의 시선이 다른 영역으로 이동하여 재생 중인 가상현실영상이 더 이상 해당 영역을 커버할 수 없는 상황이 오면, 종전에 재생하던 가상현실영상이 아닌 새로운 가상현실영상을 재생해야 했다.
그러나, 이와 같은 종래기술은 먼저 서버에 복수의 가상현실영상을 저장해야하고, 사용자의 시선이 변경됨에 따라 시선에 대응하는 가상현실영상을 새롭게 전송해야하기 때문에 서버에 부담이 증가한다는 문제가 있었다.
뿐만 아니라 파일이 바뀌어 스트리밍되는 사이에 싱크를 맞추기 쉽기 않았고, 가상현실재생장치에 딜레이가 발생하여 문제되었다.
이에 본 발명의 발명자는 그런 문제점을 해결하기 위해서 오랫동안 연구하고 시행착오를 거치며 개발한 끝에 본 발명을 완성하기에 이르렀다.
본 발명은 이와 같은 문제점을 해결하기 위하여 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 스트리밍한다.
본 발명은 복수의 가상현실영상을 하나의 스트리밍영상으로 결합함으로서, 공간의 변화를 시간의 변화로 치환한다. 즉, 공간의 변화에 따라 스트리밍되는 파일을 변경할 때의 문제를 하나의 파일 내에서 시간의 변화를 이용하여 해결하고자 한다.
한편, 복수의 가상현실영상은 원본영상의 전체 또는 일부를 스티칭하여 생성한 광역영상, 광역영상보다 좁은 영역을 스티칭하여 생성한 패치영상을 포함한다. 따라서, 사용자는 패치영상에 해당하는 영역을 볼 때 고화질의 영상을 시청하게 된다.
또한, 복수의 가상현실영상은 원본영상을 N개로 분할한 복수의 분할영상을 포함한다. 복수의 분할영상은 서로 중첩되지 않거나, 또는 의도적으로 일정 영역이 중첩될 수 있다.
해상도가 동일하다고 가정할 때 원본영상의 전체를 스티칭한 영상보다 일부를 스티칭한 영상의 화질이 더 고화질이다. 따라서, 분할영상은 고화질의 영상을 제작하는데 더 유리하다.
본 발명은 동기화되어 재생되는 광역영상, 패치영상, 분할영상 이외에 비동기화되어 재생되는 콘텐츠를 더 포함할 수 있다. 이하에서 이를 비동기콘텐츠라 호칭한다. 가상현실영상을 제작하는 제작자는 비동기콘텐츠를 복수의 가상현실영상 중 어느 하나 위에 표현함으로서 보다 다양한 표현방식을 구현할 수 있다.
한편, 본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 것이다.
본 발명의 제1국면은 복수의 가상현실영상을 재생하는 가상현실영상재생장치로서,
동일한 시간에 동일한 지점에서 서로 다른 방향으로 촬영한 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받는 스트리밍영상입력부;
스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 기준시간에 현재 재생 중인 가상현실영상의 플레이위치를 더하여 새롭게 재생할 가상현실영상의 싱크를 맞추는 스트리밍시간연산부; 및
스트리밍된 스트리밍영상을 디스플레이장치에 재생하는 영상재생부;를 포함하고,
상기 복수의 가상현실영상은 가상현실을 구현하기 위해 생성된 하나의 원본영상으로부터 스티칭된 파일이고,
상기 스트리밍영상은 각각의 가상현실영상 마다 할당된 기준시간을 기준으로 복수의 가상현실영상을 서로 다른 시간대에 배치한 하나의 파일이고,
상기 가상현실영상재생장치는 사용자의 시선이 변경됨에 따라 다른 방향을 촬영한 가상현실영상을 재생해야할 때, 개별 가상현실영상이 시작되는 기준시간을 이용하여 스트리밍영상의 스트리밍시간을 점프하는 방법으로, 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 것을 특징으로 하는, 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치를 제공한다.
본 발명의 제2국면은 복수의 가상현실영상을 재생하는 가상현실영상재생장치로서,
동일한 시간에 다른 방향을 촬영한 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받는 스트리밍영상입력부;
스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 싱크를 맞추는 스트리밍시간연산부; 및
스트리밍된 스트리밍영상을 디스플레이장치에 재생하는 영상재생부;를 포함하고,
상기 스트리밍영상은 각각의 가상현실영상 마다 할당된 기준시간을 기준으로 복수의 가상현실영상을 서로 다른 시간대에 배치한 하나의 파일이고
상기 스트리밍시간연산부는 스트리잉영상에 포함된 제1가상현실영상 및 제2가상현실영상을 사용자의 시선에 따라 택일적으로 재생할 때 아래와 같은 방법으로 싱크를 맞추는 것인,
1) 제1가상현실영상을 재생해야 할 때, 제1가상현실영상이 시작되는 제1기준시간에, 현재 재생 중인 가상현실영상의 플레이위치를 더한 스트리밍시간으로 점프하고,
2) 제2가상현실영상을 재생해야할 때, 제2가상현실영상이 시작되는 제2기준시간에, 현재 재생 중인 가상현실영상의 플레이위치를 더한 스트리밍시간으로 점프하는 것인, 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치를 제공한다.
본 발명의 제3국면은 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받은 가상현실영상재생장치가
(a) 동일한 시간에 다른 방향을 촬영한 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받는 단계;
(b) 현재 사용자의 시선에 대응되는 가상현실영상을 재생하며, 재생 중인 가상현실영상의 플레이위치를 확인하는 단계; 및
(c) 스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 기준시간에 현재 재생 중인 가상현실영상의 플레이위치를 더하여 새롭게 재생할 가상현실영상의 싱크를 맞추는 단계'를 포함하는, 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생방법을 제공한다.
본 발명의 제4국면은 가상현실을 구현하기 위해 생성된 하나의 원본영상으로부터 스티칭된 파일이며, 원본영상의 동일한 시간에 다른 방향을 촬영한 복수의 가상현실영상을 입력받는 영상입력부;
개별 가상현실영상 마다 서로 다른 기준시간을 할당하고, 기준시간을 중심으로 복수의 가상현실영상이 서로 다른 시간대에 배치되도록 하는 방법으로, 입력된 복수의 가상현실영상을 별도의 파일로 생성하지 않고, 하나의 스트리밍영상 파일로 생성하는 스트리밍영상생성부; 및
생성된 하나의 스트리밍영상을 가상현실영상재생장치에 스트리밍하는 스트리밍제공부를 포함하고,
상기 스트리밍제공부는 사용자의 시선이 변경되어 재생해야할 가상현실영상이 달라지는 경우에도 하나의 스트리밍영상 내 기준시간을 점프하는 방법으로 스트리밍영상을 제공하는 것을 특징으로 하는, 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상제공서버를 제공한다.
바람직한 실시예에 있어서, 상기 영상재생부는
복수의 가상현실영상에 포함된 광역영상을 재생하는 광역영상재생부; 및
복수의 가상현실영상에 포함된 패치영상을 광역영상 위에 오버랩하여 재생하는 패치영상재생부를 포함하고,
패치영상은 광역영상의 일부 영역을 다른 화질로 표현한 영상일 수 있다.
바람직한 실시예에 있어서, 상기 영상재생부는
복수의 가상현실영상에 포함된 분할영상을 서로 오버랩되도록 재생하는 복수의 분할영상재생부를 포함하고,
분할영상은 하나의 원본영상을 N개의 영역으로 분할한 영상이고, 소정의 영역이 서로 중첩되는 것일 수 있다.
본 발명은 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 스트리밍할 수 있는 효과가 있다. 하나의 스트리밍영상으로 모든 영역, 공간, 시야각에 대응되는 가상현실영상을 재생할 수 있으므로, 서버의 부담이 감소하고, 복수의 가상현실영상 파일을 재생할 때 싱크를 맞추는 노력이 필요없는 효과가 있다.
즉, 본 발명은 복수의 가상현실영상을 하나의 스트리밍영상으로 결합하고, 사용자의 시선이 변하더라도 파일을 바꾸어 재생하는 것이 아니라 하나의 파일 내에서 스트리밍되는 시간만을 변경하여 대응한다. 이와 같이 본 발명은 공간의 변화를 시간의 변화로 치환하는 기술을 제공함으로서 종래기술에서 언급한 기술적 불이익을 해소하는 효과가 있다.
한편, 본 발명은 광역영상 위에 동기화된 패치영상을 재생할 수 있다. 제작자는 원본영상 중 필요한 부분을 선택하여 패치영상으로 제작할 수 있고, 패치영상을 광역영상보다 고화질로 제작할 수 있다. 따라서, 예를들어 공연, 강의와 같이 전면부에 시선이 주로 머무르는 가상현실콘텐츠를 제작할 때 일부의 영역만을 고화질의 패치영상으로 생성할 수 있는 효과가 있다.
또한, 본 발명은 원본영상을 N개로 분할한 분할영상을 생성할 수 있다. 분할된 N개의 분할영상은 서로 다른 화질일 수 있다. 따라서, 이 경우에도 예를들어 공연, 강의와 같이 전면부에 시선이 주로 머무르는 가상현실콘텐츠를 제작할 때 일부의 영역만을 고화질의 분할영상으로 생성할 수 있는 효과가 있다.
또한, 본 발명은 동기화되어 재생되는 광역영상, 패치영상, 분할영상 이외에 비동기화되어 재생되는 콘텐츠를 더 포함할 수 있다. 가상현실영상을 제작하는 제작자는 비동기콘텐츠를 복수의 가상현실영상 중 어느 하나 위에 표현함으로서 보다 다양한 표현방식을 구현할 수 있다. 예를들어, 사용자의 시선이 비동기콘텐츠가 배치된 영역을 바라보면, 재생 중이던 복수의 가상현실영상과 무관한 별도의 비동기콘텐츠가 활성화된다. 비동기콘텐츠는 영상뿐만 아니라 소정의 동작, 이벤트팝업과 같은 다양한 콘텐츠일 수 있다.
한편, 여기에서 명시적으로 언급되지 않은 효과라하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.
도 1은 본 발명의 광역영상과 패치영상, 복수의 분할영상의 컨셉을 설명하기 위한 도면이다.
도 2는 본 발명의 분할영상의 다른 실시예를 설명하기 위한 도면이다.
도 3은 본 발명의 가상현실영상재생시스템의 바람직한 실시예를 나타내기 위한 도면이다.
도 4는 본 발명의 스트리밍영상의 구조에 대한 바람직한 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 스트리밍영상에서 스트리밍시간을 점프하는 바람직한 실시예를 나타내기 위한 도면이다.
도 6은 본 발명의 가상현실영상재생방법의 바람직한 실시예를 나타내는 도면이다.
※ 첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다.
본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.
본 발명에서 복수의 가상현실영상은 원본영상으로부터 스티칭된 영상으로, 광역영상, 패치영상, 분할영상을 포함하는 개념이다.
도 1은 본 발명의 광역영상과 패치영상, 복수의 분할영상의 컨셉을 설명하기 위한 도면이다.
도 1의 (a)를 이용하여 본 발명의 광역영상과 패치영상에 대한 개념을 설명한다. 360도의 가상현실영역(10) 전체를 구로 표현한다고 가정했을 때 광역영상(V 0)은 360도의 가상현실영역(10) 전체 또는 패치영상보다 넓은 영역을 표현하는 영상이다. 이하에서 편의상 광역영상은 가상현실영역의 전체를 커버하는 것으로 설명하지만 반드시 이에 한정되는 것은 아니다. 광역영상(V 0)은 항시 재생되는 것이 원칙이다.
패치영상(V 1~3)은 360도의 가상현실영역(10) 일부를 표현하는 영상이다. 패치영상(V 1~3)은 커버하는 영역이 서로 다를 수 있고, 면적이 다를 수 있고, 화질도 서로 다를 수 있다. 예를들어, 제1패치영상(V 1)은 전면부의 상하 일부영역을 커버하는 고화질의 영상일 수 있다. 가상현실 콘텐츠가 뮤지컬이라면 제1패치영상(V 1)은 뮤지컬의 무대를 커버하는 영역일 수 있다. 제2패치영상(V 2)은 후면부 상단 일부영역을 커버하는 영상이고, 제3패치영상(V 3)은 후면부 하단 일부영역을 커버하는 영상일 수 있다.
패치영상(V 1~3)은 광역영상(V 0) 위에 오버랩되어 또는 패치되어(patched) 재생된다. 따라서, 재생되는 패치영상(V 1~3) 중 어느 하나를 필요에 따라 오프(off)하더라도 뒤에 광역영상(V 0)이 재생되고 있으므로 영상에 공백이 발생하지 않는다.
패치영상(V 1~3)은 광역영상(V 0)과 동기화되어 재생된다. 패치영상(V 1~3)은 광역영상(V 0)의 동기화가 구현되지 않으면 사용자에게 어지러움을 유발할 수 있기 때문이다.
비동기콘텐츠(V 4)는 복수의 가상현실영상과 무관하게 제작자의 의도에 의해 임의로 삽입된 콘텐츠를 의미한다. 비동기콘텐츠(V 4)는 동영상일 수도 있고 특정한 이벤트 동작일 수도 있다. 내용 상 광고일 수도 있고, 가상현실영상과 연관된 이벤트일 수 있다.
비동기콘텐츠(V 4)는 복수의 가상현실영상과 동기화되지 않는다. 즉, 패치영상(V 1~3)과 광역영상(V 0)의 싱크와 무관하게 별도의 트리거정보에 의해 재생되거나 동작한다. 바람직한 실시예에서 트리거정보는 사용자의 시선이 비동기콘텐츠(V 4)의 위치를 바라보는지 여부에 관한 정보를 포함한다.
도 1의 (b)를 이용하여 본 발명의 분할영상(V 1~N)에 대한 개념을 설명한다(N은 1보다 큰 자연수).
일 실시예에서 분할영상(V 1~N)은 하나의 원본영상을 서로 중첩되지 않는 N개의 영역으로 분할한 영상일 수 있다. 복수의 분할영상(V 1~N)은 서로 다른 크기일 수 있고, 서로 다른 화질일 수 있다.
복수의 분할영상(V 1~N)은 서로 동기화되어 재생된다. 복수의 분할영상(V 1~N) 중 일부는 필요에 따라 오프(off)될 수 있다. 도시하지 않았지만, 분할영상(V 1~N)의 일정 영역에는 비동기콘텐츠(V 4)가 표시될 수 있다.
도 2는 본 발명의 분할영상의 다른 실시예를 설명하기 위한 도면이다.
다른 실시예에서 분할영상(V 1~N)은 서로 소정의 영역만큼 중첩될 수 있다. 복수의 분할영상(V 1~N)은 서로 동기화되어 재생된다. 이때 중첩되는 분할영상은 서로 오버랩되어 재생된다. 복수의 분할영상(V 1~N) 중 일부는 필요에 따라 오프(off)될 수 있다.
예를들어, 180도를 커버하는 분할영상 4개가 서로 90도씩 중첩될 수 있다(V 1은 270~90도, V 2는 0~180도, V 3는 90~270도, V 4는 180~360도). 시선좌표가 45도인 경우, V 1과 V 2 중 어느 하나가 온(On)되고 V 3과 V 4는 오프(Off) 될 수 있다.
이와 같이 분할영상을 중첩시키면 재생되는 분할영상의 수를 감소시킬 수 있다. 당연히 동기화해야할 분할영상의 수도 감소된다. 따라서, 시스템의 부담이 감소된다.
또한, 분할영상을 중첩시키면 사용자의 시선이 급격하게 변동될 때 분할영상 중 사용자의 시선에 따른 분할영상의 온오프(on/off)동작을 타이트하게 제어하지 않아도 되는 장점이 있다. 예를들어, V1을 오프하더라도 V2가 V1이 커버하던 영역 중 일부인 0~90도 사이의 영역을 커버하기 때문에 분할영상의 온오프(on/off)동작이 지체되더라도 시야에 공백(사용자의 시선에 아무것도 표시되지 않는 실패상황)이 발생할 확률이 낮아지기 때문이다. 한편, 광역영상과 패치영상의 실시예와 분할영상의 실시예는 서로 혼합될 수 있다. 예를들어, 복수의 분할영상의 일부에 패치영상이 재생될 수도 있다. 이 경우 패치영상이 오버랩되는 분할영상은 광역영상으로 이해될 것이다.
도 3은 본 발명의 가상현실영상재생시스템의 바람직한 실시예를 나타내기 위한 도면이다.
도 3에서 알 수 있듯이, 본 발명의 가상현실영상재생시스템은 가상현실영상재생장치(100) 및 가상현실영상제공서버(200)를 포함한다.
본 발명의 가상현실영상재생장치(100)는 가상현실영상제공서버(200)로부터 스트리밍영상을 스트리밍 받아, 사용자에게 가상현실영상을 재생하는 장치이다. 바람직한 실시예에 있어서, 가상현실영상재생장치(100)는 스마트폰 등을 포함하는 스마트단말, 사용자의 헤드에 착용하는 웨어러블장치일 수 있으나 반드시 이에 한정되는 것은 아니다.
본 발명에서 복수의 가상현실영상은 가상현실을 구현하기 위해 생성된 하나의 원본영상으로부터 스티칭된 파일이다. 스트리밍영상은 각각의 가상현실영상 마다 할당된 기준시간을 기준으로 복수의 가상현실영상을 서로 다른 시간대에 배치한 하나의 파일이다.
본 발명에서 기준시간은 하나의 스트리밍영상 내에서 특정 가상현실영상이 시작되는 기준점을 의미한다. 플레이위치는 재생 중인 가상현실영상이 어디까지 플레이되었는지를 의미한다. 예를들어 10분짜리 가상현실영상이 있고, 현재 3분 31초가 스트리밍 중이라면 플레이위치는 3분 31초가 된다.
본 발명에서 기준시간, 플레이위치(또는 플레이시간)라는 용어는 영상파일 내에서 특정 위치를 설명하기 위한 것이다. 따라서 이와 같은 개념에서 위 용어들은 기준프레임, 플레이프레임과 같은 용어로 치환될 수 있다. 즉, 시간을 프레임으로 보아도 무방하다.
본 발명의 가상현실영상재생장치(100)는 사용자의 시선이 변경됨에 따라 다른 방향을 촬영한 가상현실영상을 재생해야할 때, 개별 가상현실영상이 시작되는 기준시간을 이용하여 스트리밍영상의 스트리밍시간을 점프하는 방법을 채택함으로서, 하나의 스트리밍영상을 스트리밍 받더라도 충분히 복수의 가상현실영상을 재생할 수 있다.
이를 보다 구체적으로 설명하면 다음과 같다. 바람직한 실시예에서 가상현실영상재생장치(100)는 스트리밍영상입력부(110), 스트리밍시간연산부(120), 영상재생부(130), 시선변경탐지부(140)를 포함할 수 있다.
스트리밍영상입력부(110)는 하나의 스트리밍영상을 스트리밍받는다.
종래에 서로 다른 방향을 촬영한 복수의 가상현실영상을 스트리밍할 때에는, 서버에서 복수의 가상현실영상을 저장해두었다가, 사용자의 시선이 바뀔 때마다 새로운 가상현실영상 파일을 바꾸어 스트리밍해야했기 때문에, 서버 측 부담이 컷다. 뿐만 아니라 파일이 바뀌어 스트리밍되는 사이에 가상현실재생장치에 딜레이가 발생하여 문제되었다.
그러나, 본 발명의 스트리밍영상입력부(110)는 동일한 시간에 동일한 지점에서 서로 다른 방향으로 촬영한 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받으므로 이러한 문제를 해결하였다. 즉, 하나의 스트리밍영상 내부의 시간대를 달리하여 복수의 가상현실영상을 이어 붙임으로서, 다른 가상현실영상을 재생해야하는 상황에 이르더라도 스트리밍 중인 파일을 변경하는 번거로움 없이, 해당 스트리밍영상에서 재생되는 시간을 점프하는 것만으로 대응할 수 있다.
스트리밍시간연산부(120)는 스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 싱크를 맞춘다. 바람직한 실시예에서 스트리밍시간연산부(120)는 스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 기준시간에 현재 재생 중인 가상현실영상의 플레이위치를 더하여 새롭게 재생할 가상현실영상의 싱크를 맞춘다.
이를 좀 더 구체적으로 설명하면 다음과 같다. 스트리밍시간연산부(120)는 스트리잉영상에 포함된 제1가상현실영상 및 제2가상현실영상을 사용자의 시선에 따라 택일적으로 재생할 때 아래와 같은 방법으로 싱크를 맞출 수 있다.
1) 제1가상현실영상을 재생해야 할 때, 제1가상현실영상이 시작되는 제1기준시간에, 현재 재생 중인 가상현실영상의 플레이위치를 더한 스트리밍시간으로 점프한다.
2) 제2가상현실영상을 재생해야할 때, 제2가상현실영상이 시작되는 제2기준시간에, 현재 재생 중인 가상현실영상의 플레이위치를 더한 스트리밍시간으로 점프한다.
다만, 본 발명의 다른 실시예에서 스트리밍시간연산부는 가상현실영상재생장치에서 제외될 수 있다. 즉, 가상현실영상재생장치가 직접 점프할 스트리밍시간을 연산하지 않고, 가상현실영상제공서버에서 이를 수행할 수 있다.
영상재생부(130)는 스트리밍된 스트리밍영상을 디스플레이장치에 재생한다.
시선변경탐지부(140)는 사용자의 시선방향을 추적한다. 이를 위해 시선변경탐지부(140)는 가속도센서, 기울기센서 등을 포함할 수 있다.
시선변경탐지부(140)는 사용자의 시선방향을 탐지하여, 재생되는 가상현실영상을 변경해야하는지 여부를 결정할 수 있다. 만약 사용자의 시선이 현재 재생 중인 가상현실영상의 공간(또는 화각)을 벗어나는 경우라면 이를 스트리밍시간연산부에 제공하여, 스트리밍시간연산부가 스트리밍시간을 점프하도록 한다.
한편, 다른 실시예에서 시선변경탐지부(140)는 사용자의 시선방향을 추적하여, 추적한 결과를 가상현실영상제공서버에 전달할 수 있다. 이와 같은 실시예에서 점프할 스트리밍시간은 가상현실영상제공서버에서 산출하게 된다.
그 밖에 본 발명의 가상현실영상재생장치(100)는 스트리밍영상을 수신하기 위한 통신부 등과 같은 구성을 더 포함할 수 있다.
가상현실영상제공서버(200)는 복수의 가상현실영상을 결합하여 하나의 스트리밍영상을 생성하고, 이를 가상현실영상재생장치로 스트리밍한다. 다른 실시예에서 스트리밍영상을 생성하는 서버와 실제 스트리밍영상을 스트리밍하는 서버는 서로 물리적으로 다른 서버일 수 있다.
가상현실영상제공서버(200)는 영상입력부(210), 스트리밍영상생성부(220), 스트리밍제공부(230), 전환시점탐색부(240)를 포함할 수 있다.
영상입력부(210)는 가상현실을 구현하기 위해 생성된 하나의 원본영상으로부터 스티칭된 파일이며, 원본영상의 동일한 시간에 다른 방향을 촬영한 복수의 가상현실영상을 입력받는다.
스트리밍영상생성부(220)는 개별 가상현실영상 마다 서로 다른 기준시간을 할당하고, 기준시간을 중심으로 복수의 가상현실영상이 서로 다른 시간대에 배치되도록 하는 방법으로, 입력된 복수의 가상현실영상을 별도의 파일로 생성하지 않고, 하나의 스트리밍영상 파일로 생성한다. 생성된 하나의 스트리밍영상에는 기준시간에 대한 정보가 포함될 수 있다.
도시하지는 않았지만 스트리밍영상생성부(220)는 가상현실영상이 재생되는 러닝타임을 분석하는 러닝타임분석부, 러닝타임 보다 작지 않게 기준시간을 생성하고 복수의 가상현실영상 각각에 기준시간을 할당하는 기준시간할당부, 복수의 가상현실영상에 매칭된 기준시간에 대한 정보를 저장하는 기준시간저장부를 포함할 수 있다.
스트리밍제공부(230)는 생성된 하나의 스트리밍영상을 가상현실영상재생장치에 스트리밍한다. 스트리밍영상을 생성할 때 복수의 가상현실영상에 할당된 기준시간은 스트리밍영상과 함께 가상현실영상재생장치에 제공될 수 있다. 스트리밍제공부(230)는 사용자의 시선이 변경되어 재생해야 할 가상현실영상이 달라지는 경우에도 하나의 스트리밍영상 내 기준시간을 점프하는 방법으로 스트리밍영상을 제공한다.
전환시점탐색부(240)는 가상현실영상재생장치에서 점프할 스트리밍시간을 직접 연산하지 않는 경우에 스트리밍시간을 연산하기 위한 구성이다. 전환시점탐색부(240)는 스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 싱크를 맞춘다. 바람직한 실시예에서 전환시점탐색부(240)는 스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 기준시간에 현재 재생 중인 가상현실영상의 플레이위치를 더하여 새롭게 재생할 가상현실영상의 싱크를 맞춘다.
도 4는 본 발명의 스트리밍영상의 구조에 대한 바람직한 실시예를 설명하기 위한 도면이다.
도 4에서 알 수 있듯이, 복수의 가상현실영상 V1, V2, V3는 각각 V1.mp4, V2.mp4, V3.mp4와 같이 각기 다른 파일로 생성되어 있다. 본 발명에서 스트리밍영상은 이를 기준시간(S1, S2, S3)을 중심으로 하나의 스트리밍영상으로 결합한다.
이를 위해 먼저 러닝타임분석부가 개별 가상현실영상이 재생되는 러닝타임을 분석한다. 복수의 가상현실영상은 하나의 원본영상으로부터 탄생한 것이므로 대부분의 케이스에서 개별 가상현실영상의 러닝타임은 동일할 것이다. 도 4의 실시예에서 복수의 가상현실영상 V1, V2, V3의 러닝타임은 각각 10분이라고 가정한다.
기준시간할당부는 러닝타임 보다 작지 않게 기준시간을 생성하고, 복수의 가상현실영상 각각에 기준시간을 할당한다.
바람직한 실시예에서 N개의 가상현실영상 중 m번째 가상현실영상의 기준시간은 아래와 같은 공식으로 산출될 수 있다.
STANDARD TIME m = RUNNING TIME * (m-1)
예를들어 V1의 기준시간 S1은 0, V2의 기준시간은 10분, V3의 기준시간은 20분으로 생성할 수 있다.
기준시간저장부는 복수의 가상현실영상에 매칭된 기준시간에 대한 정보를 저장한다.
도 5는 본 발명의 스트리밍영상에서 스트리밍시간을 점프하는 바람직한 실시예를 나타내기 위한 도면이다.
도 5에서 알 수 있듯이, 하나의 스트리밍영상(Vtotal.mp4)이 가상현실영상재생장치에 스트리밍되고 있다. 현재 재생 중인 가상현실영상은 V1이고, 플레이위치(t play)는 3분 30초라고 가정하자.
사용자의 시선이 변경되어 가상현실영상 V2를 재생해야한다고 판단되면, 가상현실영상 V2의 기준시간에 플레이위치(t play)를 더한 스트리밍시간으로 점프한다. 즉, 가상현실영상 V2의 기준시간 10분에 플레이위치(t play)인 3분 30초를 더한 13분 30초가 점프할 스트리밍시간이다.
본 발명은 이와 같이 스트리밍할 파일 자체를 바꾸는 것이 아니라 하나의 스트리밍 파일 내에서 재생되는 시간를 바꾸는 방법을 통해 종래기술의 문제점을 해결하였다. 쉽게 말해, 본 발명은 공간의 이동을 시간의 이동으로 치환하여 종래 기술의 문제를 해결하였다.
도 6은 본 발명의 가상현실영상재생방법의 바람직한 실시예를 나타내는 도면이다.
본 발명의 가상현실영상재생방법에서 복수의 가상현실영상은 가상현실을 구현하기 위해 생성된 하나의 원본영상으로부터 스티칭된 파일이다. 스트리밍영상은 각각의 가상현실영상 마다 할당된 기준시간을 기준으로 복수의 가상현실영상을 서로 다른 시간대에 배치한 하나의 파일이다. 기준시간은 하나의 스트리밍영상 내에서 특정 가상현실영상이 시작되는 기준점을 의미한다. 플레이위치는 재생 중인 가상현실영상이 어디까지 플레이되었는지를 의미한다. 예를들어 10분짜리 가상현실영상이 있고, 현재 3분 31초가 스트리밍 중이라면 플레이위치는 3분 31초가 된다. 본 발명에서 기준시간, 플레이위치(또는 플레이시간)라는 용어는 영상파일 내에서 특정 위치를 설명하기 위한 것이다. 따라서 이와 같은 개념에서 위 용어들은 기준프레임, 플레이프레임과 같은 용어로 치환될 수 있다. 즉, 시간을 프레임으로 보아도 무방하다.
본 발명의 가상현실영상재생방법은 사용자의 시선이 변경됨에 따라 다른 방향을 촬영한 가상현실영상을 재생해야할 때, 개별 가상현실영상이 시작되는 기준시간 및 플레이위치를 더한 스트리밍시간을 이용하여 스트리밍영상의 스트리밍시간을 점프하는 방법을 채택함으로서, 하나의 스트리밍영상을 스트리밍 받더라도 복수의 가상현실영상을 재생할 수 있다.
도 6에서 알 수 있듯이, 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받은 가상현실영상재생장치가 아래와 같은 가상현실영상재생방법을 구현한다.
동일한 시간에 동일한 지점에서 서로 다른 방향으로 촬영한 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받는다(S1100).
현재 사용자의 시선에 대응되는 가상현실영상을 재생하며, 재생 중인 가상현실영상의 플레이위치를 확인한다(S1200).
스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 기준시간에 현재 재생 중인 가상현실영상의 플레이위치를 더하여 새롭게 재생할 가상현실영상의 싱크를 맞춘다(S1300).

Claims (6)

  1. 복수의 가상현실영상을 재생하는 가상현실영상재생장치로서,
    동일한 시간에 동일한 지점에서 서로 다른 방향으로 촬영한 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받는 스트리밍영상입력부;
    스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 기준시간에 현재 재생 중인 가상현실영상의 플레이위치를 더하여 새롭게 재생할 가상현실영상의 싱크를 맞추는 스트리밍시간연산부; 및
    스트리밍된 스트리밍영상을 디스플레이장치에 재생하는 영상재생부;를 포함하고,
    상기 복수의 가상현실영상은 가상현실을 구현하기 위해 생성된 하나의 원본영상으로부터 스티칭된 파일이고,
    상기 스트리밍영상은 각각의 가상현실영상 마다 할당된 기준시간을 기준으로 복수의 가상현실영상을 서로 다른 시간대에 배치한 하나의 파일이고,
    상기 가상현실영상재생장치는 사용자의 시선이 변경됨에 따라 다른 방향을 촬영한 가상현실영상을 재생해야할 때, 개별 가상현실영상이 시작되는 기준시간을 이용하여 스트리밍영상의 스트리밍시간을 점프하는 방법으로, 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 것을 특징으로 하는,
    하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치.
  2. 복수의 가상현실영상을 재생하는 가상현실영상재생장치로서,
    동일한 시간에 다른 방향을 촬영한 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받는 스트리밍영상입력부;
    스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 싱크를 맞추는 스트리밍시간연산부; 및
    스트리밍된 스트리밍영상을 디스플레이장치에 재생하는 영상재생부;를 포함하고,
    상기 스트리밍영상은 각각의 가상현실영상 마다 할당된 기준시간을 기준으로 복수의 가상현실영상을 서로 다른 시간대에 배치한 하나의 파일이고
    상기 스트리밍시간연산부는 스트리잉영상에 포함된 제1가상현실영상 및 제2가상현실영상을 사용자의 시선에 따라 택일적으로 재생할 때 아래와 같은 방법으로 싱크를 맞추는 것인,
    1) 제1가상현실영상을 재생해야 할 때, 제1가상현실영상이 시작되는 제1기준시간에, 현재 재생 중인 가상현실영상의 플레이위치를 더한 스트리밍시간으로 점프하고,
    2) 제2가상현실영상을 재생해야할 때, 제2가상현실영상이 시작되는 제2기준시간에, 현재 재생 중인 가상현실영상의 플레이위치를 더한 스트리밍시간으로 점프하는 것인,
    하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치.
  3. 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받은 가상현실영상재생장치가
    (a) 동일한 시간에 다른 방향을 촬영한 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받는 단계;
    (b) 현재 사용자의 시선에 대응되는 가상현실영상을 재생하며, 재생 중인 가상현실영상의 플레이위치를 확인하는 단계; 및
    (c) 스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 기준시간에 현재 재생 중인 가상현실영상의 플레이위치를 더하여 새롭게 재생할 가상현실영상의 싱크를 맞추는 단계'를 포함하고,
    하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생방법.
  4. 가상현실을 구현하기 위해 생성된 하나의 원본영상으로부터 스티칭된 파일이며, 원본영상의 동일한 시간에 다른 방향을 촬영한 복수의 가상현실영상을 입력받는 영상입력부;
    개별 가상현실영상 마다 서로 다른 기준시간을 할당하고, 기준시간을 중심으로 복수의 가상현실영상이 서로 다른 시간대에 배치되도록 하는 방법으로, 입력된 복수의 가상현실영상을 별도의 파일로 생성하지 않고, 하나의 스트리밍영상 파일로 생성하는 스트리밍영상생성부; 및
    생성된 하나의 스트리밍영상을 가상현실영상재생장치에 스트리밍하는 스트리밍제공부를 포함하고,
    상기 스트리밍제공부는 사용자의 시선이 변경되어 재생해야할 가상현실영상이 달라지는 경우에도 하나의 스트리밍영상 내 기준시간을 점프하는 방법으로 스트리밍영상을 제공하는 것을 특징으로 하는,
    하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상제공서버.
  5. 제1항에 있어서,
    상기 영상재생부는
    복수의 가상현실영상에 포함된 광역영상을 재생하는 광역영상재생부; 및
    복수의 가상현실영상에 포함된 패치영상을 광역영상 위에 오버랩하여 재생하는 패치영상재생부를 포함하고,
    패치영상은 광역영상의 일부 영역을 다른 화질로 표현한 영상인 것인,
    하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치.
  6. 제1항에 있어서,
    상기 영상재생부는
    복수의 가상현실영상에 포함된 분할영상을 서로 오버랩되도록 재생하는 복수의 분할영상재생부를 포함하고,
    분할영상은 하나의 원본영상을 N개의 영역으로 분할한 영상이고, 소정의 영역이 서로 중첩되는 것인,
    하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치.
PCT/KR2020/017142 2019-11-28 2020-11-27 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법 WO2021107703A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080019248.6A CN113545097B (zh) 2019-11-28 2020-11-27 利用一个流影像来播放多个虚拟现实影像的虚拟现实影像播放装置及方法
US17/464,922 US11325032B2 (en) 2019-11-28 2021-09-02 Virtual reality image playing device and method for playing multiple virtual reality images by using one streaming image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190155779A KR102295264B1 (ko) 2019-11-28 2019-11-28 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법
KR10-2019-0155779 2019-11-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/464,922 Continuation US11325032B2 (en) 2019-11-28 2021-09-02 Virtual reality image playing device and method for playing multiple virtual reality images by using one streaming image

Publications (1)

Publication Number Publication Date
WO2021107703A1 true WO2021107703A1 (ko) 2021-06-03

Family

ID=76128711

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/017142 WO2021107703A1 (ko) 2019-11-28 2020-11-27 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법

Country Status (4)

Country Link
US (1) US11325032B2 (ko)
KR (1) KR102295264B1 (ko)
CN (1) CN113545097B (ko)
WO (1) WO2021107703A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024100393A1 (en) * 2022-11-08 2024-05-16 Virtex Entertainment Limited Apparatus and methods for virtual events

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110119063A (ko) * 2010-04-26 2011-11-02 케이티하이텔 주식회사 멀티 프레임 영상의 프레임 전환 재생 장치 및 방법
KR20170123656A (ko) * 2015-05-27 2017-11-08 구글 엘엘씨 구면 영상 스트리밍
US20170352191A1 (en) * 2016-06-07 2017-12-07 Visbit Inc. Virtual Reality 360-Degree Video Camera System for Live Streaming
KR20180038256A (ko) * 2016-10-06 2018-04-16 주식회사 케이티 Vr 스트림의 지연을 보상하는 방법 및 시스템
KR20190065838A (ko) * 2017-12-04 2019-06-12 주식회사 케이티 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6025065B2 (ja) * 2011-09-13 2016-11-16 パナソニックＩｐマネジメント株式会社 符号化装置、復号装置、再生装置、符号化方法、及び復号方法
JP2013211776A (ja) * 2012-03-30 2013-10-10 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
US10419737B2 (en) * 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US9858706B2 (en) * 2015-09-22 2018-01-02 Facebook, Inc. Systems and methods for content streaming
KR20180059285A (ko) * 2016-11-25 2018-06-04 주식회사 케이티 가상현실 영상을 제공하는 미디어 재생 장치 및 영상 제공 서버
KR102606976B1 (ko) * 2017-02-15 2023-11-29 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 데이터 송수신 방법
CN107040794A (zh) * 2017-04-26 2017-08-11 盯盯拍（深圳）技术股份有限公司 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统
CN109996055B (zh) * 2017-12-06 2022-08-12 杜比实验室特许公司 位置零时延

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110119063A (ko) * 2010-04-26 2011-11-02 케이티하이텔 주식회사 멀티 프레임 영상의 프레임 전환 재생 장치 및 방법
KR20170123656A (ko) * 2015-05-27 2017-11-08 구글 엘엘씨 구면 영상 스트리밍
US20170352191A1 (en) * 2016-06-07 2017-12-07 Visbit Inc. Virtual Reality 360-Degree Video Camera System for Live Streaming
KR20180038256A (ko) * 2016-10-06 2018-04-16 주식회사 케이티 Vr 스트림의 지연을 보상하는 방법 및 시스템
KR20190065838A (ko) * 2017-12-04 2019-06-12 주식회사 케이티 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024100393A1 (en) * 2022-11-08 2024-05-16 Virtex Entertainment Limited Apparatus and methods for virtual events

Also Published As

Publication number Publication date
US20210394055A1 (en) 2021-12-23
CN113545097B (zh) 2023-07-04
KR20210066485A (ko) 2021-06-07
CN113545097A (zh) 2021-10-22
KR102295264B1 (ko) 2021-08-30
US11325032B2 (en) 2022-05-10

Similar Documents

Publication Publication Date Title
JP4360905B2 (ja) リアルタイムスライドプレゼンテーションのマルチメディアデータオブジェクト、ならびにマルチメディアデータオブジェクトを記録し閲覧するシステムおよび方法
WO2010095835A2 (ko) 영상 처리 방법 및 장치
WO2013141522A1 (ko) 가라오케 댄싱 게임
US7173672B2 (en) System and method for transitioning between real images and virtual images
WO2018169367A1 (en) Method and apparatus for packaging and streaming of virtual reality media content
WO2015076537A1 (ko) 동영상 제공 방법 및 동영상 제공 시스템
WO2011005025A2 (en) Signal processing method and apparatus therefor using screen size of display device
WO2011108868A2 (en) Apparatus and method for recording and playing a media file, and a recording medium therefor
WO2018182190A1 (en) Use of earcons for roi identification in 360-degree video
WO2023234532A1 (ko) 버추얼 프로덕션의 데이터 기록 방법, 장치 및 시스템
WO2021107703A1 (ko) 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법
WO2020004967A1 (ko) 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 가상현실영상생성방법
WO2016190472A1 (ko) 크로마키를 이용한 증강현실 영상 제작 장치 및 방법
WO2018124794A1 (ko) 카메라워크 기반 영상합성 시스템 및 영상합성방법
US20030030658A1 (en) System and method for mixed reality broadcast
WO2010150961A1 (ko) 3차원 영상 제공 장치, 표시 장치 및 그 방법
WO2016114462A1 (ko) 동영상 파일의 블록 조합을 위한 사용자 인터페이스 방법
CN113938617A (zh) 一种多路视频显示方法、设备、网络摄像机及存储介质
WO2018159981A1 (ko) 가상현실영상 재생방법 및 이를 이용한 프로그램
WO2020159304A1 (ko) 가상현실을 표현하는 분할영상 사이의 전환시점을 제어하여 프레임 동기화를 구현하는 가상현실 영상전환방법 및 가상현실 영상재생장치
WO2022239988A1 (ko) 댄스 매칭 방법 및 시스템
WO2021107708A1 (ko) 복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 장치 및 방법
WO2022203212A2 (ko) 프로젝터를 활용한 동영상 촬영을 위한 장치 및 방법
WO2015037761A1 (ko) 멀티앵글영상서비스 제공 방법 및 시스템
WO2022025449A1 (ko) 물리 공간 상의 가상 공간 할당 및 분할을 통한 수요층 할당 및 리워딩 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20893008

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20893008

Country of ref document: EP

Kind code of ref document: A1