KR20210066485A - 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법 - Google Patents

하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법 Download PDF

Info

Publication number
KR20210066485A
KR20210066485A KR1020190155779A KR20190155779A KR20210066485A KR 20210066485 A KR20210066485 A KR 20210066485A KR 1020190155779 A KR1020190155779 A KR 1020190155779A KR 20190155779 A KR20190155779 A KR 20190155779A KR 20210066485 A KR20210066485 A KR 20210066485A
Authority
KR
South Korea
Prior art keywords
image
virtual reality
streaming
images
time
Prior art date
Application number
KR1020190155779A
Other languages
English (en)
Other versions
KR102295264B1 (ko
Inventor
차동우
정태식
Original Assignee
주식회사 알파서클
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 알파서클 filed Critical 주식회사 알파서클
Priority to KR1020190155779A priority Critical patent/KR102295264B1/ko
Priority to CN202080019248.6A priority patent/CN113545097B/zh
Priority to PCT/KR2020/017142 priority patent/WO2021107703A1/ko
Publication of KR20210066485A publication Critical patent/KR20210066485A/ko
Application granted granted Critical
Publication of KR102295264B1 publication Critical patent/KR102295264B1/ko
Priority to US17/464,922 priority patent/US11325032B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/49—Saving the game status; Pausing or ending the game
    • A63F13/497—Partially or entirely replaying previous game actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/63—Methods for processing data by generating or executing the game program for controlling the execution of the game in time
    • A63F2300/634—Methods for processing data by generating or executing the game program for controlling the execution of the game in time for replaying partially or entirely the game actions since the beginning of the game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 동일한 시간에 동일한 지점에서 서로 다른 방향으로 촬영한 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받는 스트리밍영상입력부, 스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 기준시간에 현재 재생 중인 가상현실영상의 플레이위치를 더하여 새롭게 재생할 가상현실영상의 싱크를 맞추는 스트리밍시간연산부, 및 스트리밍된 스트리밍영상을 디스플레이장치에 재생하는 영상재생부를 포함하고, 상기 가상현실영상재생장치는 사용자의 시선이 변경됨에 따라 다른 방향을 촬영한 가상현실영상을 재생해야할 때, 개별 가상현실영상이 시작되는 기준시간을 이용하여 스트리밍영상의 스트리밍시간을 점프하는 방법으로, 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 것을 특징으로 하는, 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치를 제공한다.

Description

하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법 {APPARATURS AND METHOD FOR PLAYING VR VIDEO USING SINGLE STREAMING VIDEO}
본 발명은 가상현실재생장치 및 방법에 대한 것이다.
종래 가상현실(Virtual Reality)영상을 기술에서 360° 전 방위를 커버하는 원본영상을 스티칭(stitching)하기 위해서는, 복수의 카메라를 이용하여 복수의 가상현실영상을 촬영해야 했다.
이렇게 촬영된 복수의 가상현실영상은 동일한 시간에 서로 다른 영역을 촬연한 영상이다. 따라서, 사용자의 시선이 다른 영역으로 이동하여 재생 중인 가상현실영상이 더 이상 해당 영역을 커버할 수 없는 상황이 오면, 종전에 재생하던 가상현실영상이 아닌 새로운 가상현실영상을 재생해야 했다.
그러나, 이와 같은 종래기술은 먼저 서버에 복수의 가상현실영상을 저장해야하고, 사용자의 시선이 변경됨에 따라 시선에 대응하는 가상현실영상을 새롭게 전송해야하기 때문에 서버에 부담이 증가한다는 문제가 있었다.
뿐만 아니라 파일이 바뀌어 스트리밍되는 사이에 싱크를 맞추기 쉽기 않았고, 가상현실재생장치에 딜레이가 발생하여 문제되었다.
이에 본 발명의 발명자는 그런 문제점을 해결하기 위해서 오랫동안 연구하고 시행착오를 거치며 개발한 끝에 본 발명을 완성하기에 이르렀다.
본 발명은 이와 같은 문제점을 해결하기 위하여 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 스트리밍한다.
본 발명은 복수의 가상현실영상을 하나의 스트리밍영상으로 결합함으로서, 공간의 변화를 시간의 변화로 치환한다. 즉, 공간의 변화에 따라 스트리밍되는 파일을 변경할 때의 문제를 하나의 파일 내에서 시간의 변화를 이용하여 해결하고자 한다.
한편, 복수의 가상현실영상은 원본영상의 전체 또는 일부를 스티칭하여 생성한 광역영상, 광역영상보다 좁은 영역을 스티칭하여 생성한 패치영상을 포함한다. 따라서, 사용자는 패치영상에 해당하는 영역을 볼 때 고화질의 영상을 시청하게 된다.
또한, 복수의 가상현실영상은 원본영상을 N개로 분할한 복수의 분할영상을 포함한다. 복수의 분할영상은 서로 중첩되지 않거나, 또는 의도적으로 일정 영역이 중첩될 수 있다.
해상도가 동일하다고 가정할 때 원본영상의 전체를 스티칭한 영상보다 일부를 스티칭한 영상의 화질이 더 고화질이다. 따라서, 분할영상은 고화질의 영상을 제작하는데 더 유리하다.
본 발명은 동기화되어 재생되는 광역영상, 패치영상, 분할영상 이외에 비동기화되어 재생되는 콘텐츠를 더 포함할 수 있다. 이하에서 이를 비동기콘텐츠라 호칭한다. 가상현실영상을 제작하는 제작자는 비동기콘텐츠를 복수의 가상현실영상 중 어느 하나 위에 표현함으로서 보다 다양한 표현방식을 구현할 수 있다.
한편, 본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 것이다.
본 발명의 제1국면은 복수의 가상현실영상을 재생하는 가상현실영상재생장치로서,
동일한 시간에 동일한 지점에서 서로 다른 방향으로 촬영한 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받는 스트리밍영상입력부;
스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 기준시간에 현재 재생 중인 가상현실영상의 플레이위치를 더하여 새롭게 재생할 가상현실영상의 싱크를 맞추는 스트리밍시간연산부; 및
스트리밍된 스트리밍영상을 디스플레이장치에 재생하는 영상재생부;를 포함하고,
상기 복수의 가상현실영상은 가상현실을 구현하기 위해 생성된 하나의 원본영상으로부터 스티칭된 파일이고,
상기 스트리밍영상은 각각의 가상현실영상 마다 할당된 기준시간을 기준으로 복수의 가상현실영상을 서로 다른 시간대에 배치한 하나의 파일이고,
상기 가상현실영상재생장치는 사용자의 시선이 변경됨에 따라 다른 방향을 촬영한 가상현실영상을 재생해야할 때, 개별 가상현실영상이 시작되는 기준시간을 이용하여 스트리밍영상의 스트리밍시간을 점프하는 방법으로, 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 것을 특징으로 하는, 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치를 제공한다.
본 발명의 제2국면은 복수의 가상현실영상을 재생하는 가상현실영상재생장치로서,
동일한 시간에 다른 방향을 촬영한 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받는 스트리밍영상입력부;
스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 싱크를 맞추는 스트리밍시간연산부; 및
스트리밍된 스트리밍영상을 디스플레이장치에 재생하는 영상재생부;를 포함하고,
상기 스트리밍영상은 각각의 가상현실영상 마다 할당된 기준시간을 기준으로 복수의 가상현실영상을 서로 다른 시간대에 배치한 하나의 파일이고
상기 스트리밍시간연산부는 스트리잉영상에 포함된 제1가상현실영상 및 제2가상현실영상을 사용자의 시선에 따라 택일적으로 재생할 때 아래와 같은 방법으로 싱크를 맞추는 것인,
1) 제1가상현실영상을 재생해야 할 때, 제1가상현실영상이 시작되는 제1기준시간에, 현재 재생 중인 가상현실영상의 플레이위치를 더한 스트리밍시간으로 점프하고,
2) 제2가상현실영상을 재생해야할 때, 제2가상현실영상이 시작되는 제2기준시간에, 현재 재생 중인 가상현실영상의 플레이위치를 더한 스트리밍시간으로 점프하는 것인, 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치를 제공한다.
본 발명의 제3국면은 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받은 가상현실영상재생장치가
(a) 동일한 시간에 다른 방향을 촬영한 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받는 단계;
(b) 현재 사용자의 시선에 대응되는 가상현실영상을 재생하며, 재생 중인 가상현실영상의 플레이위치를 확인하는 단계; 및
(c) 스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 기준시간에 현재 재생 중인 가상현실영상의 플레이위치를 더하여 새롭게 재생할 가상현실영상의 싱크를 맞추는 단계'를 포함하는, 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생방법을 제공한다.
본 발명의 제4국면은 가상현실을 구현하기 위해 생성된 하나의 원본영상으로부터 스티칭된 파일이며, 원본영상의 동일한 시간에 다른 방향을 촬영한 복수의 가상현실영상을 입력받는 영상입력부;
개별 가상현실영상 마다 서로 다른 기준시간을 할당하고, 기준시간을 중심으로 복수의 가상현실영상이 서로 다른 시간대에 배치되도록 하는 방법으로, 입력된 복수의 가상현실영상을 별도의 파일로 생성하지 않고, 하나의 스트리밍영상 파일로 생성하는 스트리밍영상생성부; 및
생성된 하나의 스트리밍영상을 가상현실영상재생장치에 스트리밍하는 스트리밍제공부를 포함하고,
상기 스트리밍제공부는 사용자의 시선이 변경되어 재생해야할 가상현실영상이 달라지는 경우에도 하나의 스트리밍영상 내 기준시간을 점프하는 방법으로 스트리밍영상을 제공하는 것을 특징으로 하는, 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상제공서버를 제공한다.
바람직한 실시예에 있어서, 상기 영상재생부는
복수의 가상현실영상에 포함된 광역영상을 재생하는 광역영상재생부; 및
복수의 가상현실영상에 포함된 패치영상을 광역영상 위에 오버랩하여 재생하는 패치영상재생부를 포함하고,
패치영상은 광역영상의 일부 영역을 다른 화질로 표현한 영상일 수 있다.
바람직한 실시예에 있어서, 상기 영상재생부는
복수의 가상현실영상에 포함된 분할영상을 서로 오버랩되도록 재생하는 복수의 분할영상재생부를 포함하고,
분할영상은 하나의 원본영상을 N개의 영역으로 분할한 영상이고, 소정의 영역이 서로 중첩되는 것일 수 있다.
본 발명은 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 스트리밍할 수 있는 효과가 있다. 하나의 스트리밍영상으로 모든 영역, 공간, 시야각에 대응되는 가상현실영상을 재생할 수 있으므로, 서버의 부담이 감소하고, 복수의 가상현실영상 파일을 재생할 때 싱크를 맞추는 노력이 필요없는 효과가 있다.
즉, 본 발명은 복수의 가상현실영상을 하나의 스트리밍영상으로 결합하고, 사용자의 시선이 변하더라도 파일을 바꾸어 재생하는 것이 아니라 하나의 파일 내에서 스트리밍되는 시간만을 변경하여 대응한다. 이와 같이 본 발명은 공간의 변화를 시간의 변화로 치환하는 기술을 제공함으로서 종래기술에서 언급한 기술적 불이익을 해소하는 효과가 있다.
한편, 본 발명은 광역영상 위에 동기화된 패치영상을 재생할 수 있다. 제작자는 원본영상 중 필요한 부분을 선택하여 패치영상으로 제작할 수 있고, 패치영상을 광역영상보다 고화질로 제작할 수 있다. 따라서, 예를들어 공연, 강의와 같이 전면부에 시선이 주로 머무르는 가상현실콘텐츠를 제작할 때 일부의 영역만을 고화질의 패치영상으로 생성할 수 있는 효과가 있다.
또한, 본 발명은 원본영상을 N개로 분할한 분할영상을 생성할 수 있다. 분할된 N개의 분할영상은 서로 다른 화질일 수 있다. 따라서, 이 경우에도 예를들어 공연, 강의와 같이 전면부에 시선이 주로 머무르는 가상현실콘텐츠를 제작할 때 일부의 영역만을 고화질의 분할영상으로 생성할 수 있는 효과가 있다.
또한, 본 발명은 동기화되어 재생되는 광역영상, 패치영상, 분할영상 이외에 비동기화되어 재생되는 콘텐츠를 더 포함할 수 있다. 가상현실영상을 제작하는 제작자는 비동기콘텐츠를 복수의 가상현실영상 중 어느 하나 위에 표현함으로서 보다 다양한 표현방식을 구현할 수 있다. 예를들어, 사용자의 시선이 비동기콘텐츠가 배치된 영역을 바라보면, 재생 중이던 복수의 가상현실영상과 무관한 별도의 비동기콘텐츠가 활성화된다. 비동기콘텐츠는 영상뿐만 아니라 소정의 동작, 이벤트팝업과 같은 다양한 콘텐츠일 수 있다.
한편, 여기에서 명시적으로 언급되지 않은 효과라하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급됨을 첨언한다.
도 1은 본 발명의 광역영상과 패치영상, 복수의 분할영상의 컨셉을 설명하기 위한 도면이다.
도 2는 본 발명의 분할영상의 다른 실시예를 설명하기 위한 도면이다.
도 3은 본 발명의 가상현실영상재생시스템의 바람직한 실시예를 나타내기 위한 도면이다.
도 4는 본 발명의 스트리밍영상의 구조에 대한 바람직한 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 스트리밍영상에서 스트리밍시간을 점프하는 바람직한 실시예를 나타내기 위한 도면이다.
도 6은 본 발명의 가상현실영상재생방법의 바람직한 실시예를 나타내는 도면이다.
※ 첨부된 도면은 본 발명의 기술사상에 대한 이해를 위하여 참조로서 예시된 것임을 밝히며, 그것에 의해 본 발명의 권리범위가 제한되지는 아니한다.
본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.
본 발명에서 복수의 가상현실영상은 원본영상으로부터 스티칭된 영상으로, 광역영상, 패치영상, 분할영상을 포함하는 개념이다.
도 1은 본 발명의 광역영상과 패치영상, 복수의 분할영상의 컨셉을 설명하기 위한 도면이다.
도 1의 (a)를 이용하여 본 발명의 광역영상과 패치영상에 대한 개념을 설명한다. 360도의 가상현실영역(10) 전체를 구로 표현한다고 가정했을 때 광역영상(V0)은 360도의 가상현실영역(10) 전체 또는 패치영상보다 넓은 영역을 표현하는 영상이다. 이하에서 편의상 광역영상은 가상현실영역의 전체를 커버하는 것으로 설명하지만 반드시 이에 한정되는 것은 아니다. 광역영상(V0)은 항시 재생되는 것이 원칙이다.
패치영상(V1~3)은 360도의 가상현실영역(10) 일부를 표현하는 영상이다. 패치영상(V1~3)은 커버하는 영역이 서로 다를 수 있고, 면적이 다를 수 있고, 화질도 서로 다를 수 있다. 예를들어, 제1패치영상(V1)은 전면부의 상하 일부영역을 커버하는 고화질의 영상일 수 있다. 가상현실 콘텐츠가 뮤지컬이라면 제1패치영상(V1)은 뮤지컬의 무대를 커버하는 영역일 수 있다. 제2패치영상(V2)은 후면부 상단 일부영역을 커버하는 영상이고, 제3패치영상(V3)은 후면부 하단 일부영역을 커버하는 영상일 수 있다.
패치영상(V1~3)은 광역영상(V0) 위에 오버랩되어 또는 패치되어(patched) 재생된다. 따라서, 재생되는 패치영상(V1~3) 중 어느 하나를 필요에 따라 오프(off)하더라도 뒤에 광역영상(V0)이 재생되고 있으므로 영상에 공백이 발생하지 않는다.
패치영상(V1~3)은 광역영상(V0)과 동기화되어 재생된다. 패치영상(V1~3)은 광역영상(V0)의 동기화가 구현되지 않으면 사용자에게 어지러움을 유발할 수 있기 때문이다.
비동기콘텐츠(V4)는 복수의 가상현실영상과 무관하게 제작자의 의도에 의해 임의로 삽입된 콘텐츠를 의미한다. 비동기콘텐츠(V4)는 동영상일 수도 있고 특정한 이벤트 동작일 수도 있다. 내용 상 광고일 수도 있고, 가상현실영상과 연관된 이벤트일 수 있다.
비동기콘텐츠(V4)는 복수의 가상현실영상과 동기화되지 않는다. 즉, 패치영상(V1~3)과 광역영상(V0)의 싱크와 무관하게 별도의 트리거정보에 의해 재생되거나 동작한다. 바람직한 실시예에서 트리거정보는 사용자의 시선이 비동기콘텐츠(V4)의 위치를 바라보는지 여부에 관한 정보를 포함한다.
도 1의 (b)를 이용하여 본 발명의 분할영상(V1~N)에 대한 개념을 설명한다(N은 1보다 큰 자연수).
일 실시예에서 분할영상(V1~N)은 하나의 원본영상을 서로 중첩되지 않는 N개의 영역으로 분할한 영상일 수 있다. 복수의 분할영상(V1~N)은 서로 다른 크기일 수 있고, 서로 다른 화질일 수 있다.
복수의 분할영상(V1~N)은 서로 동기화되어 재생된다. 복수의 분할영상(V1~N) 중 일부는 필요에 따라 오프(off)될 수 있다. 도시하지 않았지만, 분할영상(V1~N)의 일정 영역에는 비동기콘텐츠(V4)가 표시될 수 있다.
도 2는 본 발명의 분할영상의 다른 실시예를 설명하기 위한 도면이다.
다른 실시예에서 분할영상(V1~N)은 서로 소정의 영역만큼 중첩될 수 있다. 복수의 분할영상(V1~N)은 서로 동기화되어 재생된다. 이때 중첩되는 분할영상은 서로 오버랩되어 재생된다. 복수의 분할영상(V1~N) 중 일부는 필요에 따라 오프(off)될 수 있다.
예를들어, 180도를 커버하는 분할영상 4개가 서로 90도씩 중첩될 수 있다(V1은 270~90도, V2는 0~180도, V3는 90~270도, V4는 180~360도). 시선좌표가 45도인 경우, V1과 V2 중 어느 하나가 온(On)되고 V3과 V4는 오프(Off) 될 수 있다.
이와 같이 분할영상을 중첩시키면 재생되는 분할영상의 수를 감소시킬 수 있다. 당연히 동기화해야할 분할영상의 수도 감소된다. 따라서, 시스템의 부담이 감소된다.
또한, 분할영상을 중첩시키면 사용자의 시선이 급격하게 변동될 때 분할영상 중 사용자의 시선에 따른 분할영상의 온오프(on/off)동작을 타이트하게 제어하지 않아도 되는 장점이 있다. 예를들어, V1을 오프하더라도 V2가 V1이 커버하던 영역 중 일부인 0~90도 사이의 영역을 커버하기 때문에 분할영상의 온오프(on/off)동작이 지체되더라도 시야에 공백(사용자의 시선에 아무것도 표시되지 않는 실패상황)이 발생할 확률이 낮아지기 때문이다. 한편, 광역영상과 패치영상의 실시예와 분할영상의 실시예는 서로 혼합될 수 있다. 예를들어, 복수의 분할영상의 일부에 패치영상이 재생될 수도 있다. 이 경우 패치영상이 오버랩되는 분할영상은 광역영상으로 이해될 것이다.
도 3은 본 발명의 가상현실영상재생시스템의 바람직한 실시예를 나타내기 위한 도면이다.
도 3에서 알 수 있듯이, 본 발명의 가상현실영상재생시스템은 가상현실영상재생장치(100) 및 가상현실영상제공서버(200)를 포함한다.
본 발명의 가상현실영상재생장치(100)는 가상현실영상제공서버(200)로부터 스트리밍영상을 스트리밍 받아, 사용자에게 가상현실영상을 재생하는 장치이다. 바람직한 실시예에 있어서, 가상현실영상재생장치(100)는 스마트폰 등을 포함하는 스마트단말, 사용자의 헤드에 착용하는 웨어러블장치일 수 있으나 반드시 이에 한정되는 것은 아니다.
본 발명에서 복수의 가상현실영상은 가상현실을 구현하기 위해 생성된 하나의 원본영상으로부터 스티칭된 파일이다. 스트리밍영상은 각각의 가상현실영상 마다 할당된 기준시간을 기준으로 복수의 가상현실영상을 서로 다른 시간대에 배치한 하나의 파일이다.
본 발명에서 기준시간은 하나의 스트리밍영상 내에서 특정 가상현실영상이 시작되는 기준점을 의미한다. 플레이위치는 재생 중인 가상현실영상이 어디까지 플레이되었는지를 의미한다. 예를들어 10분짜리 가상현실영상이 있고, 현재 3분 31초가 스트리밍 중이라면 플레이위치는 3분 31초가 된다.
본 발명에서 기준시간, 플레이위치(또는 플레이시간)라는 용어는 영상파일 내에서 특정 위치를 설명하기 위한 것이다. 따라서 이와 같은 개념에서 위 용어들은 기준프레임, 플레이프레임과 같은 용어로 치환될 수 있다. 즉, 시간을 프레임으로 보아도 무방하다.
본 발명의 가상현실영상재생장치(100)는 사용자의 시선이 변경됨에 따라 다른 방향을 촬영한 가상현실영상을 재생해야할 때, 개별 가상현실영상이 시작되는 기준시간을 이용하여 스트리밍영상의 스트리밍시간을 점프하는 방법을 채택함으로서, 하나의 스트리밍영상을 스트리밍 받더라도 충분히 복수의 가상현실영상을 재생할 수 있다.
이를 보다 구체적으로 설명하면 다음과 같다. 바람직한 실시예에서 가상현실영상재생장치(100)는 스트리밍영상입력부(110), 스트리밍시간연산부(120), 영상재생부(130), 시선변경탐지부(140)를 포함할 수 있다.
스트리밍영상입력부(110)는 하나의 스트리밍영상을 스트리밍받는다.
종래에 서로 다른 방향을 촬영한 복수의 가상현실영상을 스트리밍할 때에는, 서버에서 복수의 가상현실영상을 저장해두었다가, 사용자의 시선이 바뀔 때마다 새로운 가상현실영상 파일을 바꾸어 스트리밍해야했기 때문에, 서버 측 부담이 컷다. 뿐만 아니라 파일이 바뀌어 스트리밍되는 사이에 가상현실재생장치에 딜레이가 발생하여 문제되었다.
그러나, 본 발명의 스트리밍영상입력부(110)는 동일한 시간에 동일한 지점에서 서로 다른 방향으로 촬영한 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받으므로 이러한 문제를 해결하였다. 즉, 하나의 스트리밍영상 내부의 시간대를 달리하여 복수의 가상현실영상을 이어 붙임으로서, 다른 가상현실영상을 재생해야하는 상황에 이르더라도 스트리밍 중인 파일을 변경하는 번거로움 없이, 해당 스트리밍영상에서 재생되는 시간을 점프하는 것만으로 대응할 수 있다.
스트리밍시간연산부(120)는 스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 싱크를 맞춘다. 바람직한 실시예에서 스트리밍시간연산부(120)는 스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 기준시간에 현재 재생 중인 가상현실영상의 플레이위치를 더하여 새롭게 재생할 가상현실영상의 싱크를 맞춘다.
이를 좀 더 구체적으로 설명하면 다음과 같다. 스트리밍시간연산부(120)는 스트리잉영상에 포함된 제1가상현실영상 및 제2가상현실영상을 사용자의 시선에 따라 택일적으로 재생할 때 아래와 같은 방법으로 싱크를 맞출 수 있다.
1) 제1가상현실영상을 재생해야 할 때, 제1가상현실영상이 시작되는 제1기준시간에, 현재 재생 중인 가상현실영상의 플레이위치를 더한 스트리밍시간으로 점프한다.
2) 제2가상현실영상을 재생해야할 때, 제2가상현실영상이 시작되는 제2기준시간에, 현재 재생 중인 가상현실영상의 플레이위치를 더한 스트리밍시간으로 점프한다.
다만, 본 발명의 다른 실시예에서 스트리밍시간연산부는 가상현실영상재생장치에서 제외될 수 있다. 즉, 가상현실영상재생장치가 직접 점프할 스트리밍시간을 연산하지 않고, 가상현실영상제공서버에서 이를 수행할 수 있다.
영상재생부(130)는 스트리밍된 스트리밍영상을 디스플레이장치에 재생한다.
시선변경탐지부(140)는 사용자의 시선방향을 추적한다. 이를 위해 시선변경탐지부(140)는 가속도센서, 기울기센서 등을 포함할 수 있다.
시선변경탐지부(140)는 사용자의 시선방향을 탐지하여, 재생되는 가상현실영상을 변경해야하는지 여부를 결정할 수 있다. 만약 사용자의 시선이 현재 재생 중인 가상현실영상의 공간(또는 화각)을 벗어나는 경우라면 이를 스트리밍시간연산부에 제공하여, 스트리밍시간연산부가 스트리밍시간을 점프하도록 한다.
한편, 다른 실시예에서 시선변경탐지부(140)는 사용자의 시선방향을 추적하여, 추적한 결과를 가상현실영상제공서버에 전달할 수 있다. 이와 같은 실시예에서 점프할 스트리밍시간은 가상현실영상제공서버에서 산출하게 된다.
그 밖에 본 발명의 가상현실영상재생장치(100)는 스트리밍영상을 수신하기 위한 통신부 등과 같은 구성을 더 포함할 수 있다.
가상현실영상제공서버(200)는 복수의 가상현실영상을 결합하여 하나의 스트리밍영상을 생성하고, 이를 가상현실영상재생장치로 스트리밍한다. 다른 실시예에서 스트리밍영상을 생성하는 서버와 실제 스트리밍영상을 스트리밍하는 서버는 서로 물리적으로 다른 서버일 수 있다.
가상현실영상제공서버(200)는 영상입력부(210), 스트리밍영상생성부(220), 스트리밍제공부(230), 전환시점탐색부(240)를 포함할 수 있다.
영상입력부(210)는 가상현실을 구현하기 위해 생성된 하나의 원본영상으로부터 스티칭된 파일이며, 원본영상의 동일한 시간에 다른 방향을 촬영한 복수의 가상현실영상을 입력받는다.
스트리밍영상생성부(220)는 개별 가상현실영상 마다 서로 다른 기준시간을 할당하고, 기준시간을 중심으로 복수의 가상현실영상이 서로 다른 시간대에 배치되도록 하는 방법으로, 입력된 복수의 가상현실영상을 별도의 파일로 생성하지 않고, 하나의 스트리밍영상 파일로 생성한다. 생성된 하나의 스트리밍영상에는 기준시간에 대한 정보가 포함될 수 있다.
도시하지는 않았지만 스트리밍영상생성부(220)는 가상현실영상이 재생되는 러닝타임을 분석하는 러닝타임분석부, 러닝타임 보다 작지 않게 기준시간을 생성하고 복수의 가상현실영상 각각에 기준시간을 할당하는 기준시간할당부, 복수의 가상현실영상에 매칭된 기준시간에 대한 정보를 저장하는 기준시간저장부를 포함할 수 있다.
스트리밍제공부(230)는 생성된 하나의 스트리밍영상을 가상현실영상재생장치에 스트리밍한다. 스트리밍영상을 생성할 때 복수의 가상현실영상에 할당된 기준시간은 스트리밍영상과 함께 가상현실영상재생장치에 제공될 수 있다. 스트리밍제공부(230)는 사용자의 시선이 변경되어 재생해야 할 가상현실영상이 달라지는 경우에도 하나의 스트리밍영상 내 기준시간을 점프하는 방법으로 스트리밍영상을 제공한다.
전환시점탐색부(240)는 가상현실영상재생장치에서 점프할 스트리밍시간을 직접 연산하지 않는 경우에 스트리밍시간을 연산하기 위한 구성이다. 전환시점탐색부(240)는 스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 싱크를 맞춘다. 바람직한 실시예에서 전환시점탐색부(240)는 스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 기준시간에 현재 재생 중인 가상현실영상의 플레이위치를 더하여 새롭게 재생할 가상현실영상의 싱크를 맞춘다.
도 4는 본 발명의 스트리밍영상의 구조에 대한 바람직한 실시예를 설명하기 위한 도면이다.
도 4에서 알 수 있듯이, 복수의 가상현실영상 V1, V2, V3는 각각 V1.mp4, V2.mp4, V3.mp4와 같이 각기 다른 파일로 생성되어 있다. 본 발명에서 스트리밍영상은 이를 기준시간(S1, S2, S3)을 중심으로 하나의 스트리밍영상으로 결합한다.
이를 위해 먼저 러닝타임분석부가 개별 가상현실영상이 재생되는 러닝타임을 분석한다. 복수의 가상현실영상은 하나의 원본영상으로부터 탄생한 것이므로 대부분의 케이스에서 개별 가상현실영상의 러닝타임은 동일할 것이다. 도 4의 실시예에서 복수의 가상현실영상 V1, V2, V3의 러닝타임은 각각 10분이라고 가정한다.
기준시간할당부는 러닝타임 보다 작지 않게 기준시간을 생성하고, 복수의 가상현실영상 각각에 기준시간을 할당한다.
바람직한 실시예에서 N개의 가상현실영상 중 m번째 가상현실영상의 기준시간은 아래와 같은 공식으로 산출될 수 있다.
STANDARD TIMEm = RUNNING TIME * (m-1)
예를들어 V1의 기준시간 S1은 0, V2의 기준시간은 10분, V3의 기준시간은 20분으로 생성할 수 있다.
기준시간저장부는 복수의 가상현실영상에 매칭된 기준시간에 대한 정보를 저장한다.
도 5는 본 발명의 스트리밍영상에서 스트리밍시간을 점프하는 바람직한 실시예를 나타내기 위한 도면이다.
도 5에서 알 수 있듯이, 하나의 스트리밍영상(Vtotal.mp4)이 가상현실영상재생장치에 스트리밍되고 있다. 현재 재생 중인 가상현실영상은 V1이고, 플레이위치(tplay)는 3분 30초라고 가정하자.
사용자의 시선이 변경되어 가상현실영상 V2를 재생해야한다고 판단되면, 가상현실영상 V2의 기준시간에 플레이위치(tplay)를 더한 스트리밍시간으로 점프한다. 즉, 가상현실영상 V2의 기준시간 10분에 플레이위치(tplay)인 3분 30초를 더한 13분 30초가 점프할 스트리밍시간이다.
본 발명은 이와 같이 스트리밍할 파일 자체를 바꾸는 것이 아니라 하나의 스트리밍 파일 내에서 재생되는 시간를 바꾸는 방법을 통해 종래기술의 문제점을 해결하였다. 쉽게 말해, 본 발명은 공간의 이동을 시간의 이동으로 치환하여 종래 기술의 문제를 해결하였다.
도 6은 본 발명의 가상현실영상재생방법의 바람직한 실시예를 나타내는 도면이다.
본 발명의 가상현실영상재생방법에서 복수의 가상현실영상은 가상현실을 구현하기 위해 생성된 하나의 원본영상으로부터 스티칭된 파일이다. 스트리밍영상은 각각의 가상현실영상 마다 할당된 기준시간을 기준으로 복수의 가상현실영상을 서로 다른 시간대에 배치한 하나의 파일이다. 기준시간은 하나의 스트리밍영상 내에서 특정 가상현실영상이 시작되는 기준점을 의미한다. 플레이위치는 재생 중인 가상현실영상이 어디까지 플레이되었는지를 의미한다. 예를들어 10분짜리 가상현실영상이 있고, 현재 3분 31초가 스트리밍 중이라면 플레이위치는 3분 31초가 된다. 본 발명에서 기준시간, 플레이위치(또는 플레이시간)라는 용어는 영상파일 내에서 특정 위치를 설명하기 위한 것이다. 따라서 이와 같은 개념에서 위 용어들은 기준프레임, 플레이프레임과 같은 용어로 치환될 수 있다. 즉, 시간을 프레임으로 보아도 무방하다.
본 발명의 가상현실영상재생방법은 사용자의 시선이 변경됨에 따라 다른 방향을 촬영한 가상현실영상을 재생해야할 때, 개별 가상현실영상이 시작되는 기준시간 및 플레이위치를 더한 스트리밍시간을 이용하여 스트리밍영상의 스트리밍시간을 점프하는 방법을 채택함으로서, 하나의 스트리밍영상을 스트리밍 받더라도 복수의 가상현실영상을 재생할 수 있다.
도 6에서 알 수 있듯이, 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받은 가상현실영상재생장치가 아래와 같은 가상현실영상재생방법을 구현한다.
동일한 시간에 동일한 지점에서 서로 다른 방향으로 촬영한 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받는다(S1100).
현재 사용자의 시선에 대응되는 가상현실영상을 재생하며, 재생 중인 가상현실영상의 플레이위치를 확인한다(S1200).
스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 기준시간에 현재 재생 중인 가상현실영상의 플레이위치를 더하여 새롭게 재생할 가상현실영상의 싱크를 맞춘다(S1300).

Claims (6)

  1. 복수의 가상현실영상을 재생하는 가상현실영상재생장치로서,
    동일한 시간에 동일한 지점에서 서로 다른 방향으로 촬영한 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받는 스트리밍영상입력부;
    스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 기준시간에 현재 재생 중인 가상현실영상의 플레이위치를 더하여 새롭게 재생할 가상현실영상의 싱크를 맞추는 스트리밍시간연산부; 및
    스트리밍된 스트리밍영상을 디스플레이장치에 재생하는 영상재생부;를 포함하고,
    상기 복수의 가상현실영상은 가상현실을 구현하기 위해 생성된 하나의 원본영상으로부터 스티칭된 파일이고,
    상기 스트리밍영상은 각각의 가상현실영상 마다 할당된 기준시간을 기준으로 복수의 가상현실영상을 서로 다른 시간대에 배치한 하나의 파일이고,
    상기 가상현실영상재생장치는 사용자의 시선이 변경됨에 따라 다른 방향을 촬영한 가상현실영상을 재생해야할 때, 개별 가상현실영상이 시작되는 기준시간을 이용하여 스트리밍영상의 스트리밍시간을 점프하는 방법으로, 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 것을 특징으로 하는,
    하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치.
  2. 복수의 가상현실영상을 재생하는 가상현실영상재생장치로서,
    동일한 시간에 다른 방향을 촬영한 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받는 스트리밍영상입력부;
    스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 싱크를 맞추는 스트리밍시간연산부; 및
    스트리밍된 스트리밍영상을 디스플레이장치에 재생하는 영상재생부;를 포함하고,
    상기 스트리밍영상은 각각의 가상현실영상 마다 할당된 기준시간을 기준으로 복수의 가상현실영상을 서로 다른 시간대에 배치한 하나의 파일이고
    상기 스트리밍시간연산부는 스트리잉영상에 포함된 제1가상현실영상 및 제2가상현실영상을 사용자의 시선에 따라 택일적으로 재생할 때 아래와 같은 방법으로 싱크를 맞추는 것인,
    1) 제1가상현실영상을 재생해야 할 때, 제1가상현실영상이 시작되는 제1기준시간에, 현재 재생 중인 가상현실영상의 플레이위치를 더한 스트리밍시간으로 점프하고,
    2) 제2가상현실영상을 재생해야할 때, 제2가상현실영상이 시작되는 제2기준시간에, 현재 재생 중인 가상현실영상의 플레이위치를 더한 스트리밍시간으로 점프하는 것인,
    하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치.
  3. 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받은 가상현실영상재생장치가
    (a) 동일한 시간에 다른 방향을 촬영한 복수의 가상현실영상이 포함된 하나의 스트리밍영상을 스트리밍받는 단계;
    (b) 현재 사용자의 시선에 대응되는 가상현실영상을 재생하며, 재생 중인 가상현실영상의 플레이위치를 확인하는 단계; 및
    (c) 스트리밍 중 사용자의 시선이 변경됨에 따라 재생할 가상현실영상이 변경되는 경우, 새롭게 재생할 가상현실영상의 기준시간에 현재 재생 중인 가상현실영상의 플레이위치를 더하여 새롭게 재생할 가상현실영상의 싱크를 맞추는 단계'를 포함하고,
    하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생방법.
  4. 가상현실을 구현하기 위해 생성된 하나의 원본영상으로부터 스티칭된 파일이며, 원본영상의 동일한 시간에 다른 방향을 촬영한 복수의 가상현실영상을 입력받는 영상입력부;
    개별 가상현실영상 마다 서로 다른 기준시간을 할당하고, 기준시간을 중심으로 복수의 가상현실영상이 서로 다른 시간대에 배치되도록 하는 방법으로, 입력된 복수의 가상현실영상을 별도의 파일로 생성하지 않고, 하나의 스트리밍영상 파일로 생성하는 스트리밍영상생성부; 및
    생성된 하나의 스트리밍영상을 가상현실영상재생장치에 스트리밍하는 스트리밍제공부를 포함하고,
    상기 스트리밍제공부는 사용자의 시선이 변경되어 재생해야할 가상현실영상이 달라지는 경우에도 하나의 스트리밍영상 내 기준시간을 점프하는 방법으로 스트리밍영상을 제공하는 것을 특징으로 하는,
    하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상제공서버.
  5. 제1항에 있어서,
    상기 영상재생부는
    복수의 가상현실영상에 포함된 광역영상을 재생하는 광역영상재생부; 및
    복수의 가상현실영상에 포함된 패치영상을 광역영상 위에 오버랩하여 재생하는 패치영상재생부를 포함하고,
    패치영상은 광역영상의 일부 영역을 다른 화질로 표현한 영상인 것인,
    하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치.
  6. 제1항에 있어서,
    상기 영상재생부는
    복수의 가상현실영상에 포함된 분할영상을 서로 오버랩되도록 재생하는 복수의 분할영상재생부를 포함하고,
    분할영상은 하나의 원본영상을 N개의 영역으로 분할한 영상이고, 소정의 영역이 서로 중첩되는 것인,
    하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치.
KR1020190155779A 2019-11-28 2019-11-28 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법 KR102295264B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190155779A KR102295264B1 (ko) 2019-11-28 2019-11-28 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법
CN202080019248.6A CN113545097B (zh) 2019-11-28 2020-11-27 利用一个流影像来播放多个虚拟现实影像的虚拟现实影像播放装置及方法
PCT/KR2020/017142 WO2021107703A1 (ko) 2019-11-28 2020-11-27 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법
US17/464,922 US11325032B2 (en) 2019-11-28 2021-09-02 Virtual reality image playing device and method for playing multiple virtual reality images by using one streaming image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190155779A KR102295264B1 (ko) 2019-11-28 2019-11-28 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210066485A true KR20210066485A (ko) 2021-06-07
KR102295264B1 KR102295264B1 (ko) 2021-08-30

Family

ID=76128711

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190155779A KR102295264B1 (ko) 2019-11-28 2019-11-28 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법

Country Status (4)

Country Link
US (1) US11325032B2 (ko)
KR (1) KR102295264B1 (ko)
CN (1) CN113545097B (ko)
WO (1) WO2021107703A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2624172A (en) * 2022-11-08 2024-05-15 Virtex Entertainment Ltd Apparatus and methods for virtual events

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170123656A (ko) * 2015-05-27 2017-11-08 구글 엘엘씨 구면 영상 스트리밍
KR20190065838A (ko) * 2017-12-04 2019-06-12 주식회사 케이티 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110119063A (ko) * 2010-04-26 2011-11-02 케이티하이텔 주식회사 멀티 프레임 영상의 프레임 전환 재생 장치 및 방법
CN103202021B (zh) * 2011-09-13 2017-06-13 松下知识产权经营株式会社 编码装置、解码装置、再现装置、编码方法及解码方法
JP2013211776A (ja) * 2012-03-30 2013-10-10 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
US10419737B2 (en) * 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US9858706B2 (en) * 2015-09-22 2018-01-02 Facebook, Inc. Systems and methods for content streaming
EP3466080A4 (en) * 2016-06-07 2020-01-08 Visbit Inc. 360 DEGREE VIDEO CAMERA SYSTEM FOR VIRTUAL REALITY AND LIVE STREAMING
KR102644833B1 (ko) * 2016-10-06 2024-03-07 주식회사 케이티 Vr 스트림의 지연을 보상하는 방법 및 시스템
KR20180059285A (ko) * 2016-11-25 2018-06-04 주식회사 케이티 가상현실 영상을 제공하는 미디어 재생 장치 및 영상 제공 서버
KR102606976B1 (ko) * 2017-02-15 2023-11-29 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 데이터 송수신 방법
CN107040794A (zh) * 2017-04-26 2017-08-11 盯盯拍（深圳）技术股份有限公司 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统
CN109996055B (zh) * 2017-12-06 2022-08-12 杜比实验室特许公司 位置零时延

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170123656A (ko) * 2015-05-27 2017-11-08 구글 엘엘씨 구면 영상 스트리밍
KR20190065838A (ko) * 2017-12-04 2019-06-12 주식회사 케이티 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말

Also Published As

Publication number Publication date
KR102295264B1 (ko) 2021-08-30
CN113545097A (zh) 2021-10-22
WO2021107703A1 (ko) 2021-06-03
US11325032B2 (en) 2022-05-10
CN113545097B (zh) 2023-07-04
US20210394055A1 (en) 2021-12-23

Similar Documents

Publication Publication Date Title
JP6944564B2 (ja) 注視追跡のための装置及び方法
US10171769B2 (en) Sound source selection for aural interest
US10812868B2 (en) Video content switching and synchronization system and method for switching between multiple video formats
US10121284B2 (en) Virtual camera control using motion control systems for augmented three dimensional reality
US9794541B2 (en) Video capture system control using virtual cameras for augmented reality
US9621768B1 (en) Multi-view media display
JP4360905B2 (ja) リアルタイムスライドプレゼンテーションのマルチメディアデータオブジェクト、ならびにマルチメディアデータオブジェクトを記録し閲覧するシステムおよび方法
US20160071546A1 (en) Method of Active-View Movie Technology for Creating and Playing Multi-Stream Video Files
EP0347419A1 (en) IMPROVEMENTS OF AN INTERACTIVE VIDEO SYSTEM.
US20110164030A1 (en) Virtual camera control using motion control systems for augmented reality
US20030030734A1 (en) System and method for transitioning between real images and virtual images
JP6628343B2 (ja) 装置および関連する方法
KR102073230B1 (ko) 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 가상현실영상생성방법
KR20180013391A (ko) 스크립트 생성 장치, 동영상 재생 장치 및 360도 동영상에 대한 화면 제어 방법
US20030030658A1 (en) System and method for mixed reality broadcast
KR102295264B1 (ko) 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법
CN105763923A (zh) 一种影音、影音模板编辑方法及其装置
KR102474451B1 (ko) 버추얼 프로덕션의 데이터 기록 방법, 장치, 시스템 및 프로그램
KR100758304B1 (ko) 다시점 파노라믹 비디오 콘텐츠의 제작방법 및 이에 따른콘텐츠의 재생방법
KR101796226B1 (ko) 복수개의 동영상을 동시에 출력하는 시스템
KR102135001B1 (ko) 화질이 개선된 복수의 가상현실영상을 동기 또는 비동기 방식으로 재생하는 가상현실영상재생장치
US20100245349A1 (en) System and method for determining placement of a virtual object according to a real-time performance
Series Collection of usage scenarios of advanced immersive sensory media systems
JP2023166836A (ja) 多視点画像管理装置
KR102124194B1 (ko) 영상분석을 위한 다채널 영상 전송 시스템 및 이의 제어 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant