KR20190023108A - 협력적인 몰입형 라이브 액션의 360도 비디오 및 가상 현실 - Google Patents

협력적인 몰입형 라이브 액션의 360도 비디오 및 가상 현실 Download PDF

Info

Publication number
KR20190023108A
KR20190023108A KR1020197004550A KR20197004550A KR20190023108A KR 20190023108 A KR20190023108 A KR 20190023108A KR 1020197004550 A KR1020197004550 A KR 1020197004550A KR 20197004550 A KR20197004550 A KR 20197004550A KR 20190023108 A KR20190023108 A KR 20190023108A
Authority
KR
South Korea
Prior art keywords
annotation
degree
degree video
video file
client device
Prior art date
Application number
KR1020197004550A
Other languages
English (en)
Other versions
KR101996209B1 (ko
Inventor
데이비드 린더
스코트 디. 랑게
알렉산더 로테라
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20190023108A publication Critical patent/KR20190023108A/ko
Application granted granted Critical
Publication of KR101996209B1 publication Critical patent/KR101996209B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/47—Controlling the progress of the video game involving branching, e.g. choosing one of several possible scenarios at a given point in time
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/847—Cooperative playing, e.g. requiring coordinated actions from several players to achieve a common goal
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/444—Spatial browsing, e.g. 2D maps, 3D or virtual spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/732—Query formulation
    • G06F16/7335—Graphical querying, e.g. query-by-region, query-by-sketch, query-by-trajectory, GUIs for designating a person/face/object as a query predicate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/407—Data transfer via internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6661—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera
    • A63F2300/6676—Methods for processing data by generating or executing the game program for rendering three dimensional images for changing the position of the virtual camera by dedicated player input
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

협력적인 라이브 액션의 가상 현실 경험을 위한 설계가 설명된다. 클라이언트는 360도 디스플레이 유닛을 이용하여 360도 비디오 파일, 대응하는 오디오 파일, 및 가상 현실 경험의 진행을 지시할 선택을 하도록 사용자에게 요청하는 주석을 플레이한다. 사용자 입력은 스크립트 트리를 고려하여 처리되어 클라이언트에게 전송할 후속 360도 비디오, 오디오 및 주석을 결정한다. 일부 실시예들에서, 가상 현실 경험의 진행은 제2 사용자 또는 가상 현실 경험에 협력적으로 참여하고 있는 양 사용자들에 의해 행해진 주석 선택들에 의해 지시된다.

Description

협력적인 몰입형 라이브 액션의 360도 비디오 및 가상 현실
본 출원은 일반적으로 360도 비디오들의 상호작용적 및 협력적 특징들에 관한 것이며, 특히 공유된 360도 상호작용적 가상 현실 환경, 예를 들어, 트레이닝 또는 명령, 게임 플레이 등에 이용되는 공유된 360도 상호작용적 가상 현실 환경을 생성하는 것에 관한 것이다.
디지털 비디오 파일들의 저장 및 재생을 위한 종래의 웹 기반 시스템들은 전형적으로 비디오의 전통적인 재생만을 지원하며, 여기서 비디오는 시청자로부터의 입력 없이 그리고 시스템이 시청자의 움직임들을 인식하고 이에 응답하지 않는 선형 방식으로 진행한다. 이들 시스템들은 복수의 사용자들이 개별 관점들로부터 디지털 비디오 경험을 공유할 수 있게 해주지 않으며, 대신에 복수의 사용자들에게 재생을 위한 단 하나의 관점을 제공한다.
가상 현실 시스템들은 360도 환경에서 그 사용자들을 몰입하게 하여, 사용자들이 표시된 콘텐츠를 가상 현실에 존재하는 것처럼 경험하게 한다. 전통적인 가상 현실 시스템들은 사용자의 전체 시야를 점유함으로써 몰입형 경험을 조성하고, 비디오 게임들의 형태의 사용자 참여를 허용할 수 있지만, 이들은 전통적으로 사용자의 시점 선택에 응답할 수 없는 2차원 비디오들과 호환되지 않으며, 대신에 사용자의 시점 선택 또는 사용자의 움직임에 기반하여 조정될 수 있는 동적으로 생성된 오디오/비주얼 콘텐츠에 의존한다.
또한, 전통적인 가상 현실 시스템들은 사용자가 경험을 주도하는 사용자의 시점 선택과 함께, 단독 방식(solitary fashion)으로 (예를 들어, 헤드셋을 이용하거나 이용하지 않고) 가상 현실 단편을 경험할 수 있게 한다. 즉, 가상 현실 단편을 갖는 사용자 경험은 통상적으로 복수의 사용자들 사이에서 공유될 수 없다.
방법, 시스템 및 컴퓨터 프로그램 제품은 협력적인 라이브 액션의 가상 현실 경험을 생성하는 것을 개시하며, 이는 복수의 사용자들이 상이한 관점들로부터 단일 상호작용적 스토리의 생성에 동시에 참여할 수 있게 한다. 스토리는, 각각이 360도 디스플레이 유닛과 연관된, 복수의 클라이언트 상에서 보여질 수 있다. 제1 클라이언트의 사용자는 가상 현실 경험을 개시하기 위한 요청을 제2 클라이언트("2-플레이어 모드")에게 전송한다. 제1 클라이언트의 사용자가 요청을 전송하는 것에 응답하여, 시스템은 360도 비디오 파일, 오디오 파일 및 주석을 포함하는 제1 360도 미디어 세그먼트에 액세스한다. 시스템은 제1 클라이언트 상에 제1 360도 미디어 세그먼트를 표시하고, 주석에 응답하여 제1 사용자로부터 입력을 수신한다. 제1 사용자가 입력을 제공하는 것에 응답하여, 시스템은 주석 선택에 대응하는 제2 360도 미디어 세그먼트에 액세스한다. 그 다음, 시스템은 제1 클라이언트 상에 제2 360도 미디어 세그먼트를 제시한다. 제1 사용자가 제2 주석에 응답하여 입력을 제공하는 것에 응답하여, 시스템은 제3 360도 미디어 세그먼트에 액세스하고 이를 표시한다. 다른 실시예들에서, 시스템은 제2 사용자로부터의 또는 제1 사용자 및 제2 사용자 모두로부터의 입력에 응답하여 360도 미디어 세그먼트에 액세스한다.
다른 실시예에서, 단일 사용자는 클라이언트를 이용하여 가상 현실 경험을 개시하기 위한 요청을 서버("1-플레이어 모드")에게 전송한다. 클라이언트의 사용자가 애플리케이션을 다운로드할 때, 서버 상의 비디오 데이터베이스 및 주석 데이터베이스에 저장된 360도 미디어 세그먼트들 모두가 다운로드에 포함되고 클라이언트 상에 저장되며, 클라이언트는 360도 미디어 세그먼트의 재생을 시작하기 위해 네트워크에 연결될 필요가 없다. 플레이어가 1-플레이어 모드를 선택하는 경우들에서, 모든 후속 주석 선택들이 클라이언트의 사용자에 의해 이루어진다. 대안적으로, 주석들 중 일부는 컴퓨터에 의해 자동으로 이루어진다. 1-플레이어 및 2-플레이어 모드들 모두가 고려되지만, 이하의 설명은 2-플레이어 반복만을 다룬다. 달리 언급되지 않는 한, 동일한 기능이 1-플레이어 모드에 적용된다는 것이 관련 기술분야의 통상의 기술자에게는 명백할 것이다.
본 개시내용의 양태들은 공유된 상호작용적 환경을 생성하는 방법을 제공하며, 이 방법은, 제1 클라이언트 디바이스로부터, 공유된 상호작용적 경험 컴퓨터 프로그램을 시작하기 위한 요청을 전송하는 단계 - 제1 클라이언트 디바이스는 제1 360도 디스플레이 유닛과 연관됨 -; 공유된 상호작용적 경험 컴퓨터 프로그램을 개시하기 위한 응답을 수신하는 단계; 비디오 데이터베이스로부터 제1 360도 비디오 파일에 액세스하는 단계 - 제1 360도 비디오 파일은 360도 비디오 파일들과 연관된 주석들에 응답한 사용자 입력에 기반하여 공유된 상호작용적 경험을 조직화하는 스크립트 트리를 통해 복수의 360도 비디오 파일들에 링크됨 -; 스크립트 트리로부터 제1 360도 비디오 파일과 연관된 제1 주석에 액세스하는 단계; 제1 클라이언트 디바이스의 제1 360도 디스플레이 유닛을 이용하여 제1 360도 비디오 파일 및 제1 주석을 시각적으로 제시하는 단계; 제1 주석에 응답하여 사용자 입력을 수신하는 단계; 사용자 입력에 기반하여 스크립트 트리 내의 후속 노드를 식별하는 단계; 후속 노드에 기반하여 제1 클라이언트 디바이스에 대한 제2 360도 비디오 파일 및 제2 주석에 액세스하는 단계 - 제2 360도 비디오 파일 및 제2 주석은 스크립트 트리에 의해 결정된 대로 제1 주석에 응답한 사용자 입력에 기반하여 액세스됨 -; 및 제1 클라이언트 디바이스의 제1 360도 디스플레이 유닛을 이용하여 제2 360도 비디오 파일 및 제2 주석을 시각적으로 제시하면서, 제2 클라이언트 디바이스의 제2 360도 디스플레이 유닛은 스크립트 트리 내의 후속 노드와 또한 연관된 제3 360도 비디오 파일 및 제3 주석을 동시에 제시하는 단계를 포함한다. 본 개시내용의 양태들은 컴퓨터 시스템을 제공하며, 이러한 컴퓨터 시스템은, 공유된 상호작용적 환경을 생성하기 위한 실행가능한 프로그램 코드를 포함하는 컴퓨터 판독가능한 저장 매체를 포함하고, 컴퓨터 프로그램 코드는, 제1 클라이언트 디바이스로부터, 공유된 상호작용적 경험 컴퓨터 프로그램을 시작하기 위한 요청을 전송하고 - 제1 클라이언트 디바이스는 360도 디스플레이 유닛과 연관됨 -; 공유된 상호작용적 경험 컴퓨터 프로그램을 개시하기 위한 응답을 수신하고; 비디오 데이터베이스로부터 제1 360도 비디오 파일에 액세스하고 - 제1 360도 비디오 파일은 360도 비디오 파일들과 연관된 주석들에 응답한 사용자 입력에 기반하여 공유된 상호작용적 경험을 조직화하는 스크립트 트리를 통해 복수의 360도 비디오 파일들에 링크됨 -; 스크립트 트리로부터 제1 360도 비디오 파일과 연관된 제1 주석에 액세스하고; 제1 클라이언트 디바이스의 제1 360도 디스플레이 유닛을 이용하여 제1 360도 비디오 파일 및 제1 주석을 시각적으로 제시하고; 제1 주석에 응답하여 사용자 입력을 수신하고; 사용자 입력에 기반하여 스크립트 트리 내의 후속 노드를 식별하고; 후속 노드에 기반하여 제1 클라이언트 디바이스에 대한 제2 360도 비디오 파일 및 제2 주석에 액세스하며 - 제2 360도 비디오 파일 및 제2 주석은 스크립트 트리에 의해 결정된 대로 제1 주석에 응답한 사용자 입력에 기반하여 액세스됨 -; 제1 클라이언트 디바이스의 제1 360도 디스플레이 유닛을 이용하여 제2 360도 비디오 파일 및 제2 주석을 시각적으로 제시하면서, 제2 클라이언트 디바이스의 제2 360도 디스플레이 유닛은 스크립트 트리 내의 후속 노드와 또한 연관된 제3 360도 비디오 파일 및 제3 주석을 동시에 제시한다. 본 개시내용의 양태들은 컴퓨터 실행가능한 명령어들을 저장하는 컴퓨터 판독가능한 매체(비일시적 컴퓨터 판독가능한 매체일 수 있지만, 이러한 양태가 이것으로 제한되지 않음)를 제공하며, 명령어들은, 실행에 응답하여, 프로세서를 포함하는 디바이스로 하여금, 제1 클라이언트 디바이스로부터, 공유된 상호작용적 경험 컴퓨터 프로그램을 시작하기 위한 요청을 전송하는 것 - 제1 클라이언트 디바이스는 360도 디스플레이 유닛과 연관됨 -; 공유된 상호작용적 경험 컴퓨터 프로그램을 개시하기 위한 응답을 수신하는 것; 비디오 데이터베이스로부터 제1 360도 비디오 파일에 액세스하는 것 - 제1 360도 비디오 파일은 제1 360도 비디오 파일들과 연관된 주석들에 응답한 사용자 입력에 기반하여 공유된 상호작용적 경험을 조직화하는 스크립트 트리를 통해 복수의 360도 비디오 파일들에 링크됨 -; 스크립트 트리로부터 제1 360도 비디오 파일과 연관된 제1 주석에 액세스하는 것; 제1 클라이언트 디바이스의 제1 360도 디스플레이 유닛을 이용하여 제1 360도 비디오 파일 및 제1 주석을 시각적으로 제시하는 것; 제1 주석에 응답하여 사용자 입력을 수신하는 것; 사용자 입력에 기반하여 스크립트 트리 내의 후속 노드를 식별하는 것; 후속 노드에 기반하여 제1 클라이언트 디바이스에 대한 제2 360도 비디오 파일 및 제2 주석에 액세스하는 것 - 제2 360도 비디오 파일 및 제2 주석은 스크립트 트리에 의해 결정된 대로 제1 주석에 응답한 사용자 입력에 기반하여 액세스됨 -; 및 제1 클라이언트 디바이스의 제1 360도 디스플레이 유닛을 이용하여 제2 360도 비디오 파일 및 제2 주석을 시각적으로 제시하면서, 제2 클라이언트 디바이스의 제2 360도 디스플레이 유닛은 스크립트 트리 내의 후속 노드와 또한 연관된 제3 360도 비디오 파일 및 제3 주석을 동시에 제시하는 것을 포함하는 동작들을 수행하게 한다.
본 개시내용의 다른 양태들은, 컴퓨터 실행가능한 명령어들을 저장하는 컴퓨터 판독가능한 매체(비일시적 컴퓨터 판독가능한 매체일 수 있지만, 이러한 양태가 이것으로 제한되지 않음)를 제공하며, 명령어들은, 실행에 응답하여, 프로세서를 포함하는 디바이스로 하여금, 본 명세서에서 설명된 임의의 양태 또는 구현에 따른 방법을 수행하게 한다. 본 개시내용의 다른 양태들은 본 명세서에서 설명된 임의의 양태 또는 구현에 따른 방법을 수행하도록 구성된 컴퓨터 시스템을 제공한다.
따라서, 본 개시내용의 양태들은 가상 현실 시스템 또는 증강 현실 시스템이 비디오를 입력으로서 이용하게 하고, 이로써 동적으로 생성된 오디오 비주얼 콘텐츠를 제공할 필요성을 피한다. 동적으로 생성된 오디오 비주얼 콘텐츠에 대한 필요성의 제거는, 동적으로 생성된 오디오 비주얼 콘텐츠가 유선 디바이스들보다 더 낮은 처리 전력 및/또는 저장 능력을 가질 수 있는 모바일 디바이스들에서 생성되거나 이에 전송될 필요성을 제거하기 때문에, 가상 현실 시스템이 모바일 디바이스들을 이용하는 경우에 특히 유익할 수 있다. 또한, 본 개시내용의 양태들은 추가적으로 또는 대안적으로 복수의 사용자들이 동일한 "인스턴스"에서 다른 것들의 경험에 영향을 미치는 능력을 유지하면서 360 비디오 기반 환경에서 그 자신의 경험을 주도하게 할 수 있다. 또한, 본 개시내용의 양태들은 더 오래된 모바일 디바이스들 상의 처리 부담을 경감시키면서 비디오를 스트리밍하는 능력 및 외부 대역폭에 대해 더 많은 경험 부담을 지우는 온 더 플라이(on-the-fly) 렌더링된 환경들보다는 360 비디오를 이용할 수 있다.
더욱이, 가상 현실 시스템들이 둘 이상의 사용자가 있는 것을 허용하는 경우, 예를 들어, 사용자들이 가상 현실 환경에서(예를 들어, 트레이닝 오디오/비주얼 제시에서) 서로 상호작용하는 경우, 하나의 사용자의 디바이스에 공급되는 오디오/비주얼 콘텐츠가 다른 사용자의 디바이스에 공급되는 오디오/비주얼 콘텐츠와 동기화되거나 실질적으로 동기화되는 것이 바람직할 수 있다. 이것은 두 명의 사용자들 각각이 그 자신의 개개의 동적으로 생성된 콘텐츠를 이용하는 경우에 달성하기 어려울 수 있다. 본 개시내용의 양태들은 추가적으로 또는 대안적으로 2개 이상의 사용자 디바이스들 상의 오디오/비주얼 콘텐츠의 더 용이한 동기화를 가능하게 할 수 있다.
본 명세서에서 설명된 특징들 및 이점들은 모두 포괄적인 것이 아니며, 특히, 많은 추가적인 특징들 및 이점들이 도면들, 명세서, 및 청구항들을 고려하면 관련 기술분야의 통상의 기술자에게 명백할 것이다. 또한, 본 명세서에서 사용된 언어는 가독성 및 교육 목적들을 위하여 주로 선택되었고, 개시된 주제를 상세히 기술하거나 제한하기 위하여 선택되지 않았을 수 있다는 것에 유의해야 한다.
도 1은 일 실시예에 따라, 협력적인 라이브 액션의 가상 현실 경험을 생성하기 위한 시스템 아키텍처의 블록도이다.
도 2a 내지 도 2c는 일 실시예에 따라, 주석들에 응답한 사용자 입력에 기반하여 협력적인 라이브 액션의 가상 현실 경험을 조직화하는 예시적인 스크립트 트리를 도시한다.
도 3은 일 실시예에 따라, 사용자들이 가상 현실 경험에 참여하도록 서로 연결할 수 있게 하도록 설계된 서버 설비를 도시하는 블록도이다.
도 4는 일 실시예에 따라, 협력적인 라이브 액션의 가상 현실 경험을 생성하기 위한 예시적인 프로세스를 도시하는 흐름도이다.
도 5a 내지 도 5s는 도 4에서 설명된 예시적인 방법에 대한 이용 사례를 도시한다.
이제, 몇몇 실시예들에 대한 참조가 상세하게 이루어질 것이고, 그 예들은 첨부 도면들에 예시되어 있다. 실시가능한 어디에서나, 유사하거나 동일한 참조 번호들이 도면들에서 이용될 수 있으며, 유사하거나 동일한 기능을 나타낼 수 있다는 점에 유의한다. 도면들은 단지 예시의 목적들을 위해 개시된 시스템(또는 방법)의 실시예들을 도시한다. 관련 기술분야의 통상의 기술자라면, 다음의 설명으로부터, 본 명세서에 예시된 구조들 및 방법들의 대안적인 실시예들이 본 명세서에서 설명된 원리들로부터 벗어나지 않으면서 이용될 수 있다는 점을 쉽게 인식할 것이다. 하나의 양태 또는 구현의 내용에서 본 명세서에서 설명된 임의의 특징은 본 명세서에서 설명된 임의의 다른 양태 또는 구현에 통합될 수 있다.
예시적인 시스템
도 1은 협력적인 라이브 액션의 가상 현실 경험을 생성하기 위한 시스템을 도시하는 블록도이다. 복수의 사용자들은 클라이언트들(110A-B)을 이용하여 서버 설비(100)와 상호작용한다. 2개의 클라이언트(110A 및 110B)만이 도시되어 있지만, 매우 많은 수(예를 들어, 수백만 개)의 클라이언트들이 지원될 수 있고, 임의의 시간에 서버 설비(100)와 통신할 수 있다는 것이 이해된다. 2개의 클라이언트(110)가 가상 현실 경험을 공유하는 경우, 클라이언트(110A)는 웹 소켓들을 이용하여 네트워크(130)를 통해 클라이언트(110B)와의 연결을 확립하고 클라이언트(110B)와 데이터 패킷들을 교환할 수 있다. 대안적으로, 클라이언트(110A)는 유선 연결 또는 블루투스 또는 적외선과 같은 단거리 무선 통신 표준을 이용하여 클라이언트(110B)에 직접 연결될 수 있다.
서버 설비(100)는 통상적으로 인터넷이지만, 또한 LAN, MAN, WAN, 모바일, 유선 또는 무선 네트워크, 사설 네트워크, 또는 가상 사설 네트워크를 포함하지만 이에 제한되지는 않는 임의의 네트워크일 수 있는, 네트워크(130)를 통해 클라이언트들(110A 및 110B)과 통신한다. 클라이언트(110) 및 서버 설비(100)는 네트워크 인터페이스들을 통해 네트워크(130)에 연결된다.
클라이언트(110)는 비디오 플레이어(140)를 포함하고, 360도 디스플레이 유닛(150)에 결합된다. 도 1에 도시되지 않았지만, 클라이언트(110)는 또한 전형적으로 프로세서, 디스플레이 디바이스(또는 디스플레이 디바이스에의 출력), 클라이언트(110)가 작업들을 수행함에 있어서 사용자에 의해 이용되는 데이터를 저장하는 하드 드라이브 또는 플래시 메모리 디바이스와 같은 로컬 저장소, 및 네트워크(130)를 통해 서버 설비(100)에 결합하기 위한 네트워크 인터페이스를 포함한다.
클라이언트(110)는 다양하고 상이한 컴퓨팅 디바이스들을 포함할 수 있다. 클라이언트들(110)의 예들은 개인용 컴퓨터들, 디지털 보조기기들, PDA들, 셀룰러 폰들, 모바일 폰들, 스마트폰들, 또는 랩톱 컴퓨터들이다. 관련 기술분야의 통상의 기술자에게 명백한 바와 같이, 본 발명은 위에 열거된 디바이스들로 제한되지 않는다. 일 실시예에서, 클라이언트(110)는 또한 클라이언트(110)의 사용자로부터의 청각 입력에 응답하여 사용자 선택을 검출하고 해석하는 음성 인식 컴포넌트를 포함한다.
360도 디스플레이 유닛(150)은 때때로 "구형 비디오" 또는 "몰입형 비디오"라고도 하는 360도 디스플레이 포맷으로 360도 비디오를 표시한다. 360도 비디오는 모든 방향으로 뷰를 동시에 기록함으로써 캡처된 비디오 기록이다. 흔히 이것은 전방향 카메라 또는 특별히 위치된 카메라들의 집합을 이용하여 달성되지만, 특히 미래에 360도 비디오를 기록하는 다른 방식들이 있을 것으로 예상된다. 재생 동안, 클라이언트(110)의 사용자는 시청 방향을 제어할 수 있고, 따라서 이들은 파노라마와 유사한 임의의 방향으로 보도록 선택할 수 있고, 360도 디스플레이 유닛(150)은 그 선택을 수용하고 기록된 비디오의 적절한 방향을 보여줄 것이다. 일 실시예에서, 360도 비디오는 또한 3차원(3D) 비디오이고 콘텐츠의 3D 시각화(즉, z축의 피사계 심도, 이동 또는 지각)를 허용한다.
360도 디스플레이 유닛(150)은 또한 360도 디스플레이 유닛(150)에 의해 제공되는 시각적 인클로저와 함께, 사용자가 완전히 시각적으로 몰입되도록 볼 수 있는 것의 완전한 범위일 수 있다. 즉, 일부 구현들에서, 사용자가 볼 수 있을 전부가 360도 비디오이고, 나머지 그 비전 범위는 360도 디스플레이 유닛(150)에 의해 차단된다. 360도 디스플레이 유닛(150)은 사용자가 360도 비디오와 연관된 오디오를 청취할 수 있게 하는 오디오 스피커들을 유사하게 포함할 수 있다. 360도 디스플레이 유닛(150)의 오디오 하드웨어는 스테레오 또는 서라운드(예를 들어, 5개 이상의 스피커 소스) 포맷으로 스테레오를 재생하도록 설정될 수 있다.
클라이언트(110)의 사용자 및 360도 디스플레이 유닛(150)에 대해 구현되는 경험은 또한 시각적 및 청각적 미디어가 사용자의 물리적 존재 및 환경을 시뮬레이팅하여 사용자에 대한 인공 감각 경험을 생성하고 사용자 상호작용을 가능하게 하기 때문에 "가상 현실 경험"이라고 지칭될 수 있다. 그 결과, 용어 "가상 현실 경험"은 일반적으로 경험을 설명하기 위해 본 설명 전체에 걸쳐 사용된다. 그러나, 다양한 특정 실시예들에서, 이러한 경험은 단지 360도 비디오로 구현될 수 있거나, 더 완전한 가상 현실 경험일 수 있다.
일 실시예에서, 360도 디스플레이 유닛(150)은 클라이언트(110)와 동일한 물리적 유닛의 일부이다. 대안적으로, 360도 디스플레이 유닛(150)은 유선 또는 무선 방식으로 클라이언트(110)에 통신 결합되는 독립형 유닛이다. 360도 디스플레이 유닛(150)의 예는 구글사의 카드보드 유닛이지만, 다른 360도 디스플레이 유닛들이 또한 적합하며, 본 명세서에 개시된 교시들에 따라 동작하도록 적응될 수 있다.
360도 디스플레이 유닛(150)은 사용자 입력을 검출하고 분석을 위해 그 입력을 서버 설비(100)에 전달한다. 사용자 입력은 사용자에 의해 야기되는 360도 디스플레이 유닛(150)의 물리적 움직임의 형태로 수신될 수 있다. 사용자 입력은 또한 사용자의 손(들)에 쥔 조이스틱 또는 다른 제어기로부터 수신될 수 있다.
비디오 플레이어(140)는 360도 비디오 및 연관된 오디오의 제시를 제어하여 360도 경험의 일부인 텍스트 또는 오디오 주석들의 제시를 제어하는데 이용된다. 360도 비디오, 오디오 및 주석 결합은 본 명세서에서 360도 미디어 세그먼트라고 지칭된다. 비디오 플레이어(140)는 가상 현실 경험의 제어에 관련된 명령어들의 전송 및 수신을 제어하는데 추가로 이용된다. 비디오 플레이어(140)는 하드웨어, 또는 하드웨어 또는 소프트웨어의 조합으로 구현될 수 있다. 비디오 플레이어(140)는 독립형 소프트웨어 애플리케이션, 또는 다른 소프트웨어 애플리케이션에의 플러그인일 수 있다. 비디오 플레이어(140)는 360도 디스플레이 유닛(150)이 서버 설비(100)로부터 검색되거나 클라이언트(110) 내에 저장된 360도 비디오 파일들 및 오디오 파일들을 재생하게 하도록 구성된다. 비디오 플레이어(140)가 360도 비디오와 연관된 주석이 적용되는 360도 비디오에서의 시간에 도달하는 경우, 비디오 플레이어(140)는 360도 디스플레이 유닛(150)이 디스플레이 스크린 상에 주석을 오버레이하게 하고/하거나 360도 비디오 또는 오디오 파일의 오디오 트랙 상에 오디오 주석을 오버레이하게 함으로써 주석이 제시되게 한다.
비디오 플레이어(140)는 또한 사용자 인터페이스 제어부들, 및 일부 경우들에서는 대응하는 애플리케이션 프로그래밍 인터페이스들을 포함하며, 360도 비디오의 360도 디스플레이 유닛에서의 입력을 통한 선택, 시작, 정지, 되감기, 빨리 감기, 및 아니면 360도 비디오를 통한 내비게이팅을 가능하게 한다. 비디오 플레이어(140)의 재생 및 비디오 포맷 선택 기능을 제어하는데 다른 타입들의 사용자 제어부들(예를 들어, 버튼들, 키보드 제어부들)이 또한 이용될 수 있다. 비디오 플레이어(140)는 또한 사용자가 가상 현실 경험을 통해 내비게이팅할 때 선택들을 안내하기 위해 360도 디스플레이 유닛(150)의 조이스틱 또는 움직임을 통해 입력을 처리한다.
서버 설비(100)는 사용자 입력에 기반한 수신된 주석 선택들에 의해 지시되는 바와 같이 그리고 추가로 후술하는 바와 같은 가상 현실 경험의 논리 흐름에 의해 지시되는 바와 같이 360도 미디어 세그먼트들을 제공함으로써 협력적인 라이브 액션의 가상 현실 경험에 참여하도록 클라이언트들(110A 및 110B)이 서로 연결하는 능력을 용이하게 한다. 일부 경우들에서, 360도 미디어 세그먼트들은 이러한 세그먼트들이 클라이언트들(110) 상에 로컬로 이미 저장되어 있는 클라이언트들(110)에게 직접 제공될 필요는 없을 것이다.
가상 현실 경험의 조직 구조
각각의 360도 미디어 세그먼트는 비디오, 오디오, 및 클라이언트들(110A 및 110B)의 사용자들 중 한 명 이상이 경험의 진행을 지시할, 본 명세서에서 주석 선택들로 지칭되는, 결정을 하도록 요청하는 주석을 포함한다. 사용자들 중 한 명이, 예를 들어, 360도 디스플레이 유닛(150)을 이동시키는 것과 같이 입력을 제공함으로써 주석 선택을 행할 때, 서버 설비(100) 또는 클라이언트(110)에 위치한 사용자 선택 모듈(122)은 사용자 선택을 해석하고, 경험에 포함된 클라이언트들(110)의 비디오 플레이어들(140) 중 한 명 이상에게 지시하여 그 선택과 연관된 360도 미디어 세그먼트를 로딩하거나 획득한다. 예를 들어, 360도 미디어 세그먼트는 클라이언트(110)와 연관된 플레이어가 자동차의 운전자 좌석에 앉아 있는 비디오 및 오디오 파일들, 및 사용자에게 자동차를 우회전 또는 좌회전시킬지 여부를 선택하도록 요청하는 주석을 포함할 수 있다. 클라이언트(110)의 사용자가 "좌측" 옵션(즉, 좌측 주석 선택)을 선택하면, 360도 디스플레이 유닛(150)은 입력을 검출하고, 그 입력을 사용자 선택 모듈(122)에게 전달할 것이며, 이는 비디오 플레이어(140)에게 그 선택과 연관된 360도 미디어 세그먼트를 로딩하도록 지시할 것이다.
전술한 바와 같이, 주석들은 표시된 360도 비디오 상에 오버레이된 상호작용적 그래픽 인터페이스의 형태로 표시될 수 있다. 예를 들어, 이들은, 360도 디스플레이 유닛(150)이 주석들을 통해 몇 개의 선택들을 표시하고, 그 후 사용자가 선택들 중 하나를 선택하도록 허용하기 위해 비디오를 일시 정지시키는 메뉴 스타일 인터페이스의 형태를 취한다. 메뉴 아이템들/주석들은 가상 현실 경험에서의 줄거리들을 분지하는 것을 허용하며, 하나의 주석을 선택하는 것은 하나의 360도 미디어 세그먼트로 이어지고, 상이한 주석을 클릭하는 것은 상이한 360도 미디어 세그먼트로 이어진다. 예를 들어, 사용자가 360도 미디어 세그먼트의 줄거리에서 다양한 포크들을 표시하는 주석들을 선택하는 게임에서 주석들이 이용될 수 있다. 제1 주석 선택이 행해지면, 사용자 선택 모듈(122)은 서버 설비(100)로부터 제1 360도 미디어 세그먼트에 액세스한다. 사용자가 제2 주석 선택을 행하는 경우, 사용자 선택 모듈(122)은 서버 설비(100)로부터 제2 360도 비디오에 액세스한다. 이러한 게임은 각각이 다양한 점프들의 목적지를 나타내는 복수의 360도 미디어 세그먼트들에 의해 지원된다. 게임 내의 각각의 점프는 조직화된 계층 구조에서의 엔트리로서 표현된다.
도 2a 내지 도 2c는 계층 구조에서 조직화되고 링크된 360도 미디어 세그먼트들의 세트를 나타내는 예시적인 스크립트 트리를 도시한다. 스크립트 트리는 가상 현실 경험을 조직화한다. 스크립트 트리는 일련의 에지들에 의해 연결된 일련의 노드들을 포함한다. 경험 동안의 임의의 주어진 포인트에서, 스크립트 트리는 주어진 비디오 플레이어(140)가 스크립트 트리 내의 각각의 노드에 대응하는 주어진 360도 미디어 세그먼트를 재생하는 것을 지시한다. 그 360도 미디어 세그먼트 및 노드와 연관된 클라이언트들(110) 중 하나에서 수신된 주석 선택에 기반하여, 사용자 선택 모듈(122)은 어느 인출 에지 및 (흔히 자식) 노드가 다음에 발생할지를 결정하기 위해 스크립트 트리에 액세스한다. 이것은 차례로 어느 360도 미디어 세그먼트가 다음에 각각의 클라이언트에 플레이되는지 등을 지시한다. 일부 사례들에서, 스크립트 트리의 노드는 2개 이상의 인출 에지를 갖고, 각각의 인출 에지는 사용자들 중 한 명 이상에 의해 행해질 수 있는 선택과 연관된다. 예를 들어, 도 2a의 노드 "gvr_01_start"는 행해질 수 있는 4개의 상이한 선택들에 대응하는 4개의 인출 에지들을 갖는다. 일부 사례들에서, 스크립트 트리의 복수의 노드들 각각은 이것이 시작 노드에 대한 사례 또는 가상 현실 환경의 끝에 대응하는 리프 노드(예컨대, 도 2b의 리프 노드 "gvr_29_second_fail_end")에 대한 사례가 아니지만) 스크립트 트리에서 그 선행하는 적어도 하나의 노드 및 스크립트 트리에서 그 후행하는 적어도 하나의 노드를 갖는다.
스크립트 트리는 클라이언트들(110)의 사용자들에 대한 협력적인 360도 가상 현실 경험의 시작을 나타내는 루트 노드로 시작한다. 일 실시예에서, 클라이언트들(110A 및 110B)은 이들이 리프 노드에 도달할 때까지 루트 노드로부터 계속 내비게이팅한다. 예를 들어, 도 2a 내지 도 2c는 오락 드라이빙 PSA(public service announcement)에 대한 스크립트 트리를 예시한다. 도 2b의 gvr_29_second_fail_end는, 운전자와 연관된 클라이언트(110)의 사용자가 두 번 이상 실패하면, 가상 현실 경험이 종료하기 때문에, 리프 노드이다. 이러한 방식으로, 가상 현실 경험은 사용자 선택들에 따라 360도 미디어 세그먼트들의 상이한 논리적 진행을 가질 수 있고, 대응하는 상이한 결말들을 가질 수 있다.
도 1 및 클라이언트(110)를 다시 참조하면, 비디오 플레이어(140)는, 사용자에게 가상 현실 경험을 수행하기 위해 스크립트 트리 구조 및 360도 미디어 세그먼트들을 이용하는 기능을 포함한다. 사용자 선택 모듈(122)은 360도 미디어 세그먼트들을 볼 관점을 통해 플레이어를 선택하기 위한 옵션을 클라이언트들(110A 및 110B) 상에 표시한다. 예를 들어, 비디오 플레이어(140)는 클라이언트(110A)의 사용자가 360도 미디어 세그먼트들을 "제스" 또는 "마이크"로서 볼지 여부를 결정하도록 허용하는 메뉴를 클라이언트(110A) 상에 표시한다. 클라이언트(110A)의 사용자가 "마이크"를 선택하면, 클라이언트(110B)의 사용자는 360도 비디오를 "제스"로서 볼 것이다. 일 실시예에서, 클라이언트들(110)의 세 명 이상의 사용자들이 협력적인 라이브 액션의 가상 현실 경험에 참여한다. 제1 플레이어는 클라이언트(110A)의 사용자이고, 추가 플레이어들은 클라이언트들(110) 또는 컴퓨터의 다른 사용자들일 수 있다.
사용자 선택 모듈(122)은 비디오 플레이어(140)로부터 사용자 입력을 수신하고, 그 입력에 응답하여 어느 360도 미디어 세그먼트를 경험 데이터베이스(126) 및 주석 데이터베이스(128)로부터 검색할지를 결정하기 위해 그 입력을 스크립트 트리와 비교한다. 이어서, 사용자 선택 모듈(122)은 클라이언트들(110A 및 110B) 중 어디에 360도 미디어 세그먼트를 전송할지에 관한 명령어들과 함께 360도 미디어 세그먼트를 비디오 플레이어(140)에게 전송한다.
스크립트 트리는 노드당 복수의 360도 미디어 세그먼트들을 포함할 수 있고, 사용자 선택 모듈(122)은 각각의 클라이언트(110)와 연관된 플레이어에 따라 각각의 클라이언트(110)에게 상이한 360도 미디어 세그먼트(예를 들어, 제1 클라이언트(110A) 대 제2 클라이언트(110B)에 대해 상이한 360도 미디어 세그먼트)를 전송할 수 있다. 사용자 선택 모듈(122)이 사용자 입력에 응답하여 스크립트 트리 내의 노드에 도달할 때, 사용자 선택 모듈(122)은 각각의 플레이어가 가상 현실 경험 동안 상이한 것들을 듣고 볼 수 있도록 각각의 플레이어에 대해 적절한 360도 미디어 세그먼트의 상이한 선택을 행할 것이다. 전술한 예를 계속하면, 클라이언트(110A)의 사용자가 마이크를 선택하면, 사용자 선택 모듈(122)은, 각각의 노드에서, 마이크 플레이어와 연관된 360도 미디어 세그먼트를 선택할 것이며, 다른 클라이언트(110B) 및 제스 플레이어에 대해 유사하게 선택할 것이다.
일 실시예에서, 360도 디스플레이 유닛(150)은 클라이언트(110)의 사용자에 응답하여 사용자 입력을 검출하고, 클라이언트(110) 상에 주석이 표시되지 않을 때 360도 디스플레이 유닛(150)을 360도 필드의 특정 포인트로 전환한다. 360도 디스플레이 유닛(150)은 입력을 사용자 선택 모듈(122)에게 전달하고, 이는 서버 설비(100)로부터 360도 미디어 세그먼트를 검색하고, 360도 미디어 세그먼트를 플레이하도록 비디오 플레이어(140)에게 지시한다.
스크립트 트리는 또한 노드들 사이의 에지 연결들에 기반하여 이러한 루프가 발생하게 하는 주석 선택들의 적절한 선택에 응답하여 사용자들이 협력적인 라이브 액션의 가상 현실 경험에서의 더 이른 포인트로 루프백하게 하는 노드/에지 구조를 제공할 수 있다.
예를 들어, 클라이언트(110)의 사용자가 경험 데이터베이스(126)로부터 살인 미스터리의 가상 현실 경험을 선택하는 것으로 가정하며, 여기서 가상 현실 경험의 목적은 사용자가 살인범을 잡는데 이용할 수 있는 단서들을 찾기 위해 집을 수색하는 것이다. 사용자가 스토리의 방향을 지시하는 주석 옵션들을 선택하는 것에 응답하여, 살인 미스터리 경험의 재생이 루트 노드에서 시작되고 스크립트 트리 아래로 에지들 및 노드들을 내비게이팅한다. 일 예에서, 클라이언트(110)는 클라이언트(110)의 사용자에게 서재 또는 주방으로 갈 것인지 여부를 선택하도록 요청하는 주석을 표시한다. 클라이언트(110)의 사용자는 360도 디스플레이 유닛(150)을 돌려서 "서재" 주석의 선택을 나타낸다. 주석 선택에 응답하여, 사용자 선택 모듈(122)은 "서재" 노드와 연관된 에지를 따르고, 사용자와 연관된 플레이어가 문을 열고 서재로 걸어 가는 360도 미디어 세그먼트를 플레이하도록 비디오 플레이어(140)에게 지시한다. 플레이어가 서재로 걸어 가는 경우, 비디오 플레이어(140)는 사용자에게 단서들을 위해 책상 또는 쓰레기통을 수색할지 여부를 선택하도록 요청하는 주석을 표시한다. 클라이언트(110)의 사용자는 360도 디스플레이 유닛(150)을 돌려서 "책상" 주석의 선택을 나타낸다. 주석 선택에 응답하여, 사용자 선택 모듈(122)은 "책상" 노드와 연관된 에지를 따르고, 플레이어가 책상으로 걸어 가서 단서들을 찾는 360도 미디어 세그먼트를 플레이하도록 비디오 플레이어(140)에게 지시한다. 비디오 플레이어(140)가 플레이어가 책상의 수색을 완료했다고 결정할 때, 비디오 플레이어(140)는 루프형 에지 노드를 따르고 클라이언트(110)의 사용자를 사용자가 책상 수색과 쓰레기통 수색 사이에서 선택하도록 요청되었던 더 앞선 360도 미디어 세그먼트로 복귀시킨다. 사용자를 스토리의 이 포인트로 복귀시키는 것은 사용자가 줄거리의 진행을 변경하기 위해 이전에 선택되지 않은 주석을 선택하게 한다. 대안적으로, 사용자는 경험의 일부 양태를 반복하기 위해 이전 주석 선택을 다시 할 수 있다. 비디오 플레이어(140)는 사용자가 집의 상이한 방들 또는 바닥들을 수색하고, 사용자가 미스터리를 해결하거나 해결하지 못하는 것과 연관된 리프 노드들로 스크립트 트리를 내비게이팅하게 하는 루프들을 유사하게 이용할 수 있다.
서버 설비
도 3은 협력적인 360도 가상 현실 경험을 생성하기 위한 시스템의 서버 설비(100)의 블록도이다. 도 3에 도시된 바와 같이, 서버 설비(100)는 프론트 엔드 서버(120), 사용자 선택 모듈(122), 경험 데이터베이스(126), 주석 데이터베이스(128), 및 사용자 데이터베이스(130)를 포함한다. 방화벽들, 로드 밸런서들, 애플리케이션 서버들, 페일오버 서버들, 사이트 관리 툴들 등과 같은 다른 종래의 특징들은 시스템의 특징들을 더 명확하게 예시하기 위해 도시되지 않는다. 시스템의 구현을 위한 적합한 서버 설비(100)의 예들은 YouTubeTM 및 Google VideoTM 웹사이트들을 포함하고, 다른 비디오 호스팅 사이트들이 또한 알려져 있으며, 본 명세서에 개시된 교시에 따라 동작하도록 적응될 수 있다. 용어 "웹사이트"는 콘텐츠를 제공하는 임의의 시스템 및 방법을 나타내고, 인터넷 또는 HTTP 프로토콜을 통해 제공되는 콘텐츠를 지원하는 시스템들로 제한되도록 의도되지 않는다는 것을 이해할 것이다. 다양한 서버들은 통상적으로 소프트웨어 또는 하드웨어의 단일 부분으로 또는 소프트웨어 또는 하드웨어의 복수의 부분들로도 구현되고 프론트 엔드 서버(120)를 통해 네트워크(130)에 결합될 수 있다. 일반적으로, 일 실시예에서 서버측에서 수행되는 것으로 설명된 기능들은 또한 적절한 경우 다른 실시예들에서의 클라이언트측에서 수행될 수 있다.
프론트 엔드 서버(120)는 클라이언트(110)의 사용자가 가상 현실 경험을 시작하기 위해 다른 클라이언트들의 사용자들과 연결할 수 있게 한다. 프론트 엔드 서버(120)는 클라이언트(110A) 상에 다른 사용자들의 리스트를 표시하고, 클라이언트(110A)의 사용자 및 대응하는 클라이언트(110B)의 다른 사용자로부터 선택을 수신한다. 그 다음, 프론트 엔드 서버(120)는 가상 현실 경험을 시작하기 위한 요청이 이루어지게 할 수 있다. 일 실시예에서, 이러한 요청은 사용자가 다른 사용자에 의해 시작된 가상 현실 경험에 참여하기 위해 클라이언트(110B)에게 입력해야 하는 코드를 포함한다.
경험 데이터베이스(126)는 360도 미디어 세그먼트들 및 360도 미디어 세그먼트들과 연관된 연관 메타데이터를 저장하는데 이용된다. 360도 비디오 및 오디오 파일들은 비디오 ID, 비디오 타이틀, 라벨, 및 시간 길이와 같이, 각각의 파일과 연관된 메타데이터를 가진다. 경험 데이터베이스(126) 내의 360도 미디어 세그먼트들은 다양한 소스들로부터 획득될 수 있다. 일반적으로, 이들은 함께 응집 가상 현실 경험을 나타내는 대응하는 스크립트 트리와 함께 그룹들 내의 경험 데이터베이스(126)에의 저장을 위해 획득될 것이다.
주석 데이터베이스(128)는 360도 미디어 세그먼트들과 연관된 주석들 및 스크립트 트리에 의해 허용된 가능한 주석 선택들을 저장한다. 주석 데이터베이스(128)는 주석달린 360도 비디오의 적절한 부분과 각각의 주석 사이의 연관을 유지한다. 일 실시예에서, 예를 들어, 주석 데이터베이스(128)는 주석 타입(예를 들어, 텍스트 박스)과 함께 그 타입과 연관된 임의의 정보(예를 들어, 텍스트 캡션)의 식별자, 주석이 적용되는 360도 비디오의 타임 스탬프(들)(예를 들어, 시간 01:05로부터 시간 01:26까지), 및 주석이 달린 360도 비디오의 식별자를 저장한다.
사용자 데이터베이스(130)는 가상 현실 경험들과 연관된 사용자들의 기록을 유지한다. 각각의 개별 사용자는 사용자 ID를 할당 받는다. 사용자 ID는 사용자의 IP 주소, 사용자 이름 등과 같은 임의의 식별 정보에 기반할 수 있다. 사용자 데이터베이스(130)는, 주어진 사용자에 대해, 다른 사용자들과의 새로운 가상 현실 경험들을 시작하는 사용자의 능력을 용이하게 하기 위해 사용자의 연결들로 고려되는 다른 사용자들의 아이덴티티들의 리스트를 포함할 수 있다.
예시적인 프로세스 및 이용 사례
도 4는 일 실시예에 따라, 협력적인 라이브 액션의 가상 현실 경험을 생성하기 위한 예시적인 프로세스를 도시하는 흐름도이다. 예시적인 프로세스는 도 5a 내지 도 5s에 예시된 이용 사례에서 설명된다.
숀이 모바일 디바이스(클라이언트(110A)) 및 그 모바일 디바이스에 통신 결합된 360도 디스플레이 유닛(150A)을 소유한다고 가정한다. 숀은 애플리케이션을 열고, 프론트 엔드 서버(120)를 통해, 경험 데이터베이스(126) 내의 이용가능한 360도 비디오 파일들의 리스트로부터 오락 드라이빙 PSA를 선택한다. 클라이언트(110A)는 가상 현실 경험을 시작하기 위한 요청(410)을 서버 설비(100)에게 전송한다. 412에서, 클라이언트(110A)는 선택된 프로그램을 개시하기 위한 응답을 서버 설비(100)로부터 수신한다.
도 5a로 돌아가서, 숀은 얼마나 많은 사람들이 그 경험에 참여하기를 원하는지를 요청받고, 두 명을 선택한다. 그 다음에, 도 5b에서, 숀은 그가 새로운 세션을 시작하거나 누군가의 세션에 참여하기를 원하는지 여부를 요청받는다. 숀은 "새로운 세션 시작"을 선택하고 사용자 데이터베이스(130)에 포함되는 그 연결들의 리스트를 제시받는다. 숀은 그 연결들의 리스트로부터 앨리슨을 선택하고, 프론트 엔드 서버(120)는 숀이 생성한 세션에 참여하기 위해 앨리슨이 입력해야 하는 코드를 표시한다.
클라이언트(110A)는 웹 소켓들을 이용하여 앨리슨의 디바이스(클라이언트(110B))에 연결하고, 초대를 360도 디스플레이 유닛(150B)에 또한 결합되는 클라이언트(110B)에 전송한다. 클라이언트(110A)가 초대를 클라이언트(110B)에 전송하는 것에 응답하여, 앨리슨은 세션에 참여하기 위해 코드를 입력한다. 도 5c에서, 숀은 그가 구글사의 카드보드를 갖고 있는지 여부를 요청받고, "예"를 선택한다. 숀은 도 5d에서 "VR 모드로 이동"을 선택하고, 클라이언트(110A)를 360도 디스플레이 유닛(150A)에 배치하여 오락 드라이빙 PSA의 재생을 시작한다.
도 4로 돌아가서, 협력적인 라이브 액션의 가상 경험을 개시하기 위한 응답을 클라이언트(110A)에게 전송하는 것에 응답하여, 사용자 선택 모듈(122)은 경험 데이터베이스(126)로부터 제1 360도 비디오 파일 및 연관된 제1 오디오 파일에 액세스한다(414). 사용자 선택 모듈(122)은 제1 360도 비디오 파일 및 제1 오디오 파일과 제1 주석을 연관시키고(416), 주석 데이터베이스(128)로부터 제1 주석을 검색한다. 그 다음, 사용자 선택 모듈(122)은 360도 비디오 파일, 연관된 오디오 파일, 및 주석을 포함하는 360도 미디어 세그먼트를 클라이언트(110A) 상의 표시를 위해 비디오 플레이어(140)에게 전송한다.
418에서, 비디오 플레이어(140)는 360도 미디어 세그먼트를 360도 디스플레이 유닛(150A) 상에 제시한다. 일부 실시예들에서, 주석은 오직 하나의 주석 옵션만을 포함한다. 예를 들어, 클라이언트(110A) 상에서, 제1 360도 미디어 세그먼트는 선택된 비디오의 재생을 시작하기 위한 명령어들을 포함한다. 도 5e 내지 도 5g에서, 숀은 "지금 플레이" 주석의 선택을 나타내는, 360도 디스플레이 유닛(150A)의 물리적 움직임의 형태로 사용자 입력을 제공한다. 360도 디스플레이 유닛(150A)은 입력(420)을 검출하고 해석을 위해 사용자 선택 모듈(122)에게 그 입력을 전달한다. 사용자 선택 모듈(122)은 "지금 플레이" 입력에 응답하여 어느 360도 미디어 세그먼트를 경험 데이터베이스로부터 검색할지를 결정하기 위해 그 입력을 스크립트 트리와 비교한다. 그 다음, 사용자 선택 모듈(422)은 경험 데이터베이스(126)로부터의 제2 360도 비디오 파일 및 연관된 오디오 파일 및 주석 데이터베이스(128)로부터의 제2 주석(424)을 검색한다. 그 다음, 사용자 선택 모듈(122)은 비디오 플레이어(140A)에게 클라이언트(110A) 상의 제2 360도 미디어 세그먼트의 재생을 시작하도록 지시한다.
비디오 플레이어(140)는 제2 360도 미디어 세그먼트의 재생(426)을 시작한다. 다른 실시예들에서, 주석은 2개 이상의 주석 옵션들을 포함한다. 예를 들어, 도 5h에서, 비디오 플레이어(140)는 제스 또는 마이크의 관점에서 오락 드라이빙 PSA를 경험할지 여부를 선택하도록 숀에게 요청하는 주석을 360도 디스플레이 유닛(150A) 상에 표시한다. 도 5i에서, 숀은 "제스" 주석의 선택을 나타내는 사용자 입력을 제공한다. 사용자 선택 모듈(122)은 입력을 해석하고 비디오 플레이어(140)에게 선택된 노드와 연관된 360도 미디어 세그먼트의 재생을 시작하도록 지시한다.
도 5j에서, 비디오 플레이어(140)는 제3 360도 미디어 세그먼트의 재생을 시작한다. 숀이 "마이크" 주석을 선택했다고 가정하면, 비디오 플레이어(140)는 숀에게 "재스민을 따를지" 또는 "제스의 방식으로 갈지" 여부를 선택하도록 요청하는 주석을 제시한다. 도 5k에서, 숀은 사용자 입력을 제공하고, 사용자 선택 모듈(122)은 이를 도 5l에서의 "제스의 방식으로 가기" 노드의 선택으로서 해석하여, 비디오 플레이어(140)에게 대응하는 360도 미디어 세그먼트의 재생을 시작하도록 지시한다.
도 5m은 4개의 주석 옵션을 갖는 360도 미디어 세그먼트를 나타낸다. 숀은 테크노, 팝, 디스코 또는 힙합 음악을 플레이할지 여부를 선택하도록 요청받는다. 도 5n에서, 숀은 도 5o에서의 "팝" 노드의 선택을 나타내는 사용자 입력을 제공한다. 사용자 선택 모듈(122)은 입력을 해석하고 비디오 플레이어(140)에게 선택된 노드에 대응하는 360도 미디어 세그먼트를 플레이하도록 지시한다. 일 실시예에서, 주석 옵션의 선택은 선택된 옵션과 연관된 전체 360도 미디어 세그먼트의 즉각적인 재생을 야기한다. 다른 실시예에서, 주석 옵션의 선택은 비디오 플레이어(140)가 360도 미디어 세그먼트의 일부의 재생을 지연시키도록 지연된 응답을 야기한다. 예를 들어, 비디오 플레이어(140)가 숀의 팝 음악 선택과 연관된 360도 비디오 파일의 재생을 시작할 수 있는 동안, 비디오 플레이어(140)는 지정된 기간 동안 팝 음악을 포함하는 대응하는 오디오 파일의 재생을 지연시킬 수 있다.
일부 실시예들에서, 클라이언트들(110A 및 110B) 둘 다의 사용자들은 주석을 제시받고 표시된 주석 옵션들로부터 선택하도록 요청받는다. 예를 들어, 도 5p에서, 비디오 플레이어(140)는 클라이언트들(110A 및 110B) 상에 2개의 주석 옵션들을 갖는 주석을 표시한다. 숀과 앨리슨 둘 다는 "키스"와 "키스 없음" 중에서 선택하도록 요청받는다. 도 5q에서, 숀은 "키스" 노드의 선택을 나타내는 사용자 입력을 제공한다. 그러나, 제3 주석이 양 플레이어들로부터의 입력을 요구하기 때문에, 사용자 선택 모듈(122)은 앨리슨이 "키스" 주석 옵션을 또한 선택하지 않는 한 비디오 플레이어(140A)에게 "키스" 노드와 연관된 360도 미디어 세그먼트를 플레이하도록 지시하지 않을 것이다.
도 5r에서, 비디오 플레이어(140)는 앨리슨이 "키스" 주석 옵션을 또한 선택했음을 나타내는, "키스" 주석 옵션의 선택을 표시한다. 클라이언트(110A)는 앨리슨의 선택을 나타내는 데이터 패킷을 클라이언트(110B)로부터 수신하고, 비디오 플레이어들(140A 및 140B)에게 양 플레이어들의 주석 선택들에 대응하는 360도 미디어 세그먼트들을 재생하도록 지시한다. 스크립트 트리가 노드당 복수의 비디오들을 포함하기 때문에, 사용자 선택 모듈(122)은 가상 현실 경험에서 동일한 이벤트의 각각의 플레이어의 관점을 나타내는, 클라이언트들(110A 및 110B) 각각에게 상이한 비디오를 전송할 것이다.
도 5s는 오락 드라이빙 PSA를 종료한다. 비디오 플레이어(140)는 "해냈음"이라는 주석을 포함하는 최종 360도 미디어 세그먼트를 플레이한다. 최종 주석은 숀 또는 앨리슨에게 복수의 주석 옵션들 중에서 선택하도록 프롬프팅하지 않고, 대신에 협력적인 라이브 액션의 가상 현실 경험의 결론을 나타낸다.
추가적인 고려사항들
본 발명은 특히 다양한 실시예들과 관련하여 상세히 설명되었고, 관련 기술분야의 통상의 기술자라면 본 발명이 다른 실시예들에서 실시될 수 있다는 것을 이해할 것이다. 또한, 관련 기술분야의 통상의 기술자라면 본 개시내용의 다음의 양태들을 이해할 것이다. 첫째, 컴포넌트들, 용어들의 대문자화, 속성들, 데이터 구조들, 또는 임의의 다른 프로그래밍 또는 구조적 양태의 특정한 명명법은 의무적이거나 중요한 것이 아니며, 본 발명 또는 그 특징들을 구현하는 메커니즘들은 상이한 이름들, 포맷들, 또는 프로토콜들을 가질 수 있다. 둘째, 이러한 시스템은 설명된 바와 같이 하드웨어 및 소프트웨어의 조합을 통해, 또는 전적으로 하드웨어 요소들로 구현될 수 있다. 셋째, 본 명세서에서 설명된 다양한 시스템 컴포넌트들 사이의 기능의 특정 분할은 단지 예시적이고 필수적인 것이 아니며, 단일 시스템 컴포넌트에 의해 수행된 기능들은 그 대신에 복수의 컴포넌트들에 의해 수행될 수 있으며, 복수의 컴포넌트들에 의해 수행된 기능들은 그 대신에 단일 컴포넌트에 의해 수행될 수 있다.
위 설명의 일부 부분들은 정보에 대한 동작들의 상징적 표현들 및 알고리즘들의 면에서 본 발명을 설명한다. 이러한 알고리즘적 설명들 및 표현들은 데이터 처리 분야들에서의 통상의 기술자에 의해 그 작업의 요지를 관련 기술분야에서의 다른 통상의 기술자에게 가장 효과적으로 전달하기 위해 사용된다. 이러한 동작들은, 기능적으로, 계산적으로, 또는 논리적으로 설명되었지만, 컴퓨터 프로그램들 또는 등가의 전기 회로들, 마이크로코드 등에 의해 구현되는 것으로 이해된다. 게다가, 일반성을 잃지 않고, 이러한 동작들의 배열들을 모듈들로서 지칭하는 것이 때로는 편리하다는 것이 또한 입증되었다. 설명된 동작들 및 그 연관된 모듈들은 소프트웨어, 펌웨어 또는 하드웨어로 구현될 수 있다.
또한, 다양한 양들, 데이터 값들, 및 계산들을 설명하는데 사용되는 용어들은 적절한 물리적 양들과 연관되는 것으로 이해되며, 이러한 양들에 적용되는 편리한 라벨들일 뿐이다. 특별히 달리 언급되지 않는 한 다음의 논의로부터 명확한 바와 같이, 설명 전체에 걸쳐 "처리", "컴퓨팅", "계산" 또는 "결정" 등과 같은 용어들을 이용하는 논의들은 컴퓨터 시스템 메모리들 또는 레지스터들 또는 다른 이러한 정보 저장, 전송 또는 디스플레이 디바이스들 내에서 물리적(전자적) 양들로서 표현되는 데이터를 조작 및 변환하는 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 디바이스의 액션 및 프로세스들을 참고함을 이해한다.
마지막으로, 본 명세서에서 사용된 언어는 가독성 및 교육 목적들을 위하여 주로 선택되었고, 본 발명의 주제를 상세히 기술하거나 제한하기 위하여 선택되지 않았을 수 있다는 것에 유의해야 한다. 따라서, 본 발명의 개시내용은, 다음의 청구항들에 개시된 본 발명의 범위의 예시를 위한 것이지, 제한을 위한 것이 아니다.

Claims (20)

  1. 공유된 상호작용적 환경을 생성하는 방법으로서,
    제1 클라이언트 디바이스로부터, 공유된 상호작용적 환경 컴퓨터 프로그램을 시작하기 위한 요청을 전송하는 단계 - 상기 제1 클라이언트 디바이스는 제1 360도 디스플레이 유닛과 연관됨 -;
    상기 공유된 상호작용적 환경 컴퓨터 프로그램을 개시하기 위한 응답을 수신하는 단계;
    비디오 데이터베이스로부터 제1 360도 비디오 파일에 액세스하는 단계 - 상기 제1 360도 비디오 파일은 360도 비디오 파일들과 연관된 주석들에 응답한 사용자 입력에 기반하여 상기 공유된 상호작용적 환경을 조직화하는 스크립트 트리를 통해 복수의 360도 비디오 파일들에 링크됨 -;
    상기 스크립트 트리로부터 상기 제1 360도 비디오 파일과 연관된 제1 주석에 액세스하는 단계;
    상기 제1 클라이언트 디바이스의 상기 제1 360도 디스플레이 유닛을 이용하여 상기 제1 360도 비디오 파일 및 상기 제1 주석을 시각적으로 제시하는 단계;
    상기 제1 주석에 응답하여 사용자 입력을 수신하는 단계;
    상기 사용자 입력에 기반하여 상기 스크립트 트리 내의 후속 노드를 식별하는 단계;
    상기 후속 노드에 기반하여 상기 제1 클라이언트 디바이스에 대한 제2 360도 비디오 파일 및 제2 주석에 액세스하는 단계 - 상기 제2 360도 비디오 파일 및 상기 제2 주석은 상기 스크립트 트리에 의해 결정된 대로 상기 제1 주석에 응답한 상기 사용자 입력에 기반하여 액세스됨 -; 및
    상기 제1 클라이언트 디바이스의 상기 제1 360도 디스플레이 유닛을 이용하여 상기 제2 360도 비디오 파일 및 상기 제2 주석을 시각적으로 제시하면서, 제2 클라이언트 디바이스의 제2 360도 디스플레이 유닛은 상기 스크립트 트리 내의 상기 후속 노드와 또한 연관된 제3 360도 비디오 파일 및 제3 주석을 동시에 제시하는 단계
    를 포함하는, 공유된 상호작용적 환경을 생성하는 방법.
  2. 제1항에 있어서,
    상기 사용자 입력은 사용자의 물리적 움직임에 응답하여 상기 360도 디스플레이 유닛의 움직임을 통해 제공되는, 공유된 상호작용적 환경을 생성하는 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 스크립트 트리의 복수의 노드들 각각은 상기 스크립트 트리에서 그 선행하는 적어도 하나의 노드, 및 상기 스크립트 트리에서 그 후행하는 적어도 하나의 노드를 갖는, 공유된 상호작용적 환경을 생성하는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 제2 360도 비디오 파일 및 상기 제2 주석에 응답하여 상기 제1 클라이언트 디바이스에 의한 사용자 입력에 응답한 상기 제1 클라이언트 디바이스의 상기 제1 360도 디스플레이 유닛을 이용하여 제4 360도 비디오 파일 및 제4 주석을 시각적으로 제시하는 단계를 더 포함하는, 공유된 상호작용적 환경을 생성하는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 스크립트 트리의 노드는 2개 이상의 아웃바운드 에지들을 갖고, 각각의 아웃바운드 에지들은 한 명 이상의 사용자에 의해 행해질 수 있는 선택과 연관되는, 공유된 상호작용적 환경을 생성하는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 스크립트 트리의 복수의 노드들은 복수의 360도 비디오 파일들에 대응하고, 상이한 360도 비디오 파일은 상기 스크립트 트리의 상기 복수의 노드들 각각에서 각각의 클라이언트에게 제시되는, 공유된 상호작용적 환경을 생성하는 방법.
  7. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 제2 360도 비디오 파일 및 제2 주석에 응답하여 상기 제1 클라이언트 디바이스에 의한 사용자 입력에 응답한 상기 제1 클라이언트 디바이스의 상기 제1 360도 디스플레이 유닛을 이용하여 제4 360도 비디오 파일 및 제4 주석을 시각적으로 제시하는 단계;
    상기 제4 주석에 응답하여 사용자 입력을 수신하는 단계; 및
    상기 사용자 입력에 응답하여 상기 제1 클라이언트 디바이스의 상기 제1 360도 디스플레이 유닛을 이용하여 상기 제1 360도 비디오 파일 및 상기 제1 주석을 시각적으로 제시하는 단계
    를 더 포함하는, 공유된 상호작용적 환경을 생성하는 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 제2 360도 비디오 파일 및 상기 제2 주석은 제1 플레이어인 것으로 선택된 상기 제1 클라이언트 디바이스의 사용자에 기반하여 상기 제1 클라이언트 디바이스에게 액세스되고, 상기 제3 360도 비디오 파일 및 상기 제3 주석은 제2 플레이어인 것으로 선택된 상기 제2 클라이언트 디바이스의 사용자에 기반하여 상기 제2 클라이언트 디바이스에게 액세스되는, 공유된 상호작용적 환경을 생성하는 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 제2 및 제3 360도 비디오 파일들 및 주석들은 동일한, 공유된 상호작용적 환경을 생성하는 방법.
  10. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 제2 및 제3 360도 비디오 파일들 및 주석들은 상이한, 공유된 상호작용적 환경을 생성하는 방법.
  11. 컴퓨터 시스템으로서,
    공유된 상호작용적 환경을 생성하기 위한 실행가능한 프로그램 코드를 포함하는 컴퓨터 판독가능한 저장 매체를 포함하고,
    컴퓨터 프로그램 코드는,
    제1 클라이언트 디바이스로부터, 공유된 상호작용적 환경 컴퓨터 프로그램을 시작하기 위한 요청을 전송하고 - 상기 제1 클라이언트 디바이스는 360도 디스플레이 유닛과 연관됨 -;
    상기 공유된 상호작용적 환경 컴퓨터 프로그램을 개시하기 위한 응답을 수신하고;
    비디오 데이터베이스로부터 제1 360도 비디오 파일에 액세스하고 - 상기 제1 360도 비디오 파일은 360도 비디오 파일들과 연관된 주석들에 응답한 사용자 입력에 기반하여 상기 공유된 상호작용적 환경을 조직화하는 스크립트 트리를 통해 복수의 360도 비디오 파일들에 링크됨 -;
    상기 스크립트 트리로부터 상기 제1 360도 비디오 파일과 연관된 제1 주석에 액세스하고;
    상기 제1 클라이언트 디바이스의 상기 제1 360도 디스플레이 유닛을 이용하여 상기 제1 360도 비디오 파일 및 상기 제1 주석을 시각적으로 제시하고;
    상기 제1 주석에 응답하여 사용자 입력을 수신하고;
    상기 사용자 입력에 기반하여 상기 스크립트 트리 내의 후속 노드를 식별하고;
    상기 후속 노드에 기반하여 상기 제1 클라이언트 디바이스에 대한 제2 360도 비디오 파일 및 제2 주석에 액세스하며 - 상기 제2 360도 비디오 파일 및 상기 제2 주석은 상기 스크립트 트리에 의해 결정된 대로 상기 제1 주석에 응답한 상기 사용자 입력에 기반하여 액세스됨 -;
    상기 제1 클라이언트 디바이스의 상기 제1 360도 디스플레이 유닛을 이용하여 제2 360도 비디오 파일 및 상기 제2 주석을 시각적으로 제시하면서, 제2 클라이언트 디바이스의 제2 360도 디스플레이 유닛은 상기 스크립트 트리 내의 상기 후속 노드와 또한 연관된 제3 360도 비디오 파일 및 제3 주석을 동시에 제시하는, 컴퓨터 시스템.
  12. 제11항에 있어서,
    상기 사용자 입력은 사용자의 물리적 움직임에 응답하여 상기 360도 디스플레이 유닛의 움직임을 통해 제공되는, 컴퓨터 시스템.
  13. 제11항 또는 제12항에 있어서,
    상기 스크립트 트리의 복수의 노드들 각각은 그 선행하는 적어도 하나의 노드, 및 그 후행하는 적어도 하나의 노드를 갖는, 컴퓨터 시스템.
  14. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 스크립트 트리의 복수의 노드들은 복수의 360도 비디오 파일들에 대응하고, 상이한 360도 비디오 파일은 상기 스크립트 트리의 상기 복수의 노드들 각각에서 각각의 클라이언트 디바이스에게 제시되는, 컴퓨터 시스템.
  15. 제11항 내지 제14항 중 어느 한 항에 있어서,
    상기 제2 360도 비디오 파일 및 상기 제2 주석에 응답하여 상기 제1 클라이언트 디바이스에 의한 사용자 입력에 응답한 상기 제1 클라이언트 디바이스의 상기 제1 360도 디스플레이 유닛을 이용하여 제4 360도 비디오 파일 및 제4 주석을 시각적으로 제시하는 것;
    상기 제4 주석에 응답하여 사용자 입력을 수신하는 것; 및
    상기 사용자 입력에 응답하여 상기 제1 클라이언트 디바이스의 상기 제1 360도 디스플레이 유닛을 이용하여 상기 제1 360도 비디오 파일 및 상기 제1 주석을 시각적으로 제시하는 것
    을 더 포함하는, 컴퓨터 시스템.
  16. 컴퓨터 실행가능한 명령어들을 저장하는 컴퓨터 판독가능한 매체로서,
    상기 명령어들은, 실행에 응답하여, 프로세서를 포함하는 디바이스로 하여금,
    제1 클라이언트 디바이스로부터, 공유된 상호작용적 환경 컴퓨터 프로그램을 시작하기 위한 요청을 전송하는 것 - 상기 제1 클라이언트 디바이스는 360도 디스플레이 유닛과 연관됨 -;
    상기 공유된 상호작용적 환경 컴퓨터 프로그램을 개시하기 위한 응답을 수신하는 것;
    비디오 데이터베이스로부터 제1 360도 비디오 파일에 액세스하는 것 - 상기 제1 360도 비디오 파일은 제1 360도 비디오 파일들과 연관된 주석들에 응답한 사용자 입력에 기반하여 공유된 상호작용적 환경을 조직화하는 스크립트 트리를 통해 복수의 360도 비디오 파일들에 링크됨 -;
    상기 스크립트 트리로부터 상기 제1 360도 비디오 파일과 연관된 제1 주석에 액세스하는 것;
    상기 제1 클라이언트 디바이스의 상기 제1 360도 디스플레이 유닛을 이용하여 상기 제1 360도 비디오 파일 및 상기 제1 주석을 시각적으로 제시하는 것;
    상기 제1 주석에 응답하여 사용자 입력을 수신하는 것;
    상기 사용자 입력에 기반하여 상기 스크립트 트리 내의 후속 노드를 식별하는 것;
    상기 후속 노드에 기반하여 상기 제1 클라이언트 디바이스에 대한 제2 360도 비디오 파일 및 제2 주석에 액세스하는 것 - 상기 제2 360도 비디오 파일 및 제2 주석은 상기 스크립트 트리에 의해 결정된 대로 상기 제1 주석에 응답한 상기 사용자 입력에 기반하여 액세스됨 -; 및
    상기 제1 클라이언트 디바이스의 상기 제1 360도 디스플레이 유닛을 이용하여 상기 제2 360도 비디오 파일 및 상기 제2 주석을 시각적으로 제시하면서, 제2 클라이언트 디바이스의 제2 360도 디스플레이 유닛은 상기 스크립트 트리 내의 상기 후속 노드와 또한 연관된 제3 360도 비디오 파일 및 제3 주석을 동시에 제시하는 것
    을 포함하는 동작들을 수행하게 하는, 컴퓨터 판독가능한 매체.
  17. 제16항에 있어서,
    상기 사용자 입력은 사용자의 물리적 움직임에 응답하여 상기 360도 디스플레이 유닛의 움직임을 통해 제공되는, 컴퓨터 판독가능한 매체.
  18. 제16항 또는 제17항에 있어서,
    상기 스크립트 트리의 복수의 노드들 각각은 그 선행하는 적어도 하나의 노드, 및 그 후행하는 적어도 하나의 노드를 갖는, 컴퓨터 판독가능한 매체.
  19. 제16항 내지 제18항 중 어느 한 항에 있어서,
    상기 스크립트 트리의 복수의 노드들은 복수의 360도 비디오 파일들에 대응하고, 상이한 360도 비디오 파일은 상기 스크립트 트리의 상기 복수의 노드들 각각에서 각각의 클라이언트에게 제시되는, 컴퓨터 판독가능한 매체.
  20. 제16항 내지 제19항 중 어느 한 항에 있어서,
    상기 제2 360도 비디오 파일 및 상기 제2 주석에 응답하여 상기 제1 클라이언트 디바이스에 의한 사용자 입력에 응답한 상기 제1 클라이언트 디바이스의 상기 제1 360도 디스플레이 유닛을 이용하여 제4 360도 비디오 파일 및 제4 주석을 시각적으로 제시하는 것;
    상기 제4 주석에 응답하여 사용자 입력을 수신하는 것; 및
    상기 사용자 입력에 응답하여 상기 제1 클라이언트 디바이스의 상기 제1 360도 디스플레이 유닛을 이용하여 상기 제1 360도 비디오 파일 및 상기 제1 주석을 시각적으로 제시하는 것
    을 위한 명령어들을 더 포함하는, 컴퓨터 판독가능한 매체.
KR1020197004550A 2016-08-10 2017-08-10 협력적인 몰입형 라이브 액션의 360도 비디오 및 가상 현실 KR101996209B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/233,904 2016-08-10
US15/233,904 US10272329B2 (en) 2016-08-10 2016-08-10 Cooperative immersive live action 360-degree video and virtual reality
PCT/US2017/046380 WO2018031827A1 (en) 2016-08-10 2017-08-10 Cooperative immersive live action 360-degree video and virtual reality

Publications (2)

Publication Number Publication Date
KR20190023108A true KR20190023108A (ko) 2019-03-07
KR101996209B1 KR101996209B1 (ko) 2019-07-04

Family

ID=59700202

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197004550A KR101996209B1 (ko) 2016-08-10 2017-08-10 협력적인 몰입형 라이브 액션의 360도 비디오 및 가상 현실

Country Status (6)

Country Link
US (1) US10272329B2 (ko)
EP (1) EP3485398B1 (ko)
JP (1) JP6743273B2 (ko)
KR (1) KR101996209B1 (ko)
CN (2) CN109478193B (ko)
WO (1) WO2018031827A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10576378B2 (en) * 2016-08-30 2020-03-03 Intel Corporation Non-linear interactive experience creation and execution methods and systems
US20180096505A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US20180095636A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
JP2021526756A (ja) * 2018-06-04 2021-10-07 シャープ株式会社 全方位ビデオに関連付けられたオーバーレイ情報を決定する方法、装置、および記録媒体
US11032590B2 (en) 2018-08-31 2021-06-08 At&T Intellectual Property I, L.P. Methods, devices, and systems for providing panoramic video content to a mobile device from an edge server
KR20220031560A (ko) 2019-07-03 2022-03-11 소니그룹주식회사 정보 처리 장치, 정보 처리 방법, 재생 처리 장치 및 재생 처리 방법
US11503227B2 (en) 2019-09-18 2022-11-15 Very 360 Vr Llc Systems and methods of transitioning between video clips in interactive videos
CN111447476B (zh) * 2020-04-29 2021-11-05 厦门奇翼科技有限公司 一种5d沉浸式互动体验空间

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080069682A (ko) * 2006-02-17 2008-07-28 가부시키가이샤 코나미 데지타루 엔타테인멘토 게임서버장치, 게임서비스방법 및 프로그램을 기록한 컴퓨터 판독 가능한 정보기록매체
US20130196757A1 (en) * 2012-01-30 2013-08-01 Microsoft Corporation Multiplayer gaming with head-mounted display
US20160093108A1 (en) * 2014-09-30 2016-03-31 Sony Computer Entertainment Inc. Synchronizing Multiple Head-Mounted Displays to a Unified Space and Correlating Movement of Objects in the Unified Space
US20160191893A1 (en) * 2014-12-05 2016-06-30 Warner Bros. Entertainment, Inc. Immersive virtual reality production and playback for storytelling content

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3752256B2 (ja) * 1993-09-08 2006-03-08 株式会社日立製作所 マルチメディアデータ記録再生装置及びマルチメディアデータ生成方法
JP3273038B2 (ja) * 1999-11-17 2002-04-08 株式会社ナムコ 仮想体験型ゲーム装置
JP3468465B2 (ja) * 2000-11-15 2003-11-17 株式会社ソニー・コンピュータエンタテインメント 情報分岐制御方法、プログラム実行装置、コンピュータに実行させるための情報分岐制御プログラム、及びコンピュータに実行させるための情報分岐制御プログラムを記録した記録媒体
US20070060345A1 (en) * 2005-06-28 2007-03-15 Samsung Electronics Co., Ltd. Video gaming system and method
JP2008113247A (ja) * 2006-10-30 2008-05-15 Xing Inc ストリーミング再生方法、ストリーミング再生システム、サーバ装置、動画再生装置およびコンピュータプログラム
US8893022B2 (en) * 2010-04-01 2014-11-18 Microsoft Corporation Interactive and shared viewing experience
JP5488180B2 (ja) * 2010-04-30 2014-05-14 ソニー株式会社 コンテンツ再生装置、制御情報提供サーバ、及びコンテンツ再生システム
US8381108B2 (en) * 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US9132354B2 (en) * 2011-12-22 2015-09-15 Microsoft Technology Licensing, Llc Game having a plurality of engines
CN105051662B (zh) * 2012-10-23 2019-03-15 漫游控股有限公司 三维虚拟环境

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080069682A (ko) * 2006-02-17 2008-07-28 가부시키가이샤 코나미 데지타루 엔타테인멘토 게임서버장치, 게임서비스방법 및 프로그램을 기록한 컴퓨터 판독 가능한 정보기록매체
US20130196757A1 (en) * 2012-01-30 2013-08-01 Microsoft Corporation Multiplayer gaming with head-mounted display
US20160093108A1 (en) * 2014-09-30 2016-03-31 Sony Computer Entertainment Inc. Synchronizing Multiple Head-Mounted Displays to a Unified Space and Correlating Movement of Objects in the Unified Space
US20160191893A1 (en) * 2014-12-05 2016-06-30 Warner Bros. Entertainment, Inc. Immersive virtual reality production and playback for storytelling content

Also Published As

Publication number Publication date
CN109478193A (zh) 2019-03-15
EP3485398B1 (en) 2023-10-25
KR101996209B1 (ko) 2019-07-04
US10272329B2 (en) 2019-04-30
WO2018031827A1 (en) 2018-02-15
JP6743273B2 (ja) 2020-08-19
US20180043249A1 (en) 2018-02-15
CN114911968A (zh) 2022-08-16
CN109478193B (zh) 2022-05-24
JP2019528594A (ja) 2019-10-10
EP3485398A1 (en) 2019-05-22

Similar Documents

Publication Publication Date Title
KR101996209B1 (ko) 협력적인 몰입형 라이브 액션의 360도 비디오 및 가상 현실
US11231841B2 (en) Continuation of playback of media content by different output devices
US11386931B2 (en) Methods and systems for altering video clip objects
KR102590690B1 (ko) 다중-사용자 플랫폼을 통해 해설 콘텐츠와 게임플레이 콘텐츠를 통합하기
RU2527199C2 (ru) Совместный выбор мультимедиа с интегрированными видеообразами
US10025478B2 (en) Media-aware interface
US9584835B2 (en) System and method for broadcasting interactive content
US20040098754A1 (en) Electronic messaging synchronized to media presentation
US8453062B2 (en) Virtual world viewer
JP5336338B2 (ja) コミュニケーションシステムおよびコミュニケーション方法
JP2020537206A (ja) ロボットインタラクションのための方法及びデバイス
CN111294606B (zh) 直播处理方法、装置、直播客户端及介质
US20130222526A1 (en) System and Method of a Remote Conference
CN113178015A (zh) 房源的交互方法、装置、电子设备及存储介质
US20230325051A1 (en) Information processing device, information processing method, and computer program
JP5359199B2 (ja) コメント配信システム、端末、コメント出力方法及びプログラム
CN111800661A (zh) 直播间显示控制方法、电子设备及存储介质
JP5655119B2 (ja) コミュニケーションシステムおよびコミュニケーション方法
WO2024101001A1 (en) Information processing system, information processing method, and program for communication points regarding events
Vosmeer et al. Creating Video Content for Oculus Rift: Scriptwriting for 360° Interactive Video Productions
JP2013183182A (ja) 会議システム、議事録サーバおよび議事録作成方法
JP2022173870A (ja) 鑑賞システム、鑑賞装置及びプログラム
CN116055666A (zh) 显示设备及会议纪要的生成方法
Morelli et al. Digital video and interactivity

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant