JP7041253B2 - 現実世界空間の仮想現実提示 - Google Patents

現実世界空間の仮想現実提示 Download PDF

Info

Publication number
JP7041253B2
JP7041253B2 JP2020518404A JP2020518404A JP7041253B2 JP 7041253 B2 JP7041253 B2 JP 7041253B2 JP 2020518404 A JP2020518404 A JP 2020518404A JP 2020518404 A JP2020518404 A JP 2020518404A JP 7041253 B2 JP7041253 B2 JP 7041253B2
Authority
JP
Japan
Prior art keywords
real
world
real world
capture system
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020518404A
Other languages
English (en)
Other versions
JP2020536603A (ja
Inventor
カーン、モハメッド
リー、ミャオ
ケン 宮城
Original Assignee
ソニー・インタラクティブエンタテインメント エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー・インタラクティブエンタテインメント エルエルシー filed Critical ソニー・インタラクティブエンタテインメント エルエルシー
Publication of JP2020536603A publication Critical patent/JP2020536603A/ja
Application granted granted Critical
Publication of JP7041253B2 publication Critical patent/JP7041253B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/86—Watching games played by other players
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/44—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/61—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor using advertising information
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/63—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by the player, e.g. authoring using a level editor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/77—Game security or game management aspects involving data related to game devices or game servers, e.g. configuration data, software version or amount of memory
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Environmental & Geological Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本開示は概して、現実世界空間の仮想現実（ＶＲ）に関し、特に、ユーザにリモートであるｅスポーツイベントなどのライブイベントのＶＲ体験をヘッドマウントディスプレイ（ＨＭＤ）のユーザに提供する方法及びシステムに関する。
エレクトロニックスポーツ、すなわち、「ｅスポーツ」が観客に対するエンターテインメントのますます人気の形式となっている。ｅスポーツは、ビデオゲームサーバ及びコンピュータシステムなどの電子システムによって促進される、マルチプレイヤビデオゲームを典型的には伴う競技の形式である。ｅスポーツの環境でプレイされるより人気のあるビデオゲームのジャンルには、リアルタイムの戦略ゲーム、戦闘ゲーム、ファーストパーソンシューター（ＦＰＳ）シュータゲーム、及びマルチプレイヤオンラインバトルアリーナ（ＭＯＢＡ）ゲームがある。ｅスポーツイベントは、ｅスポーツゲームが観衆の前でライブでプレイされるときに観客のイベントになる。多くのｅスポーツイベントは、大型アリーナで開催され、観衆のメンバに、ジャンボトロンなどの大型ディスプレイ上のゲームアクションのビューと共に、コメンテータチームからのライブコメンタリを提供する。よって、ｅスポーツのライブ観衆メンバは、ゲームアクション、プレイヤ、コメンテータ、及び観衆自身の没入型の現実世界体験が与えられる。
多くの例では、ｅスポーツイベントに直に参加することが可能でないｅスポーツのファンはなお、イベントのオンラインライブストリームを介して視聴することが可能である。よって、リモートの観客は、例えば、イベントを主催する組織またはイベントを配給する配給会社によって作成されたイベントの一般的なビデオストリームを取得することが可能である。いずれのシナリオでも、ｅスポーツイベントの現在のビデオストリームは没入型ではない。例えば、ディスプレイ上でｅスポーツのビデオストリームを見ているリモートの観客は、ｅスポーツイベントが主催されているアリーナにおいて没頭しているように感じない。その上、観客にとって関心があることがある複数のカメラビュー及び「スクリーンビュー」（例えば、プレイヤのスクリーンが表示しているもの）が存在することがある。ｅスポーツの現在の放送は、消費者が望んでいるどのビューが示されるかを選択することを可能にしない。
実施形態は、この状況においてなされる。
本開示の実施形態は、ヘッドマウントディスプレイ（ＨＭＤ）を介してリモートユーザに現実世界空間の仮想現実（ＶＲ）提示を配信する方法及びシステムに関する。一実施形態では、方法は、現実世界空間のＶＲ提示についての要求を送信し、ユーザによって行われた現実世界空間内のシート選択を識別し、シート選択は、シート選択に対応する位置においてビデオ及び音声を捕捉するように構成された現実世界捕捉システムにマッピングされる、動作を含む。方法はまた、現実世界捕捉システムについてのマッピングデータを受信する動作を含み、マッピングデータは、現実世界捕捉システムに対する現実世界座標を含む。方法は、ユーザのユーザ好みを有するユーザプロファイルにアクセスすることが可能である。いくつかの実施形態に従って、方法は、現実世界捕捉システムから現実世界空間のビデオストリームを受信し、ビデオストリームは、現実世界捕捉システムの１つ以上のカメラによって捕捉された複数のビデオ画像を含み、複数の画像は、シート選択に対応する現実世界捕捉システムの現実世界座標と関連付けられた観点からＨＭＤにおいて提示される。方法は更に、ビデオストリームの複数の画像から、提示の間に再スキンするように構成された現実世界オブジェクトを識別する動作を含む。この実施形態及び他の実施形態に従って、方法は、ユーザプロファイルに基づいて、複数のビデオ画像内の現実世界オブジェクトを再スキンし、再スキンすることは、現実世界オブジェクトと関連付けられた画像データの代わりにグラフィカルコンテンツ要素をオーバレイすることを含む。特定の実施形態では、オーバレイすることは、シート選択に対応する現実世界捕捉システムと関連付けられた観点に基づいて幾何学的に調節される。方法は次いで、ＶＲ提示のためにＨＭＤを介してユーザに、再スキンされたビデオストリームを提示する。
開示の他の態様が、開示の原理を例として表す添付図面を併用して、以下の詳細な説明から明らかになる。
添付図面を併用して以下の説明を参照することによって、開示を最良に理解することができる。
リモート現実世界空間において行われるｅスポーツイベントの仮想現実（ＶＲ）提示を配信する実施形態の概念図である。
一実施形態に従った、現実世界空間のＶＲ提示を再スキンする方法の全体フローを示す。
一実施形態に従った、ユーザによって行われるシート選択に対応する視点を有する現実世界空間のＶＲ提示を提供するために現実世界空間から収集されたデータを使用する方法の全体フローを示す。
一実施形態に従った、現実世界空間のＶＲ提示の間に現実世界空間の静的な現実世界オブジェクトを再スキンする方法の全体フローを示す。
一実施形態に従った、現実世界空間のＶＲ提示の間に現実世界空間の移動している現実世界オブジェクトを再スキンする方法の全体フローを示す。
一実施形態に従った、ＨＭＤを介してライブイベントを観覧するためにシート選択を行うリモート観客の概念図を示す。
一実施形態に従った、リモート観客のシート選択を現実世界捕捉システムにマッピングする処理の概念図を示し、現実世界捕捉システムは、現実世界におけるイベントを捕捉するための複数のカメラ及びマイクロフォンを含む。
一実施形態に従った、現実世界空間データ及び現実世界環境データから現実世界捕捉システムと関連付けられた視点マッピングデータを取得する概念図を示す。
ｅスポーツイベントの現実世界ビューにおける現実世界オブジェクトを再スキンする概念図を示す。
現実世界捕捉システムの観点に基づいて再スキンする広告の上でオーバレイするグラフィカル要素を幾何学的に調節する概念図を示す。 現実世界捕捉システムの観点に基づいて再スキンする広告の上でオーバレイするグラフィカル要素を幾何学的に調節する概念図を示す。
再スキンされるように構成可能な現実世界オブジェクトの追加の実施形態を示す。
一実施形態に従った、ｅスポーツイベントにおいてプレイされているビデオゲームのゲーム内フライスルービューが提示されているリモート観客の概念図を示す。
一実施形態に従った、表示のためにｅスポーツイベントの異なるビューの間で選択しているリモート観客の概念図を示す。
一実施形態に従った、ＨＭＤを介したユーザへのｅスポーツイベントのＶＲ提示を可能にする例示的なコンピューティングシステムの図を示す。
一実施形態に従った、ｅスポーツイベントのコンテキスト内で相互に仮想的にインタラクトしている２人のリモート観客の概念図を示す。
ここで提示される方法及び処理と共に使用されることが可能なヘッドマウントディスプレイ（ＨＭＤ）の実施形態を示す。
以下の実施形態は、ＨＭＤを介してリモート観客にライブイベントの没入型の仮想体験を提供する方法、コンピュータプログラム、及び装置を説明する。しかしながら、本開示は、それらの特定の詳細のいくつかまたは全てなしに実施されてもよいことが当業者にとって明白である。他の例では、本開示を不必要に不明瞭にしないために、周知の処理動作が説明されていない。
エレクトロニックスポーツ、すなわち、「ｅスポーツ」が観客に対するエンターテインメントのますます人気の形式となっている。ｅスポーツは、ビデオゲームサーバ及びコンピュータシステムなどの電子システムによって促進される、マルチプレイヤビデオゲームを典型的には伴う競技の形式である。ｅスポーツの環境でプレイされるより人気のあるビデオゲームのジャンルには、リアルタイムの戦略ゲーム、戦闘ゲーム、ファーストパーソンシューター（ＦＰＳ）シュータゲーム、及びマルチプレイヤオンラインバトルアリーナ（ＭＯＢＡ）ゲームがある。ｅスポーツイベントは、ｅスポーツゲームが観衆の前でライブでプレイされるときに観客のイベントになる。多くのｅスポーツイベントは、大型アリーナで開催され、観衆のメンバに、ジャンボトロンなどの大型ディスプレイ上のゲームアクションのビューと共に、コメンテータチームからのライブコメンタリを提供する。よって、ｅスポーツのライブ観衆メンバは、ゲームアクション、プレイヤ、コメンテータ、及び観衆自身の没入型の現実世界体験が与えられる。
多くの例では、ｅスポーツイベントに直に参加することが可能でないｅスポーツのファンはなお、イベントのオンラインライブストリームを介して視聴することが可能である。よって、リモートの観客は、例えば、イベントを主催する組織またはイベントを配給する配給会社によって作成されたイベントの一般的なビデオストリームを取得することが可能である。いずれのシナリオでも、ｅスポーツイベントの現在のビデオストリームは没入型ではない。例えば、ディスプレイ上でｅスポーツのビデオストリームを見ているリモートの観客は、ｅスポーツイベントが主催されているアリーナにおいて没頭しているように感じない。その上、観客にとって関心があることがある複数のカメラビュー及び「スクリーンビュー」（例えば、プレイヤのスクリーンが表示しているもの）が存在することがある。ｅスポーツの現在の放送は、消費者が望んでいるどのビューが示されるかを選択することを可能にしない。
ここで提示される及びシステムは、ＨＭＤのリモートユーザが、ｅスポーツイベントなどの現実世界イベントのＶＲ提示を観覧することを可能にする。いくつかの実施形態に従って、ビデオ、音声、及び他のデータなどの現実世界データは、観客席、アリーナ、コンサートホール、倉庫などの現実世界空間内に位置するデバイスによって捕捉される。ビデオ及び音声データを含む現実世界データは、処理のためにＶＲホスティングサーバまたは他のコンテンツプロバイダに配信される。ＶＲホスティングサーバは、現実世界データを処理し、現実世界イベントのＶＲ提示をレンダリングすることが可能である。ＶＲ提示データは、ネットワークを通じてユーザのＨＭＤまたはＨＭＤに接続されたコンピューティングデバイスに送信される。
いくつかの実施形態に従って、特定のエリアもしくは領域、または概して現実世界オブジェクトは、ＶＲ提示のために視覚的に修正されてもよい。一実施形態では、視覚的修正は、広告などの現実世界オブジェクトを再スキンすることを含む。再スキンすることは、ビデオフレーム内の既存のコンテンツと関連付けられた画素データの代わりに、既存のコンテンツの上で新たなコンテンツをオーバレイし、または新たなコンテンツと関連付けられた画素データを置き換えもしくは統合する処理を含む。ここで考えられる実施形態は、再スキンするいずれかの方法を使用してもよい。結果として、現実世界イベントのリモートの観客は、自分の関心に更に順応したコンテンツが、望まれないコンテンツなしに提供されてもよい。
図１は、ＨＭＤ１０２及びＶＲ環境１０４を介してリモートユーザ１０１に、ｅスポーツイベント１００の仮想現実（ＶＲ）提示１０６を配信する実施形態の概念図である。ローカルサーバ１１６によってホストされたマルチプレイヤビデオゲームにおいて相互にプレイしている第１のチーム１１２及び第２のチーム１１４を含むｅスポーツイベント１００が示される。どのチームがどれであるかを示すチームバナー１２０及び１２２が示される。ビデオゲームの出来事のリアルタイム提示１０３は、ジャンボトロンなどのメインディスプレイ１１８上で表示され、様々な視点からプレイされているようなビデオゲームのライブビデオを含む。
マルチプレイヤゲームをプレイしている間にモニタ及び入力デバイスとインタラクトすることができる自分のゲーミングステーションを有する、ｅスポーツイベント１００における各々のプレイヤが示される。各々のゲーミングステーションはまた、プレイヤがマルチプレイヤゲームをプレイするにつれて、各々のプレイヤのライブポートレートビューを表示するように示される観衆対面パネルを有する。また、図１に示されるのは、ゲーム及びそのプレイヤに関する実況及びカラーコメンタリを提供することができるコメンテータ１０５のペアである。
更に、観衆１３２によって観覧可能な複数の物理的な広告を含むｅスポーツイベント１００が示される。物理的な広告は、印刷されたバナー広告、投影された広告、及びＬＥＤ表示された広告などを含んでもよい。例えば、ミルクについての左壁の広告１２４、インスタントヌードルについての右壁の広告１２６、エネルギードリンクについての舞台壁の広告１３０、及びゲーム製品についてのコメンテータデスク広告１２８を含むｅスポーツイベントが示される。
ｅスポーツイベント１００の舞台に面した複数のシートを含む観衆１３２が示される。いくつかの実施形態に従って、リモートユーザ１０１は、ｅスポーツイベント１００のＶＲ提示１０６のために複数のシートのうちの特定のシートを選択することが可能である。示される実施形態では、ユーザ１０１は、ＶＲ提示１０６を介してｅスポーツイベント１００を観覧するための視点１３６を有するシート１３４を選択している。以下で更に詳細に説明されるように、シート１３４の視点１３６は、シート１３４の視点１３６からｅスポーツイベント１００を捕捉するように、シート１３４に位置する複数のカメラ及びマイクロフォンを有する現実世界捕捉システム１３８によって提供される。
ＶＲホスティングサーバ１０７を通じてｅスポーツイベント１００へのアクセスを有するＨＭＤ１０２が示される。ＶＲホスティングサーバ１０７は、ＶＲ提示を処理するために、ローカルサーバ１１６によって提供される現実世界データ及びゲーム状態データを受信する。例えば、ビデオゲームのゲーム状態情報などのビデオゲームデータと共に、異なる視点からレンダリングされているビデオゲームのビデオシーンは、処理のためにＶＲホスティングサーバ１０７に提供されてもよい。その上、現実世界捕捉システム１３６によって捕捉された現実世界データは、処理のためにローカルサーバ１１６によってＶＲホスティングサーバ１０７に経路指定されてもよい。いくつかの実施形態では、ｅスポーツイベント１００内の複数の視座から現実世界データを捕捉するための複数の現実世界捕捉システムが存在してもよい。結果として、異なるサーバまたは複数のサーバは、マルチプレイヤビデオゲームをホストするために、ローカルサーバ１１６とは別個のリモートユーザに、複数の現実世界捕捉システムによって捕捉された現実世界データをサービスするために使用されてもよい。
リモートユーザ１０１によって選択されたシート１３４の視点または視座からであるｅスポーツイベント１００のＶＲ提示１０６が示される。結果として、ＶＲ提示１０６は、リモートユーザ１０１がシート１３４に位置しているかのように、ｅスポーツイベント１００の視覚的及び音声体験を提供することができる。いくつかの実施形態では、現実世界捕捉システム１３８は、リモートユーザ１０１も頭または体を移動及び回転させることによってｅスポーツイベント１００の３６０度のビューを有することが可能であるように、ｅスポーツイベント１００の３６０度のビュー及びそれを囲む物理空間を提供することが可能である。結果として、ｅスポーツイベント１００を主催するアリーナの内部にリモートユーザ１０１があるかのような体験をリモートユーザ１０１が提供されることを理由に、リモートユーザ１０１は、現在のｅスポーツ放送が提供することが可能でないｅスポーツイベント１００の没入型のＶＲ提示１０６を提供される。
図１に示される実施形態に従って、現実世界捕捉システム１３８によって捕捉された現実世界データとは異なるＶＲ提示１０６に対していくつかの修正が行われている。例えば、ミルクについての左壁の広告１２４は、ＶＲ提示におけるＰｌａｙＳｔａｔｉｏｎについての左壁の広告１２４’に再スキンされている。同様に、現実世界空間におけるインスタントヌードルについての右壁の広告１２６は、Ｆａｒｐｏｉｎｔについての右壁の広告１２６’としてリモートユーザ１０１に対して現れる。その上、舞台壁の広告１３６及びコメンテータデスク広告１２８は、現実世界空間のコンテンツとは異なる広告コンテンツを表示するように再スキンされている。再スキンされた広告１２４’～１３０’の各々が、シート１３４及び現実世界捕捉システム１３８の視点に関して現実世界における観点、サイズ、及び幾何学的比率に対するＶＲ提示１０６内の観点、サイズ、及び幾何学的比率を維持して示される。例えば、左壁の広告１２４’は、ＶＲ提示１０６が再スキンすることなく発生した場合に、左壁の広告１２４があるのと同一の観点によりユーザ１０１に対して現れる。
前に言及されたように、再スキンすることは、既存のコンテンツの代わりに新たなコンテンツが表示されるように、既存のコンテンツを有するビデオストリームにフレームを挿入することによって、既存のコンテンツ上に置き換えコンテンツをオーバレイすることを伴ってもよい。他の実施形態では、再スキンすることは、既存のコンテンツと関連付けられた既存の画素データに、新たなコンテンツと関連付けられた新たな画素データを置き換えること、混合すること、または挿入することを伴ってもよい。
その上、新たなコンテンツにより既存のコンテンツを再スキンすることは、同一または類似の観点を有する新たなコンテンツが再スキンされるように、既存のコンテンツの観点を分析することを伴ってもよいことが想定される。いくつかの実施形態では、方法またはシステムは、既存のコンテンツの頂点の各々の現実世界座標と共に、現実世界捕捉システム（例えば、既存のコンテンツを捕捉するカメラ）の現実世界座標に関するデータを収集してもよい。それらの実施形態では、既存のコンテンツの観点は、収集された座標に基づいて判定されてもよい。例えば、新たなコンテンツの頂点は、既存のコンテンツの頂点の座標に一致するように３次元空間に仮想的に置かれてもよく、２次元空間に再度投影されてもよい。新たなコンテンツの結果として生じる２次元投影は、既存のコンテンツと同一または類似の観点を有する。再スキンすることの他の実施形態では、再スキンすることは、ビデオ画像内の既存のコンテンツと同一の２次元エリアを占有するように、新たなコンテンツを変形させる変形または新たなコンテンツを変形する観点によって２次元空間において行われてもよい。
その上、ここで提示される方法及びシステムにより使用される再スキンすることは、カメラ視点に関連して移動する既存のコンテンツを動的に再スキンすることを可能にされると考えられる。例えば、現実世界において移動しているオブジェクトは、ビデオフレームの各々におけるオブジェクトを追跡し、ビデオフレーム内のオブジェクトに対して再スキンすることを実行することによって再スキンされてもよい。オブジェクトが移動するにつれて、オブジェクトの観点も変化してもよい。ここで考えられる再スキンする方法は、それらの変化をリアルタイムで追跡し、変化する観点に従って新たなコンテンツを再スキンすることが可能である。
他の実施形態では、現実世界捕捉システムは、現実世界空間内で移動してもよい。よって、現実世界オブジェクトが現実世界において静止している場合でさえ、現実世界オブジェクトの観点は、カメラが移動している間に変化する。ここで考えられる方法及びシステムは、現実世界捕捉システムのカメラが現実世界の周りで移動するにつれて変化する観点に従って、現実世界オブジェクトを再スキンすることが可能である。移動しているオブジェクトを再スキンすることと同様に、移動しているカメラ視点に対して静止オブジェクトを再スキンすることは、一連のビデオフレームにわたってオブジェクトを追跡すること、及び既存のコンテンツと関連付けられた既存の画像データを新たなコンテンツと関連付けられた新たな画像データによりオーバレイまたは置き換えることを伴ってもよい。
いくつかの実施形態では、既存のコンテンツ（例えば、現実世界広告）は、分類器、オブジェクト認識器、特徴認識器、及び人工知能を使用して自動で識別されてもよい。それらの実施形態では、自動で識別された既存のコンテンツは、再スキンロジックによって置き換えられるとタグ付けされる。例えば、ＶＲホスティングサービスは、ビーフジャーキの特定のブランドを、そのブランドの目印が捕捉されるたびに識別及び再スキンすることを指示されてもよい。ＶＲホスティングサービスは、最終的なＶＲ提示のためにビーフジャーキのブランドの目印を自動で再スキンすることを可能にされてもよいことが想定される。
いくつかの実施形態では、再スキンするために使用されるコンテンツ（例えば、「ＰｌａｙＳｔａｔｉｏｎ」、「ＦａｒＰｏｉｎｔ」など）は、ユーザ好み、ユーザ設定、ユーザ統計、ユーザ閲覧履歴、ユーザ買い物履歴、及びユーザ観覧履歴などに基づいてもよい。結果として、リモートユーザ１０１は、ｅスポーツイベント１００のＶＲ提示１０６から注意を逸らさない方式において、リモートユーザ１０１の関心に一致する広告コンテンツが提供されてもよい。
図２は、一実施形態に従った、現実世界空間のＶＲ提示を再スキンする方法の全体フローを示す。方法は、ＨＭＤを使用して、現実世界空間のＶＲ提示を体験するように、リモート位置にあるユーザから現実世界空間に入ることを要求する動作２１０を含む。方法は次いで、ユーザのユーザプロファイルを識別する働きをし、ユーザプロファイルは、ユーザ好みを含む、動作２２０に移る。いくつかの実施形態では、ユーザプロファイル及びユーザ好みは、ユーザ関心、ユーザ統計、ユーザ買い物履歴、ユーザ閲覧履歴、ユーザ観覧履歴に関するデータと共に、ソーシャルフレンド活動及び関心などに関するソーシャルネットワークデータを含んでもよい。結果として、方法は、リモートユーザに関心がある製品、サービス、イベントなどを学習することを可能にされてもよい。
動作２３０では、方法は、ユーザからシート選択を受信する。以下で更に詳細に議論されるように、ユーザは、現実世界アクションを観覧するための現実世界空間における現実世界位置に対応する複数のシートが供給されてもよい。異なるシートは、異なるシートが現実世界アクションの異なる視点または視座を有することに起因して、異なるＶＲ提示を提供することができる。いくつかの実施形態では、異なるシートは、異なる値で価格付けされてもよい。例えば、舞台の前及び中心にある家屋内の最良のシートは、舞台から離れて位置するシートよりも高い価格または要件を有してもよい。
動作２４０では、方法は、リモートユーザのシート選択に対応する視座を有するライブビデオストリームを要求する。図１に示されるように、ライブビデオストリームは、複数のカメラ及びマイクロフォンを有する現実世界捕捉システムによって提供されてもよい。方法は次いで、視座に対する現実世界座標位置を受ける働きをする、動作２５０に流れる。よって、例えば、動作２５０は、図１に示された現実世界捕捉システムの現実世界座標位置を取得することができる。加えて、方法は、現実世界空間の現実世界マッピングデータを取得することが可能であり、現実世界空間は、現実世界空間内のオブジェクトの現実世界座標を含んでもよい。例えば、現実世界空間が舞台を有するアリーナである場合、現実世界マッピングデータは、舞台が視座に関連する情報を提供することができる。
方法は次いで、視座に対する現実世界座標位置、現実世界マッピングデータ、及びユーザ好みに基づいて、ＨＭＤ上で観覧された現実世界オブジェクトに対して動的な再スキン処理を実行する働きをする、動作２６０に移る。動的な再スキンのために使用される現実世界オブジェクトは、広告、バナー、ディスプレイ、表面、パッチ、床、天井、電子デバイスなど、現実世界におけるいずれかのオブジェクトを含んでもよい。
図３は、一実施形態に従った、ユーザによって行われたシート選択に対応する視点を有する現実世界空間のＶＲ提示を提供するために、現実世界空間から収集されたデータを使用する方法の全体フローを示す。動作３１０は、現実世界空間のＶＲ提示を体験するためにユーザによって行われたシート選択を識別する。方法は次いで、ＶＲ提示を処理するために、シート選択のための現実世界座標位置を取得する働きをする、動作３２０に移る。シート選択のための現実世界座標を取得する処理は、シート選択に対応する現実世界に位置する現実世界捕捉システムにシート選択をマッピングすることを伴ってもよい。
いくつかの実施形態では、シート選択処理は、チケット販売者がアリーナ内の特定のシートのためのチケットを購入するオプションが提供される、ライブイベントのためにシートを選択することと同様である。よって、各々のシート選択は、現実世界空間における現実世界シートにマッピングする。いくつかの実施形態では、シート選択ごとに、シート選択に対応する位置から現実世界におけるイベントを捕捉する明確に異なる現実世界捕捉システムが存在する。それらの実施形態では、現実世界シートについての現実世界座標は、現実世界捕捉システムの現実世界座標と同様である。他の実施形態では、同一の現実世界捕捉システムにマッピングする２つ以上のシート選択が存在してもよい。結果として、方法は、ＶＲ提示を処理する目的で、現実世界捕捉システムの現実世界座標を取得する。他の実施形態では、現実世界捕捉システムへのシート選択の１対１及び多対１のマッピングの組み合わせが存在してもよい。動作３２０は、シート選択に対して、近接性、観覧角度などに関して最良に適合する現実世界捕捉システムにシート選択をマッピングすることが可能である。
シート選択がｅスポーツイベントを主催する観客席またはアリーナにおけるシートに対するものである場合、動作３２０によって取得された現実世界捕捉システムの現実世界座標位置は、現実世界捕捉システムが観客席またはアリーナにおけるオブジェクトに関連する場所を識別することを支援する。例えば、ＡＡ０１のシート選択は、観客席またはアリーナの座標システム内の（ｘ，ｙ，ｚ）の現実世界座標位置を有する現実世界捕捉システムにマッピングされてもよい。
動作３３０は、現実世界空間についての空間マッピングデータにアクセスするように構成される。空間マッピングデータは、上述した観客席またはアリーナの座標システムに関して物理空間の仮想マップを含んでもよい。空間マッピングデータは概して、オブジェクト、壁、床、天井、シート、舞台などの位置を識別することを支援する。再度、現実世界空間がｅスポーツイベントを主催する観客席またはアリーナである場合、空間マッピングデータは、ｅスポーツプレイヤ、コメンテータ、メインディスプレイ、舞台、広告、及び関心の他のポイントの座標データを含んでもよい。
動作３４０では、方法は、シート選択がマッピングされる現実世界捕捉システムから現実世界空間についての空間環境データにアクセスする。空間環境データは、現実世界捕捉システムによって捕捉されることが可能ないずれかのタイプのデータを含んでもよい。例えば、上述したように、現実世界捕捉システムは、カメラ、マイクロフォン、及びオブジェクトの距離を測定するための他のセンサのアレイを含んでもよい。結果として、空間環境データは、現実世界捕捉システムの場所に対する観客席の音響特性を検出する音声校正処理から収集されたデータを含んでもよい。検出された音響特性は、指向性音響反射率、インピーダンス、ゲイン、ハーモニック、背景、または周辺雑音などを含んでもよい。
動作３４０によって取得された空間環境データはまた、現実世界捕捉システムと現実世界空間内の様々なオブジェクトとの間の距離の測定値を含んでもよい。現実世界空間内の大型広告の角など、現実世界オブジェクトの頂点への追跡された光線の間の角距離も測定されてもよい。例えば、空間マッピングデータは、現実世界空間における大型の矩形広告の４つの頂点の各々の座標位置を判定することが可能であってもよい。結果として、空間環境データは、現実世界空間における３Ｄモデル現実世界オブジェクトを構築するために使用可能であってもよい。
動作３４０では、動作３２０から収集されたデータ（例えば、現実世界捕捉システムに対する現実世界座標位置）、動作３３０から収集されたデータ（例えば、空間マッピングデータ）、及び動作３４０から収集されたデータ（例えば、空間環境データ）は、視点マッピングデータを処理するために使用される。視点マッピングデータは、現実世界空間のＶＲ提示を処理することと共に、ＶＲ提示のために現実世界オブジェクトを再スキンすることに関連するデータを含んでもよい。例えば、視点マッピングデータは、現実世界オブジェクトへの測定された距離、現実世界オブジェクトの頂点への追跡された光線の角距離、現実世界オブジェクトの現実世界座標（例えば、現実世界捕捉システムとは独立した現実世界オブジェクトの座標）、現実世界オブジェクトのカメラ座標（例えば、現実世界捕捉システムに対する現実世界オブジェクトの座標）を含んでもよい。加えて、視点マッピングデータはまた、現実世界捕捉システムの位置における現実世界空間の音響特性に関するデータを含んでもよい。
図３に示される方法は次いで、動作３５０によって処理された視点マッピングデータに従って、ＨＭＤを介してユーザに現実世界空間のＶＲ提示を提供する、動作３６０に移る。ＶＲ提示は、現実世界捕捉システムによって捕捉されたライブ音声及びビデオストリームを含んでもよい。特定の実施形態では、ＶＲ提示は、視点マッピングデータに従ったライブ音声及びビデオストリームの修正されたバージョンを含んでもよい。音声ストリームを修正する実施例は、現実世界捕捉システムにおいて捕捉されたそのような音声の様々な音声入力を、観衆、プレイヤ、コメンテータ、ゲームサウンドなどと関連付けられた音声と混合することを含む。ビデオストリームを修正する実施例は、ＶＲ提示において他の何かについての大型の矩形広告として現れる大型の矩形広告などの現実世界オブジェクトを再スキンすることを含む。
図４は、一実施形態に従った、現実世界空間のＶＲ提示の間に現実世界空間の静的な現実世界オブジェクトを再スキンする全体フローを示す。方法は、ＨＭＤを介してリモートユーザから現実世界空間のＶＲ提示を要求する動作４１０により開始する。方法は次いで、現実世界捕捉システムから、現実世界空間のライブビデオストリームを受信し、ビデオストリームは、複数のビデオ画像を含む、動作４２０に移る。現実世界空間がｅスポーツイベントを主催するアリーナである場合、ビデオストリームは、各々のチームのプレイヤ、ビデオゲームのメインディスプレイ、他の観客、コメンテータ、広告のビデオなどを含んでもよい。上述したように、ビデオフィードは、ビデオフィードを受信するＨＭＤユーザが頭または体を回転させることによって３６０度で見渡すことを可能にする、現実世界空間の３６０度の水平ビューを含んでもよい。他の実施形態では、現実世界空間の３６０度の垂直ビューももたらされてもよい。
方法は次いで、現実世界捕捉システムの現実世界座標位置を識別する働きをし、現実世界座標位置は、現実世界捕捉システムに対する観点を判定するために使用可能である、動作４３０に移る。例えば、現実世界捕捉システムの現実世界座標を有することによって、方法は、様々な現実世界オブジェクトと関連付けられた観点または現実世界捕捉システムによって捕捉されたシーンを分析することが可能である。一実施例では、現実世界座標が現実世界空間における大型の矩形広告に対して既知である場合、方法は次いで、現実世界捕捉システムによって捕捉されるときに広告と関連付けられた観点を判定するために、現実世界捕捉システムの現実世界座標（例えば、ｘ，ｙ，ｚ）を使用してもよい。
動作４４０では、方法は、位置、閲覧履歴、購入履歴、検索履歴、統計、及び関心などの好みを識別するように、ユーザプロファイルにアクセスする。動作４５０では、方法は、現実世界アリーナのライブビデオストリームの複数のビデオ画像から、再スキンされるように構成可能な静止した現実世界オブジェクトを識別する。例えば、動作４５０は、大型の矩形広告がいくつかの他のコンテンツにより再スキンされるように構成可能であると識別してもよい。再スキンされるように構成可能とされることができる、いずれかの数のタイプの静的現実世界オブジェクト及び現実世界オブジェクトの一部が存在する。例えば、壁の一部、カーテン、ディスプレイ、ゲーミングステーション、舞台の一部などは全て、静的現実世界オブジェクトとして再スキンされるように構成可能であってもよい。再スキンされるように構成可能である現実世界オブジェクトも、再スキンされるように構成可能である現実世界オブジェクトの一部を意味すると取られることを認識される。
方法は次いで、ユーザのユーザプロファイルに基づいて、及び現実世界捕捉システムの現実世界座標システムに基づいて、ライブビデオストリーム内の静止した現実世界オブジェクトを再スキンする働きをする、動作４６０に移る。示される実施形態では、再スキンすることは、ライブビデオストリームにおいて現実世界オブジェクトと関連付けられた画像データの代わりにグラフィカルコンテンツをオーバレイすることを含む。その上、オーバレイすることが、現実世界捕捉システムの現実世界座標位置と関連付けられた観点に基づいて幾何学的に調節されることが示される。
例えば、大型の矩形広告が、再スキンされるように構成可能な静止した現実世界オブジェクトとして動作４５０によって識別される場合、動作４６０は次いで、例えば、スニーカについての広告を再スキンするために、ユーザにとって関心があるグラフィカルコンテンツ要素を識別するように動作可能である。動作４６０は、例えば、大型の矩形広告と前に関連付けられた画素値の代わりに、スニーカについての広告を有する新たなビデオストリームを作成することによって、大型の矩形広告と関連付けられた画像データの代わりにスニーカについての広告をオーバレイすることが可能である。その上、スニーカについての広告が現実世界捕捉システムの観点に基づいて幾何学的に調節できると考えられる。例えば、大型の矩形広告が現実世界捕捉システムの観点から斜めに現れる場合、スニーカについての広告の置き換えグラフィカルコンテンツも、大型の矩形広告と同様の方式において歪んで現れるようにされてもよい。動作４７０は次いで、再スキンされる現実世界オブジェクトを有する修正されたビデオストリームを提示する。
図５は、一実施形態に従った、現実世界空間のＶＲ提示の間に現実世界空間の移動している現実世界オブジェクトを再スキンする全体フローを示す。方法は、図４に示された方法と同様に続行する。例えば、動作５１０及び５２０はそれぞれ、ＨＭＤを介して提示されたリモートユーザからの現実世界空間のＶＲ提示を要求し、現実世界捕捉システムから現実世界空間のライブビデオストリームを受信するように構成される。
動作５３０では、方法は、現実世界捕捉システムの観点を判定するために、現実世界捕捉システムの現実世界座標位置を識別する。動作５４０では、方法は、位置、閲覧履歴、購入履歴、検索履歴、統計、関心などのユーザ好みを識別するように、ユーザのユーザプロファイルにアクセスする。動作５５０では、方法は、現実世界空間のライブビデオストリームの複数のビデオ画像から再スキンされるように構成可能な動的オブジェクトを識別する。
図５の方法は次いで、ライブビデオストリームの複数のビデオフレーム内の動的なオブジェクトを追跡する働きをする、動作５６０に移る。再スキンされるように構成可能である動的現実世界オブジェクトは、プレイヤまたは観客が着用している服装、服飾品、及び物理空間内で移動する傾向がある他のギアを含んでもよい。動作５６０は、後の動作において再スキンするためにそれらの移動を追跡するように構成される。
方法の動作５７０は、ユーザのユーザプロファイルに基づいて、及び現実世界捕捉システムの現実世界座標位置に基づいて、ビデオストリーム内の動的な現実世界オブジェクトを再スキンすることを可能にする。示される実施形態に従って、再スキンすることは、現実世界オブジェクトと関連付けられた画像データの代わりに、置き換えグラフィカルコンテンツをオーバレイすることを含み、オーバレイは、現実世界捕捉システムの現実世界座標位置の観点に基づいて幾何学的に調節される。動作５８０では、方法は、ＨＭＤを介してユーザに再スキンされたビデオストリームを提示する。
図６は、一実施形態に従った、ＨＭＤ６０１を介してライブイベントを観覧するためのシート選択を行うリモート観客６００の概念図を示す。ＨＭＤにより観覧可能であるシート選択インタフェース６０２が提供されるリモート観客６００が示される。シート選択インタフェース６０２は、ユーザに観客席及びシート情報を搬送することが可能である。いくつかの実施形態では、シート選択インタフェース６０２はまた、現実世界イベントのＶＲ提示のための各々のシートの価格情報を搬送することが可能である。
図６に従って、リモート観客６００は、シート選択インタフェース６０２において示される様々なシートをプレビューすることが可能である。例えば、観客席の前に向かうシートのための第１の選択６０４を行うことリモート観客６００が示される。シート選択インタフェース６０２は次いで、第１の選択６０４に対応するシートからの観客席のＶＲシーンを含む第１のプレビュー６０６を提供することができる。同様に、リモート観客６００が観客席のバルコニー内にある第２の選択６０８を行うとき、シート選択インタフェース６０２は次いで、第２の選択６１８に対応するシートからの観客席のＶＲシーンを含む第２のプレビュー６１０を提供することができる。いくつかの実施形態について、第１のプレビュー６０６及び第２のプレビュー６１０は、３６０度のビューを有する没入型のＶＲビューであってもよいと考えられる。
図７は、リモート観客のシート選択を現実世界捕捉システムにマッピングする処理の概念図を示す。シートマッピングチャート７１６における黒点によって表される様々な現実世界捕捉システムにマッピングされる実施例のシート選択７００が示される。例えば、現実世界捕捉システム７１８にマッピングするシートＡ８のための選択７０２が示される。シートＡ８のための選択７０２に対応する実世界シート７２０の背面上に取り付けられる現実世界捕捉システム７１８が示される。結果として、現実世界捕捉システム７１８は、シート７２０に座っている人間が有するビューと同様である現実世界空間内のビューを提供する。
現実世界の３６０度のビューを捕捉するためのカメラ７２２のアレイ、様々な方向から発するサウンドを捕捉するためのマイクロフォン７２４のアレイ、及び環境データ検知するためのセンサ７２６のアレイを含む現実世界捕捉システム７１８が示される。
図７のシートマッピングチャート７１６は、シート選択７００が様々な現実世界捕捉システムにどのようにマッピングされるかを例示する。行Ａ及びＢについて、明確に異なる現実世界捕捉システムへのシート選択の１対１のマッピングが存在する。すなわち、行Ａ及びＢからのあらゆるシート選択は、その自身の現実世界捕捉システムにマッピングする。例えば、シートＡ８のための選択７０４は、シートＡ８に特有であり、シートＡ９とは明確に異なる現実世界捕捉システムにマッピングする。しかしながら、行Ｃ及びＤについて、シートマッピングチャート７１６は、４つのシート選択のグループが１つの現実世界捕捉システムにマッピングされることを示す。例えば、４つのシート（例えば、Ｃ９、Ｃ１０、Ｄ９、及びＤ１０）のグループ７２８は各々、１つの現実世界捕捉システムにマッピングされる。よって、例えば、シートＣ９のための選択７０６は、シートＣ１０、Ｄ９、及びＤ１０のための選択のように現実世界捕捉システム７３０にマッピングされてもよい。示される実施形態に従って、現実世界捕捉システム７３０は、シートＣ９、Ｃ１０、Ｄ９、及びＤ１０の各々の位置の間または平均にある場所に置かれる。しかしながら、他の実施形態では、これは、必ずしも必須ではない。
現実世界捕捉システム７３４にマッピングされるシートＥ３のためのシート選択７０８が示され、現実世界捕捉システム７３４は、９個のシートのグループ７３６と関連付けられる。よって、グループ７３６におけるシートの各々の位置の平均に最も近い、シートＦ９の上に取り付けられる現実世界捕捉システム７３４が示される。
シート選択チャート７１６は、様々なサイズのグループを示す。例えば、シートの４行及び５列に及ぶグループ７３８と関連付けられた現実世界捕捉システムにマッピングするための選択７１０が示される。その上、５×５パターンにおいて配列された２５個のシートを有するグループ７４０と関連付けられた現実世界捕捉システムにマッピングするための選択７１２及び７１４の両方が示される。シートの特定のグループ化が例示を目的に図７において示されているが、いずれかのサイズまたはパターンのグループ化がここで提示される方法及びシステムにより利用されてもよいことを認識できる。
様々な実施形態に従って、現実世界捕捉システム７１８、７３０、及び７３４は、１人以上の仮想観客が接続されると現実世界観衆が認識するように、現実世界観衆にフィードバック信号を提供することを可能にされてもよい。例えば、現実世界捕捉システム７１８、７３０、及び７３４の各々は、仮想観客からフィードバックを配信するための１つ以上のＬＥＤ（図示せず）などのフィードバックシステムを含んでもよい。いくつかの実施形態では、フィードバックシステムは、現実世界観客に対して１人以上の仮想観客から取得されたフィードバックの表現を表示するように構成されたＬＥＤのアレイを含んでもよい。それらの実施形態及び他の実施形態では、現実世界捕捉システム７１８、７３０、及び７３４はまた、仮想観客から現実世界観客にサウンドを配信するように構成されたスピーカ（図示せず）を含んでもよい。結果として、仮想観客は、現実世界アリーナの応答及び興奮を強化することができる、現実世界空間へのフィードバックを表現することが可能である。
特定の実施形態では、フィードバックシステムは、仮想観客フィードバックの強度及び方向性を識別及び搬送するように構成されてもよい。実施例として、仮想観客が拍手を開始する場合、観客の拍手は、ＬＥＤのアレイを介して表示される動的なパターンによって表されてもよい。観客の拍手の強度は、ＬＥＤのアレイ内の移動の様々な色またはパターンを表示することによって表されてもよい。いくつかの実施形態では、１人よりも多い仮想観客は、いずれかの所与の時間に現実世界捕捉システムに接続されてもよい。それらの実施形態では、フィードバックの強度及びパターンは、現実世界捕捉システムに接続された２人以上の仮想観客の平均的な反応または応答と相関付けられてもよい。例えば、同一の現実世界捕捉システムに接続された１０人以上の仮想観客が称賛の反応を提供する場合、スターバーストなどのパターンが現実世界捕捉システムの表示機構上に現れてもよい。結果として、現実世界観衆は、仮想観客の応答または反応の性質に加え、現実世界捕捉システムに接続された仮想観客の数を示す仮想観客からのフィードバックを提供されてもよい。
図８は、一実施形態に従った、現実世界空間データ及び現実世界環境データから現実世界捕捉システムと関連付けられた視点マッピングデータを取得する概念図を示す。現実世界空間内の現実世界オブジェクトのマッピングデータを含む現実世界空間データ８００が示される。例えば、現実世界空間データ８００は、物理環境における様々な現実世界オブジェクトの座標位置を含んでもよい。示される実施形態では、現実世界空間は、Ｂｉｌｌ Ｇｒａｈａｍ Ｃｉｖｉｃ Ａｕｄｉｔｏｒｉｕｍであってもよく、現実世界空間データは、舞台、壁、階段、歩道、観客席のバルコニー階の座標位置と共に、観客席において開催される所与の現実世界イベントについての様々な関心のポイントを含んでもよい。
現実世界捕捉システム８０１によって捕捉される現実世界空間環境データ８０２が示され、現実世界捕捉システム８０１は、現実世界捕捉デバイス８０１と関連付けられたシートの視点またはシートのグループについての環境データを捕捉する。上述したように、現実世界捕捉デバイス８０１は、マイクロフォン、カメラ、及びセンサのアレイを含んでもよい。
図８は、現実世界空間データ８００及び現実世界環境データ８０２が視点マッピングデータ８０４を提供するように組み合わされてもよいことを示す。現実世界座標、舞台への距離（例えば、２０メートル）、チーム１のプレイヤ１への距離（例えば、２５メートル）、ｗヘルツにある方向θ、Φの音響反射率、大型の矩形広告への距離、コメンテータへの距離、カメラ角度、カメラ視野、物理空間の３Ｄマップ、物理空間の音響マップ、観衆メンバのマップ、ジャンボトロンへの距離、スピーカへの距離、及び／または現実世界空間において直にもしくは仮想的のいずれかで存在する友人への距離を含む、視点マッピングデータ８０４が示される。
いくつかの実施形態に従って、視点マッピングデータ８０４は、現実世界及び現実世界オブジェクトのカメラ座標を構築するために、現実世界空間データ８００及び現実世界空間環境データ８０２を使用する。例えば、いくつかの実施形態では、視点マッピングデータ８０４は、現実世界環境データ８０２を使用して、現実世界空間データによってもたらされる「世界座標」を「カメラ座標」に変換することが可能である。結果として、視点マッピングデータ８０４は、視点マッピングデータ８０４が、現実世界空間の画像捕捉の間に大型の矩形広告がどのようにカメラ上で投影されるかを知るように、例えば、再スキンする目的で、大型の矩形広告のカメラ座標を使用することを可能にされる。
図９は、ｅスポーツイベントの現実世界ビューにおける現実世界オブジェクトを再スキンする概念図を示す。ｅスポーツイベントを捕捉するように再スキンされている第１のビュー９００が示される。ビュー９００は、例えば、現実世界捕捉システムのビデオ捕捉の一部であってもよい。第１のビュー９００は、ｅスポーツイベントの観衆によって観覧可能である様々な表面上に置かれた複数の広告を含む。例えば、第１のビュー９００は、ミルクについての左壁の広告９０４、ヌードルについての右壁の広告、エネルギードリンクについての第１の舞台の広告９０８、チップメーカについての第２の舞台の広告９１０、及び製作会社についてのコメンテータデスク広告９１２を含む。ビューはまた、プレイされているビデオゲームアクションのメインディスプレイ９０４と共に、チームバナーを含む。
再スキンロジック９０１に入力される第１のビュー９００が示され、次いで、再スキンされているｅスポーツイベントの第２のビュー９００を出力するための再スキンロジック９０１が示される。図９は、再スキンロジックのグラフィカル及び視覚的能力を証明する。例えば、ミルクについての左壁の広告９０４’は、ＰｌａｙＳｔａｔｉｏｎについての左壁の広告９０４’として現れるように再スキンされている。同様に、Ｆａｒｐｏｉｎｔについての右壁の広告９０６’及び異なるチップメーカについての第２の舞台の広告９１０’として現れるように再スキンされているヌードルについての右壁の広告９０６及び第２の舞台の広告９１０が各々示される。広告９０４’、９０６’、及び広告９１０’の各々について、再スキンロジック９０１は、元の広告９０４、９０６、及び９１０と同一の空間を占有する方式において置き換え広告をオーバレイしている。その上、再スキンロジック９０１は、置き換え広告９０４’、９０６’、及び９１０’の各々が、第１のビュー９００において提供されるそれぞれの元の広告９０４、９０６、及び９１０と同一の第２のビュー９０２における観点を提供するよう描かれるように、再スキンすることを実行している。例えば、左壁の広告９０４は、歪みを有する観点により第１のビュー９００に現れる。第２のビュー９０２では、再スキンロジック９０１は、同一の歪みを有する観点により置き換え左壁の広告９０４’をオーバレイする。
既存の広告を置き換えまたはオーバレイすることに加え、再スキンロジック９０１はまた、コンテンツにより再スキンされることができる表面の一部などの追加の現実世界オブジェクトを検出することが可能である。例えば、第１のビュー９００におけるコンテンツを有さない領域において再スキンされている、ヘッドフォンメーカについての背壁の広告９１４が示される。同様に、現実世界空間の第１のビュー９００において既存のコンテンツが存在しなかった領域における第２のビュー９０２にある舞台床の広告９１６が示される。更に、現実世界捕捉デバイスにより第１のビュー９００によって捕捉されるような、舞台床との幾何学的及び遠近感の一貫性を有するように再スキンされている舞台床の広告９１６が示される。すなわち、舞台床の広告９１６は、あたかも舞台床上で平坦に据えられたように現れる。
結果として、ここで考えられる再スキンロジック９０１は、現実世界空間内の領域を現実世界捕捉デバイスによって捕捉されたとして識別することが可能であり、現実世界捕捉デバイスでは、コンテンツが補足されてもよく、そこでは、コンテンツが現実世界空間に存在しない。追加のコンテンツにより補足されることができる現実世界空間内の領域があるかどうか、及びどの領域であるかの判定は、各々の現実世界捕捉システムによって受信されたビューに依存する。例えば、コンテンツが特定の現実世界捕捉システムに対して存在しないコンテンツを捕捉することが望ましいと判定される、現実世界空間内の領域は、視点における差を理由に、異なる現実世界捕捉システムによって望ましいと発見されなくてもよい。
いくつかの実施形態では、置き換えコンテンツは、元の既存のコンテンツと同一の空間をして占有するようにされ、置き換えコンテンツが再スキンされる既存のコンテンツとは異なる表示寸法及びアスペクト比を有する他の例が存在する。例えば、より広い寸法を有するスターウォーズバトルフロントについての置き換えの第１の舞台の広告９０８’により再スキンされている、エネルギードリンクについての第１の舞台の広告９０８が示される。示される実施形態では、置き換えられた第１の舞台の広告９０８’は、空中に浮かび上がるように現れる代わりに、舞台の前の輪郭に対してフラッシュするように第２のビュー９０２に現れる。結果として、再スキンロジック９０１は、置き換えられるコンテンツとは異なる寸法を有する置き換えコンテンツを再スキンすることが可能であり、置き換えコンテンツがオーバレイされる現実世界オブジェクトとの幾何学的及び遠近感の一貫性を維持する。
その上、追加の領域が再スキンされてもよいことが考えられる。例えば、第１のビュー９００では、ゲーミングステーションの観衆が対面するディスプレイ上のそれぞれのプレイヤのライブポートレートビューを表示するためのプレイヤゲーミングステーション９１８の各々が示される。ライブポートレートディスプレイは、観衆に、そうではない場合にそれぞれのコンピュータモニタによってビューから遮断されるプレイヤの顔表情を見る方式をもたらす。以下で更に詳細に議論されるように、ここで考えられる実施形態は、理解することが困難である場合がある、ゲーミングステーションの観衆が対面するディスプレイに依存する必要なく、リモートユーザが、プレイヤのそれらのライブポートレートビューにアクセスすることを可能にする。よって、いくつかの実施形態では、再スキンすることはまた、ゲーミングステーションの全てまたは一部の観衆が対面するディスプレイ上で実行されてもよい。例えば、図９は、プレイヤゲーミングステーション９１８の各々の第１のビュー９００が、第２のビュー９０２においてプレイヤゲーミングステーション９１８’上の「ＧＥＡＴＮＥＳＳ ＡＷＡＩＴＳ」と読む文字を表示するように再スキンロジック９０１によって再スキンされていることを示す。よって、置き換えコンテンツは、広告グラフィックなどのグラフィカルコンテンツに加えて、テキストの形式にあってもよいことが考えられる。
特定の条件下で、数または理由に対して変わらないままであってもよく、及び再スキンされていなくてもよい元の、既存の広告コンテンツが存在してもよい。示される実施形態では、再スキンロジック９０１による再スキンの後に変わらないままでいるコメンテータデスク広告９１２が示される。
図１０Ａは、現実世界捕捉システム１００６の観点に基づいて再スキンするための現実世界広告１００４の上でオーバレイする置き換えグラフィック１００２を幾何学的に調節する概念図を示す。正方形でなく、または現実世界広告１００４の平面に直行する、観点における現実世界広告１００４を捕捉する現実世界捕捉システム１００６が示される。現実世界捕捉システム１００６は、現実世界広告１００６の頂点ｖ１、ｖ２、ｖ３、及びｖ４への距離（ｄ：ｄ１、ｄ２、ｄ３、及びｄ４）と共に、頂点の各々への追跡された光線の間で形成された角度（θ：θ１、θ２、θ３、及びθ４）を判定することが可能とされると考えられる。ｄ及びθに基づいて、再スキンロジックは、現実世界捕捉システム１００６の観点からの現実世界広告に類似して現れるように、変換関数を使用して様々なグラフィカル要素を変換することが可能である。
ｄ及びθの関数である変換関数Ｆを含む再スキンロジック１００１が示され、変換関数Ｆは、セットＸからの画像データを２次元空間または３次元空間のいずれかにあるそれ自体にマッピングする。示される実施形態では再スキンロジックに入力される置き換えグラフィック１００２が示され、再スキンロジックは、置き換えグラフィック１００２と関連付けられた画素データを修正された置き換えグラフィック１００２における新たな画素座標にマッピングする。結果として、修正された置き換えグラフィック１００２は、ＶＲ提示における現実世界広告１００４と同一の観点により現れるようにされる。
図１０Ｂは、現実世界捕捉デバイスの視点が変化している間に現実世界オブジェクトを再スキンする実施形態を示す。例えば、現実世界オブジェクトの左にある視点から現実世界オブジェクトの右にある視点に縦方向に進む現実世界捕捉デバイスが示される。その移動の間、再スキンロジックは、入力グラフィックを幾何学的に変換するために使用されるパラメータを更新する。結果として、再スキンロジックは、現実世界捕捉デバイスの現在の場所及び視点に応じて、入力グラフィックの変化する観点を出力することが可能である。
図１１は、再スキンされるように構成可能にできる追加の現実世界オブジェクトを示す。多くのｅスポーツイベントでは、異なる角度からプレイヤを捕捉する多数のビデオカメラが存在してもよい。示される実施形態では、ビデオゲームとインタラクトしているプレイヤのショット１０００は、再スキンされることができるいくつかの現実世界オブジェクトを含む。例えば、プレイヤが使用しているモニタと関連付けられた領域１１０２及び１１０４は、再スキンされるように構成可能であってもよい。「パフォーマンスチェア」と関連付けられた領域１１０６及びヘッドフォンと関連付けられた領域１１０８などの特定の他のゲーミングギアロゴは、ここで説明される再スキンロジックと互換性を有する領域でもあってもよい。その上、プレイヤの服装上に着用されたグラフィック、ロゴ、バッジ、パッチなどは、再スキンされるように構成可能な候補現実世界オブジェクトでもあってもよい。例えば、プレイヤのチームジャージまたは服装と関連付けられた領域１１１０及び１１１２も、ＶＲ提示のために再スキンされると考えられる。
図１２は、一実施形態に従った、ｅスポーツイベントにおいてプレイされているビデオゲームのゲーム内フライスルービューが提示されているリモート観客１２０１の概念図を示す。リモート観客は、ｅスポーツイベントに位置する現実世界捕捉システムによって提供される、ｅスポーツイベントの第１のビュー１２００を受信する。リモート観客１２０１は、ゲームの「内部」にある視点からゲームアクションを観覧するために、プレイされているゲームの「フライスルー」ビュー（例えば、第１の個人ビュー）を有することを望むことがある。ここで考えられる方法及びシステムは、ユーザが、ゲームアクションのフライスルービューを受信するように、ｅスポーツイベントにおいてプレイされているｅスポーツビデオゲームに「ジャンプインする」ことを可能にする。示される実施形態では、ユーザは、人形をｅスポーツイベントのメインディスプレイ内の場所に指し示し、ドラッグする。それに応じて、ＶＲ提示は、現実世界捕捉システムによって提供されるビデオストリームから、人形が置かれた場所に対応する位置にあるフライスルービューである第２のビュー１２０２に変化する。フライスルービューは、ｅスポーツゲームのライブゲーム状態データを使用してレンダリングされてもよく、ＨＭＤ上で、ＨＭＤと関連付けられたコンピューティングデバイスにおいて、またはリモートサーバにおいて実行されてもよい。
図１３は、一実施形態に従った、表示のためにｅスポーツイベントの異なるビューの間で選択しているリモート観客１３０１の概念図を示す。第１のビュー１３００では、リモート観客１３０１は、選択のために、現実世界捕捉システムと共に複数の観覧モジュール１３０４からｅスポーツイベントのビデオフィードが提供される。観覧モジュールは、プレイヤのポートレートビュー、プレイヤの背後からのビュー、キーボード、マウス、タッチパッド、ジョイスティック、もしくは他の入力デバイスとインタラクトしているプレイヤのビュー、個々のプレイヤスクリーンのビュー、フライスルービュー、観衆のビュー、コメンテータのビューなど、現実世界の様々なカメラビューを含んでもよい。プレイヤ１のスクリーンビュー１３０６を選択しており、表示のために望まれるＶＲ提示内の位置に、プレイヤ１の正面１３０８と関連付けられた観覧モジュールを指し示し、ドラッグする（１３１０）ことによって、プレイヤ１の正面１３０８を選択している最中であるリモート観客１３０１が示される。
ＶＲ提示の第２のビュー１３０２では、選択された位置において表示される選択された観覧モジュールが示される。例えば、プレイヤ１が自分のスクリーン上で何を見ているかのミラーを表示するためのプレイヤ１のスクリーンビュー１３０６’が示される。よって、リモート観客１３０１は、プレイヤ１によって実行されるクリック及びコマンドなどの制御アクションを見ることが可能である。加えて、顔表情を含むことができるプレイヤ１のビュー、及びコントローラ入力アクションを表示するためのプレイヤ１の正面１３０８’が示される。結果として、ｅスポーツイベントのピクチャ対ピクチャビュー（複数可）がここで考えられる方法及びシステムによって提供されることができ、リモート観客１３０１は、そうでない場合に対面の観客として所望のビューへのアクセスを有しないことがあるリモート観客１３０１に所望のビューを見ることを可能にする。様々なカメラビュー及びゲームアクションビューを同時に観覧する機能は、リモート観客が何を観覧することを望んでいるかの同一の程度の制御を与えない、現在のｅスポーツの放送への追加の技術的な利点を表す。
図１４は、一実施形態に従った、ユーザへのＨＭＤを介したｅスポーツイベントのＶＲ提示を可能にする例示的なＶＲホスティングサーバ／コンピューティングデバイス１４０１の図を示す。ｅスポーツイベントサーバ１４００から現実世界データを受信するＶＲホスティングサーバ／コンピューティングデバイス１４０１が示される。様々な実施形態に応じて、ｅスポーツイベントサーバ１４００は、ｅスポーツイベントにおいて捕捉されたデータをサービスする、製作会社または配給会社からであってもよい。ｅスポーツイベントの様々なカメラビュー及びゲームアクションビューを含むビデオストリーム１４０４と共に、ｅスポーツイベントを主催する物理空間またはアリーナの空間マッピングデータ１４１０、及び現実世界捕捉システムによって捕捉された空間環境データ１４１２を取得するＶＲホスティングサーバ／コンピューティングデバイス１４０１が示される。加えて、ユーザ好み及びユーザデータを含むユーザプロファイル１４０６と共に、例えば、置き換え広告を含む置き換えコンテンツ１４０８を受信するＶＲホスティングサーバ／コンピューティングデバイス１４０１が示される。
前に言及されたように、ビデオストリーム１４０４は、いくつかの視点からのいくつかのビデオを含んでもよい。また、単一の視点であったとしても、３６０度（または、それよりも低い）視野を生じさせるために使用される複数のビデオストリームが存在してもよい。いくつかの実施形態では、３６０度のビューを生じさせるための１つの位置から取られる複数のビデオストリームは、ｅスポーツイベントサーバ１４００などのリモートサーバによって、または製作会社もしくはコンテンツ供給サーバにおいて共にステッチされてもよい。他の実施形態では、ＶＲホスティングサーバ／コンピューティングデバイス１４０１のビデオ画像ステッチングロジック１４２４は、３６０度のビューをレンダリングするように、重なり合う視野を有する複数のビデオストリームのステッチングを実行してもよい。ビデオ画像ステッチングロジック１４２４によって提供される３６０度のビューは次いで、再スキンロジック１４２８にフィードされる。３６０度のビューがここで提示される方法及びシステムによって列挙されてもよいが、３６０度よりも低いビュー、例えば、１８０度のビューまたは１５０度のビューなども使用されてもよいことを認識されるべきである。
また、再スキンロジック１４２８にフィードされるのは、ユーザプロファイル１４０６から分析されたユーザ好み１４２６である。ユーザ好み１４２６は、置き換えコンテンツ（例えば、置き換え広告）のどれがリモート観客に関心があるかもしれないかを判定することを支援する。置き換えコンテンツ１４０８もＶＲ提示１４４０へのビデオクリップを再スキンするためのビデオ画像を含んでもよいことを認識されるべきである。加えて、視点マッピングデータ１４３２も、置き換えコンテンツ１４０８によって提供される画像またはビデオへの幾何学的及び遠近感の修正などの変換を実行するために再スキンロジック１４２８にフィードされる。
ビデオ画像ステッチングロジック１４２４によって提供されるビデオストリーム、ユーザ好み１４２６、置き換えコンテンツ１４０８、及びＰＯＶマッピングデータ１４３２に基づいて、再スキンロジック１４２８は、再スキンするために使用される現実世界オブジェクトとの幾何学的及び遠近感の一貫性を維持する方式において、置き換えコンテンツによりビデオストリーム内の現実世界オブジェクトを再スキンすることを可能にされる。再スキンされたビデオストリームは次いで、ＨＭＤインタフェース１４３８を介したリモート観客へのＶＲ提示をレンダリングするように構成されたＶＲグラフィックシステム１４３０にフィードされる。図示されないが、様々なビデオ圧縮処理及び符号化は、ＶＲホスティングサーバ／コンピューティングデバイス１４０１において示される様々な構成要素の前、内、または後に実行されてもよいことが理解できる。例えば、ＶＲグラフィックシステム１４３０によって出力されるビデオフィードは、ネットワークを通じたＨＤＭへの配信のためにＨＭＤインタフェース１４３８に転送される前に圧縮を受けてもよい。
また、現実世界捕捉システムにおいて捕捉されたサウンドを含むシートサウンドフィード１４１４、群衆によって生じたサウンド及び雑音を含む背景サウンド１４１６、コメンテータサウンドフィード１４１８、プレイヤ／チームサウンドフィード１４２０、並びに友人の音声フィード１４２２を含む、様々なサウンドストリームを受信するＨＭＤ／コンピューティングデバイス１４０１が示される。ここで説明される方法及びシステムは、リモート観客が、ＶＲ提示１４４０において配信される様々なサウンド源の間で選択することを可能にすると考えられる。サウンド混合ロジック１４３４は、ユーザ選択に応じて、サウンド処理システム１４２６にフィードされる所望のサウンド出力を提供するように、様々なサウンド源を混合するように構成される。サウンド処理システム１４２６は、ＨＭＤインタフェース１４３８を介してＶＲ提示１４３８に音声信号を出力する。再度、図示されないが、明確にすることを目的に、様々な圧縮及び解凍工程が例示から省略されている。しかしながら、圧縮及び解凍、符号化及び復号を伴う様々な動作は、サウンドに関連するモジュールまたは工程のいずれかの前、内、または後に実行されてもよいことが理解される。例えば、サウンド処理システムによって提供されるサウンド出力は、ＨＭＤインタフェース１４３８を介してＨＭＤに伝送される前に符号化されてもよい。
図１５は、一実施形態に従った、ｅスポーツイベントのコンテキスト内で相互に仮想的にインタラクトしている２人のリモート観客の概念図を示す。現実世界空間において隣接するシートを選択している２人のリモート観客が示される。結果として、２人のリモート観客は、それぞれのＶＲ提示を介して共に対面しているかのようにｅスポーツイベントを体験することができる。いくつかの実施形態では、ＶＲ提示は、他のリモート観客の仮想提示を表示するようにＶＲシーンをレンダリングしてもよく、逆もそうである。よって、各々のリモート観客は、お互いを見る。いくつかの実施形態では、示されるものなど、アバタが仮想提示のために使用されてもよい。他の実施形態では、リモート観客のうちの１人のライブ画像または３Ｄ表現は、他のリモート観客のためにＶＲ提示においてレンダリングされておよい。また、２人以上の観客が上記説明された体験を観戦しているグループに参加することができることが想定される。
いくつかの実施形態では、リモート観客は、ｅスポーツイベントを観覧もしているライブ観客と連絡することが可能であってもよい。例えば、現実世界シートが、カメラ、マイクロフォン、及びスピーカを含む現実世界捕捉システムを備える場合、リモート観客は、ＶＲ提示内で現実世界において隣に座っているライブ顧客を見ることが可能であってもよい。
図１６は、提示される方法及び／またはシステムにより使用されることができるＨＭＤ１６００の追加の実施形態を例示する。ＨＭＤ１６００は、プロセッサ１６０２、バッテリ１６０４、顔認識器１６０６、ボタン、センサ、スイッチ１６０８、サウンド特定器１６１０、ディスプレイ１６１２、及びメモリ１６１４などのハードウェアを含む。また、磁力計１６１６、加速度計１６１８、ジャイロスコープ１６２０、ＧＰＳ１６２２、及びコンパス１６２４を含むポジションモジュール１６２６を含むＨＭＤ１６００が示される。更に、ロボット１６００に含まれるのは、スピーカ１６２８、マイクロフォン１６３０、ＬＥＤ１６３２、視覚的認識のためのオブジェクト（複数可）１６３４、ＩＲライト１６３６、フロントカメラ１６３８、リアカメラ１６４０、凝視追跡カメラ（複数可）１６４２、ＵＳＢ１６４４、永続的記憶装置１６４６、振動触知フィードバック１６４８、通信リンク１６５０、ＷｉＦｉ（登録商標）１６５２、超音波通信１６５４、Ｂｌｕｅｔｏｏｔｈ（登録商標）１６５６、近接場通信（ＮＦＣ）１６５８、及びレーダ１６６０である。
方法動作が特定の順序で説明されてきたが、他の維持管理動作が動作の間で実行されてもよく、動作が僅かに異なる時に行われるように動作が調節されてもよく、または処理と関連付けられた様々な間隔において処理動作を行うことを可能にするシステム内で分散されてもよいことが理解されるべきである。
また、１つ以上の実施形態は、コンピュータ可読媒体上でコンピュータ可読コードとして組み立てられることができる。コンピュータ可読媒体は、その後、コンピュータシステムによって読み取られることができる、データを記憶することができるいずれかのデータ記憶装置である。コンピュータ可読媒体の実施例は、ハードドライブ、ネットワークアタッチドストレージ（ＮＡＳ）、リードオンリメモリ、ランダムアクセスメモリ、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、並びに他の光学及び非光学データ記憶装置を含む。コンピュータ可読媒体は、コンピュータ可読コードが分散方式において記憶及び実行されるように、ネットワーク結合コンピュータシステムにわたって分散されたコンピュータ可読有形媒体を含むことができる。
上記実施形態が理解を明確にする目的である程度詳細に説明されてきたが、特定の変更及び修正が添付の請求項の範囲内で実施されることができることが明白である。したがって、本実施形態は、例示的且つ非限定的であると考えられ、実施形態は、本明細書で与えられる詳細に限定されないが、添付の請求項の範囲及びその同等物内で修正されてもよい。

Claims (20)

  1. ヘッドマウントディスプレイ（ＨＭＤ）を介してリモートユーザに現実世界空間の仮想現実（ＶＲ）提示を配信する方法であって、
    前記現実世界空間の前記ＶＲ提示についての要求を送信することと、
    前記ユーザによって行われた前記現実世界空間内のシート選択を識別することであって、前記シート選択は、前記現実世界空間における現実世界捕捉システムにマッピングされ、前記現実世界捕捉システムは、前記シート選択に対応する位置においてビデオ及び音声を捕捉するように構成される、前記識別することと、
    前記現実世界捕捉システムについてのマッピングデータを受信することであって、前記マッピングデータは、前記現実世界捕捉システムに対する現実世界座標を含む、前記受信することと、
    前記ユーザのユーザ好みを有するユーザプロファイルにアクセスすることと、
    前記現実世界捕捉システムから前記現実世界空間のビデオストリームを受信することであって、前記ビデオストリームは、前記現実世界捕捉システムの１つ以上のカメラによって捕捉された複数のビデオ画像を含み、前記複数の画像は、前記シート選択に対応する前記現実世界捕捉システムの前記現実世界座標と関連付けられた観点から前記ＨＭＤにおいて提示される、前記受信することと、
    前記ビデオストリームの前記複数の画像から、前記ユーザへの提示の間に再スキンするように構成された現実世界オブジェクトを識別することと、
    前記ユーザプロファイルに基づいて、前記複数のビデオ画像内の前記現実世界オブジェクトを再スキンすることであって、前記再スキンすることは、前記現実世界オブジェクトと関連付けられた画像データの代わりにグラフィカルコンテンツ要素をオーバレイすることを含み、前記オーバレイすることは、前記シート選択に対応する前記現実世界捕捉システムと関連付けられた前記観点に基づいて幾何学的に調節され、前記再スキンすることは、前記グラフィカルコンテンツ要素が、前記現実世界オブジェクトと関連付けられた前記画像データと同一の寸法をもつ場合、前記現実世界オブジェクトと関連付けられた前記画像データと同一の歪みを有する観点により前記グラフィカルコンテンツ要素をオーバレイする一方、前記再スキンすることは、前記グラフィカルコンテンツ要素が、前記現実世界オブジェクトと関連付けられた前記画像データとは異なる寸法をもつ場合、前記現実世界オブジェクトの輪郭に沿うように前記グラフィカルコンテンツ要素をレンダリングする、前記再スキンすることと、
    前記ＶＲ提示のために前記ＨＭＤを介して前記ユーザに前記ビデオストリームを提示することと、
    を備えた、方法。
  2. 複数のセンサから、前記ユーザが前記ＨＭＤを着用している間の場所及び方位を追跡することと、
    前記ＨＭＤの前記場所及び方位を前記追跡したことに基づいて、前記ユーザが前記ＨＭＤを着用している間の前記ＨＭＤの移動を検出することであって、前記ビデオストリームの視野は、前記ＨＭＤの前記移動に応答して変化するように行われる、前記検出することと、
    を更に備えた、請求項１に記載の方法。
  3. 前記現実世界捕捉システムによって提供される前記ビデオストリームは、水平の３６０度の視野を含む、請求項１に記載の方法。
  4. 前記マッピングデータは更に、前記現実世界オブジェクトの座標を含み、前記現実世界オブジェクトの前記座標は、前記現実世界オブジェクトを前記再スキンするために使用可能である、請求項１に記載の方法。
  5. 前記ユーザ好みは、前記ユーザの統計、前記ユーザの閲覧履歴、前記ユーザの買い物履歴、前記ユーザの観覧履歴、前記ユーザのソーシャルメディアデータ、またはユーザの関心を含み、前記ユーザ好みは、前記再スキンするための前記グラフィカルコンテンツ要素を判定するために使用可能である、請求項１に記載の方法。
  6. 前記オーバレイすることは、前記現実世界捕捉システムと前記現実世界オブジェクトの頂点との間の現実世界距離を測定すること、並びに前記現実世界捕捉システムから前記頂点に追跡された光線の間で形成された角度を測定することを含み、前記測定された距離及び測定された角度は、前記現実世界捕捉システムの前記観点に基づいて幾何学的に調節される前記グラフィカルコンテンツ要素をオーバレイするために使用される、請求項１に記載の方法。
  7. 前記現実世界オブジェクトは移動し、前記現実世界距離を前記測定すること、及び前記角度を前記測定することは、現実世界オブジェクトが移動するにつれて変化する現実世界オブジェクトの観点に基づいて前記グラフィカルコンテンツ要素が幾何学的に調節されるように、前記現実世界オブジェクトが移動するのとリアルタイムで、または準リアルタイムで行われる、請求項６に記載の方法。
  8. 前記再スキンすることは、前記複数のビデオ画像内の前記現実世界オブジェクトの頂点を識別すること、及び前記グラフィカルコンテンツ要素の頂点が前記現実世界オブジェクトの前記頂点と適合するように、前記グラフィカルコンテンツ要素を変換することを含み、前記グラフィカルコンテンツ要素は、前記現実世界オブジェクトと関連付けられた前記画像データの代わりに、前記グラフィカルコンテンツ要素を前記オーバレイするために使用されるように変換されている、請求項１に記載の方法。
  9. 前記現実世界捕捉システムから前記現実世界空間の音声フィードを受信することを更に備え、前記音声フィードは、前記シート位置と関連付けられた前記現実世界捕捉システムの現実世界座標に従って処理される、請求項１に記載の方法。
  10. 前記ユーザからビデオモジュールの選択を受信すること、前記ビデオモジュールは、前記現実世界空間の追加のビデオストリームであることを更に備え、前記ビデオモジュールは、前記ＨＭＤを介して前記ユーザに前記ビデオストリームを前記提示している間にピクチャ対ピクチャ表示として表示される、請求項１に記載の方法。
  11. 前記現実世界空間は、エレクトロニックスポーツ（ｅスポーツ）活動を含み、前記ビデオモジュールは、プレイヤの前の観点、プレイヤの後の観点、プレイヤのスクリーン、プレイヤの制御パッドの観点、ゲームのジャンボトロンの観点、１つ以上のコメンテータの観点、プレイヤのチームの観点、または観衆メンバの観点の追加のビデオストリームのうちの１つである、請求項１０に記載の方法。
  12. 前記ユーザから、前記現実世界空間においてプレイされているビデオゲームのフライスルービューについてのコマンドを受信することであって、前記コマンドは、前記フライスルービューについての前記ビデオゲーム内の位置を含む、前記受信することと、
    前記現実世界空間から、プレイされている前記ビデオゲームのゲーム状態のストリームを受信することと、
    前記ゲーム状態の前記ストリーム、及び前記フライスルービューについての前記ビデオゲーム内の前記位置と関連付けられた仮想カメラビューに基づいて、前記フライスルービューをレンダリングすることと、
    前記ＨＭＤを介して前記ユーザに前記フライスルービューを提示することと、
    を更に備えた、請求項１に記載の方法。
  13. １つ以上のプロセッサと、
    前記１つ以上のプロセッサと通信するように配置され、プロセッサ実行可能命令を記憶したメモリと、を備え、前記プロセッサ実行可能命令は、
    現実世界空間のＶＲ提示についての要求を送信し、前記要求は、ＨＭＤを介してユーザに前記現実世界空間の前記ＶＲ提示を配信するための要求であり、
    前記ユーザによって行われた前記現実世界空間内のシート選択を識別し、前記シート選択は、前記現実世界空間における現実世界捕捉システムにマッピングされ、前記現実世界捕捉システムは、前記シート選択に対応する位置においてビデオ及び音声を捕捉するように構成され、
    前記ユーザのユーザ好みを有するユーザプロファイルにアクセスし、
    前記現実世界捕捉システムについてのマッピングデータを受信し、前記マッピングデータは、前記現実世界捕捉システムに対する現実世界座標を含み、
    前記現実世界捕捉システムから前記現実世界空間のビデオストリームを受信し、前記ビデオストリームは、前記現実世界捕捉システムの１つ以上のカメラによって捕捉された複数のビデオ画像を含み、前記複数の画像は、前記シート選択に対応する前記現実世界捕捉システムの前記現実世界座標と関連付けられた観点から前記ＨＭＤにおいて提示され、
    前記ビデオストリームの前記複数の画像から、前記ユーザへの提示の間に再スキンするように構成された現実世界オブジェクトを識別し、
    前記ユーザプロファイルに基づいて、前記複数のビデオ画像内の前記現実世界オブジェクトを再スキンし、前記再スキンすることは、前記現実世界オブジェクトと関連付けられた画像データの代わりに、グラフィカルコンテンツ要素をオーバレイすることを含み、前記オーバレイすることは、前記シート選択に対応する前記現実世界捕捉システムと関連付けられた前記観点に基づいて幾何学的に調節され、前記再スキンすることは、前記グラフィカルコンテンツ要素が、前記現実世界オブジェクトと関連付けられた前記画像データと同一の寸法をもつ場合、前記現実世界オブジェクトと関連付けられた前記画像データと同一の歪みを有する観点により前記グラフィカルコンテンツ要素をオーバレイする一方、前記再スキンすることは、前記グラフィカルコンテンツ要素が、前記現実世界オブジェクトと関連付けられた前記画像データとは異なる寸法をもつ場合、前記現実世界オブジェクトの輪郭に沿うように前記グラフィカルコンテンツ要素をレンダリングし、
    前記ＶＲ提示のために前記ＨＭＤを介して前記ユーザに前記ビデオストリームを提示する、
    サーバシステム。
  14. 複数のセンサから、前記ユーザが前記ＨＭＤを着用している間の場所及び方位を追跡し、
    前記ＨＭＤの前記場所及び方位を前記追跡したことに基づいて、前記ユーザが前記ＨＭＤを着用している間の前記ＨＭＤの移動を検出し、前記ビデオストリームの視野は、前記ＨＭＤの前記移動に応答して変化するように行われる、
    命令を更に含む、請求項１３に記載のサーバシステム。
  15. 前記マッピングデータは更に、前記現実世界オブジェクトの座標を含み、前記現実世界オブジェクトの前記座標は、前記現実世界オブジェクトを前記再スキンするために使用可能である、請求項１３に記載のサーバシステム。
  16. 前記オーバレイすることは、前記現実世界捕捉システムと前記現実世界オブジェクトの頂点との間の現実世界距離を測定すること、並びに前記現実世界捕捉システムから前記頂点に追跡された光線の間で形成された角度を測定することを含み、前記測定された距離及び前記測定された角度は、前記現実世界捕捉システムの前記観点に基づいて幾何学的に調節される前記グラフィカルコンテンツ要素をオーバレイするために使用される、請求項１３に記載のサーバシステム。
  17. 前記現実世界オブジェクトは移動し、前記現実世界距離を前記測定すること、及び前記角度を前記測定することは、現実世界オブジェクトが移動するにつれて変化する現実世界オブジェクトの観点に基づいて前記グラフィカルコンテンツ要素が幾何学的に調節されるように、前記現実世界オブジェクトが移動するのとリアルタイムで、または準リアルタイムで行われる、請求項１３に記載のサーバシステム。
  18. 前記再スキンすることは、前記複数のビデオ画像内の前記現実世界オブジェクトの頂点を識別すること、及び前記グラフィカルコンテンツ要素の頂点が前記現実世界オブジェクトの前記頂点と適合するように、前記グラフィカルコンテンツ要素を変換することを含み、前記グラフィカルコンテンツ要素は、前記現実世界オブジェクトと関連付けられた前記画像データの代わりに、前記グラフィカルコンテンツ要素を前記オーバレイするために使用されるように変換されている、請求項１３に記載のサーバシステム。
  19. プロセッサ実行可能命令を記憶した非一時的媒体であって、前記命令は、
    現実世界空間のＶＲ提示についての要求を送信し、前記要求は、ＨＭＤを介してユーザに前記現実世界空間の前記ＶＲ提示を配信するための要求であり、
    前記ユーザによって行われた前記現実世界空間内のシート選択を識別し、前記シート選択は、前記現実世界空間における現実世界捕捉システムにマッピングされ、前記現実世界捕捉システムは、前記シート選択に対応する位置においてビデオ及び音声を捕捉するように構成され、
    前記ユーザのユーザ好みを有するユーザプロファイルにアクセスし、
    前記現実世界捕捉システムについてのマッピングデータを受信し、前記マッピングデータは、前記現実世界捕捉システムに対する現実世界座標を含み、
    前記現実世界捕捉システムから前記現実世界空間のビデオストリームを受信し、前記ビデオストリームは、前記現実世界捕捉システムの１つ以上のカメラによって捕捉された複数のビデオ画像を含み、前記複数の画像は、前記シート選択に対応する前記現実世界捕捉システムの前記現実世界座標と関連付けられた観点から前記ＨＭＤにおいて提示され、
    前記ビデオストリームの前記複数の画像から、前記ユーザへの提示の間に再スキンするように構成された現実世界オブジェクトを識別し、
    前記ユーザプロファイルに基づいて、前記複数のビデオ画像内の前記現実世界オブジェクトを再スキンし、前記再スキンすることは、前記現実世界オブジェクトと関連付けられた画像データの代わりに、グラフィカルコンテンツ要素をオーバレイすることを含み、前記オーバレイすることは、前記シート選択に対応する前記現実世界捕捉システムと関連付けられた前記観点に基づいて幾何学的に調節され、前記再スキンすることは、前記グラフィカルコンテンツ要素が、前記現実世界オブジェクトと関連付けられた前記画像データと同一の寸法をもつ場合、前記現実世界オブジェクトと関連付けられた前記画像データと同一の歪みを有する観点により前記グラフィカルコンテンツ要素をオーバレイする一方、前記再スキンすることは、前記グラフィカルコンテンツ要素が、前記現実世界オブジェクトと関連付けられた前記画像データとは異なる寸法をもつ場合、前記現実世界オブジェクトの輪郭に沿うように前記グラフィカルコンテンツ要素をレンダリングし、
    前記ＶＲ提示のために前記ＨＭＤを介して前記ユーザに前記ビデオストリームを提示する、
    前記命令を含む、非一時的媒体。
  20. 前記オーバレイすることは、前記現実世界捕捉システムと前記現実世界オブジェクトの頂点との間の現実世界距離を測定すること、並びに前記現実世界捕捉システムから前記頂点に追跡された光線の間で形成された角度を測定することを含み、前記測定された距離及び前記測定された角度は、前記現実世界捕捉システムの前記観点に基づいて幾何学的に調節される前記グラフィカルコンテンツ要素をオーバレイするために使用される、請求項１９に記載の非一時的媒体。
JP2020518404A 2017-09-29 2018-09-26 現実世界空間の仮想現実提示 Active JP7041253B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762566266P 2017-09-29 2017-09-29
US62/566,266 2017-09-29
US15/901,845 US10556185B2 (en) 2017-09-29 2018-02-21 Virtual reality presentation of real world space
US15/901,845 2018-02-21
PCT/US2018/052986 WO2019067640A1 (en) 2017-09-29 2018-09-26 PRESENTATION IN VIRTUAL REALITY OF REAL WORLD SPACE

Publications (2)

Publication Number Publication Date
JP2020536603A JP2020536603A (ja) 2020-12-17
JP7041253B2 true JP7041253B2 (ja) 2022-03-23

Family

ID=65896466

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020518404A Active JP7041253B2 (ja) 2017-09-29 2018-09-26 現実世界空間の仮想現実提示

Country Status (5)

Country Link
US (3) US10556185B2 (ja)
EP (1) EP3687645B1 (ja)
JP (1) JP7041253B2 (ja)
CN (1) CN111148554B (ja)
WO (1) WO2019067640A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109478339A (zh) * 2016-07-29 2019-03-15 三菱电机株式会社 显示装置、显示控制装置和显示控制方法
US10810541B2 (en) 2017-05-03 2020-10-20 Hand Held Products, Inc. Methods for pick and put location verification
US11579744B2 (en) * 2017-06-21 2023-02-14 Navitaire Llc Systems and methods for seat selection in virtual reality
USD936697S1 (en) * 2017-09-21 2021-11-23 Yuri Hosokuni Display screen with a graphical interface for an electronic game
EP3704563A4 (en) * 2017-10-31 2021-08-04 Outward, Inc. MIXED PHYSICAL AND VIRTUAL REALITIES
JP7298932B2 (ja) * 2018-02-02 2023-06-27 アクセス ヴァーチャル， エルエルシー 仮想現実に基づくパイロット訓練システム
US20190378334A1 (en) * 2018-06-08 2019-12-12 Vulcan Inc. Augmented reality portal-based applications
US10996831B2 (en) 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
US20200019782A1 (en) * 2018-07-13 2020-01-16 International Business Machines Corporation Accommodating object occlusion in point-of-view displays
US11030796B2 (en) * 2018-10-17 2021-06-08 Adobe Inc. Interfaces and techniques to retarget 2D screencast videos into 3D tutorials in virtual reality
US10974153B2 (en) * 2019-01-17 2021-04-13 Disney Enterprises, Inc. Streamable compressed geometry for live broadcast
US20200346114A1 (en) * 2019-04-30 2020-11-05 Microsoft Technology Licensing, Llc Contextual in-game element recognition and dynamic advertisement overlay
US11050977B2 (en) 2019-06-18 2021-06-29 Tmrw Foundation Ip & Holding Sarl Immersive interactive remote participation in live entertainment
US11270347B2 (en) * 2019-07-09 2022-03-08 Josh Lehman Apparatus, system, and method of providing a three dimensional virtual local presence
US10757528B1 (en) 2019-10-11 2020-08-25 Verizon Patent And Licensing Inc. Methods and systems for simulating spatially-varying acoustics of an extended reality world
JP2021065283A (ja) * 2019-10-18 2021-04-30 株式会社コナミデジタルエンタテインメント プログラム、ゲーム装置、ゲーム装置の制御方法及びゲームシステム
US11023729B1 (en) * 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
US20210194942A1 (en) * 2019-12-19 2021-06-24 Volta Audio Ltd System, platform, device, and method for spatial audio production and virtual reality environment
JP7462916B2 (ja) 2019-12-27 2024-04-08 株式会社コナミデジタルエンタテインメント 演出制御システム、それに用いるコンピュータプログラム、及び制御方法
JP1724353S (ja) * 2020-05-13 2022-09-09 文書間の関連を示す画像を表示可能な情報端末機
US11321892B2 (en) 2020-05-21 2022-05-03 Scott REILLY Interactive virtual reality broadcast systems and methods
CN115916359A (zh) * 2020-05-29 2023-04-04 科乐美数码娱乐株式会社 分发系统、分发系统的控制方法以及计算机程序
CN115997187A (zh) * 2020-07-03 2023-04-21 普费奇公司 远程出席和参与系统和方法
EP4210847A1 (en) * 2020-09-02 2023-07-19 Daniel Choi Systems and methods for augmented reality environments and tokens
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
US11657578B2 (en) 2021-03-11 2023-05-23 Quintar, Inc. Registration for augmented reality system for viewing an event
US11645819B2 (en) 2021-03-11 2023-05-09 Quintar, Inc. Augmented reality system for viewing an event with mode based on crowd sourced images
US11527047B2 (en) 2021-03-11 2022-12-13 Quintar, Inc. Augmented reality system for viewing an event with distributed computing
US20220295139A1 (en) * 2021-03-11 2022-09-15 Quintar, Inc. Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
US20220398936A1 (en) * 2021-06-15 2022-12-15 Richard Parker Aircraft training aid systems and processes
CN113613028B (zh) * 2021-08-03 2023-08-08 北京达佳互联信息技术有限公司 直播数据处理方法、装置、终端、服务器及存储介质
CN114047824A (zh) * 2022-01-13 2022-02-15 北京悉见科技有限公司 多终端用户在虚拟空间交互的方法
CN114679619B (zh) * 2022-03-18 2023-08-01 咪咕数字传媒有限公司 滑雪比赛信息增强展示方法、系统、设备及存储介质
CN114745598B (zh) * 2022-04-12 2024-03-19 北京字跳网络技术有限公司 视频数据展示方法、装置、电子设备及存储介质
US20230381674A1 (en) * 2022-05-31 2023-11-30 Sony Interactive Entertainment LLC Triggering virtual help or hindrance based on audience participation tiers
CN115113737B (zh) * 2022-08-30 2023-04-18 四川中绳矩阵技术发展有限公司 一种虚拟对象声音和图像的重现方法、系统、设备及介质
CN115278340B (zh) * 2022-09-26 2022-11-29 中影年年(北京)文化传媒有限公司 一种基于虚拟现实的用户交互方法及系统
US11842543B1 (en) * 2023-01-17 2023-12-12 Starbucks Corporation Camera system for providing an in-store experience to a remote user
CN117596373B (zh) * 2024-01-17 2024-04-12 淘宝（中国）软件有限公司 基于动态数字人形象进行信息展示的方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009065627A (ja) 2007-09-04 2009-03-26 Mitsutoshi Akitani バーチャルイベント視聴システムとその動作方法
JP2014035763A (ja) 2012-08-10 2014-02-24 Nippon Telegr & Teleph Corp <Ntt> 情報表示装置
JP2017064161A (ja) 2015-09-30 2017-04-06 株式会社バンダイナムコエンターテインメント ゲームシステム、撮影装置、ゲーム装置およびプログラム
JP6126272B1 (ja) 2016-05-17 2017-05-10 株式会社コロプラ 仮想空間を提供する方法、プログラム及び記録媒体

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3991076B2 (ja) 1997-06-30 2007-10-17 雅信 鯨田 有限個数の座席の遠隔利用のためのシステム及び方法
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US20110225516A1 (en) * 2010-03-10 2011-09-15 Oddmobb, Inc. Instantiating browser media into a virtual social venue
US9007364B2 (en) * 2011-10-12 2015-04-14 Salesforce.Com, Inc. Augmented reality display apparatus and related methods using database record data
WO2013126784A2 (en) 2012-02-23 2013-08-29 Huston Charles D System and method for creating an environment and for sharing a location based experience in an environment
US20130317912A1 (en) * 2012-05-09 2013-11-28 William Bittner Advertising in Augmented Reality Based on Social Networking
US9049469B2 (en) * 2013-04-03 2015-06-02 Roy S. Melzer Encryption and decryption of visible codes for real time augmented reality views
US10019057B2 (en) * 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
CN105359063B (zh) * 2013-06-09 2018-08-17 索尼电脑娱乐公司 利用追踪的头戴式显示器
EP2930671A1 (en) 2014-04-11 2015-10-14 Microsoft Technology Licensing, LLC Dynamically adapting a virtual venue
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
WO2016017997A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Wearable glasses and method of providing content using the same
US10733565B1 (en) * 2014-09-30 2020-08-04 Amazon Technologies, Inc. Interactive data processing system
US20170243403A1 (en) * 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
US10043319B2 (en) * 2014-11-16 2018-08-07 Eonite Perception Inc. Optimizing head mounted displays for augmented reality
US10438262B1 (en) * 2015-06-15 2019-10-08 Amazon Technologies, Inc. Method and device for implementing a virtual browsing experience
US9530426B1 (en) * 2015-06-24 2016-12-27 Microsoft Technology Licensing, Llc Filtering sounds for conferencing applications
US9573062B1 (en) * 2015-12-06 2017-02-21 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
US9782678B2 (en) * 2015-12-06 2017-10-10 Sliver VR Technologies, Inc. Methods and systems for computer video game streaming, highlight, and replay
US9648438B1 (en) * 2015-12-16 2017-05-09 Oculus Vr, Llc Head-related transfer function recording using positional tracking
US10531137B1 (en) * 2015-12-31 2020-01-07 Mayfonk Athletic Llc Athletic telemetry system
CA3015164A1 (en) * 2016-02-18 2017-08-24 Edx Technologies, Inc. Systems and methods for augmented reality representations of networks
US10412438B2 (en) * 2016-03-14 2019-09-10 The Directv Group, Inc. Method and system for viewing sports content within a virtual reality environment
US10112111B2 (en) * 2016-03-18 2018-10-30 Sony Interactive Entertainment Inc. Spectator view perspectives in VR environments
US11181990B2 (en) * 2016-03-18 2021-11-23 Sony Interactive Entertainment Inc. Spectator view tracking of virtual reality (VR) user in VR environments
US10666768B1 (en) * 2016-09-20 2020-05-26 Alarm.Com Incorporated Augmented home network visualization
US10388072B2 (en) * 2016-10-31 2019-08-20 Verizon Patent And Licensing Inc. Methods and systems for dynamically customizing a scene for presentation to a user
US10880086B2 (en) * 2017-05-02 2020-12-29 PracticalVR Inc. Systems and methods for authenticating a user on an augmented, mixed and/or virtual reality platform to deploy experiences

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009065627A (ja) 2007-09-04 2009-03-26 Mitsutoshi Akitani バーチャルイベント視聴システムとその動作方法
JP2014035763A (ja) 2012-08-10 2014-02-24 Nippon Telegr & Teleph Corp <Ntt> 情報表示装置
JP2017064161A (ja) 2015-09-30 2017-04-06 株式会社バンダイナムコエンターテインメント ゲームシステム、撮影装置、ゲーム装置およびプログラム
JP6126272B1 (ja) 2016-05-17 2017-05-10 株式会社コロプラ 仮想空間を提供する方法、プログラム及び記録媒体

Also Published As

Publication number Publication date
EP3687645A1 (en) 2020-08-05
JP2020536603A (ja) 2020-12-17
EP3687645B1 (en) 2021-06-30
WO2019067640A1 (en) 2019-04-04
CN111148554B (zh) 2023-10-03
US20190099678A1 (en) 2019-04-04
CN111148554A (zh) 2020-05-12
US20210346811A1 (en) 2021-11-11
US10556185B2 (en) 2020-02-11
US11738275B2 (en) 2023-08-29
US11065551B2 (en) 2021-07-20
US20200171394A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
JP7041253B2 (ja) 現実世界空間の仮想現実提示
US11436803B2 (en) Insertion of VR spectator in live video of a live event
JP6792044B2 (ja) ヘッドマウントディスプレイによって提示されるパーソナル空間コンテンツの制御
US10780350B2 (en) Spatially and user aware second screen projection from a companion robot or device
CN109475774B (zh) 虚拟现实环境中的视图位置处的观众管理
US20200346105A1 (en) Controller Having Lights Disposed Along a Loop of the Controller
EP3265864B1 (en) Tracking system for head mounted display
US10380798B2 (en) Projectile object rendering for a virtual reality spectator
JP2020518321A (ja) Ｖｒ環境への第２の画面の仮想ウィンドウ
JPWO2016009865A1 (ja) 情報処理装置及び方法、表示制御装置及び方法、再生装置及び方法、プログラム、並びに情報処理システム
KR102082670B1 (ko) 방송 시청을 위한 가상 현실 사용자 인터페이스 제공 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220310

R150 Certificate of patent or registration of utility model

Ref document number: 7041253

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150