JP6761053B2 - 仮想現実環境内のビュー位置における鑑賞者管理 - Google Patents

仮想現実環境内のビュー位置における鑑賞者管理 Download PDF

Info

Publication number
JP6761053B2
JP6761053B2 JP2018565361A JP2018565361A JP6761053B2 JP 6761053 B2 JP6761053 B2 JP 6761053B2 JP 2018565361 A JP2018565361 A JP 2018565361A JP 2018565361 A JP2018565361 A JP 2018565361A JP 6761053 B2 JP6761053 B2 JP 6761053B2
Authority
JP
Japan
Prior art keywords
hmd
view
viewing
viewer
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018565361A
Other languages
English (en)
Other versions
JP2019526104A (ja
Inventor
マークス、リチャード
オスマン、スティーヴン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JP2019526104A publication Critical patent/JP2019526104A/ja
Application granted granted Critical
Publication of JP6761053B2 publication Critical patent/JP6761053B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/26Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • A63F13/5255Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85Providing additional services to players
    • A63F13/86Watching games played by other players
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality

Description

本開示は、ヘッドマウントディスプレイ(head mounted display:HMD)内に提示される仮想現実(virtual reality:VR)環境コンテンツ、ならびに共通のビューイング位置から観賞しているHMD鑑賞者を管理すると共に所与の鑑賞者のビュー内に他の鑑賞者をレンダリングすることも可能にするための方法及びシステムに関する。
ビデオゲーム産業には、長年にわたって多くの変化が見られる。計算能力が拡大するにつれて、ビデオゲームの開発者は、同じように、計算能力のこれらの向上を利用するゲームソフトウェアを製作してきた。この目的で、ビデオゲーム開発者は、高度な演算及び数学を組み込んで非常に詳細で魅力のあるゲーミング体験を生じさせるゲームをコーディングしてきた。
例示的なゲーミングプラットフォームとしては、Sonyプレイステーション(登録商標)、Sonyプレイステーション2(登録商標)(PS2)、Sonyプレイステーション3(登録商標)(PS3)及びSonyプレイステーション4(登録商標)(PS4)が挙げられる。これらのそれぞれは、ゲームコンソールの形態で販売されている。周知のように、ゲームコンソールは、ディスプレイ(通常はテレビ受像機)に接続され、ハンドヘルドコントローラを通してユーザインタラクションを可能にするように設計されている。ゲームコンソールは、CPU、処理集約型グラフィックス演算用のグラフィックスシンセサイザ、形状変形を実行するためのベクトルユニット、ならびに他のグルーハードウェア、ファームウェア及びソフトウェアを含む専用処理ハードウェアを用いて設計されている。ゲームコンソールは、ゲームコンソールを通したローカルプレイのためのゲームディスクを受けるための光学ディスクリーダを用いて更に設計されてもよい。オンラインゲーミングも可能である。その場合、ユーザは、インターネット上の他のユーザを相手に、またはそのユーザと共にインタラクティブにプレイすることができる。ゲームの複雑さがプレイヤーの関心を引き続けるため、ゲーム及びハードウェアメーカーは、更なるインタラクティビティ及びコンピュータプログラムを可能にするようにイノベーションを続けてきた。
コンピュータゲーミング産業において高まりつつある傾向は、ユーザとゲーミングシステムとの間のインタラクションを向上させるゲームを開発することである。より豊かなインタラクティブ体験を達成する1つの方法は、無線ゲームコントローラを使用し、その動きをゲーミングシステムによって追跡することにより、プレイヤーの動きを追跡し、ゲームのための入力としてこれらの動きを使用することである。一般的に言えば、ジェスチャ入力は、コンピューティングシステム、ビデオゲームコンソール、スマート家電などの電子デバイスを、プレイヤーによってなされ、当該電子デバイスによって取得される何らかのジェスチャに対して反応させることを指す。
より没入的なインタラクティブ体験を達成する別の方法は、ヘッドマウントディスプレイを使用することである。ヘッドマウントディスプレイは、ユーザによって着用され、仮想空間のビューなどの様々なグラフィックスを提示するように構成することができる。ヘッドマウントディスプレイ上に提示されるグラフィックスは、ユーザの視野の大部分を、または全てをもカバーすることができる。従って、ヘッドマウントディスプレイは、視覚的に没入する体験をユーザに提供することができる。
本開示の実施形態が生じるのは、この背景においてである。
本開示の実施態様は、仮想現実環境を鑑賞するための好ましいビューイング位置を各観賞者に提供しつつ、複数の観賞者が仮想現実環境を鑑賞することを可能にするために使用される方法及びシステムを含む。
いくつかの実施態様において、第1のヘッドマウントディスプレイ(HMD)に仮想環境の第1のビューを提供することであって、第1のビューは、仮想環境内の第1の位置から定義されており、かつ仮想環境内の仮想オブジェクトに向かう第1のビュー方向を有する第1の仮想キャラクタに関連している、第1のビューを提供することと;第1のビューを提供することと同時に、第2のHMDに仮想環境の第2のビューを提供することであって、第2のビューは、仮想環境内の第1の位置から定義されており、かつ仮想環境内の第2の仮想キャラクタに関連している、第2のビューを提供することと;を含み、第2のビューを提供することは、第2のビュー内に第1の仮想キャラクタをレンダリングすることを含み、第2のビュー内に第1の仮想キャラクタをレンダリングすることは、仮想環境内の第2の位置を有するものとして第1の仮想キャラクタを提示するように構成されており、第2のビュー内に第1の仮想キャラクタをレンダリングすることは、第2のビュー内に示されるときに仮想オブジェクトに向かうように第1のビュー方向に対して調整される第2のビュー方向を有するものとして第1の仮想キャラクタを提示するように更に構成されている;方法が提供される。
いくつかの実施態様において、第2のビュー方向は、仮想オブジェクトの方を向くように第1の仮想キャラクタの頭部及び/または体を回すことによって第1のビュー方向に対して調整される。
いくつかの実施態様において、仮想環境の第1のビューを第1のHMDに提供することは、第1のHMDが配されている第1のインタラクティブ環境内の第1のHMDの方向を識別するデータを処理することを含み、第1のビュー方向は、第1のインタラクティブ環境内の第1のHMDの方向によって実質的に決定される。
いくつかの実施態様において、仮想環境の第2のビューを第2のHMDに提供することは、第2のHMDが配されている第2のインタラクティブ環境内の第2のHMDの方向を識別するデータを処理することを含む。
いくつかの実施態様において、第1のビュー方向が指している仮想オブジェクトは、仮想環境内の第1の位置からの第1のビュー方向の推定に基づいて識別される。
6. 第2のビュー方向は、仮想環境内の第1の位置、第2の位置及び仮想オブジェクトの相対的位置付けに基づいて決定される、請求項1に記載の方法。
いくつかの実施形態において、仮想環境は、ビデオゲームのゲームプレイに対して定義されており、第1のビュー及び第2のビューは、ビデオゲームのゲームプレイの観賞者ビューである。
いくつかの実施態様において、ネットワークを介して、複数のヘッドマウントディスプレイ(HMD)を使用して仮想環境を鑑賞するための要求を受信することと;各HMDを複数のビューインググループのうちの1つに割り当てることであって、各ビューインググループは、ビューインググループに割り当てられているHMDに関連したアバターの空間的配列を定義している、割り当てることと;各HMDについて、ネットワークを介して、HMD上にレンダリングするための仮想環境のビューを提供することであって、HMDが割り当てられているビューインググループを仮想環境内の指定されたビュー位置に配置することと、ビューインググループの空間的配列によって定義されているようにHMDの関連アバターの視点からのビューを提供することとを含む、仮想環境のビューを提供することと;を含み、仮想環境内の指定されたビュー位置は各ビューインググループについて同一である、方法が提供される。
いくつかの実施態様において、所与のビューインググループによって定義された空間的配列は、仮想環境内の互いの固定された空間的関係を有するアバター配置位置の群を含む。
いくつかの実施態様において、ビューを所与のHMDに提供するとき、所与のHMDが割り当てられているビューインググループを、他のビューインググループを除いて指定されたビュー位置内に配置する。
いくつかの実施態様において、ビューを所与のHMDに提供するとき、他のビューインググループのうちの少なくとも一部は、所与のHMDが割り当てられているビューインググループに隣接する、及び/またはビューインググループを囲むように仮想環境の他のビュー位置内に配置される。
いくつかの実施態様において、HMDを割り当てることは、HMDに関連したユーザアカウントのソーシャルグラフに基づいている。
いくつかの実施態様において、仮想環境を鑑賞するための要求は、複数のHMD接続コンピュータからネットワークを介して受信される。
いくつかの実施態様において、ネットワークを介して、複数のヘッドマウントディスプレイ(HMD)を使用して仮想環境を鑑賞するための要求を受信することと;各HMDについて、HMDに関連するアバターを観賞者アレイ内の位置に割り当てることであって、観賞者アレイは、仮想環境内にレンダリングされるときの互いに対するアバターの配列を定義している、割り当てることと;各HMDについて、ネットワークを介して、HMD上にレンダリングするための仮想環境のビューを提供することであって、HMDの関連アバターが仮想環境内の第1のビューイング位置に位置付けられるように、HMDの関連アバターを含む観賞者アレイの一部を仮想環境内に位置付けることを含む、仮想環境のビューを提供することと;を含み、仮想環境内の第1のビューイング位置は各HMDについて同一である、方法が提供される。
いくつかの実施態様において、HMDの関連アバターが第1のビューイング位置に位置するように、HMDの関連アバターを含む観賞者アレイの一部を位置付けることは、仮想環境内の第1のビューイング位置を囲む第2のビューイング位置に、観賞者アレイの一部内に含まれる他のアバターを位置付けることを更に含み、第2のビューイング位置に他のアバターを位置付けることは、観賞者アレイによって定義されているようにHMDの関連アバターと他のアバターとの互いに対する配列を維持するように構成されている。
いくつかの実施態様において、互いに対するアバターの配列は、互いに対するアバターの固定された空間的位置付けを識別する。
いくつかの実施態様において、ビューを所与のHMDに提供するとき、HMDの関連アバターを、他のアバターを除いて第1のビューイング位置に位置付ける。
いくつかの実施態様において、HMDを割り当てることは、HMDに関連したユーザアカウントのソーシャルグラフに基づいている。
いくつかの実施態様において、仮想環境を鑑賞するための要求は、複数のHMD接続コンピュータからネットワークを介して受信される。
本開示の他の態様及び利点は、本開示の原理を一例として示す添付の図面と併せて、以下の詳細な説明から明らかになるであろう。
本開示は、添付図面と併せて以下の詳細な説明を参照することによってより良く理解することができる。
本開示の実施形態に従う、ビデオゲームのインタラクティブなゲームプレイのためのシステムを示す図である。
本開示の実施形態に従う、ヘッドマウントディスプレイ(HMD)を示す図である。 本開示の実施形態に従う、ヘッドマウントディスプレイ(HMD)を示す図である。
一実施形態に従う、第2のスクリーンと呼ばれる第2のスクリーンディスプレイにコンテンツを提供するクライアントシステムとインタフェースしているHMDユーザの一例を示す図である。
本開示の実施形態に従う、実行中のビデオゲームに関連するHMDの機能を概念的に示す図である。
仮想現実環境を案内しているHMDプレイヤー及び仮想現実コンテンツを見ている1人以上の鑑賞者の例を示す図である。
本開示の実施態様に従う、鑑賞者のための位置を備えた仮想環境を示す図である。
本開示の実施態様に従う、VR環境のビューイングエリア/領域内の鑑賞者の配置を示す図である。
図7A及び7Bは、本開示の実施態様に従う、観賞者の知覚された関心対象のオブジェクトに対するVR環境内の観賞者アバターの制御に基づく当該アバターの調整を示す図である。
図8A、8B及び8Cは、本開示の実施態様に従う、3人の異なる鑑賞者の視点から見たときのVR環境内のVRシーンを示す図である。
本開示の実施態様に従う、様々なビューインググループに整理された複数の鑑賞者を概念的に示す図である。
本開示の実施態様に従う、追加のビューインググループ1002a〜hによって囲まれたVR環境内のビューインググループ1000を示す図である。
本開示の実施態様に従う、様々なサイズの追加のビューインググループによって囲まれたVR環境内のビューインググループ1000を示す図である。
本開示の実施態様に従う、鑑賞者のアレイ1100を示す図である。
本開示の実施形態に従う、ヘッドマウントディスプレイの構成要素を示す図である。
本開示の様々な実施形態に従う、ゲームシステム1400のブロック図である。
本開示の以下の実施態様は、仮想環境(例えば、ゲーミング環境)のHMD鑑賞者に鑑賞者の体験を改善するカスタマイズされたビューを提供するための方法、システム、コンピュータ可読媒体及びクラウドシステムを提供する。より具体的には、本開示の実施態様に従って、鑑賞者は、同一の、または実質的に同一のビューイング位置から仮想環境を見ているにも関わらず、友人などの他の鑑賞者を仮想環境内の自分の付近にレンダリングすることを提供されることも可能である。ビューイング位置は、好ましい、または最適なビューイング位置であり得る所定のビューイング位置とすることができる。従って、各鑑賞者は、仮想環境内の実質的に同一の地点を体験すると共に、他の鑑賞者によって自分が囲まれている感覚を提供されることも可能であり、更にこのとき、他の鑑賞者のそれぞれにも、仮想環境内の同一の地点、及び他の鑑賞者によって囲まれている感覚が提供される。仮想現実環境内の所定のビューイング位置は、仮想環境内の関心のあるコンテンツを見る、またはそれに注目するために鑑賞者の注意を引くことができる。この仮想環境は、例えば、HMDプレイヤーによって案内されるとき、ビデオゲームの仮想現実シーンであってもよい。ゲーム、コンテンツ、マルチメディア、または(例えば、HMD)プレイヤーによって案内されている一般的なコンテンツの異なるエリアに予め定義され得る2つ以上のビューイング位置が存在してもよいことが理解されよう。
様々な実施態様において、方法、システム、画像取得オブジェクト、センサ及び関連インタフェースオブジェクト(例えば、グローブ、コントローラなど)は、実際の現実時間内にディスプレイスクリーン上にレンダリングされるように構成されているデータを処理するように構成されている。ディスプレイは、ヘッドマウントディスプレイ(HMD)のディスプレイ、第2のスクリーンのディスプレイ、携帯型デバイスのディスプレイ、コンピュータディスプレイ、ディスプレイパネル、リモート接続された1人以上のユーザ(例えば、このユーザは、コンテンツを見ている、またはインタラクティブ体験を共にしている場合がある)のディスプレイなどであってもよい。
しかしながら、本開示は、これらの具体的な詳細事項の一部または全てを用いずに実施され得ることが当業者にとって明らかであろう。他の例では、本開示を必要以上に不明瞭にしないために、周知の処理動作を詳細には説明していない。
図1は、本開示の実施形態に従う、ビデオゲームのインタラクティブなゲームプレイのためのシステムを示す図である。ヘッドマウントディスプレイ(HMD)102を着用しているユーザ100が示されている。HMD102は、眼鏡、ゴーグルまたはヘルメットと同様の方法で着用され、ビデオゲームまたは他のコンテンツをユーザ100に表示するように構成されている。HMD102は、ユーザの目に近接したディスプレイ機構の提供により、非常に没入的な体験をユーザに提供する。従って、HMD102は、ユーザの視野の大部分または全体をも占有するディスプレイ領域をユーザの目のそれぞれに提供することができる。
一実施形態において、HMD102は、コンピュータ106に接続することができる。コンピュータ106への接続は、有線または無線とすることができる。コンピュータ106は、当技術分野において知られた任意の汎用または専用コンピュータとすることができる。このようなコンピュータとしては、ゲーミングコンソール、パーソナルコンピュータ、ラップトップ、タブレットコンピュータ、モバイルデバイス、携帯電話、タブレット、シンクライアント、セットトップボックス、メディアストリーミングデバイスなどが挙げられるが、これらに限定されることはない。一実施形態において、コンピュータ106は、ビデオゲームを実行し、HMD102によってレンダリングするために当該ビデオゲームからビデオ及びオーディオを出力するように構成することができる。
ユーザ100はグローブインタフェースオブジェクト104aを操作して入力をビデオゲームに提供してもよい。加えて、カメラ108は、ユーザ100が位置するインタラクティブ環境の画像を取得するように構成することができる。これらの取得画像を分析して、ユーザ100、HMD102及びグローブインタフェースオブジェクト104aの位置及び動きを決定することができる。一実施形態において、グローブインタフェースオブジェクト104aは、その位置及び方向を決定するために追跡することができるライトを含む。
後述するように、HMD102内に表示された仮想現実シーンに対してユーザがインタフェースする方法は変えることができ、グローブインタフェースオブジェクト104aに加えて他のインタフェースデバイスを使用することができる。例えば、両手用コントローラに加えて、片手用コントローラも使用することができる。いくつかの実施形態において、コントローラは、コントローラに関連した光を追跡することによって、またはコントローラと関連した形状、センサ及び慣性データを追跡することによってそれ自体を追跡することができる。これらの様々な種類のコントローラを、または1つ以上のカメラによってなされ、取得される単純な手のジェスチャをも使用して、HMD102上に提示される仮想現実環境をインタフェースし、制御し、操縦し、それと対話し、それに参加することが可能である。
加えて、HMD102は、HMD102の位置及び方向を決定するために追跡可能な1つ以上のライトを含んでもよい。カメラ108は、インタラクティブ環境から音を取得するために1つ以上のマイクロホンを含むことができる。マイクロホンアレイによって取得された音を処理して音源の位置を識別してもよい。識別された位置からの音は、識別された位置からではない他の音を除いて選択的に利用または処理することができる。更に、カメラ108は、複数の画像取得デバイス(例えば、立体視ペアのカメラ)、IRカメラ、デプスカメラ、及びこれらの組み合わせを含むように定めることができる。
別の実施形態において、コンピュータ106は、クラウドゲーミングプロバイダ112とネットワークを介して通信するシンクライアントとして機能する。クラウドゲーミングプロバイダ112は、ユーザ102によってプレイされているビデオゲームを保守し、実行する。コンピュータ106は、HMD102、グローブインタフェースオブジェクト104a及びカメラ108からの入力をクラウドゲーミングプロバイダに送信し、クラウドゲーミングプロバイダは、実行中のビデオゲームのゲーム状態に影響を与えるためにその入力を処理する。ビデオデータ、オーディオデータ及び触覚フィードバックデータなどの、実行中のビデオゲームからの出力は、コンピュータ106に送信される。コンピュータ106は、送信の前にデータを更に処理してもよく、または関連デバイスにデータを直接送信してもよい。例えば、ビデオ及びオーディオストリームはHMD102に提供されるのに対し、振動フィードバックコマンドはグローブインタフェースオブジェクト104aに提供される。
一実施形態において、HMD102、グローブインタフェースオブジェクト104a及びカメラ108は、それら自体が、クラウドゲーミングプロバイダ112と通信するためにネットワーク110に繋がるネットワーク化デバイスであってもよい。例えば、コンピュータ106は、普通はビデオゲーム処理を実行しないが、ネットワークトラフィックの通過を容易にする、ルーターなどのローカルネットワークデバイスであってもよい。HMD102、グローブインタフェースオブジェクト104a及びカメラ108によるネットワークへの接続は、有線であってもよく、または無線であってもよい。
加えて、本開示における実施形態はヘッドマウントディスプレイに関して記載され得るが、他の実施形態では、非ヘッドマウントディスプレイに替えてもよいことが理解されよう。このような非ヘッドマウントディスプレイとしては、テレビ受像機、プロジェクタ、LCDディスプレイスクリーン、携帯型デバイススクリーン(例えば、タブレット、スマートフォン、ラップトップなど)、または本実施形態に従ってビデオをレンダリングする、及び/または、インタラクティブシーンまたは仮想環境の表示を提供するように構成可能な任意の他の種類のディスプレイが挙げられるが、これらに限定されることはない。
図2A−1及び2A−2は、本開示の実施形態に従う、ヘッドマウントディスプレイ(HMD)を示す図である。図2A−1は、特に、プレイステーション(登録商標)VRヘッドセットを示す図であり、このヘッドセットは、本開示の実施態様に従うHMDの一例である。図に示すように、HMD102は、複数のライト200A〜Hを含む。これらのライトのそれぞれは、特定の形状を有するように構成されてもよく、同一の、または異なる色を有するように構成することができる。ライト200A、200B、200C及び200Dは、HMD102の前面に配列されている。ライト200E及び200Fは、HMD102の側面に配列されている。更に、ライト200G及び200Hは、HMD102の前面及び側面に及ぶようにHMD102の角に配列されている。ライトは、ユーザがHMD102を使用するインタラクティブ環境の取得画像内で識別可能であることが理解されよう。ライトの識別及び追跡に基づき、インタラクティブ環境内のHMD102の位置及び方向を決定することができる。ライトの一部は、画像取得デバイスに対するHMD102の特定の方向に応じて見える、または見えない場合があることが更に理解されよう。また、ライトの異なる部分(例えば、ライト200G及び200H)は、画像取得デバイスに対するHMD102の方向に応じた画像取得のために露出され得る。
一実施形態において、ライトは、HMDの現在のステータスを付近の他者に示すように構成することができる。例えば、ライトの一部または全ては、あるカラー配列、すなわち輝度配列を有するように構成されてもよく、点滅するように構成されてもよく、あるオン/オフ構成を有してもよく、またはHMD102の現在のステータスを示す他の配列を有してもよい。一例として、ライトは、ビデオゲームのアクティブなゲームプレイ(一般に、アクティブなタイムライン中に、またはゲームのシーン内で行われるゲームプレイ)中、メニューインタフェースの案内またはゲーム設定の構成などの、ビデオゲームの他の非アクティブなゲームプレイ態様(その間、ゲームのタイムラインまたはシーンは非アクティブになり得る、または停止され得る)に対して異なる構成を表示するように構成することができる。ライトはまた、ゲームプレイの相対輝度レベルを示すように構成されてもよい。例えば、ゲームプレイの激しさが増すとき、ライトの輝度、または点滅速度を上げてもよい。このように、ユーザの外部の人は、HMD102上のライトを見てもよく、ユーザが激しいゲームプレイにアクティブに関わっており、その瞬間に邪魔されるのを望まない場合があることを理解し得る。
HMD102は、1つ以上のマイクロホンを追加的に含んでもよい。例示された態様において、HMD102は、HMD102の前面に定められたマイクロホン204A及び204B、ならびにHMD102の側面に定められたマイクロホン204Cを含む。マイクロホンのアレイを利用することにより、マイクロホンのそれぞれからの音を処理して、その音の源の位置を決定することができる。この情報は、不必要な音源の除外、音源と視覚的識別との関連付けなどを含む、様々な方法で利用することができる。
HMD102はまた、1つ以上の画像取得デバイスを含んでもよい。例示された実施形態において、HMD102は、画像取得デバイス202A及び202Bを含むように示されている。立体視ペアの画像取得デバイスを利用することにより、環境の3次元(three−dimensional:3D)画像及びビデオをHMD102の視点から取得することができる。このようなビデオをユーザに提示して、HMD102を着用しながらユーザに「ビデオシースルー」能力を提供することができる。すなわち、ユーザは、厳密な感覚でHMD102を通して見ることはできないが、画像取得デバイス202A及び202B(例えば、以下の図3に示すような、HMD102の外側本体に配された1つ以上の前向きのカメラ108’)によって取得されたビデオは、それにもかかわらず、あたかもHMD102を通して眺めているかのようにHMD102の外部の環境を見ることを可能にすることの機能的等価性を提供することができる。このようなビデオは、仮想要素によって拡張されて拡張現実体験を提供することができ、または、他の方法で仮想要素と組み合わされ、もしくは混合されてもよい。例示された実施形態では、HMD102の前面に2つのカメラが示されているが、HMD102に搭載された、任意の向きに方向付けられた任意の数の外向きのカメラが存在してもよいことが理解されよう。例えば、別の実施形態において、環境の追加的なパノラマ画像の取得を提供するためにHMD102の側面に載置されたカメラが存在してもよい。
図2Bは、クライアントシステム106とインタフェースしているHMD102のユーザ100の一例を示す図であり、クライアントシステム106は、第2のスクリーン107と呼ばれる第2のスクリーンディスプレイにコンテンツを提供する。クライアントシステム106は、HMD102からのコンテンツの第2のスクリーン107との共有を処理するための集積電子回路を含んでもよい。他の実施形態は、クライアントシステムとHMD102のそれぞれと第2のスクリーン107との間をインタフェースする別個のデバイス、モジュール、コネクタを含んでもよい。この一般的な例において、ユーザ100は、HMD102を着用しており、コントローラ104を使用してビデオゲームをプレイしている。ユーザ100によるインタラクティブプレイによってビデオゲームコンテンツ(video game content:VGC)が生成され、そのコンテンツは、HMD102にインタラクティブに表示される。
一実施形態において、HMD102内に表示されているコンテンツは第2のスクリーン107と共有される。一例において、第2のスクリーン107を見ている人は、ユーザ100によってHMD102内にインタラクティブにプレイされているコンテンツを見ることができる。別の実施形態において、別のユーザ(例えば、プレイヤー2)は、クライアントシステム106と対話して第2のスクリーンのコンテンツ(second screen content:SSC)を生成することができる。コントローラ104(または任意の種類のユーザインタフェース、ジェスチャ、音声もしくは入力)と対話しているプレイヤーによっても生成された第2のスクリーンのコンテンツは、クライアントシステム106へのSSCとして生成されてもよく、このコンテンツは、HMD102から受信されたVGCと共に第2のスクリーン107上に表示することができる。
従って、同じ場所に位置する、またはHMDユーザから離れている場合がある他のユーザによるインタラクティビティは、HMDユーザと、HMDユーザによってプレイされたコンテンツを第2のスクリーン107上で見ている場合があるユーザとの両方に対し、ソーシャルに、インタラクティブに、かつより没入的になり得る。例示されているように、クライアントシステム106をインターネット110に接続することができる。インターネットは、様々なコンテンツソース120からのコンテンツへのアクセスをクライアントシステム106に提供することもできる。コンテンツソース120は、インターネットを介してアクセス可能である任意の種類のコンテンツを含むことができる。
このようなコンテンツとしては、限定されることはないが、ビデオコンテンツ、ムービーコンテンツ、ストリーミングコンテンツ、ソーシャルメディアコンテンツ、ニュースコンテンツ、友人のコンテンツ、広告コンテンツなどを挙げることができる。一実施形態において、クライアントシステム106を使用してHMDユーザのためのコンテンツを同時に処理することができ、それにより、HMDには、ゲームプレイ中、インタラクティビティに関連したマルチメディアコンテンツが提供される。クライアントシステム106は、次いで、他のコンテンツを提供することもできる。このコンテンツは、第2のスクリーンへのビデオゲームコンテンツとは無関係であってもよい。クライアントシステム106は、一実施形態において、コンテンツソース120のうちの1つから、またはローカルユーザもしくはリモートユーザから第2のスクリーンのコンテンツを受信することができる。
図3は、本開示の実施形態に従う、実行中のビデオゲームに関連するHMD102の機能を概念的に示す図である。実行中のビデオゲームは、入力を受信してビデオゲームのゲーム状態を更新するゲームエンジン320によって定義される。ビデオゲームのゲーム状態は、オブジェクトの存在及び位置、仮想環境の条件、イベントのトリガリング、ユーザプロファイル、ビュー視点などの、現在のゲームプレイの様々な態様を定義する、ビデオゲームの様々なパラメータの値により、少なくとも部分的に定義することができる。
例示された実施形態において、ゲームエンジンは、一例として、コントローラ入力314、オーディオ入力316及びモーション入力318を受信する。コントローラ入力314は、ハンドヘルドゲーミングコントローラ(例えば、Sonyデュアルショック(登録商標)4無線コントローラ、Sonyプレイステーション(登録商標)ムービーモーションコントローラ)またはグローブインタフェースオブジェクト104aなどの、HMD102とは別のゲーミングコントローラの操作から定義されてもよい。一例として、コントローラ入力314は、ゲーミングコントローラの操作から処理された方向入力、ボタン押下、トリガ起動、動き、ジェスチャまたは他の種類の入力を含んでもよい。オーディオ入力316は、HMD102のマイクロホン302から、または画像取得デバイス108内に、もしくはローカルシステム環境内の他の箇所に含まれるマイクロホンから処理することができる。モーション入力318は、HMD102内に含まれるモーションセンサ300から、または画像取得デバイス108がHMD102の画像を取得するときにその画像取得デバイスから処理することができる。ゲームエンジン320は、ビデオゲームのゲーム状態を更新するためにゲームエンジンの構成に従って処理される入力を受信する。ゲームエンジン320は、様々なレンダリングモジュールにゲーム状態データを出力し、レンダリングモジュールは、そのゲーム状態データを処理してユーザに提示されるコンテンツを定義する。
例示された実施形態において、ビデオレンダリングモジュール322は、HMD102上に提示するためのビデオストリームをレンダリングするように定義されている。ビデオストリームは、ディスプレイ/プロジェクタ機構310によって提示され、光学系308を通してユーザの目306によって見ることができる。オーディオレンダリングモジュール304は、ユーザが聴くためのオーディオストリームをレンダリングするように構成されている。一実施形態において、オーディオストリームは、HMD102に関連したスピーカ304を通して出力される。スピーカ304は、オーディオを提示することが可能であるオープンエアスピーカ、ヘッドホンまたは任意の他の種類のスピーカの形態をとり得ることを理解すべきである。
一実施形態において、視線追跡カメラ312が、ユーザの視線の追跡を可能にするためにHMD102内に含まれている。視線追跡カメラは、ユーザの目の画像を取得する。これらの画像は、ユーザの視線の向きを決定するために分析される。一実施形態において、ユーザの視線の向きについての情報を利用して、ビデオレンダリングに影響を与えることができる。例えば、ユーザの目が特定の向きを眺めていると判定された場合、その向きに対するビデオレンダリングを、ユーザが眺めている領域内により詳細な、またはより高速な更新を提供することなどによって優先付けし、または強調することができる。ユーザの視線の向きは、ヘッドマウントディスプレイに対して、ユーザが位置している実環境に対して、及び/またはヘッドマウントディスプレイ上にレンダリングされている仮想環境に対して定義できるであることを理解すべきである。
概して、視線追跡カメラ312によって取得された画像の分析は、単独で検討されるとき、HMD102に対するユーザの視線の向きを提供する。しかしながら、HMD102の追跡された位置及び方向と組み合わせて検討されるとき、ユーザの現実世界の視線の向きは、HMD102の位置及び方向がユーザの頭部の位置及び方向と同義となるように決定することができる。すなわち、ユーザの現実世界の視線の向きは、ユーザの目の位置的な動きを追跡すること、ならびにHMD102の位置及び方向を追跡することから決定することができる。仮想環境のビューをHMD102上でレンダリングするとき、ユーザの現実世界の視線の向きを適用して、仮想環境内のユーザの仮想世界の視線の向きを決定することができる。
加えて、触覚フィードバックモジュール326は、HMD102、またはコントローラ104などのユーザによって操作される別のデバイスのいずれかに含まれる触覚フィードバックハードウェアに信号を提供するように構成されている。触覚フィードバックは、振動フィードバック、温度フィードバック、圧力フィードバックなどの様々な種類の触感の形態をとってもよい。
現在、ゲームプレイを共有するためのストリーミングサービスが非常に普及している。デュアルショック(登録商標)4無線コントローラは、このような共有を可能にするためにコントローラ上に直接「共有ボタン」を含む。上述したように、鑑賞する、例えば、(HMD102を着用している場合がある)ユーザによって体験されているインタラクティブアクティビティを視聴する能力をユーザに提供する必要がある。例えば、1人のHMD仮想現実プレイヤーが、HMD内に提示されたアクティビティに没入することができると共に、当該プレイヤーと同じ場所に位置している、またはリモートに位置している場合がある)他の人/鑑賞者が、そのHMDプレイヤーによって体験されたインタラクティビティ、または当該プレイヤーによって見られている仮想現実シーンを視聴する際に楽しみを見つけることができる。本明細書で使用されるとき、HMDプレイヤーは、HMD上に提示されたコンテンツを見ている人であり、またはHMD上に提示された何らかのコンテンツと対話している人とすることができ、またはHMD上に提示されたゲームをプレイしている人とすることができる。鑑賞者は、HMDを着用している場合があるため、プレイヤーと同一の仮想環境内にいる没入効果を体験し、従って鑑賞者の体験を高めることができる。
更に他の実施形態において、リモートプレイヤーによってプレイされている異なる種類のコンテンツまたはメディアを検索する、及び/または種々のプレイヤーから選択する能力をユーザに与えることにより、プレイヤーが自分のアクティビティを実行しながら視聴及び観賞できるようにするためのウェブサイトが提供されてもよい。リモートプレイヤーは、いくつかの実施形態において、HMD102を使用してゲームをプレイしていてもよい。他の実施形態において、リモートプレイヤーは、デバイスの表示スクリーンまたはテレビ受像機の表示スクリーンを使用してゲームをプレイしていてもよく、またはコンテンツを視聴していてもよい。概して、例えば、ウェブサイト上で、リモートである別のプレイヤーのアクティビティを視聴することを望んでいるユーザは、次いで、プレイヤーによって演出されているアクティビティを見るために、特定のプレイヤーもしくはゲームの種類、またはゲームのサムネイル、またはコンテンツのサムネイルを選択することができる。従って、リモートプレイヤーによってアクティブにプレイされ得る特定のインタラクティブコンテンツをユーザが見ること及び選択することを可能にするウェブサイトを提供することができる。プレイヤーによるアクティビティを見ることを望んでいる鑑賞者は、単に、そのコンテンツをクリックし、視聴を開始することができる。プレイヤー及び鑑賞者の一方または両方が仮想環境を見るためにHMDを使用していてもよいことが理解されよう。
HMDプレイヤーによるアクションを視聴し、見ている人は、一般に観賞者と呼ばれる。鑑賞者は、アクティビティ、インタラクティビティ、アクション、動きなどを見るためのアクセスが与えられている人であるが、ゲームアクションを必ずしも制御しているわけではない。この理由により、これらの見物者は鑑賞者と呼ばれる。HMDプレイヤーの文脈において、HMDディスプレイ内に提示されているコンテンツは、動的であり、HMDプレイヤーの動きによって制御される。例えば、HMDプレイヤーが自分の頭部を動かして回すとき、そのプレイヤーには、人の周囲の現実世界を見ることを行うのが可能な方法と同様に、見ることが可能な異なるコンテンツが提示される。
一例として、本明細書に記載された実施形態のいくつかは、プレイヤーによって見られている仮想現実環境内に種々のビューイング位置/スポットを提供する方法を教示する。いくつかの実施形態において、種々の仮想現実環境シーン、位置、エリア、レベル、チャプタなどを通してHMDプレイヤーが移動及び横断するとき、見物中のユーザには、種々のビューイングスポットを提供することができる。これらは、見物中の鑑賞者に合わせてカスタマイズされる。例えば、様々なビューイングスポットは、種々の種類のコンテンツに対して事前にオーサリングすることができる。
更なる実施形態において、鑑賞者には、プレイヤーが仮想現実環境内で眺めている場所を鑑賞者に識別できるようにするために視覚的な手掛かりを提供することができる。1つの構成は、まさにプレイヤーがVRシーン内で眺めているものを決定するために、プレイヤーの視線の追跡を可能にすることができる。異なる視点からVRシーンを見ている場合がある鑑賞者に対し、特定のシーン内で注目しているものを決定することが有用となる。このように、鑑賞者は、仮想現実プレイヤーがシーン内で重要だと感じているものに集中することもできる。ファーストパーソン・シューティングゲームなどのいくつかの例において、鑑賞者は、敵または障害物を識別するために、プレイヤーが眺めている場所を知りたい場合がある。一実施形態において、(例えば、HMDを使用して)プレイヤーの視線を追跡することにより、コンテンツを強調表示する、あるオブジェクトもしくは位置のコントラストを変える、コンテンツを囲む、マーカーを追加する、エリア内でグレーアウトする、点滅ビーコンを追加する、テキストを追加する、浮遊オブジェクトを追加することなどによってプレイヤーが眺めているものを識別することが可能である。このように、鑑賞者は、そのとき、HMDプレイヤーが眺めている場所を確実に知ることができるため、鑑賞者自身も、その同じエリアを見て、より一層楽しくコンテンツを体験することができる。
例えば、プレイヤーは、特定のゲームをより体験している場合があり、または特定の種類のコンテンツを視聴している場合があり、HMDプレイヤーが仮想現実シーン内で眺めている場所に対するこのインジケータを提供することにより、案内、視覚的合図及び支援が鑑賞者に提供される。いくつかの実施形態において、これらの識別特徴は、混乱を排除するために、オン/オフにすることができる。識別子は、HMDプレイヤーによってアクティブ化することができ、または鑑賞者によってアクティブ化することができる。いくつかの実施形態において、複数の鑑賞者が、例えば、TwitchプレゼンテーションにおいてHMDプレイヤーによって提供された同一のコンテンツを見ている場合、鑑賞者の各々には、種々の制御を提供することができる。この制御により、視覚インジケータを提供する、または提供しない能力が各鑑賞者に提供される。HMDプレイヤーの視点からは、インジケータがHMDプレイヤーのHMD内に全く示されなくてもよい。しかしながら、これらのインジケータは、HMDプレイヤーによって対話されているコンテンツを見ている場合がある鑑賞者または複数の鑑賞者にとって有用となる。
いくつかの実施形態において、仮想現実環境内の特定のリスニングゾーンを鑑賞者が識別することを可能にする制御を鑑賞者に提供することができる。リスニングゾーンは、仮想現実環境内で鑑賞者が聴くことを望んでいる場所を鑑賞者が選択することを可能にする。これが意味することは、鑑賞者がシーン内に実際に存在するであろう状況を模倣するオーディオ及び音響効果をその特定の位置から聴くことが鑑賞者に実質上提供されることである。一例として、建物を含むHMDコンテンツを鑑賞者が通りを横切って見ている場合、そのビューイング位置に対して、鑑賞者は、その建物内の何らかの位置、例えば、人が立っている2階を識別し、その位置で聴くように選択することができる。
この機能は、鑑賞者にリスニングテレポーテーション(listening teleportation)を提供する。これにより、あたかも鑑賞者が2階の建物内に座っている、または立っているかのように鑑賞者がオーディオ及び音響効果のコンテンツを聴くことが可能になる。オーディオ及び音響効果は、一例において、実質上、建物の2階の位置に存在するであろうオーディオ音を強調し、その仮想位置からより離れている音を低減する。いくつかの実施形態において、鑑賞者は、時々、プライマリリスニングゾーンとなるように環境内の種々の位置を選択することができる。更に他の実施形態おいて、リスニングゾーンは、HMDプレイヤーの同一のリスニングゾーンとなるように調整することもできる。鑑賞者には、仮想環境内で鑑賞者が聴くことを望んでいる場所を識別するために、切り替え可能な選択能力を提供することができる。
また、鑑賞者がHMDプレイヤーに対してローカルまたはリモートである可能性があり、図2Bに関して記載されているように第2のスクリーン上のHMDコンテンツを見ている可能性があることに注意されたい。あるいは、鑑賞者もHMDを着用している可能性がある。これにより、鑑賞者が見ているものがHMDプレイヤーコンテンツ内に提供される。いくつかの実施形態において、鑑賞者は、HMDプレイヤーによるライブの、または実質的にライブのコンテンツを視聴している可能性がある。他の実施形態において、鑑賞者は、HMDプレイヤーによって見られたコンテンツの記録されたバージョンを視聴している可能性がある。また更に、ライブか記録されているかに関わらず、複数の、または更に多くの鑑賞者がHMDプレイヤーの同一のコンテンツを視聴することを可能にするウェブサイトを提供することができる。
図4は、HMD VRプレイヤー100の例を示す図である。このプレイヤーは、一実施形態に従って、コンピューティングデバイス106を介して仮想環境450と対話していてもよい。従って、HMD VRプレイヤー100は、VR環境450内でインタラクティビティを進めている。それにより、ディスプレイ107内に示された複製ビューと同様に、HMD102内に提示されたシーンが移動する。従って、鑑賞者は、鑑賞者140などの、ディスプレイ107を見ている人である可能性がある。上述したように、鑑賞者140は、その鑑賞者が、同じ場所に位置する空間内のHMDプレイヤー100と対話することが可能であるため、ソーシャルスクリーン鑑賞者である。他の実施形態において、または同じ場所に位置する鑑賞者140に加えて、HMD鑑賞者150には、HMDプレイヤー100によって案内されているコンテンツに対するアクセスを提供することもできる。HMD鑑賞者150は、HMDプレイヤー100と同じ場所に位置することができる。他の実施形態において、HMD鑑賞者150は、HMDプレイヤーからリモートに位置することができ、Twitch型ビューイングウェブサイトなどのウェブサイトからコンテンツを見ることができる。従って、図4に示した例は一例に過ぎず、リモート位置からHMDプレイヤーコンテンツを見ている複数の鑑賞者、または数千もの鑑賞者を有することが可能である。鑑賞者には、彼らがディスプレイ107を見ているかHMDを介してコンテンツを見ているかに関わらず、鑑賞体験を向上させるための機能が提供される。
複数の鑑賞者が仮想現実(VR)環境/空間内のイベントを鑑賞しているとき、各鑑賞者には、同一の最適なビューイング位置、または「住居内の最良のシート」を提供することが可能である。すなわち、環境が仮想空間であるため、何人のユーザが仮想空間内の同一位置を占有し得るかに対する物理的制限がない。しかしながら、現実世界内のイベントを鑑賞する体験の一部は、観衆の一部であり、自分自身の最も近くに位置する観衆のメンバーと対話することが可能であるという感覚である。各鑑賞者に最良の可能なビューイング体験を与えるためにVR環境の全ての鑑賞者が同一スポットに位置している場合、もはや観衆の一部であるという感覚がない。更に、同一位置内に複数の鑑賞者アバターをレンダリングすることは、不満足なユーザ体験の原因となる可能性がある。
1つの可能な解決策は、所与の鑑賞者アバターの周囲の仮想環境内に人工知能(artificial intelligence:AI)アバターを提供することである。しかしながら、AIアバターは、人間の操作者によって駆動されるアバターによって提供される体験を正確には複製しない。更に、ユーザは、現実世界において一般的であるように、自分の友人とイベントを鑑賞し、鑑賞中に友人と対話することを所望する場合があり、記載されたようにAI制御アバターを挿入することは、この種類の共用体験を提供しない。
図5は、開示の実施態様に従う、鑑賞者のための位置を備えた仮想環境を示す図である。例示された実施態様において、VR環境500が示されている。そこでは、ユーザが鑑賞することを望み得る何らかの関心対象のアクティビティ502またはイベントが行われる。例えば、VR環境500は、ビデオゲームのゲームプレイが行われる3次元(3D)ゲーミング環境であってもよい。VR環境内で行われているアクティビティは、任意の種類の仮想アクティビティである可能性があることが理解されよう。このようなアクティビティとしては、戦闘(例えば、ファーストパーソン・シューティングゲーム)、リアルタイム戦略、レース、スポーツ、ダンス、演劇、音楽パフォーマンス、ゲームショーなどが挙げられるが、これらに限定されることはない。
VR環境内に複数の鑑賞者を収容するため、指定されたビューイングエリアの存在が可能であり、そこに複数の鑑賞者アバターを位置付けることができる。厳密に言えば、鑑賞者は、(例えば、HMDを使用して)VR環境を鑑賞するユーザ(人間)である。しかしながら、鑑賞者は、アバター(鑑賞者のアバターとも呼ばれる)によってVR環境内で表現することができる。このアバターは、鑑賞者によって制御されてもよい。VR環境内の鑑賞者のアバターが鑑賞者の表現であり、鑑賞者によって制御されるため、本開示の説明が容易になるように、鑑賞者と鑑賞者のアバターとは、いくつかの例において区別なく使用され得る。(人間の)鑑賞者が鑑賞者のアバターとは異なることは当業者にとって明らかであろうが、それにも関わらず、この両者は、本実施態様の説明を単純化するために同義的に参照され得る。
例示された実施態様において、指定されたビューイングエリアは、スタジアムシートを備えた構造物506として概念化されている。しかしながら、本開示の様々な実施態様において、指定されたビューイングエリアは、鑑賞者アバターを位置付けることが可能な複数の所定の位置を有する任意の形態をとることができることが理解されよう。単なる一例として、限定されることはないが、指定されたビューイングエリアは、丘陵、フィールド、野外席、シート、アリーナ、スタジアム、劇場、クラブ、歩道、側道、階段、テラス、デッキ、台、屋根、スカイボックス、乗物(例えば、自動車、列車、ボート、飛行機、ヘリコプター、宇宙船など)、または鑑賞者が仮想アクティビティ502を鑑賞し得るVR環境内のエリアとして機能し得る任意の他の種類の仮想オブジェクトのうちの1つ(または一部)とすることができる。
引き続き図5を参照すると、スタジアムシートを備えた構造物506は、鑑賞者アバターの配置に対して予め定義されている複数の位置508(スタジアムシートを備えた構造物内のシートであってもよい)を含む。鑑賞者504a〜fなどを含む鑑賞者504が概念的に示されている。仮想環境500は現実世界の物理的制約に従わないため、鑑賞者504の各々に「住居内の最良のシート」を提供することができる。すなわち、各鑑賞者は、同一の好ましい位置から鑑賞することができ、その位置は、現在の例において位置508’である。鑑賞のための「最良の」位置は、複数の可能な位置の中から、予め定義されており、様々な要因に基づいて決定されてもよいことが理解されよう。このような要因としては、関心対象のアクティビティに対する近さ、高さ、ビューの範囲、ビューの障害(またはビューの欠如)、関心対象のアクティビティに対する中心性などがある。
説明したように、各鑑賞者504a〜fなどは、同一の位置/シート508’から鑑賞しており、この位置は、例示された実施態様において好ましい位置である。従って、あらゆる鑑賞者は、VR環境500内で同一の、または実質的に同一のビューイング視点を体験する。しかしながら、位置508’から所与の鑑賞者にビューを提供するとき、観衆の中にいるという感覚を実現するために、次いで、構造物506内の所与の鑑賞者の周りの他の位置508に残りの鑑賞者を位置付けることができる。例えば、VR環境の観賞者ビューを鑑賞者504aに提供する目的のために、次いで、鑑賞者504a’のアバター(及びビューポイント)を位置508’に位置付け、他の鑑賞者504b〜fなどを構造物506内の他の位置508に位置付ける。これに対し、観賞者ビューを観賞者504bに提供するとき、次いで、観賞者504bを位置508’に位置付け、他の観賞者504a、504c〜fなどを構造物506内の他の位置508に位置付ける。従って、観賞者504aは、位置508’の観点から見回し、他の観賞者のアバターが自分を囲んでいるのを見ることができる。同様に、観賞者504bも、位置508’の観点から見回し、他の観賞者のアバターが自分を囲んでいるのを見ることができる。従って、全ての観賞者に「最良の」ビューイング位置を提供することができ、更に、大勢の観賞者の中にいるという感覚も体験させることができる。更に後述するように、観賞者の方向は、ビューが提供されている観賞者に応じて調整することができる。
図6は、開示の実施態様に従う、VR環境のビューイングエリア/領域内の鑑賞者の配置を示す図である。例示された実施態様において、9つの位置/シートS1〜S9を有するビューイング領域/エリア600が提供されている。複数の観賞者U〜U(参照符号602で概念的に示されている)は、ビューイング領域600が配されているVR環境のビューがどの観賞者に提供されているかに応じて、位置S1〜S9内に位置付けられる。ビューイング領域600において、位置S5は、鑑賞のための最良の位置/シートであり、従って、各ユーザは位置S5から鑑賞する。鑑賞するときに位置S5に配置される所与の観賞者のために、次いで、残りの観賞者を、ビューイング領域600内の自分の周りの他の残りの位置/シート内に配置する。
ビューイング領域600の位置内の観賞者の配置を管理する1つの方法は、ビューイング領域の位置の順序及び観賞者の順序を定義し、観賞者の順序を位置の順序に関連してシフトすることである。このような設定を、シートを備えたマトリックス604によって示す。ここで、各列は、所与の見物中のユーザ(VR環境のビューが提供されている観賞者)に対し、ビューイング領域600内の位置に対する観賞者の割り当てを示す。従って、各列において、見物中のユーザは、S5が最良の、または好ましいシート/位置であるため、位置S5に割り当てられる。換言すれば、各観賞者は、同一の位置S5からVR環境を鑑賞する。
一例として、例示された実施態様において、観賞者UがVR環境を見ているときに提供される観賞者の配列が示されている。観賞者Uは位置S5に位置付けられており、他方、観賞者U〜Uは、位置S6〜S9にそれぞれ位置付けられている。観賞者U及びUは、位置S1及びS2にそれぞれ位置付けられており、観賞者U及びUは、位置S3及びS4にそれぞれ位置付けられている。従って、観賞者UがVR環境を鑑賞するとき、この観賞者は、他の観賞者の対応するアバターがこうして示したように位置付けられているのを見ることができる。別の観賞者がVR環境を鑑賞するとき、その観賞者は、ビューイング領域600内に異なる方法で位置付けられた他の観賞者を見る。
図7A及び7Bは、開示の実施態様に従う、鑑賞者の知覚された関心対象のオブジェクトに対するVR環境内の鑑賞者アバターの制御に基づく当該アバターの調整を示す図である。上で述べてきたように、複数の観賞者がVR環境を見ているとき、各観賞者に、好ましい位置からのビューを提供すると共に、他の観賞者のアバターをVR環境内の他の位置に位置付けることができる。従って、VR環境内の観賞者のアバターの位置は、どの観賞者にビューが提供されているかに依存する。各観賞者は、同一位置からVR環境を見るが、他の位置にいる他の観賞者が自分を囲んでいることを体験する。
しかしながら、所与の観賞者のビューに対し、他の観賞者を単に再配置した場合、その観賞者は、その鑑賞者が実際には眺めているVR環境内の正しいオブジェクトを眺めているように見えない場合がある。例えば、図7Aは、ユーザUの視点から見たときのVR環境700を示す図である。例示された実施態様において、ユーザUによって体験されるときのVR環境は、ユーザUが、関心対象のオブジェクトまたはシーンの前の好ましい位置702に位置付けられるように構成されている。単なる一例として、限定されることはないが、例示された実施態様において、関心対象のオブジェクトは演奏者701である。ユーザUは、演奏者701の方を眺めており、従って、破線の印706によって示されるビュー方向を呈する。
図7Bは、ユーザUの視点から見たときのVR環境700を示す図である。例示された実施態様において、ユーザUによって体験されるときのVR環境は、ユーザUが、説明したように演奏者701である関心対象のオブジェクト/シーンの前の好ましい位置702に位置付けられるように構成されている。加えて、VR環境のユーザUのビューにおいて、ユーザUは位置704に再度位置付けられる。上記のようにユーザUが自分のビューにおいて呈したビュー方向706を調整することなくユーザUのアバターを再度位置付けることにより、その後、ユーザUのアバターのビュー方向は、ユーザUのビューにおいて、演奏者701の方を眺めているように見えない。従って、ユーザUのアバターのビュー方向をVR環境のユーザUのビューにおいてビュー方向712に調整することは有用である。その結果、ユーザUのアバターは演奏者701の方を眺めている。アバターのビュー方向を調整することは、アバターの頭部、目、胴、脚、体全体などの回転または他のポーズ調整など調整を伴ってもよいことが理解されよう。
同様に、図7Aを再度参照すると、上述したのと同様の方法で、VR環境のビューをユーザUに提供するとき、ユーザUのアバターのビュー方向を、関心対象のオブジェクトである演奏者701に向かうようにビュー方向708からビュー方向710に調整することができる。
VR環境内の他の観賞者のアバターの適切な調整を提供するために、システムは、VR環境内で所与の観賞者が眺めているものを決定するように構成することができる。これは、所与の観賞者の仮想環境内のオブジェクトへのビュー方向を推定することに基づいて決定することができ、更には、VR環境内の観賞者の位置に加えて、観賞者が着用しているHMDの現実世界のポーズに基づいている。従って、観賞者がVR環境を見ているとき、観賞者のビュー方向を決定し、その観賞者のビュー方向に基づき、ビュー方向が向いている、または指している関心対象のオブジェクトを決定するように論理を構成することができる。次いで、観賞者のアバターがVR環境の別の観賞者のビュー内にレンダリングされるとき、そのアバターを、関心対象のオブジェクトに向かうビュー方向を有するように調整することができる。
図8A、8B及び8Cは、本開示の実施態様に従う、3人の異なる鑑賞者の視点から見たときのVR環境内のVRシーンを示す図である。図8Aを参照すると、ユーザ/観賞者Uの視点から見たときのVRシーンが示されている。このユーザは、所定の観賞者位置802に位置付けられている。VRシーンには、キャラクタ806及びモンスター808がいる。また、所定の観賞者位置804及び800にそれぞれ位置付けられた他のユーザ/観賞者U及びUのアバターも示されている。観賞者Uは、観賞者Uのアバターの方を指しているビュー方向810を有する。観賞者Uのアバターは、モンスター808に向かうビュー方向812を有する。観賞者Uのアバターは、キャラクタ806に向かうビュー方向814を有する。いくつかの実施態様において、観賞者はHMDを着用しており、VR環境内の観賞者のビュー方向は、検出されたHMDの現実世界のポーズに基づいて決定されていることが理解されよう。
図8Bは、観賞者Uの視点から見たときのVRシーンを示す図である。図に示すように、観賞者Uは位置802を占有しているのに対し、観賞者U及びUは位置800及び804をそれぞれ占有している。観賞者Uは、モンスター808に向かうビュー方向818を有し、観賞者Uのアバターは、観賞者Uの位置に向かうビュー方向816を有し、観賞者Uのアバターは、キャラクタ806に向かうビュー方向820を有する。
図8Cは、観賞者Uの視点から見たときのVRシーンを示す図である。図に示すように、観賞者Uは位置802を占有しているのに対し、観賞者U及びUは位置800及び804をそれぞれ占有している。観賞者Uは、キャラクタ806に向かうビュー方向824を有し、観賞者Uのアバターは、観賞者Uの位置に向かうビュー方向826を有し、観賞者Uのアバターは、モンスター808に向かうビュー方向822を有する。
上記から理解できるように、VRシーンを特定の観賞者に提示するときに他の観賞者のアバターのビュー方向を調整することにより、その後、VR環境内のどのオブジェクトが他の観賞者によって現在見られているかを示す際に他の観賞者のアバターのレンダリングを忠実に行うことができる。
本明細書に記載された概念は特定の数の観賞者に関して記載されているが、この概念は任意の数の観賞者に適用されてもよいことを理解すべきである。加えて、いくつかの実施態様において、様々な要因に基づき、一部の観賞者を互いに近接して位置付けることができる。このような要因としては、ソーシャルグラフ内のメンバー関係(ソーシャルネットワーク上の繋がりまたは「友人」であること)、地理的位置、共通言語、年齢、性別、興味、ゲーミングヒストリーなどが挙げられる。
図9は、本開示の実施態様に従う、様々なビューインググループに整理された複数の鑑賞者を概念的に示す図である。例示された実施態様において、複数の観賞者は、ビューインググループ902a〜eなどの様々なビューインググループに整理することができる。いくつかの実施態様において、所与のビューインググループ内に含まれる観賞者の数は変わる可能性があることが理解されよう。例えば、ビューインググループ902aは3人の観賞者を含むように定義され、ビューインググループ902bは4人の観賞者を含むように定義され、ビューインググループ902cは9人の観賞者を含むように構成される、などである。これに対し、他の実施態様では、単一のグループサイズが指定される。VR環境を見る目的のために、VR環境のビューを所与の観賞者に提供するとき、その観賞者が割り当てられるビューインググループは、ビューイング領域の構造物904内の位置906などの、VR環境内で好ましいビューイング位置に位置付けられる。
所与のビューインググループは、そのビューインググループ内にいる観賞者の空間的配列を定義している。すなわち、VR環境内にレンダリングされるとき、ビューインググループの観賞者アバターは、(いくつかの先述の実施態様とは異なり)互いに対する観賞者の位置がどの観賞者のビューが提供されているかに応じて変化しないという意味では、固定されている特定の空間的配列を有する。一例として、図示したビューインググループ902Cは、図示したようにグループ内の9人の観賞者位置の配列を定義し、グループの各観賞者は、9つの位置のうちの1つに割り当てられる。従って、所与のビューインググループの観賞者は、VR環境内の厳密な同一位置からではなく、むしろ互いに近接している異なる位置から鑑賞する。更に、特定のビューインググループ内で、観賞者のうちの1人の位置は、VR環境のビューをグループの観賞者の各々についてレンダリングするときに不変である。
しかしながら、様々なグループのそれぞれを、(好ましいビューイング位置からのビューをあらゆる観賞者に提供するために)VR環境内で同一の、または実質的に同一の(例えば、グループサイズが変わる場合)位置に位置付けることが可能であることが理解されよう。従って、異なるグループに属する観賞者が、実際には、VR環境内の同一位置に位置付けられてもよい。しかしながら、異なるグループに属するこのような観賞者は、VR環境のビューを提供するときに同一位置に同時にレンダリングされない。VR環境のビューを所与の観賞者に提供するときのために、その際、その所与の観賞者のビューインググループのメンバーのみが、(観賞者のビューインググループの配列によって定義されているように)VR環境内のそれらの特定の位置を占有する。
ビューインググループ内の観賞者の空間的位置は固定されている(すなわち、グループのどの観賞者にVR環境のビューが提供されているかに応じて変化しない)ため、その際、VR環境のビューをグループの観賞者についてレンダリングするときにビューインググループ内の観賞者のビュー方向を調整する必要がない。更に、ビュー方向への潜在的に不自然な、または異常な調整が回避され、観賞者のVRアバターを介した観賞者同士のより自然なインタラクションが得られる。
観賞者のビューインググループを越えて、所与の観賞者にビューを提供するとき、他のビューインググループまたは他の観賞者アバターを、観賞者のビューインググループのメンバーによって占有されていない他の近接位置にレンダリングすることができる。このような他の観賞者アバターのビュー方向は、それらの対応する観賞者が眺めている関心対象のオブジェクトに基づいて調整されてもよい。
観賞者900は、ソーシャルグラフ内の関係に基づいて各ビューインググループに整理することができることが理解されよう。例えば、ソーシャルネットワーク上の自分の友人と共に、または互いに近接した観賞者の位置付けに関して上に列挙された要因などの任意の他の要因に基づき、所与の観賞者をグループ化することが有用となり得る。
いくつかの実施態様において、所与のビューインググループの観賞者は、互いに対話することが許可されている。これに対し、このような観賞者は、所与のビューインググループ内にいない他の観賞者と対話することが許可されていない。
図10Aは、本開示の実施態様に従う、追加のビューインググループ1002a〜hによって囲まれたVR環境内のビューインググループ1000を示す図である。ビューインググループ1000は、VR環境内の好ましいビューイング位置に位置付けられている。いくつかの実施態様において、追加のビューインググループが、ビューインググループのプールから動的に選択される。しかしながら、他の実施態様において、ビューインググループは、レイアウト内で論理的に配列され、ビューインググループのレイアウトは、(特定のビューインググループ内の観賞者に対してビューを提示するときに)VR環境内の好ましいビューイング位置に特定のビューインググループを提示するように概念的に「シフトされる」。VR環境内のビューイング領域は、限られた数の観賞者またはビューインググループを収容する場合があるため、ビューインググループのレイアウトの一部を、特定のビューインググループがVR環境内の好ましいビューイング位置に位置付けられるように合わせることができる。いくつかの実施態様において、レイアウトは、連続するように論理的に構成することができる。その結果、あらゆるビューインググループは、全ての側で別のビューインググループに隣接する。
図10Bは、本開示の実施態様に従う、様々なサイズの追加のビューインググループによって囲まれたVR環境内のビューインググループ1000を示す図である。図10Aの構成と同様に、追加のビューインググループを、いくつかの実施態様において動的に選択し、位置付けることができる。これに対し、別の実施態様では、ビューインググループのレイアウトが決定され、その一部は、(例えば、特定のビューインググループ内の観賞者のうちの1人に対してビューをレンダリングするときに)特定のビューインググループを好ましい位置に位置付けるようにVR環境のビューイング領域に合わせられる。
図11は、本開示の実施態様に従う、鑑賞者のアレイ1100を示す図である。アレイ1100は、観賞者の空間的配列を定義することにより、VR環境内に観賞者がレンダリングされるときの(より具体的には、観賞者のアバターがレンダリングされるときの)観賞者の相対的位置付けを定義している。本開示の実施態様に従って、観賞者の各々は、VR環境内の同一の好ましい位置から鑑賞すると共に、観衆の中にいるという感覚を体験することもできる。これを実現するために、VR環境のビューを特定の観賞者1102に提供するとき、一例として、その際、観賞者1102を含むアレイ1100の一部1104を選択する。その結果、一部1104内に含まれる観賞者をVR環境内のビューイング領域に合わせるとき、アレイによって定義されているように観賞者の互いの空間的関係が維持され、その際、観賞者1102は好ましい位置に位置付ける。
例えば、例示された実施態様において、VR環境内のビューイング領域1114は、3列の観賞者を収容するためのビューイング位置を有してもよい。このとき、観賞者は、一番上の列には3人、中間の列には5人、一番下の列には3人いて、好ましいビューイング位置は、真ん中のビューイング位置1116である。従って、一部1104は、観賞者1102の列より上の列の対応する3人の観賞者、観賞者1102の列に属する5人の観賞者(観賞者1102の左及び右にそれぞれ属する2人を含む)、ならびに観賞者1102の列より下の列に属する3人の観賞者に提供するように選択される。従って、一部1104に属する観賞者が、ビューイング領域1114の対応するビューイング位置内にそれぞれ位置付けられるとき、その際、観賞者1102は、アレイ1100によって定義された観賞者の空間的関係に従って他の観賞者が自分を囲んでいる状態で、好ましいビューイング位置内に位置付けられる。アレイ1100に示すように、例えば、観賞者1106、1108、1110及び1112は、観賞者1102の真下、上、左及び右にそれぞれ位置付けられている。従って、観賞者1102がVR環境を見ているとき、この観賞者は、真下、上、自分の左及び自分の右に観賞者1106、1108、1110及び1112がそれぞれ位置付けられていることを体験する。
アレイ1100の観賞者同士のこの空間的関係は、どの観賞者がVR環境を見ているかに関係なく維持されることが理解されよう。そのため、例えば、観賞者1108に提供されたVR環境のビューにおいて、その際、(好ましいビューイング位置1116内に観賞者1108を位置付けるために)アレイの異なる一部が選択されるが、それでも他の観賞者との空間的関係は、アレイによって定義された空間的関係に従うように維持される。従って、観賞者1108に提供されるビューにおいて、観賞者1102は観賞者1108の真下にいることになり、観賞者1110は観賞者1108の下、かつ左にいることになり、観賞者1112は、観賞者1108の下、かつ右にいることになる。
前述の構成は、他の方法で概念的に説明することができる。例えば、ビューイング領域1114は、ビューイング位置の配列を定義し、どの観賞者にVR環境のビューが提供されているかに応じてアレイ1100の異なる部分にシフトすることが可能なセレクタとして考えることができ、ビューイング領域1114のビューイング位置には、そのセレクタ内に属する観賞者がアレイ内の彼らの所定の位置に従って存在する。または、アレイを、同様の効果のためにビューイング領域1114に対してシフトすることができる。
加えて、アレイ1100内の特定の位置への観賞者の割り当ては、ソーシャルネットワーク内の関係または上記のような他の要因などの様々な要因に基づいている可能性があることが理解されよう。
VR環境内の単一のビューイング領域に関して実施態様を実質的に説明してきたが、VR環境内に複数のビューイング領域が存在できることが理解されよう。更に、地理的位置、言語、体験レベルなどの要因に基づいて定義され得る複数の観賞者プールが存在してもよい。本明細書に記載された概念は、複数のビューイング領域及び観賞者の複数の観賞者プールに適用することができる。
いくつかの実施態様において、観賞者のビューイング領域は、例えば、プレイヤーキャラクタがビデオゲーム環境を通して移動するときなど、VR環境内の移動アクションを鑑賞することを可能するために、VR環境内で移動するように構成されてもよい。その効果は、移動している車両から見ているのと同様になり得る。上記の原理を適用することにより、観賞者は、移動しているビューイング領域内に好ましいビューイング位置を有することができる。
図12を参照すると、本開示の実施形態に従う、ヘッドマウントディスプレイ102の構成要素を示す図が示されている。ヘッドマウントディスプレイ102は、プログラム命令を実行するためのプロセッサ1300を含む。メモリ1302は、ストレージ目的のために提供され、揮発性メモリと不揮発性メモリとの両方を含んでもよい。ユーザが見ることができる視覚インタフェースを提供するディスプレイ1304が含まれる。ヘッドマウントディスプレイ102のための電源としてバッテリ1306が提供される。モーション検出モジュール1308は、磁力計1310、加速度計1312及びジャイロスコープ1314などの、様々な種類のモーション感知ハードウェアのいずれかを含んでもよい。
加速度計は、加速度及び重力によって誘起された反力を測定するためのデバイスである。単軸及び多軸モデルは、異なる向きにおける加速度の大きさ及び向きを検出するために利用可能である。加速度計を使用して、傾き、振動及び衝撃を感知する。一実施形態において、3つの加速度計1312を使用して、2つの角度(ワールド空間ピッチ及びワールド空間ロール)に対する絶対的基準を与える重力の向きを提供する。
磁力計は、ヘッドマウントディスプレイの付近の磁場の強さ及び向きを測定する。一実施形態において、3つの磁力計1310は、ヘッドマウントディスプレイ内で使用され、ワールド空間ヨー角に対する絶対的基準を確保する。一実施形態において、磁力計は、±80マイクロテスラである地磁気にわたるように設計される。磁力計は、金属によって影響され、実際のヨーに関して単調であるヨー測定を提供する。磁場は、ヨー測定に歪みを引き起こす、環境内の金属のために歪む可能性がある。必要であれば、この歪みは、ジャイロスコープまたはカメラなどの他のセンサからの情報を使用して較正することができる。一実施形態において、加速度計1312は、磁力計1310と共に使用されてヘッドマウントディスプレイ102の傾き及び方位を取得する。
いくつかの実施形態において、ヘッドマウントディスプレイの磁力計は、他の近傍のデバイス内の電磁石が作動していない時間中に読み出されるように構成されている。
ジャイロスコープは、角運動量の原理に基づき、方向を測定する、または維持するためのデバイスである。一実施形態において、3つのジャイロスコープ1314は、慣性感知に基づき、それぞれの軸(x、y及びz)にわたる動きについての情報を提供する。ジャイロスコープは、高速回転を検出する際に有用である。しかしながら、ジャイロスコープは、絶対的基準が存在しなくても経時的にずれる可能性がある。これは、ジャイロスコープを周期的にリセットすることを必要とする。このリセットは、オブジェクトの視覚的追跡、加速度計、磁力計などに基づいた位置/方向決定などの、他の利用可能な情報を使用して行うことが可能である。
現実環境の画像及び画像ストリームを取得するためのカメラ1316が提供される。2つ以上のカメラがヘッドマウントディスプレイ102内に含まれてもよい。これらのカメラは、後ろ向きのカメラ(ユーザがヘッドマウントディスプレイ102のディスプレイを見ているときにユーザから離れるように向けられる)、及び前向きのカメラ(ユーザがヘッドマウントディスプレイ102のディスプレイを見ているときにユーザの方に向けられる)を含む。加えて、デプスカメラ1318が、現実環境内のオブジェクトの奥行き情報を感知するためにヘッドマウントディスプレイ102内に含まれてもよい。
ヘッドマウントディスプレイ102は、オーディオ出力を提供するためのスピーカ1320を含む。また、周囲環境からの音、ユーザによってなされたスピーチなどを含む、現実環境からの音声を取得するためのマイクロホン1322が含まれてもよい。ヘッドマウントディスプレイ102は、触覚フィードバックをユーザに提供するための触覚フィードバックモジュール1324を含む。一実施形態において、触覚フィードバックモジュール1324は、触覚フィードバックをユーザに提供するために、ヘッドマウントディスプレイ102の動き及び/または振動を引き起こすことが可能である。
LED1326は、ヘッドマウントディスプレイ102のステータスの視覚インジケータとして提供される。例えば、LEDは、バッテリレベル、電源投入などを示してもよい。カードリーダ1328は、ヘッドマウントディスプレイ102がメモリカードとの間で情報を読み出し、書き込むことを可能にするために提供される。周辺デバイスの接続、または他の携帯型デバイス、コンピュータなどの他のデバイスへの接続を可能にするためのインタフェースの一例としてUSBインタフェース1330が含まれる。ヘッドマウントディスプレイ102の様々な実施形態において、様々な種類のインタフェースのいずれかが、ヘッドマウントディスプレイ102のより高い接続性を可能にするために含まれてもよい。
Wi−Fiモジュール1332は、無線ネットワーク技術を介したインターネットまたはローカルエリアネットワークへの接続を可能にするために含まれる。また、ヘッドマウントディスプレイ102は、他のデバイスへの無線接続を可能にするためのBluetooth(登録商標)モジュール1334を含む。また、他のデバイスへの接続のために通信リンク1336が含まれてもよい。一実施形態において、通信リンク1336は、無線通信のために赤外線伝送を利用する。他の実施形態において、通信リンク1336は、他のデバイスとの通信のために様々な無線または有線伝送プロトコルのいずれかを利用してもよい。
ユーザ用の入力インタフェースを提供するために入力ボタン/センサ1338が含まれる。ボタン、タッチパッド、ジョイスティック、トラックボールなどの、様々な種類の入力インタフェースのいずれかが含まれてもよい。超音波技術を介した他のデバイスとの通信を容易にするために、ヘッドマウントディスプレイ102内に超音波通信モジュール1340が含まれてもよい。
バイオセンサ1342は、ユーザからの生理学的データの検出を可能にするために含まれる。一実施形態において、バイオセンサ1342は、ユーザの皮膚を通してユーザの生体電気信号を検出するための1つ以上の乾燥電極を含む。
ビデオ入力1344は、HMD上にレンダリングするために主たる処理コンピュータ(例えば、メインゲームコンソール)からビデオ信号を受信するように構成されている。いくつかの実施態様において、ビデオ入力はHDMI(登録商標)入力である。
ヘッドマウントディスプレイ102の前述の構成要素は、ヘッドマウントディスプレイ102内に含まれ得る単なる例示的な構成要素として記述されている。本開示の様々な実施形態において、ヘッドマウントディスプレイ102は、様々な前述の構成要素のうちのいくつかを含んでもよく、または含まなくてもよい。ヘッドマウントディスプレイ102の実施形態は、本明細書に記載されたような本開示の態様を容易にする目的のために、現在記述されていないが、当該技術分野において既知である他の構成要素を追加的に含んでもよい。
図13は、本開示の様々な実施形態に従う、ゲームシステム1400のブロック図である。ゲームシステム1400は、ネットワーク1415を介して1つ以上のクライアント1410にビデオストリームを提供するように構成されている。ゲームシステム1400は、通常、ビデオサーバシステム1420及び任意選択のゲームサーバ1425を含む。ビデオサーバシステム1420は、最小限のサービス品質で1つ以上のクライアント1410にビデオストリームを提供するように構成されている。例えば、ビデオサーバシステム1420は、ビデオゲーム内のビューの状態またはビューポイントを変更するゲームコマンドを受信し、この変更を状態に反映した更新済みのビデオストリームを最小の遅延時間でクライアント1410に提供し得る。ビデオサーバシステム1420は、未だ定義されていないフォーマットを含む、多種多様な代替ビデオフォーマットでビデオストリームを提供するように構成されてもよい。更に、ビデオストリームは、多様なフレームレートでユーザに提示するように構成されたビデオフレームを含んでもよい。通常のフレームレートは、毎秒30フレーム、毎秒60フレーム及び毎秒120フレームである。ただし、本開示の代替的な実施形態には、より高いまたはより低いフレームレートが含まれる。
本明細書で1410A、1410Bなどと個々に呼ばれるクライアント1410は、ヘッドマウントディスプレイ、端末、パーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話機、セットトップボックス、キオスク、無線デバイス、デジタルパッド、スタンドアロンデバイス、ハンドヘルドゲームプレイングデバイス及び/または同様のものを含んでもよい。通常、クライアント1410は、符号化されたビデオストリームを受信し、ビデオストリームを復号化し、得られたビデオをユーザ、例えば、ゲームのプレイヤーに提示するように構成されている。符号化されたビデオストリームを受信し、及び/またはビデオストリームを復号化する処理は、通常、個々のビデオフレームをクライアントの受信バッファ内に記憶させることを含む。ビデオストリームは、クライアント1410に統合されたディスプレイ上、またはモニタもしくはテレビ受像機などの別個のデバイス上でユーザに提示されてもよい。クライアント1410は、任意選択で、2人以上のゲームプレイヤーをサポートするように構成されている。例えば、ゲームコンソールは、2人、3人、4人またはそれ以上の同時プレイヤーをサポートするように構成されてもよい。これらのプレイヤーの各々が、別個のビデオストリームを受信してもよく、または単一のビデオストリームが、各プレイヤーに対して特別に生成された、例えば、各プレイヤーのビューポイントに基づいて生成されたフレームの領域を含んでもよい。クライアント1410は、任意選択で地理的に分散される。ゲームシステム1400内に含まれるクライアントの数は、1つもしくは2つから数千、数万、またはそれ以上に大きく変動し得る。本明細書で使用されるとき、「ゲームプレイヤー」という用語は、ゲームをプレイする人を指すために使用され、「ゲームプレイングデバイス」という用語は、ゲームをプレイするために使用されるデバイスを指すために使用される。いくつかの実施形態において、ゲームプレイングデバイスは、ゲーム体験をユーザに供するために協働する複数のコンピューティングデバイスを指してもよい。例えば、ゲームコンソール及びHMDは、HMDを通して見られるゲームを供するためにビデオサーバシステム1420と協働してもよい。一実施形態において、ゲームコンソールは、ビデオサーバシステム1420からビデオストリームを受信し、ゲームコンソールは、ビデオストリームをレンダリングのためにHMDに転送する、またはビデオストリームを更新する。
クライアント1410は、ネットワーク1415を介してビデオストリームを受信するように構成されている。ネットワーク1415は、電話網、インターネット、無線ネットワーク、電力線ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、プライベートネットワーク及び/または同種のものを含む任意の種類の通信ネットワークであってもよい。典型的な実施形態において、ビデオストリームは、TCP/IPまたはUDP/IPなどの標準プロトコルを介して通信される。あるいは、ビデオストリームは、独自の規格を介して通信される。
クライアント1410の典型的な例は、プロセッサ、不揮発性メモリ、ディスプレイ、復号化ロジック、ネットワーク通信能力及び入力デバイスを含むパーソナルコンピュータである。復号化ロジックは、ハードウェア、ファームウェア、及び/またはコンピュータ可読媒体上に記憶されたソフトウェアを含んでもよい。ビデオストリームを復号化(及び符号化)するためのシステムは、当該技術分野において周知であり、使用される特定の符号化方式に応じて異なる。
クライアント1410は、必須ではないが、受信されたビデオを修正するように構成されたシステムを更に含んでもよい。例えば、クライアントは、更なるレンダリングを実行する、あるビデオ画像を別のビデオ画像の上に重ね合わせる、ビデオ画像をトリミングする、及び/または同様のことを行うように構成されてもよい。例えば、クライアント1410は、Iフレーム、Pフレーム及びBフレームなどの様々な種類のビデオフレームを受信し、ユーザに表示するためにこれらのフレームを処理して画像にするように構成されてもよい。いくつかの実施形態において、クライアント1410のメンバーは、ビデオストリームに対して更なるレンダリング、シェーディング、3次元への変換または同様の動作を実行するように構成されている。クライアント1410のメンバーは、任意選択で、2つ以上のオーディオまたはビデオストリームを受信するように構成されている。クライアント1410の入力デバイスは、例えば、片手用ゲームコントローラ、両手用ゲームコントローラ、ジェスチャ認識システム、視線認識システム、音声認識システム、キーボード、ジョイスティック、ポインティングデバイス、フォースフィードバックデバイス、モーション及び/または位置感知デバイス、マウス、タッチスクリーン、神経インタフェース、カメラ、未だ開発されていない入力デバイス、及び/または同様のものを含んでもよい。
クライアント1410によって受信されたビデオストリーム(及び任意選択でオーディオストリーム)は、ビデオサーバシステム1420によって生成され、提供される。本明細書の他の箇所で更に記載されるように、このビデオストリームはビデオフレームを含む(また、オーディオストリームはオーディオフレームを含む)。ビデオフレームは、ユーザに表示される画像に有効に寄与する(例えば、ビデオフレームは、適切なデータ構造内に画素情報を含む)ように構成されている。本明細書で使用されるとき、「ビデオフレーム」という用語は、ユーザに示される画像に寄与する、例えば、影響を与えるように構成されている情報を主に含むフレームを指すために使用される。「ビデオフレーム」に関する本明細書の教示の大部分は、「オーディオフレーム」にも適用することができる。
クライアント1410は、通常、ユーザからの入力を受信するように構成されている。これらの入力は、ビデオゲームの状態を変化させる、またはさもなければゲームプレイに影響を与えるように構成されたゲームコマンドを含んでもよい。ゲームコマンドは、入力デバイスを使用して受信することができ、及び/またはクライアント1410上で実行される演算命令によって自動的に生成され得る。受信されたゲームコマンドは、クライアント1410からネットワーク1415を介してビデオサーバシステム1420及び/またはゲームサーバ1425に通信される。例えば、いくつかの実施形態において、ゲームコマンドは、ビデオサーバシステム1420を介してゲームサーバ1425に通信される。いくつかの実施形態において、ゲームコマンドの別個のコピーが、クライアント1410からゲームサーバ1425及びビデオサーバシステム1420に通信される。ゲームコマンドの通信は、任意選択でコマンドの識別情報に依存する。ゲームコマンドは、任意選択で、オーディオまたはビデオストリームをクライアント1410Aに提供するために使用された経路または通信チャネルとは異なる経路または通信チャネルを通してクライアント1410Aから通信される。
ゲームサーバ1425は、任意選択で、ビデオサーバシステム1420とは異なるエンティティによって運営される。例えば、ゲームサーバ1425は、マルチプレイヤーゲームの公開元によって運営されてもよい。この例において、ビデオサーバシステム1420は、任意選択で、ゲームサーバ1425によってクライアントとして見なされ、任意選択で、ゲームサーバ1425の観点から、従来技術のゲームエンジンを実行する従来技術のクライアントに見えるように構成されている。ビデオサーバシステム1420とゲームサーバ1425との間の通信は、任意選択で、ネットワーク1415を介して行われる。したがって、ゲームサーバ1425は、ゲーム状態情報を複数のクライアントに送信する従来技術のマルチプレイヤーゲームサーバとすることができる。この複数のクライアントのうちの1つがビデオサーバシステム1420である。ビデオサーバシステム1420は、ゲームサーバ1425の複数のインスタンスと同時に通信するように構成されてもよい。例えば、ビデオサーバシステム1420は、複数の異なるビデオゲームを異なるユーザに提供するように構成することができる。これらの異なるビデオゲームのそれぞれは、異なるゲームサーバ1425によってサポートされてもよく、及び/または異なるエンティティによって公開されてもよい。いくつかの実施形態において、ビデオサーバシステム1420の地理的に分散されたいくつかのインスタンスは、複数の異なるユーザにゲームビデオを提供するように構成されている。ビデオサーバシステム1420のこれらのインスタンスのそれぞれは、ゲームサーバ1425の同一のインスタンスと通信してもよい。ビデオサーバシステム1420と1つ以上のゲームサーバ1425との間の通信は、任意選択で、専用の通信チャネルを介して行われる。例えば、ビデオサーバシステム1420は、これらの2つのシステムの間の通信に専用である高帯域幅チャネルを介してゲームサーバ1425に接続されてもよい。
ビデオサーバシステム1420は、少なくともビデオソース1430、I/Oデバイス1445、プロセッサ1450及び非一時的ストレージ1455を含む。ビデオサーバシステム1420は、1つのコンピューティングデバイスを含んでもよく、または複数のコンピューティングデバイス間に分散されてもよい。これらのコンピューティングデバイスは、任意選択で、ローカルエリアネットワークなどの通信システムを介して接続される。
ビデオソース1430は、例えば、ストリーミングビデオ、または動画を構成する一連のビデオフレームなどの、ビデオストリームを提供するように構成されている。いくつかの実施形態において、ビデオソース1430は、ビデオゲームエンジン及びレンダリングロジックを含む。ビデオゲームエンジンは、プレイヤーからゲームコマンドを受信し、受信されたコマンドに基づいてビデオゲームの状態のコピーを維持するように構成されている。このゲーム状態は、通常はビューポイントに加えて、ゲーム環境内のオブジェクトの位置を含む。ゲーム状態はまた、オブジェクトの性質、画像、色及び/またはテクスチャを含んでもよい。ゲーム状態は、通常、ゲームルール、ならびに移動、回転、攻撃、フォーカス設定、相互作用、使用及び/または同様のものなどのゲームコマンドに基づいて維持される。ゲームエンジンの一部は、任意選択で、ゲームサーバ1425内に配される。ゲームサーバ1425は、地理的に分散したクライアントを使用する複数のプレイヤーから受信されたゲームコマンドに基づいてゲームの状態のコピーを維持してもよい。これらの場合、ゲーム状態は、ゲームサーバ1425によってビデオソース1430に提供され、そこでゲーム状態のコピーが記憶され、レンダリングが実行される。ゲームサーバ1425は、ネットワーク1415を介してクライアント1410から直接ゲームコマンドを受信してもよく、及び/またはビデオサーバシステム1420を介してゲームコマンドを受信してもよい。
ビデオソース1430は、通常、レンダリングロジック、例えば、ハードウェア、ファームウェア、及び/またはストレージ1455などのコンピュータ可読媒体上に記憶されたソフトウェアなどを含む。このレンダリングロジックは、ゲーム状態に基づいてビデオストリームのビデオフレームを作成するように構成されている。レンダリングロジックの全てまたは一部は、任意選択で、グラフィックス処理ユニット(GPU)内に配される。レンダリングロジックは、通常、ゲーム状態及びビューポイントに基づき、オブジェクト間の3次元空間関係を決定するように、及び/または適切なテクスチャなどを適用するように構成された処理ステージを含む。レンダリングロジックは、未処理のビデオを生成し、その後、このビデオは、通常、クライアント1410と通信する前に符号化される。例えば、未処理のビデオは、Adobe Flash(登録商標)規格、.wav、H.264、H.263、On2、VP6、VC−1、WMA、Huffyuv、Lagarith、MPG−x.Xvid.FFmpeg、x264、VP6−8、リアルビデオ、mp3などに従って符号化されてもよい。符号化処理は、リモートデバイス上のデコーダに提供するために任意選択でパッケージ化されているビデオストリームを生成する。ビデオストリームは、フレームサイズ及びフレームレートによって特徴付けられる。典型的なフレームサイズとしては、800×600、1280×720(例えば、720p)、1024×768が挙げられるが、任意の他のフレームサイズが使用されてもよい。フレームレートは、1秒あたりのビデオフレームの数である。ビデオストリームは、異なる種類のビデオフレームを含んでもよい。例えば、H.264規格は、「P」フレーム及び「I」フレームを含む。Iフレームは、表示デバイス上の全てのマクロブロック/画素を更新するための情報を含み、他方、Pフレームは、マクロブロック/画素の一部を更新するための情報を含む。Pフレームは、通常、Iフレームよりもデータサイズが小さい。本明細書で使用されるとき、「フレームサイズ」という用語は、フレーム内の画素数を指すことを意味する。「フレームデータサイズ」という用語は、フレームを記憶するために必要とされるバイト数を指すために使用される。
代替的な実施形態において、ビデオソース1430は、カメラなどのビデオ記録デバイスを含む。このカメラは、コンピュータゲームのビデオストリーム内に含めることができる遅延ビデオまたはライブビデオを生成するために使用されてもよい。得られたビデオストリームは、任意選択で、レンダリングされた画像と、スチルカメラまたはビデオカメラを使用して記録された画像との両方を含む。ビデオソース1430はまた、ビデオストリーム内に含めるために以前に記録されたビデオを記憶するように構成されたストレージデバイスを含んでもよい。ビデオソース1430はまた、オブジェクト、例えば、人のモーションまたは位置を検出するように構成されたモーションまたは位置決め検知デバイス、ならびに検出されたモーション及び/または位置に基づいてゲーム状態を決定し、またはビデオを生成するように構成されたロジックを含んでもよい。
ビデオソース1430は、任意選択で、他のビデオ上に配置されるように構成されたオーバーレイを提供するように構成されている。例えば、これらのオーバーレイは、コマンドインタフェース、ログイン指示、ゲームプレイヤーへのメッセージ、他のゲームプレイヤーの画像、他のゲームプレイヤーのビデオフィード(例えば、ウェブカメラビデオ)を含んでもよい。タッチスクリーンインタフェースまたは視線検出インタフェースを含むクライアント1410Aの実施形態において、オーバーレイは、仮想キーボード、ジョイスティック、タッチパッド及び/または同種のものを含んでもよい。オーバーレイの一例では、プレイヤーの音声をオーディオストリーム上に重ね合わせる。ビデオソース1430は、任意選択で、1つ以上のオーディオソースを更に含む。
2人以上のプレイヤーからの入力に基づいてビデオサーバシステム1420がゲーム状態を維持するように構成されている実施形態において、各プレイヤーは、ビューの位置及び向きを含む異なるビューポイントを有してもよい。ビデオソース1430は、任意選択で、各プレイヤーについて、彼らのビューポイントに基づいて別個のビデオストリームを提供するように構成されている。更に、ビデオソース1430は、異なるフレームサイズ、フレームデータサイズ、及び/または符号化をクライアント1410のそれぞれに提供するように構成されてもよい。ビデオソース1430は、任意選択で、3次元ビデオを提供するように構成されている。
I/Oデバイス1445は、ビデオサーバシステム1420が、ビデオ、コマンド、情報要求、ゲーム状態、視線情報、デバイスモーション、デバイス位置、ユーザモーション、クライアント識別情報、プレイヤー識別情報、ゲームコマンド、セキュリティ情報、オーディオ及び/または同種のものなどの情報を送信及び/または受信するように構成されている。I/Oデバイス1445は、通常、ネットワークカードまたはモデムなどの通信ハードウェアを含む。I/Oデバイス1445は、ゲームサーバ1425、ネットワーク1415及び/またはクライアント1410と通信するように構成されている。
プロセッサ1450は、本明細書で述べたビデオサーバシステム1420の様々な構成要素内に含まれるロジック、例えば、ソフトウェアを実行するように構成されている。例えば、プロセッサ1450は、ビデオソース1430、ゲームサーバ1425及び/またはクライアントクオリファイア1460の機能を実行するためにソフトウェア命令を用いてプログラムされてもよい。ビデオサーバシステム1420は、任意選択で、プロセッサ1450の2つ以上のインスタンスを含む。プロセッサ1450はまた、ビデオサーバシステム1420によって受信されたコマンドを実行するために、または本明細書で述べたゲームシステム1400の様々な要素の動作を調整するために、ソフトウェア命令を用いてプログラムされてもよい。プロセッサ1450は、2つ以上のハードウェアデバイスを含んでもよい。プロセッサ1450は、電子プロセッサである。
ストレージ1455は、非一時的なアナログ及び/またはデジタルストレージデバイスを含む。例えば、ストレージ1455は、ビデオフレームを記憶するように構成されたアナログストレージデバイスを含んでもよい。ストレージ1455は、コンピュータ可読デジタルストレージ、例えば、ハードドライブ、光学ドライブまたはソリッドステートストレージを含んでもよい。ストレージ1415は、ビデオフレーム、人工フレーム、ビデオフレームと人工フレームとの両方を含むビデオストリーム、オーディオフレーム、オーディオストリーム、及び/または同種のものを記憶するように(例えば、適切なデータ構造またはファイルシステムによって)構成されている。ストレージ1455は、任意選択で、複数のデバイス間に分散される。いくつかの実施形態において、ストレージ1455は、本明細書の他の箇所で述べたビデオソース1430のソフトウェア構成要素を記憶するように構成されている。これらの構成要素は、必要なときにすぐに供給できる形式で記憶されてもよい。
ビデオサーバシステム1420は、任意選択で、クライアントクオリファイア1460を更に含む。クライアントクオリファイア1460は、クライアント1410Aまたは1410Bなどのクライアントの能力をリモートで判定するように構成されている。これらの能力は、クライアント1410A自体の能力と、クライアント1410Aとビデオサーバシステム1420との間の1つ以上の通信チャネルの能力との両方を含むことができる。例えば、クライアントクオリファイア1460は、ネットワーク1415を通して通信チャネルをテストするように構成されてもよい。
クライアントクオリファイア1460は、クライアント1410Aの能力を手動または自動で判定(例えば、発見)することができる。手動判定は、クライアント1410Aのユーザと通信し、能力を提供するようにユーザに依頼することを含む。例えば、いくつかの実施形態において、クライアントクオリファイア1460は、クライアント1410Aのブラウザ内に画像、テキスト及び/または同種のものを表示するように構成されている。一実施形態において、クライアント1410Aは、ブラウザを含むHMDである。別の実施形態において、クライアント1410Aは、HMD上に表示され得るブラウザを有するゲームコンソールである。表示されたオブジェクトは、ユーザが、クライアント1410Aのオペレーティングシステム、プロセッサ、ビデオデコーダの種類、ネットワーク接続の種類、ディスプレイ解像度などの情報を入力することを要求する。ユーザによって入力された情報は、クライアントクオリファイア1460に返信される。
自動判定は、例えば、クライアント1410A上のエージェントの実行によって、及び/またはクライアント1410Aへのテストビデオの送信によって行われてもよい。エージェントは、ウェブページ内に埋め込まれた、またはアドオンとしてインストールされたJava(登録商標)スクリプトなどの演算命令を含んでもよい。エージェントは、任意選択で、クライアントクオリファイア1460によって提供される。様々な実施形態において、エージェントは、クライアント1410Aの処理能力、クライアント1410Aの符号化及び表示能力、クライアント1410Aとビデオサーバシステム1420との間の通信チャネルの遅延時間の信頼性及び帯域幅、クライアント1410Aのディスプレイの種類、クライアント1410A上に存在するファイアウォール、クライアント1410Aのハードウェア、クライアント1410A上で実行されているソフトウェア、クライアント1410A内のレジストリエントリ、及び/または同種のものを知ることができる。
クライアントクオリファイア1460は、ハードウェア、ファームウェア、及び/またはコンピュータ可読媒体上に記憶されたソフトウェアを含む。クライアントクオリファイア1460は、任意選択で、ビデオサーバシステム1420の1つ以上の他の要素とは別個のコンピューティングデバイス上に配される。例えば、いくつかの実施形態において、クライアントクオリファイア1460は、クライアント1410とビデオサーバシステム1420の2つ以上のインスタンスとの間の通信チャネルの特性を判定するように構成されている。これらの実施形態において、クライアントクオリファイアによって発見された情報を使用して、ビデオサーバシステム1420のどのインスタンスが、クライアント1410のうちの1つにストリーミングビデオを配信するのに最も適しているかを判定することができる。
本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラムマブル家庭用電化製品、ミニコンピュータ、メインフレームコンピュータなどを含む様々なコンピュータシステム構成を用いて実施されてもよい。本開示は、有線ベースまたは無線ネットワークを通してリンクされるリモート処理デバイスによってタスクが実行される分散型コンピューティング環境内で実施することもできる。
上記の実施形態を念頭に置いて、本開示が、コンピュータシステム内に記憶されたデータを含む様々なコンピュータ実装動作を用いてもよいことを理解すべきである。これらの動作は、物理量の物理的操作を必要とする動作である。本開示の一部を構成する本明細書に記載されたいずれの動作も有用な機械動作である。本開示は、これらの動作を実行するためのデバイスまたは装置にも関する。装置は、必要とされる目的のために特別に構成することができ、または装置は、コンピュータに記憶されたコンピュータプログラムによって選択的に作動される、または構成される汎用コンピュータとすることができる。特に、本明細書の教示に従って書かれたコンピュータプログラムと共に様々な汎用機械を使用することができ、または必要とされる動作を実行するようにより特化された装置を構築することがより好都合となる場合がある。
本開示は、コンピュータ可読媒体上のコンピュータ可読コードとして具現化することもできる。コンピュータ可読媒体は、データを記憶することができる任意のデータストレージデバイスであり、このデータは、その後、コンピュータシステムによって読み出すことができる。コンピュータ可読媒体の例としては、ハードドライブ、ネットワーク接続ストレージ(NAS)、リードオンリーメモリ、ランダムアクセスメモリ、CD−ROM、CD−R、CD−RW、磁気テープ、ならびに他の光学及び非光学データストレージデバイスが挙げられる。コンピュータ可読媒体は、コンピュータ可読コードが分散方式で記憶され、実行されるように、ネットワーク結合コンピュータシステム上に分散されたコンピュータ可読有形媒体を含むことができる。
方法動作が特定の順序で説明されているが、他のハウスキーピング動作が動作の間に実行されてもよく、または動作が、わずかに異なる時間に生じるように調整されてもよく、もしくはオーバーレイ動作の処理が所望の方法で実行される限り、処理に関連する様々な間隔で処理動作の発生を可能にするシステム内に分散されてもよいことを理解すべきである。
前述の開示は、理解を明確にするために幾分詳細に説明されてきたが、ある変更及び修正が添付の特許請求の範囲内で実施され得ることは明らかであろう。従って、本実施形態は例示的であって限定的ではないと見なされるべきであり、本開示は、本明細書に与えられた詳細事項に限定されるものではなく、本開示の範囲及び均等物の範囲内で修正され得る。

Claims (17)

  1. 方法であって、
    第1のヘッドマウントディスプレイ(HMD)に仮想環境の第1のビューを提供することであって、前記第1のビューは、前記仮想環境内の第1の位置から定義されており、かつ前記仮想環境内の仮想オブジェクトに向かう第1のビュー方向を有する第1の仮想キャラクタに関連しており前記第1のビューは、前記第1の位置における前記第1の仮想キャラクタの視点からのものである、前記第1のビューを提供することと、
    前記第1のビューを提供することと同時に、第2のHMDに前記仮想環境の第2のビューを提供することであって、前記第2のビューは、前記仮想環境内の前記第1の位置から定義されており、かつ前記仮想環境内の第2の仮想キャラクタに関連しており前記第2のビューは、前記第1の位置における前記第2の仮想キャラクタの視点からのものである、前記第2のビューを提供することとを含み、
    前記第2のビューを提供することは、前記第2のビュー内に前記第1の仮想キャラクタをレンダリングすることを含み、前記第2のビュー内に前記第1の仮想キャラクタをレンダリングすることは、前記仮想環境内の第2の位置を有するものとして前記第1の仮想キャラクタを提示するように構成されており、前記第2のビュー内に前記第1の仮想キャラクタをレンダリングすることは、前記第2のビュー内に示されるときに前記仮想オブジェクトに向かうように前記第1のビュー方向に対して調整される第2のビュー方向を有するものとして前記第1の仮想キャラクタを提示するように更に構成されている、方法。
  2. 前記第2のビュー方向は、前記仮想オブジェクトの方を向くように前記第1の仮想キャラクタの頭部及び/または体を回すことによって前記第1のビュー方向に対して調整される、請求項1に記載の方法。
  3. 前記仮想環境の前記第1のビューを前記第1のHMDに提供することは、前記第1のHMDが配されている第1のインタラクティブ環境内の前記第1のHMDの方向を識別するデータを処理することを含み、
    前記第1のビュー方向は、前記第1のインタラクティブ環境内の前記第1のHMDの前記方向によって実質的に決定される、請求項1に記載の方法。
  4. 前記仮想環境の前記第2のビューを前記第2のHMDに提供することは、前記第2のHMDが配されている第2のインタラクティブ環境内の前記第2のHMDの方向を識別するデータを処理することを含む、請求項3に記載の方法。
  5. 前記第1のビュー方向が指している前記仮想オブジェクトは、前記仮想環境内の前記第1の位置からの前記第1のビュー方向の推定に基づいて識別される、請求項1に記載の方法。
  6. 前記第2のビュー方向は、前記仮想環境内の前記第1の位置、前記第2の位置及び前記仮想オブジェクトの相対的位置付けに基づいて決定される、請求項1に記載の方法。
  7. 前記仮想環境は、ビデオゲームのゲームプレイに対して定義されており、前記第1のビュー及び第2のビューは、前記ビデオゲームの前記ゲームプレイの観賞者ビューである、請求項1に記載の方法。
  8. 方法であって、
    ネットワークを介して、複数のヘッドマウントディスプレイ(HMD)を使用して仮想環境を鑑賞するための要求を受信することと、
    各HMDを複数のビューインググループのうちの1つに割り当てることであって、各ビューインググループは、前記ビューインググループに割り当てられているHMDに関連したアバターの前記仮想環境における空間的配列を定義している、前記割り当てることと、
    各HMDについて、前記ネットワークを介して、前記HMD上にレンダリングするための前記仮想環境のビューを提供することであって、前記HMDが割り当てられている前記ビューインググループを前記仮想環境内の指定されたビュー位置に配置することと、前記ビューインググループの前記空間的配列によって定義されているように前記HMDの関連アバターの視点からの前記ビューを提供することとを含む、前記仮想環境のビューを提供することとを含み、
    前記仮想環境内の前記指定されたビュー位置は各ビューインググループについて同一であ
    前記ビューを所与のHMDに提供するとき、前記所与のHMDが割り当てられている前記ビューインググループは、前記指定されたビュー位置に配置される一方、他のビューインググループの少なくとも一部は、前記仮想環境における他のビュー位置に配置される、方法。
  9. 所与のビューインググループによって定義された前記空間的配列は、前記仮想環境内の互いの固定された空間的関係を有するアバター配置位置の群を含む、請求項8に記載の方法。
  10. 前記ビューを前記所与のHMDに提供するとき、前記他のビューインググループのうちの少なくとも一部は、前記所与のHMDが割り当てられている前記ビューインググループに隣接する、及び/または前記ビューインググループを囲むように前記仮想環境内の他のビュー位置に配置される、請求項に記載の方法。
  11. 前記HMDを割り当てることは、前記HMDに関連したユーザアカウントのソーシャルグラフに基づいている、請求項8に記載の方法。
  12. 前記仮想環境を鑑賞するための前記要求は、複数のHMD接続コンピュータから前記ネットワークを介して受信される、請求項8に記載の方法。
  13. 方法であって、
    ネットワークを介して、複数のヘッドマウントディスプレイ(HMD)を使用して仮想環境を鑑賞するための要求を受信することと、
    各HMDについて、前記HMDに関連するアバターを観賞者アレイ内の位置に割り当てることであって、前記観賞者アレイは、前記仮想環境内にレンダリングされるときの前記仮想環境における互いに対する前記アバターの配列を定義している、前記割り当てることと、
    各HMDについて、前記ネットワークを介して、前記HMD上にレンダリングするための前記仮想環境のビューを提供することであって、前記HMDの関連アバターが前記仮想環境内の第1のビューイング位置に位置付けられるように、前記HMDの関連アバターを含む前記観賞者アレイの一部を前記仮想環境内に位置付けることを含む、前記仮想環境のビューを提供することとを含み、
    前記仮想環境内の前記第1のビューイング位置は各HMDについて同一であ
    前記ビューを所与のHMDに提供するとき、前記所与のHMDの関連アバターは、前記第1のビューイング位置に位置付けられる一方、他のHMDに関連する他のアバターは、前記仮想環境における他のビューイング位置に置付けられる、方法。
  14. 前記HMDの関連アバターが前記第1のビューイング位置に位置するように、前記HMDの関連アバターを含む前記観賞者アレイの前記一部を位置付けることは、前記仮想環境内の前記第1のビューイング位置を囲む第2のビューイング位置に、前記観賞者アレイの前記一部内に含まれる他のアバターを位置付けることを更に含み、前記第2のビューイング位置に前記他のアバターを前記位置付けることは、前記観賞者アレイによって定義されているように前記HMDの関連アバターと前記他のアバターとの互いに対する前記配列を維持するように構成されている、請求項1に記載の方法。
  15. 互いに対する前記アバターの前記配列は、互いに対する前記アバターの固定された空間的位置付けを識別する、請求項1に記載の方法。
  16. 前記HMDを割り当てることは、前記HMDに関連したユーザアカウントのソーシャルグラフに基づいている、請求項1に記載の方法。
  17. 前記仮想環境を鑑賞するための前記要求は、複数のHMD接続コンピュータから前記ネットワークを介して受信される、請求項1に記載の方法。
JP2018565361A 2016-06-13 2017-05-18 仮想現実環境内のビュー位置における鑑賞者管理 Active JP6761053B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662349587P 2016-06-13 2016-06-13
US62/349,587 2016-06-13
US15/283,069 2016-09-30
US15/283,069 US10245507B2 (en) 2016-06-13 2016-09-30 Spectator management at view locations in virtual reality environments
PCT/US2017/033392 WO2017218137A1 (en) 2016-06-13 2017-05-18 Spectator management at view locations in virtual reality environments

Publications (2)

Publication Number Publication Date
JP2019526104A JP2019526104A (ja) 2019-09-12
JP6761053B2 true JP6761053B2 (ja) 2020-09-23

Family

ID=60573505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018565361A Active JP6761053B2 (ja) 2016-06-13 2017-05-18 仮想現実環境内のビュー位置における鑑賞者管理

Country Status (5)

Country Link
US (2) US10245507B2 (ja)
EP (1) EP3468681B1 (ja)
JP (1) JP6761053B2 (ja)
CN (2) CN115068932B (ja)
WO (1) WO2017218137A1 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10471360B2 (en) 2017-03-06 2019-11-12 Sony Interactive Entertainment LLC User-driven spectator channel for live game play in multi-player games
US10672171B2 (en) * 2017-03-07 2020-06-02 Lamplight Forest Holdings Pty Ltd System and method for dynamic content generation in a virtual space
US10878616B2 (en) * 2017-04-06 2020-12-29 Htc Corporation System and method for assigning coordinates in virtual reality environment
DE102017208936A1 (de) * 2017-05-29 2018-11-29 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
US11579744B2 (en) * 2017-06-21 2023-02-14 Navitaire Llc Systems and methods for seat selection in virtual reality
EP3675488B1 (en) * 2017-08-24 2024-02-28 Tencent Technology (Shenzhen) Company Limited Method for recording video on the basis of a virtual reality application, terminal device, and storage medium
US10102659B1 (en) 2017-09-18 2018-10-16 Nicholas T. Hariton Systems and methods for utilizing a device as a marker for augmented reality content
US10621784B2 (en) * 2017-09-29 2020-04-14 Sony Interactive Entertainment America Llc Venue mapping for virtual reality spectating of live events
US10105601B1 (en) 2017-10-27 2018-10-23 Nicholas T. Hariton Systems and methods for rendering a virtual content object in an augmented reality environment
US10616033B2 (en) * 2017-11-06 2020-04-07 Honda Motor Co., Ltd. Different perspectives from a common virtual environment
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
US10636188B2 (en) 2018-02-09 2020-04-28 Nicholas T. Hariton Systems and methods for utilizing a living entity as a marker for augmented reality content
US10792576B2 (en) 2018-02-28 2020-10-06 Sony Interactive Entertainment LLC Player to spectator handoff and other spectator controls
US10953322B2 (en) 2018-02-28 2021-03-23 Sony Interactive Entertainment LLC Scaled VR engagement and views in an e-sports event
US11065548B2 (en) 2018-02-28 2021-07-20 Sony Interactive Entertainment LLC Statistical driven tournaments
US10818142B2 (en) 2018-02-28 2020-10-27 Sony Interactive Entertainment LLC Creation of winner tournaments with fandom influence
US10765938B2 (en) 2018-02-28 2020-09-08 Sony Interactive Entertainment LLC De-interleaving gameplay data
US10953335B2 (en) 2018-02-28 2021-03-23 Sony Interactive Entertainment Inc. Online tournament integration
US10765957B2 (en) 2018-02-28 2020-09-08 Sony Interactive Entertainment LLC Integrating commentary content and gameplay content over a multi-user platform
US10792577B2 (en) 2018-02-28 2020-10-06 Sony Interactive Entertainment LLC Discovery and detection of events in interactive content
US10814228B2 (en) 2018-02-28 2020-10-27 Sony Interactive Entertainment LLC Statistically defined game channels
US10695665B2 (en) * 2018-03-16 2020-06-30 Sony Interactive Entertainment America Llc Asynchronous virtual reality interactions
US10198871B1 (en) * 2018-04-27 2019-02-05 Nicholas T. Hariton Systems and methods for generating and facilitating access to a personalized augmented rendering of a user
WO2019212902A1 (en) * 2018-05-03 2019-11-07 Pcms Holdings, Inc. Systems and methods for physical proximity and/or gesture-based chaining of vr experiences
EP3599544A1 (en) * 2018-07-25 2020-01-29 Nokia Technologies Oy An apparatus, method, computer program for enabling access to mediated reality content by a remote user
US10937244B2 (en) * 2018-10-23 2021-03-02 Microsoft Technology Licensing, Llc Efficiency enhancements to construction of virtual reality environments
KR102212508B1 (ko) * 2019-01-22 2021-02-04 (주)스코넥엔터테인먼트 가상 환경 제어 시스템
EP3702008A1 (en) * 2019-02-27 2020-09-02 Nokia Technologies Oy Displaying a viewport of a virtual space
CN109992902A (zh) * 2019-04-08 2019-07-09 中船第九设计研究院工程有限公司 一种基于虚拟现实的船舶舱室体验系统构建方法
JP7249859B2 (ja) * 2019-04-25 2023-03-31 株式会社第一興商 カラオケシステム
US10586396B1 (en) 2019-04-30 2020-03-10 Nicholas T. Hariton Systems, methods, and storage media for conveying virtual content in an augmented reality environment
US11298622B2 (en) * 2019-10-22 2022-04-12 Sony Interactive Entertainment Inc. Immersive crowd experience for spectating
US11023729B1 (en) * 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
US11262588B2 (en) * 2020-03-10 2022-03-01 Magic Leap, Inc. Spectator view of virtual and physical objects
US11625973B2 (en) * 2020-04-22 2023-04-11 Igt Multi-user gaze detection at electronic gaming devices
JPWO2021246183A1 (ja) * 2020-06-03 2021-12-09
JP7061649B2 (ja) * 2020-08-27 2022-04-28 株式会社バンダイ ゲーム観戦システム、プログラム、観戦端末及び接続装置
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
EP4217083A1 (en) * 2020-09-25 2023-08-02 Apple Inc. Asymmetric presentation of an environment
US11907412B2 (en) 2020-09-28 2024-02-20 International Business Machines Corporation Contextual spectator inclusion in a virtual reality experience
CN114237396B (zh) * 2021-12-15 2023-08-15 北京字跳网络技术有限公司 动作调整方法、装置、电子设备及可读存储介质
US20240070950A1 (en) * 2022-08-23 2024-02-29 Snap Inc. Avatar call on an eyewear device

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6409599B1 (en) * 1999-07-19 2002-06-25 Ham On Rye Technologies, Inc. Interactive virtual reality performance theater entertainment system
US8840475B2 (en) * 2002-12-10 2014-09-23 Ol2, Inc. Method for user session transitioning among streaming interactive video servers
US7803048B2 (en) * 2006-03-15 2010-09-28 Microsoft Corporation Radar manipulation in a video game
US20090106671A1 (en) * 2007-10-22 2009-04-23 Olson Donald E Digital multimedia sharing in virtual worlds
JP5438412B2 (ja) * 2009-07-22 2014-03-12 株式会社コナミデジタルエンタテインメント ビデオゲーム装置、ゲーム情報表示制御方法及びゲーム情報表示制御プログラム
AU2011220382A1 (en) * 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
CN105843396B (zh) * 2010-03-05 2019-01-01 索尼电脑娱乐美国公司 在共享的稳定虚拟空间上维持多视图的方法
US9901828B2 (en) * 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
CN103189113B (zh) * 2010-11-03 2015-12-16 阿尔卡特朗讯 用于在虚拟再现与相应物理空间之间提供一致性的方法和系统
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US20140365212A1 (en) 2010-11-20 2014-12-11 Alon Konchitsky Receiver Intelligibility Enhancement System
US8678282B1 (en) * 2010-11-29 2014-03-25 Lockheed Martin Corporation Aim assist head-mounted display apparatus
EP2647210A4 (en) * 2010-12-02 2014-04-16 Ultradent Products Inc SYSTEM AND METHOD FOR VISUALIZING AND TRACKING STEREOSCOPIC VIDEO IMAGES
US20120142415A1 (en) * 2010-12-03 2012-06-07 Lindsay L Jon Video Show Combining Real Reality and Virtual Reality
EP2691935A1 (en) 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US20120264510A1 (en) * 2011-04-12 2012-10-18 Microsoft Corporation Integrated virtual environment
US8964008B2 (en) * 2011-06-17 2015-02-24 Microsoft Technology Licensing, Llc Volumetric video presentation
US8556715B2 (en) * 2011-09-27 2013-10-15 U4iA GAMES INC. Personalized client-side visualization in a multiplayer network video game
US9645394B2 (en) 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
US9389682B2 (en) * 2012-07-02 2016-07-12 Sony Interactive Entertainment Inc. Methods and systems for interaction with an expanded information space
US9077647B2 (en) * 2012-10-05 2015-07-07 Elwha Llc Correlating user reactions with augmentations displayed through augmented views
US9132342B2 (en) * 2012-10-31 2015-09-15 Sulon Technologies Inc. Dynamic environment and location based augmented reality (AR) systems
US20140125698A1 (en) 2012-11-05 2014-05-08 Stephen Latta Mixed-reality arena
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
CN105359063B (zh) * 2013-06-09 2018-08-17 索尼电脑娱乐公司 利用追踪的头戴式显示器
US10955665B2 (en) * 2013-06-18 2021-03-23 Microsoft Technology Licensing, Llc Concurrent optimal viewing of virtual objects
US9766463B2 (en) * 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
JP6309779B2 (ja) * 2014-02-12 2018-04-11 株式会社バンダイナムコエンターテインメント プログラム、ゲーム装置およびゲームシステム
US9996975B2 (en) * 2014-03-18 2018-06-12 Dreamworks Animation L.L.C. Interactive multi-rider virtual reality ride system
US9779538B2 (en) * 2014-05-28 2017-10-03 Lucasfilm Entertainment Company Ltd. Real-time content immersion system
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
US10529248B2 (en) * 2014-06-19 2020-01-07 Embraer S.A. Aircraft pilot training system, method and apparatus for theory, practice and evaluation
JP6340301B2 (ja) 2014-10-22 2018-06-06 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、携帯情報端末、画像処理装置、表示制御プログラム、表示制御方法、及び表示システム
US9741215B2 (en) * 2014-12-11 2017-08-22 Elwha Llc Wearable haptic feedback devices and methods of fabricating wearable haptic feedback devices
US10156721B2 (en) * 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
JP2017119032A (ja) * 2015-12-29 2017-07-06 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム
CN105657406A (zh) * 2015-12-31 2016-06-08 北京小鸟看看科技有限公司 三维观察视角选定方法和装置
US10688396B2 (en) * 2017-04-28 2020-06-23 Sony Interactive Entertainment Inc. Second screen virtual window into VR environment

Also Published As

Publication number Publication date
US10245507B2 (en) 2019-04-02
EP3468681A1 (en) 2019-04-17
CN115068932B (zh) 2023-10-20
US20190224564A1 (en) 2019-07-25
EP3468681B1 (en) 2021-08-11
CN115068932A (zh) 2022-09-20
JP2019526104A (ja) 2019-09-12
CN109475774B (zh) 2022-06-03
CN109475774A (zh) 2019-03-15
WO2017218137A1 (en) 2017-12-21
US10857455B2 (en) 2020-12-08
US20170354875A1 (en) 2017-12-14

Similar Documents

Publication Publication Date Title
JP6761053B2 (ja) 仮想現実環境内のビュー位置における鑑賞者管理
US11662813B2 (en) Spectating virtual (VR) environments associated with VR user interactivity
US11389726B2 (en) Second screen virtual window into VR environment
US10463962B2 (en) Spectator view perspectives in VR environments
US11436803B2 (en) Insertion of VR spectator in live video of a live event
JP6770178B2 (ja) Hmdユーザを現実世界空間内で安全に案内するために、仮想現実シーンにおいて対話型コンテンツを提供する方法
US10388071B2 (en) Virtual reality (VR) cadence profile adjustments for navigating VR users in VR environments
JP7057756B2 (ja) 仮想現実(vr)環境におけるvrユーザの観客ビュー追跡
JP2020171721A (ja) Vr観戦のための拡大された視野再レンダリング

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200903

R150 Certificate of patent or registration of utility model

Ref document number: 6761053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250