JP7337187B2 - 分散型ゲームエンジンを使用して状態を予測するシステム及び方法 - Google Patents

分散型ゲームエンジンを使用して状態を予測するシステム及び方法 Download PDF

Info

Publication number
JP7337187B2
JP7337187B2 JP2021555797A JP2021555797A JP7337187B2 JP 7337187 B2 JP7337187 B2 JP 7337187B2 JP 2021555797 A JP2021555797 A JP 2021555797A JP 2021555797 A JP2021555797 A JP 2021555797A JP 7337187 B2 JP7337187 B2 JP 7337187B2
Authority
JP
Japan
Prior art keywords
node
state
game
frames
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021555797A
Other languages
English (en)
Other versions
JP2022525414A (ja
Inventor
オスマン、スティーヴン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JP2022525414A publication Critical patent/JP2022525414A/ja
Priority to JP2023109581A priority Critical patent/JP2023115398A/ja
Application granted granted Critical
Publication of JP7337187B2 publication Critical patent/JP7337187B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/577—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using determination of contact between game characters or objects, e.g. to avoid collision between virtual racing cars
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/47—Controlling the progress of the video game involving branching, e.g. choosing one of several possible scenarios at a given point in time
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/58—Controlling game characters or game objects based on the game progress by computing conditions of game characters, e.g. stamina, strength, motivation or energy level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)

Description

本開示は、分散型ゲームエンジンを使用して状態を予測するシステム及び方法に関する。
最近のビデオゲームは、コンピュータネットワークを介してアクセスされる。例えば、Ｆｏｒｔｎｉｔｅ（商標）ゲームは、世界の様々な地域の多くのプレイヤによってプレイされている。あるプレイヤが第１のアバタを制御し、別のプレイヤが第２のアバタを制御する。各アバタは、ゲーム中に武器を集め、木を切る。その後、アバタは仮想サークル内に強制的に閉じ込められる。アバタが仮想サークル外に置き去りにされた場合、アバタはゲーム内で仮想的に死ぬ。両方のアバタがサークル内にいるとき、彼らは互いを見つけて、武器で互いに戦う。２つのアバタのうち１つだけが生き残る。
ビデオゲームはコンピュータネットワークを介してアクセスされるため、ビデオゲームに関連する多くの情報が生成される。情報量が増えると、ビデオゲームの実行の待ち時間が長くなる。
本開示の実施形態は、分散型ゲームエンジンを使用して状態を予測して、ゲームクラウド上でのアプリケーションの実行における待ち時間を短縮するシステム及び方法を提供する。
本開示の他の態様は、本開示に記載の実施形態の原理を例を挙げて示す下記の詳細な記載を、添付図面と併せて読むと明らかになろう。
本明細書に記載のシステム及び方法は、ゲームの処理のための待ち時間の短縮を支援し、及び／または深層学習の使用を通して分散型ゲームエンジンの作業の分散を支援する。深層学習は、深層学習を使用しなければアルゴリズムを使用して計算するのが難しい関数を近似するために使用される技術である。アルゴリズムが不明であるか、アルゴリズムを使用した計算が複雑であるため、関数は、計算が困難である。
通常、多くのゲームは正常に実行され、これらのゲームのアルゴリズムは一般的に知られており、自動化されている。しかしながら、本明細書に記載するゲームでは、ゲームのシーンのフレームを処理する際の多くの状態間の関係のために、ゲーム内の仮想オブジェクトまたは仮想キャラクタなどの構成要素を互いに分離することが難しい場合がある。例えば、ユーザ入力を使用して、ゲーム内の仮想キャラクタを操作する。その仮想キャラクタのアクションは、ゲーム内の人工知能のノンプレイアブルキャラクタ（ＡＩ ＮＰＣ）を特定の振る舞いをさせ、物理法則に従って効果をトリガし得る。説明すると、ユーザ入力を受信すると、爆発物が発射されるか、ＡＩ ＮＰＣが移動するか、仮想オブジェクトが移動する。ＡＩ ＮＰＣ、物理法則、及びユーザの視点の変更は、ゲームのシーンのレンダリングの変更に寄与する。これは、ゲームエンジン内の様々な機能の相互依存関係を示す。
ニューラルネットワークを使用して様々な関数の出力を予測できるため、後続の関数を状況に応じて早期に処理できる。ニューラルネットワークの予測が正しくない場合、予測に基づく早期処理を中止し、実際の関数出力に基づく正しい処理を再開することができる。
ある実施形態では、システム及び方法は、予測におけるエラーを「コース修正」することができる。例として、仮想オブジェクトまたは仮想キャラクタをレンダリングする必要がなく、シーンは仮想オブジェクトなしで適時的にレンダリングされると予測子が誤って決める場合がある。後にフレームの処理中に、物理法則の影響により、仮想オブジェクトがビューにプッシュされることが決定される。本明細書に記載のシステム及び方法は、この時点で２つの選択肢を提供する。選択肢の１つでは、システムと方法が前処理の一部または全てを破棄することができ、仮想オブジェクトが存在するシーンを再レンダリングすることができる。もう１つの選択肢では、システム及び方法が仮想オブジェクトを独立してレンダリングし、その仮想オブジェクトをシーンに合成することができる。
ある実施形態では、本明細書に記載のシステム及び方法は、コンピューティングリソース全体にわたる作業の分散を支援する。例えば、物理エンジンは通常、いくつかの構成要素に分割される。これらの構成要素の例には、衝突検出システム、衝突解決システムもしくはソルバ、及び更新システムが含まれる。衝突検出は、高コストのプロセスであり、例えば、仮想オブジェクトが衝突しているかどうかの粗推定を行う広い位相検出演算、及び、計算コストがはるかに高く、仮想オブジェクト間の正確な接触点を計算する狭い位相検出演算等、サブコンポーネントにさらに分割することができる。広い位相検出演算の実行中、広い位相検出演算の以前の結果で訓練されたニューラルネットワークは、どの仮想オブジェクトが、衝突の可能性が高いこと、ある程度衝突の可能性があること、衝突の可能性が全くないことを予測できる。可能性が高いと予測される仮想オブジェクトの場合、狭い位相検出演算を他の計算リソースにディスパッチすることができる。広い位相検出演算が完了すると、ある程度衝突する可能性のある仮想オブジェクトは、解決され、ディスパッチされるかディスパッチされないかのどちらかである。
一実施形態では、システム及び方法は、シーンの複雑な背景などの複雑なバックドロップを更新する。例えば、適度に静的であるが計算集約的な高解像度のバックドロップを再レンダリングする必要が高いときを、ユーザ入力、ＡＩ状態、物理的状態、及びその他のゲーム状態等、いくつかの要因に基づいて決定するように、ニューラルネットワークを訓練することができる。高解像度のバックドロップをレンダリングするための強度値、色値、シェーディング値、テクスチャ値などの状態値は、高解像度のバックドロップを期待してリモートレンダリングジョブがディスパッチできるように、ニューラルネットワークを介して予測することができる。
ゲームがこれらのもの全てをタイムリーに更新できることは重要であるが、ニューラルネットワークは、タスクを移動させる自由をシステムに提供する。クラウドベースの分散型ゲームエンジンである分散型ゲームエンジンで実行されているゲームについて考えてみる。分散型ゲームエンジンの個々のノードは、１人のユーザに対して妥当な品質の出力を処理できるが、高品質の出力は処理できない。これは、例えば、ノードのリソースが不十分なことが原因の場合がある。分散型ゲームエンジンの一部のノードは、計算集約的な構成要素の高品質グラフィックスレンダリングが可能な非常に高速なグラフィックプロセッシングユニット（ＧＰＵ）を有し、分散型ゲームエンジンの他のノードは、非常に高い解像度テクスチャでアイテムをレンダリングできる大量のメモリを備えるが、比較的計算能力の低いＧＰＵを有し、分散型ゲームエンジンの他のノードは、特殊な物理またはＡＩ構成要素を有する。ゲームは、分散型ゲームエンジンの１つの汎用ノードで妥当な品質で実行できる、または、十分に早い段階で予想される場合は、高品質のジョブを分散型ゲームエンジンのあまり忙しくない、またはより専門的なノードに委託して、高品質の出力を返すことができる。深層学習の予測子は、これらの高品質のジョブをいつディスパッチするかを決定できる。予測が遅い場合、妥当な品質は汎用ノードでローカルに計算される。早期に予測した場合、高品質の出力は、適用されるまでに古くなり、破棄される。ただし、正しく予測された場合、例えば、遅くも早くもなく、時間どおりに予測した場合、高品質の出力が時間内に返され、他の中間結果と組み合わされて、より高品質の体験を提供する。分散型ゲームエンジンの全てのノードが同様に構成されている場合でも、一実施形態では、場合によっては、ノード間で負荷分散が適用される。負荷分散では、全てのリソースが全てのノードで同じ量で使用されるわけではない。
一実施形態では、ゲームの実行における待ち時間を短縮する方法が説明される。方法は、コンピュータネットワークを介して、ゲームに関連するユーザ入力を受信することと、ユーザ入力からゲームの現在の状態を決定することとを含む。ゲームの現在の状態が決定されている間、方法は、ユーザ入力と１つまたは複数の予測されるユーザ入力とに基づいてゲームの次の状態を予測することを含む。方法はさらに、次の状態から１つまたは複数の予測画像フレームを生成することと、１つまたは複数の予測ユーザ入力がコンピュータネットワークを介して受信されたかどうかを判断することと、１つまたは複数の予測ユーザ入力を受信することに応答して１つまたは複数の予測画像フレームを送信して、ゲームの実行の待ち時間を短縮することとを含む。
ある実施形態では、ゲームの実行における待ち時間を短縮するシステムが説明される。システムは、第１のノード及び第２のノードを含む。第１のノードは、コンピュータネットワークを介して、ゲームに関連するユーザ入力を受信し、ユーザ入力からゲームの現在の状態を決定する。第２のノードは第１のノードに結合される。第２のノードは、第１のノードからゲームに関連するユーザ入力を受信し、ゲームの現在の状態が決定されている間に、ユーザ入力と１つまたは複数の予測されるユーザ入力とに基づいてゲームの次の状態を予測する。第２のノードはさらに、次の状態から１つまたは複数の予測画像フレームを生成し、１つまたは複数の予測ユーザ入力がコンピュータネットワークを介して受信されたかどうかを判断し、１つまたは複数の予測ユーザ入力を受信することに応答して１つまたは複数の予測画像フレームを送信して、ゲームの実行中の待ち時間を短縮する。
ある実施形態では、ゲームの実行において待ち時間を短縮するためのプログラム命令を含むコンピュータ可読媒体が説明される。コンピュータシステムの１つまたは複数のプロセッサによるプログラム命令の実行により、１つまたは複数のプロセッサは、上記のように、ゲームの実行における待ち時間を短縮する方法の複数の動作を実行する。
分散型ゲームエンジンを使用して状態を予測するための本明細書に記載のシステム及び方法のいくつかの利点を説明する。状態が予測され、予測された状態に対するユーザ入力が分散型ゲームエンジンによって受信される前に、予測された状態の１つまたは複数のフレームが生成される。ユーザ入力が受信されると、フレームに従った画像を表示し、音声を生成するために、フレームが、コンピュータネットワークを介してクライアントデバイスに送信される。ユーザ入力が受信された後のフレーム生成の待ち時間が短縮または排除される。クライアントデバイスに画像が提供される速度と、ゲームアプリケーションなどのアプリケーションの実行速度が向上する。
本開示の様々な実施形態は、添付図面と併せて、以下の記載を参照することによって、最も良く理解される。
ビデオゲームまたはビデオ会議アプリケーションなどのアプリケーションを説明するためのシステムの実施形態の図である。 状態１がノードＡによって生成されているとき、予測状態２が別のノード１によって生成されていることを示すシステムの実施形態の図である。 状態１がノードＡによって生成されているとき、予測状態２が別のノード１によって生成されていることを示すシステムの実施形態の図である。 図２Ａのシステムの残りの部分の図である。 分散型ゲームエンジン及び分散型予測子エンジンを示すシステムの実施形態の図である。 予測状態２の画像フレーム及びオーディオフレームが、クライアントデバイスを介してユーザＡによって制御される仮想オブジェクトが位置ｃにある期間中に生成されることを示すシステムの実施形態の図である。 予測状態２が生成されている間、クライアントデバイスからコンピュータネットワークを介して分散型ゲームエンジンシステムによって受信されたユーザ入力１’が、状態１’の生成のトリガとして機能することを示す分散型ゲームエンジンシステムの実施形態である。 予測状態２のユーザ入力２を受信する代わりに、ユーザ入力１’を受信したときに、仮想オブジェクトまたは人工知能（ＡＩ）エンティティまたはＡＩ仮想オブジェクトがレンダリングされ、仮想背景に追加されることを示す図である。 ノード１を使用して、仮想オブジェクトが仮想シーンで衝突する可能性が高い広い位相検出を実行し、別のノード２を使用して、仮想オブジェクトの衝突の接触点を決定するための狭い位相検出を実行することを示すシステムの実施形態の図である。 高品質のグラフィックスジョブがノード１からノード２にディスパッチされることを示すシステムの実施形態の図である。 物理予測エンジンに関連する１つまたは複数のタスクのノード１からノード２への割り当てを示すシステムの実施形態の図である。 ＡＩ予測エンジンに関連する１つまたは複数のタスクのノード１からノード２への割り当てを示すシステムの実施形態の図である。 クライアントデバイスの実施形態の図である。 本開示の実施態様による、クラウドビデオゲームを図５のクライアントデバイスにストリーミングするために実行される様々な動作を概念的に示すフロー図である。 図５のクライアントデバイスのディスプレイデバイスとインタフェースするために互換性があり、コンピュータネットワークを介して分散型ゲームエンジンシステムと通信することができるゲームコンソールの実施形態のブロック図である。 クライアントデバイスの例であるヘッドマウントディスプレイ（ＨＭＤ）の構成要素を示す図である。 情報サービスプロバイダ（ＩＮＳＰ）アーキテクチャの実施形態を示す。
分散型ゲームエンジンを使用して状態を予測するシステム及び方法を記載する。本開示の様々な実施形態は、これらの特定の詳細の一部または全てが無くても実施されることに留意されたい。他の例では、本開示の様々な実施形態を不必要に分かりにくくしないように、周知のプロセス動作については詳述していない。
図１は、ビデオゲームまたはビデオ会議アプリケーションなどのアプリケーションを説明するためのシステム１００の実施形態の図である。アプリケーションの例には、マルチプレイヤゲーム及びシングルプレイヤゲームが含まれる。マルチプレイヤゲームでは、複数のプレイヤがサーバシステム１０４からビデオゲームにアクセスする。例えば、第１のアバタは、マルチプレイヤゲームをプレイするユーザＡによって制御され、第２の車は、マルチプレイヤゲームをプレイする別のユーザＢによって制御される。さらに、マルチプレイヤゲームでは、人工知能（ＡＩ）によって制御されるノンプレイアブルキャラクタ（ＮＰＣ）が存在する場合がある。ＡＩは、ユーザではなくサーバシステム１０４によって実行及び制御される。ＡＩ ＮＰＣは、ユーザがクライアントデバイスを介して制御していないタイプの仮想オブジェクトである。シングルプレイヤゲームでは、１人または複数のプレイヤがサーバシステム１０４からビデオゲームにアクセスする。例として、アバタは、シングルプレイヤゲームをプレイするユーザＡによって制御され、同じアバタが、シングルプレイヤゲームをプレイするユーザＢによって制御される。
システム１００は、サーバシステム１０４と、コンピュータネットワーク１０２と、複数のクライアントデバイス１、２、及び３とを含む。サーバシステム１０４は、１つまたは複数のサーバを含み、これらは、サーバブレードまたはゲームコンソールであってよい。各サーバは、１つまたは複数のプロセッサと１つまたは複数のメモリデバイスとを含む。サーバの１つまたは複数のプロセッサは、１つまたは複数のメモリデバイスに結合される。本明細書で使用されるプロセッサの例には、中央処理装置（ＣＰＵ）、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、及びプログラマブルロジックデバイス（ＰＬＤ）が含まれる。一実施形態では、メモリデバイスは、データが読み出される、またはデータが書き込まれるデバイスである。メモリデバイスの例には、読み取り専用メモリ（ＲＯＭ）デバイス、またはランダムアクセスメモリ（ＲＡＭ）デバイス、またはそれらの組み合わせが含まれる。説明すると、メモリデバイスは、フラッシュメモリ、キャッシュ、または独立ディスクの冗長アレイ（ＲＡＩＤ）を含む。
コンピュータネットワーク１０２は、ビデオデータ及びオーディオデータなどのデータを、クライアントデバイスとサーバ間、またはクライアントデバイスとノード間、または複数のノード間、または複数のサーバ間、または複数のクライアントデバイス間で転送するために使用されて、分散型ゲームエンジン及び分散型予測子エンジンを含む分散型ゲームエンジンシステム（ＤＧＥＳ）１０６の動作を促進する。コンピュータネットワーク１０２の例には、インターネットなどの広域ネットワーク（ＷＡＮ）またはインターネットなどのローカルエリアネットワーク（ＬＡＮ）、またはこれらの組み合わせが含まれる。
本明細書で使用されるクライアントデバイスは、ユーザによって操作されて、分散型ゲームエンジンシステム１０６によって実行されるアプリケーションにアクセスするデバイスである。クライアントデバイスの例には、コンピュータ、タブレット、ゲームコンソール、スマートフォン、ハンドヘルドコントローラ、ヘッドマウントディスプレイ（ＨＭＤ）、テレビとゲームコンソールとハンドヘルドコントローラの組み合わせ、並びに、ＨＭＤとハンドヘルドコントローラとゲームコンソールの組み合わせが含まれる。ハンドヘルドコントローラの例には、ＤｕａｌＳｈｏｃｋ（登録商標）コントローラ及びＭｏｖｅ（登録商標）モーションコントローラが含まれ、両方ともＳｏｎｙ（登録商標）社から入手できる。ゲームコンソールとハンドヘルドコントローラとを含む組み合わせでは、ゲームコンソールは有線または無線接続を介してハンドヘルドコントローラに結合される。さらに、ＨＭＤ、ハンドヘルドコントローラ、及びゲームコンソールの組み合わせにおいては、ＨＭＤは、有線接続または無線接続を介してゲームコンソールに結合される。有線接続の例には、シリアル転送ケーブルまたはパラレル転送ケーブルまたはユニバーサルシリアルバス（ＵＳＢ）ケーブルが含まれる。無線接続の例には、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続及びＷｉ－Ｆｉ（登録商標）接続が含まれる。
ゲームコンソール、またはＨＭＤ、またはハンドヘルドコントローラ、またはそれらの組み合わせは、例えば、クライアントデバイスの入力デバイス、例えば、ハンドヘルドコントローラ、ＨＭＤ、マウス、キーパッド、ジョイスティック、タッチパッド、タッチスクリーンなどの位置の変更もしくは向きの変更もしくはそれらの組み合わせなど、または、ユーザＡの身体の部分の動きなどのジェスチャをキャプチャするための１つまたは複数のカメラを含む。身体の部分の例には、腕、手、脚、手首、１本または複数の指、脚、膝、目、頭などが含まれる。本明細書で使用されるＨＭＤは、仮想現実（ＶＲ）シーンや拡張現実（ＡＲ）シーンなどの仮想シーンを見るためにユーザが着用するディスプレイデバイスである。また、テレビは、ディスプレイデバイスの例であり、表示画面を備えている。本明細書で使用されるディスプレイデバイスの例には、液晶ディスプレイ（ＬＤＣ）デバイス、発光ダイオードディスプレイ（ＬＥＤ）デバイス、及びプラズマディスプレイデバイスが含まれる。ＶＲシーンまたはＡＲシーンは、分散型ゲームエンジンシステム１０６によるアプリケーションの実行時に生成される。
サーバシステム１０４は、分散型ゲームエンジンシステム１０６として集合的に動作する複数のノードを含む。例えば、分散型ゲームエンジンシステム１０６は、複数のＡＩエンジンＡＩ１～ＡＩｎを含み、ここで、ｎは、１より大きい整数である。さらに、分散型ゲームエンジンシステム１０６は、複数のオーディオエンジン（ＡＥ）ＡＥ１～ＡＥｎ、複数の物理エンジンＰＥ１～ＰＥｎ、及び複数のグラフィックスエンジン（ＧＥ）ＧＥ１～ＧＥｎを含み、ここで、ｎは１より大きい整数である。一実施形態では、分散型ゲームエンジンシステム１０６は、複数の動画エンジン、複数のネットワークエンジン、複数のメモリ管理エンジン、複数のスクリーミングエンジン、及び／または複数のスクリプトエンジンをさらに含む。各ＡＩエンジンＡＩ１～ＡＩｎ、オーディオエンジンＡＥ１～ＡＥｎ、物理エンジンＰＥ１～ＰＥｎ、及びグラフィックスエンジンＧＥ１～ＧＥｎは、分散型ゲームエンジンシステム１０６の一部である。ある実施形態では、本明細書で使用されるエンジンは、ソフトウェアエンジンである。ソフトウェアエンジンは、ライブラリ、ソフトウェア開発キット（ＳＤＫ）、または機能ブロックを示すオブジェクトである。ソフトウェアエンジンは、グラフィックスプロセッシングユニット（ＧＰＵ）や中央処理装置（ＣＰＵ）などの１つまたは複数のプロセッサによって実行される。一実施形態では、本明細書で使用される各エンジンは、仮想マシン（ＶＭ）である。ある実施形態では、各エンジンは、プロセッサまたはハードウェアデバイスである。一実施形態では、各エンジンは、ニューラルネットワークまたはニューラルネットワークの一部である。
分散型ゲームエンジンシステム１０６は、アプリケーション、例えば、ゲームコンピュータプログラム、ＶＲシーンを生成するためのコンピュータプログラム、拡張現実ＡＲシーンを生成するためのコンピュータプログラム、ＶＲシーンもしくはＡＲシーンを生成するための物理法則を適用するための物理ソフトウェアプログラム、ＶＲシーンもしくはＡＲシーンを生成するためのレンダリング操作を適用するためのレンダリングコンピュータプログラムを記憶する。例として、アプリケーションの一部は、分散型ゲームエンジンシステム１０６のノードＡによって記憶及び実行され、アプリケーションの別の部分は、分散型ゲームエンジンシステム１０６の別のノード１によって記憶及び実行され、アプリケーションの残りの部分は、分散型ゲームエンジンシステム１０６のさらに別のノード２によって記憶及び実行される。本明細書で使用されるノードは、ハードウェアサーバまたはゲームコンソール、またはアプリケーションの少なくとも一部を実行するための分散型ゲームエンジンシステム１０６のハードウェアサーバである。例として、ノードは、別のノードのハウジングとは別個のハウジングを有する。別の例として、ノードは、データセンタ内で別のノードが配置されているラックとは異なる、データセンタ内のラックに配置される。さらに別の例として、分散型ゲームエンジンシステム１０６のノードは、分散型ゲームエンジンシステム１０６の別のノードとは異なるデータセンタ内に配置される。
ある実施形態では、複数のノードが単一のハウジング内に配置される。例えば、ＰｌａｙＳｔａｔｉｏｎ Ｎｏｗ（登録商標）サーバの場合、１つのハウジングが複数のノードによって共有される。複数のノードが１つのハウジングに収容されているとき、各ノードは、ネットワーク通信デバイスを介してコンピュータネットワーク１０２への独自のネットワーク接続性を有する。しかしながら、代替案として、単一のハウジングはネットワーク通信デバイスを含み、ノードは同じネットワーク通信デバイスを介してコンピュータネットワーク１０２に結合される。単一のハウジングが複数のノードを有することにより、スループットと待ち時間という点で接続性の向上が可能になる。
一実施形態では、ノードは、コンピュータシステムのエミュレーションである仮想マシンである。仮想マシンでは、ハイパーバイザは、プロセッサやメモリデバイスなどのハードウェアリソースを共有及び管理して、１つまたは複数のオペレーティングシステム上でアプリケーションを実行するコンピュータソフトウェアもしくはハードウェア、または、それらの組み合わせである。例として、仮想マシンは、オペレーティングシステムと、オペレーティングシステム上で実行する１つまたは複数のアプリケーションコンピュータプログラムと、ノードによって実行されるとして本明細書に記載されている機能を実行するためにオペレーティングシステム及びハイパーバイザを介して１つまたは複数のアプリケーションコンピュータプログラムによってアクセスされる１つまたは複数のハードウェアリソース、例えば、中央処理装置、グラフィックプロセッシングユニット、ビデオエンコーダ、オーディオエンコーダ、ビデオコーデック、オーディオコーデック、ビデオデコーダ、オーディオデコーダ、ネットワーク通信デバイス、メモリデバイス、内部通信デバイス等と、を含む。上記のアプリケーションは、アプリケーションコンピュータプログラムの例である。
さらに、ある実施形態では、物理エンジンは、物理法則を適用して、ＶＲシーンまたはＡＲシーンであり得る仮想シーンの仮想オブジェクトまたは仮想背景の位置及び向きを決定する。本明細書で使用される仮想オブジェクトの例には、仮想の銃、仮想の槍、仮想のボルダ、仮想の武器、アバタ、仮想キャラクタ等が含まれる。本明細書で使用される仮想背景の例には、仮想の部屋、仮想の自然環境、仮想の木、仮想の海、及び仮想オブジェクトが配置されている仮想環境が含まれる。一実施形態では、仮想バックドロップ及び仮想背景という用語は、本明細書では交換可能に使用される。仮想オブジェクトまたは仮想背景は、クライアントデバイス１を介してユーザＡによって制御される。一実施形態では、仮想オブジェクトまたは仮想背景は、ユーザＡの代わりにＡＩによって制御される。複数の位置及び複数の向きは、仮想オブジェクトまたは仮想背景の動きを規定する。物理エンジンは、仮想シーン内の様々な部分間及び様々な仮想シーン間の物理的関係を決定するように実行されるコンピュータプログラムである。物理的関係は、重力法則、運動法則、摩擦法則などの物理法則に基づいて決定される。
一実施形態では、ＡＩエンジンは、ビデオゲーム内の仮想オブジェクトまたは仮想キャラクタの動き及び機能を決定し、その仮想オブジェクトまたは仮想キャラクタは、クライアントデバイスを介してユーザによって制御することはできない。
ある実施形態では、オーディオエンジンは、ゲームの対応する仮想シーンのオーディオデータを決定し、提供する。例えば、仮想シーンのある部分が音声を出すとき、オーディオエンジンは、音声と、例えば、ピッチ、トーン、振幅などの音声の他の変数とを出力するためのオーディオデータを決定し、オーディオデータを仮想シーンのその部分とリンクさせる。
ある実施形態では、グラフィックスエンジンは、レンダリングエンジンまたはレンダラまたはレンダリング操作である。レンダリングエンジンまたはレンダラまたはレンダリング操作は、色、テクスチャ、陰影、強度、照明、またはそれらの組み合わせなどのグラフィックスを仮想オブジェクトの２次元（２Ｄ）モデルまたは三次元（３Ｄ）モデルに適用して、仮想オブジェクトの２Ｄまたは３Ｄ表現を作成し、グラフィックスを仮想背景の２Ｄまたは３Ｄモデルに適用して、仮想背景の表現を作成し、１つまたは複数の画像フレームを出力する。本明細書で使用される仮想オブジェクトのモデルは、仮想オブジェクトの位置及び向きを有し、仮想背景のモデルは、仮想背景の位置及び向きを有する。例えば、モデルは頂点を有するグリッドであり、仮想オブジェクトまたは仮想背景の形状を規定する。形状は、仮想オブジェクトまたは仮想背景に対して計算された位置及び向きに従って規定される。レンダリングエンジンは、仮想シーンの仮想オブジェクトや仮想背景など、１つまたは複数の部分の２Ｄまたは３Ｄモデルから画像を生成する。例えば、レンダリングエンジンは、仮想シーンの１つまたは複数の部分に適用される色、テクスチャリング、シェーディング、及び光の強度を規定する。
サーバシステム１０４は、１つまたは複数の画像フレームを符号化して１つまたは複数の符号化された画像フレームを出力し、１つまたは複数の符号化された画像フレームを復号して１つまたは複数の復号された画像フレームを出力するビデオコーデック１０８を含む。例えば、ビデオコーデック１０８は、１つまたは複数のプロセッサまたはコンピュータソフトウェアとして実装されて、Ｈ．２６４などのビデオ符号化プロトコルを使用して１つまたは複数の画像フレームを圧縮または解凍する。ビデオ符号化プロトコルは、ビデオ復号プロトコルでもある。別の例として、ビデオコーデック１０８は、ハードウェアデバイス、例えば、集積回路、プロセッサ等、または、ソフトウェアモジュール、例えば、コンピュータプログラム等、または、これらの組み合わせであり、ビデオファイルフォーマットまたはストリーミングビデオフォーマットまたはビデオ符号化フォーマット、例えば、Ｈ．２６４、Ｈ．２６５／ＭＰＥＧ－Ｈ、Ｈ．２６３／ＭＰＥＧ－４、Ｈ．２６２／ＭＰＥＧ－２ａ、カスタマイズされたプロトコル等に従って、画像フレームを圧縮または解凍する。ある実施形態では、圧縮及び符号化という用語は、本明細書では交換可能に使用され、解凍及び復号という用語は、本明細書では交換可能に使用される。
一実施形態では、ビデオコーデック１０８に加えて、オーディオコーデックがシステム１００で使用されて、オーディオ符号化プロトコルを適用してオーディオデータを符号化して１つまたは複数の符号化されたオーディオフレームを出力し、オーディオ復号プロトコルを適用してオーディオフレームを復号して１つまたは複数の復号されたオーディオデータを出力する。オーディオ符号化プロトコルは、オーディオ復号プロトコルでもある。オーディオコーデックは、ハードウェアデバイス、例えば、集積回路、プロセッサなど、またはソフトウェアモジュール、例えば、コンピュータプログラムなど、またはそれらの組み合わせであり、オーディオファイルフォーマットまたはストリーミングオーディオフォーマットに従ってオーディオデータを圧縮または解凍する。
ユーザＡは、クライアントデバイス１を操作して、サーバシステム１０４に記憶されたアプリケーションにアクセスする。例えば、ユーザＡは、ウェブサイトまたはユーザアプリケーションを介してサーバシステム１０４に記憶された自分のユーザアカウントにログインして、サーバシステム１０４に記憶されたアプリケーションにアクセスする。アプリケーションにアクセスすると、ユーザＡはクライアントデバイス１を使用してユーザ入力１を提供する。ユーザ入力１の例は、クライアントデバイス１のボタンの選択、クライアントデバイス１のタッチ、ユーザＡが自分の身体もしくはクライアントデバイス１を用いて行うジェスチャである。ある実施形態では。ユーザ入力は、クライアントデバイス１の１つまたは複数のジョイスティックの１つまたは複数の動き、またはユーザＡが行った１つまたは複数のジェスチャ、またはクライアントデバイス１の１つまたは複数のボタンの１つまたは複数の選択を含む。
ユーザ入力１は、クライアントデバイス１からコンピュータネットワーク１０２を介してサーバシステム１０４に送信されて、アプリケーションの状態を変更する。例えば、物理エンジンＰＥ１～ＰＥｎの１つまたは複数は、仮想シーン内の仮想オブジェクトの１つまたは複数の位置、仮想オブジェクトの１つまたは複数の向き、仮想シーン内の仮想背景の１つまたは複数の位置、及び仮想背景の１つまたは複数の向きを出力する。また、オーディオエンジンＡＥ１～ＡＥｎの１つまたは複数は、仮想オブジェクトが発するオーディオデータを出力し、仮想シーンにおいてＡＩが出力するオーディオデータを出力し、仮想背景と共に出力されるオーディオデータを出力する。さらに、ＡＩエンジンＡＩ１～ＡＩｎの１つまたは複数は、仮想シーンにおけるＡＩの１つまたは複数の位置及び１つまたは複数の向きを出力する。グラフィックスエンジンＧＥ１～ＧＥｎの１つまたは複数は、色、テクスチャ、強度、シェーディング、照明などのグラフィックスを、仮想シーン内の仮想オブジェクトのモデル、ＡＩのモデル、及び仮想背景のモデルに提供して、１つまたは複数の画像フレームを出力する。仮想シーン内の仮想オブジェクトは、ユーザ入力１によって制御され、ユーザＡのアバタまたは表現であってよい。
ビデオコーデック１０８は、ユーザ入力１に基づいて生成された１つまたは複数の画像フレームを、グラフィックスエンジンＧＥ１～ＧＥｎの１つまたは複数から受信し、１つまたは複数の画像フレームを符号化して、符号化されたビデオフレーム１のビデオストリームを出力する。さらに、オーディオコーデックは、オーディオエンジンＡＥ１～ＡＥｎの１つまたは複数から出力されたユーザ入力１に基づいて生成されたオーディオデータを受信し、オーディオデータを符号化して、１つまたは複数の符号化されたオーディオフレームを出力する。符号化されたビデオフレーム１及び符号化されたオーディオフレームは、インターネットプロトコル（ＩＰ）を介した伝送制御プロトコル（ＴＣＰ）などの外部通信プロトコルを適用してパケットを生成することにより、サーバシステム１０４によってパケット化される。パケットは、サーバシステム１０４からコンピュータネットワーク１０２を介してクライアントデバイス１に送信される。
クライアントデバイス１は、サーバシステム１０４からパケットを受信し、外部通信プロトコルを適用してパケットをデパケット化し、符号化されたビデオフレーム１及び符号化されたオーディオフレームをパケットから抽出する。さらに、クライアントデバイス１は、ビデオ復号プロトコルを適用して、符号化されたビデオフレーム１を解凍または復号して画像フレームを取得し、オーディオ復号プロトコルを適用して、符号化されたオーディオフレームを解凍または復号してオーディオフレームを取得する。オーディオフレームのオーディオデータは、クライアントデバイス１によって音声として出力される。さらに、画像フレームは、クライアントデバイス１のディスプレイデバイス上に画像として表示される。本明細書で使用されるディスプレイデバイスの例には、液晶ディスプレイ（ＬＣＤ）デバイス、発光ダイオード（ＬＥＤ）ディスプレイデバイス、及びプラズマディスプレイデバイスが含まれる。
同様に、ユーザ入力は、コンピュータネットワーク１０２を介してサーバシステム１０４によってクライアントデバイス２から受信されて、符号化されたビデオフレーム及び符号化されたオーディオフレームを含む符号化されたフレーム２を出力する。符号化されたフレーム２は、サーバシステム１０４からコンピュータネットワーク１０２を介してクライアントデバイス２に送信され、クライアントデバイス２のディスプレイデバイス上に１つまたは複数の画像を表示し、クライアントデバイス２上に音声を出力する。クライアントデバイス２は、ユーザ２によって操作され、クライアントデバイス１を介してユーザＡによって制御されるアバタとは異なるアバタを制御するために使用することができる。また、同様に、ユーザ入力は、クライアントデバイス３から、コンピュータネットワーク１０２を介してサーバシステム１０４によって受信されて、符号化されたビデオフレーム及び符号化されたオーディオフレームを含む符号化されたフレーム３を出力する。符号化されたフレーム３は、サーバシステム１０４からコンピュータネットワーク１０２を介してクライアントデバイス３に送信されて、クライアントデバイス３のディスプレイデバイス上に１つまたは複数の画像を表示し、クライアントデバイス３上で音声を出力する。クライアントデバイス３は、ユーザ３によって操作され、クライアントデバイス１を介してユーザＡによって制御されるアバタとは異なるアバタを制御するために使用することができる。また、クライアントデバイス３は、クライアントデバイス２を介してユーザＢによって制御されるアバタとは異なるアバタを制御するために使用することができる。
図２Ａは、状態１がノードＡによって生成されているとき、予測状態２がノード１によって生成されていることを示すシステム２００の実施形態の図である。状態１は、本明細書では現在の状態と呼ばれることもあり、予測状態２は、本明細書では次の状態と呼ばれることもある。図２Ｂは、システム２００の残りの部分の図である。システム２００は、ノードＡ及びノード１を含む。さらに、システム２００は、コンピュータネットワーク１０２、ノードアセンブリサーバ２０２、クラウドゲームサーバ２０４、及びクライアントデバイス１を含む。さらに、システム２００は、スイッチシステム２０６を含む。
スイッチシステム２０６は、ノードアセンブリサーバ２０２と、本明細書に記載するノードＡ、Ｂ（図示せず）、及びＣ（図示せず）のうちの２つ以上との間のデータの転送を容易にする１つまたは複数のスイッチを含む。例えば、スイッチシステム２０６は、スイッチファブリックである。スイッチファブリックは、２つ以上のノードＡ、Ｂ、及びＣの間に大量の帯域幅を提供し、動的に頻繁に再構成され、サービス品質（ＱｏＳ）を可能にする。説明すると、ＱｏＳは、２つ以上のノード間に十分な容量がなく、ＱｏＳがデータの送信を再試行するとき、リンクの輻輳を軽減しやすくする。２つ以上のノードＡ、Ｂ、及びＣの一部は、やがて、容量が不足している２つ以上のノードＡ、Ｂ、及びＣの残りのデータの処理を開始する。別の例として、スイッチシステム２０６は、マルチプレクサを含み、マルチプレクサは、分散型ゲームエンジンシステム１０６を形成し、ノードアセンブリサーバ２０６からデータを転送し、且つ、コンピュータネットワーク１０２を介してクライアントデバイス１、２、及び３の１つまたは複数にデータを転送するノードを２つ以上のノードＡ、Ｂ、及びＣ（図１）の中から選択する。別の例として、スイッチシステム２０６は、ノードアセンブリサーバ２０２と２つ以上のノードＡ、Ｂ、及びＣとの間のデータの転送を容易にする１つまたは複数のトランジスタを含む。さらに別の例として、スイッチシステム２０６は、１つまたは複数のスイッチを含み、各スイッチは、開位置と閉位置の間で位置を変える。スイッチの開位置は、ノードアセンブリサーバ２０２を、スイッチに結合されているノードから切り離す。スイッチの閉位置は、ノードアセンブリサーバ２０２を、スイッチに結合されたノードに結合する。一実施形態では、ノードＡ、Ｂ、及びＣは、分散型ゲームエンジンのノードであり、本明細書で説明されるノード１、及び２は、分散型予測子エンジンのノードである。
クラウドゲームサーバ２０４とクライアントデバイス１、２、及び３とは、コンピュータネットワーク１０２に結合される。さらに、ノードアセンブリサーバ２０２は、クラウドゲームサーバ２０４に結合される。
ノードＡは、中央処理装置Ａ（ＣＰＵ Ａ）、メモリデバイスＡ、別の中央処理装置Ａ１（ＣＰＵ Ａ１）、メモリデバイスＡ１、グラフィックスプロセッシングユニットＡ（ＧＰＵ Ａ）、ＧＰＵメモリデバイスＡ、内部通信デバイスＡ、ネットワーク通信デバイスＡ、オーディオエンコーダＡ、及びビデオエンコーダＡを含む。ノードＡのＣＰＵ Ａ、メモリデバイスＡ、ＣＰＵ Ａ１、メモリデバイスＡ１、ＧＰＵ Ａ、ＧＰＵメモリデバイスＡ、内部通信デバイスＡ、ネットワーク通信デバイスＡ、オーディオエンコーダＡ、及びビデオエンコーダＡ等の構成要素は、バスＡを介して互いに結合される。
本明細書で使用されるＧＰＵは、レンダリングコンピュータプログラムを実行して、ＡＲシーンまたはＶＲシーンの色、テクスチャ、強度、シェーディング、及び照明などの状態情報を含むビデオフレームを生成する。ＧＰＵの例には、プロセッサ、ＡＳＩＣ、及びＰＬＤが含まれる。一実施形態では、「ビデオフレーム」及び「画像フレーム」という用語は、本明細書では交換可能に使用される。
本明細書で使用される内部通信デバイスは、あるノードと別のノードとの間でデータを通信するために使用される。内部通信デバイスは、内部通信プロトコル、例えば、ダイレクトメモリアクセス（ＤＭＡ）プロトコル、リモートＤＭＡ（ＲＤＭＡ）プロトコル、ＲＤＭＡ ｏｖｅｒ ｃｏｎｖｅｒｇｅｄ Ｅｔｈｅｒｎｅｔ（登録商標）、インフィニバンド、イーサネット（登録商標）プロトコル、カスタマイズされたプロトコル、シリアル転送プロトコル、パラレル転送プロトコル、ＵＳＢプロトコル、無線プロトコル、Ｂｌｕｅｔｏｏｔｈ（登録商標）プロトコル、有線プロトコル、ユニバーサルデータグラムプロトコル（ＵＤＰ）、ＵＤＰ ｏｖｅｒ Ｉｎｔｅｒｎｅｔプロトコル、伝送制御プロトコル（ＴＣＰ） ｏｖｅｒ ＩＰプロトコル、Ｅｔｈｅｒｎｅｔ（登録商標） ｏｖｅｒ ＴＣＰ／ＩＰプロトコルなどを適用して、２つのノード間でデータを通信する。ＤＭＡの例として、ＰＣＩ Ｅｘｐｒｅｓｓ不透明スイッチチップ、ＲＤＭＡチップ、ＲＤＭＡ ｏｖｅｒ ｃｏｎｖｅｒｇｅｄ Ｅｔｈｅｒｎｅｔ（登録商標）チップ、またはインフィニバンドチップなど、ノードの内部通信チップは、ペリフェラルコンポーネントインターコネクトエクスプレス（ＰＣＩｅ）通信バスを介して通信して、１つまたは複数の他のノードのメモリデバイスに直接書き込むか、メモリデバイスから直接読み出す。さらに、ＰＣＩｅのような通信バスでは、ＧＰＵやその他のデバイスなどの周辺機器は、各周辺機器がバス上に割り当てられたメモリアドレス空間を持っているため、メモリベースである。説明すると、あるノードのＧＰＵは、内部通信プロトコルを適用して、別のノードのＧＰＵのレジスタまたはバッファに書き込む、または読み出す。このようにして、ノードは共有メールボックスレジスタを介して別のノードと通信する。他のノードがそのノードに対して読み出しまたは書き込みを行うとき、ノードのＣＰＵで実行されているアプリケーションの一部またはアプリケーションに割り込みがある。他のノードは、ノードへの読み出しまたはノードからの書き込みの前に割り込み信号を送信する。
本明細書で使用される内部通信デバイスの例には、プロセッサ、ＡＳＩＣ、及びＰＬＤが含まれる。説明すると、内部通信デバイスは、ＰＣＩ Ｅｘｐｒｅｓｓ不透明スイッチチップまたはＲＤＭＡチップ、またはＲＤＭＡ ｏｖｅｒ ｃｏｎｖｅｒｇｅｄ Ｅｔｈｅｒｎｅｔ（登録商標）チップ、またはインフィニバンドチップである。別の例として、内部通信デバイスは、ネットワークインタフェースコントローラまたはネットワークインタフェースカード（ＮＩＣ）、データのシリアル転送を使用して通信するデバイス、データのパラレル転送を使用して通信するデバイス、またはＵＳＢプロトコルを使用して通信するデバイスである。
ＰＣＩ－Ｅｘｐｒｅｓｓ及びＲＤＭＡ技術は、ＣＰＵによって実行されるオペレーティングシステムでオーバーヘッドを生成するプロトコルレイヤを排除するため、イーサネット（登録商標）プロトコルまたはＴＣＰプロトコルまたはＵＤＰプロトコルと比較して、待ち時間が大幅に短く、パフォーマンスが高いことに留意されたい。ＤＭＡプロトコルを実行するノード内のＤＭＡエンジンは、ノードが他のノード内のデータブロックへのアクセスを許可されているとき、ノード内のオペレーティングシステムをバイパスして、他のノードのメモリから直接読み出しまたは書き込みを行う。イーサネット（登録商標）プロトコル、またはＴＣＰプロトコル、またはＵＤＰプロトコルなどのネットワークプロトコルはなく、ノードのＤＭＡエンジンが、メモリとその内部構造をどのように編成するかを決定する。ノードと他のノードとの間のメモリ転送操作が必要な場合、ノードの内部通信チップはＤＭＡエンジンを実行して、ノードのＣＰＵを使用せずに他のノードからデータを読み書きする。
一実施形態では、本明細書に記載されるあるノードは、ケーブルまたはコンピュータネットワーク１０２を介して、本明細書に記載の別のノードに結合される。例えば、ノードＡは、同軸ケーブル、ＵＳＢケーブル、またはインターネットを介してノード１に結合される。別の例として、ノード１は、ケーブルまたはコンピュータネットワーク１０２を介して別のノード２に結合される。
ネットワーク通信デバイスは、コンピュータネットワーク１０２を介してノードとクライアントデバイスとの間でデータパケットを転送するために使用される。例えば、ネットワーク通信デバイスは、ＴＣＰ／ＩＰ、ＵＤＰ／ＩＰなどの外部通信プロトコルを適用して、データパケットを送受信する。ネットワーク通信デバイスの例には、プロセッサ、ＡＳＩＣ、及びＰＬＤが含まれる。説明すると、ネットワーク通信デバイスは、ネットワークインタフェースコントローラまたはＮＩＣである。
同様に、ノード１は、中央処理装置１（ＣＰＵ１）、メモリデバイス１、別の中央処理装置１ａ（ＣＰＵ１ａ）、メモリデバイス１ａ、グラフィックスプロセッシングユニット１（ＧＰＵ１）、ＧＰＵメモリデバイス１、内部通信デバイス１、ネットワーク通信デバイス１、オーディオエンコーダ１、及びビデオエンコーダ１を含む。ノード１のＣＰＵ１、メモリデバイス１、ＣＰＵ１ａ、メモリデバイス１ａ、ＧＰＵ１、ＧＰＵメモリデバイス１、内部通信デバイス１、ネットワーク通信デバイス１、オーディオエンコーダ１、及びビデオエンコーダ１等の構成要素は、バス１を介して互いに結合される。
クライアントデバイス１は、ゲーム要求２１０を生成し、コンピュータネットワーク１０２を介してクラウドゲームサーバ２０４に送信する。例えば、ユーザＡは、クライアントデバイス１の入力デバイスを使用して、入力デバイス上の１つまたは複数のボタンを選択して、ゲーム要求２１０を生成する。クラウドゲームサーバ２０４は、ゲーム要求２１０に基づいて、クライアントデバイス１のユーザＡがゲーム要求２１０を生成するためにアクセスするユーザアカウントが、分散型ゲームエンジンシステム１０６へのアクセスを許可されているかどうかを判断する。クライアントデバイス１のユーザＡは、クライアントデバイス１の入力デバイスを介して、ユーザアカウントにアクセスするためのログイン情報、例えば、ユーザ名、パスワードなどを提供する。ログイン情報がクラウドゲームサーバ２０４によって認証されると、クライアントデバイス１のユーザＡは、ユーザアカウントへのアクセスを提供される。ユーザＡのユーザアカウントが分散型ゲームエンジンシステム１０６へのアクセスを許可されていると判断すると、クラウドゲームサーバ２０４は、クライアントデバイス１及びコンピュータネットワーク１０２を介したアプリケーションの実行へのアクセスを可能にするための信号をノードアセンブリサーバ２０２に送信する。アプリケーションは、分散型ゲームエンジンシステム１０６（図１）のノードＡ、Ｂ、Ｃ、１、及び２のうちの１つまたは複数によって実行される。
一実施形態では、ログイン情報の認証に加えて、クライアントデバイス１が分散型ゲームエンジンシステム１０６によって実行されているアプリケーションにアクセスするためにノードアセンブリサーバ２０２に結合することを可能にする前に実行される追加の操作がある。例えば、コンピュータネットワーク１０２に結合されたネットワークテストサーバ（図示せず）は、分散型ゲームエンジンシステム１０６によって実行されるアプリケーションにアクセスするためにクラウドゲームサーバ２０４から信号を受信し、分散型ゲームエンジンシステム１０６を有する複数のデータセンタへの帯域幅ｐｉｎｇを実行する。テストの結果は、ネットワークテストサーバによってクラウドリソースマネージャ（図示せず）に提供される。クラウドリソースマネージャは、コンピュータネットワーク１０２に結合されたサーバである。クラウドリソースマネージャは、アプリケーションにアクセスするために、どのデータセンタをクライアントデバイス１に接続するかを決定する。この決定は、テスト結果と、十分な数のノードの可用性やアプリケーションが記憶されているデータセンタなどの他の情報に基づく。クラウドリソースマネージャは、ノードＡ、Ｂ、Ｃ、１、及び２の１つまたは複数を有するデータセンタの１つまたは複数を選択し、信号をノードアセンブリサーバ２０２に送信して、ノードＡ、Ｂ、Ｃ、１、及び２の１つまたは複数を選択する。
クラウドリソースマネージャから信号を受信すると、ノードアセンブリサーバ２０２は、スイッチシステム２０６を介して、アプリケーションを実行する分散型ゲームエンジンシステム１０６のノードＡ、Ｂ、Ｃ、１、及び２のうちの１つまたは複数を選択して、ノードＡ、Ｂ、Ｃ、１、及び２のうちの１つまたは複数を初期化する。例えば、ノードアセンブリサーバ２０２は、スイッチシステム２０６の制御入力部に信号を送信して、ノードＡ及び１、またはノードＡ及びＢ、またはノード１及び２、またはノードＡ、１及び２に結合する。制御入力部で信号を受信すると、スイッチシステム２０６は、スイッチの１つまたは複数の位置を閉じて、ノードアセンブリサーバ２０２を、スイッチの１つまたは複数に結合された分散型ゲームエンジンシステム１０６のノードの対応する１つまたは複数のノードに接続し、スイッチの残りの位置を開いて、分散型ゲームエンジンシステム１０６の残りのノードをノードアセンブリサーバ２０２から切断する。スイッチシステム２０６を介してノードアセンブリサーバ２０２に接続されると、分散型ゲームエンジンシステム１０６のノードＡ、Ｂ、Ｃ、１、及び２のうちの１つまたは複数は、アプリケーションを実行して、ノードＡ、Ｂ、Ｃ、１、及び２の１つまたは複数から符号化されたフレームをコンピュータネットワーク１０２を介してクライアントデバイス１に転送する。
ノードＡ、Ｂ、Ｃ、１、及び２のうちの１つまたは複数がスイッチシステム２０６によって選択された後、ユーザＡは、クライアントデバイス１の入力デバイスを使用して、コンピュータネットワーク１０２を介してユーザ入力１をノードＡに提供する。例えば、ユーザＡがクライアントデバイス１の入力デバイス上の１つまたは複数のボタンを選択するか、入力デバイス１を移動するか、またはそれらの組み合わせを行うとき、ユーザ入力１が生成される。別の例として、ユーザ入力１は、入力デバイスまたはユーザＡの身体部分またはそれらの組み合わせの動きの１つまたは複数の画像フレームを含む。画像フレームは、クライアントデバイス１の１つまたは複数のカメラによってキャプチャされる。ユーザ入力１は、クライアントデバイス１によって外部通信プロトコルを使用してパケット化されて、１つまたは複数のパケットを生成し、パケットは、クライアントデバイス１からコンピュータネットワーク１０２を介してノードＡのネットワーク通信デバイスＡに送信される。ネットワーク通信デバイスＡは、外部通信プロトコルを適用して、ユーザ入力１を有する１つまたは複数のパケットをデパケット化して、ユーザ入力１を抽出し、ユーザ入力１をＣＰＵ Ａに提供する。
ＣＰＵ Ａは、ユーザ入力１を分析して、クライアントデバイス１の入力デバイスの位置及び向きの変化を判断するか、入力デバイス上でボタンの選択があるかどうかを判断するか、またはユーザＡの身体部分の位置及び向きの変化があるかどうかを判断するか、またはそれらの組み合わせを行う。ＣＰＵ Ａは、物理エンジンを実行して、クライアントデバイス１の入力デバイスを使用してユーザＡによって制御される仮想シーン内の仮想オブジェクトの１つまたは複数の位置と１つまたは複数の向きとを決定する。仮想オブジェクトの１つまたは複数の位置と１つまたは複数の向きとは、クライアントデバイス１の入力デバイスの位置及び向きの変化、またはユーザＡの身体部分の位置及び向きの変化、または入力デバイス上のボタンの選択、またはそれらの組み合わせに対応する。ＣＰＵ Ａはさらに、オーディオエンジンを適用して、状態１の仮想オブジェクトの１つまたは複数の位置及び１つまたは複数の向きに対応するオーディオデータを決定する。状態１の仮想オブジェクトの１つまたは複数の位置、状態１の仮想オブジェクトによって出力されるオーディオデータ、及び状態１の仮想オブジェクトの１つまたは複数の向きは、ＣＰＵ ＡによってメモリデバイスＡに記憶される。ある実施形態では、仮想背景は、仮想オブジェクトの例である。例えば、仮想背景は仮想シーン内の仮想オブジェクトであり、別の仮想オブジェクトも仮想シーン内に存在する。これらの仮想オブジェクトの一方または両方は、クライアントデバイス１を介してユーザＡによって制御される。
さらに、ＣＰＵ Ａ１は、状態１の仮想オブジェクトの１つまたは複数の位置、状態１の仮想オブジェクトによって出力されるオーディオデータ、並びに状態１の仮想オブジェクトの１つまたは複数の向きにメモリデバイスＡからアクセスする。ＣＰＵ Ａ１は、状態１の仮想オブジェクトの１つまたは複数の位置、状態１の仮想オブジェクトによって出力されるオーディオデータ、並びに状態１の仮想オブジェクトの１つまたは複数の向きにＡＩエンジンを適用する。ＡＩエンジンは、ＣＰＵ Ａ１によって適用されて、ユーザＡによって制御される仮想オブジェクトを有する仮想シーン内の１つまたは複数のＡＩの１つまたは複数の位置、１つまたは複数のＡＩの１つまたは複数の向き、並びに１つまたは複数の位置と１つまたは複数の向きとに対応するオーディオデータを決定する。ユーザＡによって制御される仮想オブジェクトを有する仮想シーン内の１つまたは複数のＡＩの１つまたは複数の位置、１つまたは複数のＡＩの１つまたは複数の向き、並びに１つまたは複数の位置と１つまたは複数の向きとに対応するオーディオデータは、状態１に関する。また、１つまたは複数のＡＩの１つまたは複数の位置と１つまたは複数の向きとに対応するオーディオデータは、１つまたは複数のＡＩによって出力される。状態１の１つまたは複数のＡＩの１つまたは複数の位置、状態１の１つまたは複数のＡＩの１つまたは複数の向き、並びに状態１の１つまたは複数のＡＩによって出力されるオーディオデータは、ＣＰＵ Ａ１によってメモリデバイスＡ１に記憶される。
ＧＰＵ Ａは、仮想オブジェクトの１つまたは複数の位置及び仮想オブジェクトの１つまたは複数の向きにメモリデバイスＡからアクセスし、１つまたは複数のＡＩの１つまたは複数の位置及び１つまたは複数のＡＩの１つまたは複数の向きにメモリデバイスＡ１からアクセスし、仮想オブジェクト及び１つまたは複数のＡＩの位置及び向きにレンダリングエンジンを適用して、状態１の１つまたは複数の画像フレームを生成する。状態１の画像フレームは、ＧＰＵ ＡによってＧＰＵメモリデバイスＡに記憶される。
オーディオエンコーダＡは、メモリデバイスＡからの仮想オブジェクトのオーディオデータに、メモリデバイスＡ１から１つまたは複数のＡＩのオーディオデータにアクセスして、１つまたは複数のオーディオフレームを生成し、状態１のオーディオフレームを符号化して、状態１の１つまたは複数の符号化されたオーディオフレームを出力する。同様に、ビデオエンコーダＡは、ＧＰＵメモリデバイスＡから状態１の画像フレームにアクセスし、画像フレームを符号化して、状態１の１つまたは複数の符号化された画像フレームを出力する。
ネットワーク通信デバイスＡは、状態１の符号化された画像フレームをビデオエンコーダＡから受信し、状態１の符号化されたオーディオフレームをオーディオエンコーダＡから受信し、外部通信プロトコルを状態１の符号化されたフレームに適用して、状態１の１つまたは複数のパケットを生成する。状態１の符号化されたフレームは、状態１の符号化された画像フレーム及び状態１の符号化されたオーディオフレームを含む。ネットワーク通信デバイスＡは、コンピュータネットワーク１０２を介して状態１のパケットを、クライアントデバイス１のディスプレイデバイス上に状態１の１つまたは複数の画像を表示し、クライアントデバイス１を介して音声を出力するために、クライアントデバイス１に送信する。画像は、状態１の符号化された画像フレームに基づいて生成され、音声は、状態１の符号化されたオーディオフレームに基づいて出力される。
ＣＰＵ Ａは、ユーザ入力１をメモリデバイスＡに記憶する。物理エンジンがＣＰＵ Ａによって適用され、オーディオエンジンがＣＰＵ Ａによって適用され、ＡＩエンジンがＣＰＵ Ａ１によって適用され、及び／またはグラフィックスエンジンがＧＰＵ Ａによって適用されている間に、ノード１はその物理予測エンジン、オーディオ予測エンジン、ＡＩ予測エンジン、及び／またはグラフィックス予測エンジンを適用して、予測状態２を決定する。予測状態２は、状態１の次の状態、または次の状態の例である。例えば、物理エンジンがＣＰＵ Ａによって適用され、オーディオエンジンがＣＰＵ Ａによって適用され、ＡＩエンジンがＣＰＵ Ａ１によって適用され、及び／またはグラフィックスエンジンがＧＰＵ Ａによって適用されている期間に、ＣＰＵ Ａは、予測状態２が生成されるべきであると判断する。予測状態２が生成されるべきであると判断すると、ＣＰＵ Ａは、ノードＡの内部通信デバイスＡに、メモリデバイスＡからユーザ入力１にアクセスし、ノード１のＣＰＵ１によるアクセスのためにユーザ入力１をノード１に提供するように命令する。ノードＡの内部通信デバイスＡは、内部通信プロトコルをユーザ入力１に適用して、ユーザ入力１を有する１つまたは複数の転送ユニットを生成し、転送ユニットをノード１に送信する。ノード１の内部通信デバイス１は、ノードＡの内部通信デバイスＡからユーザ入力１を有する１つまたは複数の転送ユニットを受信し、内部通信プロトコルを適用して１つまたは複数の転送ユニットを解析し、１つまたは複数の転送ユニットからユーザ入力１を取得する。ユーザ入力１は、内部通信デバイス１により、ノード１のメモリデバイス１に記憶される。例えば、内部通信デバイス１は、ノードＡのＣＰＵ Ａから、内部通信デバイスＡを介して、ＣＰＵ１によるアクセスのためにメモリデバイス１にユーザ入力１を記憶する命令を受信する。
ノード１のＣＰＵ１は、メモリデバイス１からユーザ入力１にアクセスし、クライアントデバイス１を介してユーザＡによって制御される仮想オブジェクトの１つまたは複数の位置、１つまたは複数の向き、またはそれらの組み合わせなどの動きを決定する。予測されたユーザ入力２と、同じく予測されたユーザ入力３から予測状態２の動きが決定される。例えば、ＣＰＵ１は、物理法則を適用して、ユーザ入力２がコンピュータネットワーク１０２を介してクライアントデバイス１から受信された場合の仮想オブジェクトの追加の動きを予測し、ユーザ入力３がコンピュータネットワーク１０２を介してクライアントデバイス１から受信された場合の仮想オブジェクトのさらなる動きを予測する。ユーザ入力２及び３は、予測されたユーザ入力の例であり、予測状態２の仮想オブジェクトの動きが決定された時点ではまだ実際には受信されていない。ユーザ入力１が受信された後、ユーザ入力２及び３が受信されること、またはユーザ入力２及び３が受信される可能性が高いこと、またはユーザ入力２及び３が受信される可能性があることが、ＣＰＵ１により予測される。ユーザ入力２は、ユーザ入力１を受信した後、クライアントデバイス１から順次受信されるとＣＰＵ１によって予測され、ユーザ入力３は、ユーザ入力２を受信した後に順次受信されるとＣＰＵ１によって予測される。例として、予測状態２は、ユーザ入力２に基づく、またはそれに対応する仮想オブジェクトの位置及び向きを含み、ユーザ入力３に基づく、またはそれに対応する仮想オブジェクトの位置及び向きをさらに含む。仮想オブジェクトは、クライアントデバイス１を介してユーザＡによって制御される。ＣＰＵ１によって適用される物理法則は、物理予測エンジンの一部である。ＣＰＵ１は、予測状態２の仮想オブジェクトの位置と向きに対応するオーディオデータも決定する。ＣＰＵ１は、予測状態２の仮想オブジェクトの位置及び向きと、予測状態２の仮想オブジェクトによって出力されるオーディオデータとをノード１のメモリデバイス１に記憶する。一実施形態では、予測状態２についての動きは、ユーザ入力２から、または３つ、４つもしくは５つのユーザ入力など、他の任意の数のユーザ入力から決定される。
さらに、ＣＰＵ１ａは、予測状態２について、仮想オブジェクトの位置及び向きと、仮想オブジェクトによって出力されるオーディオデータとにメモリデバイス１からアクセスし、ＡＩ予測エンジンを適用して、予測状態２の仮想オブジェクトの位置及び向きが決定される１つまたは複数の仮想シーンにおける１つまたは複数のＡＩの１つまたは複数の位置及び１つまたは複数の向きを決定する。例えば、ＣＰＵ１ａは、クライアントデバイス１を介してユーザＡによって制御される仮想オブジェクトが、ユーザ入力２に基づいてまたはユーザ入力２及び３に基づいて決定される位置及び向きを有する仮想シーンにおける、ＡＩの位置及び向きを決定する。別の例として、ＣＰＵ１ａは、クライアントデバイス１を介してユーザＡによって制御される別の仮想オブジェクトが仮想シーンで左に走る、または座っているとき、ＡＩまたはＣＰＵ１ａによって制御される仮想オブジェクトが仮想シーンで右に移動するまたは立っていると判断する。
さらに、ＣＰＵ１ａは、オーディオ予測エンジンを適用して、予測状態２の仮想オブジェクトによって出力されるオーディオデータに基づいて、予測状態２の１つまたは複数のＡＩによって出力されるオーディオデータを生成する。ＣＰＵ１ａは、予測状態２について、１つまたは複数のＡＩの１つまたは複数の位置及び１つまたは複数の向きと、１つまたは複数のＡＩによって出力されるオーディオデータとをメモリデバイス１ａに記憶する。
ノード１のＧＰＵ１は、予測状態２の仮想オブジェクトの位置及び仮想オブジェクトの向きにメモリデバイス１からアクセスし、予測状態２の１つまたは複数のＡＩの１つまたは複数の位置及び１つまたは複数の向きにメモリデバイス１ａからアクセスし、レンダリングエンジンであるグラフィックス予測エンジンを位置及び向きに適用して、予測状態２の１つまたは複数の画像フレームを生成する。予測状態２の画像フレームは、ＧＰＵ１によってＧＰＵメモリデバイス１に記憶される。例えば、予測状態２の画像フレームは、ＧＰＵメモリデバイス１の１つまたは複数のキャッシュに記憶される。
オーディオエンコーダ１は、仮想オブジェクトのオーディオデータにメモリデバイス１からアクセスし、１つまたは複数のＡＩのオーディオデータにメモリデバイス１ａからアクセスして、１つまたは複数のオーディオフレームを生成し、予測状態２のオーディオフレームを符号化して、予測状態２の１つまたは複数の符号化されたオーディオフレームを出力する。同様に、ビデオエンコーダ１は、予測状態２の画像フレームにＧＰＵメモリデバイス１からアクセスし、画像フレームを符号化して、１つまたは複数の符号化された画像フレームを出力する。オーディオエンコーダ１は、予測状態２の符号化されたオーディオフレームをオーディオエンコーダ１のメモリデバイスに記憶し、ビデオエンコーダ１は、予測状態２の符号化された画像フレームをビデオエンコーダ１のメモリデバイスに記憶する。
ユーザ入力２及び３が、クライアントデバイス１からコンピュータネットワーク１０２を介してノードＡによって実際に受信されると、ノードＡのＣＰＵ Ａは、ユーザ入力２及び３を内部通信デバイスＡに送信する。例えば、ノードＡのネットワーク通信デバイスＡは、コンピュータネットワーク１０２を介してクライアントデバイス１からユーザ入力２及び３を受信する。内部通信デバイスＡは、内部通信プロトコルをユーザ入力２及び３に適用して、ユーザ入力２及び３を有する１つまたは複数の転送ユニットを生成し、転送ユニットをノード１の内部通信デバイス１に送信する。内部通信デバイス１は、転送ユニットを受信し、転送ユニットに内部通信プロトコルを適用して、転送ユニットからユーザ入力２及び３を取得し、ユーザ入力２及び３をＣＰＵ１に提供する。
ＣＰＵ１は、実際に受信されたユーザ入力２及び３が、予測状態２に対して符号化された画像フレーム及び符号化されたオーディオフレームがノード１によって生成されたユーザ入力２及び３に一致すると判断する。そう判断すると、ＣＰＵ１は、ノード１のネットワーク通信デバイス１に信号を送信する。ネットワーク通信デバイス１は、予測状態２の符号化された画像フレームにビデオエンコーダ１のメモリデバイスからアクセスし、予測状態２の符号化されたオーディオフレームにオーディオエンコーダ１のメモリデバイスからアクセスし、予測状態２の符号化された画像フレームと符号化されたオーディオフレームとに外部通信プロトコルを適用して、１つまたは複数のパケットを生成する。ネットワーク通信デバイス１は、クライアントデバイス１上に予測状態２の符号化された画像フレームに従って１つまたは複数の画像を表示し、予測状態２の符号化されたオーディオフレームに従ってクライアントデバイス１による音声を出力するために、コンピュータネットワーク１０２を介してクライアントデバイス１にパケットを送信する。
ユーザ入力２及び３が実際にノード１またはノードＡによって受信される前に、予測状態２の符号化された画像フレーム及び符号化されたオーディオフレームを生成することにより、分散型ゲームエンジンシステム１０６によるアプリケーションの実行における待ち時間が短縮される。例えば、ユーザ入力２及び３がノード１またはノードＡによって受信されると、クライアントデバイス１を介してユーザＡによって制御される仮想オブジェクトの１つまたは複数の位置と１つまたは複数の向きとを決定するために、仮想オブジェクトによって出力されるオーディオデータを決定するために、仮想オブジェクトを有する仮想シーンにおいて１つまたは複数のＡＩの１つまたは複数の位置と１つまたは複数の向きとを決定するために、１つまたは複数のＡＩによって出力されるオーディオデータを決定するために、仮想オブジェクト及びＡＩの位置及び向きから画像フレームを生成するために、予測状態２の符号化された画像フレームを画像フレームから生成するために、且つ、予測状態２の符号化されたオーディオフレームをＡＩ及び仮想オブジェクトのオーディオデータから生成するために、ユーザ入力２及び３の分析に遅れがない。仮想シーン内の仮想オブジェクトの１つまたは複数の位置と１つまたは複数の向きとを決定する操作、仮想オブジェクトによって出力されるオーディオデータを決定する操作、仮想シーン内の１つまたは複数のＡＩの１つまたは複数の位置と１つまたは複数の向きとを決定する操作、１つまたは複数のＡＩによって出力されるオーディオデータを決定する操作、仮想オブジェクト及びＡＩの位置及び向きから画像フレームを生成する操作、予測状態２の符号化された画像フレームを画像フレームから生成する操作、及び、予測状態２の符号化されたオーディオフレームをＡＩ及び仮想オブジェクトのオーディオデータから生成する操作のうちの１つまたは複数は、ユーザ入力２及び３がノード１によって受信される前に、ノード１によって事前に既に行われている。ユーザ入力２及び３がノード１によって受信されると、１つまたは複数のパケットが、予測状態２の符号化された画像フレームと予測状態２の符号化されたオーディオデータとから生成され、ノード１からクライアントデバイス１にコンピュータネットワーク１０２を介して送信されて、アプリケーションの実行の待ち時間を短縮する。
予測状態２を生成するためのノード１の、ＣＰＵ１による物理予測エンジンの適用、ＣＰＵ１によるオーディオ予測エンジンの適用、ＣＰＵ１ａによるＡＩ予測エンジンの適用、及びＧＰＵ１によるグラフィックス予測エンジンの適用のうちの１つまたは複数が、状態１を生成するためにノードＡの、ＣＰＵ Ａによる物理エンジンの適用、ＣＰＵ Ａによるオーディオエンジンの適用、ＣＰＵ Ａ１によるＡＩエンジンの適用、ＧＰＵ Ａによるグラフィックスエンジンの適用のうちの１つまたは複数と同時に行われることに留意すべきである。例えば、状態１を生成するためにノードＡの物理エンジンが、ＣＰＵ Ａによって適用される、オーディオエンジンがＣＰＵ Ａによって適用される、ＡＩエンジンが、ＣＰＵ Ａ１によって適用される、及び／またはグラフィックスエンジンが、ＧＰＵ Ａによって適用される期間中、予測状態２を生成するために物理予測エンジン、オーディオ予測エンジン、ＡＩ予測エンジン、及びグラフィックス予測エンジンのうちの１つまたは複数が、ノード１によって適用される。
さらに、ノード１が、予測状態２の画像フレーム及びオーディオフレームを生成するために、物理予測エンジン、ＡＩ予測エンジン、オーディオ予測エンジン、もしくはグラフィックス予測エンジン、または、これらの組み合わせを適用している間に、ユーザ入力１’がユーザ入力２の代わりに受信されると、ノードＡ及び１のうちの１つまたは複数は、ユーザ入力１’に基づいて、高優先度の処理を適用して、状態１’を決定する。例えば、ノードＡのＣＰＵ Ａは、コンピュータネットワーク１０２を介してクライアントデバイス１からユーザ入力１’を受信する。ＣＰＵ Ａは、予測状態２のユーザ入力２を受信する代わりに、ユーザ入力１の受信に続いてユーザ入力１’を受信したと判断する。ＣＰＵ Ａは、さらに、ユーザ入力１’は、予測状態２が決定されるユーザ入力２と一致しないと判断する。
予測状態２に対するユーザ入力２及び３は、予測状態２に対するユーザ入力２とユーザ入力１’の間、そして、予測状態２に対するユーザ入力３とユーザ入力１’の間が一致するかどうかを判断するために、メモリデバイスＡに事前に記憶される。例えば、ＣＰＵ１は、ノード１のメモリデバイス１から予測状態２のユーザ入力２及び３にアクセスし、ノード１の内部通信デバイス１に予測状態２のユーザ入力２及び３を提供する。内部通信デバイス１は、予測状態２のユーザ入力２及び３に内部通信プロトコルを適用して、１つまたは複数の転送ユニットを生成し、転送ユニットをノードＡの内部通信デバイスＡに送信する。内部通信デバイスＡは、内部通信プロトコルを転送ユニットに適用して、予測状態２のユーザ入力２及び３を取得し、予測状態２のユーザ入力２及び３を記憶するためにメモリデバイスＡに送信する。
ＣＰＵ Ａは、ユーザ入力１’を内部通信デバイスＡに提供する。内部通信デバイスＡは、内部通信プロトコルをユーザ入力１’に適用して、ユーザ入力１’を有する１つまたは複数の転送ユニットを生成し、転送ユニットをノード１の内部通信デバイス１に送信する。ユーザ入力１’を有する転送ユニットを受信すると、内部通信デバイスＡは、内部通信プロトコルを転送ユニットに適用して、転送ユニットからユーザ入力１’を抽出し、ノード１のＣＰＵ１にユーザ入力１’を提供する。
ユーザ入力２を受信する代わりに、ユーザ入力１’が、ノード１によって受信されるとき、ノード１は、予測状態２のユーザ入力２及び３から予測状態２を生成するのに使用される物理予測エンジン、ＡＩ予測エンジン、オーディオ予測エンジン、及びグラフィックス予測エンジンのうちの１つまたは複数を適用することを中止して、予測状態２を生成することに比べて、状態１’を生成することに高い優先度を与える。例えば、ノード１が、予測状態２を生成するために、その物理予測エンジン、そのＡＩ予測エンジン、そのオーディオ予測エンジン、または、そのグラフィックス予測エンジンのうちの１つまたは複数を適用するプロセスにある間またはその期間に、ユーザ入力１’が、ノード１またはノードＡによって受信される。ＣＰＵ１は、物理予測エンジンを適用して、予測状態２についてユーザＡによって制御される仮想オブジェクトの動きを決定することを中止する、または、ＣＰＵ１は、オーディオ予測エンジンを適用して、予測状態２について仮想オブジェクトによって出力されるオーディオデータを決定することを中止する、または、ＣＰＵ１ａは、ＡＩ予測エンジンを適用して、予測状態２について１つまたは複数のＡＩの動きを決定することを中止する、または、ＣＰＵ１ａは、ＡＩ予測エンジンまたはオーディオ予測エンジンを適用して、予測状態２についてＡＩによって出力されるオーディオデータを決定することを中止する、または、ＧＰＵ１は、グラフィックス予測エンジンを適用して、予測状態２の仮想オブジェクトの動きと、ＡＩの動きとから１つまたは複数の画像フレームを生成することを中止する、または、ビデオエンコーダ１は、予測状態２の画像フレームを符号化することを中止する、または、オーディオエンコーダ１は、予測状態２のオーディオデータを符号化することを中止する、または、これらの組み合わせである。
また、ユーザ入力２及び３の代わりにユーザ入力１’が受信されると、予測状態２を生成する代わりに、ノードＡ及び１のうちの１つまたは複数が、ユーザ入力１’から状態１’の生成を直ちに開始して、予測状態２を生成するよりも、状態１’の生成の優先度を高くする。例えば、ノード１が、予測状態２に対して画像フレームまたは符号化された画像フレームまたは符号化されたオーディオフレームまたはそれらの組み合わせを生成するプロセスの間に、または期間中に、ユーザ入力１’が、ノード１またはノードＡによって受信される。ノード１は、予測状態２の画像フレームまたは符号化された画像フレームまたは符号化されたオーディオフレームを生成することを中止する。代わりに、ノード１のＣＰＵ１、またはノードＡのＣＰＵ Ａは、状態１’に対して、その物理エンジンを適用して、クライアントデバイス１を介してユーザＡによって制御される仮想オブジェクトの動きを決定する。さらに、ノード１のＣＰＵ１またはノードＡのＣＰＵ Ａは、そのオーディオエンジンを適用して、状態１’の仮想オブジェクトによって出力されるオーディオデータを決定する。また、ノードＡのＣＰＵ Ａ１またはノード１のＣＰＵ１ａは、そのＡＩエンジンを適用して、状態１’の仮想オブジェクトの動きに基づいて、状態１’の１つまたは複数のＡＩの動きを決定し、状態１’の仮想オブジェクトによって出力されるオーディオデータに基づいて、状態１’の１つまたは複数のＡＩによって出力されるオーディオデータを決定する。さらに、ノードＡのＧＰＵ Ａまたはノード１のＧＰＵ１は、そのグラフィックスエンジンを適用して、仮想オブジェクトの１つまたは複数の画像フレーム、仮想オブジェクトが表示される仮想シーンの仮想背景、及び状態１’の１つまたは複数のＡＩのグラフィックスを生成する。さらに、オーディオエンコーダＡまたはオーディオエンコーダ１は、状態１’の仮想オブジェクトによって出力されるオーディオデータと、状態１’の１つまたは複数のＡＩによって出力されるオーディオデータとを符号化して、１つまたは複数の符号化されたオーディオフレームを生成する。また、ビデオエンコーダＡまたはビデオエンコーダ１は、状態１’の画像フレームを符号化して、１つまたは複数の符号化された画像フレームを出力する。ネットワーク通信デバイスＡまたはネットワーク通信デバイス１のいずれかは、外部通信プロトコルを状態１’の符号化されたオーディオフレーム及び符号化された画像フレームに適用して、状態１’の１つまたは複数のパケットを生成し、パケットをコンピュータネットワーク１０２を介してクライアントデバイス１に送信する。クライアントデバイス１は、状態１’の符号化された画像フレームを処理して、状態１’の１つまたは複数の画像をクライアントデバイス１のディスプレイデバイスに表示し、状態１’の符号化されたオーディオフレームを処理して、１つまたは複数の画像に関連付けられた音声を出力する。
ある実施形態では、ＣＰＵ１が、実際に受信されるユーザ入力２及び３が、ノード１によって生成される予測状態２の画像フレーム及びオーディオフレームのユーザ入力２及び３と一致すると判断した場合、ＣＰＵ１は、ノード１のビデオエンコーダ１及びノード１のオーディオエンコーダ１に符号化信号を送信する。予測状態２の画像フレーム及び予測状態２のオーディオデータは、ユーザ入力２及び３が実際に受信されるまでは符号化されない。符号化信号を受信すると、ビデオエンコーダ１は、上記のように、予測状態２の画像フレームの符号化を行い、オーディオエンコーダ１は、予測状態２のオーディオデータの符号化を行う。ノード１のネットワーク通信デバイス１は、外部通信プロトコルを、符号化されたオーディオフレーム及び符号化された画像フレームを含む符号化されたフレームに適用して、上記の方法でパケットを生成し、パケットをクライアントデバイス１に送信する。
ある実施形態では、状態１’のある部分はノードＡによって生成され、状態１’の別の部分は、ユーザ入力１’に基づいてノード１によって生成される。例えば、ノードＡはその物理エンジンを適用して状態１’の仮想シーン内の仮想オブジェクトの動きを決定し、ノード１はそのオーディオエンジンを適用して状態１’の仮想オブジェクトによって出力されるオーディオデータを決定する。別の例として、ノードＡは、その物理エンジンを適用して、状態１’の仮想シーン内の仮想オブジェクトの動きを決定し、ノード１は、そのＡＩエンジンを適用して、仮想シーン内の１つまたは複数のＡＩの動きを状態１’の仮想オブジェクトの動きに基づいて決定する。
この実施形態では、ノードＡによって生成される状態１’の部分は、ノードＡからノード１に転送される、またはノード１によって生成される状態１’の部分は、コンピュータネットワーク１０２を介してクライアントデバイス１に送信するためにノード１からノードＡに転送される。例えば、状態１’の仮想シーンにおける仮想オブジェクトの動きを規定する位置及び向きを含むデータは、メモリデバイスＡからＣＰＵ Ａによってアクセスされ、内部通信デバイスＡに送信される。内部通信デバイスＡは、状態１’の仮想オブジェクトの動きを規定するデータに内部通信プロトコルを適用することによって１つまたは複数の転送ユニットを生成し、転送ユニットを内部通信デバイス１に送信する。内部通信デバイス１は、内部通信プロトコルを転送ユニットに適用して、状態１’の仮想オブジェクトの動きを規定するデータを取得し、仮想シーン内の１つまたは複数のＡＩの動きを規定する位置及び向きを決定するためにデータをＣＰＵ１ａに送信する。別の例として、状態１’の１つまたは複数のＡＩの１つまたは複数の画像フレームは、ノード１のＧＰＵメモリデバイス１からＧＰＵ１によってアクセスされ、内部通信プロトコルに従って１つまたは複数の転送ユニットを生成するために内部通信デバイス１に送信される。転送ユニットは、内部通信デバイス１から内部通信デバイスＡに送信され、内部通信デバイスＡは、内部通信プロトコルを適用して、状態１’の１つまたは複数のＡＩの画像フレームを取得し、画像フレームをビデオエンコーダＡに送信する。ノードＡのビデオエンコーダＡは、ノード１から受信した状態１’の１つまたは複数のＡＩの画像フレームと、状態１’の仮想オブジェクトの画像フレームとを符号化する。状態１の仮想オブジェクトの画像フレームはノードＡのＧＰＵメモリデバイスＡに記憶される。さらに、ビデオエンコーダＡは、状態１’の仮想シーンの残りの任意の画像フレームを符号化して、状態１’の符号化された画像フレームを出力する。さらに、状態１’のオーディオデータは、オーディオエンコーダＡによって符号化されて、状態１’の１つまたは複数の符号化されたオーディオフレームを出力する。ネットワーク通信デバイスＡは、外部通信プロトコルを状態１’の符号化されたオーディオフレーム及び符号化された画像フレームに適用して、１つまたは複数のパケットを生成し、コンピュータネットワーク１０２を介してクライアントデバイス１にパケットを送信する。
ある実施形態では、高優先度処理は、他のノードと比較してより速い処理速度及び／またはより大きなメモリを有するノード１及びＡの一方によって実行される。例えば、処理速度が速いＣＰＵ１が、ノード１及びＡによって選択されて、その物理エンジンを適用して、状態１’のユーザＡによって制御される仮想オブジェクトの１つまたは複数の位置や１つまたは複数の向きなどの動きに関するデータを生成する。ＣＰＵ Ａは、ＣＰＵ１の処理速度が速いと判断し、状態１’のユーザ入力１’を内部通信デバイスＡ及び１を介してユーザ入力１’を処理するためにＣＰＵ１に送信する。別の例として、ＧＰＵメモリデバイスＡは、ＧＰＵメモリデバイス１内のメモリ空間と比較して、より多くの量のメモリ空間を有する。この例では、ＣＰＵ１によって決定された状態１’の仮想オブジェクトの動きに関するデータは、メモリデバイス１からＣＰＵ１によってアクセスされ、内部通信デバイス１に送信される。内部通信デバイス１は、状態１’の仮想オブジェクトの動きに関するデータに内部通信プロトコルを適用して、１つまたは複数の転送ユニットを生成し、転送ユニットを内部通信デバイスＡに送信する。内部通信デバイスＡは、内部通信プロトコルを転送ユニットに適用して、仮想オブジェクトの動きに関するデータを取得し、データを記憶するためにメモリデバイスＡに送信する。ＧＰＵ Ａは、状態１’の仮想オブジェクトの動きに関するデータにメモリデバイスＡからアクセスして、データから１つまたは複数の画像フレームを生成し、画像フレームをＧＰＵメモリデバイスＡに記憶する。
ある実施形態では、ノード１及びＡの１つまたは複数は、ユーザ入力１’を受信することに応答して、予測状態２の１つまたは複数の要素と状態１’の１つまたは複数の要素との間の相違を決定または識別し、コンピュータネットワーク１０２を介してクライアントデバイス１に提供するために、相違に基づいてオーディオデータまたは画像フレームを生成する。例えば、ＧＰＵ１は、仮想シーンの予測状態２の仮想背景の１つまたは複数の画像フレームを生成する。予測状態２の仮想背景の画像フレームが生成された後、ユーザ入力１’は、ノードＡによって受信される。ユーザ入力１’は、ＧＰＵメモリデバイス１に記憶するためにノードＡからノード１に提供される。ＧＰＵ１は、ユーザ入力１’がノードＡから受信され、ユーザ入力１’の受信の際、予測状態２の仮想背景の画像フレームがノード１のＧＰＵ１によってＧＰＵメモリデバイス１から内部通信デバイス１に提供されることを判断する。内部通信デバイス１は、内部通信プロトコルを予測状態２の仮想背景の画像フレームに適用して、１つまたは複数の転送ユニットを生成し、転送ユニットをノードＡの内部通信デバイスＡに送信する。ノードＡの内部通信デバイスＡは、内部通信プロトコルを転送ユニットに適用して、予測状態２の仮想背景の画像フレームを取得し、ノードＡのＣＰＵ Ａ及びＣＰＵ Ａ１に画像フレームを提供する。ＣＰＵ Ａは、予測状態２の仮想背景の画像フレームを解析して、状態１’の仮想シーンに対して生成される画像フレームと予測状態２の仮想シーンの仮想背景の画像フレームとの間の相違を決定または識別する。ＣＰＵ Ａは、その相違を仮想オブジェクトの相違と判断して、予測状態２の仮想背景に重ね合わせる。相違は、ユーザ入力１’に基づいて決定される。重ねられる仮想オブジェクト、または仮想オブジェクトの位置及び向きは、状態１’の１つまたは複数の要素の例であり、予測２の仮想背景は、予測状態２の１つまたは複数の要素の例である。ＣＰＵ Ａは、状態１’の仮想オブジェクトの位置及び向きと、仮想オブジェクトによって出力されるオーディオデータとを決定し、位置、向き、及びオーディオデータをノードＡのメモリデバイスＡに記憶する。状態１’の仮想オブジェクトの位置及び向きは、ユーザ入力１’から決定される。
さらに、その実施形態において、ノードＡのＣＰＵ Ａ１は、予測状態２の仮想背景の画像フレームを解析して、状態１’の仮想シーンに対して生成される画像フレームと予測状態２の仮想シーンの仮想背景の画像フレームとの間の相違は、予測状態２の仮想背景上に重ねられるＡＩの相違であると判断または識別する。相違は、状態１’の仮想オブジェクトの位置及び向きに基づいて決定される。重ね合わせるＡＩ、またはＡＩの位置及び向きは、状態１’の１つまたは複数の要素の例である。ＣＰＵ Ａ１は、状態１’についてＡＩの位置及び向きとＡＩによって出力されるオーディオデータとを決定し、位置、向き、及びオーディオデータをメモリデバイスＡ１に記憶する。状態１’のＡＩの位置及び向きは、状態１’の仮想オブジェクトの位置及び向きから決定される。説明すると、状態１’の仮想オブジェクトがジャンプする場合、状態１ ’のＡＩは、仮想オブジェクトよりも高くジャンプし、または状態１’の仮想オブジェクトが仮想シーンで射撃する場合、ＡＩも仮想シーンで射撃する。
その実施形態では、ＧＰＵ Ａは、仮想オブジェクトの位置及び向きに基づいて状態１’の仮想オブジェクトを有し、ＡＩの位置及び向きに基づいて状態１’のＡＩを有する画像フレームを生成し、状態１’の仮想オブジェクトの画像フレームを予測状態２の仮想背景の画像フレームに重ね合わせて、状態１’の仮想シーンの重ね合わせた画像フレームを生成する。ＧＰＵ Ａは、重ね合わせた画像フレームをビデオエンコーダＡに送信する。ビデオエンコーダＡは、重ね合わせた画像フレームを符号化して、状態１’の仮想シーンの符号化された画像フレームを生成する。
また、この実施形態では、オーディオエンコーダＡは、状態１’のＡＩ及び仮想オブジェクトのオーディオデータを符号化して、符号化されたオーディオフレームを生成する。状態１’の仮想シーンの符号化された画像フレームと状態１’の仮想シーンの符号化されたオーディオフレームは、ネットワーク通信デバイスＡによって１つまたは複数のパケットに変換され、クライアントデバイス１のディスプレイデバイス上に予測状態２の仮想背景を有する状態１’の仮想シーンと状態１’の仮想オブジェクト及びＡＩとの１つまたは複数の合成画像を表示するために、コンピュータネットワーク１０２によってクライアントデバイス１に送信される。
ある実施形態では、仮想オブジェクトの画像フレーム及びＡＩの画像フレームが、前述の実施形態で説明したように仮想背景の画像フレームに重ね合わせられる代わりに、仮想オブジェクトもしくはＡＩ、またはその両方を有する画像フレームと、状態１’の仮想シーンの仮想背景とが、ユーザ入力１’に基づいてノードＡまたはノード１によって生成され、符号化され、表示のためにコンピュータネットワーク１０２を介してクライアントデバイス１に送信される。この実施形態では、ＧＰＵ１は、ＧＰＵメモリデバイス１から、予測状態２の仮想背景を有する画像フレームを削除または消去などして破棄する。予測状態２の仮想背景を有する画像フレームは、状態１’の仮想背景を有する画像フレームと一致する。例えば、予測状態２の仮想背景は、状態１’の仮想背景と同じである。
一実施形態では、システム２００は、図２Ａに示されている数以外の数のノードを含むことに留意されたい。例えば、システム２００は、５０ノード、または２５ノード、または５ノードを含む。
上記の実施形態のいくつかは、２つのユーザ入力２及び３に関して説明されることにさらに留意されたい。しかしながら、一実施形態では、実施形態は、ユーザ入力２及び３の両方ではなく、ユーザ入力２またはユーザ入力３などの１つのユーザ入力に等しく適用される。例えば、予測状態２は、ユーザ入力２及び３の両方ではなく、ユーザ入力２に基づいて生成される。
ある実施形態では、状態１または予測状態２を生成するためにユーザ入力１を使用する代わりに、任意の数のユーザ入力を使用して、状態１または予測状態２を生成する。例えば、ノードＡのＣＰＵ Ａは、１つまたは複数の以前のユーザ入力をメモリデバイスＡに記憶する。１つまたは複数の以前のユーザ入力は、ユーザ入力１がノードＡによってクライアントデバイス１から受信される前に、ノードＡがコンピュータネットワーク１０２を介してクライアントデバイス１から受信したユーザ入力である。１つまたは複数の以前のユーザ入力は、ユーザ入力１が生成されるのと同様の方法で生成される。例えば、１つまたは複数の以前のユーザ入力は、ユーザＡがクライアントデバイス１の入力デバイス上の１つまたは複数のボタンを選択するか、クライアントデバイス１上で１つまたは複数のジョイスティックを動かすか、クライアントデバイス１のカメラによってキャプチャされる１つまたは複数のジェスチャを行うときに生成される。例として、１つまたは複数の以前のユーザ入力は、ユーザＡがクライアントデバイス１の入力デバイスを制御してアバタまたは仮想オブジェクトを仮想シーンで動かすときに、クライアントデバイス１によって生成される。内部通信デバイスＡは、ユーザ入力１と、ノードＡのＧＰＵメモリデバイスＡに記憶されている状態１の１つまたは複数の以前のユーザ入力とにアクセスし、内部アプリケーションプロトコルをユーザ入力１と１つまたは複数の以前のユーザ入力とに適用して、ユーザ入力１と以前のユーザ入力とを有する１つまたは複数の転送ユニットを生成し、転送ユニットをノード１の内部通信デバイス１に送信する。予測状態２は、１つまたは複数の以前のユーザ入力とユーザ入力１とに基づいて、状態１がユーザ入力１に基づいてノード１によって生成されるのと同様の方法でノード１によって生成される。
ある実施形態では、状態１の出力を使用して、予測状態２を生成する。例えば、ＣＰＵ１は、状態１の仮想オブジェクトの位置に基づいて、予測状態２について、クライアントデバイス１を介してユーザＡによって制御される仮想オブジェクトの位置を決定する。説明すると、予測状態２の場合、仮想オブジェクトは状態１の位置から右または左または上または下に移動する。別の例として、ＣＰＵ１は、状態１の仮想オブジェクトの向きに基づいて、予測状態２について、クライアントデバイス１を介してユーザＡによって制御される仮想オブジェクトの向きを決定する。説明すると、予測状態２の場合、仮想オブジェクトは、状態１の仮想オブジェクトの向きから時計回りまたは時計回りに回転する。さらに別の例として、ＣＰＵ１ａは、状態１の仮想オブジェクトの位置に基づいて予測状態２のＡＩの位置を決定し、状態１のＡＩの向きに基づいて、予測状態２のＡＩの向きを決定する。
一実施形態では、状態を変更するための、本明細書で説明されるユーザによる入力デバイスの制御はいずれも、サーバシステム１０４によってユーザに割り当てられるユーザアカウントを介して行われる。例えば、ユーザＡは、ユーザアカウントにログインした後、自分のユーザアカウントを介してクライアントデバイス１を使用して仮想オブジェクトを制御する。
一実施形態では、ノードＡのＣＰＵ Ａによって実行されると本明細書で説明される機能は、代わりにノードＡのＣＰＵ Ａ１によって実行される、またはＣＰＵ Ａ１によって実行されると説明される機能は、代わりにＣＰＵ Ａによって実行されることに留意されたい。同様に、ある実施形態では、ノード１のＣＰＵ１によって実行されると本明細書で説明される機能は、代わりにノード１のＣＰＵ１ａによって実行される、またはＣＰＵ１ａによって実行されると説明される機能は、代わりにＣＰＵ１によって実行される。
図３Ａは、分散型ゲームエンジン３０２及び分散型予測子エンジン３０４を示すシステム３００の実施形態の図である。分散型ゲームエンジン３０２及び分散型予測子エンジン３０４は、分散型ゲームエンジンシステム１０６（図１）の一部である。例えば、分散型ゲームエンジンシステム１０６の１つまたは複数のノードＡ、Ｂ、及びＣは、分散型ゲームエンジン３０２のノードであり、分散型ゲームエンジンシステム１０６のノード１及び２の１つまたは複数は、分散型予測子エンジン３０４のノードである。分散型ゲームエンジン３０２及び分散型予測子エンジン３０４のそれぞれの例には、機械学習エンジン及びニューラルネットワークが含まれる。
グラフ３０６に示すように、クライアントデバイス１を介してユーザＡによって制御されるアバタまたはユーザＡの表現などの仮想オブジェクトは、仮想シーン内の位置ａから位置ｂに移動する。グラフ３０６は、仮想シーンにおける仮想オブジェクトの位置を示す。ユーザ入力１は、分散型ゲームエンジン３０２によって受信及び処理されて、状態１を生成し、状態１は、クライアントデバイス１（図１）を介してユーザＡによって制御される仮想オブジェクトの位置ｃを含む。位置ｃは、状態１の出力の例である。ユーザ入力１が受信されて、クライアントデバイス１を介してユーザＡによって制御される仮想オブジェクトを位置ｂから位置ｃに移動する。
位置ｃを決定するために、または位置ｂから位置ｃに移動する仮想オブジェクトを表示する画像フレームを生成するためにユーザ入力１が処理されている期間中に、分散型予測子エンジン３０４はユーザ入力１を受信し、ユーザ入力２がコンピュータネットワーク１０２（図１）を介してクライアントデバイス１から受信されることを予測し、ユーザ入力２を処理して、予測状態２を出力する。予測状態２は、ユーザＡによって制御される仮想オブジェクトの位置ｄ１と、位置ｃから位置ｄ１への動きとを含む。さらに、ユーザ入力１が処理されている期間中に、分散型予測子エンジン３０４は、ユーザ入力２を受信した後、ユーザ入力３が受信されることをさらに予測して、予測状態２を出力する。予測状態２は、ユーザＡによって制御される仮想オブジェクトの位置ｆと、位置ｄ１から位置ｆへの動きとを含む。
さらに、ユーザ入力２及び３が処理されて予測状態２を出力する期間中に、分散型予測子エンジン３０４または分散型ゲームエンジン３０２が、ユーザ入力１’が受信されたと判断した場合、分散型ゲームエンジン３０２及び分散型予測子エンジン３０４の１つまたは複数は、ユーザ入力１’に基づいて状態１’を決定する。例えば、分散型ゲームエンジン３０２及び分散型予測子エンジン３０４のうちの１つまたは複数は、引き続き予測状態２を決定するのではなく、状態１’を決定する。状態１’は、クライアントデバイス１を介してユーザＡによって制御される仮想オブジェクトの位置ｄと、位置ｃから位置ｄへの仮想オブジェクトの動きとを含む。位置ｃ、ｄ１、及びｆはパスＩに沿って配置され、位置ｃ、ｄ、及びｆは予測パスＩＩに沿って配置される。
一実施形態では、分散型予測子エンジン３０４は、仮想シーンのユーザＡの履歴、または仮想シーンの他のユーザＢ及びＣ（図１）の履歴、または仮想シーン内の１つまたは複数の仮想オブジェクトの１つまたは複数の位置及び１つまたは複数の向き、または仮想シーンの状態１、またはそれらの組み合わせに基づいて、仮想シーンの予測状態２を決定する。例えば、ＣＰＵ１（図２Ａ）は、どちらかといえば、ユーザＡは、クライアントデバイス１の入力デバイスを制御して、仮想オブジェクトを位置ｃから、位置ｄの代わりに、位置ｄ１に移動させるユーザ入力２を生成する可能性が高いと判断する。この例では、ＣＰＵ１は、メモリデバイス１（図２Ａ）内またはメモリデバイスＡ（図２Ａ）内のデータベースにアクセスして、ユーザＡは以前に、自身のユーザアカウントを介して、仮想オブジェクトを位置ｃから位置ｄに移動させる代わりに、位置ｃから位置ｄ１に所定の回数より多く移動させるように制御したと判断する。ＣＰＵ１は、内部通信デバイスＡ及び１（図２Ａ）を介してメモリデバイスＡ内のデータベースにアクセスする。別の例として、ＣＰＵ１は、どちらかといえば、ユーザＡは、仮想オブジェクトを位置ｃから位置ｄ１に移動するユーザ入力２を生成するようにクライアントデバイス１の入力デバイスを制御する可能性が高いと判断する。この例では、ＣＰＵ１は、メモリデバイス１（図２Ａ）またはメモリデバイスＡ内のデータベースにアクセスして、所定の数より多いユーザＢ及びＣが以前、自身の対応するユーザアカウント及び自身の対応するクライアントデバイス２及び３（図１）を介して、仮想オブジェクトを位置ｃから位置ｄに移動させるのではなく、位置ｃから位置ｄ１に移動するように制御し、且つ、ユーザＢ及びＣはそれぞれ、仮想オブジェクトを、所定の回数より多く、制御したと判断する。
さらに別の例として、ＣＰＵ１は、ユーザＡは、クライアントデバイス１の入力デバイスを制御して、どちらかといえば、仮想オブジェクトを位置ｃから、位置ｄではなく、位置ｄ１に移動させるユーザ入力２を生成する可能性が高いと判断する。この例では、ＣＰＵ１は、メモリデバイス１（図２Ａ）内またはメモリデバイスＡ内のデータベースにアクセスして、ユーザＡは以前に、自身のユーザアカウントを介して、仮想オブジェクトを位置ｃから位置ｄに移動させるのではなく、位置ｃから位置ｄ１に所定の回数より多く移動させるように制御したと判断する。また、この例では、ＣＰＵ１は、メモリデバイス１（図２Ａ）またはメモリデバイスＡ内のデータベースにアクセスして、所定の数より多いユーザＢ及びＣが以前、自身の対応するユーザアカウント及び自身の対応するクライアントデバイス２及び３を介して、仮想オブジェクトを位置ｃから位置ｄに移動させるのではなく、位置ｃから位置ｄ１に移動するように制御し、且つ、ユーザＢ及びＣはそれぞれ、仮想オブジェクトを、所定の回数より多く、制御したと判断する。
別の例として、ＣＰＵ１は、ユーザＡは、クライアントデバイス１の入力デバイスを制御して、どちらかといえば、仮想オブジェクトを位置ｃから、位置ｄではなく、位置ｄ１に移動させるユーザ入力２を生成する可能性が高いと判断する。この例では、ＣＰＵ１は、クライアントデバイスＡを介してユーザＡによって制御される仮想オブジェクトを有する仮想シーン内のＡＩの位置にアクセスする。ＡＩの位置は、メモリデバイス１ａ（図２Ａ）またはメモリデバイスＡ１（図２Ａ）からアクセスされる。仮想オブジェクトは、仮想シーンの位置ｃにある。ＣＰＵ１は、内部通信デバイスＡ及び１（図２Ａ）を介してメモリデバイスＡ１にアクセスする。ＣＰＵ１は、仮想シーン内のＡＩの位置から、どちらかといえば、仮想オブジェクトが位置ｃから位置ｄではなく位置ｄ１に移動する可能性が高いと判断する。説明すると、ＣＰＵ１は、位置ｃにある仮想オブジェクトの仮想の敵が仮想オブジェクトに近く、従って、仮想オブジェクトは、位置ｄではなく位置ｄ１に走って移動すると判断する。位置ｄ１は仮想オブジェクトにカバーを提供するため、位置ｄ１は位置ｄよりも安全である。位置ｄ１は、仮想シーン内の仮想の岩または仮想の木の背後にあってよく、カバーがない位置ｄと比較してカバーを提供する。
さらに別の例として、ＣＰＵ１は、ユーザＡは、アバタをどちらかといえば位置ｃから位置ｄではなく位置ｄ１に移動させるユーザ入力２を生成するようにクライアントデバイス１の入力デバイスを制御する可能性が高いと判断する。この例では、ＣＰＵ１は、メモリデバイス１またはメモリデバイスＡ（図２Ａ）から、ヘルスレベルバーのスライダなどの別の仮想オブジェクトの位置にアクセスして、アバタのヘルスが所定のレベル未満であると判断する。ＣＰＵ１はさらに、アバタのヘルス状態が所定のレベル未満である場合、ユーザ入力１’を受信する代わりに、ユーザ入力２がコンピュータネットワーク１０２を介してクライアントデバイス１から受信される可能性が高いと判断する。
グラフ３０６において、位置ａ、ｂ、ｃ、ｄ、ｄ１、及びｆの代わりに、向きａ、ｂ、ｃ、ｄ、ｄ１、及びｆを使用することができる、またはａ、ｂ、c、ｄ、ｄ１、及びｆはそれぞれ、位置と向きの組み合わせであることに留意されたい。
図３Ｂは、クライアントデバイス１（図１）を介してユーザＡによって制御される仮想オブジェクトが位置ｃにある期間に、予測状態２の画像フレーム及びオーディオフレームが生成されることを示すシステム３１０の実施形態の図である。システム３１０は、分散型予測子エンジン３０４を含み、分散型予測子エンジン３０４は、分散型物理予測エンジン３１２をさらに含む。分散型物理予測エンジン３１２は、ノードＡのＣＰＵ Ａ、またはノードＢのＣＰＵ、またはノード１のＣＰＵ１、またはノード２のＣＰＵ２、またはそれらの組み合わせによって実行される。
クライアントデバイス１によってユーザＡによって制御される仮想オブジェクトが位置ｃにある期間に、分散型物理予測エンジン３１２は、仮想オブジェクトが、位置ｃとｄ１の間にある別の仮想オブジェクト３１４と衝突する可能性が非常に高い、またはある程度可能性があると予測または判断する。分散型物理予測エンジン３１２は、仮想オブジェクトが位置ｃから予測状態２の位置ｄ１に移動するとき、仮想オブジェクトは別の仮想オブジェクト３１４と衝突する可能性が高い、またはある程度可能性があると予測または判断する。そう予測すると、分散型物理予測エンジン３１２は、衝突中の、ユーザＡによって制御される仮想オブジェクトの１つまたは複数の位置及び１つまたは複数の向きと、仮想オブジェクト３１４の１つまたは複数の位置及び１つまたは複数の向きとを決定し、その位置及び向きをノード１（図２Ａ）及び２の１つまたは複数のメモリデバイスに記憶する。さらに、分散型予測子エンジン３０４の分散型オーディオ予測エンジンは、衝突のオーディオデータを生成する。また、分散型予測子エンジン３０４の分散型グラフィックスエンジンは、ユーザＡによって制御される仮想オブジェクトと仮想オブジェクト３１４との位置及び向きに、ノード１（図２Ａ）及び２の１つまたは複数のメモリデバイスからアクセスし、衝突中の位置及び向きから１つまたは複数の画像フレームを生成する。さらに、ノード１及び２の１つまたは複数のビデオエンコーダは、画像フレームを取得し、画像フレームを符号化して、衝突の１つまたは複数の符号化された画像フレームを出力する。また、ノード１及び２の１つまたは複数のオーディオエンコーダは、衝突のオーディオデータを取得して、１つまたは複数のオーディオフレームを出力し、オーディオフレームを符号化して、衝突の１つまたは複数の符号化されたオーディオフレームを出力する。
コンピュータネットワーク１０２を介してクライアントデバイス１からユーザ入力２を実際に受信すると、ノード１及び２の１つまたは複数のネットワーク通信デバイスは、外部通信プロトコルを符号化されたオーディオフレームと符号化されたビデオフレームとに適用して、１つまたは複数のパケットを生成し、クライアントデバイス１で衝突の１つまたは複数の画像を表示するために、また、クライアントデバイス１で衝突の音声を出力するために、パケットをコンピュータネットワーク１０２を介してクライアントデバイス１に送信する。
図３Ｃは、予測状態２が生成されている間に、コンピュータネットワーク１０２（図１）を介してクライアントデバイス１から分散型ゲームエンジンシステム１０６によって受信されたユーザ入力１’が、状態１’の生成のトリガとして働くことを示す分散型ゲームエンジンシステム１０６の実施形態である。ユーザ入力１を受信した後すぐに、ユーザ入力１’がクライアントデバイス１からコンピュータネットワーク１０２を介して分散型ゲームエンジンシステム１０６によって受信されると、分散型ゲームエンジンシステム１０６は、物理予測エンジン、ＡＩ予測エンジン、グラフィックス予測エンジン、及びオーディオ予測エンジンを適用して予測状態２の画像フレーム及びオーディオフレームを生成することを中止し、グラフィックスエンジン、ＡＩエンジン、グラフィックスエンジン、及びオーディオエンジンを適用して、状態１’の画像フレーム及びオーディオフレームの生成を開始する。例として、ノード１のＣＰＵ１（図２Ａ）は、予測状態２について、ユーザＡによって制御される仮想オブジェクトの位置、向き、及びオーディオデータを決定することを中止する。代わりに、ノード１のＣＰＵ１（図１）またはノードＡのＣＰＵ Ａ（図２Ａ）は、ユーザ入力１’に基づいて、状態１’の仮想オブジェクトの位置、向き、及びオーディオデータの決定を開始する。別の例として、ノード１のＣＰＵ１ａ（図２Ａ）は、予測状態２のＡＩの位置、向き、及びオーディオデータを生成することを中止する。代わりに、ノード１のＣＰＵ１ａ（図２Ａ）またはノードＡのＣＰＵ Ａ１（図２Ａ）は、ユーザ入力１’に基づいて、状態１’のＡＩの位置、向き、及びオーディオデータの決定を開始する。さらに別の例として、ノード１のＧＰＵ１（図２Ａ）は、予測状態２の仮想オブジェクトの１つまたは複数の位置及び向きと、予測状態２のＡＩの１つまたは複数の位置及び向きとから１つまたは複数の画像フレームを生成することを中止する。仮想オブジェクトは、クライアントデバイス１（図１）を介してユーザＡによって制御される。代わりに、ノード１のＧＰＵ１またはノードＡのＧＰＵ Ａ（図２Ａ）は、状態１’の仮想オブジェクトの１つまたは複数の位置及び向きと、状態１’のＡＩの１つまたは複数の位置及び向きとから１つまたは複数の画像フレームを生成することを開始する。また、ノード１のオーディオエンコーダ１（図２Ａ）は、予測状態２の仮想オブジェクトが出力するオーディオデータの符号化を停止し、ノード１のビデオエンコーダ１（図２Ａ）は、予測状態２の画像フレームの符号化を中止する。代わりに、オーディオエンコーダ１またはオーディオエンコーダＡは、状態１’のオーディオデータの符号化を開始して、状態１’の符号化されたオーディオフレームを出力する。また、ビデオエンコーダ１またはビデオエンコーダＡは、状態１’の画像フレームの符号化を開始して、状態１’の符号化された画像フレームを出力する。状態１’の符号化されたオーディオフレーム及び符号化された画像フレームは、ノードＡのネットワーク通信デバイスＡまたはノード１のネットワーク通信デバイス１（図２Ａ）によってパケット化され、符号化された画像フレームに基づいてクライアントデバイス１で仮想シーンの１つまたは複数の画像を表示するために、また、符号化されたオーディオフレームに基づいて仮想シーンの音声を出力するために、コンピュータネットワーク１０２（図２Ｂ）を介してクライアントデバイス１に送信される。
図３Ｄは、予測状態２のユーザ入力２を受信する代わりに、状態１’のユーザ入力１’を受信したときに、仮想オブジェクトまたはＡＩがレンダリングされ、仮想背景に追加されることを示す図である。ノード１のＧＰＵ１（図２Ａ）は、予測状態２の仮想背景の画像フレームを生成し、画像フレームは、予測状態２のクライアントデバイス１を介してユーザＡが制御する仮想オブジェクトを含まず、及び／または予測状態２のＡＩを含まない。ユーザ入力１’を受信した後、ノードＡのＣＰＵ Ａ（図２Ａ）は、状態１’に対してユーザＡによって制御される仮想オブジェクトの位置と向きを決定し、ユーザ入力１’に基づいて仮想オブジェクトによって出力されるオーディオデータをさらに決定する。ノードＡのＣＰＵ Ａは、状態１’の仮想オブジェクトが、その位置及び向きで、予測状態２の仮想背景の位置及び向きに追加されることを決定する。
ＣＰＵ Ａは、ノード１のメモリデバイス１から、予測状態２の仮想背景の位置及び向きにアクセスすることに留意されたい。例えば、ＣＰＵ Ａは、予測状態２の仮想背景の位置及び向きに対する要求を、内部通信デバイスＡ及び１（図２Ａ）を介してノード１に送信する。要求を受信すると、ノード１のＣＰＵ１は、ノード１のメモリデバイス１から予測状態２の仮想背景の位置及び向きにアクセスし、内部通信デバイス１に位置及び向きを提供する。内部通信デバイス１は、予測状態２の仮想背景の位置及び向きに内部通信プロトコルを適用して１つまたは複数の転送ユニットを生成し、転送ユニットをノードＡの内部通信デバイスＡに送信する。内部通信デバイスＡは、内部通信プロトコルを転送ユニットに適用して、予測状態２の仮想背景の位置及び向きを取得し、仮想背景の位置及び向きをノードＡのＣＰＵ Ａに提供する。
さらに、ノードＡのＣＰＵ Ａ１（図２Ａ）は、状態１’のＡＩの位置及び向きを決定し、ユーザ入力１’に基づいてＡＩによって出力されるオーディオデータをさらに決定する。ＣＰＵ Ａ１は、状態１’のＡＩを、その位置及び向きで、予測状態２の仮想背景の位置及び向きに追加すると決定する。ＣＰＵ Ａ１は、ＣＰＵ Ａが予測状態２の仮想背景の位置及び向きにノード１からアクセスした上記と同様に、予測状態２の仮想背景の位置及び向きにノード１からアクセスする。ノードＡのＧＰＵ Ａ（図２Ａ）は、状態１’に関してノードＡのメモリデバイスＡに記憶された仮想オブジェクトの位置及び向きにアクセスし、仮想オブジェクトをその位置及び向きで、予測状態２の仮想背景の１つまたは複数の画像フレーム上に重ね合わせて、状態１’の仮想シーンの１つまたは複数の重ね合わせた画像フレームを出力する。さらに、ノードＡのＧＰＵ Ａは、状態１’に関してノードＡのメモリデバイスＡ１に記憶されているＡＩの位置及び向きにアクセスし、その位置及び向きで予測状態２の仮想背景の画像フレーム上にＡＩを重ね合わせて、状態１’の仮想シーンの重ね合わせた画像フレームを出力する。
ノードＡのビデオエンコーダＡは、重ね合わせた画像フレームを取得し、重ね合わせた画像フレームを符号化して、１つまたは複数の符号化された重ね合わせた画像フレームを出力する。さらに、ノードＡのオーディオエンコーダＡは、状態１’の仮想オブジェクトによって出力されるオーディオデータを符号化して、１つまたは複数の符号化されたオーディオフレームを生成し、状態１’のＡＩによって出力されるオーディオデータを符号化して、１つまたは複数の符号化されたオーディオフレームを生成する。ノードＡのネットワーク通信デバイスＡは、状態１’の符号化された重ね合わせた画像フレームと符号化されたオーディオフレームとから１つまたは複数のパケットを生成し、仮想シーン内に仮想背景、仮想オブジェクト、及びＡＩを有する１つまたは複数の合成画像をクライアントデバイス１に表示するために、パケットをコンピュータネットワーク１０２を介してクライアントデバイス１に送信する。
一実施形態では、予測状態２の仮想背景に基づいて状態１’の重ね合わせた画像フレームを生成する代わりに、状態１’の同じ仮想背景を有する１つまたは複数の画像フレームが、ノードＡのＧＰＵ Ａによって再レンダリングされて、状態１’の１つまたは複数の画像フレームを生成する（図２Ａ）。
また、ある実施形態では、状態１’のＡＩ及び仮想オブジェクトの両方を予測状態２の仮想背景に追加する代わりに、状態１’のＡＩまたは仮想オブジェクトのいずれかが、予測状態２の仮想背景に追加される。
図４Ａは、ノード１を使用して、仮想オブジェクトが仮想シーンで衝突する可能性が高い広い位相検出を実行し、ノード２を使用して、仮想オブジェクトの衝突の接触点を決定するための狭い位相検出を実行することを示すシステム４００の実施形態の図である。ノード２は、衝突の解決の実行にも使用される。システム４００は、ノード１、ノード２、ノードＡ、ノードＢ、コンピュータネットワーク１０２、ノードアセンブリサーバ２０２、クラウドゲームサーバ２０４、及びクライアントデバイス１を含む。ノードＢはスイッチシステム２０６に結合される。
ノード２は、中央処理装置２（ＣＰＵ２）、メモリデバイス２、別の中央処理装置２ａ（ＣＰＵ２ａ）、メモリデバイス２ａ、グラフィックスプロセッシングユニット２（ＧＰＵ２）、ＧＰＵメモリデバイス２、内部通信デバイス２、ネットワーク通信デバイス２、オーディオエンコーダ（ＡＥ）２、及びビデオエンコーダ（ＶＥ）２を含む。ノード２の、ＣＰＵ２、メモリデバイス２、ＣＰＵ２ａ、メモリデバイス２ａ、ＧＰＵ２、ＧＰＵメモリデバイス２、内部通信デバイス２、ネットワーク通信デバイス２、オーディオエンコーダ２、及びビデオエンコーダ２等の構成要素は、バス２を介して互いに結合される。
ユーザ入力１を受信すると、ノード１のＣＰＵ１は、物理予測エンジンを実行して、広範な検出を行い、狭い位相検出を実行する及び／または衝突の解決を実行する計算集約的なジョブをＣＰＵ２に送信する。例えば、ＣＰＵ１は、物理予測エンジンを実行して、予測ユーザ入力２が受信された場合、予測ユーザ入力２に基づいて、仮想シーンの第１の仮想オブジェクトが仮想シーンの第２の仮想オブジェクトに衝突するか、衝突する可能性が高いか、または、ある程度衝突する可能性があるかを判断する。そのように判断すると、ＣＰＵ１は、衝突中の第１の仮想オブジェクトの位置及び向きも第２の仮想オブジェクトの位置及び向きも決定しない。また、そのように判断すると、ＣＰＵ１は、衝突後の第１の仮想オブジェクトの位置及び向きも第２の仮想オブジェクトの位置及び向きも判断しない。むしろ、ＣＰＵ１は、第１の仮想オブジェクトが第２の仮想オブジェクトと衝突するか、衝突する可能性が高いか、またはある程度衝突する可能性があるかという判断を、狭い位相検出及び／または衝突の解決を実行する命令と共に内部通信デバイス１に提供する。衝突中及び衝突後の第１及び第２の仮想オブジェクトの位置及び向きの決定は、第１及び第２の仮想オブジェクトが互いに衝突するか、または衝突する可能性が高いか、またはある程度衝突する可能性があるかという判断と比較して、より計算集約的である。衝突中の第１及び第２の仮想オブジェクトの位置及び向きは、第１及び第２の仮想オブジェクトが衝突する衝突点を提供し、複雑な物理的状態の例である。同様に、衝突後の第１及び第２の仮想オブジェクトの位置及び向きは、複雑な物理的状態の追加の例である。さらに、第１及び第２の仮想オブジェクトが衝突するか、または衝突する可能性が高いか、またはある程度衝突する可能性があるかという判断は、単純な物理的状態の判断の例である。第１及び第２の仮想オブジェクトが７０％または６５％などの所定のパーセンテージより大きい衝突の可能性を有するという判断は、第１及び第２のオブジェクトが衝突する可能性が高いという判断の例である。また、第１及び第２の仮想オブジェクトが４０％または５０％など別の所定のパーセンテージより大きく、７０％または６５％などの所定のパーセンテージより小さい衝突の可能性を有するという判断は、第１及び第２の仮想オブジェクトが衝突する可能性がある程度あるという判断の例である。
内部通信デバイス１は、狭い位相検出及び／または衝突の解決を実行するための命令と、第１及び第２の仮想オブジェクトの衝突に関する判断とを受信し、内部通信プロトコルを命令及び判断に適用して、命令及び判断を有する１つまたは複数の転送ユニットを生成する。第１及び第２の仮想オブジェクトの衝突に関する判断は、第１及び第２の仮想オブジェクトが衝突するという判断、または第１及び第２の仮想オブジェクトが衝突する可能性が高いという判断、または第１及び第２の仮想オブジェクトがある程度衝突する可能性があるという判断を含む。内部通信デバイス１は、転送ユニットをノード２の内部通信デバイス２に送信する。内部通信デバイス２は、内部通信プロトコルを実行して、狭い位相検出及び／または衝突の解決を実行する命令と、第１及び第２の仮想オブジェクトの衝突に関する判断とを転送ユニットから取得し、命令及び判断をノード２のＣＰＵ２に送信する。
ＣＰＵ２は、第１及び第２の仮想オブジェクトの衝突に関する判断に基づいて、狭い位相検出及び／または衝突の解決のための命令を実行する。例えば、ＣＰＵ２は、物理予測エンジンを適用して、衝突中の第１の仮想オブジェクトの１つまたは複数の位置及び１つまたは複数の向きと、第２の仮想オブジェクトの１つまたは複数の位置及び１つまたは複数の向きと、衝突中のオーディオデータとを決定し、第１及び第２の仮想オブジェクトの位置及び向きとオーディオデータとをメモリデバイス２に記憶する。別の例として、衝突を解決するために、ＣＰＵ２は、物理予測エンジンを適用して、衝突後、第１の仮想オブジェクトを第２の仮想オブジェクトからどのくらい離すかを決定し、物理法則を適用して、第１及び第２の仮想オブジェクトを互いに離すための力を生成する。ＣＰＵ２はまた、衝突後の第１及び第２の仮想オブジェクトに対応するオーディオデータを決定し、オーディオデータをメモリデバイス２に記憶する。衝突後の第１及び第２の仮想オブジェクト間の分離は、第１の仮想オブジェクトの１つまたは複数の位置及び１つまたは複数の向きと、第２の仮想オブジェクトの１つまたは複数の位置及び１つまたは複数の向きとによって規定される。
ＧＰＵ２は、衝突中及び衝突後の第１の仮想オブジェクトの位置及び向きと、衝突中及び衝突後の第２の仮想オブジェクトの位置及び向きとにメモリデバイス２からアクセスし、グラフィックス予測エンジンを適用して、第１及び第２の仮想オブジェクトの位置及び向きに基づく１つまたは複数の画像フレームをレンダリングし、画像フレームをＧＰＵメモリデバイス２内に記憶する。ビデオエンコーダＶＥ２は、メモリデバイス２内に記憶された画像フレームにアクセスし、画像フレームを符号化して、１つまたは複数の符号化された画像フレームを出力し、出力された画像フレームは、ビデオエンコーダＶＥ２に記憶される。さらに、オーディオエンコーダＡＥ２は、メモリデバイス２内に記憶されたオーディオデータにアクセスし、オーディオデータを符号化して、１つまたは複数の符号化されたオーディオフレームを出力し、出力されたオーディオフレームは、オーディオエンコーダＡＥ２に記憶される。
予測状態２に対するユーザ入力２は、ノードＡによってコンピュータネットワーク１０２によってクライアントデバイス１から受信される。ノードＡは、内部通信デバイスＡ及び１を介してノード１のＣＰＵ１にユーザ入力２を提供する。ユーザ入力２は、ＣＰＵ１によって内部通信デバイス１に提供される。内部通信デバイス１は、内部通信プロトコルをユーザ入力２に適用して１つまたは複数の転送ユニットを生成し、転送ユニットを内部通信デバイス２に送信する。
内部通信デバイス２は、転送ユニットに内部通信プロトコルを適用してユーザ入力２を取得し、ユーザ入力２をネットワーク通信デバイス２に送信する。ネットワーク通信デバイス２は、ユーザ入力２を受信することに応答して、オーディオエンコーダＡＥ２から衝突の符号化されたオーディオフレームを、ビデオエンコーダＶＥ２から衝突の符号化されたビデオフレームを取得し、外部通信プロトコルを符号化されたオーディオフレーム及び符号化されたビデオフレームに適用して、１つまたは複数のパケットを生成し、クライアントデバイス１のディスプレイデバイス上に第１及び第２の仮想オブジェクトの衝突の１つまたは複数の画像を表示するために、クライアントデバイス１を介して衝突の音声を出力するために、パケットをコンピュータネットワーク１０２を介してクライアントデバイス１に送信する。
ある実施形態では、衝突中及び衝突後の第１及び第２の仮想オブジェクトの位置及び向きと、衝突中及び衝突後のオーディオデータとは、予測状態２のものである。
一実施形態では、ＣＰＵ２は、ＣＰＵ１よりも高いプロセッサ性能を有する。例えば、ＣＰＵ２は、ＣＰＵ１と比較して、応答時間が短い、またはスループットが高い、またはノード２の構成要素の利用率が低い、または処理能力が大きい、または負荷が少ない、または実行するジョブの量が少ない、実行するタスクの数が少ない、またはそれらの組み合わせである。
一実施形態では、ノード２のＣＰＵ２によって実行されると本明細書で説明される機能は、代わりにノード２のＣＰＵ２ａによって実行されるか、またはＣＰＵ２ａによって実行されると説明される機能は、代わりにＣＰＵ２によって実行されることに留意されたい。
ある実施形態では、ユーザ入力１は、ノードＡによってノード１に提供される。例えば、ユーザ入力１は、クライアントデバイス１からコンピュータネットワーク１０２を介してノード１によって受信される。ＣＰＵ１は、メモリデバイス１に記憶されたユーザ入力にアクセスし、ユーザ入力１を内部通信デバイス１に提供する。内部通信デバイス１は、内部通信プロトコルをユーザ入力１に適用して、１つまたは複数の転送ユニットを生成し、転送ユニットを内部通信デバイスＡに送信する。内部通信デバイスＡは、内部通信プロトコルを転送ユニットに適用して、ユーザ入力１を抽出し、メモリデバイス１からアクセスするためにＣＰＵ１のノード１のメモリデバイス１に記憶するためにユーザ入力１を提供する。
一実施形態では、ユーザ入力１、またはユーザ入力２、ユーザ入力３、及びユーザ入力１’などの本明細書で説明される任意の他のユーザ入力は、クライアントデバイス１から、アプリケーションの実行のためにスイッチシステム２０６によって選択されるノードの１つまたは複数に送信される。
ある実施形態では、ＣＰＵ２は、第１及び第２の仮想オブジェクトが衝突する接触面と、接触点からの侵入距離とを決定する。一実施形態では、ＣＰＵ２は、ＣＰＵ１からの命令を詳細に分析して、第１の仮想オブジェクトと第２の仮想オブジェクトとの間に衝突がなく、衝突中及び衝突後の第１及び第２の仮想オブジェクトの位置及び向きを決定する必要は無いと判断する。
図４Ｂは、高品質のグラフィックスジョブがノード１からノード２にディスパッチされることを示すシステム４１０の実施形態の図である。ＧＰＵ１は、予測状態２の１つまたは複数の画像フレームまたは画像フレームの一部を生成し、画像フレームまたは画像フレームの一部をＧＰＵメモリデバイス１に記憶する。予測状態２の１つまたは複数の画像フレームまたは画像フレームの一部は、仮想シーンの仮想背景等、単純なグラフィックス状態の例である。ＧＰＵ１は、予測状態２の残りの画像フレームまたは画像フレームの残りの部分を生成する命令を生成する。残りの画像フレームまたは画像フレームの残りの部分は、仮想シーンに表示される仮想オブジェクトなどの複雑なグラフィックス状態の例である。仮想シーンは、表示されるとき、単純なグラフィックス状態の仮想背景を含む。ＧＰＵ１は、命令を内部通信デバイス１に送信して、複雑なグラフィックス状態を決定するタスクをノード２に提供する。内部通信デバイス１は、命令を受信することに応答して、仮想オブジェクトの１つまたは複数の位置及び１つまたは複数の向きにメモリデバイス１から、または、ＡＩの１つまたは複数の位置及び１つまたは複数の向きに、メモリデバイス１ａから、またはその組み合わせでアクセスして、予測状態２の残りの画像フレームまたは画像フレームの残りの部分の生成を促進する。メモリデバイス１内に記憶された予測状態２の仮想オブジェクトの位置及び向きと、メモリデバイス１ａ内に記憶された予測状態２のＡＩの位置及び向きとが、ノード１のＧＰＵ１によって使用されて、予測状態２の画像フレームまたは画像フレームの一部を生成する。
内部通信デバイス１は、ＧＰＵ１から受信した命令と、予測状態２の仮想オブジェクト及びＡＩの位置と向きとに内部通信プロトコルを適用して、１つまたは複数の転送ユニットを生成し、転送ユニットを内部通信デバイス２に送信する。内部通信デバイス２は、転送ユニットを受信し、転送ユニットに内部通信プロトコルを適用して、命令と、予測状態２の仮想オブジェクト及びＡＩの位置及び向きとを取得する。内部通信デバイス２は、仮想オブジェクト及びＡＩの位置と向きと共に命令をＧＰＵ２に送信する。
ＧＰＵ２は、予測状態２の仮想オブジェクト及びＡＩの位置及び向きから、残りの画像フレーム、または画像フレームの残りの部分を生成し、残りの画像フレーム、または画像フレームの残りの部分をＧＰＵメモリデバイス２内に記憶する。内部通信デバイス２は、ＧＰＵメモリデバイス２から予測状態２の残りの画像フレームまたは画像フレームの残りの部分にアクセスし、内部通信プロトコルを残りの画像フレームまたは画像フレームの残りの部分に適用して、１つまたは複数の転送ユニットを生成する。
予測状態２の転送ユニットは、内部通信デバイス２からノード１の内部通信デバイス１に送信される。内部通信デバイス１は、転送ユニットに内部通信プロトコルを適用して、予測状態２の残りの画像フレームまたは画像フレームの残りの部分を取得し、残りの画像フレームまたは残りの部分を記憶するためにＧＰＵメモリデバイス１に提供する。
ＧＰＵ１は、予測状態２の画像フレームの部分を予測状態２の画像フレームの残りの部分と組み合わせるか、または予測状態２の画像フレームを予測状態２の残りの画像フレームと組み合わせる。例えば、ＧＰＵ１は、予測状態２の画像フレームの部分と、予測状態２の画像フレームの残りの部分とから、その部分とその残りの部分とが同じ画像フレームを特定することと、残りの部分の位置に対するその部分の位置とを特定する。部分と残りの部分とを組み合わせて予測状態２の画像フレームになることと、部分と残りの部分との画像フレーム内の位置とを特定することによって、ＧＰＵ１は、部分が、予測状態２の画像フレームのその位置にあり、残りの部分がその位置にある画像フレームを出力する。別の例として、ＧＰＵ１は、予測状態２に対してＧＰＵ１によって生成された画像フレームと、予測状態２に対してＧＰＵ２によって生成された残りの画像フレームとから、画像フレームがクライアントデバイス１に表示されるシーケンスを識別する。ＧＰＵ１は、予測状態２に対してＧＰＵ１によって生成された画像フレームと、予測状態２に対してＧＰＵ２によって生成された残りの画像フレームとを、そのシーケンスで配置し、ＧＰＵ１によって生成された画像フレームと、ＧＰＵ２によって生成された残りの画像フレームとの提示または表示の順番を出力する。ＧＰＵ１によって生成された画像フレームと、ＧＰＵ２によって生成された残りの画像フレームは、ＧＰＵ１によってその順になるように配置されるなど、組み合わされる。
ビデオエンコーダＶＥ１は、予測状態２に対してＧＰＵ１によって生成された画像フレームと、予測状態２に対してＧＰＵ２によって生成された残りの画像フレームとの組み合わせを符号化して、１つまたは複数の符号化された画像フレームを出力する。ビデオエンコーダＶＥ１は、ＧＰＵ１によって生成された画像フレームとＧＰＵ２によって生成された残りの画像フレームとを画像フレームと残りの画像フレームが組み合わされる順番に従って符号化する。ビデオエンコーダＶＥ１は、一実施形態では、予測状態２に対してＧＰＵ１によって生成された部分と、予測状態２に対してＧＰＵ２によって生成された残りの部分とを有する予測状態２の画像フレームを符号化して、符号化された画像フレームを出力する。
予測状態２のユーザ入力２がノード１によってノードＡから受信されると、ノード１のネットワーク通信デバイス１は、予測状態２の符号化されたオーディオフレームにノード１のオーディオエンコーダ１からアクセスすることに加えて、予測状態２の符号化された画像フレームにビデオエンコーダＶＥ１からアクセスし、符号化された画像フレームと符号化されたオーディオフレームとに外部通信プロトコルを適用して、１つまたは複数のパケットを生成し、コンピュータネットワーク１０２によってクライアントデバイス１にパケットを送信する。パケットを受信すると、クライアントデバイス１は、予測状態２の符号化された画像フレームに基づいて１つまたは複数の画像を表示し、予測状態２の符号化されたオーディオフレームに基づいて音声を出力する。
予測状態２に対してＧＰＵ１によって生成された画像フレームは、予測状態２に対してＧＰＵ２によって生成された残りの画像フレームと比較して品質が低い。例えば、ＧＰＵ１によって生成された画像フレームは、ＧＰＵ２によって生成された残りの画像フレームより低い解像度を有する。別の例として、ＧＰＵ１によって生成された画像フレームは、ＧＰＵ２によって生成された残りの画像フレームの表示と比較して低いフレームレートで表示される。
同様に、予測状態２に対してＧＰＵ１によって生成された画像フレームの部分は、予測状態２に対してＧＰＵ２によって生成された画像フレームの残りの部分と比較して低品質である。例えば、ＧＰＵ１によって生成された画像フレームの部分は、ＧＰＵ２によって生成された画像フレームの残りの部分の解像度よりも低い解像度を有する。
一実施形態では、ＧＰＵ２は、ＧＰＵ１より高品質である。例えば、ＧＰＵ２は、ＧＰＵ１より高いコンピュータ性能を有する。説明すると、ＧＰＵ２は、ＧＰＵ１と比較して、応答時間が短い、またはスループットが高い、またはノード２の構成要素の利用率が低い、または処理能力が高い、または負荷が低い、または実行するジョブの量が少ない、または実行するタスクの数が少ない、または、これらの組み合わせである。
一実施形態では、予測状態２のユーザ入力２が、ノードＡからノード１によって受信されると、ビデオエンコーダＶＥ１は、予測状態２に対してＧＰＵ１によって生成された画像フレームと予測状態２に対してＧＰＵ２によって生成された残りの画像フレームとの組み合わせを符号化して、１つまたは複数の符号化された画像フレームを出力する、または、予測状態２に対してＧＰＵ１によって生成された部分と、予測状態２に対してＧＰＵ２に対して生成された残りの部分とを有する予測状態２の画像フレームを符号化して、符号化された画像フレームを出力する。ＧＰＵ１によって生成された画像フレームとＧＰＵ２によって生成された残りの画像フレームとの組み合わせの符号化、または予測状態２に対してＧＰＵ１によって生成された画像フレームの部分と予測状態２に対してＧＰＵ２によって生成された画像フレームの残りの部分とを組み合わせることによって生成された画像フレームの符号化は、ユーザ入力２が受信される前ではなく、後に行われる。ノード１のネットワーク通信デバイス１は、ノード１のオーディオエンコーダ１からの予測状態２の符号化されたオーディオフレームに加えて、ビデオエンコーダＶＥ１からの予測状態２の符号化された画像フレームにアクセスし、符号化された画像フレームと符号化されたオーディオフレームとに外部通信プロトコルを適用して、１つまたは複数のパケットを生成し、コンピュータネットワーク１０２によってクライアントデバイス１にパケットを送信する。
図４Ｃは、物理予測エンジンに関連する１つまたは複数のタスクのノード１からノード２への割り当てを示すシステム４２０の実施形態の図である。システム４２０は、ノード１及び２を含む。ノード１のＣＰＵ１、ＣＰＵ１ａ、及びＧＰＵ１などの１つまたは複数のプロセッサは、ノード２の１つまたは複数のプロセッサと比較して、プロセッサ性能が低い。ノード２の１つまたは複数のプロセッサは、ＣＰＵ２、ＣＰＵ Ａ１、及びＧＰＵ２を含む。また、ノード１のメモリデバイス１、メモリデバイス１ａ、及びＧＰＵメモリデバイス１などの１つまたは複数のメモリデバイスは、ノード２の１つまたは複数のメモリデバイスのものと比較して、記憶空間の量が少ない。ノード２の１つまたは複数のメモリデバイスは、メモリデバイス２、メモリデバイス２ａ、及びＧＰＵメモリデバイス２を含む。
ＣＰＵ１は、ユーザ入力１を受信すると、ユーザ入力１とユーザ入力２及び３（図３Ａ）とに基づいて、その処理性能が予測状態２の一部を判断するには不十分であると判断する。例えば、ＣＰＵ１は、クライアントデバイス１（図１）を介してユーザＡによって制御される仮想オブジェクトの予測状態２の１つまたは複数の位置と１つまたは複数の向きを決定するために、閾値量を超える処理能力が使用されると判断する。別の例として、ＣＰＵ１は、クライアントデバイス１を介してユーザＡによって制御される仮想オブジェクトの予測状態２の１つまたは複数の位置及び１つまたは複数の向きを決定するためにノード１の所定の数を超える構成要素が使用されると判断する。
そのように判断すると、ＣＰＵ１は、内部通信デバイス１及び２を介してユーザ入力１、２、及び３をＣＰＵ２に送信する。例えば、内部通信デバイス１は、内部通信プロトコルをユーザ入力１、２、及び３に適用して、ユーザ入力１、２、及び３を有する１つまたは複数の転送ユニットを生成し、転送ユニットを内部通信デバイス２に送信する。内部通信デバイス２は、内部通信プロトコルを転送ユニットに適用して、ユーザ入力１、２、及び３を取得し、ユーザ入力１、２、及び３をＣＰＵ2に送信する。
ＣＰＵ２は、物理予測エンジンを適用して、ユーザ入力１、２、及び３に基づいて、クライアントデバイス１を介してユーザＡによって制御される仮想オブジェクトの１つまたは複数の位置及び１つまたは複数の向きを決定する。仮想オブジェクトの位置及び向きは、予測状態２のものである。さらに、ＣＰＵ２は、オーディオ予測エンジンを適用して、ユーザ入力１、２、及び３に基づいて、クライアントデバイス１を介してユーザＡによって制御される仮想オブジェクトによって出力される予測状態２のオーディオデータを決定する。ＣＰＵ２は、仮想オブジェクトの予測状態２の位置及び向きをノード２のメモリデバイス２に記憶する。
さらに、ノード２のＣＰＵ２ａは、仮想オブジェクトの予測状態２の位置及び向きにメモリデバイス２からアクセスし、物理予測エンジンを仮想オブジェクトの位置及び向きに適用して、仮想オブジェクトを有する仮想シーン内の１つまたは複数のＡＩの１つまたは複数の位置及び向きを決定する。仮想シーンは、予測状態２のものである。ＣＰＵ２ａは、ＡＩの位置及び向きをメモリデバイス２ａに記憶する。さらに、ＣＰＵ２ａは、オーディオ予測エンジンを適用して、ＡＩの位置及び向きに基づいて、仮想シーン内のＡＩによって出力されるオーディオデータ決定する。ＡＩが出力するオーディオデータは、予測状態２のものである。
ノード２のＧＰＵ２は、仮想オブジェクトの位置及び向きにメモリデバイス２からアクセスし、ＡＩの位置及び向きにメモリデバイス２ａからアクセスし、レンダリングコード等のグラフィックス予測エンジンを位置及び向きに適用して、予測状態２の仮想シーンの１つまたは複数の画像フレームを生成する。ノード２のビデオエンコーダＶＥ２は、仮想シーンの画像フレームを符号化して、予測状態２の仮想シーンの１つまたは複数の符号化された画像フレームを出力する。さらに、ノード２のオーディオエンコーダ２は、仮想オブジェクトによって出力されるオーディオデータにメモリデバイス２からアクセスし、ＡＩによって出力されるオーディオデータにメモリデバイス２ａからアクセスし、オーディオデータを符号化して、予測状態２の符号化されたオーディオフレームを出力する。
ユーザ入力２及び３は、コンピュータネットワーク１０２（図１）、ノードＡ、及びノード１を介して、クライアントデバイス１の入力デバイスからノード２によって受信される。例えば、ノードＡのＣＰＵ Ａ（図２Ａ）は、コンピュータネットワーク１０２によってクライアントデバイス１からユーザ入力２及び３を受信し、ＣＰＵ Ａは、ユーザ入力２及び３を内部通信デバイスＡに提供する。ノードＡの内部通信デバイスＡは、ユーザ入力２及び３に内部通信プロトコルを適用して、１つまたは複数の転送ユニットを生成し、転送ユニットをノード１の内部通信デバイス１に送信する。内部通信デバイス１は、内部通信プロトコルを転送ユニットに適用して、転送ユニットからユーザ入力２及び３を抽出し、ユーザ入力２及び３をノード１のＣＰＵ１に送信する。ノード１のＣＰＵ１は、内部通信デバイス１に、ユーザ入力２及び３をノード２に送信するように命令する。ノード１の内部通信デバイス１は、内部通信プロトコルをユーザ入力２及び３に適用して、１つまたは複数の転送ユニットを生成し、転送ユニットをノード２の内部通信デバイス２に送信する。内部通信デバイス２は、内部通信プロトコルをノード１から受信した転送ユニットに適用して、ユーザ入力２及び３を抽出し、ユーザ入力２及び３をノード２のＣＰＵ２ａに送信する。
コンピュータネットワーク１０２（図１）、ノードＡ、及びノード１を介してクライアントデバイス１の入力デバイスからユーザ入力２及び３を受信すると、ノード２のネットワーク通信デバイス２は、外部通信プロトコルを予測状態２の仮想シーンの符号化された画像フレーム及び符号化されたオーディオフレームに適用して、１つまたは複数のパケットを生成し、コンピュータネットワーク１０２を介してクライアントデバイス１にパケットを送信する。クライアントデバイス１は、パケットを受信すると、符号化されたビデオフレームに基づく予測状態２の仮想シーンの１つまたは複数の画像を表示し、予測状態２の符号化されたオーディオフレームに基づく音声を出力する。
一実施形態では、ユーザ入力１を受信すると、ＣＰＵ１は、物理予測エンジンを適用して、ユーザ入力１とユーザ入力２及び３（図３Ａ）とに基づいて、低い処理性能で十分な予測状態２の部分を決定する。例えば、ＣＰＵ１は、クライアントデバイス１（図１）を介してユーザＡによって制御される仮想オブジェクトの位置及び向きを決定する。さらに、ＣＰＵ１は、オーディオ予測エンジンを適用して、ユーザ入力１、２、及び３に基づいて、クライアントデバイス１（図１）を介してユーザＡによって制御される仮想オブジェクトによって出力されるオーディオデータを決定する。
その実施形態では、ＣＰＵ１は、ユーザ入力１、２、及び３と、仮想オブジェクトの位置、向き、及びオーディオデータとを、内部通信デバイス１及び２を介してＣＰＵ２に送信する。例えば、内部通信デバイス１は、内部通信プロトコルをユーザ入力１、２、及び３と、仮想オブジェクトの位置、向き、及びオーディオデータとに適用して、ユーザ入力１、２、及び３を有する１つまたは複数の転送ユニットを生成し、転送ユニットを内部通信デバイス２に送信する。内部通信デバイス２は、内部通信プロトコルを転送ユニットに適用して、ユーザ入力１、２、及び３と、仮想オブジェクトの位置、向き、及びオーディオデータとを取得し、ユーザ入力１、２、及び３と、仮想オブジェクトの位置、向き、及びオーディオデータとをＣＰＵ２及びＣＰＵ２ａに送信する。ＣＰＵ２は、予測状態２の仮想オブジェクトの位置及び向きと、仮想オブジェクトによって出力されるオーディオデータとをメモリデバイス２に記憶する。
同じ実施形態では、ＣＰＵ２ａは、物理予測エンジンをユーザ入力１、２、及び３と、仮想オブジェクトの位置及び向きとに適用して、ＣＰＵ１によって位置及び向きを決定される仮想オブジェクトを有する仮想シーン内の１つまたは複数のＡＩの１つまたは複数の位置及び向きを決定する。仮想シーンは予測状態２のものである。さらに、ＣＰＵ２ａは、オーディオ予測エンジンを適用して、ユーザ入力１、２、及び３に基づいて、予測状態２の仮想シーン内のＡＩによって出力されるオーディオデータ決定する。予測状態２のＡＩの位置及び向きと、予測状態２のＡＩによって出力されるオーディオデータとは、メモリデバイス２ａに記憶される。予測状態２のＡＩの位置及び向きを決定するタスクは、仮想シーンにおける予測状態２の仮想オブジェクトの位置及び向きを決定するタスクと比較して、より計算集約的である。さらに、仮想シーンの予測状態２のＡＩによって出力されるオーディオデータを決定するタスクも、仮想シーンの予測状態２の仮想オブジェクトによって出力されるオーディオデータを決定するタスクよりも計算集約的である。
その実施形態では、ノード２のＧＰＵ２は、仮想オブジェクトの位置及び向きにメモリデバイス２からアクセスし、ＡＩの位置及び向きにメモリデバイス２ａからアクセスし、レンダリングコード等のグラフィックス予測エンジンを位置及び向きに適用して、予測状態２の仮想シーンの１つまたは複数の画像フレームを生成する。ノード２のビデオエンコーダＶＥ２は、仮想シーンの画像フレームを符号化して、予測状態２の仮想シーンの１つまたは複数の符号化された画像フレームを出力する。さらに、ノード２のオーディオエンコーダ２は、仮想オブジェクトによって出力されるオーディオデータにメモリデバイス２からアクセスし、ＡＩによって出力されるオーディオデータにメモリデバイス２ａからアクセスし、オーディオデータを符号化して、予測状態２の符号化されたオーディオフレームを出力する。
その実施形態では、コンピュータネットワーク１０２（図１）、ノードＡ、及びノード１を介してクライアントデバイス１の入力デバイスからユーザ入力２及び３を受信すると、ノード２のネットワーク通信デバイス２は、外部通信プロトコルを予測状態２の仮想シーンの符号化された画像フレーム及び符号化されたオーディオフレームに適用して、１つまたは複数のパケットを生成し、コンピュータネットワーク１０２を介してクライアントデバイス１にパケットを送信する。クライアントデバイス１は、パケットを受信すると、符号化されたビデオフレームに基づく予測状態２の仮想シーンの１つまたは複数の画像を表示し、予測状態２の符号化されたオーディオフレームに基づく音声を出力する。
一実施形態では、本明細書で説明される符号化はいずれも、予測状態２に対するユーザ入力２及び３のうちの１つまたは複数が受信された後に行われる。例えば、コンピュータネットワーク１０２（図１）、ノードＡ、及びノード１を介してクライアントデバイス１の入力デバイスからユーザ入力２及び３を受信すると、ノード２のビデオエンコーダＶＥ２は仮想シーンの画像フレームを符号化して、予測状態２の仮想シーンの１つまたは複数の符号化された画像フレームを出力する。さらに、ユーザ入力２及び３を受信すると、ノード２のオーディオエンコーダ２は、仮想オブジェクトによって出力されるオーディオデータにメモリデバイス２から、ＡＩによって出力されるオーディオデータにメモリデバイス２ａからアクセスし、オーディオデータを符号化して、予測状態２の符号化されたオーディオフレームを出力する。ノード２のネットワーク通信デバイス２は、外部通信プロトコルを予測状態２の仮想シーンの符号化された画像フレーム及び符号化されたオーディオフレームに適用して、１つまたは複数のパケットを生成し、コンピュータネットワーク１０２を介してクライアントデバイス１にパケットを送信する。クライアントデバイス１は、パケットを受信すると、符号化されたビデオフレームに基づいて予測状態２の仮想シーンの１つまたは複数の画像を表示し、予測状態２の符号化されたオーディオフレームに基づいて音声を出力する。
一実施形態では、ＣＰＵ１ａは、ＣＰＵ２ａと比較してより高いプロセッサ性能を有する。この実施形態では、クライアントデバイス１を介してユーザＡによって制御される仮想オブジェクトの位置及び向きは、予測状態２の仮想オブジェクトを有する仮想シーン内の１つまたは複数のＡＩの１つまたは複数の位置及び１つまたは複数の向きを決定するために、ノード２からノード１に送信される。また、仮想オブジェクトが出力するオーディオデータは、予測状態２のＡＩが出力するオーディオデータを決定するために、ノード２からノード１に送信される。例えば、内部通信デバイス２は、予測状態２の仮想オブジェクトの位置、向き、及びオーディオデータにメモリデバイス２からアクセスし、内部通信プロトコルを適用して１つまたは複数の転送ユニットを生成し、転送ユニットをノード１の内部通信デバイス１に転送する。内部通信デバイス１は、内部通信プロトコルを適用して転送ユニットを解析し、予測状態２の仮想オブジェクトの位置、向き、及びオーディオデータを取得し、位置及び向きをノード１のＣＰＵ１ａに提供する。ノード１のＣＰＵ１ａは、予測状態２の仮想シーンの仮想オブジェクトの位置及び向きに基づいて、１つまたは複数のＡＩの１つまたは複数の位置及び向きを決定する。さらに、ＣＰＵ１ａは、予測状態の仮想シーンの仮想オブジェクトが出力するオーディオデータに基づいて、ＡＩが出力するオーディオデータを決定する。
ある実施形態では、ＧＰＵ１は、ノード２のＧＰＵ２よりも高いプロセッサ性能を有する。この実施形態では、ＧＰＵ２がクライアントデバイス１を介してユーザＡによって制御される仮想オブジェクトの位置及び向きとＡＩの位置及び向きとから１つまたは複数の画像フレームを生成する代わりに、ＧＰＵ１が、予測状態２の画像フレームを生成する。ＧＰＵ１は、位置及び向きがＣＰＵ１によって決定される場合は、メモリデバイス１から、または、位置及び向きがＣＰＵ２によって決定される場合は、メモリデバイス２からのいずれかから、予測状態２の仮想オブジェクトの位置及び向きにアクセスする。
その実施形態では、ＧＰＵ１は、内部通信デバイス１及び２を介して、メモリデバイス２から予測状態２の仮想オブジェクトの位置及び向きにアクセスする。例えば、ＧＰＵ１は、仮想オブジェクトの位置及び向きをメモリデバイス２から取得するための命令を生成し、命令を内部通信デバイス１に送信する。内部通信デバイス１は、内部通信プロトコルを命令に適用して、１つまたは複数の転送ユニットを生成し、転送ユニットを内部通信デバイス２に送信する。内部通信デバイス２は、転送ユニットに内部通信プロトコルを適用して命令を取得し、命令をＣＰＵ２に送信する。ＣＰＵ２は、メモリデバイス２から仮想オブジェクトの位置及び向きにアクセスし、位置及び向きを内部通信デバイス２に送信する。内部通信デバイス２は、内部通信プロトコルを仮想オブジェクトの位置及び向きに適用して、１つまたは複数の転送ユニットを生成し、転送ユニットを内部通信デバイス１に送信する。内部通信デバイス１は、内部通信プロトコルを転送ユニットに適用して、仮想オブジェクトの位置及び向きを抽出し、位置及び向きをＧＰＵ１に送信する。
実施形態を続けると、ＧＰＵ１は、ＡＩの位置及び向きに、位置及び向きがＣＰＵ１ａによって決定される場合は、メモリデバイス１ａから、または位置及び向きがＣＰＵ２ａによって決定される場合は、メモリデバイス２ａからのいずれかから、アクセスする。ＧＰＵ１は、内部通信デバイス１及び２を介して、メモリデバイス２ａから予測状態２のＡＩの位置及び向きにアクセスする。例えば、ＧＰＵ１は、予測状態２のＡＩの位置及び向きをメモリデバイス２ａから取得するための命令を生成し、命令を内部通信デバイス１に送信する。内部通信デバイス１は、内部通信プロトコルを命令に適用して１つまたは複数の転送ユニットを生成し、転送ユニットを内部通信デバイス２に送信する。内部通信デバイス２は、転送ユニットに内部通信プロトコルを適用して命令を抽出し、ＣＰＵ２ａに命令を送信する。ＣＰＵ２ａは、メモリデバイス２ａから予測状態２のＡＩの位置及び向きにアクセスし、位置及び向きを内部通信デバイス２に送信する。内部通信デバイス２は、内部通信プロトコルを予測状態２のＡＩの位置及び向きに適用して、１つまたは複数の転送ユニットを生成し、転送ユニットを内部通信デバイス１に送信する。内部通信デバイス１は、内部通信プロトコルを転送ユニットに適用して、予測状態２のＡＩの位置及び向きを取得し、位置及び向きをＧＰＵ１に送信する。
一実施形態では、オーディオエンコーダ１は、ノード２のオーディオエンコーダ２よりも高いプロセッサ性能を有する。この実施形態では、予測状態２の仮想オブジェクトによって出力されるオーディオデータがＣＰＵ２によって生成される場合、オーディオエンコーダ１は、ノード２からオーディオデータを取得する命令を生成し、命令を内部通信デバイス１に提供する。内部通信デバイス１は、内部通信プロトコルを命令に適用して、命令を有する１つまたは複数の転送ユニットを生成し、転送ユニットを内部通信デバイス２に送信する。内部通信デバイス２は、内部通信プロトコルを転送ユニットに適用して命令を取得し、命令をＣＰＵ２に送信する。ＣＰＵ２は、命令に応答して、メモリデバイス２からオーディオデータにアクセスし、オーディオデータを内部通信デバイス２に送信する。内部通信デバイス２は、予測状態２の仮想オブジェクトによって出力されるオーディオデータに内部通信プロトコルを適用して、１つまたは複数の転送ユニットを生成し、転送ユニットを内部通信デバイス１に送信する。内部通信デバイス１は、内部通信プロトコルを転送ユニットに適用して、予測状態２の仮想オブジェクトによって出力されるオーディオデータを取得し、オーディオデータをオーディオエンコーダ１に送信する。オーディオデータを受信すると、オーディオエンコーダ１は、オーディオデータを符号化して、符号化されたオーディオフレームを出力する。同様に、予測状態２に対して１つまたは複数のＡＩによって出力されるオーディオデータがＣＰＵ２ａによって生成される場合、オーディオエンコーダ１は、ノード２のメモリデバイス２ａからオーディオデータを取得する命令を生成する。内部通信デバイス１及び２を介してメモリデバイス２ａからオーディオデータを受信すると、オーディオエンコーダ１は、ＡＩによって出力されるオーディオデータを符号化して、予測状態２の１つまたは複数の符号化されたオーディオフレームを生成する。
ある実施形態では、オーディオエンコーダ１は、クライアントデバイス１を介してユーザＡによって制御される仮想オブジェクトによって出力されるオーディオデータにメモリデバイス１からアクセスし、１つまたは複数のＡＩによって出力されるオーディオデータにノード２のメモリデバイス２からアクセスする。仮想オブジェクトによって出力されるオーディオデータとＡＩによって出力されるオーディオデータとは、予測状態２の仮想シーンのものである。
一実施形態では、オーディオエンコーダ１は、１つまたは複数のＡＩによって出力されるオーディオデータにメモリデバイス１からアクセスし、クライアントデバイス１を使用してユーザＡによって制御される仮想オブジェクトによって出力されるオーディオデータにノード２のメモリデバイス２からアクセスする。仮想オブジェクトによって出力されるオーディオデータとＡＩによって出力されるオーディオデータとは、予測状態２の仮想シーンのものである。
ある実施形態では、ビデオエンコーダ１は、ノード２のビデオエンコーダ２より高いプロセッサ性能を有する。この実施形態では、予測状態２の仮想オブジェクトを有する１つまたは複数の画像フレームがＣＰＵ２によって生成される場合、ビデオエンコーダ１は、ノード２から画像フレームを取得する命令を生成し、命令を内部通信デバイス１に提供する。内部通信デバイス１は、内部通信プロトコルを命令に適用して、命令を有する１つまたは複数の転送ユニットを生成し、転送ユニットを内部通信デバイス２に送信する。内部通信デバイス２は、内部通信プロトコルを転送ユニットに適用して命令を抽出し、命令をＧＰＵ２に送信する。ＧＰＵ２は、命令に応答して、ＧＰＵメモリデバイス２から画像フレームにアクセスし、画像フレームを内部通信デバイス２に送信する。内部通信デバイス２は、予測状態２の仮想オブジェクトによって出力される画像フレームに内部通信プロトコルを適用して、１つまたは複数の転送ユニットを生成し、転送ユニットを内部通信デバイス１に送信する。内部通信デバイス１は、内部通信プロトコルを転送ユニットに適用して、予測状態２の仮想オブジェクトの画像フレームを抽出し、画像フレームをビデオエンコーダ１に送信する。画像フレームを受信すると、ビデオエンコーダ１は、画像フレームを符号化して、符号化された画像フレームを出力する。同様に、予測状態２の１つまたは複数のＡＩを有する画像フレームが、ＧＰＵ２によって生成される場合、ビデオエンコーダ１は、ノード２のＧＰＵメモリデバイス２から画像フレームを取得する命令を生成する。内部通信デバイス１及び２を介してＧＰＵメモリデバイス２から画像フレームを受信すると、ビデオエンコーダ１は、ＡＩの画像フレームを符号化して、１つまたは複数の符号化された画像フレームを生成する。
ある実施形態では、ビデオエンコーダ１は、クライアントデバイス１を使用して、ユーザＡによって制御される仮想オブジェクトを有する画像フレームにＧＰＵメモリデバイス１からアクセスし、１つまたは複数のＡＩを有する画像フレームにノード２のＧＰＵメモリデバイス２からアクセスする。仮想オブジェクト及びＡＩを有する画像フレームは、予測状態２の仮想シーンのものである。
一実施形態では、ビデオエンコーダ１は、１つまたは複数のＡＩを有する画像フレームにＧＰＵメモリデバイス１からアクセスし、クライアントデバイス１を使用してユーザＡによって制御される仮想オブジェクトを有する画像フレームにノード２のＧＰＵメモリデバイス２からアクセスする。仮想オブジェクト及びＡＩを有する画像フレームは、予測状態２の仮想シーンのものである。
ある実施形態では、ネットワーク通信デバイス１は、ノード２のネットワーク通信デバイス２より高いプロセッサ性能を有する。この実施形態では、予測状態２の１つまたは複数の符号化された画像フレームが、ビデオエンコーダＶＥ２から出力される場合、ネットワーク通信デバイス１は、符号化された画像フレームをノード２から取得する命令を生成し、内部通信デバイス１に命令を提供する。内部通信デバイス１は、内部通信プロトコルを命令に適用して、命令を有する１つまたは複数の転送ユニットを生成し、転送ユニットを内部通信デバイス２に送信する。内部通信デバイス２は、内部通信プロトコルを転送ユニットに適用して、命令を抽出し、命令をビデオエンコーダＶＥ２に送信する。ビデオエンコーダＶＥ２は、命令に応答して、符号化された画像フレームにビデオエンコーダＶＥ２のメモリデバイスからアクセスし、符号化された画像フレームを内部通信デバイス２に送信する。内部通信デバイス２は、内部通信プロトコルを予測状態２の符号化された画像フレームに適用して、１つまたは複数の転送ユニットを生成し、転送ユニットを内部通信デバイス１に送信する。内部通信デバイス１は、内部通信プロトコルを転送ユニットに適用して、予測状態２の符号化された画像フレームを抽出し、符号化された画像フレームをネットワーク通信デバイス１に送信する。符号化された画像フレームを受信すると、且つ、ユーザ入力２及び３を受信した後またはそれに応答して、ネットワーク通信デバイス１は、外部通信プロトコルを符号化された画像フレームに適用して、１つまたは複数のパケットを生成し、クライアントデバイス１のディスプレイデバイスに、符号化された画像フレームに基づいた１つまたは複数の画像を表示するために、コンピュータネットワーク１０２を介してパケットをクライアントデバイス１に送信する。
同様に、一実施形態では、予測状態２の１つまたは複数の符号化されたオーディオフレームがオーディオエンコーダＶＥ２から出力される場合、ノード１のネットワーク通信デバイス１は、予測状態２の符号化されたオーディオフレームをノード２のオーディオエンコーダＡＥ２から内部通信デバイス１及び２を介して取得するための命令を生成する。命令は、ノード１からノード２に送信される。符号化されたオーディオフレームを受信すると、且つ、ユーザ入力２及び３を受信した後またはそれに応答して、ネットワーク通信デバイス１は、外部通信プロトコルを符号化されたオーディオフレームに適用して１つまたは複数のパケットを生成し、符号化されたオーディオフレームに基づいて音声を出力するためにコンピュータネットワーク１０２を介してクライアントデバイス１にパケットを送信する。
図４Ｄは、ＡＩ予測エンジンに関連する１つまたは複数のタスクのノード１からノード２への割り当てを示すシステム４２０の実施形態の図である。ユーザ入力１を受信すると、ＣＰＵ１ａは、ユーザ入力１に基づいて、予測状態２に対して複雑なＡＩ状態を決定すると判断する。例として、ＣＰＵ１ａは、ノード１ではまだ受信されていないユーザ入力２及び３に基づいて、予測状態２に対して、複数のＡＩの複数の衝突点を決定すると判断する。ＣＰＵ１ａは、予測状態２に対してユーザ入力２及び３に基づいて、複数のＡＩが互いに衝突することを判断するタスクを行う。複数のＡＩの衝突は、単純なＡＩ状態の例である。別の例として、ユーザ入力１を受信すると、ＣＰＵ１ａは、ユーザ入力１に基づいて、予測状態２に対してユーザ入力２及び３を決定する。ＣＰＵ１ａは、ユーザ入力２及び３（図３Ａ）に基づいて、ＣＰＵ１ａの処理性能は、予測状態２の一部を決定するのに不十分であるとさらに判断する。説明すると、ＣＰＵ１ａは、予測状態２の仮想シーンにおける１つまたは複数のＡＩの１つまたは複数の位置及び１つまたは複数の向きを決定するために閾値量を超える処理能力が使用されると判断する。別の例として、ＣＰＵ１ａは、予測状態２の仮想シーンにおけるＡＩの１つまたは複数の位置及び１つまたは複数の向きを決定するために所定の数を超えるノード１の構成要素が使用されると判断する。
複雑なＡＩ状態が決定されるべきであると判断すると、ＣＰＵ１ａは、予測状態２の複雑なＡＩ状態を決定するために、内部通信デバイス１及び２を介してユーザ入力２及び３をＣＰＵ２ａに送信する。例えば、内部通信デバイス１は、内部通信プロトコルをユーザ入力１、２、及び３に適用して、ユーザ入力２及び３を有する１つまたは複数の転送ユニットを生成し、転送ユニットを内部通信デバイス２に送信する。内部通信デバイス２は、内部通信プロトコルを転送ユニットに適用して、ユーザ入力２及び３を抽出し、ユーザ入力２及び３をＣＰＵ２ａに送信する。
ＣＰＵ２ａは、ＡＩ予測エンジンを適用して、ユーザ入力２及び３に基づいてＡＩの位置及び向きを決定する。ＡＩの位置及び向きは、予測状態２のものである。さらに、ＣＰＵ２ａは、オーディオ予測エンジンを適用して、ユーザ入力２及び３に基づいて、予測状態２の仮想シーンでＡＩによって出力されるオーディオデータを決定する。ＣＰＵ２ａは、予測状態２のＡＩの位置及び向きと、ＡＩによって出力されるオーディオデータとをノード２のメモリデバイス２ａに記憶する。
残りの動作は、図４Ｃを参照して上記で説明した動作と同様である。例えば、ノード２のＧＰＵ２は、予測状態２の仮想シーン内の仮想オブジェクトの位置及び向きと、仮想シーン内のＡＩの位置及び向きとに基づいて画像フレームを生成する。さらに、ビデオエンコーダ２は、ＧＰＵ２によって生成された画像フレームを符号化することにより、符号化された画像フレームを出力する。また、オーディオエンコーダＡＥ２は、予測状態２の仮想シーンにおいてＡＩによって出力されるオーディオデータと仮想オブジェクトによって出力されるオーディオデータとを符号化して、符号化されたオーディオフレームを生成する。ユーザ入力２及び３を受信すると、ネットワーク通信デバイス２は、ノード２によって生成された符号化されたオーディオフレームと符号化された画像フレームとを有するパケットを生成し、コンピュータネットワーク１０２（図４Ｃ）を介してパケットをクライアントデバイス１に送信する。
一実施形態では、ノードＡ（図２Ａ）は、本明細書では第１のノードと呼ばれ、ノード１は、本明細書では第２のノードと呼ばれ、ノード２は、本明細書では第３のノードと呼ばれることがある。
図５は、クライアントデバイス１、２、または３（図１）の例であるクライアントデバイス５００の実施形態の図である。クライアントデバイス５００の例には、携帯電話及びＨＭＤが含まれる。クライアントデバイス５００は、ビデオオーディオセパレータ５０２、ネットワーク通信デバイス（ＮＣＤ）５０４、ストリームバッファ５０６、１つまたは複数のスピーカ５０８、入力デバイス５１０、ディスプレイデバイス５１２、オーディオバッファ５１４、外部デジタルカメラ５１６、内部デジタルカメラ５１８、ビデオバッファ５２０、ビデオオーディオシンクロナイザ５２２、マイクロフォン５２４、慣性センサ５２６、フレームエンコーダ５２８、フレームデコーダ５３０、オーディオデジタル－アナログ変換器（ＤＡＣ）５３２、ビデオＤＡＣ５３４、オーディオアナログ－デジタル変換器（ＡＤＣ）５３６、ビデオＡＤＣ５３８、及び触覚フィードバックデバイス５４０などの複数の構成要素を含む。触覚フィードバックデバイス５４０は、触覚フィードバックプロセッサ５４２、ドライバ５４４、及び機械素子５４６を含む。クライアントデバイス５００の構成要素は、バス５３６を介して互いに結合される。本明細書で使用されるバッファは、ビデオデータまたはオーディオデータなどのデータを短期間または一時的に記憶するために使用される。別の例として、バッファは、データの移動中にデータを一時的に記憶するためのメモリデバイス内の領域である。
外部デジタルカメラ５１６は、ユーザＡ、Ｂ、またはＣ（図１）などのユーザの実世界環境の方を向き、内部デジタルカメラ５１８は、ユーザの目の方を向く。実世界の環境の例には、部屋、倉庫、小個室、及び密閉空間などが含まれる。本明細書で使用されるカメラの例には、広角カメラ、赤外線センサカメラ、パノラマカメラなどが含まれる。カメラは、デジタルメモリデバイスに記憶するために、静止画像を記録したり、動画であるビデオを記録したりするための光学機器である。カメラは、実世界環境またはユーザの目から反射された光を集束するレンズを含み、実世界環境またはユーザの目の画像をキャプチャするための画像キャプチャ機構を取り囲むカメラ本体を含む。外部デジタルカメラ５１６の例には、Ｓｏｎｙ Ｃｏｍｐｕｔｅｒ Ｅｎｔｅｒｔａｉｎｍｅｎｔ（登録商標）社によって製造されたＰｌａｙｓｔａｔｉｏｎ Ｅｙｅ（登録商標）カメラが含まれる。ディスプレイデバイス５１２の例には、発光ダイオード（ＬＥＤ）ディスプレイデバイス、液晶ディスプレイ（ＬＤＣ）ディスプレイデバイス、液晶オンシリコンディスプレイデバイス、有機ＬＥＤ（ＯＬＥＤ）ディスプレイデバイス、プラズマスクリーンなどが含まれる。
ディスプレイデバイス５１２は、ディスプレイデバイス５１２の表示画面上にゲームを表示するために、マイクロプロセッサ、ドライバ、及びメモリデバイスを含むマイクロコントローラを含む。例として、ディスプレイデバイス５１２のマイクロプロセッサは、復号された画像フレームをフレームデコーダ５３０から取得し、信号をドライバに送信して、ディスプレイデバイス５１２の表示画面のＬＥＤ等の要素を駆動して、ゲームまたは他のアプリケーションの１つまたは複数の画像を表示画面に表示する。本明細書で使用されるドライバは、互いに結合されている１つまたは複数のトランジスタを含む。
慣性センサ５２６の例には、ジャイロスコープ、磁力計、及び加速度計が含まれる。ＮＣＤ５０４の例には、ネットワークインタフェースカード（ＮＩＣ）及びネットワークインタフェースコントローラが含まれる。入力デバイス５１０の例には、キーパッド、キーボード、タッチスクリーン、タッチパッド、慣性センサ、１つまたは複数のボタン、１つまたは複数のスイッチ、１つまたは複数のジョイスティックなどが含まれる。一実施形態では、慣性センサ５２６は、入力デバイス５１０の一部である。
フレームエンコーダ５２８は、画像フレーム内の複数の画像フレームまたはデータを圧縮または符号化して１つまたは複数の符号化された画像フレームを出力するビデオエンコーダを含む。例えば、フレームエンコーダ５２８のビデオエンコーダは、Ｈ．２６４及びモーションジェイペグ（ＭＪＰＥＧ：Ｍｏｔｉｏｎ Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などのビデオフレーム間圧縮プロトコルを適用して、複数の画像フレームを圧縮するか、またはフレーム内圧縮プロトコルを適用して、画像フレーム内のデータを圧縮して、１つまたは複数の符号化された画像フレームを出力する。例として、フレームエンコーダ５２８のビデオエンコーダは、プロセッサと、プロセッサによって、圧縮されるかまたはすでに圧縮されている画像フレームを記憶するためのバッファとを含む。別の例として、フレームエンコーダ５２８のビデオエンコーダは、バッファを含まずに、プロセッサを含む。
さらに、フレームエンコーダ５２８は、オーディオデータを符号化して符号化されたオーディオフレームを出力するオーディオエンコーダを含む。例えば、フレームエンコーダ５２８のオーディオエンコーダは、アドバンストオーディオコーディング（ＡＡＣ）などのオーディオフレーム間圧縮プロトコルをオーディオデータに適用して、符号化されたオーディオフレームを出力する。
同様に、フレームデコーダ５３０は、符号化された画像フレームまたは符号化された画像フレーム内の符号化されたデータを復号して、１つまたは複数の復号された画像フレームまたは１つまたは複数の画像フレームを出力するビデオデコーダを含む。例として、フレームデコーダ５３０のビデオデコーダは、Ｈ．２６４及びモーションジェイペグ（ＭＪＰＥＧ）などのフレーム間解凍プロトコルを適用して、複数の画像フレームを解凍するか、またはフレーム内解凍プロトコルを適用して、画像フレーム内のデータを解凍して、１つまたは複数の復号された画像フレームを出力する。例として、フレームデコーダ５３０のビデオデコーダは、プロセッサと、プロセッサによって解凍されるか、または既に解凍されている画像フレームを記憶するためのバッファとを含む。別の例として、フレームデコーダ５３０は、バッファを含まずにプロセッサを含む。
また、フレームデコーダ５３０は、１つまたは複数の符号化されたオーディオフレームを復号して、オーディオフレームまたは復号されたオーディオフレームを出力するオーディオデコーダを含む。例えば、フレームデコーダ５３０のオーディオデコーダは、ＡＡＣなどのオーディオフレーム間解凍プロトコルを、符号化されたオーディオフレームに適用して、復号されたオーディオデータまたはオーディオデータを出力する。
一実施形態では、ビデオオーディオセパレータ５０２は、オーディオデータを画像フレームから分離するコンピュータプログラムである。ある実施形態では、ビデオオーディオセパレータ５０２は、オーディオデータと画像フレームとを区別するように設計及び製造されたＡＳＩＣまたはＰＬＤなどのハードウェア回路である。
ある実施形態では、ビデオオーディオシンクロナイザ５２２は、ビデオフレームの任意のフレームが、対応するオーディオデータに基づく音声出力と共に表示されるように、ビデオフレームをオーディオデータと同期させるコンピュータプログラムである。ある実施形態では、ビデオオーディオシンクロナイザ５２２は、対応するオーディオデータに従って、ビデオフレームの任意のフレームの表示を音声出力と同期させるように設計及び製造されたＡＳＩＣまたはＰＬＤなどのハードウェア回路である。
一実施形態では、本明細書で使用されるＤＡＣは、ビデオフレームまたは画像フレームまたはデジタルオーディオデータなどのデジタルデータを、電圧、電流、または電荷などのアナログ信号に変換する電子デバイスである。例えば、ビデオＤＡＣは、ディスプレイデバイス５１２にゲームを表示するために、画像フレームをアナログ信号に変換するハードウェア回路であり、オーディオＤＡＣ５３２は、音声をスピーカ５０８を介して出力するために、オーディオデータをアナログオーディオ信号に変換する電子回路である。
ある実施形態では、本明細書で使用されるＡＤＣは、ビデオフレームまたは画像フレームまたはオーディオデータなどのデジタルデータにアナログ信号を変換する電子デバイスである。例えば、ビデオＡＤＣ５３８は、アナログ信号を画像フレームに変換するハードウェア回路であり、オーディオＡＤＣ５３６は、アナログオーディオ信号をオーディオデータに変換する電子回路である。
ドライバ５４４の例は、互いに結合された１つまたは複数のトランジスタである。さらに、機械部品５４６の例は、振動する金属板、またはモータ及び金属板である。モータは、１つまたは複数のロッド、またはギアを介して互いに結合されたロッドなどの接続機構を介して金属プレートに結合される。
データパケットのストリームは、コンピュータネットワーク１０２（図１）を介して、またはコンピュータネットワーク１０２とコンピュータネットワーク１０２及びクライアントデバイス５００に結合されたルータ（図示せず）とを介して、ストリームバッファ５０６に受信される。例として、ルータは、コンピュータネットワーク１０２とクライアントデバイス５００との間に結合される。ＮＣＤ５０４は、データパケットのストリームにストリームバッファ５０６からアクセスし、ストリームをデパケット化する。例えば、ＮＣＤ５０４は、外部通信プロトコルを適用して、パケットから、符号化された画像フレームまたは符号化されたオーディオフレームなどの符号化されたフレームを抽出または取得する。さらに説明すると、ＮＣＤ５０４は、パケットのヘッダからパケットのペイロードを決定し、ペイロードから符号化されたフレームにアクセスする。ＮＣＤ５０４は、符号化されたフレームをフレームデコーダ５３０に送信する、またはフレームデコーダ５３０は、符号化されたフレームにＮＣＤ５０４からアクセスする。フレームデコーダ５３０は、Ｈ．２６４、Ｈ．２６５／ＭＰＥＧ－Ｈ、Ｈ．２６３／ＭＰＥＧ－４、Ｈ．２６２／ＭＰＥＧ－２ａ、またはカスタマイズされたプロトコルなどの復号プロトコルを適用して、符号化されたフレームを復号し、復号された画像フレームとオーディオデータとを出力する。
復号された画像フレームは、デコーダ５３０からビデオオーディオセパレータ５０２によってアクセスされる、またはデコーダ５３０からビデオオーディオセパレータ５０２に送信される。ビデオオーディオセパレータ５０２は、復号された画像フレームからオーディオデータを分離する。例えば、ビデオオーディオセパレータ５０２は、オーディオデータに提供される識別子及び復号された画像フレームに提供される識別子に従って、復号された画像フレームからオーディオデータを分離する。ビデオオーディオセパレータ５０２は、オーディオデータをオーディオバッファ５１４に送信し、復号された画像フレームをビデオバッファ５２０に送信する。ビデオオーディオシンクロナイザ５２２は、ビデオバッファ５２０に記憶された復号された画像フレームを、オーディオバッファ５１４に記憶されたオーディオデータと同期させる。例えば、ビデオオーディオシンクロナイザ５２２は、復号された画像フレームのうちの１つが生成された時間と、対応するオーディオデータが生成された時間とを使用して、復号された画像フレームを対応するオーディオデータに従って出力される音声と共に表示することを決定する。
オーディオＤＡＣ５３２は、同期されたオーディオデータをデジタル形式からアナログ形式に変換してオーディオ信号を生成し、オーディオ信号は、スピーカ５０８によって音声に変換される。ビデオＤＡＣ５３４は、同期された画像フレームをデジタル形式からアナログ形式に変更して、アナログビデオ信号を生成する。ディスプレイデバイス５１２は、アナログビデオ信号に基づいて、ゲームの画像をディスプレイデバイスの表示画面に表示する。画像は、スピーカ５０８によって出力される音声と同期して表示される。
さらに、ユーザＡ、Ｂ、またはＣ（図１）は、マイクロフォン５２４に向かって話し、マイクロフォン５２４は、例えば、ユーザの声などの音声を、例えば、電圧、電流、電気信号などのオーディオ信号に変換する。オーディオＡＤＣ５３８は、オーディオ信号をアナログ形式からデジタル形式に変換して、オーディオデータを生成し、オーディオデータは、オーディオバッファ５１４に記憶される。オーディオデータは、オーディオバッファ５１４からＮＣＤ５０４によってアクセスされ、コンピュータネットワーク１０２（図１）を介して分散型ゲームエンジンシステム１０６（図１）に送信される。例えば、ＮＣＤ５０４は、外部通信プロトコルを適用して、オーディオデータを埋め込む１つまたは複数のパケットを生成し、コンピュータネットワーク１０２を介して分散型ゲームエンジンシステム１０６にパケットを送信する。
一実施形態では、フレームエンコーダ５２８は、オーディオＡＤＣ５３８によって生成されたオーディオデータにオーディオフレーム間圧縮プロトコルを適用して、符号化されたオーディオフレームを出力し、符号化されたオーディオフレームをＮＣＤ５０４に提供する。ＮＣＤ５０４は、外部通信プロトコルを符号化されたオーディオフレームに適用して、１つまたは複数のパケットを生成し、コンピュータネットワーク１０２を介して分散型ゲームエンジンシステム１０６にパケットを送信する。
内部デジタルカメラ５１８は、ユーザＡ、Ｂ、またはＣ（図１）の目または顔または頭または身体の１つまたは複数の画像をキャプチャする。内部デジタルカメラ５１８は、ユーザＡ、Ｂ、またはＣの方を向く。例えば、クライアントデバイス５００がユーザＡによって着用されるＨＭＤである場合、内部デジタルカメラ５１８は、ユーザＡの目の方を向く。別の例として、クライアントデバイス５００がスマートフォンの場合、内部デジタルカメラ５１８は、ディスプレイデバイス５１２の表示画面が配置されているクライアントデバイス５００の同じ側または同じ表面にあるフロントカメラである。さらに別の例として、内部デジタルカメラ５１８は、ユーザＡの手またはユーザＡの腕の方を向いて、ユーザＡが行ったジェスチャをキャプチャするフロントカメラである。同様に、外部デジタルカメラ５１６は、ユーザを取り巻く実世界環境の１つまたは複数の画像をキャプチャする。例として、クライアントデバイス５００がスマートフォンであるとき、外部デジタルカメラ５１６は、ディスプレイデバイス５１２の表示画面が配置されている側と比べて、クライアントデバイス５００の反対側または反対表面にあるリアカメラである。デジタルカメラ５１６及び５１８によってキャプチャされた画像は、ビデオバッファ５２０に記憶される。一実施形態では、画像及び画像フレームという用語は、本明細書では交換可能に使用される。ある実施形態では、デジタルカメラ５１６及び５１８によってキャプチャされた画像は、ビデオＤＡＣ５３４によってデジタル形式からアナログ形式に変換され、ディスプレイデバイス５１２上に画像を表示するために送信される。
デジタルカメラ５１６及び５１８によってキャプチャされた画像は、ＮＣＤ５０４によってビデオバッファ５２０からアクセスされて、画像を有する１つまたは複数のデータパケットを生成する。ＮＣＤ５０４は、コンピュータネットワーク１０２を介してデータパケットを分散型ゲームエンジンシステム１０６（図１）に送信する。一実施形態では、デジタルカメラ５１６及び５１８によってキャプチャされた画像は、フレームエンコーダ５３０によってアクセスされる。フレームエンコーダ５３０は、フレーム間圧縮プロトコルまたはフレーム内圧縮プロトコルを画像に適用して、１つまたは複数の符号化された画像フレームを生成し、符号化された画像フレームをバス５３６を介してＮＣＤ５０４に提供する。ＮＣＤ５０４は、外部通信プロトコルを符号化された画像フレームに適用して、符号化された画像フレームから１つまたは複数のデータパケットを生成し、コンピュータネットワーク１０２を介して分散型ゲームエンジンシステム１０６にデータパケットを送信する。
慣性センサ５２６は、ユーザＡの身体部分の加速度、ユーザＡの身体部分の回転速度、ユーザＡの身体部分の向き、またはそれらの組み合わせなどの慣性センサデータを生成する。クライアントデバイス５００がハンドヘルドコントローラを含む場合、慣性センサ５２６は、ハンドヘルドコントローラの動きに関する慣性センサデータを生成する。慣性センサデータは、慣性センサ５２６によってバス５３６を介してＮＣＤ５０４に提供される。ＮＣＤ５０４は、慣性センサデータを埋め込んだ１つまたは複数のパケットを生成し、コンピュータネットワーク１０２を介して分散型ゲームエンジンシステム１０６（図１）にパケットを送信する。
さらに、ＮＣＤ５０４は、１つまたは複数のボタンを選択することによって、または１つまたは複数のジェスチャを行うことによって、または入力デバイス５１０の１つまたは複数のジョイスティックを動かすことによって、ユーザＡ、Ｂ、またはＣが行った１つまたは複数の選択を受信して、入力データを生成し、バス５３６を介して入力データをＮＣＤ５０４に提供する。ＮＣＤ５０４は、外部通信プロトコルを入力データに適用して、入力データを有する１つまたは複数のデータパケットを生成し、データパケットをコンピュータネットワーク１０２を介して分散型ゲームエンジンシステム１０６に送信する。
一実施形態では、ＮＣＤ５０４によって生成されるデータパケットは、Ｗｉ－Ｆ（登録商標）接続またはＢｌｕｅｔｏｏｔｈ（登録商標）接続などの無線接続を介してＮＣＤ５０４に結合されたルータ（図示せず）を介して送信される。ルータはデータパケットを受信し、データパケットから宛先アドレスを決定する。ルータは、コンピュータネットワーク１０２（図１）を介して、宛先アドレスが割り当てられている分散型ゲームエンジンシステム１０６の１つまたは複数のノードにデータパケットをルーティングする。
同様に、ある実施形態では、分散型ゲームエンジンシステム１０６によって生成されるデータパケットは、コンピュータネットワーク１０２とクライアントデバイス５００との間に結合されたルータ（図示せず）を介して送信される。ルータは、無線接続を介してクライアントデバイス５００のＮＣＤ５０４に結合される。ルータは、分散型ゲームエンジンシステム１０６からデータパケットを受信し、データパケットから宛先アドレスを決定する。ルータは、無線接続を介して、宛先アドレスが割り当てられているクライアントデバイス５００のＮＣＤ５１４にデータパケットをルーティングする。
一実施形態では、入力デバイス５１０は、クライアントデバイス５００とは別個のデバイスの一部である。例えば、入力デバイス５１０は、Ｓｏｎｙ（登録商標）Ｍｏｖｅ（登録商標）コントローラまたはＳｏｎｙ（登録商標）ＤｕａｌＳｈｏｃｋ（登録商標）コントローラまたはゲームコントローラまたはジョイスティックコントローラなどのハンドヘルドコントローラの一部である。ハンドヘルドコントローラは、パラレルデータ転送ケーブルまたはシリアルデータ転送ケーブルまたはＵＳＢケーブルなど、無線接続または有線接続を介して、クライアントデバイス５００の内部通信デバイス（図示せず）に結合される。内部通信デバイスの例は、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ－Ｆｉ（登録商標）などの無線プロトコルを適用して、入力デバイス５１０とデータを通信するデータ転送デバイスである。例として、クライアントデバイス５００の内部通信デバイスは、バス５３６を介してＮＣＤ５０４に結合される。ＮＣＤ５０４は、ハンドヘルドコントローラから内部通信デバイスによって受信される入力データにアクセスし、外部通信プロトコルを適用して１つまたは複数のパケットを生成し、コンピュータネットワーク１０２を介して分散型ゲームエンジンシステム１０６にパケットを送信する。
ある実施形態では、クライアントデバイス５００は、内部デジタルカメラ５１８を除外している。
一実施形態では、外部デジタルカメラ５１６は、クライアントデバイス５００の外側に配置されて、ユーザＡ、Ｂ、またはＣの腕、手、頭、もしくはそれらの組み合わせなどの身体部分の動き、またはユーザが着用するＨＭＤの動き、またはユーザが保持するハンドヘルドコントローラの動きの画像をキャプチャする。
ある実施形態では、パケットとデータパケットという用語は、本明細書では交換可能に使用される。
一実施形態では、触覚フィードバックデバイス５４０、マイクロフォン５２４、入力デバイス５１０、及び慣性センサ５２６は、ハンドヘルドコントローラの構成要素である。また、この実施形態では、ディスプレイデバイス５１２及びスピーカ５０８は、テレビの構成要素である。さらに、外部デジタルカメラ５１６は、ハンドヘルドコントローラ、ゲームコンソール、及びテレビとは別個のデバイスである。この実施形態は、内部デジタルカメラ５１８を除外している。さらに、この実施形態では、フレームエンコーダ５２８、ビデオオーディオセパレータ５０２、ＮＣＤ５０４、フレームデコーダ５３０、オーディオＤＡＣ５３２、ストリームバッファ５０６、ビデオＤＡＣ５３４、オーディオバッファ５１４、ビデオＡＤＣ５３８、オーディオＡＤＣ５３６、ビデオオーディオシンクロナイザ５２２、及びビデオバッファ５２０などのクライアントデバイス５００の残りの構成要素は、ゲームコンソールの構成要素である。ゲームコンソールは、有線接続または無線接続を介してハンドヘルドコントローラに結合される。また、ゲームコンソールは、無線接続または高解像度マルチメディアインタフェース（ＨＤＭＩ（登録商標））接続を介してディスプレイデバイスに結合される。
ある実施形態では、触覚フィードバックデバイス５４０、マイクロフォン５２４、入力デバイス５１０、慣性センサ５２６、ディスプレイデバイス５１２、スピーカ５０８、外部デジタルカメラ５１６、及び内部デジタルカメラ５１８は、ユーザＡ、Ｂ、またはＣの頭部に着用されるＨＭＤの構成要素である。さらに、この実施形態では、フレームエンコーダ５２８、ビデオオーディオセパレータ５０２、ＮＣＤ５０４、フレームデコーダ５３０、オーディオＤＡＣ５３２、ストリームバッファ５０６、ビデオＤＡＣ５３４、オーディオバッファ５１４、ビデオＡＤＣ５３８、オーディオＡＤＣ５３６、ビデオオーディオシンクロナイザ５２２、及びビデオバッファ５２０などのクライアントデバイス５００の残りの構成要素は、ゲームコンソールの構成要素である。ゲームコンソールは、有線接続または無線接続を介してＨＭＤに結合される。
図６は、本開示の実施態様による、クラウドビデオゲームをクライアントデバイス５００（図５）にストリーミングするために実行される様々な動作を概念的に示すフロー図である。分散型ゲームエンジンシステム１０６の１つまたは複数のゲームサーバ６０２は、ビデオゲームを実行し、生の（非圧縮の）ビデオ６０４及びオーディオ６０６を生成する。サーバは、本明細書ではノードと呼ばれることもある。サーバの例は、ゲームコンソールまたはサーバブレードである。ビデオ６０４及びオーディオ６０６は、図の参照番号６０８に示されるように、ストリーミングのために１つまたは複数のゲームサーバ６０２によって符号化される。符号化により、ビデオ及びオーディオのストリームが圧縮され、帯域幅の使用量は軽減され、ゲーム体験は最適化される。符号化形式の例には、Ｈ．２６５／ＭＰＥＧ－Ｈ、Ｈ．２６４／ＭＰＥＧ－４、Ｈ．２６３／ＭＰＥＧ－４、Ｈ．２６２／ＭＰＥＧ－２、ＷＭＶ、ＶＰ６／７／８／９などが含まれる。
符号化されたオーディオ６１０及び符号化されたビデオ６１２は、インターネット等のコンピュータネットワーク１０２を通して送信するために、参照番号６１４に示すように、ＮＣＤ５０４（図５）等のストリーミングエンジンによって、データパケットまたはネットワークパケットにさらにパケット化される。いくつかの実施形態では、ネットワークパケット符号化プロセスは、データ暗号化プロセスも採用することによって、データセキュリティを強化する。図示の実施態様では、オーディオパケット６１６及びビデオパケット６１８は、コンピュータネットワーク１０２を介したトランスポートのために外部通信プロトコルを適用することによって生成される。
１つまたは複数のゲームサーバ６０２はさらに、触覚フィードバックデータ６２２を生成し、触覚フィードバックデータ６２２もネットワーク送信のためにデータパケットにパケット化される。図示の実施態様では、触覚フィードバックパケット６２４が、コンピュータネットワーク１０２を介してトランスポートのために生成される。
生のビデオ及びオーディオと触覚フィードバックデータとを生成する前述の動作が、分散型ゲームエンジンシステム１０６の１つまたは複数のデータセンタの１つまたは複数のゲームサーバ６０２で実行され、ビデオ及びオーディオを符号化する動作、及び符号化されたオーディオ／ビデオ及び触覚フィードバックデータのトランスポートのためのパケット化は、１つまたは複数のデータセンタのストリーミングエンジンによって行われる。参照番号６２０に示されるように、オーディオ、ビデオ、及び触覚フィードバックのパケットは、コンピュータネットワーク１０２を介してトランスポートされる。参照番号６２６に示されるように、オーディオパケット６１６、ビデオパケット６１８、及び触覚フィードバックパケット６２４は、クライアントデバイス５００によって分解され、例えば、解析されて、符号化されたオーディオ６２８、符号化されたビデオ６３０、及び触覚フィードバックデータ６３２をクライアントデバイス５００でデータパケットから抽出する。データが暗号化されている場合、データの解読も行われる。次に、符号化されたオーディオ６２８及び符号化されたビデオ６３０は、参照番号６３４に示されるように、クライアントデバイス５００によって復号されて、クライアントデバイス５００のディスプレイデバイス５１２に表示するために、クライアント側の生のオーディオ及びビデオデータを生成する。触覚フィードバックデータ６３２は、クライアントデバイス５００の触覚フィードバックプロセッサ５４２（図５）によって処理されて、ハンドヘルドコントローラデバイス６４２で、または、触覚効果をレンダリングすることができる、例えば、ＨＭＤ等のインタフェースデバイスで、触覚フィードバック効果を生成する。触覚効果の一例は、ＨＭＤのコントローラデバイス６４２の振動またはランブルである。
ビデオゲームはユーザ入力に応答するので、ユーザ入力の送信及び処理に関しても、前述と同様の手順の流れを、クライアントデバイス５００から１つまたは複数のサーバ５０２に逆方向で実行されることが、理解されよう。図示のように、コントローラデバイス６４２または別の入力デバイスまたはそれらの組み合わせは、入力データ６４４を生成する。この入力データ６４４は、クライアントデバイス５００でパケット化されて、コンピュータネットワーク１０２を介して１つまたは複数のサーバ６０２にトランスポートするための入力データパケット６４６を生成する。入力データパケット６４６は、１つまたは複数のサーバ６０２により解凍及び再構築されて、データセンタ側で入力データ６４８を規定する。入力データ６４８は、１つまたは複数のサーバ６０２に供給され、サーバ６０２は、上記のように、入力データ６４８を処理して、１つまたは複数の状態を生成する。
オーディオパケット６１６、ビデオパケット６１８、及び触覚フィードバックパケット６２４のコンピュータネットワーク１０２を介したトランスポート中に、いくつかの実施形態では、コンピュータネットワーク１０２を介したデータの送信が監視されて、サービス品質が保証される。例えば、参照番号６５０により示されるように、アップストリーム及びダウンストリームの両方のネットワーク帯域幅を含むコンピュータネットワーク１０２のネットワーク条件が監視され、ゲームストリーミングは、利用可能な帯域幅の変化に応じて調整される。すなわち、参考番号６５２により示されるように、ネットワークパケットの符号化及び復号は、現在のネットワーク条件に基づいて制御される。
図７は、クライアントデバイス５００のディスプレイデバイス５１２とインタフェースするために互換性があり、且つ、分散型エンジンシステム１０６（図１）とコンピュータネットワーク１０２を介して通信できるゲームコンソール７００の実施形態のブロック図である。ゲームコンソール７００は、データセンタＡ内に配置されているか、またはユーザＡが居る場所に配置されている。いくつかの実施形態では、ゲームコンソール７００を使用して、ＨＭＤ上に表示されるゲームを実行する。ゲームコンソール７００は、ゲームコンソール７００に接続可能な様々な周辺機器を備えている。ゲームコンソール７００は、セルプロセッサ７２８、ダイナミックランダムアクセスメモリ（ＸＤＲＡＭ）ユニット７２６、専用ビデオランダムアクセスメモリ（ＶＲＡＭ）ユニット７３２を備えるＲｅａｌｉｔｙ Ｓｙｎｔｈｅｓｉｚｅｒ（登録商標）グラフィックスプロセッサユニット７３０、及び入力／出力（Ｉ／Ｏ）ブリッジ７３４を有する。ゲームコンソール７００はまた、Ｉ／Ｏブリッジ７３４を通してアクセス可能な、ディスク７４０ａから読み出すためのＢｌｕ Ｒａｙ（登録商標）ディスクリードオンリメモリ（ＢＤ－ＲＯＭ）光ディスクリーダ７４０と、取り外し可能スロットインハードディスクドライブ（ＨＤＤ）７３６とを有する。オプションで、ゲームコンソール７００はまた、コンパクトフラッシュ（登録商標）メモリカード、及びメモリスティック（登録商標）メモリカードなどを読み出すためのメモリカードリーダ７３８を含み、メモリカードリーダ７３８は、Ｉ／Ｏブリッジ７３４を介して同様にアクセス可能である。Ｉ／Ｏブリッジ７３４はまた、ユニバーサルシリアルバス（ＵＳＢ）２．０ポート７２４と、ギガビットイーサネット（登録商標）ポート７２２と、ＩＥＥＥ８０２．１１ｂ／ｇ無線ネットワーク（Ｗｉ－Ｆｉ（登録商標））ポート７２０と、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続を支援することが可能なＢｌｕｅｔｏｏｔｈ（登録商標）無線リンクポート７１８とに接続する。
動作中、Ｉ／Ｏブリッジ７３４は、ゲームコントローラ６４２及び／または７０３から、並びにＨＭＤ７０５からのデータを含む、無線、ＵＳＢ、及びイーサネット（登録商標）のデータ全てを扱う。例えば、ユーザＡが、ゲームコードの一部の実行によって生成されたゲームをプレイしているとき、Ｉ／Ｏブリッジ７３４は、ゲームコントローラ６４２及び／または７０３から、及び／または、ＨＭＤ７０５から、Ｂｌｕｅｔｏｏｔｈリンクを介して入力データを受信し、入力データをセルプロセッサ７２８に向け、セルプロセッサ７２８は、それに応じて、ゲームの現在の状態を更新する。例として、ＨＭＤ７０５内のカメラは、ユーザＡのジェスチャをキャプチャして、ジェスチャを表す画像を生成する。画像は入力データの一例である。各ゲームコントローラ６４２及び７０３は、ハンドヘルドコントローラ（ＨＨＣ）の一例である。
無線ポート、ＵＳＢポート、及びイーサネット（登録商標）ポートは、ゲームコントローラ６４２及び７０３とＨＭＤ７０５とに加えて、例えば、リモートコントロール７０４、キーボード７０６、マウス７０８、例えば、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ Ｐｏｒｔａｂｌｅ（登録商標）エンターテインメントデバイスなどのポータブルエンターテインメントデバイス７１０、例えば、ＥｙｅＴｏｙ（登録商標）ビデオカメラ７１２などのビデオカメラ、マイクロフォンヘッドセット７１４，及びマイクロフォン７１５などの他の周辺デバイスへの接続性も提供する。いくつかの実施形態では、このような周辺装置は、ゲームコンソール７００に無線で接続される、例えば、ポータブルエンターテイメントデバイス７１０は、Ｗｉ－Ｆｉ（登録商標）アドホック接続を介して通信し、マイクロフォンヘッドセット７１４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）リンクを介して通信する。
これらのインタフェースの提供は、ゲームコンソール７００がまた、デジタルビデオレコーダ（ＤＶＲ）、セットトップボックス、デジタルカメラ、ポータブルメディアプレイヤ、ボイスオーバインターネットプロトコル（ＩＰ）電話、携帯電話、プリンタ、及びスキャナなどの他の周辺デバイスに対応する可能性があることを意味する。
さらに、レガシーメモリカードリーダ７１６は、ＵＳＢポート７２４を介してゲームコンソール７００に接続され、ゲームコンソール７００によって使用される種類のメモリカード７４８の読み取りを可能にする。ゲームコントローラ６４２及び７０３とＨＭＤ７０５とは、Ｂｌｕｅｔｏｏｔｈ（登録商標）リンク７１８を介してゲームコンソール７００と無線で通信するように、またはＵＳＢポート７２４に接続され、それによってゲームコントローラ６４２及び７０３とＨＭＤ７０５とのバッテリを充電するための電力も受け取るように動作可能である。いくつかの実施形態では、ゲームコントローラ６４２及び７０３とＨＭＤ７０５とはそれぞれ、メモリ、プロセッサ、メモリカードリーダ、例えば、フラッシュメモリなどの永久メモリ、例えば、照らされた球形部分、発光ダイオード（ＬＥＤ）、もしくは赤外線ライトなどの発光体、超音波通信用のマイクロフォン及びスピーカ、音響チャンバ、デジタルカメラ、内部時計、例えば、ゲームコンソール７００に面する球形部分などの認識可能な形状、並びに、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）などのプロトコルを使用する無線デバイス等を含む。
ゲームコントローラ６４２は、ユーザＡの両手で使用するように設計されたコントローラであり、ゲームコントローラ７０３は、アタッチメントを備えた片手コントローラである。ＨＭＤ７０５は、ユーザＡの頭の上及び／または目の前に収まるように設計されている。１つまたは複数のアナログジョイスティックと従来のコントロールボタンとに加えて、各ゲームコントローラ６４２及び７０３は、三次元位置決定の影響を受ける。同様に、ＨＭＤ７０５は、３次元位置決定の影響を受ける。その結果、いくつかの実施形態では、ゲームコントローラ６４２及び７０３とＨＭＤ７０５とを使用してユーザＡが行うジェスチャ及び動きは、従来のボタンまたはジョイスティックのコマンドに加えて、またはそれらの代わりに、ゲームへの入力として変換される。オプションで、Ｐｌａｙｓｔａｔｉｏｎ（登録商標）ポータブルデバイスなどの他の無線対応の周辺デバイスがコントローラとして使用される。Ｐｌａｙｓｔａｔｉｏｎ（登録商標）ポータブルデバイスの場合、追加のゲーム情報または制御情報、例えば、制御命令または残機数等がデバイスの表示画面上に提供される。いくつかの実施形態では、ダンスマット（図示せず）、ライトガン（図示せず）、ハンドル及びペダル（図示せず）、または特注コントローラなど、他の代替的または補助的な制御デバイスが使用されてよい。特注コントローラの例には、即答クイズゲーム用の１つまたはいくつかの大型ボタン（同様に図示せず）が含まれる。
リモートコントロール７０４も、Ｂｌｕｅｔｏｏｔｈ（登録商標）リンク７１８を介してゲームコンソール７００と無線で通信するように動作可能である。リモートコントロール７０４は、Ｂｌｕ Ｒａｙ（登録商標）ディスクＢＤ－ＲＯＭリーダ７４０の動作に適した制御、及びディスクコンテンツのナビゲーションに適した制御を含む。
Ｂｌｕ Ｒａｙ（登録商標）ディスクＢＤ－ＲＯＭリーダ７４０は、従来の記録済みＣＤ及び記録可能なＣＤと、いわゆるスーパーオーディオＣＤとに加えて、ゲームコンソール７００と互換性を有するＣＤ－ＲＯＭを読み出すように動作可能である。Ｂｌｕ Ｒａｙ（登録商標）ディスクＢＤ－ＲＯＭリーダ７４０はまた、従来の記録済みのＤＶＤ及び記録可能なＤＶＤに加えて、ゲームコンソール７００と互換性を有するデジタルビデオディスクＲＯＭ（ＤＶＤ－ＲＯＭ）を読み出すように動作可能である。Ｂｌｕ Ｒａｙ（登録商標）ディスクＢＤ－ＲＯＭリーダ７４０は、ゲームコンソール７００と互換性を有するＢＤ－ＲＯＭと、従来の記録済みのＢｌｕ－Ｒａｙ（登録商標）ディスク及び記録可能なＢｌｕ－Ｒａｙ（登録商標）ディスクとを読み出すようにさらに動作可能である。
ゲームコンソール７００は、リアリティシンセサイザグラフィックスユニット７３０を介して生成または復号されたオーディオ及びビデオを、表示画面７４４及び１つまたは複数のラウドスピーカ７４６を有する、例えば、モニタまたはテレビセット等のディスプレイ及び音声出力デバイス７４２にオーディオコネクタ７５０及びビデオコネクタ７５２を通して供給するように、または、Ｂｌｕｅｔｏｏｔｈ（登録商標）無線リンクポート７１８を介してＨＭＤ７０５のディスプレイデバイスにオーディオ及びビデオを供給するように動作可能である。オーディオコネクタ７５０は、様々な実施形態において、従来のアナログ及びデジタル出力を含み、他方、ビデオコネクタ７５２は、コンポーネントビデオ、Ｓビデオ、コンポジットビデオ、及び１つまたは複数の高解像度マルチメディアインタフェース（ＨＤＭＩ（登録商標））出力を様々に含む。結果として、ビデオ出力は、位相反転線（ＰＡＬ）または全国テレビジョン方式委員会（ＮＴＳＣ）などの形式、または、２２２０ｐ、１０８０ｉ、もしくは１０８０ｐの高解像度であってよい。オーディオ処理、例えば、生成、復号などは、セルプロセッサ７０８によって行われる。ゲームコンソール７００のオペレーティングシステムは、Ｄｏｌｂｙ（登録商標）５．１サラウンドサウンド、Ｄｏｌｂｙ（登録商標）シアターサラウンド（ＤＴＳ）、及びＢｌｕ－Ｒａｙ（登録商標）ディスクの７．１サラウンドサウンドの復号を支援する。
いくつかの実施形態では、ビデオカメラ、例えば、ビデオカメラ７１２等は、単一の電荷結合素子（ＣＣＤ）、ＬＥＤインジケータ、及びハードウェアベースのリアルタイムデータ圧縮及び符号化装置を備え、これにより、圧縮されたビデオデータは、ゲームコンソール７００により復号されるために、画像内ベースのＭＰＥＧ（ｍｏｔｉｏｎ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔ ｇｒｏｕｐ）規格などの適切な形式で送信される。ビデオカメラ７１２のＬＥＤインジケータは、例えば、不利な照明条件などを示すために、ゲームコンソール７００からの適切な制御データに応答して点灯するように配置される。ビデオカメラ７１２のいくつかの実施形態は、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ－Ｆｉ（登録商標）通信ポートを介してゲームコンソール７００に様々に接続する。ビデオカメラの様々な実施形態は、１つまたは複数の関連付けられたマイクロフォンを含み、またオーディオデータを送信できる。ビデオカメラのいくつかの実施形態では、ＣＣＤは、高解像度ビデオキャプチャに適した解像度を有する。使用時、ビデオカメラによってキャプチャされた画像は、ゲーム内に組み込まれる、またはゲーム制御入力として解釈される。別の実施形態では、ビデオカメラは、赤外光を検出するのに適した赤外線カメラである。
様々な実施形態では、ゲームコンソール７００の通信ポートのうちの１つを介して、例えば、ビデオカメラまたはリモートコントロールなどの周辺デバイスとのデータ通信が正常に行われるように、デバイスドライバなどの適切なソフトウェアが提供される。
いくつかの実施形態では、ゲームコンソール７００、ハンドヘルドコントローラ、及びＨＭＤ７０５を含む前述のシステムデバイスは、ＨＭＤ７０５がゲームのインタラクティブセッションのビデオを表示及びキャプチャすることを可能にする。システムデバイスは、ゲームのインタラクティブセッションを開始し、インタラクティブセッションは、ユーザＡとゲームの間のインタラクションを規定する。システムデバイスは、さらに、ユーザＡによって操作されるハンドヘルドコントローラ及び／またはＨＭＤ７０５の初期位置及び向きを決定する。ゲームコンソール７００は、ユーザＡとゲームとのインタラクションに基づいて、ゲームの現在の状態を決定する。システムデバイスは、ゲームとのユーザＡのインタラクティブセッション中、ハンドヘルドコントローラ及び／またはＨＭＤ７０５の位置及び向きを追跡する。システムデバイスは、ゲームの現在の状態と、ハンドヘルドコントローラ及び／またはＨＭＤ７０５の追跡された位置及び向きとに基づいて、インタラクティブセッションの観客ビデオストリームを生成する。いくつかの実施形態では、ハンドヘルドコントローラは、ハンドヘルドコントローラの表示画面上に観客ビデオストリームをレンダリングする。様々な実施形態において、ＨＭＤ７０５は、ＨＭＤ７０５の表示画面上に観客ビデオストリームをレンダリングする。
図８を参照すると、ＨＭＤ８０２の構成要素を示す図が示されている。ＨＭＤ８０２は、ＨＭＤ７０５（図７）の一例である。ＨＭＤ８０２は、プログラム命令を実行するためのプロセッサ８００を含む。メモリデバイス８０２は、記憶目的のために備えられる。メモリデバイス８０２の例には、揮発性メモリ、不揮発性メモリ、またはそれらの組み合わせが含まれる。ユーザＡ（図１）が見る視覚的インタフェース、例えば、画像フレームの表示などを提供するディスプレイデバイス８０４が含まれる。ＨＭＤ８０２の電源として、バッテリ８０６が備えられる。動き検出モジュール８０８は、磁力計８１０、加速度計８８、及びジャイロスコープ８１４など、様々な種類の動き検知ハードウェアのいずれかを含む。
加速度計は、加速度及び重力誘起反力を測定するデバイスである。単軸及び多軸モデルは、異なる方向における加速度の大きさ及び方向を検出するために利用可能である。加速度計は、傾き、振動、及び衝撃を感知するために使用される。一実施形態では、３つの加速度計８１２は、重力の方向を提供するために使用され、重力の方向は、２つの角度、例えば、世界空間ピッチ及び世界空間ロールなどについての絶対基準を与える。
磁力計は、ＨＭＤ８０２付近の磁場の強度及び方向を測定する。いくつかの実施形態では、３つの磁力計８１０は、ＨＭＤ８０２内で使用され、世界空間ヨー角度についての絶対基準を保証する。様々な実施形態では、磁力計は、±８０マイクロステラの地球の磁場にわたるように設計される。磁力計は金属の影響を受け、実際のヨーに対して単調なヨー測定を提供する。いくつかの実施形態において、磁場は実世界環境内の金属により歪み、これによりヨー測定に歪みが生じる。様々な実施形態において、この歪みは、他のセンサ、例えば、ジャイロスコープ８１４、カメラ８１６等からの情報を使用して較正される。一実施形態では、加速度計８１２は、ＨＭＤ８０２の傾き及びアジマスを取得するために磁力計８１０と共に使用される。
ジャイロスコープは、角運動量の原理に基づいて、向きを測定または維持するデバイスである。一実施形態では、ジャイロスコープ８１４に代わって、３つのジャイロスコープが、慣性感知に基づいて、ｘ、ｙ、及びｚの各軸に対する動きに関する情報を提供する。ジャイロスコープは、高速回転の検出を助ける。しかしながら、ジャイロスコープは、いくつかの実施形態では、絶対基準が存在しないと、時間の経過と共にドリフトする。これは、定期的なジャイロスコープのリセットをトリガし、リセットは、物体の視覚追跡、加速度計、磁力計などに基づく位置／向きの決定など、他の入手可能な情報を使用して行うことができる。
カメラ８１６は、ユーザＡを取り巻く実世界環境、例えば、部屋、キャビン、自然環境などの画像及び画像ストリームをキャプチャするために提供される。様々な実施形態では、例えば、ユーザＡがＨＭＤ８０２のディスプレイ等を見ているとき、ユーザＡから離れる方に向いた、背面を向いたカメラ、及び、例えば、ユーザＡがＨＭＤ８０２のディスプレイ等を見ているとき、ユーザＡの方を向いた、前面を向いたカメラを含む、複数のカメラが、ＨＭＤ８０２に含まれる。さらに、いくつかの実施形態では、実世界環境内の物体の深度情報を感知するために、深度カメラ８１８がＨＭＤ８０２に含まれる。
ＨＭＤ８０２は、オーディオ出力を提供するためのスピーカ８２０を含む。また、いくつかの実施形態では、周囲環境からの音声、ユーザＡが行った発話などを含む、実世界環境からのオーディオをキャプチャするために、マイクロフォン８２２が含まれる。ＨＭＤ８０２は、ユーザＡに触覚フィードバックを提供するための触覚フィードバックモジュール８２４、例えば、振動デバイスなどを含む。一実施形態では、触覚フィードバックモジュール８２４は、ユーザＡに触覚フィードバックを提供するためのＨＭＤ８０２の動き及び／または振動を発生させ得る。
ＬＥＤ８２６は、ＨＭＤ８０２のステータスの視覚インジケータとして備えられる。例えば、ＬＥＤは、バッテリレベル、電源オンなどを示してよい。ＨＭＤ８０２がメモリカードからの情報を読み出し、メモリカードに情報を書き込むことを可能にするために、カードリーダ８２８が備えられる。周辺デバイスの接続、または他のデバイス、例えば、他のポータブルデバイス、コンピュータなどへの接続を可能にするためのインタフェースの一例としてＵＳＢインタフェース８３０が備えられる。ＨＭＤ８０２の様々な実施形態では、様々な種類のインタフェースのいずれかが、ＨＭＤ８０２のより高い接続性を可能にするために含まれてよい。
無線ネットワーク技術を介してインターネットへの接続を可能にするために、Ｗｉ－Ｆｉ（登録商標）モジュール８３２が含まれる。また、ＨＭＤ８０２は、他のデバイスへの無線接続を可能にするために、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール８３４を含む。いくつかの実施形態では、他のデバイスへの接続のために通信リンク８３６も含まれる。一実施形態では、通信リンク８３６は、無線通信のために赤外線伝送を利用する。他の実施形態では、通信リンク８３６は、他のデバイスとの通信のために、様々な無線または有線の伝送プロトコルのいずれかを利用する。
入力ボタン／センサ８３８は、ユーザＡ（図１）に入力インタフェースを提供するために含まれる。ボタン、タッチパッド、ジョイスティック、トラックボールなど、様々な種類の入力インタフェースのいずれかが含まれる。様々な実施形態では、超音波技術を介して他のデバイスとの通信を容易にするために、超音波通信モジュール８４０がＨＭＤ８０２に含まれる。
バイオセンサ８４２は、ユーザからの生理学的データの検出を可能にするために含まれる。一実施形態では、バイオセンサ８４２は、ユーザの皮膚を通してユーザの生体電気信号を検出するために、１つまたは複数の乾電極を含む。
ＨＭＤ８０２の前述の構成要素は、ＨＭＤ８０２内に含まれ得る単なる例示的な構成要素として記載した。様々な実施形態では、ＨＭＤ８０２は、上記の様々な構成要素の一部を含んでもよく、含まなくてもよい。
図９は、情報サービスプロバイダ（ＩＮＳＰ）アーキテクチャの実施形態を示す。ＩＮＳＰ９０２は、地理的に分散し、コンピュータネットワーク１０２、例えば、ＬＡＮ、ＷＡＮ、またはそれらの組み合わせ等を介して接続されたユーザＡ、Ｂ、及びＣとユーザＤとに多くの情報サービスを提供する。ＷＡＮの例は、インターネットを含み、ＬＡＮの例は、イントラネットを含む。ユーザＡは、クライアントデバイス９２０－１を操作し、ユーザＢは、別のクライアントデバイス９２０－２を操作し、ユーザＣは、さらに別のクライアントデバイス９２０－３を操作し、ユーザＤは、別のクライアントデバイス９２０－４を操作する。クライアントデバイス９２０－１は、クライアントデバイス１（図１）の例であり、クライアントデバイス９２０－２はクライアントデバイス２（図１）の例であり、クライアントデバイス９２０－３はクライアントデバイス３（図１）の例である。
いくつかの実施形態では、各クライアントデバイス９２０－１、９２０－２、９２０－３、及び９２０－４は、中央処理装置（ＣＰＵ）、ディスプレイ、及び入力／出力（Ｉ／Ｏ）インタフェースを含む。各クライアントデバイス９２０－１、９２０－２、９２０－３、及び９２０－４の例には、パーソナルコンピュータ（ＰＣ）、携帯電話、ネットブック、タブレット、ゲームシステム、パーソナルデジタルアシスタント（ＰＤＡ）、ゲームコンソール７００及びディスプレイデバイス、ＨＭＤ８０２（図１１）、ゲームコンソール７００及びＨＭＤ８０２、デスクトップコンピュータ、ラップトップコンピュータ、スマートテレビなどが含まれる。いくつかの実施形態では、ＩＮＳＰ９０２は、クライアントデバイスのタイプを認識し、使用する通信方法を調整する。
いくつかの実施形態では、ＩＮＳＰは、株価更新などの一種類のサービス、またはブロードキャスト媒体、ニュース、スポーツ、ゲームなどの様々なサービスを提供する。さらに、各ＩＮＳＰによって提供されるサービスは動的である、すなわち、任意の時点でサービスを追加することができる、または取り除くことができる。従って、特定の個人に特定の種類のサービスを提供するＩＮＳＰは、時間の経過と共に変わり得る。例えば、クライアントデバイス９２０－１がユーザＡの居住地にあるときは、クライアントデバイス９２０－１は、クライアントデバイス９２０－１の近くのＩＮＳＰによってサービスを提供され、ユーザＡが異なる都市に移動すると、クライアントデバイス９２０－１は、異なるＩＮＳＰによってサービスを提供される。居住地のＩＮＳＰは、要求された情報及びデータを新しいＩＮＳＰに転送し、その結果、情報は、新しい都市までクライアントデバイス９２０－１「を追いかけて」、データをよりクライアントデバイス９２０－１に近くし、アクセスを容易にする。様々な実施形態では、クライアントデバイス９２０－１の情報を管理するマスタＩＮＳＰと、マスタＩＮＳＰからの制御下でクライアントデバイス９２０－１と直接的にインタフェースをとるサーバＩＮＳＰとの間に、マスタサーバ関係が確立される。いくつかの実施形態では、クライアントデバイス９２０－１が世界中を移動すると、あるＩＳＰから別のＩＳＰにデータが転送され、これにより、クライアントデバイス９２０－１にサービスを提供するのにより良い位置に存在するＩＮＳＰが、これらのサービスを届けるＩＮＳＰとなる。
ＩＮＳＰ９０２は、コンピュータネットワーク１０２を経由して顧客にコンピュータベースのサービスを提供するアプリケーションサービスプロバイダ（ＡＳＰ）９０９を含む。ＡＳＰモデルを使用して提供されるソフトウェアは、オンデマンドソフトウェアまたはサービスとしてのソフトウエア（ＳａａＳ）と呼ばれることもある。顧客関係管理などのコンピュータベースのサービスへのアクセスを提供する簡単な形式は、ハイパーテキスト転送プロトコル（ＨＴＴＰ）などの標準プロトコルを使用することによる。アプリケーションソフトウェアは、ベンダのサーバに常駐し、ベンダによって提供される特殊用途クライアントソフトウェア、及び／または他のリモートインタフェース、例えば、シンクライアント等によって、ハイパーテキストマークアップ言語（ＨＴＭＬ）等を使用して、ウェブブラウザを通して各クライアントデバイス９２０－１、９２０－２、９２０－３、及び９２０－４によってアクセスされる。
広い地理的地域にわたって供給されるサービスは、多くの場合、クラウドコンピューティングを使用する。クラウドコンピューティングとは、動的に拡張縮小可能で多くの場合、仮想化されたリソースがコンピュータネットワーク１０２を介したサービスとして提供されるコンピューティング様式である。ユーザＡ、Ｂ、Ｃ、及びＤは、ユーザをサポートする「クラウド」の技術インフラストラクチャのエキスパートである必要はない。いくつかの実施形態では、クラウドコンピューティングは、サービスとしてのインフラストラクチャ（ＩａａＳ）、サービスとしてのプラットフォーム（ＰａａＳ）、及びサービスとしてのソフトウエア（ＳａａＳ）などの異なるサービスに分けられる。クラウドコンピューティングサービスは、多くの場合、ウェブブラウザからアクセスされる共通のビジネスアプリケーションをオンラインで提供するが、ソフトウェア及びデータはサーバ上に記憶される。クラウドという用語は、コンピュータネットワーク図におけるコンピュータネットワーク１０２の描かれ方に基づいて、例えば、サーバ、ストレージ、及びロジックを使用する、コンピュータネットワーク１０２のメタファーとして使用され、コンピュータネットワーク１０２が隠し持つ複雑なインフラストラクチャの抽象的概念である。
さらに、ＩＮＳＰ９０２は、本明細書ではゲーム処理サーバとも呼ばれるゲーム処理プロバイダ（ＧＰＰ）９１０を含み、ゲーム処理プロバイダ（ＧＰＰ）９１０は、シングル及びマルチプレイヤのビデオゲームをプレイするためにクライアントデバイス９２０－１、９２０－２、９２０－３、及び９２０－４によって使用される。コンピュータネットワーク１０２上でプレイされるほとんどのビデオゲームは、ゲームサーバへの接続を介して動作する。通常、ゲームは、クライアントデバイス９２０－１、９２０－２、９２０－３、及び９２０－４からデータを収集し、他のユーザが操作する他のクライアントにデータを配信する専用サーバアプリケーションを使用する。これは、ピアツーピア構成よりも効率的かつ効果的であるが、サーバアプリケーションをホストする別個のサーバを使用する。いくつかの実施形態では、ＧＰＰ９１０は、集中型ＧＰＰ９１０にさらに依存することなく情報を交換するクライアントデバイス９２０－１、９２０－２、９２０－３、及び９２０－４の間の通信を確立する。
専用ＧＰＰは、クライアントとは独立して実行するサーバである。このようなサーバは、通常、データセンタに配置された専用ハードウェア上で実行し、より多くの帯域幅及び専用処理能力を提供する。専用サーバは、大部分のＰＣベースのマルチプレイヤゲームのためのゲームサーバをホストする方法である。大規模なマルチプレイヤオンラインゲームは、ゲームタイトルを所有するソフトウェア会社が通常ホストする専用サーバ上で実行され、専用サーバがコンテンツを制御及び更新することを可能にする。
ブロードキャスト処理サーバ（ＢＰＳ）９１２は、本明細書ではブロードキャスト処理プロバイダとも呼ばれ、オーディオまたはビデオ信号を視聴者に配信する。非常に狭い範囲の視聴者へのブロードキャスティングは、ナローキャスティングと呼ばれることもある。ブロードキャスト配信の最後の区間は、信号がクライアントデバイス９２０－１、９２０－２、９２０－３、及び９２０－４にどのように到達するかであり、いくつかの実施形態では、信号は、ラジオ局もしくはテレビ局と同様に無線でアンテナ及び受信機に、またはケーブルテレビもしくはケーブルラジオもしくは局を介した「ワイヤレスケーブル」を通して配信される。コンピュータネットワーク１０２はまた、様々な実施形態において、信号及び帯域幅を共有するのを可能にするマルチキャスティングを用いて特に、無線信号またはテレビ信号のいずれかをクライアントデバイス９２０－１、９２０－２、９２０－３、及び９２０－４にもたらす。歴史的に、ブロードキャストは、いくつかの実施形態では、地理的領域、例えば、全国放送、地域放送などによって区切られている。しかし、高速インターネットの普及により、コンテンツは世界のほぼ全ての国に到達できるので、ブロードキャストは地理によって規定されない。
ストレージサービスプロバイダ（ＳＳＰ）９１４は、コンピュータストレージ空間及び関連する管理サービスを提供する。ＳＳＰ９１４は、定期的なバックアップ及びアーカイブも提供する。ストレージをサービスとして提供することにより、クライアントデバイス９２０－１、９２０－２、９２０－３、及び９２０－４は、サービスとしてストレージが使用されない場合と比較して、より多くのストレージを使用する。別の大きな利点は、ＳＳＰ９１４がバックアップサービスを含み、クライアントデバイス９２０－１、９２０－２、９２０－３、及び９２０－４は、ハードドライブに障害が発生してもデータが失われないことである。さらに、いくつかの実施形態では、複数のＳＳＰは、クライアントデバイス９２０－１、９２０－２、９２０－３、及び９２０－４から受信したデータの全体的または部分的なコピーを有し、クライアントデバイス９２０－１、９２０－２、９２０－３、及び９２０－４は、クライアントデバイス９２０－１、９２０－２、９２０－３、及び９２０－４が配置されている場所やクライアントのタイプに関係なく、効率的な方法でデータにアクセスするのを可能にする。例えば、ユーザＡは、家のコンピュータによって個人ファイルにアクセスし、ユーザＡが移動している間は携帯電話によって個人ファイルにアクセスする。
通信プロバイダ９１６は、クライアントデバイス９２０－１、９２０－２、９２０－３、及び９２０－４への接続性を提供する。通信プロバイダ９１６の一種は、コンピュータネットワーク１０２へのアクセスを提供するインターネットサービスプロバイダ（ＩＳＰ）である。ＩＳＰは、ダイヤルアップ、デジタル加入者線（ＤＳＬ）、ケーブルモデム、ファイバ、無線、または専用の高速インターコネクトなどのインターネットプロトコルデータグラムの供給に適したデータ伝送技術を使用してクライアントデバイス９２０－１、９２０－２、９２０－３、及び９２０－４を接続する。通信プロバイダ９１６は、いくつかの実施形態では、電子メール、インスタントメッセージング、及びショートメッセージサービス（ＳＭＳ）テキストなどのメッセージングサービスも提供する。通信プロバイダの別の種類は、コンピュータネットワーク１０２への直接のバックボーンアクセスを提供することによって帯域幅またはネットワークアクセスを販売するネットワークサービスプロバイダ（ＮＳＰ）である。ネットワークサービスプロバイダの例には、電気通信事業者、データ通信事業者、無線通信プロバイダ、インターネットサービスプロバイダ、高速インターネットアクセスを提供するケーブルテレビ事業者などが含まれる。
データ交換９１８は、ＩＮＳＰ９０２内のいくつかのモジュールを相互接続し、コンピュータネットワーク１０２を介してこれらのモジュールをクライアントデバイス９２０－１、９２０－２、９２０－３、及び９２０－４に接続する。データ交換９１８は、様々な実施形態において、ＩＮＳＰ９０２の全てのモジュールが近接している小さい領域をカバーする、または様々なモジュールが地理的に分散しているときには大きな地理的領域をカバーする。例えば、データ交換９０２は、データセンタのキャビネット内の高速のギガビットイーサネット（登録商標）、または大陸間仮想ＬＡＮを含む。
一実施形態では、本明細書で説明する１つまたは複数のノードは、ユーザ入力２（図３Ａ）などの予測されるユーザ入力が受信されるという誤予測の量を決定し、第１の閾値を使用して、画像フレームやオーディオフレームなどのフレームの完全なレンダリングまたは生成をトリガする。誤予測の量は、予測レベルの例であり、第１の閾値よりも大きくなる。第１の閾値は、現在の画像フレームまたは現在のオーディオフレームは、予測されたユーザ入力に基づいて誤って予測または生成されたもので、別の画像フレームまたはオーディオフレームが完全に生成またはレンダリングされるべきと判断されるときである。
ある実施形態では、第１の閾値より下の第２の閾値があり、第２の閾値は、次にフレームのレンダリングまたは生成をトリガするために使用される。例えば、本明細書で説明されるノードの１つまたは複数は、それらが誤予測の先端にあることを検出し、次の予測されたユーザ入力に基づいて、画像フレームまたはオーディオフレームなどの次のフレームを先制的に生成またはレンダリングしない。次に予測されるユーザ入力は、予測されるユーザ入力と連続している。現在の画像フレームまたは現在のオーディオフレームの生成またはレンダリングは、予測されたユーザ入力の所定のレベルの予測に基づく。例えば、予測のレベルが第１の閾値を下回り、１つまたは複数のノードが、次のフレームの生成またはレンダリングは、次に予測されるユーザ入力の所定の予測レベルに基づかないことを予測する。第１の閾値及び第２の閾値のそれぞれは、所定の予測レベルの例である。
また、一実施形態では、本明細書に記載の１つまたは複数のノードが、予測されたユーザ入力の受信の予測が、所定の予測レベルを満たさない、例えば、超えないと判断した場合、１つまたは複数のノードは一時的に中断するか、または予測されたユーザ入力に基づいて画像フレームを生成またはレンダリングする動作を行わない。動作が中断されている間、１つまたは複数のノードは、ユーザ入力１’（図３Ａ）などの実際のユーザ入力に基づいて画像フレーム及びオーディオフレームの生成またはレンダリングを行う。動作が中断されている間、１つまたは複数のノードは、予測を学習して所定のレベルの予測を達成する。例として、一定期間、ゲームセッションの期間中、またはゲーム内で既知のイベントが発生するまで、または予測エンジンが所定のレベルより高いレベルの予測をするまで、動作が中断される、及び／または学習が生じる。予測エンジンは、ノードの１つまたは複数によって実行されるコンピュータプログラムである。既知のイベントの例は、ゲームシーンの終了であり、これは、所定の予測レベルで予測するのが難しいシーンである。困難なシーンの実例は、仮想オブジェクトまたは仮想キャラクタの所定の量よりも大きい動きもしくは操作、またはそれらの組み合わせを伴うシーンである。一定期間後、またはゲームセッション終了後、または、既知のイベントが生じた後、または、予測エンジンが、所定のレベルより大きいレベルまで予測した後、本明細書に記載のノードの１つまたは複数は、ユーザ入力の予測と、予測されたユーザ入力に基づいて、画像フレーム及びオーディオフレームの生成に戻る。
様々な実施形態において、本明細書に記載されるいくつかの実施形態の１つまたは複数の特徴は、本明細書に記載される残りの実施形態の１つまたは複数の１つまたは複数の特徴と組み合わされることに留意されたい。
本開示に記載の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースもしくはプログラム可能な消費者向け電気製品、小型コンピュータ、メインフレームコンピュータなどを含む様々なコンピュータシステム構成で実施されてよい。一実施態様では、本開示に記載の実施形態は、有線または無線ネットワークを通してリンクされたリモート処理デバイスによってタスクが行われる分散コンピューティング環境で実践される。
前述の実施形態を念頭に置いて、一実施態様では、本開示に記載の実施形態は、コンピュータシステムに記憶されたデータを伴う様々なコンピュータ実施動作を採用することを理解されたい。これらの動作は、物理量の物理的操作を要する動作である。本開示に記載の実施形態の一部を形成する本明細書で説明される動作のうちのいずれも、有用な機械動作である。本開示に記載のいくつかの実施形態はまた、これらの動作を行うためのデバイスまたは装置に関する。装置は、必要な目的のために特別に構築される、または装置は、コンピュータに記憶されたコンピュータプログラムにより選択的に起動または構成される汎用コンピュータである。具体的には、一実施形態において、様々な汎用マシンは、本明細書の教示に従って書かれたコンピュータプログラムと共に使用される、または、必要な動作を行うためにさらに特化した装置を構築するほうがより好都合な場合がある。
ある実施態様では、本開示に記載のいくつかの実施形態は、コンピュータ可読媒体上のコンピュータ可読コードとして具体化される。コンピュータ可読媒体は、後にコンピュータシステムにより読み出されるデータを記憶する任意のデータストレージデバイスである。コンピュータ可読媒体の例には、ハードドライブ、ネットワーク接続型ストレージ（ＮＡＳ）、ＲＯＭ、ＲＡＭ、コンパクトディスクＲＯＭ（ＣＤ－ＲＯＭ）、記録可能ＣＤ（ＣＤ－Ｒ）、書き換え可能ＣＤ（ＣＤ－ＲＷ）、磁気テープ、光学データストレージデバイス、非光学データストレージデバイスなどが含まれる。例として、コンピュータ可読媒体は、コンピュータ可読コードが分散方式で記憶及び実行されるように、ネットワークで結合されたコンピュータシステム上に分散されたコンピュータ可読有形媒体を含む。
さらに、上記の実施形態のいくつかは、ゲーム環境に関して記載されているが、いくつかの実施形態では、ゲームの代わりに、他の環境、例えば、ビデオ会議環境などが使用される。
方法の動作を特定の順序で記載したが、オーバーレイ動作の処理が所望の方法で実行される限り、動作間に他のハウスキーピング動作が実行されてよく、または動作がわずかに異なる時間に起こるように調整されてよく、またはシステム内に動作を分散することで、処理に関連する様々な間隔で処理動作が起こることを可能にしてよいことを、理解すべきである。
本開示に記載の前述の実施形態は、理解を明確にするためにある程度詳細に説明したが、添付の特許請求の範囲内で特定の変更及び修正を実施できることは明らかであろう。従って、本実施形態は、限定ではなく例示としてみなされるべきであり、本実施形態は、本明細書に記載される詳細に限定されるべきではなく、添付の請求項の範囲及び均等物の中で変更されてよい。

Claims (9)

  1. ゲームの実行における待ち時間を短縮する方法であって、
    第１のノードが、コンピュータネットワークを介して前記ゲームに関連する第１のユーザ入力を受信することと、
    前記第１のノードが、前記第１のユーザ入力から前記ゲームの現在の状態を決定することと、
    前記第１のノードと結合された第２のノードが、前記ゲームの前記現在の状態を決定している期間中に前記第１のユーザ入力と１つまたは複数の予測ユーザ入力とに基づいて、前記ゲームの前記現在の状態よりも後の次の状態を予測することと、
    前記次の状態から１つまたは複数の予測フレームを生成することと、
    前記第２のノードが、前記１つまたは複数の予測ユーザ入力とは異なる第２のユーザ入力が前記コンピュータネットワークを介して受信されたことを判断することであって、前記第２のユーザ入力は、前記ゲームの前記次の状態から前記１つまたは複数の予測フレームを生成する間に受信される、判断することと、
    前記第２のユーザ入力からゲーム状態を生成することと、
    前記ゲーム状態から１つまたは複数のフレームを生成することであって、前記ゲーム状態を生成すること及び前記１つまたは複数のフレームを生成することは、前記１つまたは複数の予測フレームを生成することよりも高い優先度を与えられる、生成することと、
    前記１つまたは複数のフレームを送信することと、
    を含み、
    前記高い優先度は、より早い処理速度またはより大きいメモリスペースを有する前記第１のノード及び前記第２のノードのうちの１つによって提供される、前記方法。
  2. 前記ゲームの前記次の状態を前記予測することは、前記ゲームの前記現在の状態の出力に基づく、請求項１に記載の方法。
  3. 前記次の状態内に含まれない前記ゲームのゲーム状態の１つまたは複数の要素を識別することをさらに含み、前記ゲーム状態を生成することは、
    前記１つまたは複数の予測ユーザ入力とは異なる前記第２のユーザ入力から前記ゲーム状態の前記１つまたは複数の要素を生成することを含み、
    前記ゲーム状態の前記１つまたは複数の要素から１つまたは複数のフレームが生成され、
    １つまたは複数の合成画像の表示を可能にするために、前記ゲーム状態の前記１つまたは複数の要素から前記１つまたは複数のフレームが送信され、前記１つまたは複数の合成画像は、前記１つまたは複数の予測フレーム上に重ね合わせられた前記ゲーム状態の前記１つまたは複数の要素を有する、
    請求項１に記載の方法。
  4. 前記フレームは、画像フレームもしくはオーディオフレーム、または、画像フレーム及びオーディオフレームの両方を含む、請求項１に記載の方法。
  5. ゲームの実行において待ち時間を短縮するシステムであって、前記システムは、
    第１のノードであって、
    コンピュータネットワークを介して前記ゲームに関連する第１のユーザ入力を受信し、
    前記第１のユーザ入力から前記ゲームの現在の状態を決定する
    ように構成された前記第１のノードと、
    前記第１のノードに結合された第２のノードと、を含み、前記第２のノードは、
    前記ゲームに関連する前記第１のユーザ入力を前記第１のノードから受信し、
    前記ゲームの前記現在の状態を決定している期間中に、前記第１のユーザ入力と１つまたは複数の予測ユーザ入力とに基づいて、前記ゲームの次の状態を予測し、
    前記次の状態から１つまたは複数の予測フレームを生成し、
    前記１つまたは複数の予測ユーザ入力とは異なる第２のユーザ入力が前記コンピュータネットワークを介して受信されたことを判断し、前記第２のユーザ入力は、前記１つまたは複数の予測フレームを生成する間に受信され、
    前記第１のノード及び前記第２のノードのうちの一方は、
    前記第２のユーザ入力からゲーム状態を生成し、
    前記ゲーム状態から１つまたは複数のフレームを生成し、
    前記１つまたは複数のフレームを送信し、
    前記ゲーム状態の生成及び前記１つまたは複数のフレームの生成は、前記１つまたは複数の予測フレームを生成することよりも高い優先度を与えられ、
    前記高い優先度は、より早い処理速度またはより大きいメモリスペースを有する前記第１のノード及び前記第２のノードのうちの一方によって提供される、前記システム。
  6. 前記第２のノードは、前記ゲームの前記現在の状態の出力に基づいて、前記ゲームの前記次の状態を予測するように構成される、請求項５に記載のシステム。
  7. 前記第１のノード及び前記第２のノードのうちの前記一方は、
    前記次の状態内に含まれない前記ゲームの前記ゲーム状態の１つまたは複数の要素を識別し、
    前記ゲーム状態を生成するために、前記１つまたは複数の予測ユーザ入力とは異なる前記第２のユーザ入力から前記ゲーム状態の前記１つまたは複数の要素を生成するように構成され、
    前記ゲーム状態の前記１つまたは複数の要素から１つまたは複数のフレームが生成され、且つ、
    １つまたは複数の合成画像の表示を可能にするために、前記１つまたは複数のフレームが送信され、前記１つまたは複数の合成画像は、前記１つまたは複数の予測フレーム上に重ね合わせられた前記ゲーム状態の前記１つまたは複数の要素を有する、
    請求項５に記載のシステム。
  8. 前記フレームは、画像フレームもしくはオーディオフレーム、または、画像フレーム及びオーディオフレームの両方を含む、請求項５に記載のシステム。
  9. ゲームの実行において待ち時間を短縮するためのプログラム命令を含むコンピュータ可読媒体であって、コンピュータシステムの１つまたは複数のプロセッサによる前記プログラム命令の実行により、前記１つまたは複数のプロセッサに、
    第１のノードが、コンピュータネットワークを介して前記ゲームに関連する第１のユーザ入力を受信することと、
    前記第１のノードが、前記第１のユーザ入力から前記ゲームの現在の状態を決定することと、
    前記第１のノードに結合された第２のノードが、前記ゲームの前記現在の状態を決定している期間中に、前記ユーザ入力と１つまたは複数の予測ユーザ入力とに基づいて、前記ゲームの次の状態を予測することと、
    前記次の状態から１つまたは複数の予測フレームを生成することと、
    前記第２のノードが、前記１つまたは複数の予測ユーザ入力とは異なる第２のユーザ入力が前記コンピュータネットワークを介して受信されたことを判断することであって、前記第２のユーザ入力は、前記ゲームの前記次の状態から前記１つまたは複数の予測フレームを生成する間に受信される、判断することと、
    前記第２のユーザ入力からゲーム状態を生成することと、
    前記ゲーム状態から１つまたは複数のフレームを生成することであって、前記ゲーム状態を生成すること及び前記１つまたは複数のフレームを生成することは、前記１つまたは複数の予測フレームを生成することよりも高い優先度を与えられる、生成することと、
    前記１つまたは複数のフレームを送信することと、
    の複数の動作を行わせ、
    前記高い優先度は、より早い処理速度またはより大きいメモリスペースを有する前記第１のノード及び前記第２のノードのうちの１つによって提供される、前記コンピュータ可読媒体。
JP2021555797A 2019-03-15 2020-02-19 分散型ゲームエンジンを使用して状態を予測するシステム及び方法 Active JP7337187B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023109581A JP2023115398A (ja) 2019-03-15 2023-07-03 分散型ゲームエンジンを使用して状態を予測するシステム及び方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/355,535 US10926177B2 (en) 2019-03-15 2019-03-15 Systems and methods for predicting states by using a distributed game engine
US16/355,535 2019-03-15
PCT/US2020/018740 WO2020190437A1 (en) 2019-03-15 2020-02-19 Systems and methods for predicting states by using a distributed game engine

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023109581A Division JP2023115398A (ja) 2019-03-15 2023-07-03 分散型ゲームエンジンを使用して状態を予測するシステム及び方法

Publications (2)

Publication Number Publication Date
JP2022525414A JP2022525414A (ja) 2022-05-13
JP7337187B2 true JP7337187B2 (ja) 2023-09-01

Family

ID=70005735

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021555797A Active JP7337187B2 (ja) 2019-03-15 2020-02-19 分散型ゲームエンジンを使用して状態を予測するシステム及び方法
JP2023109581A Pending JP2023115398A (ja) 2019-03-15 2023-07-03 分散型ゲームエンジンを使用して状態を予測するシステム及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023109581A Pending JP2023115398A (ja) 2019-03-15 2023-07-03 分散型ゲームエンジンを使用して状態を予測するシステム及び方法

Country Status (5)

Country Link
US (2) US10926177B2 (ja)
EP (1) EP3938063B1 (ja)
JP (2) JP7337187B2 (ja)
CN (1) CN113766958B (ja)
WO (1) WO2020190437A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11033813B2 (en) * 2019-06-07 2021-06-15 Microsoft Technology Licensing, Llc Latency erasure
KR20210128091A (ko) * 2020-04-16 2021-10-26 삼성전자주식회사 스트리밍 시스템 및 인터렉티브 스트리밍 서비스 제공 방법
US11582478B2 (en) * 2020-09-08 2023-02-14 Alibaba Group Holding Limited Video encoding technique utilizing user guided information in cloud environment
CN112657181B (zh) * 2020-12-21 2024-09-10 北京像素软件科技股份有限公司 状态同步方法和装置
US20220212100A1 (en) * 2021-01-04 2022-07-07 Microsoft Technology Licensing, Llc Systems and methods for streaming interactive applications
US11278810B1 (en) * 2021-04-01 2022-03-22 Sony Interactive Entertainment Inc. Menu placement dictated by user ability and modes of feedback
US11579752B1 (en) * 2021-07-20 2023-02-14 Sony Interactive Entertainment Inc. Augmented reality placement for user feedback
CN113713381B (zh) * 2021-09-09 2023-06-20 腾讯科技（深圳）有限公司 对象管理方法、装置、设备、存储介质及系统
CN118339838A (zh) 2021-11-30 2024-07-12 三星电子株式会社 允许在服务器和电子装置之间流传输视频内容的方法以及用于流传输视频内容的服务器和电子装置
CN114880107A (zh) * 2021-12-09 2022-08-09 许磊 一种高效低成本的云游戏系统
US20230208761A1 (en) * 2021-12-28 2023-06-29 International Business Machines Corporation Ai-based compensation of resource constrained communication
CN114356097A (zh) * 2022-01-10 2022-04-15 腾讯科技（深圳）有限公司 虚拟场景的振动反馈处理方法、装置、设备、介质及程序产品
CN115414664A (zh) * 2022-08-31 2022-12-02 深圳十米网络科技有限公司 体感设备的数据传输方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150119139A1 (en) 2013-10-29 2015-04-30 Disney Enterprises, Inc. Selective caching of interactive objects
US20180115743A1 (en) 2016-10-21 2018-04-26 Liquidsky Software, Inc. Predictive virtual reality content streaming techniques

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6121981A (en) * 1997-05-19 2000-09-19 Microsoft Corporation Method and system for generating arbitrary-shaped animation in the user interface of a computer
US6091422A (en) * 1998-04-03 2000-07-18 Avid Technology, Inc. System for editing complex visual data providing a continuously updated rendering
US9849372B2 (en) * 2012-09-28 2017-12-26 Sony Interactive Entertainment Inc. Method and apparatus for improving efficiency without increasing latency in emulation of a legacy application title
US20050071306A1 (en) * 2003-02-05 2005-03-31 Paul Kruszewski Method and system for on-screen animation of digital objects or characters
US20060274070A1 (en) * 2005-04-19 2006-12-07 Herman Daniel L Techniques and workflows for computer graphics animation system
US9021390B1 (en) * 2010-05-05 2015-04-28 Zynga Inc. Methods and apparatus for optimized pausing of an embedded application to render pop-up window
KR101593344B1 (ko) 2011-11-10 2016-02-18 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 이력 플레이어 데이터를 이용한 추론적인 렌더링
US8797340B2 (en) * 2012-10-02 2014-08-05 Nvidia Corporation System, method, and computer program product for modifying a pixel value as a function of a display duration estimate
US10062141B2 (en) * 2012-10-24 2018-08-28 Nubo Software Server-based fast remote display on client devices
US9717982B2 (en) * 2012-12-21 2017-08-01 Microsoft Technology Licensing, Llc Client rendering of latency sensitive game features
US9433863B2 (en) 2012-12-31 2016-09-06 Echostar Technologies L.L.C. Video processing using concurrent outcome simulation threads
KR101732001B1 (ko) * 2013-03-11 2017-05-24 가부시키가이샤 카프콤 게임 장치 및 컴퓨터 판독 가능 기록매체
US9295915B2 (en) * 2013-05-20 2016-03-29 Microsoft Technology Licensing, Llc Game availability in a remote gaming environment
JP5830496B2 (ja) * 2013-06-07 2015-12-09 株式会社ソニー・コンピュータエンタテインメント ディスプレイコントローラおよび画面転送装置
US9734134B1 (en) * 2013-09-19 2017-08-15 Amazon Technologies, Inc. Conditional promotion through frame reordering
US10549180B2 (en) * 2013-09-30 2020-02-04 Zynga Inc. Swipe-direction gesture control for video games using glass input devices
US10112115B2 (en) * 2013-10-28 2018-10-30 Nvidia Corporation Gamecasting techniques
US20150126282A1 (en) * 2013-11-01 2015-05-07 Numecent Holdings Inc. Adaptive application streaming in cloud gaming
JP5898169B2 (ja) * 2013-12-12 2016-04-06 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲームシステム及びプログラム
CN104981797B (zh) 2014-02-07 2018-05-15 Sk科技有限公司 云流服务系统以及提供云流服务的方法和设备
US9468845B2 (en) * 2014-04-22 2016-10-18 Zynga Inc. Methods for using touch-screens to simulate balancing and manipulation of curved object during gameplay
US9918136B2 (en) * 2014-05-29 2018-03-13 Nextvr Inc. Methods and apparatus for delivering content and/or playing back content
GB2528437B8 (en) * 2014-07-16 2019-03-06 Tangentix Ltd Method and apparatus for providing content protection in a computer system
WO2016011457A1 (en) * 2014-07-18 2016-01-21 Acrovirt, LLC Generating and using a predictive virtual personification
US20160082353A1 (en) * 2014-09-18 2016-03-24 Maurice David CHRISTOVALE Method and system to use an interruption component in an interactive game session to encourage gamers to exercise
US20160360220A1 (en) * 2015-06-04 2016-12-08 Apple Inc. Selective packet and data dropping to reduce delay in real-time video communication
WO2017058539A1 (en) * 2015-09-30 2017-04-06 Sony Interactive Entertainment America Llc Multi-user demo streaming service for cloud gaming
US9947068B2 (en) * 2016-03-10 2018-04-17 Gamefly Israel Ltd. System and method for GPU scheduling
US9965899B2 (en) * 2016-04-28 2018-05-08 Verizon Patent And Licensing Inc. Methods and systems for minimizing pixel data transmission in a network-based virtual reality media delivery configuration
US10456666B2 (en) * 2017-04-17 2019-10-29 Intel Corporation Block based camera updates and asynchronous displays
RU2726284C1 (ru) * 2017-04-21 2020-07-10 Зенимакс Медиа Инк. Компенсация движения на основании ввода игрока посредством прогнозирования векторов движения
US10525341B2 (en) * 2017-04-24 2020-01-07 Intel Corporation Mechanisms for reducing latency and ghosting displays
US10659526B2 (en) * 2018-01-03 2020-05-19 Verizon Patent And Licensing Inc. Edge compute systems and methods
US11262839B2 (en) * 2018-05-17 2022-03-01 Sony Interactive Entertainment Inc. Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment
US10942564B2 (en) * 2018-05-17 2021-03-09 Sony Interactive Entertainment Inc. Dynamic graphics rendering based on predicted saccade landing point

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150119139A1 (en) 2013-10-29 2015-04-30 Disney Enterprises, Inc. Selective caching of interactive objects
US20180115743A1 (en) 2016-10-21 2018-04-26 Liquidsky Software, Inc. Predictive virtual reality content streaming techniques

Also Published As

Publication number Publication date
US20200289937A1 (en) 2020-09-17
US11865450B2 (en) 2024-01-09
CN113766958A (zh) 2021-12-07
JP2022525414A (ja) 2022-05-13
CN113766958B (zh) 2024-09-17
US20210154583A1 (en) 2021-05-27
EP3938063B1 (en) 2024-04-03
JP2023115398A (ja) 2023-08-18
WO2020190437A1 (en) 2020-09-24
EP3938063A1 (en) 2022-01-19
US10926177B2 (en) 2021-02-23

Similar Documents

Publication Publication Date Title
JP7337187B2 (ja) 分散型ゲームエンジンを使用して状態を予測するシステム及び方法
US11943281B2 (en) Systems and methods for using a distributed game engine
EP3749427B1 (en) Methods and systems for providing shortcuts for fast load when moving between scenes in virtual reality
JP7411794B2 (ja) Ｇｐｕの１つまたは複数のパラメータを調整するためのシステム及び方法
US12029972B2 (en) Systems and methods for facilitating communication between players during game play
US20220360812A1 (en) Systems and methods for decoding and displaying image frames
JP2024521138A (ja) レガシーゲームのプレイ中のユーザ入力のエミュレーションのためのシステム及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230703

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230822

R150 Certificate of patent or registration of utility model

Ref document number: 7337187

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150