JP7416925B2 - クラウドゲーム時のプレーヤ対話型ウィンドウへのプレーヤ入力の遅延認識フィルタリング - Google Patents

Description

背景
対話型ビデオゲームアプリケーションは、しばしば、プレーヤ対話型ウィンドウを利用して、プレーヤがゲームコントローラ上の１つ以上のボタンを操作することによって生成されたプレーヤからの指示または他の入力を受信する。一例として、ゲームプレイ中にプレーヤ対話型ウィンドウを表示することによって、最近取得したツールのゲームプレイでの使い方に関するチュートリアルをプレーヤに提示することができ、またはプレーヤ対話型ウィンドウを表示することによって、ゲームプレイのいくつかの状況に関する複数のオプションのうちの１つを選択するようにプレーヤを促すことができる。このようなプレーヤ対話型ウィンドウは、一般的に、通常のゲームプレイ中にプレーヤによって使用されているボタンと同じボタンを介して、プレーヤ入力を求める。したがって、プレーヤが通常のゲームプレイに入力を提供することを意図しているボタンを押すと、そのボタンの押下と同時にプレーヤ対話型ウィンドウが生成され表示されている場合、ゲームシステムは、そのボタンの押下をプレーヤ対話型ウィンドウへの入力として解釈してしまう可能性がある。例えば、プレーヤがゲームプレイ中にゲームキャラクタをジャンプさせる意図で「Ｙ」ボタンを押すときに、チュートリアルウィンドウを閉じることを示す入力として「Ｙ」ボタンを使用するチュートリアルウィンドウがインスタンス化され、プレーヤに表示されている場合、ゲームシステムは、チュートリアルウィンドウの表示と同時にプレーヤが「Ｙ」ボタンを押すことを、チュートリアルウィンドウを閉じるプレーヤ指示として意図せずに解釈してしまう可能性があり、プレーヤからチュートリアルウィンドウの内容を読む機会を奪う。

ビデオゲームアプリケーションを実行する処理システムと、ビデオゲームアプリケーションによってレンダリングされたビデオストリームを表示するディスプレイ装置と、プレーヤ入力を提供するゲームコントローラとが（例えば、ハード配線、パーソナルエリアネットワークまたはローカルエリアネットワークを介して）ローカル接続されている従来のゲームシステムにおいて、通常のゲームプレイ用のゲームコントローラボタンの操作が、プレーヤがその存在を認識する前に表示されているプレーヤ対話型ウィンドウに関連するプレーヤ入力として誤って解釈される可能性がある。また、ゲームコントローラおよびディスプレイがビデオゲームアプリケーションを実行する処理システムにリモート接続されるクラウドゲーム構成において、プレーヤ対話型ウィンドウを含むフレームのレンダリングとフレームの表示との間の遅延（latency）、およびプレーヤによるゲームコントローラ上の所定のボタンの操作と処理システムによるそのボタンの操作を示すデータの受信との間の遅延に起因して、この可能性がさらに悪化する。一例として、プレーヤ対話型ウィンドウを含む第１のレンダリングされたフレームを表示するのに２０ミリ秒（ｍｓ）を要し、プレーヤによる特定のボタンの押下がリモート処理システムに到達するのに２０ｍｓを要する場合、通常のゲームプレイ中にプレーヤによる特定のボタンの押下は、プレーヤ対話型ウィンドウがプレーヤのディスプレイ上に表示される４０ｍｓ前に、リモートに実行されているビデオゲームアプリケーションによって、プレーヤ対話型ウィンドウへのプレーヤ入力として誤って解釈される可能性がある。

概要
一例において、コンピュータで実行される方法は、サーバ上でビデオゲームアプリケーションを実行することを含み、サーバは、ゲームコントローラと、プレーヤとビデオゲームアプリケーションとの対話に使用されるクライアント装置とにリモート接続される。この方法は、サーバ上でビデオゲームアプリケーションに関連して生成されたビデオストリーム内のプレーヤ対話型ウィンドウのインスタンス化を検出することに応答して、プレーヤ対話型ウィンドウのインスタンス化の後、ビデオゲームアプリケーションが特定のフィルタウィンドウに受信されたゲームコントローラからの１つ以上のプレーヤ入力をプレーヤ対話型ウィンドウに反応する（すなわち、ビデオゲームアプリケーションにおいてプレーヤ対話型ウィンドウを表示することに応答して生じる）プレーヤ入力として解釈することを防止することを含む。プレーヤ対話型ウィンドウは、特にビデオゲームアプリケーションに表示される情報に関連するが、フィルタウィンドウは、プレーヤ対話型ウィンドウのインスタンス化が発生した時点後の設定タイムスロットに関連する。

いくつかの実施形態において、ビデオゲームアプリケーションがゲームコントローラからの１つ以上のプレーヤ入力をプレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止する（またはブロックする）ことは、プレーヤ対話型ウィンドウのインスタンス化の後に設定されたフィルタウィンドウの期間中に、ビデオゲームアプリケーションがゲームコントローラからの１つ以上のプレーヤ入力をプレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止することを含む。

いくつかの実施形態において、方法は、サーバ、クライアント装置およびゲームコントローラを接続するネットワークの少なくとも１つのネットワーク遅延（latency）を表す累積遅延を決定することと、累積遅延に基づいてフィルタウィンドウの期間を設定することとをさらに含む。方法は、ビデオストリームのデータをクライアント装置に送信するための第１のネットワーク遅延と、プレーヤ入力データをゲームコントローラからサーバに送信するための第２のネットワーク遅延とのうち、少なくとも１つを決定することをさらに含み、累積遅延は、第１のネットワーク遅延および第２のネットワーク遅延のうち、少なくとも１つを表す。方法は、プレーヤ反応時間を決定することをさらに含み、累積遅延は、プレーヤ反応時間をさらに表す。

いくつかの実施形態において、ビデオゲームアプリケーションが１つ以上のプレーヤ入力をプレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止することは、フィルタウィンドウの期間中に、ビデオゲームアプリケーションに提供されるプレーヤ入力ストリームから１つ以上のプレーヤ入力をフィルタリングすることを含む。他の実施形態において、ビデオゲームアプリケーションが１つ以上のプレーヤ入力をプレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止することは、フィルタウィンドウの期間中に、ビデオゲームアプリケーションのプレーヤ対話型ウィンドウを非対話型ウィンドウに一時的に設定することを含む。さらに他の実施形態において、ビデオゲームアプリケーションが１つ以上のプレーヤ入力をプレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止することは、プレーヤ対話型ウィンドウに関するアクションを呼び出す１つ以上のプレーヤ入力のサブセットを決定することと、ビデオゲームアプリケーションが決定されたサブセット中のプレーヤ入力のみをプレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止することとを含む。さらに、ビデオゲームアプリケーションが１つ以上のプレーヤ入力をプレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止することは、フィルタウィンドウ中に、ビデオゲームアプリケーションがサーバに受信された全てのプレーヤ入力をプレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止することを含む。

いくつかの実施形態において、プレーヤ対話型ウィンドウのインスタンス化を検出することは、ビデオゲームアプリケーションから、プレーヤ対話型ウィンドウがビデオゲームアプリケーションによってインスタンス化されていることを示す通知を受信することを含む。いくつかの実施形態において、プレーヤ対話型ウィンドウのインスタンス化を検出することは、サーバ上で、オブジェクト認識モデルを用いて、ビデオストリームのフレームにプレーヤ対話型ウィンドウが存在することを示すオブジェクトの初期存在を検出することを含む。この場合、オブジェクト認識モデルは、フレームの特定の領域内のオブジェクトの位置、オブジェクトのサイズまたは寸法、オブジェクトの形状、オブジェクト内の特定の英数字の存在、オブジェクトの色、およびオブジェクトの陰影のうち、少なくとも１つを含むプレーヤ対話型ウィンドウの１つ以上の特性を表す。

別の例において、リモートゲームシステムは、ネットワークを介してクライアント装置およびゲームコントローラに接続可能なサーバを含む。サーバは、ビデオゲームアプリケーションを実行し、ビデオゲームアプリケーションに関連して生成されたビデオストリーム内のプレーヤ対話型ウィンドウのインスタンス化を検出することに応答して、プレーヤ対話型ウィンドウのインスタンス化の後、ビデオゲームアプリケーションが特定のフィルタウィンドウに受信されたゲームコントローラからの１つ以上のプレーヤ入力をプレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止するように構成される。

いくつかの実施形態において、サーバは、プレーヤ対話型ウィンドウのインスタンス化の後に設定されたフィルタウィンドウの期間中に、ビデオゲームアプリケーションがゲームコントローラからの１つ以上のプレーヤ入力をプレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止するように構成される。

いくつかの実施形態において、サーバは、サーバ、クライアント装置およびゲームコントローラを接続するネットワークの少なくとも１つのネットワーク遅延を表す累積遅延を決定し、累積遅延に基づいてフィルタウィンドウの期間を設定するようにさらに構成される。いくつかの実施形態において、サーバは、ビデオストリームのデータをクライアント装置に送信するための第１のネットワーク遅延と、プレーヤ入力データをゲームコントローラからサーバに送信するための第２のネットワーク遅延とのうち、少なくとも１つを決定するようにさらに構成され、累積遅延は、第１のネットワーク遅延および第２のネットワーク遅延のうち、少なくとも１つを表す。

いくつかの実施形態において、サーバは、フィルタウィンドウの期間中に、ビデオゲームアプリケーションに提供されるプレーヤ入力ストリームから１つ以上のプレーヤ入力をフィルタリングすることによって、ビデオゲームアプリケーションが１つ以上のプレーヤ入力をプレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止するように構成される。他の実施形態において、サーバは、１フィルタウィンドウの期間中に、ビデオゲームアプリケーションのプレーヤ対話型ウィンドウを非対話型ウィンドウに一時的に設定することによって、ビデオゲームアプリケーションが１つ以上のプレーヤ入力をプレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止するように構成される。

いくつかの実施形態において、サーバは、プレーヤ対話型ウィンドウに関するアクションを呼び出す１つ以上のプレーヤ入力のサブセットを決定すること、およびビデオゲームアプリケーションが決定されたサブセット中のプレーヤ入力のみをプレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止することによって、ビデオゲームアプリケーションが１つ以上のプレーヤ入力をプレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止するように構成される。他の実施形態において、サーバは、フィルタウィンドウ中に、ビデオゲームアプリケーションがサーバに受信された全てのプレーヤ入力をプレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止することによって、ビデオゲームアプリケーションが１つ以上のプレーヤ入力をプレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止するように構成される。

いくつかの実施形態において、サーバは、ビデオゲームアプリケーションから、プレーヤ対話型ウィンドウがビデオゲームアプリケーションによってインスタンス化されていることを示す通知を受信することによって、プレーヤ対話型ウィンドウのインスタンス化を検出するように構成される。いくつかの実施形態において、サーバは、オブジェクト認識モデルを用いて、ビデオストリームのフレームにプレーヤ対話型ウィンドウが存在することを示すオブジェクトの初期存在を検出することによって、プレーヤ対話型ウィンドウのインスタンス化を検出するように構成される。いくつかの実施形態において、オブジェクト認識モデルは、フレームの特定の領域内のオブジェクトの位置、オブジェクトのサイズまたは寸法、オブジェクトの形状、オブジェクト内の特定の英数字の存在、オブジェクトの色、およびオブジェクトの陰影のうち、少なくとも１つを含むプレーヤ対話型ウィンドウの１つ以上の特性を表す。

いくつかの実施形態において、サーバは、プレーヤ反応時間を決定するようにさらに構成され、累積遅延は、当該プレーヤ反応時間をさらに表す。いくつかの実施形態において、システムは、ゲームコントローラおよびクライアント装置をさらに含む。

一般的に、本解決策は、特に、１つ以上の広域パケット交換ネットワークを介してプレーヤのディスプレイおよびゲームコントローラに接続されるゲームサーバを採用するリモートまたは「クラウド」ゲームシステムに関する。このようにリモート接続されているため、ゲームサーバ上で実行するビデオゲームアプリケーションが、プレーヤ対話型ウィンドウをレンダリングされたビデオストリームの特定のフレームにインスタンス化する時間と、同じフレームをプレーヤのリモートディスプレイに表示する時間との間に、かなり長い遅延が生じる。同様に、プレーヤがゲームコントローラ上のボタンを操作する時間と、ビデオゲームアプリケーションがそのボタン操作を表すデータまたは他の信号を受信する時間との間に、同じく比較的長い遅延が生じる。この累積遅延は、しばしば、通常のゲームプレイ（すなわち、プレーヤ対話型ウィンドウが存在していないゲームプレイ）中にプレーヤによるボタン操作が、ビデオゲームアプリケーションによって、既にインスタンス化されているが、そのインスタンス化がプレーヤによって認識されていないプレーヤ対話型ウィンドウに反応するプレーヤ入力として誤って解釈される可能性がある。このことは、いくつかの望ましくない形で現れる可能性がある。例えば、プレーヤがプレーヤ対話型ウィンドウに気付く前に、プレーヤ入力が、プレーヤ対話型ウィンドウに関連するアクションを呼び出し、呼び出されたアクションを反映するようにゲームプレイを修正するものとして解釈される可能性がある。別の例として、この遅延によって、プレーヤがチュートリアルウィンドウに気付く前に、プレーヤ入力が、チュートリアルウィンドウを閉じるアクションを呼び出すものとして解釈される（したがって、プレーヤからチュートリアルウィンドウの内容をレビューする機会を奪う）可能性がある。

本解決策は、特に、プレーヤ対話型ウィンドウのインスタンス化を検出した後、遅延認識（latency-aware）プレーヤ入力フィルタリングを使用することによって、通常のゲームプレイ（すなわち、プレーヤ対話型ウィンドウが存在しない場合のゲームプレイ）中のプレーヤ入力が、クラウドゲームシステム内のプレーヤ対話型ウィンドウに反応するプレーヤ入力として意図せずに解釈されることを軽減するためのシステムおよび技術に関する。少なくとも１つの実施形態において、ゲームサーバは、ゲームサーバ上で実行されているビデオゲームアプリケーションによって、プレーヤ対話型ウィンドウのインスタンス化を検出する。プレーヤ対話型ウィンドウは、ビデオゲームアプリケーションがプレーヤ対話型ウィンドウをインスタンス化していることを示す明示的な通知によって、例えばアプリケーションプログラマインターフェイス（ＡＰＩ）を介して提出された信号によって検出されてもよく、または推論によって、例えばビデオゲームアプリケーションの実行を容易にするソフトウェアプラットフォームが、オブジェクト認識モデルを使用して、プレーヤ対話型ウィンドウである可能性が高いフレーム内のオブジェクトの存在を検出することによって検出されてもよい。プレーヤ対話型ウィンドウのインスタンス化を検出したことに応答して、ゲームサーバは、プレーヤ対話型ウィンドウのインスタンス化を検出した後の特定の期間において、プレーヤ入力をフィルタリングするためのフィルタウィンドウを実装する。これによって、フィルタリングされたプレーヤ入力がプレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈されることを防止することができる。少なくとも１つの実施形態において、フィルタウィンドウの期間は、クラウドゲームシステムによって示された現在の累積遅延に依存する。この現在の累積遅延は、ゲームサーバとディスプレイとの間のネットワーク経路の検出または推定された遅延、検出または推定されたプレーヤ応答時間、検出または推定されたデータ処理遅延のうち、１つ以上の和を含むことができる。

いくつかの実施形態において、ビデオゲームアプリケーションは、フィルタリングウィンドウを直接に使用する。一例として、ビデオゲームアプリケーションは、ビデオゲームアプリケーションのプレーヤ対話型ウィンドウのインスタンス化の後、フィルタリングウィンドウの期間中に、インスタンス化されたプレーヤ対話型ウィンドウを非対話型ウィンドウとして扱うプログラムコードを含むことができる。したがって、ビデオゲームアプリケーションによって受信されたプレーヤ入力は、ビデオゲームアプリケーションによって実行されるアクションを呼び出さない。他の実施形態において、ビデオゲームアプリケーションの実行を容易にするプラットフォームソフトウェアは、プレーヤ対話型ウィンドウのインスタンス化の検出後にこのフィルタリングウィンドウを使用する。ビデオゲームアプリケーションは、フィルタリングウィンドウの期間中に、プレーヤ入力（または関連する任意のプレーヤ入力）が受信されたことを完全に認識していない。ゲームシステムがインスタンス化されたプレーヤ対話型ウィンドウに関連するゲームコントローラのボタンを分かる場合、フィルタリングウィンドウを使用して、これらのボタンの操作に関連するプレーヤ入力をフィルタリングすることができる。一例として、インスタンス化されたチュートリアルウィンドウに関して監視されている唯一のプレーヤ対話が、チュートリアルウィンドウを閉じるためのゲームコントローラ上のＡボタンの押下である場合、Ａボタンの操作に対応するプレーヤ入力をフィルタリングすると共に、ゲームコントローラの他のボタンの操作に対応するプレーヤ入力が、フィルタリングされることなく、ビデオゲームアプリケーションに渡されることを可能にするようにフィルタリングウィンドウを制限することができる。他の例において、プレーヤ対話型ウィンドウに関連するボタンが未知である場合、ゲームコントローラの任意のボタンの操作を表す全てのプレーヤ入力が、フィルタリングウィンドウによってフィルタリングされる。

フィルタリングウィンドウが終了すると、ゲームサーバは、プレーヤ対話型ウィンドウのインスタンス化の検出に応答して、プレーヤ入力のフィルタリングを中止する。したがって、その後、ゲームコントローラのプレーヤの操作からゲームサーバに受信された全てのプレーヤ入力が、フィルタリングされることなく、ビデオゲームアプリケーションに渡されることを許可される。代替的には、ゲームサーバは、プレーヤ入力のフィルタリングを実行するように、ビデオゲームアプリケーションに指示することができる。クラウドゲームシステムは、プレーヤ対話型ウィンドウのインスタンス化の検出後に、フィルタリングウィンドウを使用することによって、プレーヤによって提供された関連するプレーヤ入力が通常のゲームプレイではなくプレーヤ対話型ウィンドウに反応する対話として解釈されることなく、インスタンス化されたプレーヤ対話型ウィンドウを含む少なくとも１つ以上の初期レンダリングフレームをプレーヤのディスプレイに送信し、プレーヤのディスプレイ上で表示し、プレーヤによって認識されるための充分な時間を提供することができる。

当業者は、添付の図面を参照することによって、本開示をよりよく理解し、その多数の特徴および利点を分かるであろう。異なる図面において、同じ参照符号を用いて、類似または同一の要素を表す。

いくつかの実施形態に従って、遅延認識（latency-aware）対話遅延を採用するクラウドゲームシステムを示すブロック図である。 いくつかの実施形態に従って、図１のクラウドゲームシステムのゲームサーバを示すブロック図である。 いくつかの実施形態に従って、図１および２のクラウドゲームシステムにおいて遅延認識プレーヤ入力をフィルタリングするための方法を示すフロー図である。 いくつかの実施形態に従って、図３の方法の例示的な動作を示す図である。

詳細な説明
図１は、少なくとも１つの実施形態に従って、プレーヤ対話型ウィンドウとの意図しないプレーヤ対話を減らすために、遅延認識（latency-aware）対話遅延を採用するクラウドゲームシステム１００を示す。クラウドゲームシステム１００は、１つ以上のパケット交換ネットワーク１０８を介してクライアント装置１０６に接続されたゲームサーバ１０４を含むデータセンタ１０２を備える。ゲームサーバ１０４は、ビデオゲームソフトウェアアプリケーション１１０（以下、「ビデオゲーム１１０」と称する）を実行することによって、一連のビデオフレームのリアルタイムレンダリングをもたらすように動作する。ゲームサーバ１０４は、一連のビデオフレームをエンコードまたはフォーマットして、クライアント装置１０６に送信されるビデオストリーム１１２に入れる。クライアント装置１０６は、ビデオストリーム１１２を受信し、ビデオストリーム１１２中のエンコードされたビデオフレームをデコードし、デコードされたビデオフレームを順次に表示することによって、レンダリングされたグラフィカルコンテンツのビデオ表示をプレーヤに提供するように動作する。ゲームサーバ１０４は、ビデオゲーム１１０を実行することによって、オーディオコンテンツを生成し、クライアント装置１０６に提供する。クライアント装置１０６は、同様の方法でオーディオコンテンツをプレーヤに出力する。

クライアント装置１０６は、ネットワーク１０８に接続され、ネットワーク１０８を介してゲームサーバ１０４から送信されたビデオデータおよびオーディオデータを受信するためのネットワークインターフェイス（図示せず）と、送信されたビデオストリーム１１２のビデオフレームをデコードおよび表示し、対応するオーディオコンテンツを出力するための計算リソース、記憶リソースおよび表示リソース（図示せず）とを含む。クライアント装置１０６は、例えば、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、コンピュータ機能付き携帯電話（すなわち、「スマートフォン」）、コンピュータ機能付きテレビ（すなわち、「スマートテレビ」）などを含むことができる。いくつかの実施形態において、ゲームサーバ１０４上で実行されるビデオゲーム１１０からのビデオおよびオーディオコンテンツの処理および表示は、クライアント装置１０６上で実行され、（図１ではグラフィカルユーザインターフェイス（ＧＵＩ）１１４として示される）ソフトウェアアプリケーションによって促進される。このソフトウェアアプリケーションは、例えば、クラウドゲーム専用ソフトウェアアプリケーションを含むことができる。他の実施形態において、ゲームサーバ１０４は、より一般的なソフトウェアアプリケーションを利用し、このソフトウェアアプリケーションとの互換性を有するように、ビデオストリーム１１２およびオーディオストリーム（図示せず）をフォーマットおよび送信する。例えば、一実施形態において、クライアント装置１０６は、ハイパーテキストマークアップ言語（ＨＴＭＬ）フォーマットを利用するウェブブラウザを利用して、ビデオストリーム１１２によって表されるビデオコンテンツの表示および関連するオーディオストリームによって表されるオーディオコンテンツの出力を行い、ゲームサーバ１０４は、ＨＴＭＬフォーマットとの互換性を有するフォーマット、例えばｍｐ４またはＭＯＶフォーマットでビデオストリーム１１２を提供し、ウェブブラウザを介して表示する。

対話を行うために、ビデオゲーム１１０は、プレーヤ入力を利用して、当該プレーヤとのゲームセッションのゲームプレイ体験を少なくとも部分的に管理する。このプレーヤ入力は、ゲームコントローラ１１６を介して少なくとも部分的に受信される。ゲームコントローラ１１６は、１つ以上のユーザ操作可能なコンポーネント１１８を含み、１つ以上のユーザ操作可能なコンポーネント１１８は、プレーヤの操作に応答して、ゲームコントローラ１１６の処理コンポーネントまたはゲームコントローラ１１６に関連する処理コンポーネントを形成し、対応するプレーヤフィードバックデータを生成し、パケット交換ネットワーク１０８を介して、生成されたプレーヤフィードバックデータをプレーヤ入力ストリーム１２０の一部としてゲームサーバ１０４に送信する。ゲームコントローラ１１６は、図１では「ゲームパッド」または「ジョイスティック」を有するものとして示されているが、様々なのプレーヤ入力装置、例えば、ゲームパッド、ジョイスティック、キーボード、マウス、タッチパッド、トラックボール、ステアリングホイールまたはヨーク、ペダル、ダンスパッド、模造銃、光学式モーショントラッカ、慣性センサ、光／レーザ源および検出器のいずれかまたはその組み合わせを含むことができる。したがって、ユーザ操作可能なコンポーネント１１８は、ボタン、パドル、キー、回転検出器、対応するモーションを検出するためのモーション検出器、圧力センサ、タッチセンサ、光センサ、マイクロフォンまたは他のオーディオセンサなどを含むことができる。参照を容易にするためおよび一般的な会話使用のために、本明細書において、ユーザ操作可能なコンポーネント１１８は、一般的に「ボタン１１８」またはより一般的には「ボタン」と呼ばれ、ボタンの「押下」は、ゲームコントローラ１１６に対応するプレーヤ入力データを生成および送信させるように、ユーザ操作可能なコンポーネント１１８を操作することとして理解される。すなわち、ボタンの押下の言及は、プレーヤが文言通りに物理的なボタンを押すことに限定されるべきではなく、むしろ、プレーヤが任意の種類のユーザ操作可能なコンポーネント１１８を操作して、対応する入力を生成することを指すと理解されるべきである。例えば、プレーヤが光学式モーショントラッカの見える所に特定のモーションを行うことおよびプレーヤが特定の単語をマイクに発話することは、ゲームコントローラ１１６の「ボタン１１８の押下」を構成する。

いくつかの実施形態において、ゲームコントローラ１１６は、クライアント装置１０６に連結される。これによって、プレーヤ入力データは、クライアント装置１０６を介してパケット交換ネットワーク１０８に送信される。一例として、ゲームコントローラ１１６は、有線または無線でクライアント装置１０６に接続されてもよい。これによって、ゲームコントローラ１１６によって出力される全てのデータは、クライアント装置１０６とパケット交換ネットワーク１０８との間のネットワークインターフェイスを通ってルーティングされる。他の実施形態において、ゲームコントローラ１１６は、パケット交換ネットワーク１０８を介して、ゲームサーバ１０４に接続される別個の独立したネットワーク接続を有する。例えば、クラウドゲームシステム１００は、クライアント装置１０６およびゲームコントローラ１１６に対してローカルであり、ネットワーク１０８に接続された無線ローカルエリアネットワーク（ＷＬＡＮ）アクセスポイント（図示せず）を採用することができる。クライアント装置１０６およびゲームコントローラ１１６の各々は、ＷＬＡＮアクセスポイントに接続する別々の無線接続を確立して、ネットワーク１０８およびＷＬＡＮアクセスポイントを介して、ゲームサーバ１０４と別々に通信する。

ゲームサーバ１０４が１つ以上のネットワーク１０８を介してクライアント装置１０６に接続されているため、ゲームサーバ１０４は、クライアント装置１０６に対して「リモート」である。したがって、ビデオゲーム１１０がビデオフレームをレンダリングする時間と、クライアント装置１０６がレンダリングされたビデオフレームを表すデータを受信し、表示できる時間との間の遅延が比較的に長くなる。同様に、ゲームサーバ１０４がゲームコントローラ１１６に対して「リモート」であるため、プレーヤがゲームコントローラ１１６上のボタン１１８を押す時間と、ビデオゲームソフトウェアアプリケーション１１０がそのボタンの押しを表すプレーヤ入力データを最終的に受信した時間との間の遅延も比較的に長くなる。これらの２つの遅延と、ラウドゲームシステム１００のゲームサーバ１０４およびクライアント装置１０６のプレーヤ反応時間および処理遅延などの様々な他の遅延との組み合わせ（本明細書ではその和を「累積遅延」と呼ぶ）は、上記の課題を引き起こす。具体的には、通常のゲームプレイ中に提供されるプレーヤ入力は、ビデオゲーム１１０がプレーヤ対話型ウィンドウ（以下、「ＰＩＷ」と略す）、例えば図１に示すＰＩＷ１２２をインスタンス化する時間と同時にまたは少し後に生成される。インスタンス化されたＰＩＷ１２２を含む第１のフレームを送信および表示するときの遅延と、プレーヤ入力を表すプレーヤ入力データをゲームコントローラ１１６からゲームサーバ１０４に送信するときの遅延とによって、プレーヤ入力をＰＩＷ１２２との対話として誤って解釈してしまう可能性がある。

したがって、少なくとも１つの実施形態において、ゲームサーバ１０４は、遅延認識プレーヤ入力フィルタ１２４を含み、遅延認識プレーヤ入力フィルタ１２４は、ビデオゲーム１１０によるＰＩＷ１２２のインスタンス化を検出した後のフィルタウィンドウ中に、プレーヤ入力ストリーム１２０からのプレーヤ入力がビデオゲーム１１０に到達しないようにまたはＰＩＷ１２２との対話としてビデオゲーム１１０に作用しないように、プレーヤ入力をフィルタリングするように動作する。フィルタウィンドウの期間は、クラウドゲームシステム１００によって現在に示されている累積遅延の推定または他の決定に依存しており、一般的には、累積遅延の大部分または全てを軽減するのに充分な期間であるが、プレーヤが意図したＰＩＷ１２２との対話であるプレーヤ入力を意図せずにフィルタリングする可能性の増加を引き起こすほど長くならないように選択される。このフィルタリングプロセスは、図２～４を参照して以下でより詳細に説明される。

図２は、本開示のいくつかの実施形態に従って、ゲームサーバ１０４の一般的なハードウェア構成２００およびソフトウェア構成２０２を示す。ハードウェア構成２００に示すように、ゲームサーバ１０４は、１つ以上のプロセッサ、例えば、１つ以上の中央処理装置（ＣＰＵ）２０４、１つ以上のグラフィック処理装置（ＧＰＵ）２０６、１つ以上の特定用途向け集積回路（ＡＳＩＣ）（図示せず）を含む。また、ハードウェア構成２００は、ネットワーク１０８に接続されたネットワークインターフェイス２０８、１つ以上の入力／出力（Ｉ／Ｏ）装置２１０（例えば、キーボード、マウス、またはディスプレイ）、１つ以上の大容量記憶装置２１２（例えば、ハードドライブ、光ディスクドライブ、またはネットワーク接続記憶装置）を含む。さらに、ハードウェア構成２００は、１つ以上のプロセッサによってアクセス可能な少なくとも１つのランダムアクセスメモリ（ＲＡＭ）または他のシステムメモリ２１４を含む。システムメモリ２１４は、本明細書に記載された様々な動作を実行するように、１つ以上のプロセッサを操作するための実行可能な命令を表すプログラムコードを含む１つ以上のソフトウェアアプリケーションを記憶する。これらのソフトウェアアプリケーションは、前述したビデオゲーム１１０、および１つ以上のソフトウェアアプリケーションセット（まとめてプラットフォームソフトウェア２１６と称する）を含む。

概要として、プラットフォームソフトウェア２１６は、ゲームサーバ１０４上のビデオゲーム１１０の実行を容易にするように動作する。いくつかの実施形態において、ビデオゲーム１１０のゲーム開発者は、ゲームサーバによって実行されるようにビデオゲーム１１０を特別に構成する。この場合、プラットフォームソフトウェア２１６は、ハードウェア構成２００とビデオゲーム１１０との間のより透過的な対話（transparent interaction）を提供するアプリケーションプログラミングインターフェイス（ＡＰＩ）および他の「フック」を提供する。他の実施形態において、ビデオゲーム１１０は、特定のローカルハードウェアプラットフォームに対して、例えば、パーソナルコンピュータ（ＰＣ）プラットフォームまたはゲームコンソールプラットフォームに対して開発される。この場合、プラットフォームソフトウェア２１６は、ビデオゲーム１１０と対応するローカルハードウェアプラットフォームとの間の典型的なインターフェイスをエミュレートするため、ゲームサーバ１０４の実際の基礎的なハードウェア構成２００をビデオゲーム１１０に対して透過的でないものにする。プラットフォームソフトウェア２１６およびビデオゲーム１１０との対話の例示的な構成は、ソフトウェア構成２０２によって示される。

示されたソフトウェア構成２０２において、プラットフォームソフトウェア２１６は、オペレーティングシステム（ＯＳ）２１８と、ゲームサーバモジュール２２０と、メディアサーバモジュール２２２と、エンコーダモジュール２２４と、プレーヤ対話モジュール２２６と、ＰＩＷ検出モジュール２２８と、入力フィルタモジュール２３０と、遅延監視モジュール２３２と、当技術分野で知られているクラウドゲームの実行をサポートするための他の様々なモジュールとを含む。ＯＳ２１８は、ゲームサーバ１０４の全体的な動作を管理し、ハードウェアコンポーネントとより高レベルソフトウェアレイヤとの間のインターフェイスとして機能するように動作する。ゲームサーバモジュール２２０は、ビデオゲーム１１０に関連するサーバ側機能、例えば、ゲームセッションの設定、セッション状態データおよび他のゲーム関連データの記憶、ゲームプレイ入力の処理、およびゲームプレイ入力に応じたゲームプレイ出力のレンダリングを提供するように動作する。メディアサーバモジュール２２２は、メディアストリーミングサイトをホストし、オンラインゲームセッションに関連する同時補助または補足メディアストリームを受信し、ビデオゲーム１１０の実行中にサポートされているゲームセッションとの同時表示を行うために、同時メディアストリーム（例えば、図１のビデオストリーム１１２）をクライアント装置１０６に提供するように動作する。エンコーダモジュール２２４は、クライアント装置１０６に送信されるメディアストリームをエンコードするように動作する。エンコーダモジュール２２４は、ゲームサーバ１０４のプロセッサリソースによって実行されるソフトウェアモジュールとして図示されているが、他の実施形態において、全体的または部分的に、ＡＳＩＣなどのハードコード回路またはプログラム可能論理集積回路として実装されてもよい。プレーヤ対話モジュール２２６は、プレーヤ入力ストリーム１２０からプレーヤ入力データを抽出し、適切なフォーマットでプレーヤ入力データをプレーヤ入力としてビデオゲーム１１０に提示するように動作する。一例として、プラットフォームソフトウェア２１６がＰＣ、ゲームコンソールまたは他のローカルゲーム環境をエミュレートする実装形態において、プレーヤ対話モジュール２２６は、ビデオゲーム１１０の１つ以上のインスタンスへの入力が、ゲームサーバ１０４に対してリモートであり、ネットワーク１０８を介して接続されたゲームコントローラ１１６からのプレーヤ入力ではなく、各インスタンスのローカルゲームコントローラからのプレーヤ入力であるように、ビデオゲーム１１０の１つ以上のインスタンスへの入力をエミュレートするように動作することができる。

ＰＩＷ検出モジュール２２８、遅延監視モジュール２３２、および入力フィルタモジュール２３０は、遅延認識プレーヤ入力フィルタ１２４（図１）を実装するように共に動作する。遅延監視モジュール２３２は、現在のネットワーク条件、プロセッサの負荷条件およびプレーヤ対話のうちの１つ以上を監視することによって、レンダリングされたフレーム内のＰＩＷのインスタンス化とクライアント装置１０６のディスプレイ上でレンダリングされたフレームの表示との間の遅延と、ゲームコントローラ１１６のプレーヤ操作とゲームサーバ１０４（より具体的には、プレーヤ対話モジュール２２６）上で対応するプレーヤ入力データの受信との間の遅延とに寄与する様々な遅延を決定し、これらの遅延の一部または全ての合計を表す現在の累積遅延値２３４を決定するように動作する。ＰＩＷ検出モジュール２２８は、ビデオゲーム１１０の実行を監視することによって、ＰＩＷ検出モジュール２２８によってレンダリングされたビデオストリーム内のＰＩＷのインスタンス化を検出し、その検出に応答して、レジスタまたは他の記憶場所に書き込まれた値の形にしたＰＩＷインスタンス化信号２３６を入力フィルタモジュール２３０に発行し、割込みまたは例外をトリガするように動作する。入力フィルタモジュール２３０は、ＰＩＷが既にインスタンス化されたことを示すＰＩＷインスタンス化信号２３に応答して、遅延監視モジュール２３２によって提供された現在の累積遅延値２３４に基づく期間中に、入力フィルタリングウィンドウを実装するように動作する。入力フィルタリングウィンドウの間に、入力フィルタモジュール２３０は、プレーヤ対話モジュール２２６によって提供されたプレーヤ入力の一部または全てをフィルタリングするように動作する。これによって、これらのプレーヤ入力がビデオゲーム１１０に作用することを防止し、フレーム内のＰＩＷのインスタンス化とクライアント装置１０６上でそのフレームの表示との間にプレーヤ入力を提供する可能性を軽減する。したがって、ビデオゲーム１１０は、意図された通常のゲームプレイへの入力をＰＩＷに関連するプレーヤ入力として解釈しない。

図示された実施形態において、ＰＩＷ検出モジュール２２８と入力フィルタモジュール２３０の両方は、プラットフォームソフトウェア２１６に、すなわち、ビデオゲーム１１０の「外部」に実装される。このような実施形態において、ＰＩＷ検出モジュール２２８および入力フィルタモジュール２３０は、ビデオゲーム１１０とプラットフォームソフトウェア２１６との間のインターフェイスとして設けられた１つ以上のＡＰＩの一部として、またはそれに関連するものとして実装されてもよい。一例として、ソフトウェア構成２０２は、ビデオゲーム１１０によって使用されるディスプレイＡＰＩ２３８を利用して、ＧＰＵ２０６によって実行されるフレームレンダリングコールおよび他の命令、並びにこのようなフレームレンダリング命令に関連するメタデータを提供することができる。ＰＩＷ検出モジュール２２８は、ディスプレイＡＰＩ２３８を介して、データおよび制御フローを監視することによって、ＰＩＷのインスタンス化を検出することができる。別の例として、ソフトウェア構成２０２は、プレーヤ入力ＡＰＩ２４０を利用して、プレーヤ入力ストリーム１２０に受信されたプレーヤ入力をビデオゲーム１１０に提供することを促進することができる。入力フィルタモジュール２３０は、プレーヤ入力ＡＰＩ２４０の一部として実装されてもよく、またはプレーヤ入力ＡＰＩ２４０に接続されてもよい。他の実施形態において、ＰＩＷ検出モジュール２２８および入力フィルタモジュール２３０の一方または両方は、ビデオゲーム１１０自体の一部として実装されてもよい。例えば、現在の累積遅延値２３４は、ビデオゲーム１１０に提供されてもよく、ビデオゲーム１１０自体は、ＰＩＷのインスタンス化を検出し、それに応答して、対応する入力フィルタリングウィンドウに対してＰＩＷを非対話式にするか、またはそうでなければ、ＰＩＷのインスタンス化の後、現在の累積遅延値２３４に基づいて指定された期間中に、プレーヤ入力ＡＰＩ２４０を介してプラットフォームソフトウェア２１６から受信されたプレーヤ入力の一部または全てを無視する。

図３は、いくつかの実施形態に従って、プラットフォームソフトウェア２１６およびビデオゲーム１１０の動作、より詳しくは、遅延監視モジュール２３２、ＰＩＷ検出モジュール２２８、および入力フィルタモジュール２３０の動作をより詳細に説明する方法３００を示す。方法３００は、ゲームサーバ１０４上で同時に動作する２つの別個のサブプロセス、すなわち、累積遅延監視サブプロセス３０２と、遅延認識プレーヤ入力選択的フィルタリングサブプロセス３０４とを実装する。まず、累積遅延監視サブプロセス３０２を説明する。このサブプロセスは、現在の累積遅延値２３４の初期値を決定し、条件が変化する場合、現在の累積遅延値２３４を経時的に且つ周期的に更新する。前述したように、累積遅延値２３４は、ＰＩＷがビデオゲーム１１０によってレンダリングされたフレームに初めてインスタンス化された時間と、ゲームサーバ１０４がプレーヤからのＰＩＷに関連するプレーヤ入力を初めて受信する時間との間の正味期間または合計期間を反映するクラウドゲームシステムの様々な遅延の合計を表す。この期間に寄与する遅延は、ゲームサーバ１０４内の第１のフレームのエンコード処理および他の処理、ネットワーク１０８を介してＰＩＷを含む第１のフレームをゲームサーバ１０４からクライアント装置１０６に送信することに関連する遅延、クライアント装置１０６上で第１のフレームのデコードおよび他の処理、クライアント装置１０６のディスプレイ上で第１のフレームのスキャンアウトおよび表示、ＰＩＷの表示を検出するときのプレーヤ反応時間およびそれに応答してゲームコントローラ１１６のボタンを押下する最も早い時機、ネットワーク１０８を介してボタンの押下を表すプレーヤ入力データをゲームコントローラ１１６からゲームサーバ１０４に送信するための遅延、プレーヤ入力データの処理およびビデオゲーム１１０への送信を含む。以下において、処理遅延は、伝送遅延およびプレーヤ反応時間に比べて最小である、またはこれらの特定の遅延の合計を表す固定または比例マージンを使用して具体化することができると仮定する。しかしながら、他の実施形態において、遅延監視モジュール２３２は、以下で説明される他の遅延監視動作と共に、リアルタイムでこれらの遅延を推定または検出することができる。

ブロック３０６において、遅延監視モジュール２３２は、ビデオゲーム１１０と対話するプレーヤの反応時間を表すプレーヤ反応時間値を決定する。このプレーヤ反応時間値は、観察された特定のプレーヤの特性に基づいて推定されてもよい。一例として、遅延監視モジュール２３２は、ビデオストリーム１１２内のビデオコンテンツに示された特定のイベントを監視し、受信したプレーヤ入力に基づいて（以下で説明するように、ネットワーク遅延を考慮して）プレーヤの反応時間を測定することができる。代替的には、遅延監視モジュール２３２は、全てのゲームプレイに対して、特にビデオゲーム１１０によって提供されたゲームプレイに対して一般的である固定または標準のプレーヤ反応時間（例えば、全ての一人称シューティング（ＦＰＳ）ゲームの標準プレーヤ反応時間）、または特に実行されているビデオゲーム１１０の特定のタイトルに対して一般的である固定または標準のプレーヤ反応時間を推定することができる。このプレーヤ反応時間値は、プラットフォームソフトウェア２１６の構成情報に記憶されてもよく、またはビデオゲームタイトルに対して特有である場合、ビデオゲーム１１０の初期化中にビデオゲーム１１０の構成データまたはメタデータとして提供されてもよい。

ブロック３０８において、遅延監視モジュール２３２は、インスタンス化／対話遅延に寄与するネットワーク遅延を決定する。上述したように、ネットワーク遅延は、パケット交換ネットワークを介してゲームサーバからクライアント装置１０６にレンダリングされたフレームを送信するときのダウンストリーム遅延と、ネットワーク１０８を介してゲームコントローラ１１６からゲームサーバ１０４にプレーヤ入力データを送信するときのアップストリーム遅延とを含む。これらの遅延は、「トレーサ」機能を使用してパス遅延を測定すること、ラウンドトリップタイム（ＲＴＴ）測定技術を使用してアップストリームおよびダウンストリーム遅延の合計を測定すること、最初の１バイトを受信するまでの時間（ＴＴＦＢ：Time to First Byte）遅延測定技術を使用してアップストリーム遅延およびダウンストリーム遅延を別々に測定することなど、様々な既知のまたは専用のネットワーク遅延測定技術のいずれかを用いて決定されてもよい。

ブロック３１０において、遅延監視モジュール２３２は、プレーヤ反応時間値、アップストリームネットワーク遅延およびダウンストリームネットワーク遅延の合計に基づいて、現在の累積遅延値２３４を決定する。一例として、プレーヤの固定反応時間が３００ｍｓであり、測定されたアップストリームネットワーク遅延が６０ｍｓであり、および測定されたダウンストリームネットワーク遅延が４０ｍｓである場合、現在の累積遅延値２３４は、これらの３つの値の合計、すなわち、４００ｍｓとして決定されてもよい。他の実施形態において、クライアント装置１０６およびゲームサーバ１０４の処理遅延などの追加の遅延に相当する安全幅を提供するために、現在の累積遅延値２３４に達すように、この合計に固定値（例えば、２０ｍｓ）または比例値（例えば、１０％）を追加してもよい。図示の実施形態において、プレーヤ反応時間が比較的に固定であると仮定されているため、プレーヤ反応時間値は、初期化時に決定され、更新またはリフレッシュされる必要がない。しかしながら、多くのネットワークにおいて、輻輳、使用、および利用可能なルーティング経路の変化がネットワーク遅延の変化をもたらす可能性があるため、現在のネットワーク状態を反映するように、ブロック３０８および３１０のプロセスを周期的に反復することによって、現在の累積遅延値２３４を更新する。

累積遅延監視サブプロセス３０２と並行して、遅延認識プレーヤ入力選択的フィルタリングサブプロセス３０４は、クラウドゲームシステム１００内のゲームサーバ１０４およびクライアント装置１０６とゲームコントローラ１１６との間の遠隔関係によって導入された遅延によって、意図せずにプレーヤ入力をＰＩＷとの対話として解釈してしまう可能性を軽減するように動作する。したがって、サブプロセス３０４の反復中、ＰＩＷ検出モジュール２２８は、ブロック３１２において、ビデオゲーム１１０によって規定されるフレームレンダリングプロセスを監視することによって、ＰＩＷの初期インスタンス化を検出する。いくつかの実施形態において、ＰＩＷ検出モジュール２２８は、ビデオゲーム１１０による明示的な通知プロセス３１３を介して、ＰＩＷのインスタンス化を検出する。この手法において、ビデオゲーム１１０は、ＰＩＷが利用される時間を特定し、ＡＰＩまたは他のインターフェイスを介して、例えばＰＩＷ検出モジュール２２８がプラットフォームソフトウェア２１６の一部として実装される場合にディスプレイＡＰＩ２３８を介して、またはＰＩＷ検出モジュール２２８自体がビデオゲーム１１０に実装される場合に内部シグナリングを介して、ＰＩＷのインスタンス化を示す通知をＰＩＷ検出モジュール２２８に送信するように構成される。理解すべきことは、この手法において、ゲーム開発者は、プラットフォームソフトウェア２１６と明示的に協働するために、ビデオゲームタイトルを開発または修正する必要があることである。

しかしながら、上述したように、いくつかの実装形態において、プラットフォームソフトウェア２１６は、ローカルゲームプラットフォームをエミュレートする。これによって、ビデオゲーム１１０は、クラウドゲームサーバ上でではなく、ＰＣ、ゲームコンソールまたは他のローカルプラットフォーム上で実行されているかのように動作する。このような状況において、ＰＩＷ検出モジュール２２８は、ＰＩＷオブジェクト認識プロセス３１５を用いて、暗黙的な検出を介して、ＰＩＷのインスタンス化を検出するように動作する。ＰＩＷオブジェクト認識プロセス３１５において、オブジェクト認識モデルを用いて、レンダリングされているビデオストリーム１１２のフレーム内の疑わしいＰＩＷの可能な第１のインスタンスを検出する。一例として、フレームＮ－１においてＰＩＷを示すオブジェクトを検出していないが、次のフレームＮにおいてＰＩＷを示すオブジェクトを検出した場合、ＰＩＷ検出モジュール２２８は、フレームＮに関連するＰＩＷインスタンス化信号２３６をアサートすることができる。ＰＩＷを表すオブジェクトは、様々なパラメータおよび特性のいずれかに基づいて検出されてもよい。一例として、一般的に、所定のビデオゲームタイトルまたはビデオゲームの種類に対して生成されたＰＩＷは、通常、特定のセットまたは範囲のサイズまたは寸法、特定の形状（例えば、細長い長方形）、特定の視覚的特徴、例えば、色、陰影、丸い角、英数字または他のテキスト、特定のテキストまたは他の英数字（例えば、「ＹＥＳ」、「ＮＯ」、「ＯＫ」）、ボタンオブジェクト、フレームの特定の位置または領域を含む。したがって、ＰＩＷ検出モジュール２２８によって採用されるオブジェクト検出モデルを用いて、このようなパラメータおよび特性を探索し、フレームのコンポーネントと一致するパラメータおよび特性の数および強度に基づいて信頼値を決定し、信頼値の閾値化を介してインスタンス化されたＰＩＷを含むフレームを特定する。

ビデオストリーム１１２内のＰＩＷの可能なインスタンス化が検出されると、ＰＩＷ検出モジュール２２８は、ＰＩＷインスタンス化信号２３６を提供する。これに応答して、入力フィルタリングモジュール２３０は、ブロック３１４において、ゲームサーバ１０４上でプレーヤ入力をフィルタリングするためのフィルタウィンドウをトリガする。上記で説明したように、一般的に、フィルタウィンドウの期間は、プレーヤがクライアント装置１０６上で初期フレームまたはＰＩＷを含むフレームの表示を介してインスタンス化ＰＩＷを認識する前にトリガされた殆どの可能なプレーヤ入力を防止するように、クラウドゲームシステム１００の様々な遅延に基づいて設定される。この期間が、遅延監視モジュール２３２によって累積遅延監視サブプロセス３０２の最新の反復から決定された現在の累積遅延値２３４によって示されるため、フィルタウィンドウをトリガすることは、例えば、累積遅延値２３４に基づいてフィルタタイマ（例えば、カウントダウンタイマ）を設定および開始することを含むことができる。その後、フィルタウィンドウがアクティブである間、入力フィルタモジュール２３０は、ブロック３１６において、プレーヤ入力を表すプレーヤ入力データを検出するために、ゲームサーバ１０４に受信されたゲームコントローラ１１６からのプレーヤ入力ストリーム１２０を監視する。プレーヤ入力を検出した場合、入力フィルタモジュール２３０は、ブロック３１８において、フィルタをプレーヤ入力に適用する。いくつかの実施形態において、ブロック３１９によって示されたように、このフィルタは、ゲームコントローラ１１６からの全てのプレーヤ入力をビデオゲーム１１０に提供すること、またはビデオゲーム１１０がゲームコントローラ１１６からの全てのプレーヤ入力をインスタンス化ＰＩＷとのプレーヤ対話として解釈することを防止する全フィルタまたは完全フィルタである。例えば、ビデオゲーム１１０からの、ＰＩＷの次のインスタンス化を示す明示的な通知、またはオブジェクトの認識によるＰＩＷインスタンス化の検出は、充分な確実度で、ＰＩＷに関連するボタン１１８（すなわち、ＰＩＷに関して何らかのアクションを開始するプレーヤ入力を提供するボタン）を示さない場合がある。この場合、全フィルタリングは、一般的に適切である。

しかしながら、他の例において、明示的な通知プロセス３１３は、ビデオゲーム１１がＰＩＷと対話するものであると考えられるプレーヤ入力を示す明示的な通知を通知することを含んでもよく、ＰＩＷのインスタンス化の暗黙的な検出は、ゲームコントローラ１１６の特定サブセットのボタンに関連する特定セットのオプションを検出することを含んでもよい。この場合、入力フィルタモジュール２３０は、代わりに、（ブロック３２１によって表される）特定の対象のフィルタリング（targeted filtering）を実施することができる。特定の対象のフィルタリングは、フィルタリングウィンドウ中に、ＰＩＷの対話に関連するものと特定されたプレーヤ入力のサブセットのみをフィルタリングするが、他のプレーヤ入力をビデオゲーム１１０に提供することまたは他のプレーヤ入力がビデオゲーム１１０に作用することを許可する。

ブロック３２０において、入力フィルタモジュール２３０は、フィルタウィンドウの開始時に作動されたカウントダウンタイムの経過を観測することによって、ブロック３１４に設定されたフィルタウィンドウの終了を監視する。監視の結果に応答して、入力フィルタモジュール２３０は、ブロック３２２において、フィルタウィンドウを終了または不活性化し、プレーヤ入力のフィルタリングを中止する。したがって、その後受信されたプレーヤ入力ストリーム１２０内の全てのプレーヤ入力は、プラットフォームソフトウェア２１６またはビデオゲーム１１０内の別のプロセスによってフィルタリングされることを条件として、ビデオゲーム１１０に提供されるまたはビデオゲーム１１０に作用される。

図４は、いくつかの実施形態に従って、図１および２のクラウドゲームシステム１００において実行される図３の方法３００の動作の簡単な例示を示す。図示は、３つの異なる時点、すなわち、Ｔ＝０ｍｓ（ビュー４０１）、Ｔ＝２００ｍｓ（ビュー４０２）、およびＴ＝７００ｍｓ（ビュー４０３）におけるクラウドゲームシステム１００の状態を簡略的に示している。また、この例において、プレーヤ反応時間が３００ｍｓであると仮定され、アップストリーム遅延およびダウンストリーム遅延が各々５０ｍｓであると測定され、１０％の許容誤差が適用される。したがって、現在の累積遅延値２３４で示された現在の累積遅延は、４４０ｍｓ（＝（３００＋５０＋５０）×１．１０）である。

ビュー４０１に示すように、時間Ｔ＝０ｍｓにおいて、ビデオストリーム１１２のフレーム４１１は、現在、クライアント装置１０６上で表示されており、フレームＮは、既にビデオゲーム１１０によってレンダリングされ、ネットワーク１０８を介してクライアント装置１０６に送信され、表示のためにクライアント装置１０６によって処理される。また、この時点では、ビデオゲーム１１０は、まだ送信されていない後続のフレーム４１２をレンダリングしている。さらに、時間Ｔ＝０ｍｓにおいて、プレーヤは、「Ｘ」ボタンを押すことによってゲームコントローラ１１６と対話し、これに応答して、ゲームコントローラ１１６は、ゲームサーバ１０４に送信されるプレーヤ入力データ４０４を生成する。

ビュー４０２に示すように、時間Ｔ＝２００ｍｓにおいて、フレーム４１２は、現在、クライアント装置１０６上で表示されており、プレーヤ入力データ４０５によって示されたＸボタンの押下は、ゲームプレイに何らかの効果を与えるように、ビデオゲーム１１０によって受信され、実行されている。さらに、この時点では、ビデオゲーム１１０は、ＰＩＷ４２１の第１のインスタンスを含むフレーム４１３をレンダリングした。この例において、ＰＩＷ４２１は、ゲームコントローラ１１６上の「Ｙ」ボタンを押してウィンドウを閉じるようにプレーヤを催促するダイアログまたはチュートリアルウィンドウである。同時に、プレーヤは、（例えば、時間Ｔ＝０ｍｓで表示されたフレーム４１１を含み得る）以前に表示されたフレームによって表されるゲームプレイに反応し、ゲームコントローラ１１６のボタンＹを押した。その結果、Ｙボタンの押下を表すプレーヤ入力データ４０５は、時間Ｔ＝２００ｍｓで送信される。

ビュー４０２に示すように、ＰＩＷ４２１の第１のインスタンスを含むフレーム４１３は、まだプレーヤに表示されておらず、クライアント装置１０６に到達していない。よって、プレーヤは、ＰＩＷ４２１が時間Ｔ＝２００ｍｓで終了することを知らない。したがって、プレーヤは、クライアント装置１０６上で表示されたフレーム４１２、フレーム４１１および以前のフレームによって示された通常のゲームプレイに応答して、ゲームコントローラ１１６のＹボタンを押した。しかしながら、ビデオゲーム１１０の視点から、ＰＩＷ４２１が既にインスタンス化されており、ＰＩＷ４２１を非対話型ウィンドウに透明にまたは不透明に簡単にレンダリングするメカニズムがない場合、ゲームサーバ１０４およびビデオゲーム１１０は、プレーヤ入力データ４０５によって示されたＹボタンの押下を、ＰＩＷ４２１を閉じる（すなわち、ビデオストリーム１１２の任意のさらに他のフレームからフィルタリングする）ことを示すプレーヤ対話として誤って解釈する可能性がある。

したがって、通常のゲームプレイ入力をＰＩＷ対話入力として意図せずに解釈することを軽減するために、フィルタウィンドウは、例えば、フレーム４１３内のＰＩＷ４２１を示す視覚オブジェクトを検出したことによってまたはビデオゲーム１１０からの、ＰＩＷ４２１が既にインスタンス化されている明示的な通知によってＰＩＷ４２１のインスタンス化を検出したことに応答して、４４０ｍｓの期間（例えば、フィルタウィンドウがＴ＝２００ｍｓにあると仮定する場合、Ｔ＝２００ｍｓから６４０ｍｓまでの時間）にわたって実装される。この例において、入力フィルタモジュール２３０は、フィルタウィンドウを用いて、全てのプレーヤ入力をフィルタリングする。したがって、フィルタリングブロック４０８に示すように、プレーヤ入力データ４０５によって表されるＹボタンの押下は、ゲームサーバ１０４によって受信および処理された後、プレーヤ入力ストリーム１２０からフィルタリングされる。このＹボタンの押下のフィルタリングは、例えば、Ｙボタンの押下を示す入力を（例えば、プラットフォームソフトウェア２１６でフィルタリングすることによって）ビデオゲーム１１０に到達することを防止すること、またはＹボタンの押下をＰＩＷ４２１との対話として解釈しないようにビデオゲーム１１０に指示する外部命令または内部命令によって防止することを含むことができる。

ビュー４０３に示すように、時間Ｔ＝７００ｍｓにおいて、フレーム４１３は、既にクライアント装置１０６に表示され、（フレーム４１３の後のある時点でレンダリングされ、ＰＩＷ４２１を含む）フレーム４１４は、現在クライアント装置１０６に表示されており、ビデオゲーム１１０は、ＰＩＷ４２１の別のインスタンスを含む後続のフレーム４１５をレンダリングしている。同時に、プレーヤは、フレーム４１４および（フレーム４１３を含む）以前のフレームに表示されたＰＩＷ４２１に反応して、ゲームコントローラ１１６のボタンＹを押して、ＰＩＷ４２１によって示されるダイアログ／チュートリアルボックスを閉じる。したがって、Ｙボタンの押下を示すプレーヤ入力データ４０６は、時間Ｔ＝７００ｍｓで送信される。

また、フィルタウィンドウは、この時点で終了する。したがって、後続の時間でゲームサーバ１０４に到達するプレーヤ入力データ４０６は、ビデオゲーム１１０に提供されるまたはビデオゲーム１１０に作用される。この場合、Ｙボタンの押下は、ＰＩＷ４２１との対話、より詳しくは、ビデオゲーム１１０にＰＩＷ４２１を閉じさせるプレーヤ対話として正しく解釈される。したがって、ＰＩＷ４２１は、フレーム４１５の後にレンダリングされるフレームに表示されない。

いくつかの実施形態において、上述した技術のいくつかの態様は、ソフトウェアを実行する処理システムの１つ以上のプロセッサによって実装されてもよい。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に記憶されたまたはそうでなければ有形に具現化された１つ以上のセットの実行可能命令を含む。ソフトウェアは、１つ以上のプロセッサによって実行されると、上記で説明した技術の１つ以上の態様を実行するように１つ以上のプロセッサを操作する命令と特定のデータとを含むことができる。非一時的コンピュータ可読記憶媒体は、例えば、磁気または光ディスク記憶装置、フラッシュメモリなどのソリッドステート記憶装置、キャッシュ、ランダムアクセスメモリ（ＲＡＭ）、または他の不揮発性メモリ装置を含むことができる。非一時的コンピュータ可読記憶媒体上に記憶された実行可能命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または１つ以上のプロセッサによって解釈されるまたは実行可能である他のフォーマットの命令であってもよい。

コンピュータ可読記憶媒体は、命令および／またはデータをコンピュータシステムに提供するために、使用中にコンピュータシステムによってアクセス可能な任意の記憶媒体または記憶媒体の組み合わせを含んでもよい。このような記憶媒体は、光学媒体（例えば、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、Blu-ray（登録商標）ディスク）、磁気媒体（例えば、フロッピー（登録商標）ディスク、磁気テープ、または磁気ハードドライブ）、揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）またはキャッシュ）、不揮発性メモリ（例えば、読み出し専用メモリ（ＲＯＭ）またはフラッシュメモリ）、または微小電気機械システム（ＭＥＭＳ）ベースの記憶媒体を含むことができるが、これらに限定されない。コンピュータ可読記憶媒体は、コンピューティングシステムに埋め込まれるもの（例えば、システムＲＡＭまたはＲＯＭ）であってもよく、コンピューティングシステムに固定されるもの（例えば、磁気ハードドライブ）であってもよく、コンピューティングシステムに取り外し可能に取り付けられもの（例えば、光ディスクまたはユニバーサルシリアルバス（ＵＳＢ）ベースのフラッシュメモリ）であってもよく、または有線ネットワークもしくは無線ネットワークを介してコンピュータシステムに結合されるもの（例えば、ネットワークアクセス可能ストレージ（ＮＡＳ））であってもよい。

なお、全般的な説明において上述した動作または要素の全てが必要とされるわけではない。特定の動作または装置の一部は、必要とされなくてもよい。上述したものに加えて、１つ以上のさらに他の動作を実行してもよく、または１つ以上の要素を含んでもよい。さらに、動作を列挙する順序は、必ずしもこれらの動作を実行する順序ではない。また、特定の実施形態を参照して概念を説明している。しかしながら、当業者は、以下の特許請求の範囲に記載される本開示の範囲から逸脱することなく、様々な修正および変更を行うことができることを理解する。したがって、明細書および図面は、限定的なものではなく、例示的なもので見なされるべきであり、全ての修正は、本開示の範囲内に含まれることが意図される。

特定の実施形態を参照して、上記で利益、他の利点、および問題に対する解決策を説明している。しかしながら、利益、利点、問題に対する解決策、および任意の利益、利点、または解決策を生じさせ得るまたはより顕著にさせ得る任意の特徴は、いずれかの請求項または全ての請求項の重要な特徴、必要な特徴、または本質的な特徴として解釈されるべきではない。さらに、上記で開示された特定の実施形態は、例証にすぎない。開示された主題は、本明細書の教示の利益を有する当業者に明白であり、異なるが同等の方法で修正されてもよく、実行されてもよい。以下の特許請求の範囲に記載されるもの以外に、本明細書に示された構造または設計の詳細への限定は、意図されていない。したがって、上記で開示された特定の実施形態は、変更または修正されてもよく、全ての変形例は、開示された主題の範囲に含まれると見なされることが明らかである。したがって、本明細書で求められる保護は、以下の特許請求の範囲に記載される。

Claims (22)

1. コンピュータで実行される方法であって、
   サーバ上でビデオゲームアプリケーションを実行することを含み、前記サーバは、ゲームコントローラと、プレーヤと前記ビデオゲームアプリケーションとの対話に使用されるクライアント装置とにリモート接続され、
   前記サーバ上で前記ビデオゲームアプリケーションに関連して生成されたビデオストリーム内のプレーヤ対話型ウィンドウのインスタンス化を検出することに応答して、前記プレーヤ対話型ウィンドウのインスタンス化の後、前記ビデオゲームアプリケーションが、特定のフィルタウィンドウの期間中に前記ビデオゲームアプリケーションが受信した前記ゲームコントローラからの１つ以上のプレーヤ入力を前記プレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止することを含み、
   前記プレーヤ対話型ウィンドウのインスタンス化を検出することは、前記サーバ上で、オブジェクト認識モデルを用いて、前記プレーヤ対話型ウィンドウが前記ビデオストリームのフレームに存在することを示すオブジェクトの初期存在を検出することを含む、方法。
2. 前記ビデオゲームアプリケーションは、前記プレーヤ対話型ウィンドウのインスタンス化の後に設定された前記フィルタウィンドウの期間中に、前記ゲームコントローラからの１つ以上のプレーヤ入力を前記プレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈しない、請求項１に記載の方法。
3. 前記サーバ、前記クライアント装置および前記ゲームコントローラを接続するネットワークの少なくとも１つのネットワーク遅延を表す累積遅延を決定することをさらに含み、前記少なくとも１つのネットワーク遅延は、前記ビデオストリームのデータを前記クライアント装置に送信するための第１のネットワーク遅延と、プレーヤ入力データを前記ゲームコントローラから前記サーバに送信するための第２のネットワーク遅延とのうち、少なくとも１つを含み、前記方法は、
   前記累積遅延に基づいて前記フィルタウィンドウの前記期間を設定することとをさらに含む、請求項２に記載の方法。
4. プレーヤ反応時間を決定することをさらに含み、
   前記累積遅延は、前記プレーヤ反応時間をさらに表す、請求項３に記載の方法。
5. 前記ビデオゲームアプリケーションが前記１つ以上のプレーヤ入力を前記プレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止することは、前記フィルタウィンドウの期間中に、前記ビデオゲームアプリケーションに提供されたプレーヤ入力ストリームからの前記１つ以上のプレーヤ入力をフィルタリングすることを含む、請求項１～４のいずれか一項に記載の方法。
6. 前記ビデオゲームアプリケーションが前記１つ以上のプレーヤ入力を前記プレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止することは、前記フィルタウィンドウの期間中に、前記ビデオゲームアプリケーションの前記プレーヤ対話型ウィンドウを非対話型ウィンドウに一時的に設定することを含む、請求項１～４のいずれか一項に記載の方法。
7. 前記ビデオゲームアプリケーションが前記１つ以上のプレーヤ入力を前記プレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止することは、
   前記プレーヤ対話型ウィンドウに関するアクションを呼び出す１つ以上のプレーヤ入力のサブセットを決定することと、
   前記ビデオゲームアプリケーションが前記決定されたサブセット中のプレーヤ入力のみを前記プレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止することとを含む、請求項１～４のいずれか一項に記載の方法。
8. 前記ビデオゲームアプリケーションが前記１つ以上のプレーヤ入力を前記プレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止することは、
   前記フィルタウィンドウの期間中に、前記ビデオゲームアプリケーションが前記サーバに受信された全てのプレーヤ入力を前記プレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止することを含む、請求項１～６のいずれか一項に記載の方法。
9. 前記プレーヤ対話型ウィンドウのインスタンス化を検出することは、前記ビデオゲームアプリケーションから、前記プレーヤ対話型ウィンドウが前記ビデオゲームアプリケーションによってインスタンス化されていることを示す通知を受信することを含む、請求項１～８のいずれか一項に記載の方法。
10. 前記オブジェクト認識モデルは、前記フレームの特定の領域内の前記オブジェクトの位置、前記オブジェクトのサイズまたは寸法、前記オブジェクトの形状、前記オブジェクト内の特定の英数字の存在、前記オブジェクトの色、および前記オブジェクトの陰影のうち、少なくとも１つを含む前記プレーヤ対話型ウィンドウの１つ以上の特性を表す、請求項１～９のいずれか一項に記載の方法。
11. 請求項１～１０のいずれか一項に記載の方法を実行するように構成されたクラウドゲームシステム。
12. 少なくとも一組の実行可能命令を記憶するコンピュータ可読プログラムであって、
    前記少なくとも一組の実行可能命令は、少なくとも１つのプロセッサを操作することによって、請求項１～１０のいずれか一項に記載の方法を実行するように構成される、コンピュータ可読プログラム。
13. リモートゲームシステムであって、
    ネットワークを介してクライアント装置およびゲームコントローラに接続可能なサーバを含み、
    前記サーバは、
    ビデオゲームアプリケーションを実行し、
    前記ビデオゲームアプリケーションに関連して生成されたビデオストリーム内のプレーヤ対話型ウィンドウのインスタンス化を検出することに応答して、前記プレーヤ対話型ウィンドウのインスタンス化の後、前記ビデオゲームアプリケーションが特定のフィルタウィンドウの期間中に受信された前記ゲームコントローラからの１つ以上のプレーヤ入力を前記プレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止するように構成され、
    前記サーバは、オブジェクト認識モデルを用いて、前記プレーヤ対話型ウィンドウが前記ビデオストリームのフレームに存在することを示すオブジェクトの初期存在を検出することによって、前記プレーヤ対話型ウィンドウのインスタンス化を検出するように構成される、リモートゲームシステム。
14. 前記サーバは、前記プレーヤ対話型ウィンドウのインスタンス化の後に設定された前記フィルタウィンドウの期間中に、前記ビデオゲームアプリケーションが前記ゲームコントローラからの１つ以上のプレーヤ入力を前記プレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止するように構成される、請求項１３に記載のリモートゲームシステム。
15. 前記サーバは、前記サーバ、前記クライアント装置および前記ゲームコントローラを接続するネットワークの少なくとも１つのネットワーク遅延を表す累積遅延を決定するように構成され、前記少なくとも１つのネットワーク遅延は、前記ビデオストリームのデータを前記クライアント装置に送信するための第１のネットワーク遅延と、プレーヤ入力データを前記ゲームコントローラから前記サーバに送信するための第２のネットワーク遅延とのうち、少なくとも１つを含み、
    前記サーバは、前記累積遅延に基づいて前記フィルタウィンドウの前記期間を設定するようにさらに構成される、請求項１４に記載のリモートゲームシステム。
16. 前記サーバは、プレーヤ反応時間を決定するようにさらに構成され、
    前記累積遅延は、前記プレーヤ反応時間をさらに表す、請求項１５に記載のリモートゲームシステム。
17. 前記サーバは、前記フィルタウィンドウの前記期間中に、前記ビデオゲームアプリケーションに提供されるプレーヤ入力ストリームから前記１つ以上のプレーヤ入力をフィルタリングすることによって、前記ビデオゲームアプリケーションが前記１つ以上のプレーヤ入力を前記プレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止するように構成される、請求項１３～１６のいずれか一項に記載のリモートゲームシステム。
18. 前記サーバは、前記フィルタウィンドウの前記期間中に、前記ビデオゲームアプリケーションの前記プレーヤ対話型ウィンドウを非対話型ウィンドウに一時的に設定することによって、前記ビデオゲームアプリケーションが前記１つ以上のプレーヤ入力を前記プレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止するように構成される、請求項１３～１６のいずれか一項に記載のリモートゲームシステム。
19. 前記サーバは、
    前記プレーヤ対話型ウィンドウに関するアクションを呼び出す１つ以上のプレーヤ入力のサブセットを決定することによって、および
    前記ビデオゲームアプリケーションが前記決定されたサブセット中のプレーヤ入力のみを前記プレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止することによって、
    前記ビデオゲームアプリケーションが前記１つ以上のプレーヤ入力を前記プレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止するように構成される、請求項１３～１８のいずれか一項に記載のリモートゲームシステム。
20. 前記サーバは、前記フィルタウィンドウの前記期間中に、前記ビデオゲームアプリケーションが前記サーバに受信された全てのプレーヤ入力を前記プレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止することによって、前記ビデオゲームアプリケーションが前記１つ以上のプレーヤ入力を前記プレーヤ対話型ウィンドウに反応するプレーヤ入力として解釈することを防止するように構成される、請求項１３～１８のいずれか一項に記載のリモートゲームシステム。
21. 前記サーバは、前記ビデオゲームアプリケーションから、前記プレーヤ対話型ウィンドウが前記ビデオゲームアプリケーションによってインスタンス化されていることを示す通知を受信することによって、前記プレーヤ対話型ウィンドウのインスタンス化を検出するように構成される、請求項１３～２０のいずれか一項に記載のリモートゲームシステム。
22. 前記オブジェクト認識モデルは、前記フレームの特定の領域内の前記オブジェクトの位置、前記オブジェクトのサイズまたは寸法、前記オブジェクトの形状、前記オブジェクト内の特定の英数字の存在、前記オブジェクトの色、および前記オブジェクトの陰影のうち、少なくとも１つを含む前記プレーヤ対話型ウィンドウの１つ以上の特性を表す、請求項１３～２１のいずれか一項に記載のリモートゲームシステム。

Images