JP7350866B2 - 表示制御装置、送信装置、表示制御方法及びプログラム - Google Patents

Description

本発明は、表示制御装置、送信装置、表示制御方法及びプログラムに関する。

近年注目されているクラウドゲーミングサービスの技術では、クラウドサーバにおいてゲームのプレイ状況を表す画像が描画される。そして、当該画像をエンコードした画像データがクラウドサーバから端末に送信され、端末において当該画像データをデコードした画像が表示される。この一連の処理が繰り返し実行されることで、ゲームのプレイ状況を表す動画像が端末に表示される。

また、ゲーム画面の描画のように、各フレームのシーンの内容に応じて必要なプロセッシング能力が変わる場合、描画に要する時間が一定とならず、可変フレームレートとなる。可変フレームレートのゲームを従来の一般的な固定フレームレートのディスプレイに表示する場合、描画結果が即座に反映されない、表示されないフレームが発生する、などの問題がある。このような状況に対応するために、可変フレームレートに対応した表示用ディスプレイパネルが存在する。

ゲームのプレイ状況を表す動画像のようにリアルタイム性が要求される動画像の通信では、画像が端末で表示されるまでのレイテンシが小さい方が望ましい。また、フレーム間のクラウドサーバにおける画像の描画のインターバル時間を、ネットワーク越しにクラウドサーバと接続された端末での画像の表示において再現することが望ましい。

ところが、エンコードやデコードの処理の重さや、クラウドサーバと端末との間の通信などの実環境によって、発生するレイテンシはまちまちである。そのため、端末において画像の受信に応じた表示を単に行うだけでは、端末での画像の表示のインターバル時間をクラウドサーバにおける画像の描画のインターバル時間に追従させることができない。

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、ネットワーク越しに送信装置と接続された表示制御装置における画像の表示のインターバル時間を送信装置における描画のインターバル時間にうまく追従させることができる表示制御装置、送信装置、表示制御方法及びプログラムを提供することにある。

上記課題を解決するために、本発明に係る表示制御装置は、送信装置における画像の描画時間を特定可能な描画時間データに関連付けられた、当該画像を示す画像データを前記送信装置から順次受信する受信部と、前記描画時間データに基づいて、前記画像データが示す画像の表示タイミングを特定する表示タイミング特定部と、特定される前記表示タイミングに基づいて、前記画像の表示を制御する表示制御部と、を含む。

本発明の一態様では、前記表示タイミング特定部は、レイテンシ、又は、画像が表示されるべきタイミングと画像が実際に表示されたタイミングとの誤差の累積を示す累積誤差データにさらに基づいて、前記表示タイミングを特定する。

また、本発明の一態様では、前記受信部は、フレーム番号、エンコードにかかった時間を特定可能なエンコード時間データ、又は、前記画像データの送信タイミングを示す送信開始タイミングデータのうちの少なくとも１つにさらに関連付けられた前記画像データを受信し、前記表示制御部は、フレーム番号、前記エンコード時間データ、又は、前記送信開始タイミングデータのうちの少なくとも１つにさらに基づいて、前記画像の表示を制御する。

また、本発明の一態様では、前記表示制御部は、前記表示制御装置が可変クレームレートに対応しておらず、固定フレームレートで画像が表示されるものである場合に、前記表示タイミングに最も近い垂直同期のタイミングに、前記画像を表示させる。

また、本発明の一態様では、複数の前記画像データのレイテンシの統計を示す統計データを生成する統計データ生成部と、前記統計データに基づいて、許容レイテンシを決定する許容レイテンシ決定部と、をさらに含み、前記表示制御部は、受信する新たな前記画像データのレイテンシが前記許容レイテンシを超えているか否かに基づいて、当該画像データが示す画像を表示させるか破棄するかを制御する。

この態様では、決定される前記許容レイテンシが所定の条件を満足する場合に、前記送信装置にデータレートの変更指示を送信する変更指示送信部、をさらに含んでもよい。

この場合、前記変更指示送信部は、決定される前記許容レイテンシが所定のレイテンシを超えた場合に、前記送信装置にデータレートの減少指示を送信してもよい。

また、前記変更指示送信部は、決定される前記許容レイテンシが所定のレイテンシを下回った場合に、前記送信装置にデータレートの増加指示を送信してもよい。

また、本発明に係る送信装置は、フレームバッファに描画された画像を取得する取得部と、前記画像をエンコードした画像データを生成するエンコード処理部と、画像の描画時間を特定可能な描画時間データに関連付けられた前記画像データを、前記画像が表示される端末に送信する送信部と、を含む。

本発明の一態様では、前記送信部は、フレーム番号、エンコードにかかった時間を特定可能なエンコード時間データ、又は、前記画像データの送信タイミングを示す送信開始タイミングデータのうちの少なくとも１つにさらに関連付けられた前記画像データを送信する。

この態様では、前記送信部は、前記描画時間データ、フレーム番号、前記エンコード時間データ、又は、前記送信開始タイミングデータのうちの少なくとも１つの履歴に関連付けられた前記画像データを送信してもよい。

また、本発明に係る表示制御方法は、送信装置における画像の描画時間を特定可能な描画時間データに関連付けられた、当該画像を示す画像データを前記送信装置から順次受信するステップと、前記描画時間データに基づいて、前記画像データが示す画像の表示タイミングを特定するステップと、特定される前記表示タイミングに基づいて、前記画像の表示を制御するステップと、を含む。

また、本発明に係るプログラムは、送信装置における画像の描画時間を特定可能な描画時間データに関連付けられた、当該画像を示す画像データを前記送信装置から順次受信する手順、前記描画時間データに基づいて、前記画像データが示す画像の表示タイミングを特定する手順、特定される前記表示タイミングに基づいて、前記画像の表示を制御する手順、をコンピュータに実行させる。

本発明の一実施形態に係るクラウドゲーミングシステムの全体構成の一例を示す図である。 可変フレームレートで行われるプレイ画像の描画のフレームレートの推移の一例を模式的に示す図である。 クラウドサーバにおけるプレイ画像のフレームバッファへの描画から端末でのプレイ画像の表示までのシーケンスの一例を模式的に示す図である。 統計データの一例を模式的に示す図である。 画像データの到着順序の逆転、及び、未到着による画像データの欠落の一例を模式的に示す図である。 本発明の一実施形態に係るクラウドゲーミングシステムで実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係る端末において行われる処理の流れの一例を示すフロー図である。 本発明の一実施形態に係る端末において行われる処理の流れの一例を示すフロー図である。

図１は、本発明の一実施形態に係るクラウドゲーミングシステム１の全体構成の一例を示す図である。図１に示すように、本実施形態に係るクラウドゲーミングシステム１には、いずれもコンピュータを中心に構成された、クラウドサーバ１０と端末１２とが含まれている。クラウドサーバ１０と端末１２とは、インターネットなどのコンピュータネットワーク１４に接続されており、クラウドサーバ１０と端末１２とは互いに通信可能となっている。

本実施形態に係るクラウドサーバ１０は、例えば、クラウドゲーミングサービスに係るゲームのプログラムを実行するサーバコンピュータである。クラウドサーバ１０は、当該ゲームのプレイ状況を表す動画像を、当該ゲームをプレイしているユーザが利用している端末１２に配信する。

図１に示すように、クラウドサーバ１０には、例えば、プロセッサ１０ａ、記憶部１０ｂ、通信部１０ｃ、エンコード・デコード部１０ｄが含まれている。

プロセッサ１０ａは、例えばＣＰＵ等のプログラム制御デバイスであって、記憶部１０ｂに記憶されたプログラムに従って各種の情報処理を実行する。本実施形態に係るプロセッサ１０ａには、当該ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。

記憶部１０ｂは、例えばＲＯＭやＲＡＭ等の記憶素子やソリッドステートドライブ（ＳＳＤ）などである。記憶部１０ｂには、プロセッサ１０ａによって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部１０ｂには、プロセッサ１０ａに含まれるＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。

通信部１０ｃは、例えばコンピュータネットワーク１４を介して、端末１２などといったコンピュータとの間でデータを授受するための通信インタフェースである。

エンコード・デコード部１０ｄは、例えばエンコーダとデコーダとを含む。当該エンコーダは、入力される画像をエンコードすることにより当該画像を表す画像データを生成する。また当該デコーダは、入力される画像データをデコードして、当該画像データが表す画像を出力する。

本実施形態に係る端末１２は、例えばクラウドゲーミングサービスを利用するユーザが利用する、ゲームコンソール、パーソナルコンピュータ、タブレット端末、スマートフォンなどのコンピュータである。

図１に示すように、端末１２には、例えば、プロセッサ１２ａ、記憶部１２ｂ、通信部１２ｃ、エンコード・デコード部１２ｄ、操作部１２ｅ、表示部１２ｆ、が含まれている。

プロセッサ１２ａは、例えばＣＰＵ等のプログラム制御デバイスであって、記憶部１２ｂに記憶されたプログラムに従って各種の情報処理を実行する。本実施形態に係るプロセッサ１２ａには、当該ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。

記憶部１２ｂは、例えばＲＯＭやＲＡＭ等の記憶素子やソリッドステートドライブ（ＳＳＤ）などである。記憶部１２ｂには、プロセッサ１２ａによって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部１２ｂには、プロセッサ１２ａに含まれるＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。

通信部１２ｃは、例えばコンピュータネットワーク１４を介して、クラウドサーバ１０などといったコンピュータとの間でデータを授受するための通信インタフェースである。

エンコード・デコード部１２ｄは、例えばエンコーダとデコーダとを含む。当該エンコーダは、入力される画像をエンコードすることにより当該画像を表す画像データを生成する。また当該デコーダは、入力される画像データをデコードして、当該画像データが表す画像を出力する。

操作部１２ｅは、例えばプロセッサ１２ａに対する操作入力を行うための操作部材である。

表示部１２ｆは、例えば液晶ディスプレイや有機ＥＬディスプレイなどの表示デバイスである。

なお、端末１２に、ＧＰＵやフレームバッファが含まれている必要はない。

本実施形態に係る端末１２に対するゲームに関する操作が操作部１２ｅを介して行われると、当該操作を表す操作信号が端末１２からクラウドサーバ１０に送信される。そして、クラウドサーバ１０において当該操作信号に応じたゲーム処理が実行される。そして操作信号の影響を受けた当該ゲームのプレイ状況を表すフレーム画像であるプレイ画像がクラウドサーバ１０のフレームバッファに描画される。本実施形態では、ゲーム処理及びプレイ画像の描画が繰り返し実行される。

そして、クラウドサーバ１０は、フレームバッファに描画されたプレイ画像を順次取得して、当該プレイ画像を表す画像データを生成する。そして、クラウドサーバ１０は、生成される画像データを端末１２に送信する。そして端末１２は、クラウドサーバ１０から受信する画像データをデコードすることにより生成されるプレイ画像を表示部１２ｆに表示させる。このようにして、本実施形態では一連のプレイ画像が表示部１２ｆに表示される。

本実施形態に係る端末１２は、可変フレームレートに対応している。そして、本実施形態では、プレイ画像の描画及び表示は、可変フレームレートで行われる。図２は、可変フレームレートで行われるプレイ画像の描画のフレームレートの推移の一例を模式的に示す図である。

図２に示されている期間Ｔ１は、プレイ画像に、描画処理が特にシンプルなシーンが表れている期間である。期間Ｔ１では、概ね７５ｆｐｓのフレームレートでプレイ画像の描画が行われる。すなわち、期間Ｔ１では、フレーム間のインターバル時間は概ね１／７５秒である。

図２に示されている期間Ｔ２、及び、期間Ｔ４は、プレイ画像に、描画処理が通常レベルであるシーンが表れている期間である。期間Ｔ２、及び、期間Ｔ４では、概ね６０ｆｐｓのフレームレートでプレイ画像の描画が行われる。すなわち、期間Ｔ２、及び、期間Ｔ４では、フレーム間のインターバル時間は概ね１／６０秒である。

図２に示されている期間Ｔ３は、プレイ画像に、描画処理が特に複雑なシーンが表れている期間である。期間Ｔ３では、概ね４５ｆｐｓのフレームレートでプレイ画像の描画が行われる。すなわち、期間Ｔ３では、フレーム間のインターバル時間は概ね１／４５秒である。

図２に示すようにプレイ画像の描画のフレームレートは、例えば、プレイ画像が表すシーンにおける描画処理の複雑さに応じて変動する。そして、クラウドサーバ１０において描画のフレームレート、すなわち、表示のインターバルが変動する状態を、端末１２において再現する必要がある。

仮に、クラウドサーバ１０における描画のフレームレートが図２のように変動しても、クラウドサーバ１０と端末１２が、予めお互いに申し合わせた固定のフレームレート６０ｆｐｓ（すなわち、フレーム間のインターバル時間は１／６０秒）でエンコード、送信、デコードおよび表示を行う方法も考えられる。また、本実施形態において、表示部１２ｆが、従来の固定フレームレートのみに対応したディスプレイであることが考えられる。この場合、制御は簡便となる一方で、新たな画像データを送信できる回数が、固定フレームレートの因数のみになってしまう。つまり、期間Ｔ１においては６０ｆｐｓ、期間Ｔ３においては３０ｆｐｓにとどまってしまう。また、期間Ｔ３においては、同じ描画結果の画像の画像データが、繰り返し送信されてしまうことも起こり得る。

図３は、クラウドサーバ１０におけるプレイ画像のフレームバッファへの描画から端末１２でのプレイ画像の表示までのシーケンスの一例を模式的に示す図である。図３には、（ｎ－１）番目のフレームのプレイ画像と、ｎ番目のフレームのプレイ画像と、におけるシーケンスの一例が示されている。

図３の例では、プレイ画像の描画にかかった時間はＡ、プレイ画像のエンコード（画像データの生成）にかかった時間はＢ、生成される画像データの送信にかかった時間はＣ、画像データのデコードにかかった時間はＤと示されている。

そして、プレイ画像のレイテンシがＬと示されている。本実施形態では、レイテンシＬは、エンコードにかかった時間Ｂ、送信にかかった時間Ｃ、及び、デコードにかかった時間Ｄの合計を示すこととする。

そして、図３には、（ｎ－１）番目のフレームについての、上述のＡ、Ｂ、Ｃ、Ｄ、Ｌで示される時間が、それぞれ、Ａ（ｎ－１）、Ｂ（ｎ－１）、Ｃ（ｎ－１）、Ｄ（ｎ－１）、Ｌ（ｎ－１）と表現されている。また、ｎ番目のフレームについての、上述のＡ、Ｂ、Ｃ、Ｄ、Ｌで示される時間が、それぞれ、Ａ（ｎ）、Ｂ（ｎ）、Ｃ（ｎ）、Ｄ（ｎ）、Ｌ（ｎ）と表現されている。ここで、Ｌ（ｎ－１）＝Ｂ（ｎ－１）＋Ｃ（ｎ－１）＋Ｄ（ｎ－１）であり、Ｌ（ｎ）＝Ｂ（ｎ）＋Ｃ（ｎ）＋Ｄ（ｎ）である。

本実施形態では例えば、クラウドサーバ１０は、フレーム番号、描画時間データ、エンコード時間データ、及び、送信開始タイミングデータに関連付けられた画像データを端末１２に送信する。

ここで、描画時間データは、例えば、上述の時間Ａが特定可能なデータである。描画時間データの例としては、描画の開始時及び終了時のタイムスタンプを示すデータ、描画に実際にかかった時間を示すデータ、などが挙げられる。

また、本実施形態に係るクラウドサーバ１０のプロセッサ１０ａは、描画処理の複雑度などに基づいて、プレイ画像の描画開始時に、当該プレイ画像が表すシーンのタイミングの、直前のフレームのプレイ画像が表すシーンのタイミングからの経過時間を決定する。そして、ＧＰＵは、直前のフレームのプレイ画像が表すシーンのタイミングから決定された経過時間だけ後のタイミングにおけるシーンを表すプレイ画像を描画する。このことを踏まえ、描画時間データが、プロセッサ１０ａによって決定される上述の経過時間を示すデータであってもよい。

エンコード時間は、例えば、上述の時間Ｂが特定可能なデータである。エンコード時間データの例としては、エンコードの開始時及び終了時のタイムスタンプを示すデータ、エンコードに実際にかかった時間を示すデータ、などが挙げられる。

送信開始タイミングデータは、例えば、画像データの送信タイミングを示すデータである。端末１２は、画像データに関連付けられた送信開始タイミングデータと、当該画像データの受信タイミングと、に基づいて、時間Ｃが特定可能である。

また、端末１２は、デコードのかかった時間を測定することにより、時間Ｄが特定可能である。

以上のようにして、本実施形態では、端末１２において、時間Ａ、時間Ｂ、時間Ｃ、及び、時間Ｄが特定可能になっている。そのため、端末１２において、レイテンシＬが特定可能になっている。また、端末１２において、時間Ａに基づいて、発生する通信頻度、及び、端末１２において必要な表示頻度を把握することが可能となる。

そして、本実施形態では、端末１２が、レイテンシＬの統計を示す統計データを生成する。図４は、端末１２において特定されるレイテンシＬの統計を示す統計データの一例を模式的に示す図である。本実施形態では、端末１２において、複数のフレームについて上述のようにして特定されるレイテンシＬに基づいて、レイテンシＬの統計を示す統計データが生成される。図４には、レイテンシＬの統計を示す統計データの一例として、レイテンシＬの分布を表すヒストグラムが示されている。

図４に示すように、エンコードやデコードの処理の重さや、クラウドサーバ１０と端末１２との間の通信などの実環境によって、発生するレイテンシＬはまちまちである。

また、図５の（１）に示すように、通信状況によっては、画像データの到着順序に逆転が発生することがある。本実施形態では、端末１２が、受信した画像データに関連付けられているフレーム番号に基づいて、画像データの到着順序に逆転が発生しているか否かを特定可能である。

また、図５の（２）に示すように、通信状況によっては、未到着による画像データの欠落が発生することがある。本実施形態では、端末１２が、受信した画像データのフレーム番号に基づいて、未到着による画像データの欠落が発生したか否かを特定可能である。

ゲームのプレイ状況を表す動画像のようにリアルタイム性が要求される動画像の通信では、プレイ画像が端末１２で表示されるまでのレイテンシが小さい方が望ましい。このため、プレイ画像が端末１２で表示されるまでの実際の時間が長い場合には、当該プレイ画像を表示させずに破棄した方がよいことがある。また、フレーム間のクラウドサーバ１０における画像の描画のインターバル時間を、端末１２での画像の表示において再現することが望ましい。

ところが、図４に示すように、エンコードやデコードの処理の重さや、クラウドサーバ１０と端末１２との間の通信などの実環境によって、発生するレイテンシはまちまちである。そのため、端末１２において画像の受信に応じた表示を単に行うだけでは、端末１２での画像の表示のインターバル時間を端末１２とコンピュータネットワーク１４越しに接続されたクラウドサーバ１０における画像の描画のインターバル時間に追従させることができない。また、レイテンシの制御目標値を固定値として、レイテンシが当該固定値よりも大きい場合にプレイ画像を一律に破棄してしまうと、破棄されるべきでないプレイ画像が破棄される、あるいは逆に、破棄されるべきプレイ画像が破棄されない、などのように、実環境によってはプレイ画像の適切な破棄が行われないおそれがある。このような適切な破棄が行われないことも、端末１２での画像の表示のインターバル時間をクラウドサーバ１０における画像の描画のインターバル時間に追従させることができないことの一因となる。

そこで本実施形態では以下で説明するようにしてコンピュータネットワーク１４越しにクラウドサーバ１０と接続された端末１２における画像の表示のインターバル時間をクラウドサーバ１０における描画のインターバル時間にうまく追従させることができるようにした。

また、本実施形態では以下で説明するようにレイテンシＬの統計を示す統計データに基づいてプレイ画像を表示させるか破棄するかを制御することで、実環境に応じてプレイ画像を適切に破棄できるようにした。

図６は、本実施形態に係るクラウドゲーミングシステム１で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るクラウドゲーミングシステム１で、図６に示す機能のすべてが実装される必要はなく、また、図６に示す機能以外の機能が実装されていても構わない。

図６に示すように、本実施形態に係るクラウドサーバ１０には、機能的には例えば、画像取得部２０、エンコード処理部２２、データ送信部２４、変更指示受信部２６、変更部２８、が含まれる。

画像取得部２０、エンコード処理部２２は、エンコード・デコード部１０ｄを主として実装される。データ送信部２４、変更指示受信部２６は、通信部１０ｃを主として実装される。変更部２８は、プロセッサ１０ａを主として実装される。

そして以上の機能は、コンピュータであるクラウドサーバ１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１０ａで実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してクラウドサーバ１０に供給される。

また、図６に示すように、本実施形態に係る端末１２には、機能的には例えば、統計データ記憶部３０、累積誤差データ記憶部３２、データ受信部３４、デコード処理部３６、統計データ管理部３８、表示タイミング特定部４０、表示制御部４２、変更指示送信部４４、が含まれる。

統計データ記憶部３０、累積誤差データ記憶部３２は、記憶部１２ｂを主として実装される。データ受信部３４は、通信部１２ｃを主として実装される。デコード処理部３６は、エンコード・デコード部１２ｄを主として実装される。統計データ管理部３８、表示タイミング特定部４０は、プロセッサ１２ａを主として実装される。表示制御部４２は、プロセッサ１２ａ及び表示部１２ｆを主として実装される。変更指示送信部４４は、プロセッサ１２ａ及び通信部１２ｃを主として実装される。

そして以上の機能は、コンピュータである端末１２にインストールされた、以上の機能に対応する指令を含むプログラムを端末１２で実行することにより実装されている。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して端末１２に供給される。

画像取得部２０は、本実施形態では例えば、フレームバッファに描画された画像（上述の例ではプレイ画像）を順次取得する。

エンコード処理部２２は、本実施形態では例えば、画像取得部２０が取得する画像をエンコードすることで、画像データを生成する。

データ送信部２４は、本実施形態では例えば、上述の描画時間データに関連付けられた、エンコード処理部２２により生成される画像データを端末１２に送信する。データ送信部２４は、フレーム番号、上述のエンコード時間データ、又は、上述の送信開始タイミングデータのうちの少なくとも１つにさらに関連付けられた画像データを送信してもよい。

統計データ記憶部３０は、本実施形態では例えば、複数の画像データのレイテンシの統計を示す、図４に例示する統計データを記憶する。図４の例では、レイテンシＬを長いものから順に並べた際における上位からの割合が所定％（例えば１０％）あるレイテンシＬがＬ１と示されている。値Ｌ１は、統計データに基づいて特定可能である。本実施形態では、統計データ記憶部３０は、値Ｌ１を示すＬ１データを記憶する。

また、統計データ記憶部３０は、画像データの到着順序の逆転の発生頻度を示す逆転発生データを記憶する。また、統計データ記憶部３０は、未到着による画像データの欠落の発生頻度を示す欠落発生データを記憶する。

累積誤差データ記憶部３２は、本実施形態では例えば、画像が表示されるべきタイミングと画像が実際に表示されたタイミングとの誤差の累積を示す累積誤差データを記憶する。累積誤差データの値Ｅは非負であり、初期値は０であることとする。

データ受信部３４は、本実施形態では例えば、データ送信部２４から送信される、描画時間データに関連付けられた画像データを順次受信する。データ受信部３４は、フレーム番号、エンコード時間データ、又は、送信開始タイミングデータのうちの少なくとも１つにさらに関連付けられた画像データを受信してもよい。

デコード処理部３６は、本実施形態では例えば、データ受信部３４が受信する画像データをデコードすることにより画像を生成する。

統計データ管理部３８は、本実施形態では例えば、画像データの受信に応じて、統計データ記憶部３０に記憶されている統計データに、当該画像データについてのレイテンシＬを示す要素を追加する。

また、統計データ管理部３８は、本実施形態では例えば、統計データ記憶部３０に記憶されている統計データに基づいて、画像データを表示させるか破棄するかの基準となる許容レイテンシＬ２を決定する。

許容レイテンシＬ２は、例えば、Ｌ１データの値Ｌ１が所定値Ｌ０よりも小さい場合は、Ｌ０であり、Ｌ１データの値Ｌ１が所定値Ｌ０以上である場合は、Ｌ１である。このようにして、許容レイテンシＬ２の値が、所定値Ｌ０よりも小さくならないようにしてもよい。

また、統計データ管理部３８は、データ受信部３４が受信する画像データに関連付けられているフレーム番号に基づいて、画像データの到着順序の逆転の発生、及び、未到着による画像データの欠落の発生を検出する。

そして、統計データ管理部３８は、画像データの到着順序の逆転の発生頻度を示す逆転発生データを生成する。また、統計データ管理部３８は、未到着による画像データの欠落の発生頻度を示す欠落発生データを生成する。

統計データ管理部３８は、例えば、直近の所定時間における単位時間あたりの画像データの到着順序の逆転の発生回数を計算する。そして、統計データ管理部３８は、計算された発生回数を、逆転発生データの値Ｍに設定する。

また、統計データ管理部３８は、例えば、直近の所定時間における単位時間あたりの未到着による画像データの欠落の発生回数を計算する。そして、統計データ管理部３８は、計算された発生回数を、欠落発生データの値Ｎに設定する。

表示タイミング特定部４０は、本実施形態では例えば、描画時間データに基づいて、デコード処理部３６により生成される画像の表示タイミングを特定する。表示タイミング特定部４０は、レイテンシＬ、又は、累積誤差データにさらに基づいて、デコード処理部３６により生成される画像の表示タイミングを特定してもよい。

表示制御部４２は、本実施形態では例えば、特定される表示タイミングに基づいて、デコード処理部３６により生成される画像の表示を制御する。また、表示制御部４２は、フレーム番号、エンコード時間データ、又は、送信開始タイミングデータのうちの少なくとも１つにさらに基づいて、画像の表示を制御してもよい。

また、表示制御部４２は、本実施形態では例えば、受信する新たな画像データのレイテンシＬが許容レイテンシＬ２を超えているか否かに基づいて、当該画像データが示す画像を表示させるか破棄するかを制御する。表示制御部４２は、例えば、デコード処理部３６により生成される画像を端末１２の表示部１２ｆに表示させるか破棄するかを制御する。

変更指示送信部４４は、本実施形態では例えば、決定される許容レイテンシＬ２の値が所定の条件を満足する場合に、クラウドサーバ１０にデータレートの変更指示を送信する。変更指示送信部４４は、例えば、決定される許容レイテンシＬ２が所定のレイテンシを超えた場合に、クラウドサーバ１０にデータレートの減少指示を送信する。また、変更指示送信部４４は、例えば、決定される許容レイテンシＬ２が所定のレイテンシを下回った場合に、クラウドサーバ１０にデータレートの増加指示を送信する。

変更指示受信部２６は、本実施形態では例えば、変更指示送信部４４から送信される変更指示を受信する。

変更部２８は、本実施形態では例えば、当該変更指示の受信に応じて、データレートを変化させる。変更部２８は、例えば、フレームスキップの頻度、エンコードＱＰ値、解像度、色域、ビット深度などを変更することで、データレートを変化させる。

ここで、本実施形態に係る端末１２において、データ受信部３４がｎ番目のフレームの画像データ（以下、画像データ（ｎ）と表現する。）を受信した際に実行される処理の流れの一例を、図７Ａ及び図７Ｂに例示するフロー図を参照しながら説明する。

まず、デコード処理部３６が、画像データ（ｎ）をデコードすることで、プレイ画像（ｎ）を生成する（Ｓ１０１）。

そして、統計データ管理部３８は、画像データ（ｎ）のレイテンシＬ（ｎ）、及び、許容レイテンシＬ２を特定する（Ｓ１０２）。許容レイテンシＬ２は、上述のようにして、統計データ記憶部３０に記憶されているＬ１データに基づいて特定される。

そして、表示タイミング特定部４０が、Ｓ１０１に示す処理で生成されたプレイ画像（ｎ）の表示タイミングｔ１（ｎ）を特定する（Ｓ１０３）。ここで、ｔ１（ｎ）は、ｔ２（ｎ－１）＋Ａ（ｎ）－Ｅで計算されるタイミングである。なお、ｔ２（ｎ－１）は、直前のフレームに受信した画像データをデコードすることにより生成されるプレイ画像であるプレイ画像（ｎ－１）が実際に表示されたタイミングを示している。また、Ａ（ｎ）は、上述のように、プレイ画像（ｎ）の描画にかかった時間である。

そして、統計データ管理部３８は、現在時刻がＳ１０３に示す処理で特定された表示タイミングｔ１（ｎ）以降であってレイテンシＬ（ｎ）が許容レイテンシＬ２を超えているか否か、及び、画像データ（ｎ）について到着順序の逆転が発生したか否かを確認する（Ｓ１０４）。例えば、画像データ（ｎ）のフレーム番号が、それまでに受信したいずれかの画像データのフレーム番号よりも小さい場合は、到着順序の逆転が発生したことが確認される。

現在時刻がＳ１０３に示す処理で特定された表示タイミングｔ１（ｎ）以降であってレイテンシＬ（ｎ）が許容レイテンシＬ２を超えていること、又は、到着順序の逆転が発生したことが確認された場合は（Ｓ１０４：Ｙ）、表示制御部４２が、画像データ（ｎ）を破棄する（Ｓ１０５）。

現在時刻がＳ１０３に示す処理で特定された表示タイミングｔ１（ｎ）以降であってレイテンシＬ（ｎ）が許容レイテンシＬ２を超えていること、又は、到着順序の逆転が発生したことのいずれも確認されなかったとする（Ｓ１０４：Ｎ）。この場合は、表示制御部４２が、現在時刻が、Ｓ１０５に示す処理で特定された表示タイミングｔ１（ｎ）以降であるか否かを確認する（Ｓ１０６）。

現在時刻が、Ｓ１０５に示す処理で特定された表示タイミングｔ１（ｎ）以降でない場合は（Ｓ１０６：Ｎ）、表示制御部４２が、表示タイミングｔ１（ｎ）が到来するまで待機する（Ｓ１０７）。そして、表示タイミングｔ１（ｎ）が到来したら、表示制御部４２が、プレイ画像（ｎ）を表示部１２ｆに表示させる（Ｓ１０８）。この場合は、プレイ画像（ｎ）が実際に表示されたタイミングｔ２（ｎ）は、表示タイミングｔ１（ｎ）と同じになる。

一方、現在時刻が、Ｓ１０５に示す処理で特定された表示タイミングｔ１（ｎ）以降である場合は（Ｓ１０６：Ｙ）、表示制御部４２は、プレイ画像（ｎ）を即座に表示部１２ｆに表示させる（Ｓ１０８）。この場合は、プレイ画像（ｎ）が実際に表示されたタイミングｔ２（ｎ）は、表示タイミングｔ１（ｎ）と異なることがある。

そして、表示制御部４２が、累積誤差データ記憶部３２に記憶されている累積誤差データの値を更新する（Ｓ１０９）。ここでは例えば、累積誤差データ記憶部３２に記憶されている累積誤差データの値Ｅが、Ｅ＋ｔ２（ｎ）－ｔ２（ｎ－１）－Ａ（ｎ）で計算される値に更新される。なお、累積誤差データの値Ｅが、Ｅ＋Ｌ（ｎ）－Ｌ（ｎ－１）で計算される値に更新されてもよい。この場合は、レイテンシＬに基づいて累積誤差データの値Ｅが特定されることとなる。このようにして、レイテンシＬに基づいて、表示タイミングｔ１（ｎ）が特定されるようにしてもよい。

すなわち、プレイ画像（ｎ－１）が表示されたタイミングからプレイ画像（ｎ）が表示されたタイミングまでの時間（ｔ２（ｎ）－ｔ２（ｎ－１））が、プレイ画像（ｎ）の描画にかかった時間Ａ（ｎ）よりも長い場合は、累積誤差データの値Ｅは増加する。一方、プレイ画像（ｎ－１）が表示されたタイミングからプレイ画像（ｎ）が表示されたタイミングまでの時間（ｔ２（ｎ）－ｔ２（ｎ－１））が、プレイ画像（ｎ）の描画にかかった時間Ａ（ｎ）よりも短い場合は、累積誤差データの値Ｅは減少する。

Ｓ１０４、又は、Ｓ１０９に示す処理が終了すると、統計データ管理部３８が、プレイ画像（ｎ）のレイテンシＬ（ｎ）を示す要素を、統計データ記憶部３０に記憶されている統計データに追加する（Ｓ１１０）。

そして、統計データ管理部３８が、レイテンシＬ（ｎ）を示す要素が追加された統計データに基づいて特定されるＬ１データの値Ｌ１を更新（再計算）する。また、統計データ管理部３８は、逆転発生データの値Ｍ、欠落発生データの値Ｎについても更新（再計算）する（Ｓ１１１）。

そして、変更指示送信部４４が、値Ｌ１が所定の上限値Ｌｍａｘより大きい、値Ｍが所定の上限値Ｍｍａｘより大きい、又は、値Ｎが所定の上限値Ｎｍａｘより大きい、のいずれかの条件を満足するか否かを確認する（Ｓ１１２）。

条件を満足することが確認された場合は（Ｓ１１２：Ｙ）、変更指示送信部４４は、データレートの減少指示を示す信号であるデータレート減少信号をクラウドサーバ１０に送信する（Ｓ１１３）。すると、クラウドサーバ１０の変更指示受信部２６は、当該減少信号を受信する。そして、変更部２８は、データレート減少信号の受信に応じて、データレートを減少させる。

一方、Ｓ１１２に示すいずれの条件も満足しないことが確認された場合は（Ｓ１１２：Ｎ）、変更指示送信部４４が、値Ｌ１が所定の下限値Ｌｍｉｎより小さいか否かを確認する（Ｓ１１４）。値Ｌ１が所定の下限値Ｌｍｉｎより小さいことが確認された場合は（Ｓ１１４：Ｙ）、変更指示送信部４４は、データレートの増加指示を示す信号であるデータレート増加信号をクラウドサーバ１０に送信する（Ｓ１１５）。すると、クラウドサーバ１０の変更指示受信部２６は、当該増加信号を受信する。そして、変更部２８は、データレート増加信号の受信に応じて、データレートを増加させる。

値Ｌ１が所定の下限値Ｌｍｉｎより小さくないことが確認された場合（Ｓ１１４：Ｎ）、Ｓ１１３に示す処理が終了した場合、又は、Ｓ１１５に示す処理が終了した場合は、本処理例に示す処理は終了される。

以上、データ受信部３４が画像データ（ｎ）を受信した際に実行される処理の流れの一例を説明したが、図７Ａ及び図７Ｂに示す処理と同様の処理は、データ受信部３４が画像データを受信する度に、当該受信をトリガとして実行される。

本実施形態によれば、上述のようにして、統計データに基づいて特定される許容レイテンシＬ２に基づいて、画像データが示す画像を表示させるか破棄するかが制御される。そのため本実施形態によれば、レイテンシＬが固定値である制御目標値よりも大きい場合にプレイ画像を一律に破棄する場合よりも、実環境に応じてプレイ画像を適切に破棄できることとなる。

また、本実施形態では、上述のようにして、累積誤差データの値Ｅがなるべく小さくなるようにプレイ画像の表示タイミングが制御される。そのため、本実施形態によれば、表示されるべきタイミングに近いタイミングでプレイ画像が表示されることとなる。

なお、Ｓ１０４に示す処理で、現在時刻がＳ１０３に示す処理で特定された表示タイミングｔ１（ｎ）以降であってレイテンシＬ（ｎ）が許容レイテンシＬ２を超えていること、又は、到着順序の逆転が発生したことが確認されても、所定の条件を満足する場合は、Ｓ１０５に示す処理ではなく、Ｓ１０６～Ｓ１０９に示す処理が実行されてもよい。例えば、直前に表示されたプレイ画像からのシーンチェンジが大きい場合は、Ｓ１０６～Ｓ１０９に示す処理が実行されてもよい。また例えば、到着順序の逆転が発生しており、レイテンシＬ（ｎ）が許容レイテンシＬ２を超えておらず、かつ、現在時刻が表示タイミングｔ１（ｎ）に近い場合は（現在時刻が表示タイミングｔ１（ｎ）から所定時間の範囲で、現在時刻が表示タイミングの前でも後でもよい）、画像が表示されるようにしてもよい。

また、Ｓ１１４及びＳ１１５に示す処理において、値Ｍが所定の下限値Ｍｍｉｎより小さいことが確認された場合に、変更指示送信部４４は、データレート増加信号をクラウドサーバ１０に送信してもよい。また、値Ｎが所定の下限値Ｎｍｉｎより小さいことが確認された場合に、変更指示送信部４４は、データレート増加信号をクラウドサーバ１０に送信してもよい。そして上述のように、クラウドサーバ１０は、データレート増加信号の受信に応じて、データレートを増加させてもよい。

また本実施形態では上述のように画像データのフレームレートが変化することがあるが、操作部１２ｅに対する操作を表す操作信号が端末１２からクラウドサーバ１０に送信されるサンプリングレートは画像データのフレームレートと異なっていてもよい。また操作をサンプリングするタイミングは、画像データが示す画像を表示するタイミングと非同期であってもよい。またこの場合、操作信号には、操作のタイミングに表示されていたプレイ画像のフレーム番号、あるいは、操作のタイミングを示すタイムスタンプ等のデータが関連付けられていてもよい。

また、以上の説明では、フレーム画像を描画やエンコードや送信の単位として説明したが、描画やエンコードや送信はフレーム画像単位で行われる必要はない。例えば、グラデュアルデコーダリフレッシュ（ＧＤＲ）の技術を用いたエンコードが行われる状況や、１つのフレーム画像を複数の部分に分割して送信するスライス転送方式によるエンコードや画像データの送信が行われる状況にも本実施形態は適用可能である。

またＳ１０５に示す処理で、ｔ２（ｎ－１）＋Ａ（ｎ）－Ｅで計算されるタイミングと、ｔ２（ｎ－１）＋ｐ×Ａ（ｎ）で計算されるタイミングと、のうちの遅い方のタイミングが、表示タイミングｔ１（ｎ）に特定されてもよい。ここで、値ｐは、動的に変更可能な０以上１以下の値である。値ｐは、例えば、０．９であってもよい。このようにすれば、累積している誤差が急激に減ることを防ぐことができる。

本実施形態は、クラウドサーバ１０における描画が、可変フレームレートであっても固定フレームレートであっても適用可能である。

また、端末１２が可変クレームレートに対応しておらず、端末１２において固定フレームレートでプレイ画像が表示されてもよい。この場合、表示制御部４２が、表示タイミングｔ１（ｎ）に最も近い垂直同期（Ｖｓｙｎｃ）のタイミングに、プレイ画像（ｎ）を表示させてもよい。

なお、本発明は上述の実施形態に限定されるものではない。

また、統計データ記憶部３０、累積誤差データ記憶部３２、統計データ管理部３８、表示タイミング特定部４０、変更指示送信部４４の一部またはすべての機能が、クラウドサーバ１０で実装されてもよい。

また、変更指示送信部４４が、レイテンシＬ以外の指標、例えば、過去所定期間の時間Ａや時間Ｂの推移に応じた、データレート変更指示の送信を実行してもよい。

例えば、時間Ａの長さが減少傾向にある場合（この場合は、フレームレートが上がりデータレートが上がりやすい）や、レイテンシＬに占める時間Ｂの長さが増加傾向にある場合（この場合は、複雑なエンコードが多用され遅延が増加している）がある。例えばこれらの場合に、変更指示送信部４４が、許容レイテンシＬ２の長さが所定のレイテンシを超えていなくても、データレートの減少指示を送信してもよい。

また、例えば、未到着による画像データの欠落の発生や到着順序の逆転に備えて、データ送信部２４が、描画時間データ、フレーム番号、エンコード時間データ、又は、前記送信開始タイミングデータのうちの少なくとも１つの履歴に関連付けられた画像データを送信してもよい。例えば、過去所定期間のこれらのデータの履歴が関連付けられた画像データが送信されるようにしてもよい。このようにすれば、統計データ記憶部３０に記憶される統計データが不十分となることを避けることができる。

また、本発明の適用範囲は、クラウドゲーミングシステム１には限定されない。例えば、家庭内に配置されたサーバと、家庭内ネットワーク、公衆ネットワーク、携帯電話のキャリアネットワークなどを介して当該サーバと接続される端末と、を含むゲームシステムにも、本発明は適用可能である。すなわち、コンピュータネットワーク１４は、家庭内ネットワーク、公衆ネットワーク、携帯電話のキャリアネットワークなどであってもよい。また、当該サーバと当該端末とは有線で接続されていても無線で接続されていてもよい。

また、本発明が適用されるゲームの内容は特に限定されず、例えば、仮想現実（ＶＲ）や拡張現実（ＡＲ）を用いたゲームを実行するゲームシステムにも本発明は適用可能である。

また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (9)

1. 送信装置における画像の描画時間を特定可能な描画時間データに関連付けられた、当該画像を示す画像データを前記送信装置から順次受信する受信部と、
   前記描画時間データと、画像が表示されるべきタイミングと画像が実際に表示されたタイミングとの誤差の累積を示す累積誤差データと、に基づいて、前記画像データが示す画像の表示タイミングを特定する表示タイミング特定部と、
   特定される前記表示タイミングに基づいて、前記画像の表示を制御する表示制御部と、
   を含むことを特徴とする表示制御装置。
2. 前記受信部は、フレーム番号、エンコードにかかった時間を特定可能なエンコード時間データ、又は、前記画像データの送信タイミングを示す送信開始タイミングデータのうちの少なくとも１つにさらに関連付けられた前記画像データを受信し、
   前記表示制御部は、フレーム番号、前記エンコード時間データ、又は、前記送信開始タイミングデータのうちの少なくとも１つにさらに基づいて、前記画像の表示を制御する、
   ことを特徴とする請求項１に記載の表示制御装置。
3. 前記表示制御部は、前記表示制御装置が可変クレームレートに対応しておらず、固定フレームレートで画像が表示されるものである場合に、前記表示タイミングに最も近い垂直同期のタイミングに、前記画像を表示させる、
   ことを特徴とする請求項１又は２に記載の表示制御装置。
4. 複数の前記画像データのレイテンシの統計を示す統計データを生成する統計データ生成部と、
   前記統計データに基づいて、許容レイテンシを決定する許容レイテンシ決定部と、をさらに含み、
   前記表示制御部は、受信する新たな前記画像データのレイテンシが前記許容レイテンシを超えているか否かに基づいて、当該画像データが示す画像を表示させるか破棄するかを制御する、
   ことを特徴とする請求項１から３のいずれか一項に記載の表示制御装置。
5. 決定される前記許容レイテンシが所定の条件を満足する場合に、前記送信装置にデータレートの変更指示を送信する変更指示送信部、をさらに含む、
   ことを特徴とする請求項４に記載の表示制御装置。
6. 前記変更指示送信部は、決定される前記許容レイテンシが所定のレイテンシを超えた場合に、前記送信装置にデータレートの減少指示を送信する、
   ことを特徴とする請求項５に記載の表示制御装置。
7. 前記変更指示送信部は、決定される前記許容レイテンシが所定のレイテンシを下回った場合に、前記送信装置にデータレートの増加指示を送信する、
   ことを特徴とする請求項５又は６に記載の表示制御装置。
8. 送信装置における画像の描画時間を特定可能な描画時間データに関連付けられた、当該画像を示す画像データを前記送信装置から順次受信するステップと、
   前記描画時間データと、画像が表示されるべきタイミングと画像が実際に表示されたタイミングとの誤差の累積を示す累積誤差データと、に基づいて、前記画像データが示す画像の表示タイミングを特定するステップと、
   特定される前記表示タイミングに基づいて、前記画像の表示を制御するステップと、
   を含むことを特徴とする表示制御方法。
9. 送信装置における画像の描画時間を特定可能な描画時間データに関連付けられた、当該画像を示す画像データを前記送信装置から順次受信する手順、
   前記描画時間データと、画像が表示されるべきタイミングと画像が実際に表示されたタイミングとの誤差の累積を示す累積誤差データと、に基づいて、前記画像データが示す画像の表示タイミングを特定する手順、
   特定される前記表示タイミングに基づいて、前記画像の表示を制御する手順、
   をコンピュータに実行させることを特徴とするプログラム。

Images