JP6620079B2 - 画像処理システム、画像処理方法およびコンピュータプログラム - Google Patents

Description

この発明は、画像処理技術に関する。

ヘッドマウントディスプレイ（以下「ＨＭＤ」とも呼ぶ。）は、ユーザの頭部に装着されて仮想現実（ＶＲ）の世界をユーザに提供する。最近ではユーザがＨＭＤに表示された画面を見ながらゲームをプレイできるアプリケーションも登場している。テレビなどの従来型の据え置き型のディスプレイでは画面外側にもユーザの視野範囲が広がるため、ユーザが画面に集中できなかったり、ゲームへの没入感を欠くことがある。その点、ＨＭＤを装着すると、ＨＭＤに表示される映像しかユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。

ＨＭＤが提供する映像世界へのユーザの没入感を高めるために高解像度の画像を表示することが求められるが、必要な高解像度の画像を１台の装置で描画することは難しいことがある。そこで、映像が表示される画面を複数の領域に分割し、複数領域の画像を複数台の装置により並行して描画して、複数領域の画像を統合することで、高解像度の画像の表示を可能にする構成が考えられる。

しかし、画像処理や通信等における負荷によっては、複数台の装置による描画結果が画像を表示すべきタイミングまでに集まらず、画像表示の遅延が発生し得る。本発明は、こうした課題に鑑みてなされたものであり、主たる目的は、高解像度の画像を表示する際の遅延を抑制するための技術を提供することである。

上記課題を解決するために、本発明のある態様の画像処理システムは、フレームの表示領域を分割した複数の個別領域に表示すべき複数の個別画像を互いに並行して描画する複数の描画部と、複数の描画部により描画された複数の個別画像を合成した合成画像を生成する画像合成部と、合成画像をヘッドマウントディスプレイに表示させる表示制御部と、を備える。画像合成部は、あるフレームの処理タイミングにおいて少なくとも１つの個別領域の個別画像が遅延した場合に、その個別領域の個別画像として以前のフレームの個別画像を適用して合成画像を生成する。

本発明の別の態様は、画像処理方法である。この方法は、フレームの表示領域を分割した複数の個別領域に表示すべき複数の個別画像を並行して描画するステップと、複数の個別画像を合成した合成画像を生成するステップと、合成画像をヘッドマウントディスプレイに表示させるステップと、を１台のコンピュータが実行し、または、複数台のコンピュータが分散して実行し、合成画像を生成するステップは、あるフレームの処理タイミングにおいて少なくとも１つの個別領域の個別画像が遅延した場合に、その個別領域の個別画像として以前のフレームの個別画像を適用して合成画像を生成する。

なお、以上の構成要素の任意の組合せ、本発明の表現をシステム、プログラム、プログラムを格納した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、高解像度の画像を表示する際の遅延を抑制することができる。

実施例における画像処理方法の原理を示す図である。 実施例における画像処理方法の原理を示す図である。 変形例における画像処理方法の原理を示す図である。 実施例の画像処理システムの構成を示す図である。 図４のマスタノードの機能構成を示すブロック図である。 図４の複数の描画ノードそれぞれの機能構成を示すブロック図である。 図４の表示制御ノードの機能構成を示すブロック図である。 実施例の画像処理システムの動作を示すフローチャートである。 複数の描画ノードの負荷を平準化する方法を模式的に示す図である。 複数の領域に分割された画面を模式的に示す図である。 第３変形例のＨＭＤシステムの構成を示す図である。

実施例を詳細に説明する前に実施例の概要を説明する。ＨＭＤで表示する仮想現実（ＶＲ）空間に対する深い没入感をユーザに与えるためには、８Ｋ、１６Ｋといった高解像度の画像の表示が必要になると言われている。高解像度の画像の通信または生成に係る画像処理は負荷が大きい。本発明者は、画像が表示される画面を複数の領域に分割して、複数の領域の画像を複数の描画ノード（ＧＰＵ）が分散して描画し、複数の領域の画像を表示ノードが統合して表示させることにより、高解像度の画像の処理負荷を軽減することができると考えた。

しかし、通信処理および／または描画処理の負荷により、必ずしも全ての分散描画結果が画像を表示すべきタイミングまでに表示ノードに集まるとは限らない。少なくとも一部の分散描画結果が遅延する場合、遅延した分散描画結果が届くのを待ち、届いたタイミングで画像を更新することも考えられる。しかし、このような構成では、表示ノードにおける画像の更新タイミングが遅れ、ユーザに遅延を感じさせてしまうことがある。

そこで実施例では、画面を分割した複数の領域のうち分散描画結果が遅延した領域については以前のフレームに基づく画像を代替画像として表示させる画像処理方法であり、言い換えれば、更新可能な領域の画像のみを更新する画像処理方法を提案する。

図１は、実施例における画像処理方法の原理を示す。実施例の画像処理方法では、まず、（１）フレーム画像の表示領域である画面１０を複数の個別領域（個別領域１２ａ、個別領域１２ｂ、個別領域１２ｃ、個別領域１２ｄ）に分割する。フレーム画像は、例えばＶＲ映像を構成する個々のフレームの画像であり、あるタイミングで表示デバイスに表示される１枚の画像である。画面１０は、フレーム画像をレンダリングする領域とも言える。

次に、（２）複数の個別領域の画像（以下「個別画像」と呼ぶ。）を複数のノードで並行して生成する。例えば、個別領域１２ａに表示すべき個別画像１４ａ、個別領域１２ｂに表示すべき個別画像１４ｂ、個別領域１２ｃに表示すべき個別画像１４ｃ、個別領域１２ｄに表示すべき個別画像１４ｄを４つのノードで並行して描画する。次に、（３）表示ノードは、複数のノードで分散して生成された個別画像を合成することにより、表示デバイスに表示させるべきフレーム画像１６を生成する。

現状、ＰＣ等のデバイス１台では、ＨＭＤに表示させるＶＲ画像として必要と言われている８Ｋまたは１６Ｋの画像を描画することは困難である。実施例では、フレーム画像１６の描画処理を、複数のノード（ＧＰＵ）で分散・並行して実行することにより、高解像度の画像をリアルタイムに描画することを実現する。

ここで、個別領域１２ｃの描画処理が画像の合成タイミングまでに未完了であれば、個別領域１２ｃに前のフレームの画像を表示させる。言い換えれば、前のフレームの画像を継続して表示させる。実施例では、前回のフレーム画像１６の生成時に個別領域１２ｃの位置に使用した個別画像を、個別領域１２ｃの本来の個別画像に代わる代替画像として使用してフレーム画像１６を生成する。ただし、個別領域１２ｃの描画結果の受取が一定時間以上遅延した場合、個別領域１２ｃの画像の到着を待ってフレーム画像１６を生成する。すなわち、遅延した個別画像の取得と、フレーム画像１６の生成とを同期させる。この構成は、遅延が比較的小さい場合、フレーム画像１６の一部分の更新が遅れても人間の目では気付きにくいため、フレーム画像１６の大部分の更新が遅れない方がユーザ体験としては問題が少ないという発明者の知見に基づく。

図２も、実施例における画像処理方法の原理を示す。描画ノード２０ａ、描画ノード２０ｂ、・・・、描画ノード２０ｎは、個別画像２２ａ、個別画像２２ｂ、・・・、個別画像２２ｎを並行して描画する。表示ノード２４は、個別画像２２ａ、個別画像２２ｂ、・・・、個別画像２２ｎを合成してフレーム画像２６を生成する。画面の中心に近い個別画像２２ｂの描画が遅延した場合、表示ノード２４は、前のフレームの画像を表示させることなく、フレーム画像２６の表示を遅延させる。言い換えれば、遅延した個別画像２２ｂの到着に同期してフレーム画像２６を更新する。

その一方、画面の中心から離れた個別画像２２ａまたは個別画像２２ｎの描画が遅延した場合、表示ノード２４は、遅延した個別画像の領域に前のフレームの画像を表示させることで、フレーム画像２６を遅延なく表示させる。言い換えれば、フレーム画像２６の表示が遅延することを防止する。この構成は、画面の分割数が十分に多い場合、画面の中心から離れている部分は、表示が数フレーム遅れてもユーザには気付かれにくいと言う発明者の知見に基づく。ただし、個別画像の遅延が一定フレーム以上になるとユーザが気付いてしまう。そのため表示ノード２４は、個別画像２２ａまたは個別画像２２ｎの描画が所定時間以上遅れた場合、遅延した個別画像２２ａまたは個別画像２２ｎの到着（言い換えれば描画の完了）を待ってフレーム画像２６を更新する。

図３は、変形例における画像処理方法の原理を示す。図３の符号は図２に対応する。図３に示すように画面は等分に分割されなくてもよい。例えば、画面の中心から離れた個別領域の画素数が、画面の中心近傍の個別領域の画素数より少なくなるように（言い換えればサイズが小さくなるように）分割してもよい。また、画面の中心から離れた個別領域ほどその画素数が少なくなるように分割してもよい。そして、画面の中心から離れた個別画像（例えば個別画像２２ａ、個別画像２２ｂ、個別画像２２ｎ）の描画が遅延した場合に限り、遅延した個別画像の領域に前のフレームの画像を表示させてもよい。これにより、画像の描画が遅延したことをユーザに一層気付かせにくくなる。

以下、実施例の構成を詳細に説明する。図４は、実施例の画像処理システムの構成を示す。画像処理システム３０は、マスタノード３２、描画ノード３４で総称される描画ノード３４ａ、描画ノード３４ｂ、描画ノード３４ｎ、表示制御ノード３６、表示デバイス３８を備える。これらの各装置は、ＬＡＮ・ＷＡＮ・インターネット等を含む通信網を介して接続される。

表示デバイス３８は、映像を構成する複数のフレームの画像を順次表示する。実施例の表示デバイス３８は非透過型のＨＭＤであり、表示制御ノード３６から出力されたＶＲ映像（ＶＲ画像）を表示部に表示させる。マスタノード３２、描画ノード３４、表示制御ノード３６は、互いに連携して、表示デバイス３８に表示させるべきフレーム画像を生成する。

図５は、図４のマスタノード３２の機能構成を示すブロック図である。マスタノード３２は、制御部４０、記憶部４２、通信部４４を備える。制御部４０は、各種データ処理を実行する。記憶部４２は、制御部４０により参照または更新されるデータを記憶する記憶領域である。通信部４４は、所定の通信プロトコルにしたがって外部装置と通信する。制御部４０は、通信部４４を介して複数の描画ノード３４とデータを送受する。マスタノード３２は、クラウドシステムを構成するデータ処理装置（サーバ等）であってもよい。

本明細書のブロック図において示される各ブロックは、ハードウェア的には、コンピュータのＣＰＵ・メモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。

例えば、制御部４０の各ブロックの機能がコンピュータプログラムとして実装され、そのコンピュータプログラムがマスタノード３２のストレージにインストールされてもよい。マスタノード３２のＣＰＵが、そのコンピュータプログラムをメインメモリへ読み出して実行することにより制御部４０内の各ブロックの機能が発揮されてもよい。また、記憶部４２は、マスタノード３２のメインメモリやストレージにより実現されてもよい。図３の描画ノード３４、表示制御ノード３６についても同様である。

記憶部４２は、フレームデータ記憶部４６と個別領域データ記憶部４８を含む。フレームデータ記憶部４６は、表示デバイス３８に表示させるべき映像を構成する複数のフレームのデータを保持する。フレームデータ記憶部４６に保持されるフレームデータは、フレーム画像のレンダリングに必要なデータを含み、例えば、物体の形状、物体を捉える視点、物体表面の質感（テクスチャマッピングに関する情報）、光源、シェーディングの情報を含む。

個別領域データ記憶部４８は、フレーム画像が表示される画面を構成する複数の個別領域のデータを保持する。個別領域データ記憶部４８に保持される個別領域データは、個別領域の画像である個別画像のレンダリングに必要なデータを含む。例えば、フレームデータから抽出されたデータを含み、具体的には、各個別領域に存在する物体の形状、質感の情報を含み、さらに視点、光源、シェーディングの情報を含む。

なお、フレームデータ記憶部４６および個別領域データ記憶部４８に保持されるレンダリングに必要なデータは、撮影空間の外観を複数の点の集合によって表した点群のデータであってもよい。点群のデータは、同一空間を異なる位置・角度から撮影した複数のカメラの出力画像を合成することにより生成されてもよい。また、点群の各点のデータは、撮影空間内での位置を示す３次元の座標データと、色彩を示すデータを含む。３次元の座標データは、例えば、撮影空間内における絶対位置を示す横方向（Ｘ軸方向）の座標値、縦方向（Ｙ軸方向）の座標値、奥行き方向（Ｚ軸方向）の座標値の組み合わせであってもよい。また、色彩を示すデータは、例えばＲＧＢＡカラーモデルの値であってもよい。

制御部４０は、画面分割部５０と個別領域データ配信部５２を含む。画面分割部５０は、フレーム画像の表示領域である画面を複数の個別領域に分割する。画面分割部５０は、フレームデータ記憶部４６に格納されたフレームデータから、複数の個別領域の画像を描画するための複数の個別領域データを抽出し、各個別領域の個別領域データを個別領域データ記憶部４８へ格納する。

実施例の画面分割部５０は、画面を４つの個別領域に等分する。例えば、図１で示したように、左上領域、左下領域、右下領域、右上領域に分割してもよい。変形例として、他の基準に基づいて、画面を複数の領域に分割してもよい。画面分割のパラメータとして、解像度、描画負荷、人間（ＨＭＤを装着したユーザ等）の視線、３Ｄ描画ハードウェア性能（ＧＰＵ処理速度、ＣＰＵ処理速度、メモリサイズ、メモリ帯域）を用いてもよい。

具体的には、画面の中心（視線の中心）近傍の解像度を高くし、画面の中心（視線の中心）から離れた領域の解像度を低くするように画面を分割してもよい。また、複数の領域の描画負荷を平準化するように画面を分割してもよい。また、描画性能が高い描画ノード３４に割り当てる個別領域の解像度または描画負荷を相対的に高くし、描画性能が低い描画ノード３４に割り当てる個別領域の解像度または描画負荷を相対的に低くするように画面を分割してもよい。

個別領域データ配信部５２は、複数の個別領域と複数の描画ノード３４との対応関係を保持する。個別領域データ配信部５２は、複数の個別領域それぞれの個別領域データを、対応付けられた描画ノードへ送信する。例えば、図１の個別領域１２ａ（すなわち左上領域）と描画ノード３４ａ、個別領域１２ｂ（すなわち左下領域）と描画ノード３４ｂ、個別領域１２ｄ（すなわち右上領域）と描画ノード３４ｎを対応付けた対応関係が定められてもよい。この場合、個別領域データ配信部５２は、個別領域１２ａの個別領域データを描画ノード３４ａへ送信し、個別領域１２ｂの個別領域データを描画ノード３４ｂへ送信し、個別領域１２ｄの個別領域データを描画ノード３４ｎへ送信する。

図６は、図４の複数の描画ノード３４それぞれの機能構成を示すブロック図である。図６の制御部６０、記憶部６２、通信部６４は、図５の制御部４０、記憶部４２、通信部４４に対応する。複数の描画ノード３４は、図２の描画ノード２０ａ、描画ノード２０ｂ、・・・、描画ノード２０ｎに対応し、クラウドに設置されたデータ処理装置（サーバ等）であってもよい。

記憶部６２は、個別領域データ記憶部６６と個別画像記憶部６８を含む。個別領域データ記憶部６６は、自装置へ配信された個別領域データを保持する。個別画像記憶部６８は、後述の描画部７２により生成された個別画像のデータを保持する。

制御部６０は、個別領域データ取得部７０、描画部７２、個別画像提供部７４を含む。個別領域データ取得部７０は、マスタノード３２から送信された個別領域データを取得し、個別領域データ記憶部６６へ格納する。描画部７２は、個別領域データ記憶部６６から個別領域データを読み出して公知のレンダリング処理を実行することにより、個別領域に表示すべきビットマップ画像である個別画像のデータを生成し、個別画像記憶部６８へ格納する。個別画像提供部７４は、描画部７２により生成された個別画像のデータを表示制御ノード３６へ送信する。

図７は、図４の表示制御ノード３６の機能構成を示すブロック図である。図７の制御部８０、記憶部８２、通信部８４は、図５の制御部４０、記憶部４２、通信部４４に対応する。表示制御ノード３６は、図２の表示ノード２４に対応し、ユーザの宅内に設置された据置型のゲーム機やＰＣであってもよい。また、表示制御ノード３６および表示デバイス３８は、一体的に構成されてもよく、例えば、スマートフォンや携帯型のゲーム機であってもよい。

記憶部８２は、個別画像記憶部８６とフレーム画像記憶部８８を含む。個別画像記憶部８６は、複数の描画ノード３４から提供された個別画像のデータを保持する。フレーム画像記憶部８８は、後述の画像合成部９２により生成されたフレーム画像のデータを保持する。

制御部８０は、個別画像取得部９０、画像合成部９２、フレーム画像出力部９４を含む。個別画像取得部９０は、複数の描画ノード３４から送信された複数の個別画像のデータを取得し、個別画像記憶部８６へ逐次格納する。画像合成部９２は、個別画像記憶部８６に保持された複数の個別画像のデータを合成して、表示デバイス３８に表示させるべきフレーム画像のデータを生成し、フレーム画像記憶部８８へ格納する。フレーム画像出力部９４は、フレーム画像記憶部８８に保持されたフレーム画像を、フレームの表示タイミングに同期して表示デバイス３８へ出力し、表示デバイス３８に表示させる。

マスタノード３２は、複数の描画ノード３４に配信する個々の個別領域データに、フレームＩＤ（フレーム画像の表示タイミングを識別可能な情報）と、領域ＩＤ（画面内の個別領域の位置を識別可能な情報）を含めてもよい。複数の描画ノード３４のそれぞれは、表示制御ノード３６へ提供する個別画像データに、フレームＩＤと領域ＩＤを含める。描画ノード３４は、同じフレームＩＤが付与された複数の個別画像データを、領域ＩＤにより識別される位置に配置して合成することによりフレーム画像を生成してもよい。

画像合成部９２は、予め定められたフレームの処理タイミング（例えば表示タイミングまたは描画タイミング）を公知の手法で検出し、そのタイミングに同期してフレーム画像を生成する。画像合成部９２は、あるフレームの処理タイミングにおいて、当該フレームの少なくとも１つの個別領域の個別画像が遅延した場合、例えば描画ノード３４から未受信の場合に、その個別領域の個別画像として以前のフレームの個別画像を適用してフレーム画像を生成する。画像合成部９２は、個別画像が遅延した個別領域には、以前のフレームの個別画像を適用する一方、個別画像の遅延がない他の個別領域には、処理タイミングまでに届いた今回のフレームの個別画像を適用してフレーム画像を生成する。

描画ノード３４から本来届くべき個別画像が遅延した個別領域、言い換えれば、本来の受信すべきタイミングまでに個別画像を未受信の個別領域を「遅延領域」とも呼ぶ。実施例の画像合成部９２は、以前のフレームの個別画像として、直前のフレームの個別画像を使用する。言い換えれば、画像合成部９２は、遅延領域の個別画像として、描画ノード３４から直前に取得済の当該遅延領域の個別画像を使用する。これにより、本来表示すべき個別画像に近似する内容を表示できる。

変形例として、表示制御ノード３６の記憶部８２には、描画対象となる３Ｄ空間の外観をあらゆる方向から描画（撮像）した候補画像のデータが、ユーザの視点の位置、視線の方向、角度等に対応付けて予め格納されてもよい。画像合成部９２は、遅延領域の個別画像を、そのときのユーザの視点の位置、視線の方向、角度等に対応付けられた候補画像のデータから抽出してもよい。別の変形例として、画像合成部９２は、以前のフレームの個別画像に所定のフィルタを適用することにより遅延領域の個別画像を生成してもよい。さらに別の変形例として、画像合成部９２は、ある領域の個別画像が遅延した場合に、その領域の個別画像として先に受信した個別画像と、遅延後に受信した個別画像の中間の画像を、遅延領域の個別画像として、補間処理により生成してもよい。

また、画像合成部９２は、ある個別領域の個別画像を未取得の時間が所定時間未満である場合に、その個別領域（すなわち遅延領域）の個別画像として、以前のフレームの個別画像を適用して合成画像を生成する。この所定時間は、１００ミリ秒等の時間値で定められてもよく、５フレーム等のフレーム数で定められてもよい。画像合成部９２は、上記個別領域の個別画像を未取得の時間が所定時間以上である場合、言い換えれば、上記個別領域の個別画像の遅延が所定時間以上になった場合、上記個別領域の個別画像が描画ノード３４から届くまで待ち、時間内に届いた個別画像と遅延して届いた個別画像とを合成してフレーム画像を生成する。すなわち、個別画像の遅延に同期させてフレーム画像の表示を遅延させる。

さらにまた、画像合成部９２は、個別画像を未取得の個別領域が、ユーザの関心が高いと想定される所定の関心領域に該当しない場合に、その個別領域の個別画像として、以前のフレームの個別画像を適用してフレーム画像を生成する。画像合成部９２は、個別画像を未取得の個別領域が関心領域に該当する場合、上記個別領域の個別画像が描画ノード３４から届くまで待ち、時間内に届いた個別画像と遅延して届いた個別画像とを合成してフレーム画像を生成する。すなわち、関心領域の個別画像の遅延に同期させてフレーム画像の表示を遅延させる。

実施例の関心領域は、フレーム画像を表示する画面の中心近傍に位置する個別領域である。例えば、図２の個別画像２２ｂが表示される領域である。その一方、関心領域に該当しない領域は、画面の中心から離れた（画面の中心からの距離が所定値以上の）個別領域である。例えば、図２の個別画像２２ａまたは個別画像２２ｎが表示される領域である。変形例として、関心領域は、ユーザの視線の中心近傍に位置する個別領域であってもよく、関心領域に該当しない領域は、ユーザの視線の中心から離れた（視線の中心からの距離が所定値以上の）個別領域であってもよい。画像合成部９２は、表示デバイス３８（例えばＨＭＤ）のセンサ（不図示）で検出されたユーザの視線方向、角度に基づいて、ユーザの視線の中心位置を検出してもよい。この変形例において、ユーザの視線の中心が画面の端である場合、画面の中心が関心領域に該当しない領域に該当するかもしれない。

以上の構成による画像処理システム３０の動作を説明する。図８は、実施例の画像処理システム３０の動作を示すフローチャートである。マスタノード３２は、フレーム画像の表示画面を複数の個別領域に分割し、複数の個別領域の画像をレンダリングするための複数の個別領域データを複数の描画ノード３４へ分散して送信する（Ｓ１０）。複数の描画ノード３４は、複数の個別領域の複数の個別画像を並行して描画する（Ｓ１２）。フレーム画像の描画タイミング（もしくは表示タイミング）までに複数の個別画像のいずれもが描画ノード３４から取得された場合（Ｓ１４のＮ）、表示制御ノード３６は、それら複数の個別画像を合成することによりフレーム画像を生成する（Ｓ２４）。

フレーム画像の描画タイミング（もしくは表示タイミング）までに複数の個別画像の少なくとも１つを未取得である場合（Ｓ１４のＹ）、マスタノード３２は、遅延量が所定時間未満か否か判定し、また、遅延領域が関心領域に該当するか否かを判定する。遅延量が所定時間未満であり（Ｓ１６のＹ）、かつ、遅延領域が関心領域に該当しなければ（Ｓ１８のＮ）、マスタノード３２は、遅延領域に表示させるべき個別画像（ここでは「代替画像」と呼ぶ。）を生成する（Ｓ２０）。そして、描画タイミングまでに届いた今回のフレームの個別画像と、Ｓ２０で生成した代替画像とを合成したフレーム画像を生成する（Ｓ２４）。

遅延量が所定時間以上の場合（Ｓ１６のＮ）、または、遅延領域が関心領域に該当する場合（Ｓ１８のＹ）、表示制御ノード３６は、遅延領域に本来表示させるべき個別画像（「遅延画像」と呼ぶ。）が描画ノード３４から届くまで待機する（Ｓ２２のＮ）。遅延画像が描画ノード３４から受信されると（Ｓ２２のＹ）、表示制御ノード３６は、描画タイミングまでに届いた今回のフレームの個別画像と、今回のフレームの遅延画像とを合成したフレーム画像を生成する（Ｓ２４）。描画ノード３４は、生成したフレーム画像を表示デバイス３８へ出力し、表示デバイス３８は、描画ノード３４から入力されたフレーム画像を表示する（Ｓ２６）。

実施例の画像処理システム３０によると、ＨＭＤにてユーザがＶＲ映像を見る場合の特性、すなわち、画面の分割数が十分に多いときに、関心領域でない部分の遅延は、数フレーム遅れてもユーザには気付かれにくいという特性に基づいて、描画が遅延した領域に以前のフレームの画像を表示させる。これにより、描画の遅延に伴う違和感をユーザに抱かせてしまうことを抑制できる。また、個別画像の更新が一定フレーム以上遅れた場合は、フレーム画像全体の同期を取るように遅延した個別画像の更新を待つことで、ユーザに抱かせる違和感を最小限に抑えることができる。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下変形例を説明する。

第１変形例を説明する。上記実施例のマスタノード３２は、複数の描画ノード３４のそれぞれに対して、各ノードが予め対応付けられた個別領域の画像を生成するための個別領域データを送信した。例えば、フレーム画像が表示される画面を４分割し、左上領域に該当する個別領域データを描画ノード３４ａへ送信し、左下領域に該当する個別領域データを描画ノード３４ｂへ送信し、右上領域に該当する個別領域データを描画ノード３４ｎへ送信した。

ここで、画面を一律に等分して個別領域データの送信先を決定すると、特定の描画ノードに負荷が偏ることがある。例えば、ある描画ノードでは描画負荷が許容値を大幅に超える一方、別の描画ノードでは描画負荷が許容値を大幅に下回ると言う状況が生じうる。結果、負荷が集中した描画ノードでは描画処理が遅延しやすくなる。そこで、変形例におけるマスタノード３２の画面分割部５０は、各描画ノードの負荷ができるだけ均等になるように、画面の分割態様を動的に決定する。画面分割部５０は、各描画ノードの負荷の分散が所定値以下になるように、各個別領域のサイズ（言い換えれば範囲）を決定してもよい。

図９は、複数の描画ノードの負荷を平準化する方法を模式的に示す。ここでは、図４の描画ノード３４ａ、描画ノード３４ｂ、描画ノード３４ｎに加えて、第４の描画ノードとして描画ノード３４ｃ（不図示）が存在する。図９（ａ）に示すように、画面分割部５０は、フレーム画像を表示させる画面を４分割する。デフォルトでは、描画ノード３４ａが領域１００の描画を担当し、描画ノード３４ｂが領域１０２の描画を担当し、描画ノード３４ｃが領域１０４の描画を担当し、描画ノード３４ｎが領域１０６の描画を担当する。

図９（ａ）の各領域の数字は、描画処理の負荷の大きさを示している。画面分割部５０は、各領域を描画するためのデータ（実施例の個別領域データに相当）に基づいて各領域の描画負荷を公知の方法で算出してもよく、画面を４分割した場合の各領域の描画負荷が予め算出されてフレームデータ記憶部４６に保持されてもよい。また、フレームデータが点群データである場合、各領域の数字は、各領域に含まれる点の個数の比率を示すものでもよい。図９（ａ）の例では、素朴に画面を４等分すると、描画ノード３４ａに負荷が集中することになる。

ここでは、各描画ノードにおいて許容される負荷の大きさ（以下「許容負荷」と呼ぶ。）が、予め「５」に定められたこととする。いずれかの領域の負荷が「５」を超える場合、画面分割部５０は、図９の（ｂ）で示すように、負荷が最大の領域を、その長辺軸に沿って２分割する。例えば、長辺の中点を結んで半分に分割してもよい。図９の（ｂ）に示す１回目の分割では１つの領域の負荷が依然として「５」を超えるため、画面分割部５０は、図９の（ｃ）で示すように、再度、負荷が最大の領域を２分割する。

各領域の負荷が許容負荷以下になった場合、調整部は、各領域の負荷と許容負荷との差を計算する。図９の（ｄ）は、この計算結果を示している。図９の（ｅ）で示すように、画面分割部５０は、許容負荷との差が所定値（ここでは「４」）以上の領域を、隣接する領域と統合する。図９の（ｆ）は領域を統合した結果を示している。画面分割部５０は、各領域の負荷の分散が所定値（例えば「１．６」）以下になった場合に調整処理を終了する。マスタノード３２の個別領域データ配信部５２は、例えば、領域１１０に該当する描画対象ブロックのデータを描画ノード３４ａへ送信し、領域１１２に該当する描画対象ブロックのデータを描画ノード３４ｂへ送信する。また、領域１１４に該当する描画対象ブロックのデータを描画ノード３４ｃへ送信し、領域１１６に該当する描画対象ブロックのデータを描画ノード３４ｎへ送信する。

図９の（ａ）における領域１００〜領域１０６の分散は「１３．５」である一方、図９の（ｆ）における領域１１０〜領域１１６の分散は「１．５」に低下している。このように本変形例の態様によると、各描画ノードの負荷を平準化でき、特定のノードに負荷が集中すること、またその特定のノードで描画が遅延することを抑制できる。

第２変形例を説明する。第２変形例では、画像描画の際に画面の中心領域の解像度を上げつつ、周辺領域の解像度を下げることで描画負荷を低減し、リアルタイムでの描画を実現する構成を提案する。ただし、このような構成であっても、描画する内容次第では周辺領域の描画が、フレーム画像の表示タイミングに間に合わないこともある。そこで、周辺領域については描画の遅延を許容することで、フレーム画像の表示の遅延を抑制する。なお、画面の中心領域は、関心領域ともいえ、視線の中心領域であってもよい。

図１０は、複数の領域に分割された画面を模式的に示す。同図の画面は、中心領域１２０、周辺領域１２２、周辺領域１２４、周辺領域１２６、周辺領域１２８に５分割されている。本変形例のマスタノード３２の画面分割部５０は、関心領域に該当しない個別領域の画素数が、関心領域に該当する個別領域の画素数より少なくなるように、フレームの表示領域を分割する。すなわち、画面分割部５０は、中心領域１２０の画素数が、周辺領域１２２、周辺領域１２４、周辺領域１２６、周辺領域１２８のいずれよりも多くなるように画面を分割する。マスタノード３２の個別領域データ配信部５２は、中心領域１２０の個別領域データを描画ノード３４ａへ送信し、他の周辺領域の個別領域データを描画ノード３４ｂ、・・・、描画ノード３４ｎへ送信する。描画ノード３４の構成は実施例と同様である。

表示制御ノード３６は、中心領域１２０の画像を所定のタイミングまでに未取得である場合、当該画像の到着を待ってフレーム画像を生成する。その一方、表示制御ノード３６は、周辺領域１２２、周辺領域１２４、周辺領域１２６、周辺領域１２８の画像を所定のタイミングまでに未取得である場合、一定時間の遅延を許し、すなわち、画像描画が遅延した領域に以前のフレームの画像を適用してフレーム画像を遅延なく生成する。これにより、フレーム画像全体としての表示の遅延を抑制する。

第３変形例を説明する。図１１は、第３変形例のＨＭＤシステム１３０の構成を示す。クライアント装置１３２は、実施例の表示制御ノード３６に対応し、例えばＶＲアプリケーションを実行するゲーム機である。クライアント装置１３２は、ＶＲ空間の画像（「ＶＲ」画像と呼ぶ。）を生成し、ＨＭＤ１３４に表示させる。本変形例のＶＲ画像の表示領域は、図１０の画面と同様に５分割されていることとする。ＶＲ画像の描画において、画面の中心領域１２０（視線の中心領域とも言える）の描画には高いリアルタイム性が求められる。そのため、中心領域１２０の描画はクライアント装置１３２が担当する。

本変形例では、中心領域１２０の描画処理においてクライアント装置１３２の性能を上限まで利用するため、周辺領域の描画処理はクラウド上のサーバが担当する。具体的には、クライアント装置１３２は、周辺領域１２２、周辺領域１２４、周辺領域１２６、周辺領域１２８を描画するためのデータを、描画サーバ１３６ａ、描画サーバ１３６ｂ、描画サーバ１３６ｃ、描画サーバ１３６ｄへ送信する。複数の描画サーバは、実施例の描画ノード３４に対応し、周辺領域の画像を並行して描画する。

クライアント装置１３２は、自装置で描画した中心領域１２０の画像と、複数の描画サーバで並行して描画された複数の周辺領域の画像とを合成し、フレーム画像を生成する。クライアント装置１３２は、生成したフレーム画像をＨＭＤ１３４へ出力し、表示させる。ただし、各描画サーバで描画された画像は通信網を介してクライアント装置１３２へ送られるため遅延が生じる可能性がある。しかし、描画サーバで描画対象となるのは周辺領域の画像であるため、実施例と同様に一定時間の遅延を許し、描画が遅延した周辺領域には以前のフレームの画像を適用することでフレーム画像を遅延なく生成する。これにより、フレーム画像のうちユーザの関心が集まる中心領域１２０には最新の内容を表示させ、かつ、周辺領域の描画の遅延に起因するフレーム画像の表示遅延を抑制できる。

なお、ＨＭＤシステム１３０は、実施例の画像処理システム３０と同様にマスタノード３２をさらに含んでもよい。マスタノード３２は、周辺領域の個別画像を描画するためのデータを複数の描画サーバへ配信する一方、中心領域１２０の個別画像を描画するためのデータをクライアント装置１３２へ直接送信し、中心領域１２０の個別画像をクライアント装置１３２に生成されてもよい。例えば、現実空間またはＶＲ空間の映像をストリーミング配信する場合に好適な態様である。

第４変形例を説明する。一部既述したように、点群（ポイントクラウド）のデータ、例えば撮影空間を構成する複数の点の座標データおよび色彩データを用いたレンダリングに対しても実施例の技術は適用可能である。本変形例でも、マスタノード３２の画面分割部５０は、フレーム画像の表示領域である画面を複数の個別領域に分割する。画面分割部５０は、フレームデータとしての点群データから各個別領域の画像を描画するための点群データ（以下「個別点群データ」とも呼ぶ。）を抽出する。例えば、画面分割部５０は、点群に含まれる各点の座標に基づいて、各個別領域で表示されるべき点のデータを各個別領域の個別点群データとして設定してもよい。

マスタノード３２の個別領域データ配信部５２は、各個別領域の個別点群データを、各個別領域の画像を生成すべき描画ノード３４へ送信する。複数の描画ノード３４のそれぞれは、マスタノード３２から受信した個別点群データに基づいて、自ノードで担当する個別領域の個別画像を生成する。表示制御ノード３６は、複数の描画ノード３４で並行して生成された個別画像を合成してフレーム画像を生成し、フレーム画像を表示デバイス３８に表示させる。

ここで複数の描画ノード３４には点群が均一に分散されるわけではない。そのため、全ての描画ノード３４が同じタイミングで（もしくは所定のタイミングまでに）描画処理を完了できるとは限らず、一部の描画ノード３４の描画処理の遅れが、フレーム画像の表示の遅れにつながってしまう。そこで、表示制御ノード３６は、実施例と同様に、関心領域（例えば画面の中心または視線の中心）から離れた領域（以下「周辺領域」と呼ぶ。）の描画の遅れを許容することにより、フレーム画像全体の表示遅延を可及的に抑制する。具体的には、表示制御ノード３６の画像合成部９２は、周辺領域の個別画像が遅延した場合、以前に描画ノード３４から取得済の個別画像を使用してフレーム画像を生成する。特にＨＭＤにおけるＶＲ映像の表示では、周辺領域に以前の画像を表示してもユーザに違和感を抱かせにくいため、本変形例の技術を適用する対象として好適である。

第５変形例を説明する。映画のような写実的なＣＧを描画する手法としてレイトレーシングがある。レイトレーシングでは、視点（例えばＶＲ空間におけるユーザの視点位置であり、仮想カメラの位置とも言える）から、ユーザに提示する画像に対応する画面上の画素ごとに光線を飛ばし、描画対象の空間内に存在する物体による反射等を計算し、光源から視点に届く光線を逆に辿ることにより画素ごとの色彩を決定する。例えば、或る画素を通る光線が光源に届かないことに基づいて、当該画素の色彩を決定することができる。また、或る画素を通る光線が物体に反射して光源に届く場合、光源の輝度、物体表面の光反射率や光吸収率等に基づいて、当該画素の色彩を決定することができる。

マスタノード３２は画面を分割する。例えば、９つの個別領域に分割してもよい。複数の描画ノード３４のそれぞれは、自ノードで担当する個別領域の画像をレイトレーシングにより描画する。レイトレーシングでは画面の画素ごとに光線を追跡し、画素ごとの色彩を決定するため、画面の分割が容易な点で分散描画に好適である。表示制御ノード３６は、複数の描画ノード３４で描画された複数の個別画像を合成してフレーム画像を生成し、フレーム画像を表示デバイス３８に表示させる。レイトレーシングでは物体表面の反射率・透明度・屈折率等を細かく反映させることができるが、画面の解像度が高くなるほど処理量が増大する。本変形例では、レイトレーシングによる描画処理を複数の描画ノード３４で分散して実行することにより、リアルタイムでのフレーム画像の描画と表示が可能になる。ゲーム等においてＶＲ映像をリアルタイムに描画・表示する必要がある場合に特に好適である。

しかし、全ての描画ノード３４が同じタイミングで（もしくは所定のタイミングまでに）描画処理を完了できるとは限らず、一部の描画ノード３４の描画処理の遅れが、フレーム画像の表示遅延につながってしまう。そこで、複数の描画ノード３４がレイトレーシングにより分散描画を行う場合も、表示制御ノード３６は、実施例と同様に、周辺領域の描画の遅れを許容することにより、フレーム画像全体の表示遅延を可及的に抑制する。具体的には、表示制御ノード３６の画像合成部９２は、周辺領域の個別画像が遅延した場合、以前に描画ノード３４から取得済の個別画像を使用してフレーム画像を生成する。特にＨＭＤにおけるＶＲ映像の表示では、周辺領域に以前の画像を表示してもユーザに違和感を抱かせにくいため、本変形例の技術を適用する対象として好適である。

第６変形例を説明する。表示制御ノード３６は、リプロジェクションまたはタイムワープと呼ばれる技術を適用して遅延領域の個別画像を取得または生成してもよい。本変形例の表示デバイス３８（ここではＨＭＤ）には、不図示の各種センサー（加速度センサー、ジャイロセンサー、姿勢センサー等）が搭載される。本変形例の表示制御ノード３６は、姿勢検出部と画像生成部をさらに備える。姿勢検出部は、ＨＭＤのセンサーから出力された信号に基づいて、ＨＭＤ（言い換えればユーザの頭部）の姿勢を検出する。例えば、ＨＭＤの向きと角度、動きの移動量と速度、視線方向の変化等を検出する。なお、ＨＭＤが上記の姿勢検出部を備え、ＨＭＤは姿勢検出部が検出したＨＭＤの姿勢を示すデータを表示制御ノード３６へ送信してもよい。

画像生成部は、リプロジェクション部と言え、画像変換部とも言える。画像生成部は、検出部が検出したＨＭＤの姿勢の変化（時系列での変化）に基づいて、遅延領域の個別画像について、以前に描画ノード３４から取得した個別画像（「基準画像」と呼ぶ。）からのずれの大きさ（「変化量」と呼ぶ。）を予測する。画像生成部は、予測した変化量に応じて、基準画像を変換（例えばアフィン変換）することにより、遅延領域の個別画像を生成する。基準画像は、遅延領域で表示された直前の個別画像でもよく、遅延領域の周辺領域で表示された直前の個別画像でもよく、これらの個別画像の組み合わせであってもよい。基準画像の変換は、以前のフレームの画像を移動させ、または傾けることを含む。例えば、ユーザの頭部が左方向へ１個別領域分移動したことを検出した場合、画像生成部は、遅延領域の１つ左に位置する個別領域の直前の個別画像を、遅延領域の個別画像として取得してもよい。また、画像生成部は、ＨＭＤの姿勢変化が大きいほど、基準画像を大きく変化させて遅延領域の個別画像を生成してもよい。

表示制御ノード３６の画像合成部９２は、遅延領域の個別画像として、画像生成部により生成された個別画像を用いて合成画像を生成する。この変形例によると、遅延領域の個別画像として、以前の個別画像そのままではなく、ＨＭＤの姿勢変化に応じて以前の個別画像を変換した画像を用いるため、一層違和感が少ない合成画像（フレーム画像）をユーザへ提示できる。

なお、１個のフレーム画像の表示において複数回のリプロジェクション処理を実行してもよい。例えば、フレーム画像の描画タイミングで或る個別領域の個別画像が遅延した場合に、表示制御ノード３６の画像合成部９２は、上記のリプロジェクション処理により生成された遅延領域の個別画像を含む第１のフレーム画像を生成してもよい。ここで、フレーム画像の生成から表示までにタイムラグがある場合、表示タイミングにおいて検出部により取得されたＨＭＤの姿勢に基づいて、第１のフレーム画像を基準画像として、第１のフレーム画像を変換した第２のフレーム画像を生成してもよい。表示制御ノード３６のフレーム画像出力部９４は、第１のフレーム画像に代えて第２のフレーム画像をＨＭＤへ出力し、表示させてもよい。なお、リプロジェクションによりフレームレートを増加させる場合は、第１のフレーム画像と第２のフレーム画像の両方をそれぞれの表示タイミングでＨＭＤへ出力し、表示させてもよい。

第７変形例および第８変形例では、個別画像の描画遅延を解消するための構成を説明する。第７変形例として、マスタノード３２の画面分割部５０は、個別画像描画の遅延状況に応じて、画面の分割態様を動的に変更してもよい。例えば、描画ノード３４または表示制御ノード３６は、個別画像描画の遅延が発生した場合にそのことを示す情報（例えば遅延領域および遅延時間を示す情報）をマスタノード３２へ通知してもよい。マスタノード３２の画面分割部５０は、遅延時間が所定の閾値を超える場合に、遅延領域の描画負荷を下げるように画面の分割態様を変更してもよい。具体的には、マスタノード３２の画面分割部５０は、遅延領域をそれまでより細かく分割し、すなわち遅延領域を複数の個別領域に分割してもよい。マスタノード３２の個別領域データ配信部５２は、遅延領域を分割した複数の個別領域の画像を、互いに異なる複数の描画ノード３４で分散描画させる。これにより遅延領域の描画遅延を解消しやすくなる。

なお、個別画像を描画する描画ノード３４の個数も動的に変更してもよい。例えば、画面の分割数を増加させた場合、個別領域データの送信先（振り分け先）である描画ノード３４の個数をあわせて増加させてもよい。また、画面の分割態様を変更する条件となる遅延時間の閾値は、遅延領域が関心領域か否かで異なる値に設定されてもよい。例えば、遅延領域が関心領域である場合の閾値は相対的に短く、遅延領域が周辺領域である場合の閾値は相対的に長く設定されてもよい。これにより、関心領域の個別画像描画に遅延が生じた場合、遅延時間が比較的短くても分割態様が変更されやすく、描画遅延を早期に解消しやすくなる。

第８変形例として、複数の描画ノード３４のそれぞれは、個別画像の描画に遅延が発生した場合、生成する個別画像の品質を低下させてもよい。例えば、描画ノード３４または表示制御ノード３６は、個別画像の描画に遅延が発生した場合にそのことを示す情報（例えば遅延領域および遅延時間を示す情報）をマスタノード３２へ通知してもよい。マスタノード３２の個別領域データ配信部５２は、遅延時間が所定の閾値を超える場合に、遅延領域の個別画像の描画を担当する描画ノード３４に対して、それまでより低品質の個別画像を生成するように指示するデータを送信してもよい。

上記指示を受け付けた描画ノード３４の描画部７２は、描画処理を簡素化することにより、それまでより低品質の個別画像を生成し、描画処理の速度を高めてもよい。例えば、個別領域データとして点群データを用いて個別画像を生成する場合に、個別領域内の一部の点に関する描画処理をスキップしてもよい。また、レイトレーシングにより個別画像を生成する場合に、視点から画面上の各画素へ飛ばす光線の数をそれまでより少なくしてもよい。また、光線の追跡において物体表面での反射回数の上限値をそれまでより小さくしてもよく、物体表面における光線の反射率や吸収率を計算するパラメータの数をそれまでより少なくしてもよい。

なお、個別画像の品質を低下させる条件となる遅延時間の閾値は、遅延領域が関心領域か否かで異なる値に設定されてもよい。例えば、遅延領域が関心領域である場合の閾値は相対的に長く、遅延領域が周辺領域である場合の閾値は相対的に短く設定されてもよい。これにより、関心領域の個別画像は高品質を維持しやすくなる一方、ユーザが気付きにくい周辺領域については画像の品質よりも遅延解消を優先することができる。

上記実施例では、画面分割処理、描画処理（個別画像生成処理）、合成処理（フレーム画像生成処理）をそれぞれ異なる装置で実行したが、描画処理を複数のＧＰＵで並行して実行する構成であれば、物理的な装置の台数に制限はない。例えば、画面分割処理、描画処理、合成処理を、複数のＧＰＵを備える１台の装置が実行してもよい。

上述した実施例および変形例の任意の組み合わせもまた本発明の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。
請求項に記載の各構成要件が果たすべき機能は、上述した実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。

３０ 画像処理システム、 ３２ マスタノード、 ３４ 描画ノード、 ３６ 表示制御ノード、 ３８ 表示デバイス、 ５０ 画面分割部、 ７２ 描画部、 ９２ 画像合成部、 ９４ フレーム画像出力部。

Claims (8)

1. フレームの表示領域を分割した複数の個別領域に表示すべき複数の個別画像を互いに並行して描画する複数の描画部と、
   前記複数の描画部により描画された複数の個別画像を合成した合成画像を生成する画像合成部と、
   前記合成画像をヘッドマウントディスプレイに表示させる表示制御部と、
   を備え、
   前記画像合成部は、あるフレームの処理タイミングにおいて少なくとも１つの個別領域の個別画像が遅延した場合に、その個別領域の個別画像として以前のフレームの個別画像を適用して前記合成画像を生成することを特徴とする画像処理システム。
2. 前記画像合成部は、個別画像が遅延した個別領域には以前のフレームの個別画像を適用し、他の個別領域には今回のフレームの個別画像を適用して前記合成画像を生成することを特徴とする請求項１に記載の画像処理システム。
3. 前記画像合成部は、ある個別領域の個別画像を未取得の時間が所定時間未満である場合に、その個別領域の個別画像として以前のフレームの個別画像を適用して前記合成画像を生成することを特徴とする請求項１または２に記載の画像処理システム。
4. 前記画像合成部は、個別画像を未取得の個別領域が、ユーザの関心が高いと想定される所定の関心領域に該当しない場合に、その個別領域の個別画像として以前のフレームの個別画像を適用して前記合成画像を生成することを特徴とする請求項１から３のいずれかに記載の画像処理システム。
5. 前記関心領域に該当しない個別領域の画素数が、前記関心領域に該当する個別領域の画素数より少なくなるように前記フレームの表示領域を分割する分割部をさらに備えることを特徴とする請求項４に記載の画像処理システム。
6. 前記ヘッドマウントディスプレイの姿勢を検出する検出部と、
   前記検出部により検出された前記ヘッドマウントディスプレイの姿勢に応じて、前記以前のフレームの個別画像を変換することにより、遅延した個別領域の個別画像を生成する画像生成部と、
   をさらに備え、
   前記画像合成部は、前記画像生成部により生成された個別画像を用いて前記合成画像を生成することを特徴とする請求項１から５のいずれかに記載の画像処理システム。
7. フレームの表示領域を分割した複数の個別領域に表示すべき複数の個別画像を並行して描画するステップと、
   前記複数の個別画像を合成した合成画像を生成するステップと、
   前記合成画像をヘッドマウントディスプレイに表示させるステップと、
   を１台のコンピュータが実行し、または、複数台のコンピュータが分散して実行し、
   前記合成画像を生成するステップは、あるフレームの処理タイミングにおいて少なくとも１つの個別領域の個別画像が遅延した場合に、その個別領域の個別画像として以前のフレームの個別画像を適用して前記合成画像を生成することを特徴とする画像処理方法。
8. フレームの表示領域を分割した複数の個別領域に表示すべき複数の個別画像を並行して描画する機能と、
   前記複数の個別画像を合成した合成画像を生成する機能と、
   前記合成画像をヘッドマウントディスプレイに表示させる機能と、
   をコンピュータに実現させ、
   前記合成画像を生成する機能は、あるフレームの処理タイミングにおいて少なくとも１つの個別領域の個別画像が遅延した場合に、その個別領域の個別画像として以前のフレームの個別画像を適用して前記合成画像を生成することを特徴とするコンピュータプログラム。