JP7075252B2 - 情報処理装置およびその制御方法、プログラム - Google Patents

Description

本発明は、仮想視点に応じた仮想視点画像を生成する技術に関する。

近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点の画像を用いて、任意の仮想視点からの仮想視点画像を生成する技術が注目されている。複数視点の画像に基づく仮想視点画像の生成及び閲覧は、複数のカメラが撮影した画像をサーバーなどの画像処理部に集約し、画像処理部により仮想視点に基づくレンダリングなどの処理を施して仮想視点画像を生成し、ユーザ端末に表示することで実現できる。仮想視点画像を用いたサービスでは、例えば、サッカーやバスケットボールの試合を撮影した映像から、映像制作者が迫力のある仮想視点のコンテンツを制作することができる。また、コンテンツを視聴しているユーザ自身が自由に仮想視点を移動しながら、試合観戦したりすることができるようにもなる。こうして、一般的な撮影画像の観察と比較してユーザに高臨場感を与えることができる。

特許文献１では、撮像データを一旦蓄積し、遅延させてから仮想視点画像を生成する技術が開示されている。

特開２００６－３１０９３６号公報

複数のカメラで同期撮影した画像を画像処理することで任意の仮想視点画像を生成する場合、撮影から仮想視点画像が生成できる状態になるまでの準備時間は小さくない。よって、カメラで撮影した映像と仮想視点画像を切り替えて映像を再生する場合、この準備時間が及ぼす影響を考慮することが望ましい。すなわち、準備時間を考慮して、生成される仮想視点画像のタイムコードを決定することが望ましい。準備時間に余裕を持たせて仮想視点画像のタイムコードを決定すれば、仮想視点画像の生成は成功するものの、複数のカメラで撮影されている画像とのタイムラグが大きくなってしまう。一方、準備時間を小さく設定しすぎると、仮想視点画像の生成が間に合わない可能性が生じる。このように、仮想視点画像の生成にかかる時間が把握できると、適切なタイムコードが設定できるようになるなどの利点がある。

特許文献１では、撮影データを一旦蓄積し、遅延させてから仮想視点画像を生成することができる。しかしながら、特許文献１では、遅延時間の具体的な指定方法は何等示されておらず、また、ライブ中継において仮想視点画像が生成可能な状態になるまでの準備時間を取得する方法についても何等示されていない。

本発明は上記の課題に鑑みてなされたものであり、仮想視点画像の生成に要する時間を把握可能な情報処理装置を提供することを目的とする。

上記の目的を達成するための本発明の一態様による情報処理装置は以下の構成を備える。すなわち、
複数のカメラで撮影した複数の画像に基づいて仮想視点画像を生成する画像生成装置から取得する仮想視点画像の生成時刻を制御する情報処理装置であって、
現在時刻に基づいて算出された、前記現在時刻よりも前の問い合わせ用時刻を画像生成装置に対して送信する送信手段と、
前記送信手段により送信された問い合わせ用時刻に対する前記画像生成装置からの応答が仮想視点画像の生成可能を表す場合に、前記画像生成装置から取得する仮想視点画像の生成時刻を、前記送信手段により送信された前記問い合わせ用時刻に基づいて決定する決定手段と、を備え、
前記送信手段は、前記現在時刻から時間値を引いて前記問い合わせ用時刻を算出し、前記時間値を徐々に大きくしながら前記問い合わせ用時刻の送信を繰り返す。

本発明によれば、仮想視点画像の生成に要する時間を把握可能な情報処理装置が提供される。

第１実施形態における情報処理装置のハードウェア構成例を示すブロック図。 （ａ）第１実施形態における情報処理装置の機能構成例を示すブロック図、（ｂ）第１実施形態における画像生成装置の機能構成例を示すブロック図。 第１実施形態における情報処理装置の処理を示すフローチャート。 第１実施形態におけるライブ時刻の設定処理を示すフローチャート。 第１実施形態におけるライブ時刻の設定処理の流れを示す模式図。 第２実施形態におけるライブ時刻の設定処理を示すフローチャート。 第２実施形態における画像生成装置のデータ準備状況を示す模式図。 第２実施形態における画像生成装置の機能構成例を示すブロック図。 第２実施形態における画像生成装置の処理を示すフローチャート。 第３実施形態におけるライブ時刻の設定処理を示すフローチャート。 第３実施形態におけるライブ時刻の入力方法を示す模式図。 第３実施形態における送受信メッセージの一例を示す模式図。 （ａ）第４実施形態における情報処理装置の機能構成例を示すブロック図、（ｂ）第４実施形態における画像生成装置の機能構成例を示すブロック図。 第４実施形態における情報処理装置の処理を示すフローチャート。 第４実施形態における送受信メッセージの一例を示す模式図。

以下、図面を参照しながら本発明の好適な実施形態について説明する。ただし、以下の実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。

＜第１実施形態＞
図１は第１実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。点線で囲んだ範囲が第１実施形態に係る情報処理装置１０である。情報処理装置１０の外部装置として画像生成装置１１０が接続されている。画像生成装置１１０は、複数のカメラ１０９から得られた複数の画像（複数視点の画像）を用いて、情報処理装置１０から出力された仮想視点に対応する仮想視点画像を生成する。情報処理装置１０、画像生成装置１１０、および、複数のカメラ１０９により、任意の仮想視点の画像を生成する画像生成システムが構成される。

情報処理装置１０において、ＣＰＵ１０１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）は、各種処理のための演算や論理判断などを行い、システムバス１０８に接続された各構成要素を制御する。情報処理装置１０には、プログラムメモリとデータメモリを含むメモリが搭載されている。ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２は、プログラムメモリであって、後述する各種処理手順を含むＣＰＵによる制御のためのプログラムを格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３は、データメモリであり、ＣＰＵ１０１が実行するプログラムのワーク領域、エラー処理時のデータの退避領域、プログラムのロード領域などを有する。

なお、情報処理装置１０に接続された外部記憶装置（不図示）などからＲＡＭ１０３にプログラムをロードすることで、プログラムメモリを実現しても構わない。ＨＤＤ１０４は、本実施形態に係る複数の電子データやプログラムを記憶しておくためのハードディスクである。同様の役割を果たすものとして外部記憶装置を用いてもよい。ここで、外部記憶装置は、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。また、外部記憶装置は、ネットワークで接続されたサーバー装置などであってもよい。

表示部１０５は、仮想視点やライブ時刻を設定する設定画面を表示するための、ディスプレイ、プロジェクタ、ＨＭＤ（ヘッドマウントディスプレイ）などの表示デバイスである。仮想視点を設定する設定画面上には、画像生成装置１１０が生成した仮想視点画像が表示される。通信Ｉ／Ｆ１０６は、公知の通信技術によって、画像生成装置１１０や外部記憶装置と有線あるいは無線で接続し、双方向に情報の送受信を行うことを可能とする。操作部１０７は、オペレータが仮想視点を情報処理装置に入力するためのデバイスであり、ジョイスティック、ゲームパッド、タッチパネル、キーボード、マウスなどの入力デバイスを備える。

図２（ａ）は、第１実施形態に係る情報処理装置１０の機能構成の一例を示すブロック図である。情報処理装置１０は、複数のカメラ１０９で撮影した複数の画像に基づいて仮想視点画像を生成する画像生成装置１１０に対して仮想視点を出力する。情報処理装置１０は、仮想視点取得部２０１、現在時刻取得部２０２、生成可能時刻取得部２０３、タイムラグ保持部２０４、ライブ時刻設定部２０５、画像取得部２０６を有する。これらの各機能部は、ＣＰＵ１０１が、ＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３に展開し、後述する各フローチャートに従った処理を実行することで実現されている。

仮想視点取得部２０１は、操作部１０７を介して入力された入力デバイスの信号を仮想視点の情報（仮想視点の位置、姿勢などを示す情報）に変換する。現在時刻取得部２０２は、外部装置または情報処理装置１０が有する内部時計から、現在時刻を取得する。例えば、現在時刻取得部２０２は、通信Ｉ／Ｆ１０６を介して、外部装置としてのタイムサーバーから現在時刻を取得する。また、画像生成装置１１０がタイムサーバー機能を有しており、現在時刻取得部２０２が画像生成装置１１０から現在時刻を取得するようにしてもよい。

生成可能時刻取得部２０３は、通信Ｉ／Ｆ１０６を介して画像生成装置１１０に問い合わせを行い、画像生成装置１１０からの応答に基づいて仮想視点画像を生成可能な時刻（生成可能時刻）を取得する。タイムラグ保持部２０４は、現在時刻と生成可能時刻との差であるタイムラグを保持する。ライブ時刻設定部２０５は、現在時刻取得部２０２が取得する現在時刻とタイムラグ保持部２０４が保持するタイムラグに基づいてライブ用の仮想視点画像を生成する時刻（以下、ライブ時刻と呼ぶ）を決定する。ライブ時刻は、現在時刻が進むのに合わせて更新される。画像取得部２０６は、仮想視点取得部２０１が取得した仮想視点とライブ時刻設定部２０５が設定したライブ時刻を、通信Ｉ／Ｆ１０６を介して、画像生成装置１１０に送信する。画像生成装置１１０は、仮想視点とライブ時刻における仮想視点画像を生成する。画像取得部２０６は、送信した仮想視点とライブ時刻における仮想視点画像を画像生成装置１１０から取得する。

図２（ｂ）は、第１実施形態による画像生成装置１１０の機能構成例を示すブロック図である。画像データ取得部８０１は、カメラ１０９から画像データを取得する。画像処理部８０２は、画像データ取得部８０１が取得した画像データに対して、前景・背景分離、前景・背景モデル生成などの画像処理を行う。データ保持部８０３は、画像処理部８０２が処理した結果をデータセットごと、フレームごとに保持する。判定部８１１は、データ保持部８０３に保持されたデータセットの状況（画像処理の状況）に基づいて、情報処理装置１０から指定された時刻における仮想視点画像の生成が可能か否かを判定する。例えば、第２実施形態で説明するような構成で仮想視点画像の生成の可否を判定することができる。もちろん、実際に仮想視点画像の生成を試みて、仮想視点画像を生成できたか否かにより判定するようにしてもよい。

送受信部８０６は、外部装置との間でメッセージの送受信等を行う。本実施形態では、送受信部８０６は、情報処理装置１０から仮想視点画像の生成時刻を示すメッセージを受信し、判定部８１１が、そのメッセージが示す生成時刻において仮想視点画像を生成できるか否かを判定する。その判定結果は、送受信部８０６から情報処理装置１０へ送信される。仮想視点画像生成部８１２は、外部装置である情報処理装置１０から受信したライブ時刻と仮想視点に基づいて、データ保持部８０３に保持されているデータセットを用いて仮想視点画像を生成する。生成された仮想視点画像は、送受信部８０６から情報処理装置１０へ送信される。

図３は第１実施形態に係る情報処理装置の処理を示すフローチャートである。図３のフローチャートは、仮想視点の設定用アプリケーションが起動してから終了するまでの処理を示す。Ｓ３０２からＳ３０７の処理は、生成する仮想視点画像のフレームレートに合わせて、１フレームにつき１回ループするものとする。例えば６０ｆｐｓ（フレーム／秒）で仮想視点画像を生成する場合、このループは１秒間に６０回繰り返されることになる。

Ｓ３０１において、生成可能時刻取得部２０３は仮想視点画像を生成可能な時刻（生成可能時刻）を取得し、タイムラグ保持部２０４は、現在時刻取得部２０２が取得した現在時刻と生成可能時刻との差分をタイムラグとして保持する。生成可能時刻とは、現在時刻よりも前の時刻である。本実施形態の画像生成装置１１０は、現在時刻において、生成可能時刻よりも前の撮像時刻に対応する仮想視点画像を生成することはできるが、生成可能時刻よりも後の撮像時刻に対応する仮想視点画像を生成することはできない。すなわち、本実施形態の生成可能時刻取得部２０３は、現在時刻よりも前の時刻であって、画像生成装置１１０が生成可能な仮想視点画像に対応する時刻に関する時刻情報（生成可能時刻）を取得する。ライブ時刻設定部２０５は、取得された現在時刻からタイムラグ保持部２０４に保持されているタイムラグを差し引いてライブ用の仮想視点画像を生成する生成時刻（ライブ時刻）に設定する。また、後述のＳ３０７では、タイムラグ保持部２０４に保持されているタイムラグを用いて画像生成装置に対して要求する仮想視点画像の生成時刻が決定される。Ｓ３０１の処理に関しては、図４を用いて後述する。

Ｓ３０２において、仮想視点取得部２０１は、操作部１０７を介して入力された操作信号を仮想視点に関する情報に変換することで仮想視点を決定する。仮想視点には、仮想視点の３次元位置、方向、画角が含まれる。ただし、仮想視点は、必ずしもこれらすべてを含む必要はなく、これらのうちのいずれかでもよいし、被写界深度などその他の情報を含んでもよい。

Ｓ３０３において、画像取得部２０６は、仮想視点取得部２０１が取得した仮想視点とライブ時刻設定部２０５が設定したライブ時刻を、通信Ｉ／Ｆ１０６を介して、画像生成装置１１０に送信する。画像生成装置１１０では、仮想視点画像生成部８１２が、受信したライブ時刻と仮想視点を用いて、ライブ時刻における仮想視点からの仮想視点画像を生成する。送受信部８０６は、生成された仮想視点画像を情報処理装置１０へ送信する。Ｓ３０４において、画像取得部２０６は、通信Ｉ／Ｆ１０６を介して、画像生成装置１１０が生成した仮想視点画像を受信、取得する。Ｓ３０５において、画像取得部２０６は、Ｓ３０４で取得した仮想視点画像を表示部１０５に表示する。Ｓ３０６において、仮想視点の設定用アプリケーションの終了指示が操作部１０７を介して受理された場合は、本処理を終了する。

Ｓ３０６において終了指示を受理していないと判定された場合は、Ｓ３０７において、ライブ時刻設定部２０５がライブ時刻を次のライブ時刻（次に取得される仮想視点画像の時刻）に更新し、処理をＳ３０２に戻す。Ｓ３０７におけるライブ時刻の更新方法の例について説明する。ライブ時刻設定部２０５は、現在時刻取得部２０２に現在時刻を取得させ、その現在時刻からタイムラグ保持部２０４が保持しているタイムラグを減じたものをライブ時刻として設定する。なお、本実施形態のように、Ｓ３０４～Ｓ３０７の処理をフレームレートに合わせて繰り返す場合、ライブ時刻設定部２０５が、生成する仮想視点画像のフレームレートを現在のライブ時刻に加算してライブ時刻として設定するようにしてもよい。例えば、仮想視点画像のフレームレートが６０ｆｐｓの場合、ライブ時刻設定部２０５は、現時点のライブ時刻に１／６０秒を加算したものを新しいライブ時刻として設定するようにしてもよい。こうして、情報処理装置１０は、Ｓ３０２～Ｓ３０７の処理を繰り返すことで、ライブ時刻設定部２０５が設定したライブ時刻の仮想視点画像を取得する。

次に、Ｓ３０１におけるライブ時刻の設定の処理について説明する。図４は、図３のＳ３０１におけるライブ時刻を設定する処理の流れを示すフローチャートである。本実施形態では、生成可能時刻取得部２０３は、画像生成装置１１０に対して、現在時刻に基づいて算出した問い合わせ用時刻を送信する。生成可能時刻取得部２０３は、問い合わせ用時刻の送信に対する画像生成装置１１０からの応答が仮想視点画像の生成可能を表す場合に、送信した問い合わせ用時刻に基づいて仮想視点画像の生成時刻を決定する。以下、フローチャートに従って詳細に説明する。

Ｓ４０１において、現在時刻取得部２０２が現在時刻を取得する。現在時刻の取得方法としては、公知の技術を用いることができる。例えば、現在時刻取得部２０２は情報処理装置１０の内部時計から現在時刻を取得してもよいし、情報処理装置１０の外部に設置されたタイムサーバーから現在時刻を取得してもよい。なお、外部に設置されたタイムサーバーの時刻と情報処理装置１０、画像生成装置１１０、カメラ１０９、その他の放送用カメラの時刻は同期していることが望ましい。

Ｓ４０２において、生成可能時刻取得部２０３が、通信Ｉ／Ｆ１０６を介して、現在時刻取得部２０２が取得した現在時刻に基づいて算出した問い合わせ用時刻を画像生成装置１１０に送信する。問い合わせ用時刻の初期値は現在時刻取得部２０２が取得した現在時刻とし、その後はＳ４０４で算出される時刻が用いられる。画像生成装置１１０では、送受信部８０６が問い合わせ用時刻を受け取ると、判定部８１１がその時刻における仮想視点画像の生成が可能か否かを判定する。送受信部８０６は、その判定結果を情報処理装置１０（通信Ｉ／Ｆ１０６）に送信する。

Ｓ４０３において、生成可能時刻取得部２０３は、通信Ｉ／Ｆ１０６を介して、仮想視点画像が生成可能か否かの判定結果を受信し、判定結果に応じて処理を分岐する。判定結果が生成可能でないことを示す場合、処理はＳ４０３からＳ４０４に進む。Ｓ４０４において、生成可能時刻取得部２０３は、問い合わせ用時刻から１／６０秒を減じた時刻を新しい問い合わせ用時刻として設定し、これを画像生成装置１１０へ送信する（Ｓ４０２）。Ｓ４０４とＳ４０２の処理は、現在時刻から時間値を引いた時刻を問い合わせ用時刻として設定し、この差分用の時間値を徐々に（ループごとに）大きくしながら問い合わせを繰り返すことと同等である。特に本実施形態では、生成される仮想視点画像のフレームレートにおけるフレーム間隔の時間（１／６０秒）を差分用の時間値に加算することにより時間値を徐々に大きくしている。

一方、Ｓ４０３において判定結果が生成可能を示す場合、処理はＳ４０５に進む。Ｓ４０５において、ライブ時刻設定部２０５は、Ｓ４０２で生成可能時刻取得部２０３が問い合わせ用時刻として送信した時刻をライブ時刻として設定する。また、タイムラグ保持部２０４は、現在時刻取得部２０２が取得した現在時刻と設定されたライブ時刻との差分をタイムラグとして保持する。これは、上述した差分用の時間値をタイムラグとして保持することと等価である。こうして、仮想視点画像の生成のライブ時刻が設定され、タイムラグがタイムラグ保持部２０４に保持される。

なお、Ｓ４０４において、生成可能時刻取得部２０３は問い合わせ用時刻を１／６０秒ずつ減じるとしたが、これに限定されるものではなく、任意の大きさの時間を問い合わせ用時刻から減じるようにしてもよい。減じる時間の大きさが大きければループを回す回数が減るため、ライブ時刻の設定にかかる時間を短縮できる。しかしながら、減じる時間を大きくするにつれ、実際に仮想視点画像を生成可能な時刻との誤差が大きくなることにもなる。Ｓ４０４において用いられる、問い合わせ用時刻から減じる時間は、これらが考慮されることにより適切な値が設定され得る。

また、第１実施形態ではＳ４０１で現在時刻取得部２０２が現在時刻を１度だけ取得する場合について説明したが、これに限定されるものではない。画像生成装置１１０に仮想視点画像の生成が可能か否かを問い合わせる度に現在時刻を取得するようにしてもよい。Ｓ４０２～Ｓ４０４の処理を何度かループしている間に現在時刻が現在時刻でなくなってしまうとともに、画像生成装置１１０でも仮想視点画像が生成可能な時刻も進むためである。現在時刻を問い合わせのたびに取得する場合は、Ｓ４０４の処理の後にＳ４０１に処理を戻すようにすればよい。また、この場合、Ｓ４０４では、タイムラグ値を０から１／６０秒ずつループの度に増加させ、Ｓ４０２では、最新の現在時刻からこのタイムラグ値を差し引いた時刻を問い合わせ用時刻として用いる。そして、このループを１／６０秒に１回ずつ実施することで、より適切なライブ時刻を求めることが可能になる。

図５は、第１実施形態におけるライブ時刻の設定処理を説明する模式図である。図５（ａ）において、Ｔｎｏｗは現在時刻、Ｔｒｅａｄｙは
現在時刻Ｔｎｏｗにおいて最新の仮想視点画像が生成可能な時刻である。現在時刻Ｔｎｏｗにおいて、時刻Ｔ１の仮想視点画像を生成するように指示が行われると、画像生成装置１１０は対応する仮想視点画像を生成することができない。これは、スポーツ中継においては放送中に映像が表示されない可能性が生じるため、避ける必要がある。一方、時刻Ｔ３の時刻Ｔ１の仮想視点画像を生成するように指示を行うと、画像生成装置１１０は画像を生成できる。しかしながら、他の放送用カメラの画像とはタイムラグが大きくなり、画像切り替えに注意が必要となる。一方、時刻Ｔ２の仮想視点画像を生成するように指示を行うと、画像生成装置１１０は画像を生成でき、かつ、他の放送用カメラの画像とはタイムラグが小さくなる。したがって、可能な限りＴ２に近い時刻をライブ時刻として設定することが望ましい。

図５（ｂ）は、図４のライブ時刻を設定する処理を模式的に示した図である。Ｔｎｏｗは現在時刻、Ｔｒｅａｄｙは現在時刻Ｔｎｏｗにおいて最新の仮想視点画像が生成可能な時刻（生成可能時刻）である。現在時刻Ｔｎｏｗにおいて、生成可能時刻取得部２０３は、問い合わせ用時刻をｔ１、ｔ２、ｔ３と順に設定し、画像生成装置１１０に送り、生成可能か否かの判定結果を得る（Ｓ４０２～Ｓ４０４）。各時刻の差分は１／６０秒である。時刻ｔ４までは、仮想視点画像が生成可能ではないという判定結果を受け取るが、Ｔｒｅａｄｙよりも遡った時刻ｔ５を送信した際には仮想視点画像が生成可能であるという判定結果を受け取る。その結果、処理は、Ｓ４０２～Ｓ４０４のループを抜け、ライブ時刻設定部２０５は、時刻ｔ５を仮想視点画像が生成可能な時刻（生成可能時刻）として設定する（Ｓ４０５）。

なお、Ｓ４０５において、ライブ時刻設定部２０５は、Ｓ４０３で生成可能時刻取得部２０３が用いた問い合わせ用時刻をライブ時刻として設定するが、これに限定されるものではない。実際、仮想視点画像が生成可能な状態になるまでの準備時間は一定ではない。稼働しているカメラ１０９の台数、そのときのネットワーク帯域負荷、画像処理を行うサーバーの稼働状態によって、多少のばらつきが生じることがある。したがって、問い合わせ用時刻からさらに所定のマージンを差し引いた時刻をライブ時刻として用いるようにしてもよい。これは、生成可能を表す応答を画像生成装置１１０から受信した際に設定されていた差分用の時間値に所定のマージンを加算してタイムラグを設定することと同等である。例えば、タイムラグ保持部２０４は、ライブ時刻と現在時刻との差分に所定のマージンを加えた値をタイムラグとして保持するようにしてもよい。

例えば、フレームレートが６０ｆｐｓを保証している場合には、ばらつきは１／６０秒以内に収まるはずである。よって、そのばらつき分を担保するために、例えば１／６０秒程度のマージンを用意することが望ましい。つまり、
ライブ時刻 ＝ 仮想視点画像を生成可能な時刻 － Ｔα
とすればよい。Ｔαは上記のマージンで、上述したように１／６０秒程度に設定される。また、その場合、タイムラグ保持部２０４に保持するタイムラグを、
タイムラグ ＝ 現在時刻 － （仮想視点画像を生成可能な時刻 － Ｔα）
とすればよい。

または、ばらつきを所定時間または所定回数の計測の結果に基づいて決定するようにしてもよい。本実施形態では図４の処理を１回だけ行う場合について説明したが、これに限定されるものではなく、ばらつきを検出するために図４の処理が複数回行われるようにしてもよい。例えば、複数回、仮想視点画像が生成可能な状態になるまでの準備時間を計測し、その中で最大の準備時間をタイムラグとしてもよい。すなわち、タイムラグの取得を複数回行い、取得されたタイムラグのうち最も大きいタイムラグを採用するように構成しもよい。

以上説明したように、第１実施形態によれば、現在時刻から順次遡って問い合わせることにより、画像生成装置１１０が仮想視点画像を生成可能な時刻を取得する。したがって、仮想視点画像を生成可能な時刻を取得することにより、確実に仮想視点画像を生成可能で、かつ、現在時刻からの遅延が少ない仮想視点画像を生成することができる。したがって、スポーツのライブ中継などにおいて、仮想視点画像を確実に作り続けることが可能で、かつ、他の放送用カメラのライブ画像とのタイムラグを小さくすることが可能になる。また、放送用カメラで撮影した映像と仮想視点画像を切り替えによる影響を低減することが可能になる。

＜第２実施形態＞
第１実施形態では、情報処理装置１０は、現在時刻からのタイムラグを大きくしながら仮想視点画像の生成可否を問い合わせることにより、画像生成装置１１０が仮想視点画像を生成可能な時刻を取得する構成を説明した。第２実施形態では、情報処理装置１０からの問い合わせに応じて、画像生成装置１１０が仮想視点画像を生成可能な時刻を返す構成について説明する。画像生成システム、情報処理装置１０の構成は、第１実施形態（図１、図２（ａ））と同様である。

図６は、第２実施形態における、図３のＳ３０１におけるライブ時刻を設定する処理を示すフローチャートである。図４と同じ処理を行うステップには同じ番号を付してある。第２実施形態では、生成可能時刻取得部２０３が、画像生成装置１１０に対して仮想視点画像が生成可能な時刻を問い合わせると、画像生成装置１１０はこの問い合わせに対して仮想視点画像を生成可能な時刻を応答する。生成可能時刻取得部２０３は、画像生成装置１１０からのこの応答に含まれる時刻に基づいて仮想視点画像の生成時刻を決定する。以下、図４のフローチャートに沿って説明する。

Ｓ４０１において、現在時刻取得部２０２は現在時刻を取得する。この処理は、第１実施形態で説明したとおりである。次に、Ｓ６０１において、生成可能時刻取得部２０３は、通信Ｉ／Ｆ１０６を介して、画像生成装置１１０に仮想視点画像を生成可能な時刻を問い合わせる。画像生成装置１１０は、この問い合わせに応じて仮想視点画像を生成可能な時刻を情報処理装置１０に送信する。Ｓ６０２において、生成可能時刻取得部２０３は、通信Ｉ／Ｆ１０６を介して、仮想視点画像を生成可能な時刻を画像生成装置１１０から受信する。Ｓ４０５において、ライブ時刻設定部２０５は、生成可能時刻取得部２０３がＳ６０２で取得した時刻をライブ時刻として設定する。また、タイムラグ保持部２０４は、現在時刻取得部２０２がＳ４０１で取得した現在時刻（問い合わせを行った時刻）と設定されたライブ時刻（応答に含まれている時刻）との差分に基づいてタイムラグを設定し、保存する。なお、この差分をタイムラグとして用いてもよいが、第１実施形態で説明したようなマージンを考慮してタイムラグを設定してもよい。また、第１実施形態と同様に、画像生成装置１１０からの生成可能な時刻の取得を複数回行って、複数の時刻から１つ（例えば最大の差分となる時刻）を採用するようにしてもよい。

第２実施形態では、画像生成装置１１０が、問い合わせを受けた時点での仮想視点画像を生成可能な時刻を検知する機能を有している。図７を用いて、画像生成装置１１０が仮想視点画像を生成可能な時刻を検知、送信する方法を説明する。

図７は、第２実施形態における画像生成装置１１０のデータ準備状況を示す模式図である。図７（ａ）において、画像生成装置１１０はデータベース７０２を有する。データベース７０２には、カメラ１０９で撮像された画像データ、画像データを画像処理して得られた前景や背景のモデルデータが格納されている。データセット７０３は各時刻（フレーム）のデータ準備状況を表している。データセット７０３は、時刻ｔ１からｔ５までは仮想視点画像を生成するために必要なデータの準備ができており、時刻ｔ６は準備中であることを示している。データの準備が完了した時点でフラグを立てるなどの処理を行うようにしておくことで、準備状況の検知は容易に実現可能である。

問い合わせメッセージ７２１は、仮想視点画像を生成可能な時刻を問い合わせるためのメッセージの例である。第２実施形態では、ＪＳＯＮフォーマットに準拠した場合の一例を示している。ここでは、キーが"ｉｎｑｕｉｒｙ"、値が"ａｖａｉｌａｂｌｅ ｔｉｍｅ"となっている。情報処理装置１０は、この問い合わせメッセージ７２１を使って生成可能な時刻を画像生成装置１１０に問い合わせる。一方、応答メッセージ７２２は、問い合わせに対する応答として送信されるメッセージの例である。応答メッセージ７２２は、画像生成装置１１０から情報処理装置１０へ送信される。応答メッセージ７２２には、問い合わせた内容がキーに、その値として仮想視点画像を生成可能な時刻が記載されている。なお、図７（ａ）では、時刻をｔ１、ｔ２のように変数を使って記載しているが、実際は「１２：３４：５６：１２」のように、時、分、秒、フレーム番号で表現することが一般的である。このような形式はタイムコードと呼ばれる。言うまでもないことであるが、画像生成装置１１０とのやり取りで用いるメッセージは、双方で解釈可能であれば任意のデータフォーマットでよい。

図７（ｂ）は、仮想視点画像を同時に複数作成する場合の模式図である。視点を設定する情報処理装置が２つ（１０と１０ａ）存在している。画像生成装置１１０のデータベース７０２には、データセットが３つ（７０３、７０４、７０５）存在している。複数のデータセットが存在する理由のひとつは、カメラ１０９で撮像するエリアが異なるためである。サッカーの場合を例に説明すると、ホームチーム側のゴール付近を撮像するカメラ１０９と、アウェイチーム側のゴール付近を撮像するカメラ１０９というように２組のカメラセットを用意することがある。ホームチーム側で起きたプレーに対する仮想視点画像を生成する場合はデータセット７０３、アウェイチーム側で起きたプレーに対する仮想視点画像を生成する場合はデータセット７０４を使う。

なお、視点の異なる仮想視点画像を複数生成する場合、データベースへのアクセスがボトルネックとなり画像生成が間に合わなくなることがある。これを回避するために、データベースを並列化することが有効である。並列化の処理のため、データセット７０３とデータセット７０４とデータセット７０５では、仮想視点画像を生成できる時刻に若干の差が生じることがある。図７（ｂ）では、データセット７０３はｔ５まで、データセット７０４はｔ６まで、データセット７０５はｔ４まで、仮想視点画像を生成するためのデータが準備できている様子が示されている。

ライブ中継での各カメラが出力する画像は時刻同期されていることが望ましい。同様に異なる情報処理装置が設定するライブ時刻は同期していることが望ましい。そうすることで生成される仮想視点画像が時刻同期することになる。その実現方法として、データセットの中で最もデータの準備状況が遅いデータセットの時刻にライブ時刻を合わせることが考えられる。これを実現するために、画像生成装置１１０は、各データセットの準備状況を把握し、準備状況が最も遅いデータセットの時刻を返す。図７（ｂ）では、画像生成装置１１０は、最もデータの準備状況が遅いデータセット７０５の時刻ｔ４を返すことになる。

情報処理装置１０が問い合わせメッセージ７３１を画像生成装置１１０に送ると、画像生成装置１１０は、応答メッセージ７３２を返す。問い合せメッセージ７３１は、図７（ａ）の問い合わせメッセージ７２１と同じである。応答メッセージ７３２には、ａｖａｉｌａｂｌｅ ｔｉｍｅとしてｔ４が設定されている。同様に、情報処理装置１０ａが問い合わせメッセージ７３３を画像生成装置１１０に送ると、画像生成装置１１０は、応答メッセージ７３４を返す。この場合も、応答メッセージ７３４には、ａｖａｉｌａｂｌｅ ｔｉｍｅとしてｔ４が設定されている。

以上のような動作を行う第２実施形態の画像生成装置１１０について説明する。なお、以下では、図７（ｂ）に示したように、複数の仮想視点画像を同時に生成する場合の構成を説明する。図８は、第２実施形態による、画像生成装置１１０が仮想視点画像を同時に複数作成する場合の処理の機能構成を示すブロック図である。第１実施形態（図２（ｂ））と同様の構成には同一の参照番号を付してある。なお、図８では仮想視点画像生成部８１２の図示が省略されている。

画像データ取得部８０１は、カメラ１０９から画像データを取得する。画像処理部８０２は、画像データ取得部８０１が取得した画像データに対して、前景・背景分離、前景・背景モデル生成などの画像処理を行う。データ保持部８０３は、画像処理部８０２が処理した結果をデータセットごと、フレームごとに保持する。準備状況検出部８０４は、データセットの準備状況を検知する。本例ではデータセットは複数存在しており、準備状況検出部８０４は、各データセットのどのフレームまでが仮想視点画像を生成可能であるかを、データ保持部８０３の内容を確認することで検知する。準備状況保持部８０５は、準備状況検出部８０４による準備状況の検知結果を保持する。送受信部８０６は、情報処理装置１０，１０ａからの問い合わせメッセージを受信するとともに、その問い合わせに対する応答メッセージを情報処理装置１０，１０ａに送信する。

図９は、画像生成装置１１０が複数の仮想視点画像を同時に作成する処理を示すフローチャートである。画像生成装置１１０は、データセットの中で最もデータの準備状況が遅いデータセットの時刻を仮想視点画像が生成可能な時刻として検知、送信する。

Ｓ９０１において、画像データ取得部８０１は、カメラ１０９からの画像データを受信する。画像データには、複数のカメラ１０９で撮像された画像データが含まれる。Ｓ９０２において、画像処理部８０２は、画像データ取得部８０１が取得した画像データに対して、前景・背景分離、前景・背景モデル生成などの画像処理を行う。Ｓ９０３において、データ保持部８０３は、画像処理部８０２が処理した結果をデータセットごと、フレームごとに保持する。

Ｓ９０４において、準備状況検出部８０４は、データ保持部８０３が保持する各データセットの各フレームのデータ準備状況を確認する。データ準備状況とは、あるフレームの仮想視点画像を生成するために必要となる前景・背景モデルなどのデータがそろっているかいないかを表す。あるデータセットのあるフレームのデータ準備が新たに完了していることを検知した場合は（Ｓ９０４でＹＥＳ）、処理はＳ９０５に進む。一方、データ準備状況に変化がない場合は（Ｓ９０４でＮＯ）、処理はＳ９０６に進む。

Ｓ９０５において、準備状況検出部８０４は、新たにデータ準備が完了したフレームの準備状況を完了に設定し、準備状況保持部８０５に保持する。さらに、準備状況検出部８０４は、すべてのデータセットの中で準備状況が最も遅れているデータセットにおける準備状況（データ準備が完了しているフレーム）を、仮想視点画像が生成可能な時刻として準備状況保持部８０５に保持する。

Ｓ９０６において、送受信部８０６が、情報処理装置からの問い合わせを検知した場合、処理はＳ９０７に進む。Ｓ９０７において、送受信部８０６は、準備状況保持部８０５に保持されている仮想視点画像が生成可能な時刻を取得する。Ｓ９０８において、送受信部８０６は、問い合わせを送信した情報処理装置に、Ｓ９０７で取得した時刻を送信する。その後、処理はＳ８０１に戻る。他方、Ｓ９０６で問い合わせを検知していないと判定された場合、処理はそのままＳ９０１に戻る。

なお、第１実施形態のＳ４０５では、情報処理装置１０がばらつきを吸収するためのマージンＴαを設ける場合の説明をした。第２実施形態で説明したように画像生成装置１１０が複数のデータセットを保持する場合においても、画像生成装置１１０の準備状況検出部８０４がマージンＴαを決定することが好ましい。複数存在する情報処理装置が各々でマージンを設定してしまうと、ライブ時刻がマージンの違いでばらつくため時刻同期が担保されなくなるからである。準備状況検出部８０４で共通のマージンＴαを設けることで時刻同期を担保することが可能である。

以上説明したように、第２実施形態では、仮想視点画像を生成可能な時刻が、情報処理装置から画像生成装置１１０に問い合わせることにより取得される。これにより、第１実施形態よりも短時間で仮想視点画像を生成可能な時刻を得ることができる。

＜第３実施形態＞
第１実施形態および第２実施形態では、情報処理装置１０と画像生成装置１１０が協調することで仮想視点画像を生成可能な時刻を取得する場合について説明したが、これに限定されるものではない。第３実施形態では、ユーザが仮想視点画像の生成時刻（問い合わせ用時刻）を入力し、画像生成装置１１０が指定された時刻で仮想視点画像を生成可能であるか否かを情報処理装置１０に返信する構成を説明する。なお、情報処理装置１０および画像生成装置１１０の機能構成は、第１実施形態（図２（ａ））と同様である。ただし、生成可能時刻取得部２０３、タイムラグ保持部２０４は以下のように機能する。

図１０は、第３実施形態におけるライブ時刻の設定処理（図３のＳ３０３の処理）を示すフローチャートである。Ｓ１００１において、生成可能時刻取得部２０３は操作部１０７からのユーザによる時刻入力を待ち、時刻入力を検知すると処理をＳ１００２に進める。Ｓ１００２において、生成可能時刻取得部２０３は、操作部１０７を介して入力された時刻を取得する。Ｓ１００３において、ライブ時刻設定部２０５は、生成可能時刻取得部２０３が取得した時刻をライブ時刻として設定し、タイムラグ保持部２０４は、ライブ時刻と現在時刻との差分をタイムラグとして保持する。Ｓ１００４において、画像取得部２０６は、ライブ時刻設定部２０５が設定したライブ時刻と視点を、通信Ｉ／Ｆ１０６を介して、画像生成装置１１０に送信する。ここで送信される視点は、試し送信用に事前に用意しておいた視点でもよいし、起動時の初期値など任意の視点でよい。

Ｓ１００５において、ライブ時刻設定部２０５は、通信Ｉ／Ｆ１０６において画像生成装置１１０が生成した仮想視点画像が受信されたかを判定する。画像生成装置１１０が仮想視点画像を生成できなかった場合は、生成エラーの信号が受信される。Ｓ１００６において、ライブ時刻設定部２０５は、Ｓ１００５における受信結果を判定し、画像生成ができた場合は本処理を終了する。この場合、Ｓ１００３で保持されたタイムラグが、以降の仮想視点画像の生成時刻の算出に用いられる。すなわち、画像生成装置１１０から生成可能を表す応答を受信した際の時刻と、その時刻を送信したときの現在時刻との時間差に基づいてタイムラグが設定される。以降、ライブ時刻設定部２０５は、タイムラグを現在時刻から差し引くことによりライブ時刻（仮想視点画像の生成時刻）を更新する。他方、画像生成ができなかった場合は処理をＳ１００１に戻す。この時、後述するように、ライブ時刻設定部２０５は、操作部１０７に、指定された時刻では仮想視点画像を生成できない旨の表示を行う。

図１１は、操作部１０７により実現される、ユーザが仮想視点画像を生成する時刻の指定を受け付けるためのＧＵＩや入力デバイスの例を示した模式図である。

図１１（ａ）は、ＧＵＩのフォームに時刻を文字で入力する場合の模式図である。１１０１は時刻設定用のウインドウ、１１０２は現在時刻の表示領域、１１０３は時刻の入力フォーム、１１０４はユーザが入力した時刻で仮想視点画像を生成できるか否かの判定結果を表示する領域である。ユーザは、現在時刻を参考にライブ時刻を入力するので、現在時刻表示領域１１０２が時刻入力フォーム１１０３と同一画面上に配置されていることが好ましい。判定結果表示領域１１０４には、Ｓ１００６の判定結果が表示される。

図１１（ｂ）は、ＧＵＩのフォームに仮想視点画像が生成可能な状態になるまでの準備時間を入力する場合の模式図である。１１２１は時刻設定用のウインドウ、１１２２は準備時間を設定するための入力スライダーである。１１２３は入力スライダー１１２２のバーに相当するＧＵＩ部品、１１２４は過去の履歴から算出した推奨値を示すバーである。判定結果表示領域１１２５はユーザが入力した準備時間で仮想視点画像を生成できるか否か（Ｓ１１０６の判定結果）を表示する領域である。準備時間は、タイムラグ保持部２０４に保持される。準備時間をスライダーで入力することで、ユーザが時刻を文字入力する手間を低減できる。

図１１（ｃ）は、入力デバイスに仮想視点画像が生成可能な状態になるまでの準備時間を入力する場合の模式図である。１１４０は入力デバイス、１１４１は、準備時間を入力するためのダイヤルである。また、１１４２は、ダイヤル１１４１を操作することで設定される準備時間を表示する領域である。判定結果表示領域１１４３は、ユーザが入力した準備時間で仮想視点画像を生成できるか否か（Ｓ１１０６の判定結果）を表示する領域である。なお、ダイヤル１１４１の替わりにスライダーなどの任意のデバイス部品を使ってもよい。

なお、Ｓ１００４では、ライブ時刻とともに仮想視点を送信しているがこれに限定されるものではなく、ライブ時刻だけを送信するようにしてもよい。また、画像生成装置１１０は、仮想視点画像を生成できる場合に、仮想視点画像を返す替わりに、第１実施形態のように生成可能であることを示す信号を送信するようにしてもよい。その場合は、例えば、ライブ時刻設定部２０５が、Ｓ１００５において、通信Ｉ／Ｆ１０６を介して、生成可能か否かを示す信号を受信する。また、判定結果表示領域１１０４、１１２５、１１４３には、Ｓ１００６による判定の結果が表示される。Ｓ１００６において画像生成装置１１０からの応答が画像生成できないことを示す場合、これら判定結果表示領域にはその旨（ＮＧ）が表示され、ユーザに時刻の再入力を促すことになる。

図１２は、第３実施形態における送受信メッセージの一例を示す模式図である。図１２（ａ）は、情報処理装置１０から画像生成装置１１０に問い合わせる際のメッセージ１２０１を示す。メッセージ１２０１は、Ｓ１００４において送信される。本例では「０時３３分２１秒４５フレーム」の仮想視点画像が生成可能かを問い合わせている。図１２（ｂ）および（ｃ）は、問い合わせのメッセージ１２０１に対する応答メッセージの例である。（ｂ）は生成可能であることを通知するメッセージ１２０２、（ｃ）は生成できないことを通知するメッセージ１２０３の例である。メッセージ１２０２，１２０３は、Ｓ１００５において受信される。言うまでもないことであるが、画像生成装置１１０とのやり取りで用いられるメッセージは、双方で解釈可能であれば任意のデータフォーマットでよい。

以上説明したように、第３実施形態によれば、ユーザが仮想視点画像を生成可能と推定される時刻あるいは希望する時刻を問い合わせ用時刻として入力することで、ライブ時刻を設定することが可能である。これにより、情報処理装置１０と画像生成装置１１０の間で仮想視点画像を生成可能な時刻を求める機能を実装しなくてすむという利点がある。

＜第４実施形態＞
第１実施形態から第３実施形態では、ライブ中継用の仮想視点画像を生成する際、情報処理装置１０側で仮想視点画像を生成可能な時刻を考慮した上で生成したい時刻と仮想視点を送信する場合について説明したが、これに限定されるものではない。第４実施形態では、ライブ中継用の仮想視点画像を生成する際に、情報処理装置１０から時刻を送信せず仮想視点を送信する構成について説明する。

図１３（ａ）は、本実施形態における情報処理装置１０の機能構成を示すブロック図である。図２（ａ）と同様の機能ブロックには同じ参照番号を付してある。ライブ・リプレイ判定部１３０１は、これから設定する視点がライブ中継用なのか、リプレイ用なのかを判定する。その判定方法は、ＧＵＩ等にライブ・リプレイの切り替えボタンを設けるなど任意の方法でよい。リプレイ時刻設定部１３０２は、リプレイ画像を生成する時刻を設定する。リプレイ時刻の設定方法は、ＧＵＩ入力や入力デバイスを用意するなど任意の方法でよい。

図１３（ｂ）は、画像生成装置１１０の機能構成例を示すブロック図である。図２（ｂ）と同様の機能ブロックには同じ参照番号を付してある。ライブ判定部８１４は、情報処理装置１０からの仮想視点のメッセージがライブ中継用の仮想視点画像の生成を指示しているか、リプレイ用の仮想視点画像の生成を指示しているかを判定する。時刻設定部８１３は、データ保持部８０３におけるデータのセットの状況から、生成可能な仮想視点画像の時刻を設定する。

図１４は、第４実施形態における情報処理装置１０の処理を示すフローチャートである。図３と同じ処理を行うステップには同じ番号を付してある。Ｓ１４０１において、ライブ・リプレイ判定部１３０１は、これから生成する仮想視点画像がライブ用なのかリプレイ用なのかを判定する。ライブ用の場合、処理はＳ３０２に進み、リプレイ用の場合、処理はＳ１４０４に進む。

Ｓ３０２において、仮想視点取得部２０１は、操作部１０７を介して入力された信号から仮想視点を取得する。Ｓ１４０２において、画像取得部２０６は、仮想視点取得部２０１が取得した仮想視点を、通信Ｉ／Ｆ１０６を介して、画像生成装置１１０に送信する。ここでは時刻は送信されない。情報処理装置１０から仮想視点を受信した画像生成装置１１０は、可能な範囲で最新の撮影画像を用いて仮想視点画像を生成し、情報処理装置１０へ送信する。Ｓ３０４において、通信Ｉ／Ｆ１０６は、画像生成装置１１０が生成し、送信した仮想視点画像を受信する。Ｓ３０５において、表示部１０５は、通信Ｉ／Ｆ１０６が受信した仮想視点画像を表示する。Ｓ３０６において、仮想視点の設定用アプリケーションの終了指示が操作部１０７を介して受理された場合、本処理は終了する。終了指示を受理していない場合、処理はＳ１４０１に戻る。

Ｓ１４０４では、リプレイ時刻設定部１３０２がリプレイ画像を生成する時刻を設定する。Ｓ３０２において、仮想視点取得部２０１は、操作部１０７を介して入力された信号から仮想視点を取得する。Ｓ１４０５において、画像取得部２０６は、仮想視点取得部２０１が取得した仮想視点とリプレイ時刻設定部１３０２が設定したリプレイ時刻を、通信Ｉ／Ｆ１０６を介して、画像生成装置１１０に送信する。仮想視点とリプレイ時刻を受信した画像生成装置１１０は、リプレイ時刻における、仮想視点からの仮想視点画像を生成し、情報処理装置１０へ送信する。Ｓ３０４～Ｓ３０６の動作は上述のとおりである。

図１４において、処理１４２１がライブ用画像を生成する処理を示しており、処理１４２２がリプレイ画像を生成する処理を示している。処理１４２１と処理１４２２を比較すると、ライブでは時刻は設定されず、リプレイでは時刻が設定される。以上のように、第４実施形態では、画像取得部２０６は、ライブ・リプレイ判定部１３０１によりライブ用の仮想視点画像の生成が設定されていると判定された場合に、画像生成装置１１０に仮想視点画像を生成するための仮想視点を送信するが生成時刻を送信しない。一方、ライブ・リプレイ判定部１３０１によりリプレイ用の仮想視点画像の生成が設定されていると判定された場合には、画像生成装置１１０に仮想視点と生成時刻を送信する。

図１５は、Ｓ１４０２で送信されるライブ用の仮想視点のメッセージと、Ｓ１４０５で送信されるリプレイ用の仮想視点のメッセージの例を示す模式図である。図１５（ａ）には、Ｓ１４０２で送信されるライブ用の仮想視点メッセージ１５０１が示されている。ｔｉｍｅ ｃｏｄｅにＬＩＶＥと指定することで、この仮想視点メッセージ１５０１がライブ用であることを示している。一方、図１５（ｂ）は、Ｓ１４０５で送信されるリプレイ用の仮想視点メッセージ１５０２を示す。仮想視点メッセージ１５０２において、ｔｉｍｅ ｃｏｄｅには、リプレイ画像を生成する時刻が設定されている。

次に、第４実施形態における画像生成装置１１０について説明する。画像生成装置１１０は、図１５に示した仮想視点メッセージを受信すると、ライブ判定部８１４が受信した仮想視点メッセージを解析し、ライブか否かの判定を行う。ライブか否かの判定は、仮想視点メッセージのｔｉｍｅ ｃｏｄｅがＬＩＶＥとなっているか否かで判定可能である。本実施形態では、ライブ時刻の設定を画像生成装置１１０の時刻設定部８１３で行う。時刻設定部８１３は、例えば図２に示した各モジュールを有し、図４に示した処理にしたがってライブ時刻を設定する。ただし、Ｓ４０２（時刻の送信処理）は不要である。もちろん、第２実施形態で説明したような構成により、画像生成装置１１０が仮想視点画像を生成可能な時刻を取得し、これをライブ時刻に設定するようにしてもよい。仮想視点画像生成部８１２は、ライブ判定部８１４によりライブと判定された場合には、時刻設定部８１３により設定された時刻で仮想視点画像を生成する。一方、仮想視点画像生成部８１２は、ライブ判定部８１４によりリプレイと判定された場合には、受信したメッセージに含まれている生成時刻で仮想視点画像を生成する。

以上説明したように、第４実施形態によれば、画像生成装置１１０側でライブ時刻を設定することができる。これにより、情報処理装置側ではライブ用の仮想視点画像を生成する際に、時刻を指定する必要がなくなる。

＜その他の変形例＞
第１実施形態において、現在時刻から順次遡って問い合わせることにより、画像生成装置１１０が仮想視点画像を生成可能な時刻を取得する場合について説明した。しかしながら、これに限定されるものではなく、二分探索で問い合わせることで仮想視点画像を生成可能な時刻を取得してもよい。例えば、３２秒→１６秒→８秒→４秒→・・・→１秒→１／２秒→１／４秒→１／８秒→１／１６秒→１／３２秒というように問い合わせ幅を制御する。３２秒で生成可能だった場合は、１６秒で生成可能か否かを問い合わせる。１６秒で生成できない場合は、１６秒に８秒加算した２４秒で問い合わせる。２４秒で生成できた場合は２４秒から４秒減算した２０秒で問い合わせる。これを繰り返し、徐々に生成可能な時刻を求めることも有効である。この方法の利点は、一定の問い合わせ回数で確実に生成可能な時刻を求めることができる点である。

第１から第４実施形態において、主にライブ用の仮想視点画像を生成する際の仮想視点画像を生成可能な時刻の取得方法について説明した。仮想視点画像を生成可能な時刻を取得する際に得られる仮想視点画像が生成可能な状態になるまでの準備時間は、リプレイ用の仮想視点画像を生成する際にも利用可能である。例えば、現在時刻から準備時間を差し引いた時間よりも未来の時刻の仮想視点画像を生成できないことを、リプレイ時刻の設定時の制約として利用することが可能である。リプレイ時刻の設定を入力デバイスのダイヤルで指定する場合を考える。上記の制約を超える方向にはダイヤルを回せなくする機構を設けることで、リプレイ時刻の誤設定を防ぐことが可能になる。

第１から第４実施形態において、画像生成装置１１０と情報処理装置１０を独立した装置として構成する場合について説明したが、これに限定されるものではない。例えば、仮想視点画像生成処理部を有する情報処理装置として構成してもよい。

また、第１から第４実施形態において、情報処理装置１０が仮想視点を出力する場合について説明したが、これに限定されるものではなく、仮想視点を出力する機能を持たなくてもよい。例えば、仮想視点画像を生成可能な時刻を取得する情報処理装置として構成してもよい。その場合は、仮想視点を出力する別の情報処理装置、乃至、画像生成装置１１０に仮想視点画像を生成可能な時刻を送信することになる。

第１から第４実施形態において、仮想視点画像のフレームレートが６０ｆｐｓである場合について説明したが、これに限定されるものではなく、任意のフレームレートでよい。例えば、３０ｆｐｓでもよいし、５９．９４ｆｐｓなど任意のフレームレートでもよい。

＜他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０：情報処理装置、１０１：ＣＰＵ、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：ＨＤＤ、１０５：表示部、１０６：通信Ｉ／Ｆ、１０７：操作部、１０８：システムバス、１０９：カメラ、１１０：画像生成装置

Claims (12)

1. 複数のカメラで撮影した複数の画像に基づいて仮想視点画像を生成する画像生成装置から取得する仮想視点画像の生成時刻を制御する情報処理装置であって、
   現在時刻に基づいて算出された、前記現在時刻よりも前の問い合わせ用時刻を画像生成装置に対して送信する送信手段と、
   前記送信手段により送信された問い合わせ用時刻に対する前記画像生成装置からの応答が仮想視点画像の生成可能を表す場合に、前記画像生成装置から取得する仮想視点画像の生成時刻を、前記送信手段により送信された前記問い合わせ用時刻に基づいて決定する決定手段と、を備え、
   前記送信手段は、前記現在時刻から時間値を引いて前記問い合わせ用時刻を算出し、前記時間値を徐々に大きくしながら前記問い合わせ用時刻の送信を繰り返すことを特徴とする情報処理装置。
2. 前記送信手段は、生成される仮想視点画像のフレームレートにおけるフレーム間隔の時間を前記時間値に加算することにより前記時間値を徐々に大きくすることを特徴とする請求項１に記載の情報処理装置。
3. 前記決定手段は、前記画像生成装置から生成可能を表す応答を受信した際の問い合わせ用時刻の生成に用いられた前記時間値に基づいてタイムラグを設定し、前記タイムラグを現在時刻から差し引くことにより前記生成時刻を決定することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記決定手段は、生成可能を表す前記応答を受信した際の前記時間値にマージンを加算して前記タイムラグを設定することを特徴とする請求項３に記載の情報処理装置。
5. 前記決定手段は前記タイムラグの取得を複数回行い、取得されたタイムラグのうち最も大きいタイムラグを採用することを特徴とする請求項３または４に記載の情報処理装置。
6. 複数のカメラで撮影した複数の画像に基づいて仮想視点画像を生成する画像生成装置から取得する仮想視点画像の生成時刻を決定する情報処理装置であって、
   現在時刻よりも前の時刻であって、画像生成装置が生成可能な仮想視点画像に対応する時刻の問い合わせを、前記画像生成装置に対して送信する送信手段と、
   前記画像生成装置からの前記問い合わせに対する応答に含まれる時刻に基づいて仮想視点画像の生成時刻を決定する決定手段と、を備え、
   前記決定手段は、前記問い合わせを送信した時刻と前記応答に含まれる時刻との差に基づいてタイムラグを設定し、前記タイムラグを現在時刻から差し引くことにより前記生成時刻を決定することを特徴とする情報処理装置。
7. 複数のカメラで撮影した複数の画像に基づいて仮想視点画像を生成する画像生成装置から取得する仮想視点画像の生成時刻を決定する情報処理装置であって、
   ユーザによる時刻の入力を受け付ける操作手段と、
   前記操作手段により入力された前記時刻を前記画像生成装置に送信する送信手段と、
   前記画像生成装置からの応答が仮想視点画像の生成可能を表す場合に、前記送信手段が送信した前記時刻に基づいて仮想視点画像の生成時刻を決定する決定手段と、を備え、
   前記決定手段は、前記画像生成装置から生成可能を表す応答を受信した際の前記送信手段が送信した前記時刻と、前記送信手段が前記時刻を送信したときの現在時刻との時間差に基づいてタイムラグを設定し、前記タイムラグを現在時刻から差し引くことにより前記生成時刻を決定することを特徴とする情報処理装置。
8. 前記操作手段は、画像生成装置からの応答が画像生成できないことを示す場合に、ユーザに時刻の入力を促すことを特徴とする請求項７に記載の情報処理装置。
9. 複数のカメラで撮影した複数の画像に基づいて仮想視点画像を生成する画像生成装置から取得する仮想視点画像の生成時刻を制御する情報処理装置の制御方法であって、
   現在時刻に基づいて算出された、前記現在時刻よりも前の問い合わせ用時刻を画像生成装置に対して送信する送信工程と、
   前記送信工程により送信された問い合わせ用時刻に対する前記画像生成装置からの応答が仮想視点画像の生成可能を表す場合に、前記画像生成装置から取得する仮想視点画像の生成時刻を、前記送信工程により送信された前記問い合わせ用時刻に基づいて決定する決定工程と、を備え、
   前記送信工程では、前記現在時刻から時間値を引いて前記問い合わせ用時刻を算出し、前記時間値を徐々に大きくしながら前記問い合わせ用時刻の送信を繰り返すことを特徴とする情報処理装置の制御方法。
10. 複数のカメラで撮影した複数の画像に基づいて仮想視点画像を生成する画像生成装置から取得する仮想視点画像の生成時刻を決定する情報処理装置の制御方法であって、
    現在時刻よりも前の時刻であって、画像生成装置が生成可能な仮想視点画像に対応する時刻の問い合わせを、前記画像生成装置に対して送信する送信工程と、
    前記画像生成装置からの前記問い合わせに対する応答に含まれる時刻に基づいて仮想視点画像の生成時刻を決定する決定工程と、を備え、
    前記決定工程では、前記問い合わせを送信した時刻と前記応答に含まれる時刻との差に基づいてタイムラグを設定し、前記タイムラグを現在時刻から差し引くことにより前記生成時刻を決定することを特徴とする情報処理装置の制御方法。
11. 複数のカメラで撮影した複数の画像に基づいて仮想視点画像を生成する画像生成装置から取得する仮想視点画像の生成時刻を決定する情報処理装置の制御方法であって、
    ユーザによる時刻の入力を受け付ける入力工程と、
    前記入力工程により入力された前記時刻を前記画像生成装置に送信する送信工程と、
    前記画像生成装置からの応答が仮想視点画像の生成可能を表す場合に、前記送信工程で送信した前記時刻に基づいて仮想視点画像の生成時刻を決定する決定工程と、を備え、
    前記決定工程では、前記画像生成装置から生成可能を表す応答を受信した際の前記送信工程で送信した前記時刻と、前記送信工程で前記時刻を送信したときの現在時刻との時間差に基づいてタイムラグを設定し、前記タイムラグを現在時刻から差し引くことにより前記生成時刻を決定する、ことを特徴とする情報処理装置の制御方法。
12. 請求項９乃至１１のいずれか１項に記載された情報処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images