JP7635778B2 - 情報処理装置、画像処理システム、情報処理方法 - Google Patents

Description

本技術は情報処理装置、画像処理システム、情報処理方法に関し、特に撮像された被写体を三次元空間上の任意の視点から観察できる自由視点画像の処理に係る技術に関する。

撮像された被写体を三次元空間上で表した三次元情報に基づき、三次元空間上の任意視点からの観察画像に相当する自由視点画像（自由視点映像、仮想視点画像（映像）などとも呼ばれる）を生成する技術が知られている。
関連する従来技術については下記特許文献１を挙げることができる。特許文献１には視点の移動軌跡といえるカメラワークの生成に関する技術が開示されている。

ＷＯ２０１８／０３０２０６号公報

自由視点画像は放送コンテンツとしても有用であり、例えばスポーツ中継のリプレイ画像としても用いられている。例えばサッカーやバスケットボールの放送などにおいて、リアルタイムで録画した画像の中からシュートシーン等の数秒のクリップを作成し、リプレイ画像として放送する。なお本開示で「クリップ」とは、録画した画像の中から切り出したり、さらに加工したりして作成される或るシーンの画像のことを指す。

ところで放送現場では、生中継放送のオペレータに対しては、例えば極めて迅速にリプレイのためのクリップを作成し、放送することが求められる。

そこで本技術は、自由視点画像を含むクリップ等の画像制作を、より迅速に実行できるようにする技術を提案する。

本技術に係る情報処理装置は、複数の撮像装置により同時に撮像された複数の撮像画像について、自由視点画像の生成対象とする生成対象画像区間を特定する処理を行う区間特定処理部と、前記複数の撮像画像のそれぞれにおける前記生成対象画像区間の画像データを、他の情報処理装置における自由視点画像の生成に用いる画像データとして送信させる制御を行う対象画像送信制御部と、受信した自由視点画像を含む出力画像を生成する出力画像生成部と、を備える。
この情報処理装置は、例えば画像処理システムにおけるクリップ等の画像作成のメインコントローラとして機能する情報処理装置である。この情報処理装置は、自由視点画像を生成する１フレーム又は複数フレームの生成対象画像区間を特定するとともに、複数の撮像画像における生成対象画像区間のみの画像データを、他の情報処理装置（実際に自由視点画像を作成する自由視点画像サーバ）に送信する。そして作成された自由視点画像を受信して出力画像を生成する。

上記した本技術に係る情報処理装置においては、前記区間特定処理部は特定した前記生成対象画像区間の情報を前記他の情報処理装置に通知する処理を行い、前記対象画像送信制御部は、前記他の情報処理装置の要求に応じて前記生成対象画像区間の画像データの送信制御を行うことが考えられる。
生成対象画像区間を他の情報処理装置に通知することで、他の情報処理装置が自由視点画像の生成に必要な画像データを指定できるようにする。

上記した本技術に係る情報処理装置においては、前記区間特定処理部は、前記生成対象画像区間として撮像画像の１フレームの区間を特定することが考えられる。
これは１フレームの生成対象画像区間での自由視点画像、即ち時刻を止めた静止画の状態で視点を変更していくような自由視点画像を生成する場合の処理となる。

上記した本技術に係る情報処理装置においては、前記区間特定処理部は、前記生成対象画像区間として撮像画像の複数フレームの区間を特定することが考えられる。
これは複数フレームの生成対象画像区間での自由視点画像、即ち時刻を止めずに動画の状態で視点を変更していくような自由視点画像を生成する場合の処理となる。

上記した本技術に係る情報処理装置においては、前記出力画像生成部は、自由視点画像に前画像又は後画像を時間軸上で結合させた出力画像を生成することが考えられる。
即ち情報処理装置は、他の情報処理装置で作成された自由視点画像を受信したら、前後の画像を繋げて出力画像とする。

上記した本技術に係る情報処理装置においては、前記出力画像生成部は、自由視点画像と前画像又は後画像を再生リスト情報により仮想的に時間軸上で結合した仮想クリップとして出力画像を生成することが考えられる。
即ち他の情報処理装置で作成された自由視点画像を受信したら、前後の画像を繋げて出力画像とするが、その画像の結合は、再生する順序を示す再生リスト情報上の接続として仮想的に行うものとする。

上記した本技術に係る情報処理装置においては、前記出力画像生成部は、自由視点画像と接続する前画像又は後画像を指定する情報を前記他の情報処理装置から取得し、該情報に基づいて自由視点画像に前画像又は後画像を時間軸上で結合させた出力画像を生成することが考えられる。
即ち情報処理装置は、他の情報処理装置で作成された自由視点画像を受信するとともに、他の情報処理装置から、自由視点画像と繋げる前後の画像を指定する情報も受信する。

上記した本技術に係る情報処理装置においては、前記出力画像生成部は、自由視点画像と接続する前画像又は後画像の時間長を指定する情報を前記他の情報処理装置から取得し、該情報に基づいて前画像又は後画像を用意し、自由視点画像に前画像又は後画像を時間軸上で結合させた出力画像を生成することが考えられる。
即ち情報処理装置は、他の情報処理装置で作成された自由視点画像を受信するとともに、他の情報処理装置から自由視点画像と繋げる前後の画像の時間長の情報も受信する。

本技術に係るもう１つの情報処理装置は、複数の撮像装置により同時に撮像された複数の撮像画像のそれぞれにおける、自由視点画像の生成対象とされた生成対象画像区間の画像データを取得する対象画像取得部と、前記対象画像取得部が取得した画像データを用いて自由視点画像を生成する画像生成処理部と、生成した自由視点画像を他の情報処理装置に送信する制御を行う送信制御部と、を備える。
この情報処理装置は、例えば画像処理システムにおける自由視点画像サーバとして機能する情報処理装置である。この情報処理装置では、自由視点画像を生成するシーンの区間としての、複数の撮像画像を取得して、それらに基づいて自由視点画像を生成し、画像作成のメインコントローラとして機能する情報処理装置に送信する。

上記した本技術に係る情報処理装置においては、前記対象画像取得部は、前記生成対象画像区間の通知に応じて、前記複数の撮像画像のそれぞれにおける、前記生成対象画像区間の複数の画像データの送信要求を行うことが考えられる。
即ち生成対象画像区間の通知により、取得すべき画像区間を認識してその区間の複数の視点の画像データの送信を要求する。

上記した本技術に係る情報処理装置においては、前記対象画像取得部は、複数の撮像画像のそれぞれにおける、前記生成対象画像区間とされた１フレームの画像データを取得することが考えられる。
これは１フレームの生成対象画像区間での自由視点画像、即ち時刻を止めた静止画の状態で視点を変更していくような自由視点画像を生成する場合の処理となる。

上記した本技術に係る情報処理装置においては、前記対象画像取得部は、複数の撮像画像のそれぞれにおける、前記生成対象画像区間とされた複数フレームの区間の画像データを取得することが考えられる。
これは複数フレームの生成対象画像区間での自由視点画像、即ち時刻を止めずに動画の状態で視点を変更していくような自由視点画像を生成する場合の処理となる。

上記した本技術に係る情報処理装置においては、前記画像生成処理部は、予め記憶された視点移動軌跡情報のうちで選択された視点移動軌跡情報を用いて自由視点画像を生成することが考えられる。
視点移動の軌跡を示す情報を予め複数用意しておき、例えばオペレータの操作により選択されるようにする。

上記した本技術に係る情報処理装置においては、前記送信制御部は、生成した自由視点画像と接続する前画像又は後画像を指定する情報を前記他の情報処理装置に送信する制御を行うことが考えられる。
即ちクリップ作成のメインコントローラとして機能する他の情報処理装置に自由視点画像を受信するとともに、自由視点画像と繋げる前後の画像の情報も送信して、他の情報処理装置における出力画像生成に用いることができるようにする。

上記した本技術に係る情報処理装置においては、前記送信制御部は、生成した自由視点画像と接続する前画像又は後画像の時間長を指定する情報を前記他の情報処理装置に送信する制御を行うことが考えられる。
即ちクリップ作成のメインコントローラとして機能する他の情報処理装置に自由視点画像を受信するとともに、自由視点画像と繋げる前後の画像の時間長の情報も送信して、他の情報処理装置における出力画像生成に用いることができるようにする。

本技術に係る情報処理方法は、画像作成のメインコントローラとして機能する情報処理装置が、複数の撮像装置により同時に撮像された複数の撮像画像について、自由視点画像の生成対象とする生成対象画像区間を特定する区間特定処理と、前記複数の撮像画像のそれぞれにおける前記生成対象画像区間の画像データを、他の情報処理装置における自由視点画像の生成に用いる画像データとして送信させる対象画像送信制御処理と、受信した自由視点画像を含む出力画像を生成する出力画像生成処理とを行う情報処理方法である。
また本技術に係るもう１つの情報処理方法は、自由視点画像サーバとして機能する情報処理装置が、複数の撮像装置により同時に撮像された複数の撮像画像のそれぞれにおける、自由視点画像の生成対象とされた生成対象画像区間の画像データを取得する画像データ取得処理と、前記画像データ取得処理で取得した画像データを用いて自由視点画像を生成する画像生成処理と、生成した自由視点画像を他の情報処理装置に送信する制御を行う送信制御処理と、を行う情報処理方法である。
これらにより各情報処理装置が連携して自由視点画像を含む出力画像を生成するようにする。

本技術の実施の形態のシステム構成のブロック図である。 実施の形態の自由視点画像生成のためのカメラ配置例の説明図である。 実施の形態の情報処理装置のハードウエア構成のブロック図である。 実施の形態の画像作成コントローラの機能の説明図である。 実施の形態の自由視点画像サーバの機能の説明図である。 実施の形態の自由視点画像における視点の説明図である。 実施の形態の自由視点画像サーバ側のユーザインタフェース画面の説明図である。 実施の形態の出力クリップの説明図である。 実施の形態の静止画ＦＶクリップを含む出力クリップの説明図である。 実施の形態の動画ＦＶクリップを含む出力クリップの説明図である。 実施の形態の出力クリップの画像例の説明図である。 実施の形態のクリップ作成の作業手順の説明図である。 実施の形態の画像作成コントローラの処理のフローチャートである。 実施の形態の自由視点画像サーバの処理のフローチャートである。 実施の形態のカメラ移動検出の作業手順の説明図である。

以下、実施の形態を次の順序で説明する。
<１．システム構成>
<２．画像作成コントローラ及び自由視点画像サーバの構成>
<３．ＧＵＩ>
<４．自由視点画像を含むクリップ>
<５．クリップ作成処理>
<６．カメラ移動検出>
<７．まとめ及び変形例>

<１．システム構成>
図１に、本技術に係る実施の形態の画像処理システムの構成例を示す。
画像処理システムは、画像作成コントローラ１、自由視点画像サーバ２、ビデオサーバ３、複数（例えば４台）のビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄ、ＮＡＳ（Network Attached Storage）５、スイッチャー６、画像変換部７、ユーティリティサーバ８、複数（例えば１６台）の撮像装置１０を有する。
なお以降、「カメラ」という用語は撮像装置１０を指す。例えば「カメラ配置」とは複数の撮像装置１０の配置を意味する。
また、ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄを特に区別せずに総称するときは「ビデオサーバ４」と表記する。
この画像処理システムでは、複数の撮像装置１０から取得される撮像画像（例えば画像データＶ１からＶ１６）に基づき、三次元空間上の任意視点からの観察画像に相当する自由視点画像を生成し、自由視点画像を含む出力クリップを作成することができる。

図１においては、各部の接続状態を実線、破線、二重線で示している。
実線は、カメラやスイッチャーなどの放送機器間を接続するインタフェース規格であるＳＤＩ（Serial Digital Interface）の接続を示し、例えば４Ｋ対応としている。各機器間はＳＤＩ配線により主に画像データの送受信が行われる。

二重線は、例えば１０ギガビット・イーサネットなどの、コンピュータネットワークを構築する通信規格の接続を示している。画像作成コントローラ１、自由視点画像サーバ２、ビデオサーバ３、４Ａ，４Ｂ，４Ｃ，４Ｄ、ＮＡＳ５、ユーティリティサーバ８はコンピュータネットワークで接続されることで、互いに画像データや各種制御信号の送受信が可能とされる。

ビデオサーバ３、４間の破線は、サーバ間ファイル共有機能を搭載したビデオサーバ３、４を例えば１０Ｇネットワークで接続した状態を示している。これによりビデオサーバ３、及びビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄの間では、各ビデオサーバが他のビデオサーバ内の素材のプレビューや送出が可能となる。即ち複数のビデオサーバを使用したシステムが構築され、効率的なハイライト編集・送出を実現できるようにされている。

各撮像装置１０は、例えばＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）センサ等による撮像素子を有したデジタルカメラ装置として構成され、デジタルデータとしての撮像画像（画像データＶ１からＶ１６）を得る。本例では、各撮像装置１０は動画としての撮像画像を得る。

各撮像装置１０は、本例ではバスケットボールやサッカー等の競技が行われている様子を撮像するものとされ、それぞれが競技の開催される競技会場における所定位置において所定の向きに配置されている。本例では、撮像装置１０の数は１６台としているが、自由視点画像の生成を可能とする上では撮像装置１０の数は少なくとも２以上あればよい。撮像装置１０の台数を多くし、対象とする被写体をより多くの角度から撮像することで、被写体の三次元復元の精度向上が図られ、仮想視点画像の画質向上を図ることができる。

図２に、バスケットボールのコートの周囲における撮像装置１０の配置例を示している。○が撮像装置１０であるとする。例えば図面で左側のゴール近傍を重点的に撮りたい場合のカメラ配置例である。もちろんカメラ配置や数は一例であり、撮影や放送の内容、目的に応じて設定されるべきものである。

画像作成コントローラ１は、情報処理装置により構成される。この画像作成コントローラ１は、例えば専用のワークステーションや、汎用のパーソナルコンピュータ、モバイル端末装置等を利用して実現することができる。
画像作成コントローラ１は、ビデオサーバ３、４の制御／動作管理や、クリップ作成のための処理を行う。
一例として、画像作成コントローラ１はオペレータＯＰ１が操作可能な装置とする。オペレータＯＰ１は、例えばクリップ内容の選択や作成の指示等を行う。

自由視点画像サーバ２は、画像作成コントローラ１の指示等に応じて、実際に自由視点画像（後述するＦＶ（Free View）クリップ）を作成する処理を行う情報処理装置として構成される。この自由視点画像サーバ２も、例えば専用のワークステーションや、汎用のパーソナルコンピュータ、モバイル端末装置等を利用して実現することができる。
一例として、自由視点画像サーバ２はオペレータＯＰ２が操作可能な装置とする。オペレータＯＰ２は、例えば自由視点画像としてのＦＶクリップの作成のためのカメラワークの選択操作などを行う。

画像作成コントローラ１と自由視点画像サーバ２の構成や処理について詳しくは後述する。また、オペレータＯＰ１，ＯＰ２が操作を行うものとするが、例えば画像作成コントローラ１と自由視点画像サーバ２が並べて配置され、一人のオペレータによって操作されるようにしてもよい。

ビデオサーバ３、４は、それぞれ画像記録装置とされ、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等のデータ記録部と、該データ記録部についてデータの記録再生制御を行う制御部とを備える。

ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄは、それぞれ例えば４系統の入力が可能とされて、それぞれ４台の撮像装置１０の撮像画像を同時に記録する。
例えばビデオサーバ４Ａは、画像データＶ１，Ｖ２，Ｖ３，Ｖ４の記録を行う。ビデオサーバ４Ｂは、画像データＶ５，Ｖ６，Ｖ７，Ｖ８の記録を行う。ビデオサーバ４Ｃは、画像データＶ９，Ｖ１０，Ｖ１１，Ｖ１２の記録を行う。ビデオサーバ４Ｄは、画像データＶ１３，Ｖ１４，Ｖ１５，Ｖ１６の記録を行う。
これにより、１６台の撮像装置１０の撮像画像が全て同時に記録される状態となる。
ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄは、例えば放送対象のスポーツの試合中などに、常時録画を行うものとされる。

ビデオサーバ３は、例えば画像作成コントローラ１に直接接続され、例えば２系統の入力と２系統の出力が可能とされる。２系統の入力として画像データＶｐ，Ｖｑを示している。画像データＶｐ，Ｖｑとしては、いずれかの２台の撮像装置１０の撮像画像（画像データＶ１からＶ１６の内のいずれか２つ）を選択することが可能である。もちろん他の撮像装置の撮像画像であってもよい。

画像データＶｐ，Ｖｑについては、モニタ画像として画像作成コントローラ１がディスプレイに表示させることができる。オペレータＯＰ１は、ビデオサーバ３に入力された画像データＶｐ，Ｖｑにより、例えば放送のために撮影・収録しているシーンの状況を確認することができる。
また、ビデオサーバ３、４はファイル共有状態に接続されているため、画像作成コントローラ１は、ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄに記録している各撮像装置１０の撮像画像についてもモニタ表示させることができ、オペレータＯＰ１が逐次確認できるようにされる。

なお本例において、各撮像装置１０による撮像画像にはタイムコードが付され、ビデオサーバ３，４Ａ，４Ｂ，４Ｃ，４Ｄにおける処理においてフレーム同期をとることが可能とされている。

ＮＡＳ５はネットワーク上に配置されたストレージデバイスであり、例えばＳＳＤやＨＤＤ等で構成される。本例の場合、ＮＡＳ５は、ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄに録画された画像データＶ１、Ｖ２・・・Ｖ１６について一部のフレームが自由視点画像の生成のために転送されてきたときに、自由視点画像サーバ２における処理のために記憶したり、作成された自由視点画像を記憶したりするデバイスとされる。

スイッチャー６は、ビデオサーバ３を介して出力される画像を入力し、最終的に選択して放送する本線画像ＰＧＭｏｕｔを選択する機器である。例えば放送のディレクター等が必要な操作を行う。

画像変換部７は、例えば撮像装置１０による画像データの解像度変換及び合成を行い、カメラ配置のモニタリング画像を生成してユーティリティサーバ８に供給する。例えば８Ｋ画像とされる１６系統の画像データ（Ｖ１からＶ１６）を、４Ｋ画像に解像度変換した上でタイル状に配置した４系統の画像とし、ユーティリティサーバ８に供給する。

ユーティリティサーバ８は、各種の関連処理が可能なコンピュータ装置であるが、本例の場合、特にキャリブレーション用のカメラ移動の検出処理を行う装置としている。例えばユーティリティサーバ８は、画像変換部７からの画像データを監視してカメラ移動を検出する。カメラ移動とは、例えば図２のように配置された撮像装置１０のいずれかの配置位置の移動のことである。撮像装置１０の配置位置の情報は自由視点画像の生成に重要な要素であり、配置位置が変化したらパラメータ設定のやり直しが必要になる。そのためカメラ移動の監視が行われる。

<２．画像作成コントローラ及び自由視点画像サーバの構成>
以上の構成における画像作成コントローラ１、自由視点画像サーバ２、ビデオサーバ３、４、ユーティリティサーバ８は、例えば図３に示す構成を備えた情報処理装置７０として実現できる。

図３において、情報処理装置７０のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インタフェース７５も接続されている。

入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。
例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。

また入出力インタフェース７５には、ＬＣＤ（Liquid Crystal Display）或いは有機ＥＬ（Electro-Luminescence）パネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスや、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。

入出力インタフェース７５には、ハードディスクや固体メモリなどより構成される記憶部７９や、モデムなどより構成される通信部８０が接続される場合もある。
通信部８０は、インターネット等の伝送路を介しての通信処理や、各種機器との有線／無線通信、バス通信などによる通信を行う。

入出力インタフェース７５にはまた、必要に応じてドライブ８２が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８１が適宜装着される。
ドライブ８２により、リムーバブル記録媒体８１からは画像ファイルＭＦ等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部７９に記憶されたり、データファイルに含まれる画像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８１から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。

この情報処理装置７０では、ソフトウエアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８１を介してインストールすることができる。或いは当該ソフトウエアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。

このような情報処理装置７０を用いて画像作成コントローラ１や自由視点画像サーバ２を実現する場合、例えばソフトウエアにより、図４，図５のような処理機能がＣＰＵ７１において実現されるようにする。

図４は画像作成コントローラ１となる情報処理装置７０のＣＰＵ７１において形成される機能として、区間特定処理部２１、対象画像送信制御部２２、出力画像生成部２３を示している。

区間特定処理部２１は、複数の撮像装置１０により同時に撮像された複数の撮像画像（画像データＶ１からＶ１６）について、自由視点画像の生成対象とする生成対象画像区間を特定する処理を行う。例えばオペレータＯＰ１が画像内でリプレイ再生させたいシーンを選択する操作を行うことに応じて、そのシーン、特には自由視点画像とするシーンの区間（生成対象画像区間）についてのタイムコードを特定したり、当該タイムコードを自由視点画像サーバ２に通知したりする処理を行う。

ここで生成対象画像区間とは、実際に自由視点画像とするフレーム区間をいう。動画内のある１フレームについて自由視点画像を生成する場合は、その１フレームが生成対象画像区間となる。この場合、自由視点画像のためのイン点／アウト点は同じタイムコードとなる。
また動画内の複数フレームの区間について自由視点画像を生成する場合は、その複数フレームが生成対象画像区間となる。この場合、自由視点画像のためのイン点／アウト点は異なるタイムコードとなる。
なお、クリップの構造については後述するが、生成対象画像区間のイン点／アウト点は、最終的に生成する出力クリップとしてのイン点／アウト点とは異なることが想定される。後述する前クリップや後クリップが結合されるためである。

対象画像送信制御部２２は、複数の撮像画像のそれぞれにおける生成対象画像区間の画像データ、即ち画像データＶ１からＶ１６についての１又は複数フレームを、自由視点画像サーバ２における自由視点画像の生成に用いる画像データとして送信させる制御を行う。具体的には生成対象画像区間としての画像データを、ビデオサーバ４Ａ，４Ｂ，４Ｃ，４ＤからＮＡＳ５に転送させる制御を行う。

出力画像生成部２３は、自由視点画像サーバ２が生成し、受信した自由視点画像（ＦＶクリップ）を含む出力画像（出力クリップ）を生成する処理を行う。
例えば画像作成コントローラ１は、出力画像生成部２３の処理により、自由視点画像サーバ２が生成した仮想的な画像であるＦＶクリップに、その前の時点の実際の動画である前クリップと、後の時点の実際の動画である後クリップを時間軸上で結合させて出力クリップとする。即ち、前クリップ＋ＦＶクリップ＋後クリップを１つの出力クリップとする。
もちろん、前クリップ＋ＦＶクリップを１つの出力クリップとしてもよい。
或いは、ＦＶクリップ＋後クリップを１つの出力クリップとしてもよい。
さらには、前クリップや後クリップを結合せずにＦＶクリップのみの出力クリップを生成してもよい。
いずれにしても画像作成コントローラ１は、ＦＶクリップを含む出力クリップを生成してスイッチャー６に出力し、放送に用いることができるようにする。

次に図５は自由視点画像サーバ２となる情報処理装置７０のＣＰＵ７１において形成される機能として、対象画像取得部３１、画像生成処理部３２、送信制御部３３を示している。

対象画像取得部３１は、複数の撮像装置１０により同時に撮像された複数の撮像画像（画像データＶ１からＶ１６）のそれぞれにおける、自由視点画像の生成対象とされた生成対象画像区間の画像データを取得する処理を行う。即ち画像作成コントローラ１が区間特定処理部２１の機能により特定した生成対象画像区間のイン点／アウト点で指定される１フレーム又は複数フレームの画像データをビデオサーバ４Ａ，４Ｂ，４Ｃ，４ＤからＮＡＳ５を介して取得して、自由視点画像の生成に用いることができるようにする。

例えば対象画像取得部３１は、画像データＶ１からＶ１６の全てについて、生成対象画像区間の１フレーム又は複数フレームの画像データを取得する。画像データＶ１からＶ１６の全てについて生成対象画像区間の画像データを取得するのは、高品質な自由視点画像の生成のためである。上述のように少なくとも２以上の撮像装置１０の撮像画像を用いれば自由視点画像の生成は可能であるが、撮像装置１０の数（即ち視点の数）を多くすることにより、より精細な３Ｄモデルを生成して高品質な自由視点画像の生成が可能になる。そのため、例えば１６台の撮像装置１０を配置した場合は、１６台の撮像装置１０の画像データ（Ｖ１からＶ１６）の全てについて、生成対象画像区間の画像データを取得することが行われる。

画像生成処理部３２は、対象画像取得部３１が取得した画像データを用いて自由視点画像、即ち本例の場合のＦＶクリップを生成する機能である。
例えば画像生成処理部３２は、３Ｄモデル生成、被写体解析を含むモデリング処理や、３Ｄモデルから２次元画像である自由視点画像を生成するレンダリング等の処理を行う。

３Ｄモデル生成とは、各撮像装置１０による撮像画像と、例えばユーティリティサーバ８等から入力した撮像装置１０ごとのカメラパラメータとに基づいて、被写体を三次元空間上で表した（つまり二次元画像から被写体の三次元構造を復元した）３Ｄモデルデータを生成する処理である。具体的に、３Ｄモデルデータは、被写体を（Ｘ，Ｙ，Ｚ）による三次元座標系で表したデータを含む。
被写体解析は、３Ｄモデルデータに基づき、人物（選手）としての被写体について位置や向き、姿勢についての解析を行う。具体的には、被写体の位置の推定、被写体の簡易モデルの生成、被写体の向きの推定などを行う。
そして３Ｄモデルデータと被写体解析情報とに基づき自由視点画像を生成する。例えば被写体である選手が静止した状態の３Ｄモデルに対して、視点を動かしていくような自由視点画像の生成を行う。

図６を参照して自由視点画像の視点について述べておく。
図６Ａでは、三次元空間上に設定した所要の視点から被写体を捉えた自由視点画像のイメージを示している。この場合の自由視点画像では、被写体ＨＳ１が略正面視され、被写体ＨＳ２が略背面視されている。
図６Ｂでは、視点の位置を図６Ａの矢印Ｃ方向に変化させ、被写体ＨＳ１を略背面視する視点が設定された場合の仮想視点画像のイメージを示している。この図６Ｂの自由視点画像では、被写体ＨＳ２が略正面視され、また図６Ａでは映し出されていなかった被写体ＨＳ３やバスケットゴールが映し出されている。
例えば図６Ａの状態から、矢印Ｃの方向に徐々に視点を移動させ、図６Ｂの状態に至るような１秒から２秒程度の画像が自由視点画像（ＦＶクリップ）として生成されることになる。もちろん自由視点画像としてのＦＶクリップの時間長や、視点移動の軌跡は多様に考えられる。

送信制御部３３は、以上のように画像生成処理部３２で生成した自由視点画像（ＦＶクリップ）を、ＮＡＳ５を介して画像作成コントローラ１に送信する制御を行う。この場合、送信制御部３３は、出力画像生成のための付随情報も画像作成コントローラ１に送信するように制御する。付随情報とは、前クリップや後クリップの画像を指定する情報が想定される。即ち、画像データＶ１からＶ１６のいずれの画像を用いて前クリップや後クリップを作成（切り出し）するかを指定する情報である。また付随情報として前クリップや後クリップの時間長を指定する情報も想定される。

<３．ＧＵＩ>
上述のように自由視点画像としてのＦＶクリップは自由視点画像サーバ２でオペレータＯＰ２の操作に応じて作成される。

自由視点画像サーバ２では、例えば表示部７７において図７のようなＧＵＩ画面４０の表示を行い、オペレータＯＰ２による確認や操作が可能とされている。

シーンウインドウ４１において例えば生成対象画像区間の画像のモニタ表示が行われ、オペレータＯＰ２が自由視点画像を生成するシーンの内容を確認できるようにされる。
シーンリスト表示部４２には、例えば生成対象画像区間に指定されたシーンのリストが表示される。オペレータＯＰ２はシーンウインドウ４１に表示させるシーンをシーンリスト表示部４２で選択できる。

カメラワークウインドウ４３には、配置されている撮像装置１０の位置や、選択されているカメラワーク、或いは選択可能な複数のカメラワークなどが表示される。
カメラワークとは、主に自由視点画像における視点の移動軌跡を示す情報である。例えば３Ｄモデルを生成した被写体に対して、撮像装置１０の位置（即ち視点）としての方位や距離を変化させていくようなＦＶクリップを作成する場合に、その視点の軌跡を形成する必要なパラメータが、カメラワークの情報とされる。カメラワークの表示としては、例えば視点移動の軌跡などが表示される。

カメラワークリスト表示部４４には予め作成されて記憶されている各種のカメラワークの情報が一覧表示される。オペレータＯＰ２は、カメラワークリスト表示部４４に表示されているカメラワークのうちで、ＦＶクリップ生成に用いるカメラワークを選択することができる。
パラメータ表示部４５には、選択されているカメラワークに関する各種のパラメータが表示される。

送信ウインドウ４６には作成したＦＶクリップを画像作成コントローラ１に送信することに関する情報が表示される。

<４．自由視点画像を含むクリップ>
続いて自由視点画像としてのＦＶクリップを含む出力クリップについて説明する。
図８は出力クリップが一例として、前クリップ、ＦＶクリップ、後クリップを連結して構成されている状態を示している。

例えば前クリップは、画像データＶ１から画像データＶ１６のうちの或る画像データＶｘにおけるタイムコードＴＣ１からＴＣ２の区間の実際の動画である。
また後クリップは、画像データＶ１から画像データＶ１６のうちの或る画像データＶｙにおけるタイムコードＴＣ５からＴＣ６の区間の実際の動画である。
画像データＶｘは、ＦＶクリップによる視点移動開始前の撮像装置１０の画像データで、画像データＶｙは、ＦＶクリップによる視点移動終了時点の撮像装置１０の画像データであることが通常想定される。

そしてこの例では、前クリップは、時間長ｔ１の動画、ＦＶクリップは時間長ｔ２の自由視点画像、後クリップは時間長ｔ３の動画としている。出力クリップ全体の再生時間長はｔ１＋ｔ２＋ｔ３となる。例えば５秒間の出力クリップとして、１．５秒の動画、２秒の自由視点画像、１．５秒の動画、などというような構成が考えられる。

ここで、ＦＶクリップについては、タイムコードＴＣ３からＴＣ４の区間として示しているが、これは実際の動画のフレーム数に相当することもあれば、相当しないこともある。
即ちＦＶクリップとしては、動画の時刻を止めた状態で視点を移動させる場合（ＴＣ３＝ＴＣ４となる場合）と、動画の時刻を止めずに視点を移動させる場合（ＴＣ３≠ＴＣ４となる場合）があるためである。
説明上、動画の時刻を止めた状態で視点を移動させる場合のＦＶクリップを「静止画ＦＶクリップ」、動画の時刻を止めずに視点を移動させる場合のＦＶクリップを「動画ＦＶクリップ」と呼ぶこととする。

静止画ＦＶクリップを動画のフレームを基準にして示すと図９のようになる。この例の場合、前クリップのタイムコードＴＣ１、ＴＣ２は、フレームＦ１、Ｆ８１のタイムコードとなり、続くフレームＦ８２のタイムコードが、図８のタイムコードＴＣ３＝ＴＣ４となる。そして後クリップのタイムコードＴＣ５、ＴＣ６は、フレームＦ８３、Ｆ１６６のタイムコードとなる。
つまり、フレームＦ８２の１フレームの静止画に対して、視点が移動するような自由視点画像を生成する場合である。

一方、動画ＦＶクリップについては図１０のようになる。この例の場合、前クリップのタイムコードＴＣ１、ＴＣ２は、フレームＦ１、Ｆ１０１のタイムコードとなり、フレームＦ１０２、Ｆ３０２のタイムコードが、図８のタイムコードＴＣ３、ＴＣ４となる。そして後クリップのタイムコードＴＣ５、ＴＣ６は、フレームＦ３０３、Ｆ５０３のタイムコードとなる。
つまり、フレームＦ１０２からフレーム３０２までの複数フレームの区間の動画に対して、視点が移動するような自由視点画像を生成する場合である。

従って画像作成コントローラ１が決定する生成対象画像区間とは、図９の静止画ＦＶクリップを作成する場合は、フレームＦ８２の１フレームの区間となり、図１０の動画ＦＶクリップを作成する場合は、フレームＦ１０２からフレーム３０２までの複数フレームの区間となる。

図９の静止画ＦＶクリップの例で、出力クリップの画像内容の例を図１１に示す。
例えばバスケットボールのシュート前後シーンとして数秒間のクリップを作成する場合、シュート前とシュート後の実際の画像の間に、シュートの瞬間を自由視点画像として、視点位置を移動させるような画像を挿入するような例である。
図１１において、前クリップはフレームＦ１からフレームＦ８１までの実際の動画である。ＦＶクリップではフレームＦ８１の場面において視点を移動させた仮想的な画像となる。後クリップはフレームＦ８３からフレームＦ１６６までの実際の動画である。
例えばこのようにＦＶクリップを含む出力クリップが生成され、放送する画像として使用される。
なお、ＦＶクリップのイン点／アウト点及びそれら間の画像は、実際のカメラ位置からの視点の画像と実際のカメラ位置以外の場所からの視点による画像の両方が含まれる場合もあるし、実際のカメラ位置からの視点の複数の画像で構成される場合や、実際のカメラ位置以外の場所からの視点による複数の画像で構成される場合もある。

<５．クリップ作成処理>
以下、図１の画像処理システムにおいて行われる出力クリップ作成の処理例を説明する。主に画像作成コントローラ１と自由視点画像サーバ２の処理に注目して説明する。
まず図１２でオペレータＯＰ１、ＯＰ２の操作を含めた処理の流れを説明する。なお図１２におけるオペレータＯＰ１の処理は、画像作成コントローラ１のＧＵＩ処理とオペレータ操作をまとめて示している。またオペレータＯＰ２の処理は、自由視点画像サーバ２のＧＵＩ処理とオペレータ操作をまとめて示している。

・ステップＳ１：シーン選択
出力クリップを作成する際は、まずオペレータＯＰ１がＦＶクリップとするシーンの選択を行うことになる。例えばオペレータＯＰ１は、画像作成コントローラ１側の表示部７７に表示される撮像画像をモニタリングしながら、ＦＶクリップとしたい場面を探す。そして１フレーム又は複数フレームの生成対象画像区間を選択する。
この生成対象画像区間の情報は自由視点画像サーバ２に伝えられ、自由視点画像サーバ２側の表示部７７でのＧＵＩによりオペレータＯＰ２が認識できるようにされる。
生成対象画像区間の情報とは、具体的には図８のタイムコードＴＣ３，ＴＣ４の情報となる。上述のように静止画ＦＶクリップの場合はタイムコードＴＣ３＝ＴＣ４となる。

・ステップＳ２：シーン画像転送指示
オペレータＯＰ２は、生成対象画像区間の指定に応じて、該当のシーンの画像の転送指示の操作を行う。この操作に応じて自由視点画像サーバ２が、画像作成コントローラ１に対してタイムコードＴＣ３、ＴＣ４の区間の画像データの転送要求を送信する。

・ステップＳ３：同期切り出し
画像データの転送要求に応じて画像作成コントローラ１は、ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄを制御し、画像データＶ１から画像データＶ１６までの１６系統の画像データのそれぞれについて、タイムコードＴＣ３、ＴＣ４の区間の切り出しを実行させる。
・ステップＳ４：ＮＡＳ転送
そして画像作成コントローラ１は画像データＶ１から画像データＶ１６の全てのタイムコードＴＣ３、ＴＣ４の区間のデータをＮＡＳ５に転送させる。

・ステップＳ５：サムネイル表示
自由視点画像サーバ２ではＮＡＳ５に転送されたタイムコードＴＣ３、ＴＣ４の区間の画像データＶ１から画像データＶ１６についてのサムネイルを表示させる。
・ステップＳ６：シーンチェック
オペレータＯＰ２は、自由視点画像サーバ２によるＧＵＩ画面４０によりタイムコードＴＣ３，ＴＣ４で示される区間のシーン内容を確認する。
・ステップＳ７：カメラワーク選択
オペレータＯＰ２は、シーン内容に応じて、ＧＵＩ画面４０で適切と考えるカメラワークを選択する。
・ステップＳ８：生成実行
オペレータＯＰ２は、カメラワーク選択を行った後、ＦＶクリップの生成実行の操作を行う。

・ステップＳ９：モデリング
自由視点画像サーバ２は、画像データＶ１からＶ１６のそれぞれにおけるタイムコードＴＣ３、ＴＣ４の区間のフレームのデータ、及び予め入力されていた各撮像装置１０の配置位置等のパラメータを用いて、被写体の３Ｄモデルの生成や、被写体解析等を行う。
・ステップＳ１０：レンダリング
自由視点画像サーバ２は、３Ｄモデルデータと被写体解析情報とに基づき自由視点画像を生成する。このとき、ステップＳ７で選択されたカメラワークに基づく視点移動が行われるように自由視点画像を生成する。

・ステップＳ１１：転送
自由視点画像サーバ２は、生成したＦＶクリップを画像作成コントローラ１に転送する。このとき、ＦＶクリップだけでなく、付随情報として前クリップ、後クリップの指定情報や、前クリップ、後クリップの時間長の指定情報も送信できる。
・ステップＳ１２：クオリティ確認
なお自由視点画像サーバ２側では、ステップＳ１１の転送に先立って、或いは転送後に、オペレータＯＰ２によるクオリティ確認を行うことができる。即ち自由視点画像サーバ２は、生成したＦＶクリップをＧＵＩ画面４０で再生表示させオペレータＯＰ２が確認できるようにする。場合によっては、オペレータＯＰ２が転送を実行させずに、ＦＶクリップの生成をやり直すと行ったことも可能とすることができる。

ステップＳ１３：プレイリスト生成
画像作成コントローラ１は、送信されてきたＦＶクリップを用いて出力クリップを生成する。この場合、ＦＶクリップに前クリップ、後クリップの一方又は両方を時間軸上で結合させて出力クリップを生成する。
この出力クリップは、前クリップとしての各フレームと、ＦＶクリップとしての仮想的に生成した各フレームと、後クリップとしての各フレームを実際に時系列に連結したストリームデータとして生成してもよいが、この処理例では、プレイリストとして仮想的に連結することとしている。
即ち前クリップとしてのフレーム区間の再生に続いて、ＦＶクリップが再生され、そのあとで後クリップとしてのフレーム区間が再生されるように、プレイリストを生成することで、出力クリップとしての実際に連結したストリームデータを生成しなくとも、出力クリップの再生が可能となるようにする。

ステップＳ１４：クオリティ確認
画像作成コントローラ１側のＧＵＩにより、プレイリストに基づく再生を行い、オペレータＯＰ１が出力クリップの内容を確認する。
ステップＳ１５：再生指示
オペレータＯＰ１は、クオリティ確認に応じて、所定の操作により再生指示を行う。画像作成コントローラ１は再生指示の入力を認識する。
ステップＳ１６：再生
再生指示に応じて画像作成コントローラ１は、出力クリップをスイッチャー６に供給する。これにより出力クリップの放送が実行可能となる。

以上のような処理手順を実現するための、画像作成コントローラ１の処理を図１３に示し、また自由視点画像サーバ２の処理を図１４に示す。
図１３は、図４に示した各機能により画像作成コントローラ１とされた情報処理装置７０のＣＰＵ７１で実行される処理である。
図１４は、図５に示した各機能により自由視点画像サーバ２とされた情報処理装置７０のＣＰＵ７１で実行される処理である。

図１３のステップＳ１０１で画像作成コントローラ１は、撮像画像表示制御を行う。例えば図１に示した画像データＶｐ，Ｖｑを表示部７７に表示させ、オペレータＯＰ１によってモニタリングできるようにされる。
図１３のステップＳ１０２で画像作成コントローラ１は、生成対象画像区間の選択操作が行われたことを監視している。選択操作が行われていないときは、他の処理に移行する。

ある時点でオペレータＯＰ１による生成対象画像区間の選択操作を検知したら、画像作成コントローラ１はステップＳ１０２からステップＳ１０３に進み、自由視点画像サーバ２に対して生成対象画像区間の情報、即ちＦＶクリップを生成するシーンの区間を示すイン点／アウト点の情報を通知する処理を行う。
そして画像作成コントローラ１はステップＳ１０４で、自由視点画像サーバ２からの転送指示を待機する。

自由視点画像サーバ２側では、図１４のステップＳ２０１で、画像作成コントローラ１からの生成対象画像区間の通知をチェックしている。
生成対象画像区間の情報を受信したら、自由視点画像サーバ２はステップＳ２０１からステップＳ２０２に進み、画像データの転送要求のための処理を行う。例えば自由視点画像サーバ２はＧＵＩ画面で生成対象画像区間の通知を表示してオペレータＯＰ２に提示し、転送要求操作を可能とする。そしてオペレータＯＰ２の操作に応じて、画像作成コントローラ１に対して転送要求を送信する。
なお、以上では転送要求にはオペレータＯＰ２の操作が介在するものとしたが、特に操作を必要とせずに転送要求を行うものとしてもよい。

転送要求を送信したら、自由視点画像サーバ２はステップＳ２０３で、画像データ（Ｖ１からＶ１６）における必要な生成対象画像区間のフレームのデータがＮＡＳ５に転送されることを待機する。

画像作成コントローラ１は、自由視点画像サーバ２からの転送要求を受信したら、図１３のステップＳ１０４からステップＳ１０５に進み、ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄに対して、生成対象画像区間の切り出しとＮＡＳ５への転送を実行させる制御を行う。これにより、画像データＶ１からＶ１６における、生成対象画像区間のイン点／アウト点の区間のフレーム（１フレーム又は複数フレーム）がＮＡＳ５へ転送される。
そして画像作成コントローラ１はステップＳ１０６に進み、自由視点画像サーバ２からＦＶクリップが送信されてくることを待機する。

自由視点画像サーバ２はＮＡＳ５への画像データ転送によって、画像データを処理可能な状態に取得できるようになる。ＮＡＳ５への画像データ転送が完了し、自由視点画像サーバ２が画像データを処理可能な状態になったら、図１４のステップＳ２０３からステップＳ２０４に進み、取得した当該画像データを用いてＧＵＩ画面４０でシーン表示を行う。これによりオペレータＯＰ２が、ＦＶクリップを作成するシーンの内容を確認できるようにする
そして自由視点画像サーバ２はステップＳ２０５で、オペレータＯＰ２によるカメラワーク選択操作を監視する。

オペレータＯＰ２のカメラワーク選択操作を検知したら、自由視点画像サーバ２はステップＳ２０５からステップＳ２０６に進んで、カメラワークを決定し、そのパラメータを処理用にセットする。そしてステップＳ２０７でオペレータＯＰ２による作成実行操作を監視する。なお、もちろん実際には、オペレータＯＰ２がカメラワーク選択をやり直せるようにすることが望ましい。

オペレータＯＰ２による作成実行の操作を検知したら、自由視点画像サーバ２はステップＳ２０７からステップＳ２０８に進み、上述したモデリング処理を実行する。そしてステップＳ２０９でレンダリングを行い、ＦＶクリップを生成する。
ステップＳ２１０で自由視点画像サーバ２は、生成したＦＶクリップをＧＵＩ画面４０において表示させ、オペレータＯＰ２が確認できるようにする。そしてステップＳ２１１でオペレータＯＰ２による送信操作を監視し、送信操作に応じてステップＳ２１２でＦＶクリップを画像作成コントローラ１に送信する。またこのとき、付随情報として、前クリップや後クリップの指定情報、前クリップや後クリップの時間長の指定情報を送信することもある。

画像作成コントローラ１では、図１３のステップＳ１０６でＦＶクリップの受信を確認したら、ステップＳ１０７に進み、前クリップや後クリップを設定する。例えば付随情報に基づいて前クリップや後クリップを選択する。具体的には、前クリップや後クリップを、画像データＶ１からＶ１６のうちのどれを用いるかを設定する。

前クリップは、ＦＶクリップの開始画像の視点に一致する撮像装置１０による画像が望ましい。また後クリップは、ＦＶクリップの終了画像の視点に一致する撮像装置１０による画像が望ましい。そのＦＶクリップの開始画像の視点位置、終了画像の視点位置として、どの撮像装置１０の画像を用いているかは、自由視点画像サーバ２が把握している情報である。即ち今回のＦＶクリップ生成処理に用いられたカメラワークで規定される、ＦＶクリップの開始画像の撮像装置１０と終了画像の撮像装置１０の情報である。そのため、付随情報としてこれらを示す情報として、前クリップや後クリップを指定する情報が自由視点画像サーバ２から送信されてくるようにすることで、画像作成コントローラ１は容易に前クリップや後クリップを設定できる。

また画像作成コントローラ１は、前クリップや後クリップの時間長も設定するが、それらも送信されてくる付随情報に応じて設定すればよい。例えばオペレータＯＰ２側でＦＶクリップの内容や時間長、カメラワークに応じて前後クリップの長さを決めたいような場合、前クリップや後クリップの時間長を自由視点画像サーバ２側で決め、画像作成コントローラ１はそれに従った前クリップや後クリップを設定することが望ましい。
なお、もちろん画像作成コントローラ１が前クリップや後クリップの時間長を決めても良いし、固定の時間長が決められていても良い。

ステップＳ１０８で画像作成コントローラ１は、前クリップ、ＦＶクリップ、後クリップを結合して出力クリップを作成する。上述のようにこの場合、プレイリストを生成して仮想的に結合することで、出力クリップを作成することができる。

ステップＳ１０９で画像作成コントローラ１は出力クリップをスイッチャー６に転送する処理を行う。実際には、プレイリストに応じて出力クリップを再生させてオペレータＯＰ１が内容を確認できるようにし、オペレータＯＰ１の操作に応じて、スイッチャー６に送信することになる。

以上のように画像作成コントローラ１と自由視点画像サーバ２が図１３，図１４の処理を行うことで、ＦＶクリップを含む出力クリップが生成され、放送等されることになる。

<６．カメラ移動検出>
なお、自由視点画像の生成のためには、画像データＶ１、Ｖ２・・・Ｖ１６を用いて３Ｄモデルを生成することから、各撮像装置１０の位置情報を含むパラメータが重要となる。
例えば放送の途中で或る撮像装置１０の位置が移動されたような場合、それに応じたパラメータのキャリブレーションが必要になる。そのため図１の画像処理システムでは、ユーティリティサーバ８によりカメラ移動の検出が行われるようにしている。
図１５によりカメラ移動の検出の際の画像作成コントローラ１とユーティリティサーバ８の処理手順を説明する。なお図１５は図１２と同様の形式で処理手順を示しているが、ユーティリティサーバ８についてもオペレータＯＰ２が操作を行う例としている。

・ステップＳ３０：ＨＤ出力
画像作成コントローラ１は、カメラ移動検出のため、ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄから画像データを画像変換部７に出力させるように制御する。ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄからの画像、即ち１６台の撮像装置１０の画像は、画像変換部７で解像度変換されてユーティリティサーバ８に供給される。

・ステップＳ３１：背景生成
ユーティリティサーバ８では、供給された画像に基づいて背景画像を生成する。背景画像は、カメラ位置が変化されなければ変化しない画像であるため、例えば選手等の被写体を除いた背景画像を、１６系統の画像データ（Ｖ１からＶ１６）について生成する。
・ステップＳ３２：差分確認
背景画像はＧＵＩ表示されることで、オペレータＯＰ２は画像の変化を確認できる。
・ステップＳ３３：移動自動検出
各時点の背景画像を比較処理することで、カメラ移動を自動検出することもできる。

・ステップＳ３４：カメラ 移動検出
上記のステップＳ３２又はステップＳ３３の結果として、或る撮像装置１０の移動が検出される。
・ステップＳ３５：画像取得
撮像装置の移動に応じてキャリブレーションが必要になる。そこでユーティリティサーバ８は、移動後の状態の画像データを画像作成コントローラ１に要求する。
・ステップＳ３６：クリップ切り出し
画像作成コントローラ１は、ユーティリティサーバ８からの画像取得の要求に応じて、ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄを制御し、画像データＶ１からＶ１６についてのクリップ切り出しを実行させる。
・ステップＳ３７：ＮＡＳ転送
画像作成コントローラ１は、ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄに対してクリップとして切り出した画像データをＮＡＳ５に転送させる制御を行う。

・ステップＳ３８：特徴点修正
ＮＡＳ５への転送により、ユーティリティサーバ８は、カメラ移動後の状態の画像を参照し、また表示させることができる。オペレータＯＰ２は特徴点修正などのキャリブレーションに必要な操作を行う。
・ステップＳ３９：再キャリブレーション
ユーティリティサーバ８は、カメラ移動後の状態の画像データ（Ｖ１からＶ１６）を用いて、３Ｄモデル作成のためのキャリブレーションを再実行する。

・ステップＳ４０：背景再取得
キャリブレーション後にオペレータＯＰ２の操作に応じて、ユーティリティサーバ８は背景画像のための画像データの再取得要求を行う。
・ステップＳ４１：クリップ切り出し
画像作成コントローラ１は、ユーティリティサーバ８からの画像取得の要求に応じて、ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄを制御し、画像データＶ１からＶ１６についてのクリップ切り出しを実行させる。
・ステップＳ４２：ＮＡＳ転送
画像作成コントローラ１は、ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄに対してクリップとして切り出した画像データをＮＡＳ５に転送させる制御を行う。
・ステップＳ４３：背景生成
ユーティリティサーバ８はＮＡＳ５に転送された画像データを用いて背景画像を生成する。これは、例えば以降のカメラ移動検出の基準となる背景画像とされる。

例えば以上の手順のようにカメラ移動検出やキャリブレーションが行われることで、例えば放送中に撮像装置１０の位置が移動されたような場合にも、それに対応してパラメータが修正されるため、精度のよいＦＶクリップを継続して生成することができる。

<７．まとめ及び変形例>
以上の実施の形態によれば次のような効果が得られる。
実施の形態の画像作成コントローラ１としての情報処理装置７０は、複数の撮像装置１０により同時に撮像された複数の撮像画像（例えば画像データＶ１からＶ１６）について、自由視点画像の生成対象とする生成対象画像区間を特定する処理を行う区間特定処理部２１と、複数の撮像画像（Ｖ１からＶ１６）のそれぞれにおける生成対象画像区間の画像データを、自由視点画像サーバ２におけるＦＶクリップの生成に用いる画像データとして送信させる制御を行う対象画像送信制御部２２と、受信したＦＶクリップを含む出力クリップを生成する出力画像生成部２３を備える。
また実施の形態の自由視点画像サーバ２としての情報処理装置７０は、複数の撮像装置１０により同時に撮像された複数の撮像画像（Ｖ１からＶ１６）のそれぞれにおける、自由視点画像の生成対象とされた生成対象画像区間の画像データを取得する対象画像取得部３１と、取得した画像データを用いて自由視点画像を生成する画像生成処理部３２と、生成した自由視点画像を画像作成コントローラ１に送信する送信制御部３３を備える。
このような構成の場合、画像作成コントローラ１は、ＦＶクリップの生成対象画像区間の画像データのみをＮＡＳ５に転送する。自由視点画像サーバ２は、ＮＡＳ５に転送された１６系統の画像データに基づいてＦＶクリップを生成し、画像作成コントローラ１に送信する。画像作成コントローラ１はＦＶクリップを含む出力クリップを生成する。
従って、ＮＡＳ５（自由視点画像サーバ２側）への画像データの転送量も少なく、また自由視点画像サーバ２側での処理負担も少なく、短時間でＦＶクリップを生成できる。またＦＶクリップを画像作成コントローラ１側に送信できればよく、自由視点画像サーバ２の処理負荷を軽減し、迅速なクリップ作成に有効となる。
通常、ＦＶクリップを含む出力クリップを作成する場合は、例えば出力クリップの全体のシーンの画像をＮＡＳ５（自由視点画像サーバ２側）に送信して、自由視点画像サーバ２側で前クリップや後クリップも含めて出力クリップ全体を生成する処理を行うことが想定され、比較的長い処理時間を要する。そして放送現場では例えば或るプレイの１０数秒後にリプレイを放送したいといった要望もあるが、自由視点画像を含むクリップの制作は短時間では難しい。
これに対して本実施の形態の場合、自由視点画像サーバ２はＦＶクリップの区間のシーンの画像データからＦＶクリップの生成を行えばよい。これにより実施の形態の動作は出力クリップ生成時間の短縮に極めて有用となる。
例えばスポーツ等の生放送中継の場合、即時リプレイを放送するために１０数秒程度で出力クリップ作成を求められる場合もある。このような用途の対応にも有利となる。

また撮像装置１０の数が多い程、より高精度な自由視点クリップを作成できるため、できる限り多数の撮像装置１０を配置させたい。撮像装置１０の数が多くなる程、ＦＶクリップの区間のデータ量が多くなる。これを考えると、転送する画像データの区間が短い程望ましい。本実施の形態のように例えば１６台の撮像装置１０による撮像画像を転送する場合、出力クリップ全体でみたタイムコード区間（ＴＣ１からＴＣ６）の画像データを１６台分ＮＡＳ５に転送するよりも、ＦＶクリップのタイムコード区間（ＴＣ３からＴＣ４：ＴＣ３＝ＴＣ４又はＴＣ３≠ＴＣ４）の画像データを１６台分ＮＡＳ５に転送する方が、システム処理効率上、極めて有利となることは明らかである。

実施の形態の画像作成コントローラ１は、特定した生成対象画像区間の情報を自由視点画像サーバ２に通知する処理を行い、また自由視点画像サーバ２からの要求に応じて生成対象画像区間の画像データの送信制御を行う。
また実施の形態の自由視点画像サーバ２は、生成対象画像区間の通知に応じて、複数の撮像画像のそれぞれにおける生成対象画像区間の複数の画像データの送信要求を行う。
これにより、画像作成コントローラ１が対象画像区間を通知する後であって、自由視点画像サーバ２又はオペレータＯＰ２側の都合に応じてＦＶクリップの生成を実行させるようにすることができる。これにより自由視点画像サーバ２側で処理の錯綜がおきたりせず、ＦＶクリップの生成処理やオペレータＯＰ２の作業を容易化できる。

実施の形態では、画像作成コントローラ１の区間特定処理部２１は、生成対象画像区間として撮像画像の１フレームの区間を特定する例を挙げた。自由視点画像サーバ２の対象画像取得部３１は、複数の撮像画像のそれぞれにおける、生成対象画像区間とされた１フレームの画像データを取得する。即ち静止画ＦＶクリップを生成する場合である。
時刻を止めた静止画の状態で視点を変更していくような静止画ＦＶクリップの場合、自由視点画像サーバ２は、１６台の撮像装置１０による画像データＶ１から画像データＶ１６について、それぞれ１フレームのみ取得すればよい。これは、ＮＡＳ５への転送処理や自由視点画像サーバ２の処理において処理負荷を極めて低減できるものとなる。

実施の形態では、画像作成コントローラ１の区間特定処理部２１は、生成対象画像区間として撮像画像の複数フレームの区間を特定する例を挙げた。自由視点画像サーバ２の対象画像取得部３１は、複数の撮像画像のそれぞれにおける、生成対象画像区間とされた複数フレームの区間の画像データを取得する。即ち動画ＦＶクリップを生成する場合である。
時刻を止めずに動画の状態で視点を変更していくような動画ＦＶクリップの場合、自由視点画像サーバ２は、１６台の撮像装置１０による画像データＶ１から画像データＶ１６について、それぞれＦＶクリップとする動画の区間の複数フレームのみ取得すればよい。必要最小限のフレーム区間の取得であるため、ＮＡＳ５への転送処理や自由視点画像サーバ２の処理において無駄な処理が生じない。

実施の形態では、画像作成コントローラ１の出力画像生成部２３は、自由視点画像に前画像又は後画像を時間軸上で結合させた出力画像を生成するものとした。
即ち出力画像生成部２３が、受信したＦＶクリップに前クリップ又は後クリップを結合させた出力クリップを生成することで、例えばシーンの途中で視点移動が行われる出力クリップを生成することができる。そしてＦＶクリップに対して前クリップ、後クリップを画像作成コントローラ１側で結合することによって、自由視点画像サーバ２の処理負荷を軽減し、迅速なクリップ作成に有効となる。

実施の形態では、画像作成コントローラ１の出力画像生成部２３は、自由視点画像と前画像又は後画像を再生リスト情報により仮想的に時間軸上で結合した仮想クリップとして出力画像を生成するものとした。
即ちＦＶクリップに対して前クリップ、後クリップを接続したプレイリストを形成することで、実際に画像データストリームとしての出力クリップを作成しなくても、プレイリストに沿って再生することで、出力クリップの画像出力が可能となる。これにより画像作成コントローラ１側の処理も簡易になり、出力クリップ作成時間も短縮できるため、迅速な出力クリップ作成の要請に適している。

実施の形態では、自由視点画像サーバ２の送信制御部３３は、付随情報として、生成した自由視点画像と接続する前画像又は後画像を指定する情報を画像作成コントローラ１に送信する制御を行う例を挙げた。そして画像作成コントローラ１の出力画像生成部２３は、自由視点画像と接続する前画像又は後画像を指定する情報を自由視点画像サーバ２から取得し、該情報に基づいて自由視点画像に前画像又は後画像を時間軸上で結合させた出力画像を生成するものとした。
ＦＶクリップは、ある視点、つまりある撮像装置１０の画像から、他の視点、つまり他の撮像装置１０の画像に変化していくような画像となる。つまりＦＶクリップの前後につながる画像が、どの撮像装置１０による撮像画像であるかは、自由視点画像サーバ２が選択したカメラワークに応じて把握できる。従って、画像作成コントローラ１としては、自由視点画像サーバ２から前クリップや後クリップの情報を取得することで、ＦＶクリップとつながる前クリップや後クリップとしての適切な画像を容易な処理で用意できることになる。そしてそれらを時間軸上で結合することで、視点移動の前後の適合性がよい出力クリップが生成できる。
また自由視点画像サーバ２としては、カメラワーク情報から前クリップや後クリップは特定できるため処理負担が増えることもない。

実施の形態では、自由視点画像サーバ２の送信制御部３３は、付随情報として、生成した自由視点画像と接続する前画像又は後画像の時間長を指定する情報を画像作成コントローラ１に送信する制御を行う例を挙げた。そして画像作成コントローラ１の出力画像生成部２３は、自由視点画像と接続する前画像又は後画像の時間長を指定する情報を自由視点画像サーバ２から取得し、該情報に基づいて前画像又は後画像を用意し、自由視点画像に前画像又は後画像を時間軸上で結合させた出力画像を生成するものとした。
自由視点画像サーバ２が視点移動を表現するＦＶクリップに結合する前クリップや後クリップの時間長を指定することで、自由視点画像サーバ２側から想定した時間長の出力クリップが制作できるようになる。例えばＦＶクリップを作成するオペレータＯＰ２が、ＦＶクリップの内容に応じて出力クリップの時間長を設定することも可能になる。

実施の形態の自由視点画像サーバ２は、画像生成処理部３２が、予め記憶されたカメラワーク情報（視点移動軌跡情報）のうちで選択されたカメラワーク情報を用いて自由視点画像を生成する例を述べた。
視点移動の軌跡を示す情報としてカメラワーク情報が複数記憶されており、オペレータＯＰ２が、指定されたシーンに応じてカメラワーク情報を選択する。これによりオペレータＯＰ２が生成対象画像区間としてのシーンの内容に応じてカメラワーク情報を選択するのみでＦＶクリップが生成されることになる。従ってシーン内容に応じた視点移動（カメラワーク）のＦＶクリップを短時間で作成できるものとなる。

実施の形態としては、図１３で説明した処理を例えばＣＰＵ、ＤＳＰ等、或いはこれらを含むデバイスに実行させるプログラムを考えることができる。
即ち実施の形態のプログラムは、複数の撮像装置１０により同時に撮像された複数の撮像画像（Ｖ１からＶ１６）について、自由視点画像の生成対象とする生成対象画像区間を特定する区間特定処理（Ｓ１０２，Ｓ１０３）と、複数の撮像画像のそれぞれにおける生成対象画像区間の画像データを、他の情報処理装置における自由視点画像の生成に用いる画像データとして送信させる対象画像送信制御処理（Ｓ１０５）と、受信した自由視点画像を含む出力画像を生成する出力画像生成処理（Ｓ１０７，Ｓ１０８）とを情報処理装置に実行させるプログラムである。
このようなプログラムにより、上述した画像作成コントローラ１を情報処理装置７０としての機器において実現できる。

また実施の形態としては、図１４で説明した処理を例えばＣＰＵ、ＤＳＰ等、或いはこれらを含むデバイスに実行させるプログラムを考えることができる。
即ち実施の形態のプログラムは、複数の撮像装置１０により同時に撮像された複数の撮像画像（Ｖ１からＶ１６）のそれぞれにおける、自由視点画像の生成対象とされた生成対象画像区間の画像データを取得する画像データ取得処理（Ｓ２０２，Ｓ２０３）と、画像データ取得処理で取得した画像データを用いて自由視点画像を生成する画像生成処理（Ｓ２０４からＳ２０９）と、生成した自由視点画像を他の情報処理装置に送信する制御を行う送信制御処理（Ｓ２１２）とを情報処理装置に実行させるプログラムである。
このようなプログラムにより、上述した自由視点画像サーバ２を情報処理装置７０としての機器において実現できる。

これらのプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

またこのようなプログラムによれば、実施の形態の画像作成コントローラ１や自由視点画像サーバ２の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の画像作成コントローラ１や自由視点画像サーバ２として機能させることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

なお本技術は以下のような構成も採ることができる。
（１）
複数の撮像装置により同時に撮像された複数の撮像画像について、自由視点画像の生成対象とする生成対象画像区間を特定する処理を行う区間特定処理部と、
前記複数の撮像画像のそれぞれにおける前記生成対象画像区間の画像データを、他の情報処理装置における自由視点画像の生成に用いる画像データとして送信させる制御を行う対象画像送信制御部と、
受信した自由視点画像を含む出力画像を生成する出力画像生成部と、を備えた
情報処理装置。
（２）
前記区間特定処理部は特定した前記生成対象画像区間の情報を前記他の情報処理装置に通知する処理を行い、
前記対象画像送信制御部は、前記他の情報処理装置の要求に応じて前記生成対象画像区間の画像データの送信制御を行う
上記（１）に記載の情報処理装置。
（３）
前記区間特定処理部は、前記生成対象画像区間として撮像画像の１フレームの区間を特定する
上記（１）又は（２）に記載の情報処理装置。
（４）
前記区間特定処理部は、前記生成対象画像区間として撮像画像の複数フレームの区間を特定する
上記（１）又は（２）に記載の情報処理装置。
（５）
前記出力画像生成部は、自由視点画像に前画像又は後画像を時間軸上で結合させた出力画像を生成する
上記（１）から（４）のいずれかに記載の情報処理装置。
（６）
前記出力画像生成部は、自由視点画像と前画像又は後画像を再生リスト情報により仮想的に時間軸上で結合した仮想クリップとして出力画像を生成する
上記（１）から（５）のいずれかに記載の情報処理装置。
（７）
前記出力画像生成部は、自由視点画像と接続する前画像又は後画像を指定する情報を前記他の情報処理装置から取得し、該情報に基づいて自由視点画像に前画像又は後画像を時間軸上で結合させた出力画像を生成する
上記（１）から（６）のいずれかに記載の情報処理装置。
（８）
前記出力画像生成部は、自由視点画像と接続する前画像又は後画像の時間長を指定する情報を前記他の情報処理装置から取得し、該情報に基づいて前画像又は後画像を用意し、自由視点画像に前画像又は後画像を時間軸上で結合させた出力画像を生成する
上記（１）から（７）のいずれかに記載の情報処理装置。
（９）
複数の撮像装置により同時に撮像された複数の撮像画像のそれぞれにおける、自由視点画像の生成対象とされた生成対象画像区間の画像データを取得する対象画像取得部と、
前記対象画像取得部が取得した画像データを用いて自由視点画像を生成する画像生成処理部と、
生成した自由視点画像を他の情報処理装置に送信する制御を行う送信制御部と、を備えた
情報処理装置。
（１０）
前記対象画像取得部は、前記生成対象画像区間の通知に応じて、前記複数の撮像画像のそれぞれにおける、前記生成対象画像区間の複数の画像データの送信要求を行う
上記（９）に記載の情報処理装置。
（１１）
前記対象画像取得部は、複数の撮像画像のそれぞれにおける、前記生成対象画像区間とされた１フレームの画像データを取得する
上記（９）又は（１０）に記載の情報処理装置。
（１２）
前記対象画像取得部は、複数の撮像画像のそれぞれにおける、前記生成対象画像区間とされた複数フレームの区間の画像データを取得する
上記（９）又は（１０）に記載の情報処理装置。
（１３）
前記画像生成処理部は、
予め記憶された視点移動軌跡情報のうちで選択された視点移動軌跡情報を用いて自由視点画像を生成する
上記（９）から（１２）のいずれかに記載の情報処理装置。
（１４）
前記送信制御部は、
生成した自由視点画像と接続する前画像又は後画像を指定する情報を前記他の情報処理装置に送信する制御を行う
上記（９）から（１３）のいずれかに記載の情報処理装置。
（１５）
前記送信制御部は、
生成した自由視点画像と接続する前画像又は後画像の時間長を指定する情報を前記他の情報処理装置に送信する制御を行う
上記（９）から（１４）のいずれかに記載の情報処理装置。
（１６）
第１の情報処理装置と第２の情報処理装置を有し、自由視点画像を含む出力画像を出力する画像処理システムとして、
前記第１の情報処理装置は、
複数の撮像装置により同時に撮像された複数の撮像画像について、自由視点画像の生成対象とする生成対象画像区間を特定する処理を行う区間特定処理部と、
前記複数の撮像画像のそれぞれにおける前記生成対象画像区間の画像データを、前記第２の情報処理装置における自由視点画像の生成に用いる画像データとして送信させる制御を行う対象画像送信制御部と、
受信した自由視点画像を含む出力画像を生成する出力画像生成部と、
を備え、
前記第２の情報処理装置は、
前記複数の撮像画像のそれぞれにおける、自由視点画像の生成対象とされた前記生成対象画像区間の画像データを取得する対象画像取得部と、
前記対象画像取得部が取得した画像データを用いて自由視点画像を生成する画像生成処理部と、
生成した自由視点画像を前記第１の情報処理装置に送信する制御を行う送信制御部と、
を備える画像処理システム。
（１７）
情報処理装置が、
複数の撮像装置により同時に撮像された複数の撮像画像について、自由視点画像の生成対象とする生成対象画像区間を特定する区間特定処理と、
前記複数の撮像画像のそれぞれにおける前記生成対象画像区間の画像データを、他の情報処理装置における自由視点画像の生成に用いる画像データとして送信させる対象画像送信制御処理と、
受信した自由視点画像を含む出力画像を生成する出力画像生成処理と、
を行う情報処理方法。
（１８）
情報処理装置が、
複数の撮像装置により同時に撮像された複数の撮像画像のそれぞれにおける、自由視点画像の生成対象とされた生成対象画像区間の画像データを取得する画像データ取得処理と、
前記画像データ取得処理で取得した画像データを用いて自由視点画像を生成する画像生成処理と、
生成した自由視点画像を他の情報処理装置に送信する制御を行う送信制御処理と、
を行う情報処理方法。

１ 画像作成コントローラ
２ 自由視点画像サーバ
３，４，４Ａ，４Ｂ，４Ｃ，４Ｄ ビデオサーバ
５ ＮＡＳ
６ スイッチャー
７ 画像変換部
８ ユーティリティサーバ
１０ 撮像装置
２１ 区間特定処理部
２２ 対象画像送信制御部
２３ 出力画像生成部
３１ 対象画像取得部
３２ 画像生成処理部
３３ 送信制御部
７０ 情報処理装置
７１ ＣＰＵ
７７ 表示部

Claims (17)

1. 複数の撮像装置により同時に撮像された複数の撮像画像について、自由視点画像の生成対象とする生成対象画像区間を特定する処理を行う区間特定処理部と、
   前記複数の撮像画像のそれぞれにおける前記生成対象画像区間の画像データを、他の情報処理装置における自由視点画像の生成に用いる画像データとして送信させる制御を行う対象画像送信制御部と、
   受信した自由視点画像を含む出力画像を生成する出力画像生成部と、を備えた
   情報処理装置。
2. 前記区間特定処理部は特定した前記生成対象画像区間の情報を前記他の情報処理装置に通知する処理を行い、
   前記対象画像送信制御部は、前記他の情報処理装置の要求に応じて前記生成対象画像区間の画像データの送信制御を行う
   請求項１に記載の情報処理装置。
3. 前記区間特定処理部は、前記生成対象画像区間として撮像画像の１フレームの区間を特定する
   請求項１に記載の情報処理装置。
4. 前記区間特定処理部は、前記生成対象画像区間として撮像画像の複数フレームの区間を特定する
   請求項１に記載の情報処理装置。
5. 前記出力画像生成部は、自由視点画像に前画像又は後画像を時間軸上で結合させた出力画像を生成する
   請求項１に記載の情報処理装置。
6. 前記出力画像生成部は、自由視点画像と前画像又は後画像を再生リスト情報により仮想的に時間軸上で結合した仮想クリップとして出力画像を生成する
   請求項１に記載の情報処理装置。
7. 前記出力画像生成部は、自由視点画像と接続する前画像又は後画像を指定する情報を前記他の情報処理装置から取得し、該情報に基づいて自由視点画像に前画像又は後画像を時間軸上で結合させた出力画像を生成する
   請求項１に記載の情報処理装置。
8. 前記出力画像生成部は、自由視点画像と接続する前画像又は後画像の時間長を指定する情報を前記他の情報処理装置から取得し、該情報に基づいて前画像又は後画像を用意し、自由視点画像に前画像又は後画像を時間軸上で結合させた出力画像を生成する
   請求項１に記載の情報処理装置。
9. 複数の撮像装置により同時に撮像された複数の撮像画像のそれぞれにおける、自由視点画像の生成対象とされた生成対象画像区間の画像データを取得する対象画像取得部と、
   前記対象画像取得部が取得した画像データを用いて自由視点画像を生成する画像生成処理部と、
   生成した自由視点画像を他の情報処理装置に送信する制御を行う送信制御部と、
   を備え、
   前記対象画像取得部は、前記生成対象画像区間の通知に応じて、前記複数の撮像画像のそれぞれにおける、前記生成対象画像区間の複数の画像データの送信要求を行う
   情報処理装置。
10. 複数の撮像装置により同時に撮像された複数の撮像画像のそれぞれにおける、自由視点画像の生成対象とされた生成対象画像区間の画像データを取得する対象画像取得部と、
    前記対象画像取得部が取得した画像データを用いて自由視点画像を生成する画像生成処理部と、
    生成した自由視点画像を他の情報処理装置に送信する制御を行う送信制御部と、
    を備え、
    前記送信制御部は、
    生成した自由視点画像と接続する前画像又は後画像を指定する情報を前記他の情報処理装置に送信する制御を行う
    情報処理装置。
11. 複数の撮像装置により同時に撮像された複数の撮像画像のそれぞれにおける、自由視点画像の生成対象とされた生成対象画像区間の画像データを取得する対象画像取得部と、
    前記対象画像取得部が取得した画像データを用いて自由視点画像を生成する画像生成処理部と、
    生成した自由視点画像を他の情報処理装置に送信する制御を行う送信制御部と、
    を備え、
    前記送信制御部は、
    生成した自由視点画像と接続する前画像又は後画像の時間長を指定する情報を前記他の情報処理装置に送信する制御を行う
    情報処理装置。
12. 前記対象画像取得部は、複数の撮像画像のそれぞれにおける、前記生成対象画像区間とされた１フレームの画像データを取得する
    請求項９から請求項１１のいずれかに記載の情報処理装置。
13. 前記対象画像取得部は、複数の撮像画像のそれぞれにおける、前記生成対象画像区間とされた複数フレームの区間の画像データを取得する
    請求項９から請求項１１のいずれかに記載の情報処理装置。
14. 前記画像生成処理部は、
    予め記憶された視点移動軌跡情報のうちで選択された視点移動軌跡情報を用いて自由視点画像を生成する
    請求項９から請求項１１のいずれかに記載の情報処理装置。
15. 第１の情報処理装置と第２の情報処理装置を有し、自由視点画像を含む出力画像を出力する画像処理システムとして、
    前記第１の情報処理装置は、
    複数の撮像装置により同時に撮像された複数の撮像画像について、自由視点画像の生成対象とする生成対象画像区間を特定する処理を行う区間特定処理部と、
    前記複数の撮像画像のそれぞれにおける前記生成対象画像区間の画像データを、前記第２の情報処理装置における自由視点画像の生成に用いる画像データとして送信させる制御を行う対象画像送信制御部と、
    受信した自由視点画像を含む出力画像を生成する出力画像生成部と、
    を備え、
    前記第２の情報処理装置は、
    前記複数の撮像画像のそれぞれにおける、自由視点画像の生成対象とされた前記生成対象画像区間の画像データを取得する対象画像取得部と、
    前記対象画像取得部が取得した画像データを用いて自由視点画像を生成する画像生成処理部と、
    生成した自由視点画像を前記第１の情報処理装置に送信する制御を行う送信制御部と、
    を備える画像処理システム。
16. 情報処理装置が、
    複数の撮像装置により同時に撮像された複数の撮像画像について、自由視点画像の生成対象とする生成対象画像区間を特定する区間特定処理と、
    前記複数の撮像画像のそれぞれにおける前記生成対象画像区間の画像データを、他の情報処理装置における自由視点画像の生成に用いる画像データとして送信させる対象画像送信制御処理と、
    受信した自由視点画像を含む出力画像を生成する出力画像生成処理と、
    を行う情報処理方法。
17. 情報処理装置が、
    複数の撮像装置により同時に撮像された複数の撮像画像のそれぞれにおける、自由視点画像の生成対象とされた生成対象画像区間の画像データを取得する画像データ取得処理と、
    前記画像データ取得処理で取得した画像データを用いて自由視点画像を生成する画像生成処理と、
    生成した自由視点画像を他の情報処理装置に送信する制御を行う送信制御処理と、
    を行い、
    前記画像データ取得処理では、前記生成対象画像区間の通知に応じて、前記複数の撮像画像のそれぞれにおける、前記生成対象画像区間の複数の画像データの送信要求を行う
    情報処理方法。

Images