WO2022181175A1

WO2022181175A1 - 情報処理装置、情報処理方法、プログラム、表示システム

Info

Publication number: WO2022181175A1
Application number: PCT/JP2022/003043
Authority: WO
Inventors: 翔小倉; 義博吉岡; 圭一吉岡; 潤吉川
Original assignee: ソニーグループ株式会社
Priority date: 2021-02-25
Filing date: 2022-01-27
Publication date: 2022-09-01
Also published as: EP4300950A1; US20240314279A1; EP4300950A4

Abstract

本技術に係る情報処理装置は、自由視点画像の生成対象とされる実空間を撮像して得られる画像である対象空間撮像画像上に、自由視点画像の視点回転中心の位置を示す回転中心位置情報を表示するための制御を行う表示制御部を備えている。

Description

情報処理装置、情報処理方法、プログラム、表示システム

　本技術は、情報処理装置とその方法、プログラム、及び表示システムに関し、特に撮像された被写体を三次元空間上の任意の視点から見ることのできる自由視点画像に係る処理の技術に関する。

　撮像された被写体を三次元空間上で表した三次元情報に基づき、三次元空間上の任意視点から見ることのできる画像に相当する自由視点画像（自由視点映像、仮想視点画像（映像）などとも呼ばれる）を生成する技術が知られている。
　関連する従来技術については下記特許文献１を挙げることができる。特許文献１には視点の移動軌跡といえるカメラパスの生成に関する技術が開示されている。

ＷＯ２０１８／０３０２０６号公報

　自由視点画像は放送コンテンツとしても有用であり、例えばスポーツ中継のリプレイ画像としても用いられている。例えばサッカーやバスケットボールの放送などにおいて、リアルタイムで録画した画像の中からシュートシーン等の数秒のクリップを作成し、リプレイ画像として放送する。なお、本開示において「クリップ」とは、録画した画像の中から抽出したり、さらに加工したりして作成される或るシーンの画像のことを指す。

　ところで、放送現場において、特に生中継の場合には、オペレータに対し迅速にリプレイのためのクリップを作成し、放送することが求められる。例えば或るプレイの１０数秒後にリプレイを放送したいといった要望もある。このような要望は、自由視点画像を含むクリップの作成についても同様であり、従って、自由視点画像の作成作業を迅速に行うことが求められている。

　本技術は上記事情に鑑み為されたものであり、自由視点画像の作成作業の迅速化を図ることを目的とする。

　本技術に係る情報処理装置は、自由視点画像の生成対象とされる実空間を撮像して得られる画像である対象空間撮像画像上に、前記自由視点画像の視点回転中心の位置を示す回転中心位置情報を表示するための制御を行う表示制御部を備えたものである。
　自由視点画像の生成対象とされる空間とは、自由視点画像の被写体となる物体が存在する実空間を意味する。上記構成によれば、そのような自由視点画像の生成対象とされる実空間を捉えた撮像画像上において、自由視点画像の視点回転中心位置を視覚化して表示することが可能となる。

本技術の実施形態のシステム構成のブロック図である。実施形態の自由視点画像生成のためのカメラ配置例の説明図である。実施形態の情報処理装置のハードウエア構成のブロック図である。実施形態の画像作成コントローラの機能の説明図である。実施形態の自由視点画像サーバの機能の説明図である。実施形態の自由視点画像における視点の説明図である。実施形態におけるカメラパス指定画面の概要の説明図である。実施形態における作成操作画面の概要の説明図である。実施形態の出力クリップの説明図である。実施形態の静止画ＦＶクリップを含む出力クリップの説明図である。実施形態の動画ＦＶクリップを含む出力クリップの説明図である。実施形態の出力クリップの画像例の説明図である。実施形態のクリップ作成の作業手順の説明図である。実施形態のカメラ変動検出の作業手順の説明図である。自由視点画像の開始視点、終了視点それぞれに対応する撮像装置の撮像画像の例を示した図である。画像切り出しのイメージ図である。生成操作画面の初期画面の例を示した図である。シーン指定後の生成操作画面の様子を例示した図である。カメラパスリスト表示部からカメラパスが指定された場合の生成操作画面の様子を例示した図である。カメラパスウインドウにおける回転中心位置情報の操作による視点回転中心の位置指定の例を説明するための図である。同じく、カメラパスウインドウにおける回転中心位置情報の操作による視点回転中心の位置指定の例を説明するための図である。視点移動軌跡の円弧の深さの調整のためのＧＵＩを例示した図である。視点回転中心の高さ位置の指定についての説明図である。同じく、視点回転中心の高さ位置の指定についての説明図である。視点回転中心の位置指定（水平方向での位置指定）の操作例を説明するための図である。切り出しの画枠指定のための操作例を説明するための図である。同じく、切り出しの画枠指定のための操作例を説明するための図である。切り出し画枠のサイズ指定についての変形例の説明図である。視点回転中心や画枠の指定が完了した際の生成操作画面の様子を例示した図である。２ＦＶに対応した生成操作画面の一例を示した図である。２ＦＶに対応した生成操作画面について第二のＦＶクリップが指定された場合の表示例を示した図である。切り出し画像における被写体の見え方についての説明図である。ＦＶクリップ中における切り出し位置の遷移の例を示した図である。ＦＶクリップ中における切り出し位置の遷移の別例を示した図である。実施形態としての自由視点画像の生成手法を実現するための処理手順例を示したフローチャートである。実施形態で例示した画像生成の処理分担を模式的に示した図である。画像生成の処理分担の他の例を模式的に示した図である。画像生成の処理分担のさらに他の例を模式的に示した図である。

　以下、実施の形態を次の順序で説明する。
＜１．システム構成＞
＜２．画像作成コントローラ及び自由視点画像サーバの構成＞
＜３．ＧＵＩの概要＞
＜４．自由視点画像を含むクリップ＞
＜５．クリップ作成処理＞
＜６．カメラ変動検出＞
＜７．自由視点画像作成のためのＧＵＩ＞
＜８．実施形態の自由視点画像生成について＞
＜９．処理手順＞
＜１０．変形例＞
＜１１．実施形態のまとめ＞
＜１２．本技術＞

＜１．システム構成＞
　図１に、本技術に係る実施の形態の画像処理システムの構成例を示す。
　画像処理システムは、画像作成コントローラ１、自由視点画像サーバ２、ビデオサーバ３、複数（例えば４台）のビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄ、ＮＡＳ（Network Attached Storage）５、スイッチャー６、画像変換部７、ユーティリティサーバ８、複数（例えば１６台）の撮像装置１０を有する。
　なお以降、「カメラ」という用語は撮像装置１０を指す。例えば「カメラ配置」とは複数の撮像装置１０の配置を意味する。
　また、ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄを特に区別せずに総称するときは「ビデオサーバ４」と表記する。
　この画像処理システムでは、複数の撮像装置１０から取得される撮像画像（例えば画像データＶ１からＶ１６）に基づき、三次元空間上の任意視点から見える画像に相当する自由視点画像を生成し、自由視点画像を含む出力クリップを作成することができる。

　図１においては、各部の接続状態を実線、破線、二重線で示している。
　実線は、カメラやスイッチャーなどの放送機器間を接続するインタフェース規格であるＳＤＩ（Serial Digital Interface）の接続を示し、例えば４Ｋ対応としている。各機器間はＳＤＩ配線により主に画像データの送受信が行われる。

　二重線は、例えば１０ギガビット・イーサネットなどの、コンピュータネットワークを構築する通信規格の接続を示している。画像作成コントローラ１、自由視点画像サーバ２、ビデオサーバ３、４Ａ，４Ｂ，４Ｃ，４Ｄ、ＮＡＳ５、ユーティリティサーバ８はコンピュータネットワークで接続されることで、互いに画像データや各種制御信号の送受信が可能とされる。

　ビデオサーバ３、４間の破線は、サーバ間ファイル共有機能を搭載したビデオサーバ３、４を例えば１０Ｇネットワークで接続した状態を示している。これによりビデオサーバ３、及びビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄの間では、各ビデオサーバが他のビデオサーバ内の素材のプレビューや送出が可能となる。即ち複数のビデオサーバを使用したシステムが構築され、効率的なハイライト編集・送出を実現できるようにされている。

　各撮像装置１０は、例えばＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）センサ等による撮像素子を有したデジタルカメラ装置として構成され、デジタルデータとしての撮像画像（画像データＶ１からＶ１６）を得る。本例では、各撮像装置１０は動画としての撮像画像を得る。

　各撮像装置１０は、本例ではバスケットボールやサッカー、ゴルフ等の競技が行われている様子を撮像するものとされ、それぞれが競技の開催される競技会場における所定位置において所定の向きに配置されている。本例では、撮像装置１０の数は１６台としているが、自由視点画像の生成を可能とする上では撮像装置１０の数は少なくとも２以上あればよい。撮像装置１０の台数を多くし、対象とする被写体をより多くの角度から撮像することで、被写体の三次元復元の精度向上が図られ、仮想視点画像の画質向上を図ることができる。

　図２に、バスケットボールのコートの周囲における撮像装置１０の配置例を示している。○が撮像装置１０であるとする。例えば図面で左側のゴール近傍を重点的に撮りたい場合のカメラ配置例である。もちろんカメラ配置や数は一例であり、撮影や放送の内容、目的に応じて設定されるべきものである。
　また、自由視点画像の生成対象とされるシーンはバスケットボール競技のシーンに限定されるものではなく、多種多様なものである。

　画像作成コントローラ１は、情報処理装置により構成される。この画像作成コントローラ１は、例えば専用のワークステーションや、汎用のパーソナルコンピュータ、モバイル端末装置等を利用して実現することができる。
　画像作成コントローラ１は、ビデオサーバ３、４の制御／動作管理や、クリップ作成のための処理を行う。
　一例として、画像作成コントローラ１はオペレータＯＰ１が操作可能な装置とする。オペレータＯＰ１は、例えばクリップ内容の選択や作成の指示等を行う。

　自由視点画像サーバ２は、画像作成コントローラ１の指示等に応じて、実際に自由視点画像（後述するＦＶ（Free View）クリップ）を作成する処理を行う情報処理装置として構成される。この自由視点画像サーバ２も、例えば専用のワークステーションや、汎用のパーソナルコンピュータ、モバイル端末装置等を利用して実現することができる。
　一例として、自由視点画像サーバ２はオペレータＯＰ２が操作可能な装置とする。オペレータＯＰ２は、例えば自由視点画像としてのＦＶクリップの作成に係る作業を行う。具体的に、オペレータＯＰ２は、自由視点画像の生成のためのカメラパスの指定操作（選択操作）などを行う。また、本例においてオペレータＯＰ２は、カメラパスの作成作業も行う。

　ここで、カメラパスの情報とは、自由視点画像における視点の移動軌跡を示す情報を少なくとも含んだ情報である。例えば、３Ｄモデルを生成した被写体に対して、視点の位置や視線方向、及び画角（焦点距離）を変化させていくようなＦＶクリップを作成する場合に、その視点の移動軌跡や視線方向の変化態様、画角の変化態様を定めるのに必要なパラメータが、カメラパスの情報とされる。

　画像作成コントローラ１と自由視点画像サーバ２の構成や処理について詳しくは後述する。また、オペレータＯＰ１，ＯＰ２が操作を行うものとするが、例えば画像作成コントローラ１と自由視点画像サーバ２が並べて配置され、一人のオペレータによって操作されるようにしてもよい。

　ビデオサーバ３、４は、それぞれ画像記録装置とされ、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）等のデータ記録部と、該データ記録部についてデータの記録再生制御を行う制御部とを備える。

　ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄは、それぞれ例えば４系統の入力が可能とされて、それぞれ４台の撮像装置１０の撮像画像を同時に記録する。
　例えばビデオサーバ４Ａは、画像データＶ１，Ｖ２，Ｖ３，Ｖ４の記録を行う。ビデオサーバ４Ｂは、画像データＶ５，Ｖ６，Ｖ７，Ｖ８の記録を行う。ビデオサーバ４Ｃは、画像データＶ９，Ｖ１０，Ｖ１１，Ｖ１２の記録を行う。ビデオサーバ４Ｄは、画像データＶ１３，Ｖ１４，Ｖ１５，Ｖ１６の記録を行う。
　これにより、１６台の撮像装置１０の撮像画像が全て同時に記録される状態となる。
　ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄは、例えば放送対象のスポーツの試合中などに、常時録画を行うものとされる。

　ビデオサーバ３は、例えば画像作成コントローラ１に直接接続され、例えば２系統の入力と２系統の出力が可能とされる。２系統の入力として画像データＶｐ，Ｖｑを示している。画像データＶｐ，Ｖｑとしては、いずれかの２台の撮像装置１０の撮像画像（画像データＶ１からＶ１６の内のいずれか２つ）を選択することが可能である。もちろん他の撮像装置の撮像画像であってもよい。

　画像データＶｐ，Ｖｑについては、モニタ画像として画像作成コントローラ１がディスプレイに表示させることができる。オペレータＯＰ１は、ビデオサーバ３に入力された画像データＶｐ，Ｖｑにより、例えば放送のために撮影・収録しているシーンの状況を確認することができる。
　また、ビデオサーバ３、４はファイル共有状態に接続されているため、画像作成コントローラ１は、ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄに記録している各撮像装置１０の撮像画像についてもモニタ表示させることができ、オペレータＯＰ１が逐次確認できるようにされる。

　なお本例において、各撮像装置１０による撮像画像にはタイムコードが付され、ビデオサーバ３，４Ａ，４Ｂ，４Ｃ，４Ｄにおける処理においてフレーム同期をとることが可能とされている。

　ＮＡＳ５はネットワーク上に配置されたストレージデバイスであり、例えばＳＳＤやＨＤＤ等で構成される。本例の場合、ＮＡＳ５は、ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄに録画された画像データＶ１、Ｖ２・・・Ｖ１６について一部のフレームが自由視点画像の生成のために転送されてきたときに、自由視点画像サーバ２における処理のために記憶したり、作成された自由視点画像を記憶したりするデバイスとされる。

　スイッチャー６は、ビデオサーバ３を介して出力される画像を入力し、最終的に選択して放送する本線画像ＰＧＭｏｕｔを選択する機器である。例えば放送のディレクター等が必要な操作を行う。

　画像変換部７は、例えば撮像装置１０による画像データの解像度変換及び合成を行い、カメラ配置のモニタリング画像を生成してユーティリティサーバ８に供給する。例えば４Ｋ画像とされる１６系統の画像データ（Ｖ１からＶ１６）を、ＨＤ画像に解像度変換した上でタイル状に配置した４系統の画像とし、ユーティリティサーバ８に供給する等である。

　ユーティリティサーバ８は、各種の関連処理が可能なコンピュータ装置であるが、本例の場合、特にキャリブレーション用のカメラ移動の検出処理を行う装置としている。例えばユーティリティサーバ８は、画像変換部７からの画像データを監視してカメラ移動を検出する。カメラ移動とは、例えば図２のように配置された撮像装置１０のいずれかの配置位置の移動のことである。撮像装置１０の配置位置の情報は自由視点画像の生成に重要な要素であり、配置位置が変化したらパラメータ設定のやり直しが必要になる。そのためカメラ移動の監視が行われる。

＜２．画像作成コントローラ及び自由視点画像サーバの構成＞
　以上の構成における画像作成コントローラ１、自由視点画像サーバ２、ビデオサーバ３、４、ユーティリティサーバ８は、例えば図３に示す構成を備えた情報処理装置７０として実現できる。

　図３において、情報処理装置７０のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インタフェース７５も接続されている。

　入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。
　例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
　入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。

　また入出力インタフェース７５には、ＬＣＤ（Liquid Crystal Display）或いは有機ＥＬ（Electro-Luminescence）パネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
　表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスや、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
　表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。

　入出力インタフェース７５には、ハードディスクや固体メモリなどより構成される記憶部７９や、モデムなどより構成される通信部８０が接続される場合もある。
　通信部８０は、インターネット等の伝送路を介しての通信処理や、各種機器との有線／無線通信、バス通信などによる通信を行う。

　入出力インタフェース７５にはまた、必要に応じてドライブ８２が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８１が適宜装着される。
　ドライブ８２により、リムーバブル記録媒体８１からは画像ファイルＭＦ等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部７９に記憶されたり、データファイルに含まれる画像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８１から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。

　この情報処理装置７０では、ソフトウエアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８１を介してインストールすることができる。或いは当該ソフトウエアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。

　このような情報処理装置７０を用いて画像作成コントローラ１や自由視点画像サーバ２を実現する場合、例えばソフトウエアにより、図４，図５のような処理機能がＣＰＵ７１において実現されるようにする。

　図４は、画像作成コントローラ１となる情報処理装置７０のＣＰＵ７１において形成される機能として、区間特定処理部２１、対象画像送信制御部２２、出力画像生成部２３を示している。

　区間特定処理部２１は、複数の撮像装置１０により同時に撮像された複数の撮像画像（画像データＶ１からＶ１６）について、自由視点画像の生成対象とする生成対象画像区間を特定する処理を行う。例えばオペレータＯＰ１が画像内でリプレイ再生させたいシーンを選択する操作を行うことに応じて、そのシーン、特には自由視点画像とするシーンの区間（生成対象画像区間）についてのタイムコードを特定したり、当該タイムコードを自由視点画像サーバ２に通知したりする処理を行う。

　ここで生成対象画像区間とは、実際に自由視点画像とするフレーム区間をいう。動画内のある１フレームについて自由視点画像を生成する場合は、その１フレームが生成対象画像区間となる。この場合、自由視点画像のためのイン点（開始点）／アウト点（終了点）は同じタイムコードとなる。
また動画内の複数フレームの区間について自由視点画像を生成する場合は、その複数フレームが生成対象画像区間となる。この場合、自由視点画像のためのイン点／アウト点は異なるタイムコードとなる。
　なお、クリップの構造については後述するが、生成対象画像区間のイン点／アウト点は、最終的に生成する出力クリップとしてのイン点／アウト点とは異なることが想定される。後述する前クリップや後クリップが結合されるためである。

　対象画像送信制御部２２は、複数の撮像装置１０のそれぞれにおける生成対象画像区間の画像データ、即ち画像データＶ１からＶ１６についての１又は複数フレームを、自由視点画像サーバ２における自由視点画像の生成に用いる画像データとして送信させる制御を行う。具体的には生成対象画像区間としての画像データを、ビデオサーバ４Ａ，４Ｂ，４Ｃ，４ＤからＮＡＳ５に転送させる制御を行う。

　出力画像生成部２３は、自由視点画像サーバ２が生成し、受信した自由視点画像（ＦＶクリップ）を含む出力画像（出力クリップ）を生成する処理を行う。
　例えば画像作成コントローラ１は、出力画像生成部２３の処理により、自由視点画像サーバ２が生成した仮想的な画像であるＦＶクリップに、その前の時点の実際の動画である前クリップと、後の時点の実際の動画である後クリップを時間軸上で結合させて出力クリップとする。即ち、前クリップ＋ＦＶクリップ＋後クリップを１つの出力クリップとする。
　もちろん、前クリップ＋ＦＶクリップを１つの出力クリップとしてもよい。
　或いは、ＦＶクリップ＋後クリップを１つの出力クリップとしてもよい。
　さらには、前クリップや後クリップを結合せずにＦＶクリップのみの出力クリップを生成してもよい。
　いずれにしても画像作成コントローラ１は、ＦＶクリップを含む出力クリップを生成してスイッチャー６に出力し、放送に用いることができるようにする。

　図５は、自由視点画像サーバ２となる情報処理装置７０のＣＰＵ７１において形成される機能として、対象画像取得部３１、画像生成処理部３２、送信制御部３３、及びカメラパス生成処理部３４を示している。

　対象画像取得部３１は、複数の撮像装置１０により同時に撮像された複数の撮像画像（画像データＶ１からＶ１６）のそれぞれにおける、自由視点画像の生成対象とされた生成対象画像区間の画像データを取得する処理を行う。即ち画像作成コントローラ１が区間特定処理部２１の機能により特定した生成対象画像区間のイン点／アウト点で指定される１フレーム又は複数フレームの画像データをビデオサーバ４Ａ，４Ｂ，４Ｃ，４ＤからＮＡＳ５を介して取得して、自由視点画像の生成に用いることができるようにする。

　例えば対象画像取得部３１は、画像データＶ１からＶ１６の全てについて、生成対象画像区間の１フレーム又は複数フレームの画像データを取得する。画像データＶ１からＶ１６の全てについて生成対象画像区間の画像データを取得するのは、高品質な自由視点画像の生成のためである。上述のように少なくとも２以上の撮像装置１０の撮像画像を用いれば自由視点画像の生成は可能であるが、撮像装置１０の数（即ち視点の数）を多くすることにより、より精細な３Ｄモデルを生成して高品質な自由視点画像の生成が可能になる。そのため、例えば１６台の撮像装置１０を配置した場合は、１６台の撮像装置１０の画像データ（Ｖ１からＶ１６）の全てについて、生成対象画像区間の画像データを取得することが行われる。

　画像生成処理部３２は、対象画像取得部３１が取得した画像データを用いて自由視点画像、即ち本例の場合のＦＶクリップを生成する機能である。
　例えば画像生成処理部３２は、３Ｄモデル生成、被写体解析を含むモデリング処理や、３Ｄモデルから２次元画像である自由視点画像を生成するレンダリング等の処理を行う。

　３Ｄモデル生成とは、各撮像装置１０による撮像画像と、例えばユーティリティサーバ８等から入力した撮像装置１０ごとのカメラパラメータとに基づいて、被写体を三次元空間上で表した（つまり二次元画像から被写体の三次元構造を復元した）３Ｄモデルデータを生成する処理である。具体的に、３Ｄモデルデータは、被写体を（Ｘ，Ｙ，Ｚ）による三次元座標系で表したデータを含む。
　被写体解析は、３Ｄモデルデータに基づき、人物（選手）としての被写体について位置や向き、姿勢についての解析を行う。具体的には、被写体の位置の推定、被写体の簡易モデルの生成、被写体の向きの推定などを行う。
　そして３Ｄモデルデータと被写体解析情報とに基づき自由視点画像を生成する。例えば被写体である選手が静止した状態の３Ｄモデルに対して、視点を動かしていくような自由視点画像の生成を行う。
　なお、上記の被写体解析は、画像内に捉えられた物体を認識する画像認識処理の一種である。

　図６を参照して自由視点画像の視点について述べておく。
　図６Ａでは、三次元空間上に設定した所要の視点から被写体を捉えた自由視点画像のイメージを示している。この場合の自由視点画像では、被写体Ｓ１が略正面視され、被写体Ｓ２が略背面視されている。
　図６Ｂでは、視点の位置を図６Ａの矢印Ｃ方向に変化させ、被写体Ｓ１を略背面視する視点が設定された場合の仮想視点画像のイメージを示している。この図６Ｂの自由視点画像では、被写体Ｓ２が略正面視され、また図６Ａでは映し出されていなかった被写体Ｓ３やバスケットゴールが映し出されている。
　例えば図６Ａの状態から、矢印Ｃの方向に徐々に視点を移動させ、図６Ｂの状態に至るような１秒から２秒程度の画像が自由視点画像（ＦＶクリップ）として生成されることになる。もちろん自由視点画像としてのＦＶクリップの時間長や、視点移動の軌跡は多様に考えられる。

　ここで、本例の自由視点画像サーバ２（ＣＰＵ７１）は、画像生成処理部３２の一部機能として、表示処理部３２ａ、及び操作受付部３２ｂとしての機能を有している。
　表示処理部３２ａは、自由視点画像の生成に用いるカメラパス情報の指定操作や後述する視点回転中心位置の指定、自由視点画像の生成実行指示等を受け付ける生成操作画面Ｇｇの表示処理を行う。
　また、操作受付部３２ｂは、プリセット画面Ｇｓでの操作を受け付ける機能となる。
　なお、自由視点画像に係るカメラパスや、生成操作画面Ｇｇの詳細については後に改めて説明する。

　また、本例における自由視点画像サーバ２は、画像生成処理部３２の一部機能として、カメラパス編集処理部３２ｃとしての機能も有するが、このカメラパス編集処理部３２ｃとしての機能についても後に改めて説明する。

　送信制御部３３は、画像生成処理部３２で生成した自由視点画像（ＦＶクリップ）を、ＮＡＳ５を介して画像作成コントローラ１に送信する制御を行う。この場合、送信制御部３３は、出力画像生成のための付随情報も画像作成コントローラ１に送信するように制御する。付随情報とは、前クリップや後クリップの画像を指定する情報が想定される。即ち、画像データＶ１からＶ１６のいずれの画像を用いて前クリップや後クリップを作成するかを指定する情報である。また付随情報として前クリップや後クリップの時間長を指定する情報も想定される。

　カメラパス生成処理部３４は、自由視点画像の生成に用いるカメラパス情報の生成に係る処理を行う。自由視点画像の作成にあたっては、様々なシーンに対応するために複数の候補となるカメラパスを事前に作成（プリセット）しておくことになる。このようなカメラパスの事前作成を可能とするために、本例の自由視点画像サーバ２には、カメラパス作成用のソフトウエアプログラムがインストールされている。カメラパス生成処理部３４は、このソフトウエアプログラムにより実現される機能であり、ユーザの操作入力に基づいてカメラパスの生成処理を行う。
　カメラパス生成処理部３４は、表示処理部３４ａとしての機能を有する。表示処理部３４ａは、ユーザ（本例ではオペレータＯＰ２）によるカメラパス作成のための各種操作入力の受け付けを可能とするべく、後述するプリセット画面Ｇｓの表示処理を行う。

＜３．ＧＵＩの概要＞
　図７及び図８を参照し、自由視点画像の作成に用いられる生成操作画面Ｇｇ、及びカメラパスの作成に用いられるプリセット画面Ｇｓの概要について説明しておく。本例において、これら生成操作画面Ｇｇ、プリセット画面Ｇｓは、例えば自由視点画像サーバ２における表示部７７に表示され、オペレータＯＰ２による確認や操作が可能とされている。

　図７に示す生成操作画面Ｇｇには、シーンウインドウ４１、シーンリスト表示部４２、カメラパスウインドウ４３、カメラパスリスト表示部４４、対象空間画像表示部４５、及び送信ウインドウ４６が配置される。
　シーンウインドウ４１において、例えば生成対象画像区間の画像のモニタ表示が行われ、オペレータＯＰ２が自由視点画像を生成するシーンの内容を確認できるようにされる。
　シーンリスト表示部４２には、例えば生成対象画像区間に指定されたシーンのリストが表示される。オペレータＯＰ２はシーンウインドウ４１に表示させるシーンをシーンリスト表示部４２で選択できる。

　カメラパスウインドウ４３には、配置されている撮像装置１０の位置や、指定されているカメラパスを示す情報などが表示される。
　前述のようにカメラパスの情報とは、少なくとも自由視点画像における視点の移動軌跡を示す情報である。
　カメラパスウインドウ４３には、カメラパスの表示として、少なくとも視点の移動軌跡を視覚化して示す情報が表示される。

　カメラパスリスト表示部４４には、予め作成されて記憶されている各種のカメラパスの情報が一覧表示される。オペレータＯＰ２は、カメラパスリスト表示部４４に表示されているカメラパスのうちで、ＦＶクリップ生成に用いるカメラパスを選択し指定することが　できる。

　対象空間画像表示部４５には、対象空間撮像画像が表示される。対象空間撮像画像とは、自由視点画像の生成対象とする実空間を撮像して得られる画像を意味する。具体例としては、自由視点画像の生成に用いられる複数の撮像画像を得る撮像装置１０のうち少なくとも何れかによる撮像画像を挙げることができる。
　以下の説明では、対象空間撮像画像は、開始カメラとなる撮像装置１０の撮像画像、終了カメラとなる撮像装置１０の撮像画像である例とする。開始カメラとは、自由視点画像の開始視点と同一視点のカメラ、終了カメラとは、自由視点画像の終了視点と同一視点のカメラをそれぞれ意味する。
　後述するように、この対象空間画像表示部４５では、対象空間撮像画像上に自由視点画像の視点回転中心の位置を示す回転中心位置情報が表示され、ユーザが視点回転中心の位置の指定操作を行うことが可能とされる。

　送信ウインドウ４６には、作成したＦＶクリップを画像作成コントローラ１に送信することに関する情報が表示される。

　続いて、図８のプリセット画面Ｇｓについて説明する。
　ここでは、カメラパス情報を事前に作成しておくためのプリセット画面Ｇｓとして、２ＦＶの生成に対応したプリセット画面Ｇｓを例示している。
　２ＦＶとは、第一のＦＶクリップの後に、第一のＦＶクリップの終了視点となる撮像装置１０による撮像画像（動画像）が挿入され、その後に、該終了視点を開始視点とする第二のＦＶクリップが挿入されたクリップを意味する。具体的に、２ＦＶの例としては、例えば、ゴルフスイングのシーンであれば、第一のＦＶクリップが例えばトップ（トップオブスイング）のシーンについて選手の右側方の視点から正面の視点まで視点を移動させるＦＶクリップとされ、その後の撮像画像が、該正面の視点によりトップのシーンからインパクトのシーンまでを捉えた動画像（実際の撮像画像）とされ、第二のＦＶクリップが、インパクトのシーンについて、該正面の視点を開始視点として視点を移動させるＦＶクリップとされるもの等を挙げることができる。
　２ＦＶでは、第一のＦＶクリップの終了視点となるカメラと、第二のＦＶクリップの開始視点となるカメラが一致するものである。このように第一のＦＶクリップの終了視点、及び第二のＦＶクリップの開始視点となるカメラは、「トランジットカメラ（Transit Camera）」と呼ばれている。
　なお、出力クリップに１つのＦＶクリップのみを含むものは「１ＦＶ」と呼ばれる。

　図８に示すように、プリセット画面Ｇｓには、カメラパス情報に付すべき名称を入力するためのパス名入力部６５、１ＦＶ（1FreeView）又は２ＦＶ（2FreeView）の選択を行うためのＦＶ数選択部６６、ＦＶクリップについての開始カメラ（StartCamera）、終了カメラ（EndCamera）、２ＦＶの場合におけるトランジットカメラを選択するためのカメラ選択部６７、視点の回転方向を選択するための回転方向選択部６８、ＯＫボタンＢ１、キャンセルボタンＢ２が設けられている。

　図中では、ＦＶ数選択部６６において２ＦＶが選択された場合の画面を例示しているが、１ＦＶが選択された場合、カメラ選択部６７には少なくとも開始カメラと終了カメラを選択するための表示のみが行われればよい。

　視点の回転方向については、例えば複数の撮像装置１０が円環状に配置される場合等において、開始カメラの視点から終了カメラの視点まで何れの方向に視点を移動させるべきかを指定可能とするものである。
　図中では、２ＦＶが選択された場合の回転方向選択部６８を例示しており、この場合の回転方向選択部６８では、開始カメラからトランジットカメラまでの視点の回転方向（つまり第一のＦＶクリップについての視点の回転方向）、トランジットカメラから終了カメラまでの視点の回転方向（第二のＦＶクリップについての視点の回転方向）をそれぞれ選択可能とされる。
　１ＦＶが選択された場合、回転方向選択部６８には、少なくとも開始カメラから終了カメラまでの視点の回転方向を選択するための表示のみが行われればよい。

　パス名入力部６５には、任意の文字や数字を入力可能とされる。
　この場合のカメラパス情報の作成において、ユーザは、ＦＶ数選択部６６において１ＦＶ又は２ＦＶの選択を行い、１ＦＶの場合であれば、カメラ選択部６７において、開始カメラ、終了カメラをそれぞれ何れの撮像装置１０とするかの選択を行う。図中では、カメラの選択は、候補となる全てのカメラの番号（撮像装置１０の番号）を表示してそのうちから選択するカメラを指定させる例としているが、カメラ選択のＧＵＩはこれに限定されるものではなく、例えば番号を直接入力させるものやＵｐ、Ｄｏｗｎキーにより番号を指定させるもの等他の例も考えられる。
　２ＦＶの場合、ユーザはカメラ選択部６７において開始カメラ、トランジットカメラ、終了カメラをそれぞれ何れの撮像装置１０とするかの選択を行う。
　またユーザは、必要に応じて、回転方向選択部６８において視点回転方向の選択操作を行う。

　ユーザは、ＯＫボタンＢ１を操作することで、自由視点画像サーバ２に対しカメラパス情報の設定指示を行うことができる。
　自由視点画像サーバ２（カメラパス生成処理部３４）は、ＯＫボタンＢ１が操作されたことに応じ、開始カメラ、終了カメラとして選択された撮像装置１０の番号（２ＦＶの場合はさらにトランジットカメラの番号）、開始カメラから終了カメラへの視点の回転方向の情報（２ＦＶの場合は開始カメラからトランジットカメラ、トランジットカメラから終了カメラそれぞれの回転方向の情報）、及びパス名入力部６５に入力された名称情報とを対応づけて所定の記憶装置（例えば、図３の記憶部７９等）に記憶する処理を行う。

　キャンセルボタンＢ２は、カメラパス情報の作成をキャンセルするためのボタンであり、キャンセルボタンＢ２が操作された場合、自由視点画像サーバ２（表示処理部３４ａ）は、例えばプリセット画面Ｇｓを閉じる処理等の所定の対応処理を実行する。

＜４．自由視点画像を含むクリップ＞
　続いて、自由視点画像としてのＦＶクリップを含む出力クリップについて説明する。
　図９は、出力クリップの一例として、前クリップ、ＦＶクリップ、後クリップを連結して構成されている状態を示している。これは、前述した１ＦＶの一例に相当するものである。

　例えば前クリップは、画像データＶ１から画像データＶ１６のうちの或る画像データＶｘにおけるタイムコードＴＣ１からＴＣ２の区間の実際の動画である。
　また後クリップは、画像データＶ１から画像データＶ１６のうちの或る画像データＶｙにおけるタイムコードＴＣ５からＴＣ６の区間の実際の動画である。
　画像データＶｘは、ＦＶクリップによる視点移動開始時点の撮像装置１０の画像データで、画像データＶｙは、ＦＶクリップによる視点移動終了時点の撮像装置１０の画像データであることが通常想定される。

　そしてこの例では、前クリップは、時間長ｔ１の動画、ＦＶクリップは時間長ｔ２の自由視点画像、後クリップは時間長ｔ３の動画としている。出力クリップ全体の再生時間長はｔ１＋ｔ２＋ｔ３となる。例えば５秒間の出力クリップとして、１．５秒の動画、２秒の自由視点画像、１．５秒の動画、などというような構成が考えられる。

　ここで、ＦＶクリップについては、タイムコードＴＣ３からＴＣ４の区間として示しているが、これは実際の動画のフレーム数に相当することもあれば、相当しないこともある。
　即ちＦＶクリップとしては、動画の時刻を止めた状態で視点を移動させる場合（ＴＣ３＝ＴＣ４となる場合）と、動画の時刻を止めずに視点を移動させる場合（ＴＣ３≠ＴＣ４となる場合）があるためである。
説明上、動画の時刻を止めた状態で視点を移動させる場合（「タイムフリーズ」と呼ばれる）のＦＶクリップを「静止画ＦＶクリップ」、動画の時刻を止めずに視点を移動させる場合（「フリーラン」と呼ばれる）のＦＶクリップを「動画ＦＶクリップ」と呼ぶこととする。

　静止画ＦＶクリップを動画のフレームを基準にして示すと図１０のようになる。この例の場合、前クリップのタイムコードＴＣ１、ＴＣ２は、フレームＦ１、Ｆ８１のタイムコードとなり、続くフレームＦ８２のタイムコードが、図９のタイムコードＴＣ３＝ＴＣ４となる。そして後クリップのタイムコードＴＣ５、ＴＣ６は、フレームＦ８３、Ｆ１６６のタイムコードとなる。
　つまり、フレームＦ８２の１フレームの静止画に対して、視点が移動するような自由視点画像を生成する場合である。

　一方、動画ＦＶクリップについては図１１のようになる。この例の場合、前クリップのタイムコードＴＣ１、ＴＣ２は、フレームＦ１、Ｆ１０１のタイムコードとなり、フレームＦ１０２、Ｆ３０２のタイムコードが、図９のタイムコードＴＣ３、ＴＣ４となる。そして後クリップのタイムコードＴＣ５、ＴＣ６は、フレームＦ３０３、Ｆ５０３のタイムコードとなる。
　つまり、フレームＦ１０２からフレーム３０２までの複数フレームの区間の動画に対して、視点が移動するような自由視点画像を生成する場合である。

　従って画像作成コントローラ１が決定する生成対象画像区間とは、図１０の静止画ＦＶクリップを作成する場合は、フレームＦ８２の１フレームの区間となり、図１１の動画ＦＶクリップを作成する場合は、フレームＦ１０２からフレーム３０２までの複数フレームの区間となる。

　図１０の静止画ＦＶクリップの例で、出力クリップの画像内容の例を図１２に示す。
　図１２において、前クリップはフレームＦ１からフレームＦ８１までの実際の動画である。ＦＶクリップではフレームＦ８２の場面において視点を移動させた仮想的な画像となる。後クリップはフレームＦ８３からフレームＦ１６６までの実際の動画である。
　例えばこのようにＦＶクリップを含む出力クリップが生成され、放送する画像として使用される。

＜５．クリップ作成処理＞
　以下、図１の画像処理システムにおいて行われる出力クリップ作成の処理例を説明する。主に画像作成コントローラ１と自由視点画像サーバ２の処理に注目して説明する。
　まず図１３でオペレータＯＰ１、ＯＰ２の操作を含めた処理の流れを説明する。なお図１３におけるオペレータＯＰ１の処理は、画像作成コントローラ１のＧＵＩ処理とオペレータ操作をまとめて示している。またオペレータＯＰ２の処理は、自由視点画像サーバ２のＧＵＩ処理とオペレータ操作をまとめて示している。

・ステップＳ１：シーン選択
　出力クリップを作成する際は、まずオペレータＯＰ１がＦＶクリップとするシーンの選択を行うことになる。例えばオペレータＯＰ１は、画像作成コントローラ１側の表示部７７に表示される撮像画像をモニタリングしながら、ＦＶクリップとしたい場面を探す。そして１フレーム又は複数フレームの生成対象画像区間を選択する。
　この生成対象画像区間の情報は自由視点画像サーバ２に伝えられ、自由視点画像サーバ２側の表示部７７でのＧＵＩによりオペレータＯＰ２が認識できるようにされる。
　生成対象画像区間の情報とは、具体的には図９のタイムコードＴＣ３，ＴＣ４の情報となる。上述のように静止画ＦＶクリップの場合はタイムコードＴＣ３＝ＴＣ４となる。

・ステップＳ２：シーン画像転送指示
　オペレータＯＰ２は、生成対象画像区間の指定に応じて、該当のシーンの画像の転送指示の操作を行う。この操作に応じて自由視点画像サーバ２が、画像作成コントローラ１に対してタイムコードＴＣ３、ＴＣ４の区間の画像データの転送要求を送信する。

・ステップＳ３：同期抽出
　画像データの転送要求に応じて画像作成コントローラ１は、ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄを制御し、画像データＶ１から画像データＶ１６までの１６系統の画像データのそれぞれについて、タイムコードＴＣ３、ＴＣ４の区間の抽出を実行させる。
・ステップＳ４：ＮＡＳ転送
　そして画像作成コントローラ１は画像データＶ１から画像データＶ１６の全てのタイムコードＴＣ３、ＴＣ４の区間のデータをＮＡＳ５に転送させる。

・ステップＳ５：サムネイル表示
　自由視点画像サーバ２ではＮＡＳ５に転送されたタイムコードＴＣ３、ＴＣ４の区間の画像データＶ１から画像データＶ１６についてのサムネイルを表示させる。
・ステップＳ６：シーンチェック
　オペレータＯＰ２は、自由視点画像サーバ２による生成操作画面ＧｇによりタイムコードＴＣ３，ＴＣ４で示される区間のシーン内容を確認する。
・ステップＳ７：カメラパス選択
　オペレータＯＰ２は、シーン内容に応じて、生成操作画面Ｇｇで適切と考えるカメラパスを選択（指定）する。
・ステップＳ８：生成実行
　オペレータＯＰ２は、カメラパス選択を行った後、ＦＶクリップの生成実行の操作を行う。

・ステップＳ９：モデリング
　自由視点画像サーバ２は、画像データＶ１からＶ１６のそれぞれにおけるタイムコードＴＣ３、ＴＣ４の区間のフレームのデータ、及び予め入力されていた各撮像装置１０の配置位置等のパラメータを用いて、被写体の３Ｄモデルの生成や、被写体解析等を行う。
・ステップＳ１０：レンダリング
　自由視点画像サーバ２は、３Ｄモデルデータと被写体解析情報とに基づき自由視点画像を生成する。このとき、ステップＳ７で選択されたカメラパスに基づく視点移動が行われるように自由視点画像を生成する。

・ステップＳ１１：転送
　自由視点画像サーバ２は、生成したＦＶクリップを画像作成コントローラ１に転送する。このとき、ＦＶクリップだけでなく、付随情報として前クリップ、後クリップの指定情報や、前クリップ、後クリップの時間長の指定情報も送信できる。
・ステップＳ１２：クオリティ確認
　なお自由視点画像サーバ２側では、ステップＳ１１の転送に先立って、或いは転送後に、オペレータＯＰ２によるクオリティ確認を行うことができる。即ち自由視点画像サーバ２は、生成したＦＶクリップを生成操作画面Ｇｇで再生表示させオペレータＯＰ２が確認できるようにする。場合によっては、オペレータＯＰ２が転送を実行させずに、ＦＶクリップの生成をやり直すといったことも可能とすることができる。

　ステップＳ１３：プレイリスト生成
　画像作成コントローラ１は、送信されてきたＦＶクリップを用いて出力クリップを生成する。この場合、ＦＶクリップに前クリップ、後クリップの一方又は両方を時間軸上で結合させて出力クリップを生成する。
　この出力クリップは、前クリップとしての各フレームと、ＦＶクリップとしての仮想的に生成した各フレームと、後クリップとしての各フレームを実際に時系列に連結したストリームデータとして生成してもよいが、この処理例では、プレイリストとして仮想的に連結することとしている。
　即ち前クリップとしてのフレーム区間の再生に続いて、ＦＶクリップが再生され、そのあとで後クリップとしてのフレーム区間が再生されるように、プレイリストを生成することで、出力クリップとしての実際に連結したストリームデータを生成しなくとも、出力クリップの再生が可能となるようにする。

　ステップＳ１４：クオリティ確認
　画像作成コントローラ１側のＧＵＩにより、プレイリストに基づく再生を行い、オペレータＯＰ１が出力クリップの内容を確認する。
　ステップＳ１５：再生指示
　オペレータＯＰ１は、クオリティ確認に応じて、所定の操作により再生指示を行う。画像作成コントローラ１は再生指示の入力を認識する。
　ステップＳ１６：再生
　再生指示に応じて画像作成コントローラ１は、出力クリップをスイッチャー６に供給する。これにより出力クリップの放送が実行可能となる。

＜６．カメラ変動検出＞
　自由視点画像の生成のためには、画像データＶ１、Ｖ２・・・Ｖ１６を用いて３Ｄモデルを生成することから、各撮像装置１０の位置情報を含むパラメータが重要となる。
　例えば、放送の途中で或る撮像装置１０の位置が移動されたり、パン方向やチルト方向等に撮像方向が変化されたりした場合には、それに応じたパラメータのキャリブレーションが必要になる。そのため、図１の画像処理システムでは、ユーティリティサーバ８によりカメラの変動検出が行われるようにしている。ここで言うカメラの変動とは、カメラの位置、撮像方向の少なくとも何れかが変化することを意味する。

　図１４により、カメラの変動検出の際の画像作成コントローラ１とユーティリティサーバ８の処理手順を説明する。なお図１４は図１３と同様の形式で処理手順を示しているが、ユーティリティサーバ８についてもオペレータＯＰ２が操作を行う例としている。

・ステップＳ３０：ＨＤ出力
　画像作成コントローラ１は、カメラ変動検出のため、ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄから画像データを画像変換部７に出力させるように制御する。ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄからの画像、即ち１６台の撮像装置１０の画像は、画像変換部７で解像度変換されてユーティリティサーバ８に供給される。

・ステップＳ３１：背景生成
　ユーティリティサーバ８では、供給された画像に基づいて背景画像を生成する。背景画像は、カメラに変動がなければ変化しない画像であるため、例えば選手等の被写体を除いた背景画像を、１６系統の画像データ（Ｖ１からＶ１６）について生成する。
・ステップＳ３２：差分確認
　背景画像はＧＵＩ表示されることで、オペレータＯＰ２は画像の変化を確認できる。
・ステップＳ３３：変動自動検出
　各時点の背景画像を比較処理することで、カメラの変動を自動検出することもできる。

・ステップＳ３４：カメラ変動検出
　上記のステップＳ３３又はステップＳ３２の結果として、或る撮像装置１０の変動が検出される。
・ステップＳ３５：画像取得
　撮像装置１０の変動が検出されたことに応じてキャリブレーションが必要になる。そこでユーティリティサーバ８は、変動後の状態の画像データを画像作成コントローラ１に要求する。
・ステップＳ３６：クリップ抽出
　画像作成コントローラ１は、ユーティリティサーバ８からの画像取得の要求に応じて、ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄを制御し、画像データＶ１からＶ１６についてのクリップ抽出を実行させる。
・ステップＳ３７：ＮＡＳ転送
　画像作成コントローラ１は、ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄに対してクリップとして抽出した画像データをＮＡＳ５に転送させる制御を行う。

・ステップＳ３８：特徴点修正
　ＮＡＳ５への転送により、ユーティリティサーバ８は、カメラ変動後の状態の画像を参照し、また表示させることができる。オペレータＯＰ２は特徴点修正などのキャリブレーションに必要な操作を行う。
・ステップＳ３９：再キャリブレーション
　ユーティリティサーバ８は、カメラ変動後の状態の画像データ（Ｖ１からＶ１６）を用いて、３Ｄモデル生成のためのキャリブレーションを再実行する。

・ステップＳ４０：背景再取得
　キャリブレーション後にオペレータＯＰ２の操作に応じて、ユーティリティサーバ８は背景画像のための画像データの再取得要求を行う。
・ステップＳ４１：クリップ抽出
　画像作成コントローラ１は、ユーティリティサーバ８からの画像取得の要求に応じて、ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄを制御し、画像データＶ１からＶ１６についてのクリップ抽出を実行させる。
・ステップＳ４２：ＮＡＳ転送
　画像作成コントローラ１は、ビデオサーバ４Ａ，４Ｂ，４Ｃ，４Ｄに対してクリップとして抽出した画像データをＮＡＳ５に転送させる制御を行う。
・ステップＳ４３：背景生成
　ユーティリティサーバ８はＮＡＳ５に転送された画像データを用いて背景画像を生成する。これは、例えば以降のカメラ変動検出の基準となる背景画像とされる。

　例えば以上の手順のようにカメラ変動検出やキャリブレーションが行われることで、例えば放送中に撮像装置１０の位置や撮像方向が変化されたような場合にも、それに対応してパラメータが修正されるため、精度のよいＦＶクリップを継続して生成することができる。

＜７．自由視点画像作成のためのＧＵＩ＞
　ここで、自由視点画像を生成するための撮像画像を得る撮像装置１０として、固定カメラ、すなわち位置や向きが固定されたカメラが用いられる場合には、自由視点画像で主に捉えたい特定の選手等の注目被写体が画枠の中心に来ることを保証できず、注目被写体の位置とは異なる位置を視点回転中心として視点の回転が行われてしまい、不自然な自由視点画像となってしまう虞がある。

　図１５は、自由視点画像の開始視点、終了視点それぞれに対応する撮像装置１０の撮像画像の例を示しており、図１５Ａは開始視点となる撮像装置１０の撮像画像の例を、図１５Ｂは終了視点となる撮像装置１０の撮像画像の例を示している。
　ここではゴルフのティーショットのシーンを例示しているが、この場合にはティーグラウンド上の何れの位置に注目被写体としての選手が立つかが定かではないため、撮像装置１０の位置や向きが固定であると、画枠の中心に注目被写体を捉えることができない虞がある。この場合において、仮に、画枠の中心となる位置（三次元空間上の位置）に視点の回転中心を設定して視点移動が行われてしまうと、不自然な自由視点画像となる虞がある。

　そこで本実施形態では、自由視点画像の生成にあたり、視点回転中心の位置の指定操作を受け付けるようにする。例えば、注目被写体の位置に視点回転中心の位置を指定することで、注目被写体の位置を中心に視点が移動する自由視点画像を得ることができる。

　また、本例では、自由視点画像としては、撮像装置１０の撮像画像の画像サイズを元サイズとしたときに、元サイズの画像からより小サイズの画像に切り出した（カットアウトした）画像として生成する。

　図１６は、画像切り出しのイメージ図であり、図１６では図１５Ａに示した画像からの切り出しを、図１６Ｂでは図１５Ｂに示した画像からの切り出しをそれぞれ例示している。
　本例では、上記した元サイズは４ｋサイズであり、自由視点画像の画像サイズはＦＨＤ（Full HD）サイズであるとする。

　上記のような切り出しを行うことで、元サイズの画像では注目被写体が画枠中心から大きく外れた位置に捉えられていたとしても、自由視点画像においては、注目被写体を画枠中心に近い位置に位置させることが可能となる。

　上記の前提を踏まえ、図１７から図２９を参照して自由視点画像作成のためのＧＵＩの例について説明する。なお、図１７から図２９では、生成操作画面Ｇｇの例として、前述した１ＦＶに対応する画面の例を示す。

　図１７は、生成操作画面Ｇｇの初期画面の例を示している。
　前述もしたように、生成操作画面Ｇｇには、シーンウインドウ４１、シーンリスト表示部４２、カメラパスウインドウ４３、カメラパスリスト表示部４４、対象空間画像表示部４５、及び送信ウインドウ４６が配置される。
　シーンウインドウ４１は、上述した生成対象画像区間の画像のモニタ表示が行われる表示領域であり、ユーザ（本例ではオペレータＯＰ２）が自由視点画像を生成するシーンの内容を確認できるようにされている。初期画面では、生成対象画像区間の画像指定は行われていないため、シーンウインドウ４１における画像表示は行われていない。

　シーンリスト表示部４２には、例えば生成対象画像区間に指定されたシーンのリストが表示される。ユーザは、シーンリスト表示部４２に表示されたシーンのリストから、自由視点画像の生成対象とするシーンを指定することができる。

　図１８は、シーン指定後の生成操作画面Ｇｇの様子を例示している。
　シーンリスト表示部４２でのシーン指定が行われることで、シーンウインドウ４１には、指定されたシーンにおける各撮像装置１０の撮像画像が表示される。これによりユーザは、生成操作画面Ｇｇにおいて、各撮像装置１０がそれぞれどのような構図で注目被写体を捉えているかを容易に把握することができる。

　生成操作画面Ｇｇにおいて、カメラパスリスト表示部４４には、予め作成されて記憶されているカメラパスの情報がリスト表示される。具体的に本例では、前述したプリセット画面Ｇｓ（図８）を通じてユーザがプリセットしたカメラパスの情報がリスト表示されるものである。
　自由視点画像を作成する上で、ユーザは、カメラパスリスト表示部４４に表示されたカメラパスのうちから所望のカメラパスを指定する操作を行う。なお、図中では、カメラパスのプリセットが１つのみとされ、カメラパスリスト表示部４４には１つのカメラパスの情報のみが表示されている例としている。

　図１９は、カメラパスリスト表示部４４からカメラパスが指定された場合の生成操作画面Ｇｇの様子を例示している。
　カメラパスリスト表示部４４においてカメラパスが指定されると、カメラパスウインドウ４３において、指定されたカメラパスの情報に従った情報表示が行われる。具体的には、開始カメラの位置を示す情報である開始カメラ位置情報５１、終了カメラの位置を示す情報である終了カメラ位置情報５２、自由視点画像における視点の移動軌跡を示す情報である視点移動軌跡情報５３、及び自由視点画像の視点回転中心の位置を示す情報である回転中心位置情報５４が表示される。
　ここで、カメラパスリスト表示部４４においてカメラパスが指定された直後の状態では、回転中心位置情報５４は、所定の初期位置を示す位置に表示される。

　また、カメラパスリスト表示部４４においてカメラパスが指定されると、シーンウインドウ４１においては、指定されたカメラパスの情報に含まれる開始カメラ、終了カメラの番号の情報に基づき、開始カメラに該当する撮像装置１０の撮像画像、終了カメラに該当する撮像装置１０の撮像画像に開始カメラのマーク（例えば「Ｓ」のマーク）、終了カメラのマーク（例えば「Ｅ」のマーク）が付される。

　さらに、カメラパスリスト表示部４４においてカメラパスが指定されると、対象空間画像表示部４５においては、指定されたカメラパスの情報に含まれる開始カメラ、終了カメラの番号の情報に基づき、開始カメラに該当する撮像装置１０の撮像画像、終了カメラに該当する撮像装置１０の撮像画像が、対象空間撮像画像として表示される。
　具体的に、対象空間画像表示部４５には、開始カメラの撮像画像を表示するための開始カメラ画像表示領域５６と、終了カメラの撮像画像を表示するための終了カメラ画像表示領域５７とが設けられ、開始カメラに該当する撮像装置１０の撮像画像、終了カメラに該当する撮像装置１０の撮像画像は、これら領域のうち該当する領域にそれぞれ表示される。

　ここで、開始カメラ画像表示領域５６、終了カメラ画像表示領域５７においては、対象空間撮像画像上に、それぞれ画枠情報５８、回転中心位置情報５９、及び指定可能範囲情報Ａｐが表示される。
　画枠情報５８は、生成するＦＶクリップの画枠を示す情報であり、回転中心位置情報５９は、ＦＶクリップの視点回転中心の位置を示す情報である。
　ここで、開始カメラ画像表示領域５６に表示する画枠情報５８、回転中心位置情報５９について、終了カメラ画像表示領域５７に表示する同情報と区別する場合には、図示のように画枠情報５８ｓ、回転中心位置情報５９ｓと表記する。また、終了カメラ画像表示領域５７に表示する画枠情報５８、回転中心位置情報５９については、それぞれ画枠情報５８ｅ、回転中心位置情報５９ｅと表記する。

　なお、対象空間画像表示部４５に表示される回転中心位置情報５９についても、前述した回転中心位置情報５４と同様に、カメラパスが指定された直後の状態では所定の初期位置に表示されるものとなる。図２０では、該初期位置が注目被写体の位置に略一致している例を示しているが、勿論、該初期位置が注目被写体の位置に必ずしも一致するものではない。

　指定可能範囲情報Ａｐは、ＦＶクリップの視点回転中心位置を指定可能な範囲を示す情報である。
　ここで、視点回転中心を広大な範囲で指定可能としようとすると、自由視点画像生成に用いる３Ｄモデルを生成すべき範囲が広大となってしまい、非常に多くの撮像装置１０を用意することが必要となったり、処理負担が過剰となったりする等の虞がある。そのため、本実施形態では、視点回転中心を設定可能な範囲を、指定可能範囲として予め定めるものとしている。
　本例では、この指定可能範囲は、実際に配置された撮像装置１０の台数や配置態様に基づいてユーザが事前に算出した範囲として設定されている。
　なお、視点回転中心の指定可能範囲は、ユーザ操作に基づき調整可能としてもよい。また、指定可能範囲情報Ａｐについては、実際に配置された撮像装置１０の台数や配置態様に基づいてコンピュータ装置が算出するものであってもよい。

　本実施形態において、視点回転中心の位置の指定は、後述もするように対象空間画像表示部４５における回転中心位置情報５９ｓ、５９ｅに対する操作によって行うことが可能とされるが、本例では、視点回転中心の位置の指定は、カメラパスウインドウ４３に表示された回転中心位置情報５４に対する操作によっても行うことが可能とされる。
　具体的には、図２０から図２１の遷移として示すような、回転中心位置情報５４をドラッグ&ドロップ（drag-and-drop）操作等により移動させる操作によって、視点回転中心の位置指定を行うことが可能とされる。

　本例では、上記のように回転中心位置情報５４を移動させる操作が行われると、図２０から図２１の遷移として示すように、対象空間画像表示部４５における回転中心位置情報５９ｓ、５９ｅもこれに連動して移動する。このように対象空間画像表示部４５における回転中心位置情報５９ｓ、５９ｅが連動して動くことで、カメラパスウインドウ４３における位置指定操作であっても、対象空間撮像画像上の回転中心位置情報５９ｓ、５９ｅが動くことにより、視点回転中心位置がどの位置であるかをユーザに容易にイメージさせることができる。
　カメラパスウインドウ４３における回転中心位置情報５４に対する操作で視点回転中心の位置を指定する場合は、開始カメラ、終了カメラの視点回転中心の位置は、カメラパスウインドウ４３内で指定された位置としての同一の位置となる。

　本例では、視点回転中心の位置の指定は、上述した指定可能範囲情報Ａｐが示す指定可能範囲内に限られる。
　具体的に、自由視点画像サーバ２において操作受付部３２ｂ（図５参照）は、指定可能範囲内における視点回転中心の位置指定操作のみを有効な位置指定操作として受け付ける。
　一例としては、回転中心位置情報５４の移動範囲を指定可能範囲内のみに制限することが考えられる。例えば、指定可能範囲外へ移動させようとしても、回転中心位置情報５４が指定可能範囲の端部に位置された時点で回転中心位置情報５４の移動を停止させるような挙動とすることが考えられる。
　或いは、回転中心位置情報５４の指定可能範囲外への移動は許容するが、所定時間後に回転中心位置情報５４を指定可能範囲内に戻すとった挙動とすることも考えられる。
　なお、このように指定可能範囲内における視点回転中心の位置指定操作のみを有効な位置指定操作として受け付けることは、後述する回転中心位置情報５９ｓ、５９ｅを用いた位置指定操作についても同様である。

　カメラパスウインドウ４３においては、プリセットのカメラパス情報の編集を行うことも可能とされる。具体的に、本例のカメラパスウインドウ４３においては、ＦＶクリップの視点の移動軌跡の円弧の深さ（円弧の径）を調整することが可能とされる。
　このような円弧の深さの調整としてのプリセット情報の編集は、前述したカメラパス編集処理部３２ｃ（図５参照）により実現されるものである。

　図２２は、視点移動軌跡の円弧の深さの調整のためのＧＵＩを例示している。
　視点移動軌跡の円弧の深さの調整は、例えば図２２Ａから図２２Ｂへの遷移として示すように、視点移動軌跡情報５３に対する操作、具体的には、視点移動軌跡情報５３としての円弧を示す線の中央部をドラッグ&ドロップ操作等により移動させる操作として行う。図２２Ｂに示すように、視点移動軌跡情報５３の中央部を円弧の凸方向に移動させる操作を行うと円弧の深さを深くする（曲率半径を小さくする）ことの指示となる。逆に、視点移動軌跡情報５３の中央部を円弧の凸方向とは逆方向に移動させる操作を行うと円弧の深さを浅くする（曲率半径を大きくする）ことの指示となる。

　なお、視点移動軌跡の形状を調整するためのＧＵＩとしては上記例に限定されるものではなく、例えば円弧の深さの例で言えば、視点移動軌跡情報５３とは別途に配置したスライダーを動かす操作で円弧の深さを指定したり、ＵｐボタンやＤｏｗｎボタンの操作で円弧の深さ（例えば曲率半径の数値）を指定したりする等の他の態様を採用することもできる。

　図２３から図２５は、対象空間画像表示部４５における視点回転中心位置の指定操作及びＧＵＩについての説明図である。なお、以下では操作やＧＵＩの例として開始カメラ側の操作を代表して説明するが、終了カメラ側についても操作やＧＵＩは同様となる。

　図２３及び図２４は、視点回転中心の高さ位置の指定についての説明図である。
　先ず、本例において回転中心位置情報５９は、視覚的には略円筒状の外形形状を有している。
　本例では、回転中心位置情報５９は、視点回転中心の高さを示す情報を含むものであり、具体的には、図２３Ａに示すように視点回転中心の高さ位置を示す中心高さ情報Ｈａが回転中心位置情報５９の一部情報として表示される。本例では、回転中心位置情報５９の外形形状が略円筒状とされることに伴い、中心高さ情報Ｈａは略円盤状の形状とされている。

　視点回転中心の高さ位置の指定を行う場合は、回転中心位置情報５９における中心高さ情報Ｈａをクリック操作等により選択する操作を行う。すると、図２３Ｂに示すように、中心高さ情報Ｈａの表示色が変わる等、中心高さ情報Ｈａの表示態様が変化する。これにより、ユーザに対し視点回転中心の高さ位置の指定モードに遷移したことを把握させることができる。
　このように高さ位置の指定モードに遷移することで、中心高さ情報Ｈａを例えば図２４に例示するように上下方向に移動させることが可能となる。このような中心高さ情報Ｈａの移動操作により、視点回転中心の高さ位置（換言すれば、自由視点画像の仰俯角）の指定を行うことができる。

　図２５は、視点回転中心の位置指定（水平方向での位置指定）の操作例を説明するための図である。
　視点回転中心の水平方向の位置指定操作は、回転中心位置情報５９のドラッグ&ドロップ操作等により移動させる操作となる。視点回転中心の水平方向位置の指定を行う場合には、回転中心位置情報５９の外縁部をクリック操作等により選択する操作を行う（図２５Ａ参照）。すると、図２５Ｂに示すように、回転中心位置情報５９の外縁部の表示色が変化する等、該外縁部の表示態様が変化する。これにより、ユーザに対し視点回転中心の水平方向位置の指定モードに遷移したことを把握させることができる。
　このように水平方向位置の指定モードに遷移することで、回転中心位置情報５９を水平方向に移動させることが可能となり、視点回転中心の水平方向位置の指定を行うことが可能となる。

　図２６及び図２７は、切り出しの画枠指定のための操作例を説明するための図である。
　なお、以下では画枠指定の操作やＧＵＩの例についても開始カメラ側の例を代表して説明するが、終了カメラ側についても操作やＧＵＩは同様である。
　本例では、画枠情報５８は、画枠の外縁を示す四角形状の線と、画枠の縦中心線及び横中心線を示す情報とされている。

　本例において、画枠情報５８は、カメラパスリスト表示部４４でカメラパスが指定された直後の段階では、元画像サイズと同サイズの枠として表示されている。
　画枠のサイズを指定する場合には、図２６Ａに示すように、画枠の外縁部をクリック操作等により選択する。すると、画枠の外縁部の表示色が変化する等、該外縁部の表示態様が変化する。これにより、ユーザに対し画枠のサイズ指定モードに遷移したことを把握させることができる。
　このようにサイズ指定モードに遷移することで、画枠情報５８の外縁部をドラッグ&ドロップ操作等で移動させる操作を行うことで、図２６Ｂに示すように、画枠の外縁部のサイズ、つまり画枠自体のサイズを変化させることが可能となり、切り出しサイズの指定を行うことが可能となる。

　図２７は、画枠の位置指定の操作例を説明するための図である。
　画枠の位置を指定する場合には、図２７Ａに示すように、画枠の縦中心線と横中心線との交差部分（つまり画枠の中心部分）をクリック操作等により選択する操作を行う。すると、図２７Ｂに示すように、画枠の縦中心線及び横中心線の表示色が変化する等、これら縦中心線及び横中心線の表示態様が変化（このとき、画枠の外縁部の表示態様は元に戻る）して、ユーザに対し画枠の位置の指定モードに遷移したことを把握させることができる。
　このように画枠の位置指定モードに遷移することで、画枠情報５８をドラッグ&ドロップ操作等で移動させる操作を行うことで、画枠の位置を指定することが可能となる。すなわち、元サイズの画像からの切り出し位置の指定を行うことができる。

　なお、切り出し画枠のサイズ指定については、例えば図２８に例示するように、対象空間画像表示部４５において開始カメラ画像表示領域５６、終了カメラ画像表示領域５７ごとにサイズ指定のためのスライダー操作部６０ｓ、６０ｅを設けることも考えられる。この場合は、例えばスライダーをドラッグ&ドロップ操作等で移動させる操作を行うことで、サイズの指定を可能とする。
　或いは、図中のサイズ指定操作部６１ｓ、６１ｅとして例示するような、Ｕｐボタン及びＤｏｗｎボタンによりサイズの指定を可能とする操作部を設けることも考えられる。この場合は、Ｕｐボタンの操作に応じて画枠サイズを拡大し、Ｄｏｗｎボタンの操作に応じて画枠サイズを縮小する。

　本例では、開始カメラ画像表示領域５６、終了カメラ画像表示領域５７に表示された回転中心位置情報５９ｓ、回転中心位置情報５９ｅ、画枠情報５８ｓ、５８eにより、開始カメラ、終了カメラのそれぞれについて、視点回転中心の位置（本例では高さ位置を含む）と、切り出し画枠の位置及びサイズを個別に設定する（つまり異なる位置やサイズに設定する）ことが可能とされている。

　図２９は、回転中心位置情報５４や回転中心位置情報５９による視点回転中心位置の指定と、画枠情報５８による切り出し画枠の位置及びサイズの指定が完了した際の生成操作画面Ｇｇの様子を例示している。
　ユーザは、視点回転中心位置、切り出し画枠の位置及びサイズの指定が完了した場合には、生成操作画面Ｇｇに設けられたエクスポートボタンＢ３を操作することでＦＶクリップの生成を自由視点画像サーバ２（画像生成処理部３２）に指示することができる。
　画像生成処理部３２は、エクスポートボタンＢ３が操作されたことに応じて、指定された視点回転中心位置と、切り出し画枠の位置及びサイズの情報に基づいてＦＶクリップの生成を行う。
前述のように、生成されたＦＶクリップは、送信制御部３３によりＮＡＳ５を介して画像作成コントローラ１に送信される。

ここで、本実施形態では、ＦＶクリップの前後にはそれぞれ前クリップ、後クリップが連結されることになるため、対象空間画像表示部４５における画枠情報５８による画枠の位置及びサイズの指定、すなわち切り出しの位置及びサイズの指定は、前クリップ、後クリップについての切り出しの位置及びサイズの指定にもなる。
　本例において、送信制御部３３は、画枠情報５８により指定された切り出しの位置及びサイズの情報を画像作成コントローラ１に送信する制御を行う。
　画像作成コントローラ１では、このように送信された切り出しの位置及びサイズの情報に従って、前クリップ、後クリップそれぞれの切り出し処理を行う。

　なお、上記では、開始カメラ、終了カメラの視点回転中心位置を回転中心位置情報５９ｓ、５９ｅによりそれぞれ独立して指定可能な例としたが、開始カメラと終了カメラとで視点回転中心位置を同一位置にのみ指定可能とすることもできる。
その場合、表示処理部３２ａは、回転中心位置情報５９ｓ、５９ｅのうち一方を移動させると、他方も連動して移動するように、回転中心位置情報５９ｓ、５９ｅの表示制御を行うようにする。

　また、上記では、１ＦＶに対応した生成操作画面Ｇｇを説明したが、上記により説明したカメラパス情報の指定や視点回転中心位置、切り出し画枠の位置及びサイズの指定に係るＧＵＩは２ＦＶの場合にも適用可能である。

　図３０は、２ＦＶに対応した生成操作画面Ｇｇ’の一例を示している。
　例えば図３０に示すように、２ＦＶに対応する場合には、カメラパスリスト表示部４４において、第一のＦＶクリップと第二のＦＶクリップとの指定を可能とするためのＦＶ指定操作部６２を設ける。２ＦＶの場合、カメラパスリスト表示部４４には、前述したプリセット画面Ｇｓにおいて２ＦＶ用に生成されたカメラパス情報がリスト表示される。

　また、生成操作画面Ｇｇ’において、対象空間画像表示部４５には、２ＦＶへの対応として、開始カメラ画像表示領域５６と終了カメラ画像表示領域５７との間にトランジットカメラ画像表示領域５７’が設けられる。

　図３０では、ＦＶ指定操作部６２において、第一のＦＶクリップを表す「１」が指定された場合の生成操作画面Ｇｇ’の様子を例示しているが、この場合、対象空間画像表示部４５においては、開始カメラ画像表示領域５６に開始カメラとしての撮像装置１０による撮像画像が表示され、トランジットカメラ画像表示領域５７’にはトランジットカメラとしての撮像装置１０による撮像画像が表示される。トランジットカメラ画像表示領域５７’には、画枠情報５８、回転中心位置情報５９として、それぞれ画枠情報５８ｔ、回転中心位置情報５９ｔが表示され、これら画枠情報５８ｔ、回転中心位置情報５９ｔによってトランジットカメラについての切り出し画枠の位置及びサイズ、視点回転中心位置の指定を行うことが可能とされる。

　一方、ＦＶ指定操作部６２において第二のＦＶクリップを表す「２」が指定された場合には、図３１に例示するように、対象空間画像表示部４５において、トランジットカメラ画像表示領域５７’にトランジットカメラとしての撮像装置１０による撮像画像が表示され、終了カメラ画像表示領域５７に終了カメラとしての撮像装置１０による撮像画像が表示される。なお確認のため述べておくと、第二のＦＶクリップの場合、トランジットカメラ画像表示領域５７’には、第二のＦＶクリップについて指定されたシーン（時刻）におけるトランジットカメラの撮像画像が表示される。

　例えば上記のような生成操作画面Ｇｇ’により、ユーザは２ＦＶの場合における第一、第二のＦＶクリップそれぞれについて視点回転中心位置や切り出し画枠の位置及びサイズの指定を行うことができる。

　なお、２ＦＶに対応する生成操作画面Ｇｇ’について、対象空間画像表示部４５にトランジットカメラ画像表示領域５７’を設けることは必須ではない。少なくとも２つの画像表示領域が設けられていれば、第一、第二のＦＶクリップのそれぞれの指定状態で表示切り替えを行うことで、これら第一、第二のＦＶクリップについて開始カメラ、終了カメラごとの視点回転中心位置、切り出し画枠の位置及びサイズの指定を行わせることが可能である。

＜８．実施形態の自由視点画像生成について＞
　続いて、実施形態における自由視点画像生成について説明する。
　本実施形態では、ＦＶクリップに連結される前クリップ、後クリップは、前述した画枠情報５８ｓ、５８ｅに従って画像データＶから切り出された画像とされる。

　図３２は、切り出し画像における被写体の見え方についての説明図である。
　図３２Ａは、前クリップ又は後クリップとしての、実カメラ（撮像装置１０）による撮像画像から切り出された画像における被写体の見え方を模式的に表している。
　前クリップや後クリップと連結されるＦＶクリップ、すなわち３Ｄモデルを所定の視点から捉える仮想カメラの画像としては、図３２Ｂの破線で示すように、前クリップや後クリップでの切り出し範囲の被写体を正面から捉えた画像とすることが考えられるが、図３２Ａと対比して分かるように、このような仮想カメラを設定したのでは、被写体の見え方は、前クリップや後クリップでの被写体の見え方と異なってしまう。すなわち、前クリップや後クリップでの切り出し範囲の中心を画角中心とする仮想カメラを設定しても、該仮想カメラによる画像では、切り出し画像と同じ見え方で被写体を捉えることはできない。

　そこで、本実施形態では、ＦＶクリップを構成する各フレーム画像についても切り出し画像とする。すなわち、該当する視点から３Ｄモデルを捉える仮想カメラの画像として、前クリップや後クリップと同様に先ずは元サイズ（本例では４ｋサイズ）の画像を生成し、そこからの切り出し画像として生成する（図３２Ｃ参照）。具体的に、例えばＦＶクリップの開始視点の画像、すなわち前クリップと同視点となる開始カメラの画像については、前クリップの撮像装置１０と同じ画角及び撮像方向による元サイズ（本例では４ｋサイズ）の画像を生成した上で、該画像に対し、画枠情報５８ｓで指定された画枠位置及びサイズでの画像切り出しを行って生成する。また、終了視点の画像、すなわち後クリップと同視点となる終了カメラの画像については、後クリップの撮像装置１０と同じ画角及び撮像方向による元サイズの画像を生成した上で、該画像に対し、画枠情報５８ｅで指定された画枠位置及びサイズでの画像切り出しを行って生成する。
　ＦＶクリップにおける開始視点直後のフレームから終了視点直前のフレームまでの各フレーム画像についても同様に、該当する視点から３Ｄモデルを捉える仮想カメラの画像として元サイズの画像を生成し、該画像に対して該当する位置及びサイズの画枠で切り出しを行って生成する。
　これにより、ＦＶクリップに連結される画像が切り出し画像とされる場合において、ＦＶクリップにおける被写体の見え方が該ＦＶクリップに連結される画像とは異なることに起因して生じる違和感の緩和を図ることができる。

　ここで、上記のようにＦＶクリップ中の各フレーム画像を切り出し画像とする場合には、元サイズからの切り出しは、できるだけ元サイズ画像の中心と切り出し画枠中心とが一致する切り出しとして行われることが望ましい。ここで、以下、元サイズ画像の中心と切り出し画枠中心とが一致する切り出しのことを「中心切り出し」と略称する。
　このような中心切り出しは、元サイズ画像の中心と切り出し画枠中心とが一致しない切り出しよりも、処理負担が軽くできるものであり、中心切り出しとなるフレーム数を増やすことで、切り出しに係る処理負担の軽減を図ることができる。

　そこで、本実施形態では、ＦＶ中（つまり視点の移動中）において、切り出し画枠の中心を、開始カメラで指定された位置から徐々に遷移させていくことで、ＦＶの途中におけるフレーム画像の生成が、中心切り出しにより行われるようにする。

　図３３は、ＦＶクリップ中における切り出し位置の遷移についての説明図である。
　先ず、本例では、ＦＶクリップにおける開始カメラについては、前クリップの撮像装置１０と同じ視点であり、切り出し画枠の位置については画枠情報５８ｓで指定された位置となる。
　開始視点フレームの直後フレーム以降の所定数のフレームでは、切り出し画枠の中心位置を、開始カメラで指定された位置（図中、画枠内の左上の破線）から元サイズ画像の中心位置に徐々に近づけていく。そして、切り出し画枠の中心位置が元サイズ画像の中心位置と一致した以降の所定数のフレームでは、切り出し画枠の中心位置を元サイズ画像の中心位置と一致させた状態を維持し、その後、終了視点フレームの直前フレームまでの所定数のフレームでは、切り出し画枠の中心位置を、徐々に終了カメラで指定された切り出し画枠の位置（図中、画枠内の右下の破線）に近づけていく。
　これにより、ＦＶの途中におけるフレーム画像の生成が中心切り出しにより行われるようにすることができ、処理負担の軽減を図ることができる。

　ここで、上記のように切り出し画枠の位置を元サイズ画像の中心位置に近づけていくのみでは、ＦＶの途中で注目被写体が切り出し画枠からフレームアウトしてしまう虞がある。
　このため本実施形態では、切り出し画枠の位置を遷移させるにあたり、視点回転中心の位置も徐々に遷移させるということも行う。

　ＦＶクリップ中における各フレームでの視点は、それぞれ所定の視点に定められている。このため、視点回転中心の位置を変化させることで、視点からの視線方向を変化させることができ、切り出し画枠の位置の遷移に伴って注目被写体が画枠内からフレームアウトしてしまうことの防止を図ることができる。

　ここで、図３３では、開始カメラで指定された切り出し画枠の位置から終了カメラで指定された切り出し画枠の位置まで切り出し画枠の位置を遷移させると、自然にＦＶ途中で中心切り出しが行われる例を示した。
　しかしながら、図３４に例示するように、開始カメラで指定された切り出し画枠の位置から終了カメラで指定された切り出し画枠の位置まで切り出し画枠の位置を遷移させても、ＦＶ途中に中心切り出しが行われないケースもある。具体的に、図３４の例では、開始カメラで指定された切り出し画枠の位置は、元サイズ画像の画枠内の左上部分、終了カメラで指定された切り出し画枠の位置は元サイズ画像の画枠内の左下部分となっており、ＦＶ中に切り出し画枠の位置を開始カメラでの指定位置から終了カメラでの指定位置に向けて徐々に遷移させていっても、中心切り出しが行われる区間が存在しないことになる。
　本実施形態では、このように切り出し画枠の位置を開始カメラでの指定位置から終了カメラでの指定位置に向けて遷移させても中心切り出しが行われないケースであっても、ＦＶ中に中心切り出しが行われる区間が得られるように、切り出し画枠の位置の遷移を行う。

　なお、上記ではＦＶ中における切り出し画枠の遷移として、切り出し画枠の位置の遷移を説明したが、切り出し画枠のサイズについても遷移を行うことができる。具体的には、開始カメラで指定された切り出し画枠のサイズと終了カメラで指定された切り出し画枠のサイズとが異なる場合において、開始カメラで指定された切り出し画枠のサイズから終了カメラで指定された切り出し画枠のサイズへと徐々に遷移させるといったものである。

　ここで、ＦＶ中の切り出し画枠の位置の遷移については、中心切り出しとなる位置を経由させることに限定されない。例えば、図３４のケースにおいて、開始カメラで指定された切り出し画枠の位置から、中心切り出しとなる位置を経由せず、終了カメラで指定された切り出し画枠の位置まで切り出し画枠の位置を遷移させることも可能である。

　また、開始カメラで指定された切り出し画枠の位置と、終了カメラで指定された切り出し画枠の位置とが一致する場合もある。その場合には、ＦＶ中に切り出し画枠の位置の遷移を行わないことも可能である。

＜９．処理手順＞
　図３５のフローチャートを参照し、上述した実施形態としての自由視点画像の生成手法を実現するための処理手順例を説明する。具体的には、前述した表示処理部３２ａ、操作受付部３２ｂ、及びカメラパス編集処理部３３ｃを含む画像生成処理部３２としての機能を実現するための処理手順例である。
　なお、図３５に示す処理は、自由視点画像サーバ２におけるＣＰＵ７１が例えば記憶部７９等に記憶されたプログラムに基づいて実行する。

　先ず、ステップＳ１０１でＣＰＵ７１は、生成操作画面Ｇｇの表示指示を待機する。例えば、自由視点画像サーバ２にインストールされているＦＶクリップ生成のためのソフトウエアプログラムの立ち上げを指示する操作を待機する。
　生成操作画面Ｇｇの表示指示があった場合、ＣＰＵ７１はステップＳ１０２に進んで生成操作画面Ｇｇの表示処理を行う。すなわち、表示部７７の画面上に生成操作画面Ｇｇの初期画面（図１７参照）を表示させるための処理を行う。

　ステップＳ１０２に続くステップＳ１０３でＣＰＵ７１は、シーン指定を待機する。すなわち、シーンリスト表示部４２におけるシーンの指定操作を待機する。
　シーン指定が行われた場合、ＣＰＵ７１はステップＳ１０４に進み、指定シーンに応じた画像をシーンウインドウ４１に表示させる処理を行う。すなわち、指定されたシーンにおける各撮像装置１０の撮像画像（画像データＶ）をシーンウインドウ４１に表示させる処理を行う（図１８参照）。

　ステップＳ１０４に続くステップＳ１０５でＣＰＵ７１は、カメラパス指定を待機する。すなわち、カメラパスリスト表示部４４におけるカメラパス情報の指定操作を待機する。

　カメラパス指定があった場合、ＣＰＵ７１はステップＳ１０６で指定されたカメラパスに応じた表示更新処理を行う。すなわち、先の図１９で説明したように、カメラパスウインドウ４３における開始カメラ位置情報５１、終了カメラ位置情報５２、視点移動軌跡情報５３、回転中心位置情報５４の表示や、シーンウインドウ４１における開始カメラの「Ｓ」マーク、終了カメラの「Ｅ」マークの表示や、対象空間画像表示部４５における開始カメラ画像表示領域５６、終了カメラ画像表示領域５７における開始カメラの撮像画像、終了カメラの撮像画像の表示、さらには画枠情報５８ｓ、５８ｅ、回転中心位置情報５９ｓ、５９ｅ、及び指定可能範囲情報Ａｐの表示がそれぞれ行われるように、生成操作画面Ｇｇの表示内容を更新する処理を行う。

　ステップＳ１０６に続くステップＳ１０８でＣＰＵ７１は、画面操作に応じた表示更新処理を実行する。具体的には、図２０及び図２１を参照して説明したカメラパスウインドウ４３における回転中心位置情報５４に対する操作に応じた表示更新処理や、図２２を参照して説明した視点移動軌跡情報５３に対する操作に応じた表示更新処理、さらには、図２３から図２８を参照して説明した画枠情報５８ｓ、５８ｅや回転中心位置情報５９ｓ、５９ｅ（中心高さ情報Ｈａを含む）に対する操作に応じた表示更新処理等を行う。
　なお、先に説明したように、回転中心位置情報５４や回転中心位置情報５９ｓ、５９ｅによる視点回転中心の位置指定操作に関しては、指定可能範囲情報Ａｐが示す指定可能範囲内での指定操作のみを有効な指定操作として受け付けるようにする。

　ステップＳ１０７に続くステップＳ１０８でＣＰＵ７１は、画像生成実行指示が行われたか否かを判定する。つまり、ＦＶクリップの生成実行指示の操作が行われたか否かを判定するもので、具体的に本例ではエクスポートボタンＢ３の操作が行われたか否かを判定する処理となる。
　画像生成実行指示がなかった場合、ＣＰＵ７１はステップＳ１０７に戻り、画面操作に応じた表示更新処理を行う。

　一方、画像生成実行指示があった場合、ＣＰＵ７１はステップＳ１０９に進んでＦＶクリップ生成処理を行う。すなわち、ステップＳ１０７の画面操作によって指定された開始カメラ、終了カメラそれぞれの視点回転中心位置、切り出し画枠の位置及びサイズの情報や、指定されたカメラパス情報が示す視点移動軌跡の情報に基づいたＦＶクリップの生成処理を実行する。なお、本実施形態におけるＦＶクリップの具体的生成手法については図３２から図３４を参照して説明済みであるため重複説明は避ける。

　ＣＰＵ７１は、ステップＳ１０９の処理を実行したことに応じて図３５に示す一連の処理を終える。

＜１０．変形例＞
　なお、実施形態としては上記により説明した具体例に限定されるものではなく、多様な変形例としての構成を採り得る。
　例えば、上記では、図３６に示すように、自由視点画像サーバ２が切り出しを含む自由視点画像の生成を行い、画像作成コントローラ１が前クリップ、後クリップの切り出しを行い、且つ切り出し後の前クリップと後クリップと自由視点画像サーバ２から取得した自由視点画像（切り出し有り）とを取得クリップとしてスイッチャー６に出力するという処理分担の例を挙げた。
　このような処理分担とすることで、自由視点画像サーバ２から画像作成コントローラ１への自由視点画像の転送データ量や転送時間の低減を図ることができる。

　しかしながら、処理分担の手法については該手法に限定されるものではない。
　例えば、図３７に示すように、画像作成コントローラ１が切り出しなしの前クリップ、後クリップを作成し、自由視点画像サーバ２が切り出しありの自由視点画像の生成、及び画像作成コントローラ１から取得した前クリップ、後クリップについての切り出しを行う手法とすることもできる。この場合、画像作成コントローラ１は、自由視点画像サーバ２から切り出し後の前クリップと後クリップ、及び自由視点画像を取得し、これらを出力クリップとしてスイッチャー６に出力する。
　この図３７のように前クリップ、後クリップ、自由視点画像の全てについての画像切り出しを自由視点画像サーバ２が行う手法とすることで、前クリップと後クリップに対するレンズ歪み補正や自由視点画像に対するレンズ歪み付加処理（仮想カメラの画像を実カメラの画像に近づけるための処理）を高精度に行うことができる。

　或いは、図３８に示すように、画像作成コントローラ１の後段に切り出し部９を設けて、この切り出し部９が前クリップと後クリップ、及び自由視点画像の全ての切り出しを行うという手法を採ることもできる。この場合、画像作成コントローラ１、自由視点画像サーバ２は、それぞれ前クリップと後クリップ、自由視点画像について切り出しを行わないことは言うまでもない。
　図３８の手法とした場合には、画像作成コントローラ１、自由視点画像サーバ２において切り出し処理が不要となるので、前クリップや後クリップ、自由視点画像について切り出しを行わない既存のＦＶ作成システムをそのまま流用できるという利点がある。
　また、画像作成コントローラ１の後段においてオペレータが画像内容を確認しながら切り出し位置の微調整を行うことができるという利点もある。

　ここで、上記では、視点回転中心の位置が回転中心位置情報（５４，５９）に対するユーザの操作で指定される例を挙げたが、視点回転中心の位置は、対象空間撮像画像に対する画像認識処理の結果に基づき決定することもできる。
　例えば、この場合の画像認識処理としては、画像生成処理部３２（表示処理部３２ａ）は、対象空間撮像画像内から注目被写体（例えば、特定の選手等の特定被写体）を認識する処理として行う。
　例えば、上述した実施形態のように開始カメラ、終了カメラそれぞれの撮像画像を対象空間撮像画像として表示し、開始カメラ、終了カメラについて視点回転中心の位置を指定可能とされる場合には、開始カメラの撮像画像、終了カメラの撮像画像のそれぞれについて注目被写体を認識する画像認識処理を行い、注目被写体が存在する位置に視点回転中心の位置を決定するということが考えられる。
　ここで、画像認識処理の結果に基づき決定した視点回転中心の位置は、そのまま自由視点画像の生成に用いても良いし、開始カメラ画像表示領域５６、終了カメラ画像表示領域５７において視点回転中心の候補位置として表示するものとしてもよい。

　また、切り出し画枠の位置やサイズについても、同様に対象空間撮像画像に対する画像認識処理の結果に基づき決定することができる。
　例えば、画像生成処理部３２（表示処理部３２ａ）は、開始カメラの撮像画像、終了カメラの撮像画像のそれぞれについて注目被写体を認識する画像認識処理を行い、注目被写体が収まる位置及びサイズによる切り出し画枠を決定するということが考えられる。
　このように画像認識処理の結果に基づき決定した切り出し画枠の情報についても、例えばそのまま自由視点画像の生成に用いても良いし、開始カメラ画像表示領域５６、終了カメラ画像表示領域５７において切り出し画枠の候補として表示するものとしてもよい。

　また、上記では、自由視点画像として主にタイムフリーズの自由視点画像を生成する場合を説明したが、上述した実施形態としての視点回転中心の位置指定や切り出し画枠の指定手法は、フリーランの自由視点画像にも適用可能である。その場合、対象空間撮像画像は、動画像となるため、視点回転中心や切り出し画枠の指定を行うためのＧＵＩでは、対象空間撮像画像として表示した動画像上に、回転中心位置情報や画枠情報を表示させるようにする。

　また、上記では、自由視点画像生成に用いる複数の撮像装置１０が固定カメラである前提としたが、撮像装置１０のうち一部が手持ちカメラとされてもよい。
　その場合、手持ちカメラの位置情報や向きの情報を用いて、生成操作画面Ｇｇにおけるカメラ位置の表示やＦＶクリップ生成に用いるカメラ位置の情報の更新を行うことが考えられる。

　また、上記では、回転中心位置情報５９の形状が略円筒状とされる場合を例示したが、回転中心位置情報５９の形状は例えば四角柱状、球状、棒状等とすることができ、特定の形状に限定されるものではない。
　また、視点回転中心の高さを指定するための中心高さ情報Ｈａについても、外形形状は例示したものに限定されず、また、スライダー等での高さ位置指定が可能とされてもよい。

　また、上記では、視点回転中心の位置と切り出し画枠の位置が個別に調整可能とされたが、例えばダブルクリックやダブルタップ等の所定の操作入力に応じて、両方の位置を同時に調整可能な操作モードに移行するといったことも考えられる。例えば、ダブルクリックすると回転中心位置情報５９と画枠情報５８の中心が一致し、その状態での移動指示操作により回転中心位置情報５９と画枠情報５８とが連動して動くようになるモード等が考えられる。

　また、上記では、プリセット画面Ｇｓの表示処理やカメラパス生成のための操作入力受け付けを行う装置と、生成操作画面Ｇｇの表示処理や自由視点画像生成のための操作入力受け付けを行う装置とが、自由視点画像サーバ２としての共通装置とされる例を挙げたが、これらの装置が別装置とされる形態を採ることもできる。

　なお、対象空間撮像画像は、開始カメラや終了カメラの撮像画像ではなく、ＦＶ中における途中の視点と同一視点のカメラの撮像画像とすることも可能である。
　或いは、対象空間撮像画像としては、ＦＶ中における視点と同一視点のカメラによる撮像画像に限定されるものではなく、自由視点画像の生成対象とする実空間を撮像して得られる画像であればよい。

＜１１．実施形態のまとめ＞
　上記のように実施形態の情報処理装置（自由視点画像サーバ２）は、自由視点画像の生成対象とされる実空間を撮像して得られる画像である対象空間撮像画像上に、自由視点画像の視点回転中心の位置を示す回転中心位置情報（同５９）を表示するための制御を行う表示制御部（表示処理部３２ａ）を備えたものである。
　上記構成によれば、自由視点画像の生成対象とされる実空間を捉えた撮像画像上において、自由視点画像の視点回転中心位置を視覚化して表示することが可能となる。
　従って、自由視点画像としてどのような画像が生成されるかをユーザがイメージし易くなり、自由視点画像の作成作業の迅速化を図ることができる。

　また、実施形態の情報処理装置においては、回転中心位置情報は、視点回転中心の高さを示す情報を含んでいる。
　これにより、自由視点画像の視点回転中心の高さ位置、すなわち自由視点画像の仰俯角をユーザがイメージし易くなる。
　従って、自由視点画像の作成作業の迅速化を図ることができる。

　さらに、実施形態の情報処理装置においては、表示制御部は、対象空間撮像画像上に視点回転中心の指定可能範囲を示す情報（指定可能範囲情報Ａｐ）を表示するための制御を行っている。
　これにより、視点回転中心の指定可能範囲を対象空間撮像画像に照らしてユーザがイメージし易くなる。
　従って、自由視点画像の作成作業の迅速化を図ることができる。

　さらにまた、実施形態の情報処理装置においては、表示部（同７７）に表示された回転中心位置情報に対する操作を受け付ける操作受付部（同３２ｂ）を備え、操作受付部は、指定可能範囲内における視点回転中心の位置指定操作のみを有効な位置指定操作として受け付けている。
　これにより、自由視点画像を適正に生成することが不能となる位置に視点回転中心が設定されることの防止が図られる。
　従って、自由視点画像の適正に行うことができる。

　また、実施形態の情報処理装置においては、表示制御部は、対象空間撮像画像上に自由視点画像の画枠を示す情報（画枠情報５８）を表示するための制御を行っている。
　これにより、対象空間撮像画像よりも小さい画枠サイズによる自由視点画像を生成する場合において、自由視点画像がどのような構図の画像となるかを対象空間撮像画像に照らしてユーザがイメージし易くなる。
　従って、自由視点画像の作成作業の迅速化を図ることができる。

　さらに、実施形態の情報処理装置においては、対象空間撮像画像は、自由視点画像の生成に用いられる複数視点の撮像画像を得るための複数のカメラのうち、自由視点画像の開始視点と同視点の開始カメラ、自由視点画像の終了視点と同視点の終了カメラの少なくとも何れかによる撮像画像である。
　自由視点画像の開始視点や終了視点での構図は、自由視点画像の出来映えを左右する重要な構図となる。このため、上記のように対象空間撮像画像を開始カメラ、終了カメラの撮像画像とし、対象空間撮像画像上に回転中心位置情報が表示されるようにすることで、自由視点画像がどのような構図の画像となるかをユーザがイメージし易くなる。
　従って、自由視点画像の作成作業の迅速化を図ることができる。

　さらにまた、実施形態の情報処理装置においては、対象空間撮像画像は、開始カメラの撮像画像、及び終了カメラの撮像画像である。
　自由視点画像の開始視点や終了視点での構図は、自由視点画像の出来映えを左右する重要な構図となり、上記のように対象空間撮像画像を開始カメラ、終了カメラそれぞれの撮像画像として、それら対象空間撮像画像上に回転中心位置情報が表示されるようにすることで、自由視点画像がどのような構図の画像となるかをユーザがよりイメージし易くなるようにする。
　従って、自由視点画像の作成作業の迅速化を図ることができる。
　また、自由視点画像としては、タイムフリーズの他にフリーランがあるが、フリーランの場合には、注目被写体の位置が自由視点画像の視点遷移中に変化し得るので、開始時点と終了時点とで視点回転中心の位置をずらしたい（例えば開始時点での注目被写体の位置に合わせていた視点回転中心を、終了時点での注目被写体の位置にずらしたい等）場合もあり、そのような場合に好適となる。

　また、実施形態の情報処理装置においては、開始カメラ、終了カメラはカメラパス情報に基づいて決定される。
　カメラパス情報は、事前にプリセット情報として作成しておくことが考えられ、プリセット情報としてのカメラパス情報に従って開始カメラ、終了カメラを決定することで、視点回転中心の指定にあたりその場でカメラパスの作成操作を行う必要がなくなる。
　従って、自由視点画像の作成作業の迅速化を図ることができる。

　さらに、実施形態の情報処理装置においては、表示制御部は、対象空間撮像画像に対する画像認識処理の結果に基づき回転中心位置情報を決定している。
　例えば、特定の選手等の特定の被写体に注目した自由視点画像を生成する場合等に、特定の被写体を画像認識処理により認識し、認識した被写体に対応する位置に回転中心位置情報を決定すること等が考えられる。
　従って、視点回転中心の位置を定めるにあたってのユーザの操作負担軽減を図ることができ、自由視点画像の作成作業の迅速化を図ることができる。

　さらにまた、実施形態の情報処理装置においては、表示制御部は、対象空間撮像画像に対する画像認識処理の結果に基づき画枠を決定している。
　例えば、特定の選手等の特定の被写体に注目した自由視点画像を生成する場合等に、特定の被写体を画像認識処理により認識し、認識した被写体が収まる画枠を決定すること等が考えられる。
　従って、自由視点画像の画枠を定めるにあたってのユーザの操作負担軽減を図ることができ、自由視点画像の作成作業の迅速化を図ることができる。

　また、実施形態の情報処理装置においては、表示部に表示された回転中心位置情報に対する操作を受け付ける操作受付部（同３２ｂ）と、操作受付部が受け付けた操作に基づき設定された視点回転中心の情報に基づいて自由視点画像を生成する画像生成部（画像生成処理部３２）と、を備えている。
　これにより、操作に基づき設定された視点回転中心に応じて構図が変化していく自由視点画像を生成することができる。

　さらに、実施形態の情報処理装置においては、表示制御部は、カメラパス情報が示すカメラパスの情報を表示部に表示させる制御を行っている（カメラパスウインドウ４３を参照）。
　これによりユーザには、対象空間撮像画像と回転中心位置情報のみでなく、カメラパス情報が示すカメラパスの情報（少なくとも視点移動軌跡を示す情報）が提示される。
　従って、自由視点画像がどのような構図の画像となるかをユーザがイメージし易くなり、自由視点画像の作成作業の迅速化を図ることができる。

　さらにまた、実施形態の情報処理装置においては、表示制御部は、カメラパスの情報の表示領域に回転中心位置情報が表示されるように制御している。
　これにより、カメラパス情報が示す視点移動軌跡と視点回転中心位置との関係性をユーザがイメージし易くなる。また、対象空間撮像画像上で回転中心位置情報が操作された場合に、カメラパスの表示領域における回転中心位置情報を連動させることが可能となる。
　従って、自由視点画像がどのような構図の画像となるかをユーザがイメージし易くなり、自由視点画像の作成作業の迅速化を図ることができる。

　また、実施形態の情報処理装置においては、カメラパスの情報に対する操作をカメラパス情報が示す視点移動軌跡の形状調整操作として受け付ける操作受付部（同３２ｂ）を備えている。
　これにより、既存のカメラパスについての編集が表示画面上のカメラパスに対する操作により容易に行われるようにすることが可能となる。
　従って、自由視点画像の作成作業の迅速化を図ることができる。

　また、実施形態の情報処理方法は、情報処理装置が、自由視点画像の生成対象とされる実空間を撮像して得られる画像である対象空間撮像画像上に、自由視点画像の視点回転中心の位置を示す回転中心位置情報を表示するための制御を行う情報処理方法である。
　このような情報処理方法によれば、上記した実施形態の情報処理装置と同様の作用及び効果を得ることができる。

　ここで、実施形態としては、図３５等で説明した画像生成処理部３２（例えば、表示処理部３２ａ等）による処理を、例えばＣＰＵ、ＤＳＰ（Digital Signal Processor）等、或いはこれらを含むデバイスに実行させるプログラムを考えることができる。
　即ち、実施形態のプログラムは、コンピュータ装置が読み取り可能なプログラムであって、自由視点画像の生成対象とされる実空間を撮像して得られる画像である対象空間撮像画像上に、自由視点画像の視点回転中心の位置を示す回転中心位置情報を表示するための制御を行う機能をコンピュータ装置に実現させるプログラムである。
　このようなプログラムにより、上述した表示処理部３２ａとしての機能を情報処理装置７０としての機器において実現できる。

　上記のようなプログラムは、コンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
　あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

　またこのようなプログラムによれば、実施形態の表示処理部３２ａの広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の表示処理部３２ａとしての処理を実現する装置として機能させることができる。

　また、実施形態としての表示システムは、画像表示が可能な表示部（自由視点画像サーバ２の表示部７７）と、表示部において、自由視点画像の生成対象とされる実空間を撮像して得られる画像である対象空間撮像画像上に、自由視点画像の視点回転中心の位置を示す回転中心位置情報を表示するための制御を行う表示制御部（表示処理部３２ａ）と、を備えるものである。
　このような表示システムによっても、上記した実施形態としての情報処理装置と同様の作用及び効果を得ることができる。

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜１２．本技術＞

　なお本技術は以下のような構成も採ることができる。
（１）
　自由視点画像の生成対象とされる実空間を撮像して得られる画像である対象空間撮像画像上に、前記自由視点画像の視点回転中心の位置を示す回転中心位置情報を表示するための制御を行う表示制御部を備えた
　情報処理装置。
（２）
　前記回転中心位置情報は、前記視点回転中心の高さを示す情報を含む
　前記（１）に記載の情報処理装置。
（３）
　前記表示制御部は、前記対象空間撮像画像上に前記視点回転中心の指定可能範囲を示す情報を表示するための制御を行う
　前記（１）又は（２）に記載の情報処理装置。
（４）
　表示部に表示された前記回転中心位置情報に対する操作を受け付ける操作受付部を備え、
　前記操作受付部は、前記指定可能範囲内における前記視点回転中心の位置指定操作のみを有効な位置指定操作として受け付ける
　前記（３）に記載の情報処理装置。
（５）
　前記表示制御部は、前記対象空間撮像画像上に前記自由視点画像の画枠を示す情報を表示するための制御を行う
　前記（１）から（４）の何れかに記載の情報処理装置。
（６）
　前記対象空間撮像画像は、前記自由視点画像の生成に用いられる複数視点の撮像画像を得るための複数のカメラのうち、前記自由視点画像の開始視点と同視点の開始カメラ、前記自由視点画像の終了視点と同視点の終了カメラの少なくとも何れかによる撮像画像である
　前記（１）から（５）の何れかに記載の情報処理装置。
（７）
　前記対象空間撮像画像は、前記開始カメラの撮像画像、及び前記終了カメラの撮像画像である
　前記（６）に記載の情報処理装置。
（８）
　前記開始カメラ、前記終了カメラはカメラパス情報に基づいて決定される
　前記（６）又は（７）に記載の情報処理装置。
（９）
　前記表示制御部は、前記対象空間撮像画像に対する画像認識処理の結果に基づき前記回転中心位置情報を決定する
　前記（１）から（８）の何れかに記載の情報処理装置。
（１０）
　前記表示制御部は、前記対象空間撮像画像に対する画像認識処理の結果に基づき前記画枠を決定する
　前記（５）に記載の情報処理装置。
（１１）
　表示部に表示された前記回転中心位置情報に対する操作を受け付ける操作受付部と、
　前記操作受付部が受け付けた操作に基づき設定された前記視点回転中心の情報に基づいて自由視点画像を生成する画像生成部と、を備える
　前記（１）から（１０）の何れかに記載の情報処理装置。
（１２）
　前記表示制御部は、カメラパス情報が示すカメラパスの情報を表示部に表示させる制御を行う、
　前記（１）から（１１）の何れかに記載の情報処理装置。
（１３）
　前記表示制御部は、前記カメラパスの情報の表示領域に前記回転中心位置情報が表示されるように制御する
　前記（１２）に記載の情報処理装置。
（１４）
　前記カメラパスの情報に対する操作を前記カメラパス情報が示す視点移動軌跡の形状調整操作として受け付ける操作受付部を備えた
　前記（１２）又は（１３）の何れかに記載の情報処理装置。
（１５）
　情報処理装置が、自由視点画像の生成対象とされる実空間を撮像して得られる画像である対象空間撮像画像上に、前記自由視点画像の視点回転中心の位置を示す回転中心位置情報を表示するための制御を行う
　情報処理方法。
（１６）
　コンピュータ装置が読み取り可能なプログラムであって、自由視点画像の生成対象とされる実空間を撮像して得られる画像である対象空間撮像画像上に、前記自由視点画像の視点回転中心の位置を示す回転中心位置情報を表示するための制御を行う機能を前記コンピュータ装置に実現させる
　プログラム。
（１７）
　画像表示が可能な表示部と、
　前記表示部において、自由視点画像の生成対象とされる実空間を撮像して得られる画像である対象空間撮像画像上に、前記自由視点画像の視点回転中心の位置を示す回転中心位置情報を表示するための制御を行う表示制御部と、を備える
　表示システム。

２　自由視点画像サーバ
１０　撮像装置
３１　対象画像取得部
３２　画像生成処理部
３２ａ　表示処理部
３２ｂ　操作受付部
３２ｃ　カメラパス編集処理部
３３　送信制御部
３４　カメラパス生成処理部
３４ａ　表示処理部
Ｇｇ　生成操作画面
Ｇｓ　プリセット画面
４１　シーンウインドウ
４２　シーンリスト表示部
４３　カメラパスウインドウ
４４　カメラパスリスト表示部
４５　対象空間画像表示部
４６　送信ウインドウ
５１　開始カメラ位置情報
５２　終了カメラ位置情報
５３　視点移動軌跡情報
５４　回転中心位置情報
５６　開始カメラ画像表示領域
５７　終了カメラ画像表示領域
５８ｓ，５８ｅ　画枠情報
５９ｓ，５９ｅ　回転中心位置情報
Ａｐ　指定可能範囲情報
Ｈａ　中心高さ情報
６０ｓ、６０ｅ　スライダー操作部
６１ｓ、６１ｅ　サイズ指定操作部
６２　ＦＶ指定操作部
６５　パス名入力部
６６　ＦＶ数選択部
６７　カメラ選択部
６８　回転方向選択部
Ｂ１　ＯＫボタン
Ｂ２　キャンセルボタン
Ｂ３　エクスポートボタン
７０　情報処理装置
７１　ＣＰＵ
７２　ＲＯＭ
７３　ＲＡＭ
７４　バス
７５　入出力インタフェース
７６　入力部
７７　表示部
７８　音声出力部
７９　記憶部
８０　通信部
８１　リムーバブル記録媒体
８２　ドライブ

Claims

　自由視点画像の生成対象とされる実空間を撮像して得られる画像である対象空間撮像画像上に、前記自由視点画像の視点回転中心の位置を示す回転中心位置情報を表示するための制御を行う表示制御部を備えた
　情報処理装置。
　前記回転中心位置情報は、前記視点回転中心の高さを示す情報を含む
　請求項１に記載の情報処理装置。
　前記表示制御部は、前記対象空間撮像画像上に前記視点回転中心の指定可能範囲を示す情報を表示するための制御を行う
　請求項１に記載の情報処理装置。
　表示部に表示された前記回転中心位置情報に対する操作を受け付ける操作受付部を備え、
　前記操作受付部は、前記指定可能範囲内における前記視点回転中心の位置指定操作のみを有効な位置指定操作として受け付ける
　請求項３に記載の情報処理装置。
　前記表示制御部は、前記対象空間撮像画像上に前記自由視点画像の画枠を示す情報を表示するための制御を行う
　請求項１に記載の情報処理装置。
　前記対象空間撮像画像は、前記自由視点画像の生成に用いられる複数視点の撮像画像を得るための複数のカメラのうち、前記自由視点画像の開始視点と同視点の開始カメラ、前記自由視点画像の終了視点と同視点の終了カメラの少なくとも何れかによる撮像画像である
　請求項１に記載の情報処理装置。
　前記対象空間撮像画像は、前記開始カメラの撮像画像、及び前記終了カメラの撮像画像である
　請求項６に記載の情報処理装置。
　前記開始カメラ、前記終了カメラはカメラパス情報に基づいて決定される
　請求項６に記載の情報処理装置。
　前記表示制御部は、前記対象空間撮像画像に対する画像認識処理の結果に基づき前記回転中心位置情報を決定する
　請求項１に記載の情報処理装置。
　前記表示制御部は、前記対象空間撮像画像に対する画像認識処理の結果に基づき前記画枠を決定する
　請求項５に記載の情報処理装置。
　表示部に表示された前記回転中心位置情報に対する操作を受け付ける操作受付部と、
　前記操作受付部が受け付けた操作に基づき設定された前記視点回転中心の情報に基づいて自由視点画像を生成する画像生成部と、を備える
　請求項１に記載の情報処理装置。
　前記表示制御部は、カメラパス情報が示すカメラパスの情報を表示部に表示させる制御を行う、
　請求項１に記載の情報処理装置。
　前記表示制御部は、前記カメラパスの情報の表示領域に前記回転中心位置情報が表示されるように制御する
　請求項１２に記載の情報処理装置。
　前記カメラパスの情報に対する操作を前記カメラパス情報が示す視点移動軌跡の形状調整操作として受け付ける操作受付部を備えた
　請求項１２に記載の情報処理装置。
　情報処理装置が、自由視点画像の生成対象とされる実空間を撮像して得られる画像である対象空間撮像画像上に、前記自由視点画像の視点回転中心の位置を示す回転中心位置情報を表示するための制御を行う
　情報処理方法。
　コンピュータ装置が読み取り可能なプログラムであって、自由視点画像の生成対象とされる実空間を撮像して得られる画像である対象空間撮像画像上に、前記自由視点画像の視点回転中心の位置を示す回転中心位置情報を表示するための制御を行う機能を前記コンピュータ装置に実現させる
　プログラム。
　画像表示が可能な表示部と、
　前記表示部において、自由視点画像の生成対象とされる実空間を撮像して得られる画像である対象空間撮像画像上に、前記自由視点画像の視点回転中心の位置を示す回転中心位置情報を表示するための制御を行う表示制御部と、を備える
　表示システム。