JP7362806B2 - 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム - Google Patents

Description

本発明は、仮想視点画像を生成する技術に関するものである。

複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた多視点画像を用いて仮想視点画像を生成する技術がある。特許文献１には、複数の撮像装置により撮影された画像から仮想視点画像を生成する技術が開示されている。

特開２００８－０１５７５６号公報

例えば、スタジアムでのスポーツ競技の仮想視点画像をユーザが視聴する場合を考える。この場合、ユーザにより設定された視点に応じた仮想視点画像を生成することにより、ユーザは、自身の好みの視点で試合を観戦することができる。例えば、サッカーやバスケットボールなどのゴールシーンでは、ゴールを決めた選手が写る視点でそのプレーを観戦することが望まれ得るし、ゴールシーン以外のシーンでは、ボールの軌道を追えるような俯瞰する視点でそのプレーを観戦することが望まれ得る。しかしながら、仮想視点画像に係る視点の設定に慣れていないユーザでは、シーンごとに適した視点の設定に時間がかかってしまったり、所望の位置に視点を設定できなかったりする恐れがあった。なお、仮想視点画像に係る視聴対象は、スポーツ競技に限らず、コンサートや他のイベントでも同様な問題が生じ得る。

上述の課題を鑑みて、本発明は、仮想視点画像に係る視点の設定を容易にするための技術を提供することを目的とする。

本開示の画像処理装置は、
仮想視点画像の生成に使用される撮影画像を取得する複数の撮影装置により撮影される複数のシーンのうち、あるシーンを特定する第１ユーザ操作と、前記仮想視点画像を生成するための仮想視点の位置及び仮想視点からの視線方向を決定するため複数の条件のうち、ある条件を特定する第２ユーザ操作と、複数の被写体のうち、ある被写体を特定する第３ユーザ操作と、を取得する取得手段と、
特定された前記シーンと、特定された前記条件と、特定された前記被写体とに基づいて生成された前記仮想視点画像を表示する制御を行う表示制御手段と
を有することを特徴とする。

本発明によれば、仮想視点画像に係る視点の設定を容易に行うことができる。

画像処理システムの構成を示す図である。 イベント情報の例を示す図である。 仮想視点画像生成処理のシーケンス図である。 ユーザ端末の画面例を示す図である。 被写体リスト作成処理の流れを示すフローチャートである。 被写体リストが作成されるまでの例を示す図である。 構図シナリオリスト作成処理の流れを示すフローチャートである。 構図シナリオの例を示す図である。 仮想カメラパス条件の一例を示す図である。 仮想カメラパス条件の具体例を示す図である。 仮想カメラパス算出処理の流れを示すフローチャートである。 シーン選択画面例を示す図である。 装置のハードウェアの構成を示す図である。 画像処理装置の処理の流れを示すフローチャートである。

以下、図面を参照して実施形態を説明する。図１は、本実施形態の画像処理システムの一例を示す図である。図１に示す画像処理システムは、例えば、競技等を実際に行うフィールドなどの撮影対象を複数のカメラの撮影により得た複数の画像から仮想視点画像を生成する情報処理システムである。仮想視点画像は、複数の視点から撮影した画像を用いて生成される画像であって、任意の視点や任意の視線方向からの仮想的な撮影結果を表現する画像である。

図１に示すように画像処理システムは、記憶装置１００と、画像処理装置３００と、ユーザ端末４００とを有する。記憶装置１００は、例えば、スタジアムに設置した複数のカメラの撮影により得た複数の画像や仮想視点画像に係る視点の自動設定のために必要な情報を記憶する。画像処理装置３００は、仮想視点画像に係る視点の位置を決定したり、仮想視点画像を生成したりする情報処理装置である。画像処理装置３００は、決定した視点の位置から仮想的な撮影結果を表現する仮想視画像を生成する。また、画像処理装置３００は、決定した視線の方向に仮想的なカメラを向けた場合の撮影結果を表現する仮想視画像を生成してもよい。画像処理装置３００は、記憶装置１００に蓄積された複数のカメラの撮影により得た複数の画像を用いて仮想視点画像を生成する。画像処理装置３００は、生成した仮想視点画像をユーザ端末４００に伝送する。

ユーザ端末４００は、画像処理装置３００から出力される仮想視点画像をユーザ端末４００が備える表示画面に表示する。また、ユーザ端末４００は、ユーザの入力に基づいて、例えば、仮想視点画像に係る視点の位置の移動、仮想視点画像に係る視線方向の変更および視点の切り替えの指示を受け付け、その内容を示す伝送信号を仮想視点情報として画像処理装置３００へ伝送する。また、ユーザ端末４００は、後述する構図シナリオに基づく仮想視点の自動設定を画像処理装置３００に要求する。

次に、記憶装置１００、画像処理装置３００及びユーザ端末４００の構成の一例について説明する。図１３は、記憶装置１００、画像処理装置３００及びユーザ端末４００のハードウェアの構成の一例を示す図である。装置７０００（記憶装置１００、画像処理装置３００及びユーザ端末４００）は、コントローラユニット７００、操作ユニット７０９、および表示装置７１０を含む。

コントローラユニット７００は、ＣＰＵ７０１を有する。ＣＰＵ７０１は、ＲＯＭ７０２に格納されているブートプログラムによりＯＳ（ＯＰＥＲＡＴＩＮＧ ＳＹＳＴＥＭ）を起動する。ＣＰＵ７０１は、このＯＳ上で、ＨＤＤ（ＨＡＲＤ ＤＩＳＫ ＤＲＩＶＥ）７０４に格納されているアプリケーションプログラムを実行する。ＣＰＵ７０１は、アプリケーションプログラムの実行によって各種処理を実現する。ＣＰＵ７０１の作業領域としてはＲＡＭ７０３が用いられる。ＨＤＤ７０４は、アプリケーションプログラムなどを格納する。なお、ＣＰＵ７０１は、一つのプロセッサーであっても、複数のプロセッサーであってもよい。

ＣＰＵ７０１は、システムバス７０８を介して、ＲＯＭ７０２、ＲＡＭ７０３、操作部Ｉ／Ｆ７０５、表示部Ｉ／Ｆ７０６、および通信Ｉ／Ｆ７０７と相互に接続される。操作部Ｉ／Ｆ７０５は、操作ユニット７０９とのインターフェースである。操作部Ｉ／Ｆ７０５は、操作ユニット７０９によってユーザにより入力された情報をＣＰＵ７０１に送出する。操作ユニット７０９は、例えば、マウスおよびキーボードなどを有する。表示部Ｉ／Ｆ７０６は、表示装置７１０に表示すべき画像データを表示装置７１０に対して出力する。表示装置７１０は、液晶ディスプレイなどのディスプレイを有する。通信Ｉ／Ｆ７０７は、例えばイーサネット（登録商標）などの通信を行うためのインターフェースであり、伝送ケーブルに接続される。通信Ｉ／Ｆ７０７は、伝送ケーブルを介して、外部装置との間で情報の入出力を行う。なお、通信Ｉ／Ｆ７０７は、無線通信を行うための回路やアンテナであってもよい。また、装置７０００は、ケーブルやネットワークを介して接続された外部の表示装置７１０に画像を表示させる表示制御を行うことも可能である。この場合、装置７０００は、表示データを表示装置７１０に出力することで表示制御を実現する。なお、図１３で示した構成のすべてが記憶装置１００、画像処理装置３００またはユーザ端末４００において必須の構成とは限らない。例えば、記憶装置１００及び画像処理装置３００において、表示装置７１０は必須の構成ではない。なお、コントローラユニット７００が、ＣＰＵ７０１を有するものとして説明を行ったが、これに限らない。例えば、コントローラユニット７００は、ＣＰＵ７０１の代わりに、または、ＣＰＵ７０１と共に、ＡＳＩＣやＦＰＧＡなどのハードウェアを有していてもよい。この場合、ＡＳＩＣやＦＰＧＡなどのハードウェアが、ＣＰＵ７０１が行うべき処理の一部または全てを行ってもよい。

次に、図１を参照して、記憶装置１００、画像処理装置３００及びユーザ端末４００の機能構成の一例を説明する。図１に示す各構成は、図１３のＣＰＵ７０１がＲＯＭ７０２に記録された各種プログラムを読み出して各部の制御を実行することにより実現される。なお、図１に示す各構成は、一部またはすべてを、専用のハードウェアにより実現されてもよい。専用のハードウェアは、例えば、ＡＳＩＣやＦＰＧＡである。

記憶装置１００の機能構成の一例を説明する。記憶装置１００は、画像保持部１０と、イベント情報保持部２０とを有する。画像保持部１０は、競技フィールド等を取り囲むように設置された複数台のカメラによって同期撮影された複数の画像を保持する。画像保持部１０が保持するデータは、静止画像を示すデータであっても、動画像を示すデータであっても、静止画像および動画像の双方を含むデータであってもよい。本実施形態では、画像という文言を特に断りがない限り静止画および動画を含むものとして説明を行う。

イベント情報保持部２０は、画像保持部１０が保持している複数の画像に関するイベント情報を保持している。ここでイベント情報とは、撮影対象であるイベントの名称や開催日や開催地といった基本情報、イベントの出演者や主催者や参加者といった人物情報、イベント中に発生した事象を時系列に記録したログ情報とを含む。なお、イベント情報は、これらに限定されず、これらのうちの一部や他の情報を含んでもよい。図２にイベントをサッカー試合とした場合のイベント情報の例を示す。イベント基本情報には、図２（ａ）に示す、イベントの名称、イベントの開催日付、イベントの開催施設及び対戦するチーム名に関する情報が含まれてもよい。イベント人物情報には、図２（ｂ）に示す、チーム名、色や柄等のユニフォームの特徴といったチーム情報が含まれてもよい。また、イベント人物情報には、図２（ｂ）に示す、選手の氏名や背番号といった選手情報が含まれてもよい。また、イベント人物情報には、撮影対象のイベントが相撲であれば、対戦する力士名を含めてもよい。また、イベント人物情報には、撮影対象のイベントがフィギュアスケートであれば、演技する選手名を含めてもよい。

イベントログ情報には、事象の名称および発生時刻が含まれる。図２（ｃ）に示す例において、イベントログ情報には、「前半０３分」といった試合開始（イベント開始）からの経過時間など、基準時間からの経過時間で事象の発生時間を示す情報が含まれてもよい。図２（ｃ）に示す例において、イベントログ情報には、選手名などの、事象の主体や事象に関連する人物を特定するための情報など補足情報が含まれてもよい。また、図２（ｃ）に示す例において、イベントログ情報には、事象発生時のスコアを示すスコア情報などの、事象の発生時間における状況を示す情報が含まれてもよい。また、図２（ｃ）に示す例において、イベントログ情報には、事象の開始時間やシーン継続時間が含まれてもよい。また、イベントログ情報には、事象の開始時間と、事象の終了時間とが含まれてもよい。

イベントログ情報により示される事象は、撮影対象のイベントがサッカーなどの球技であれば、「シュート（得点成功）」、「シュート（得点失敗）」、「パス」、「コーナーキック」、「ファウル」、「反則（オフサイドなど）」があり得る。また、イベントログ情報により示される事象は、「ゴール」、「ペナルティキック」、「前半終了」、「ハーフタイム」または「後半開始」などがあり得る。また、イベントログ情報により示される事象は、撮影対象のイベントがコンサートであれば、演奏される曲名であり得る。また、イベントログ情報により示される事象は、撮影対象のイベントがスポーツであれば、スポーツの種目名であり得る。なお、記憶装置１００の上述の機能構成の一部乃至全てが、画像処理装置３００またはユーザ端末４００が有していてもよい。

次に、画像処理装置３００の機能構成の一例を説明する。画像処理装置３００は、生成部３０１、位置情報取得部３０２、算出部３０３、イベント情報取得部３０４および作成部３０５を有している。

生成部３０１は、画像保持部１０から取得した複数の画像から三次元モデルを生成し、算出部３０３から取得した仮想視点画像に係る視点でテクスチャをマッピングするモデルベースレンダリングにより仮想視点画像を生成する。モデルベースレンダリングは、視体積交差法、ＭＵＬＴＩ－ＶＩＥＷ－ＳＴＥＲＥＯ（ＭＶＳ）などの三次元形状復元手法により得られた対象の三次元形状（モデル）を利用する。そして、モデルベースレンダリングは、生成した三次元形状を用いて、仮想視点画像に係る視点から仮想的なカメラにより撮影された画像を生成する技術である。なお、仮想視点画像を生成する方式は、例えば、イメージベースレンダリングなどの他の方式を用いてもよい。イメージベースレンダリングは、モデリング（幾何学図形を使用して物体の形状を作成する過程）をしないで、複数視点の撮影画像から仮想視点画像を生成するレンダリング方法である。また、生成部３０１は、生成した仮想視点画像をユーザ端末４００にネットワークを介して出力する。

位置情報取得部３０２は、撮影画像を解析し、特定の被写体の位置情報を取得する。位置情報取得部３０２は、例えば、生成部３０１が生成した三次元モデルに基づいて、特定の被写体の位置情報を取得する。また、位置情報取得部３０２は、生成部３０１が生成した三次元モデルに基づいて、特定の被写体の向きを示す情報を取得する。特定の被写体とは、スポーツ競技の場合、特定の選手や審判などの人物またはボールであってよい。

算出部３０３は、生成する仮想視点画像に係る視点の位置及び／または視線の方向を算出する。なお、本実施形態において、生成する仮想視点画像を撮影する仮想的なカメラを見立て、生成する仮想視点画像に係る視点の位置及び／または視線の方向を設定することを、仮想カメラの位置姿勢を設定するとも呼ぶ。また、仮想カメラの位置姿勢の連続的な遷移を仮想カメラパスと呼ぶ。即ち、画像処理装置３００は、設定した仮想カメラパスに基づいて、複数の仮想視点画像を生成し得る。また、画像処理装置３００は、設定した仮想カメラパスに基づいて生成した複数の仮想視点画像を一つの動画として生成し得る。

算出部３０３は、ユーザ端末４００からユーザの操作に基づく仮想視点情報を取得した場合、仮想視点情報に対応する位置と方向を出力する仮想視点画像に係る視点や視線の方向として決定する。仮想視点情報には、位置情報と方向情報とが少なくとも含まれる。算出部３０３は、ユーザ端末４００から仮想カメラパスを決定するための条件である構図シナリオを示す情報を取得した場合、構図シナリオを示す情報に基づいて、仮想カメラパスを算出する。算出部３０３は、構図シナリオを示す情報に基づいて、位置情報取得部３０２から取得した被写体位置情報を利用し、時間的に連続する仮想カメラパスを算出する。なお、算出部３０３は、仮想カメラパスを、仮想カメラパラメータを設定することにより設定する。仮想カメラパラメータとは、フレーム番号ないしタイムコードと関連づけられた、仮想カメラの位置及び／または向きを含む。算出部３０３は、仮想カメラパラメータとして、仮想カメラの画角、焦点距離またはズーム倍率なども設定してもよい。

イベント情報取得部３０４は、イベント情報保持部２０からイベント情報を取得する。作成部３０５は、位置情報取得部３０２が取得した被写体の位置情報それぞれについて、イベント情報保持部２０から取得したイベント人物情報と画像保持部１０から取得した複数の画像とから被写体リストを作成する。ここで被写体リストとは、仮想視点画像を生成するシーンにおいて、選手やボールといった被写体それぞれに関連する視点で、仮想視点画像を生成可能か否かを示すリストである。被写体リストの詳細については後述する。

また、作成部３０５は、ユーザ端末４００から取得した、ユーザが仮想視点画像の生成を要求するシーンと当該シーンにおいて生じた事象と被写体リストから構図シナリオリストを作成する。構図シナリオは、仮想カメラパスを設定するための条件や考え方を示す。構図シナリオは、仮想カメラをどのような位置や向きに配置するかの条件を定めたテンプレートやルールである。構図シナリオリストは、指定されたシーンにおいて選択可能な構図シナリオのリストである。構図シナリオリストの詳細については後述する。なお、作成部３０５は、後述するシーン選択画面を生成する機能を有していていもよい。また、画像処理装置３００の上述の機能構成の一部乃至全てが、記憶装置１００またはユーザ端末４００が有していてもよい。

次に、ユーザ端末４００の機能構成の一例を説明する。ユーザ端末４００は、表示部４０１、判定部４０２、選択部４０３および設定部４０４を有している。

表示部４０１は、画像処理装置３００からネットワーク等を介して取得した仮想視点画像や様々な情報を表示する。判定部４０２は、撮影されたイベントを複数のシーンとして分けるための判定を行う。

判定部４０２は、複数のシーンを選択肢として示すシーン選択画面を作成し、作成したシーン選択画面を表示部４０１において表示させる。判定部４０２は、イベント情報に基づいて、撮影されたイベントを複数のシーンに分ける。判定部４０２は、イベント情報に基づいて分けた複数のシーンの夫々を選択肢とし、仮想視点画像を生成するシーンをユーザに選択させるためのシーン選択画面を表示部４０１に表示させる。なお、ユーザ端末４００は、シーン選択画面を画像処理装置３００から受信し、受信したシーン選択画面を表示部４０１において表示させてもよい。また、判定部４０２は、ユーザの操作に基づいて特定された、仮想視点画像の生成に係るシーンを判定する。また、判定部４０２は、ユーザからの操作に基づいて特定された、仮想視点画像の生成に係るシーンを示す情報を、画像処理装置３００にネットワークを介して送信してもよい。判定部４０２は、判定されたシーンに係る時間、場所及び生じる事象のうち少なくとも何れかを特定する。また、判定部４０２は、判定されたシーンに基づいて、生成する仮想視点画像の撮影時間、生成する仮想視点画像に係る場所及び生成する仮想視点画像により写される事象のうち少なくとも何れか一つを特定してもよい。

選択部４０３は、作成部３０５が作成した構図シナリオリストから構図シナリオ選択画面を作成し、作成した構図シナリオ選択画面を表示部４０１において表示させる。なお、ユーザ端末４００は、構図シナリオ選択画面を画像処理装置３００から受信し、受信した構図シナリオ選択画面を表示部４０１において表示させてもよい。また、選択部４０３は、ユーザの操作に基づいて構図シナリオリストから特定された、仮想視点画像の生成に係る構図シナリオを選択する。また、選択部４０３は、選択された構図シナリオが被写体の指定が必要な場合、画像処理装置から取得した被写体リストから、被写体選択画面を作成し、表示部４０１において表示させる。なお、ユーザ端末４００は、被写体選択画面を画像処理装置３００から受信し、受信した被写体選択画面を表示部４０１において表示させてもよい。

設定部４０４は、ユーザが選択した構図シナリオや被写体に基づき、仮想カメラパス条件を設定し、設定した仮想カメラパス条件を画像処理装置３００にネットワークを介して送信する。ここで仮想カメラパス条件とは、仮想視点画像の生成に係るシーンにおいて、仮想カメラパラメータである仮想カメラの位置および向きを決定するための条件である。仮想カメラパス条件は、例えば、ある事象が生じた時間において、ある被写体を、どのような位置や向きの仮想カメラで撮影するかを規定するための条件である。なお、ユーザ端末４００の上述の機能構成の一部乃至全てが、記憶装置１００または画像処理装置３００が有していてもよい。また、画像処理システムが３台の装置で構成されるものとして説明を行うが、１台、２台または４台以上であってもよい。

以上の構成を有する画像処理システムの動作について説明する。

図３は、画像処理システムによる仮想視点画像生成処理のシーケンス図である。画像処理システムは、ユーザ端末４００が仮想視点画像視聴アプリケーションを起動することで、仮想視点画像生成処理を開始する。ユーザ端末４００は、仮想視点画像視聴アプリケーションを起動し、シーン選択画面提示処理を開始する（Ｓ４００１）。ユーザ端末４００は、イベント情報を画像処理装置３００に要求する（Ｓ４００２）。

画像処理装置３００は、ユーザ端末４００からイベント情報の要求を受信すると、イベント情報保持部２０が保持するイベント情報を取得する。そして、画像処理装置３００は、取得したイベント情報をユーザ端末４００に送信する。（Ｓ３００１）。ユーザ端末４００は、取得したイベント情報に基づいてシーン選択画面を生成し、シーン選択画面を表示する。

ここで、ユーザ端末４００が取得するイベント情報を図２（ｃ）とし、当該イベントログ情報に基づいて表示されるシーン選択画面の例を図４（ａ）に示す。図４（ａ）に示した例では、イベント情報に含まれる情報のうち、事象の発生時間を示す情報、事象名、スコア変動の可能性のある事象についてはスコア情報をシーン選択画面において提示している。なお、これらの情報のうち一部を提示するシーン選択画面であってもよい。また、例えば、図４（ａ）に示すシーン選択画面を画像処理装置３００が生成し、ユーザ端末４００がシーン選択画面を画像処理装置３００から取得して表示してもよい。

ユーザ端末４００は、シーン選択画面を表示し、ユーザからのシーンの選択を受け付ける（Ｓ４００３）。ユーザ端末４００は、ユーザからのシーンの選択を受け付けることで、仮想視点画像を生成する、時間、場面及び状況を示すシーンを特定する。

ユーザ端末４００は、構図シナリオ選択画面を表示するための構図シナリオ選択画面提示処理を開始する（Ｓ４００４）。ユーザ端末４００は、ユーザから選択されたシーンを特定するための情報とともに、当該シーンに係る構図シナリオリストを画像処理装置３００に要求する（Ｓ４００５）。画像処理装置３００は、選択されたシーンに関する被写体リストを作成する（Ｓ３００２）。画像処理装置３００は、選択されたシーンに関する構図シナリオリストを作成部３０５により作成する（Ｓ３００３）。

ここで、Ｓ３００２の被写体リスト作成処理及びＳ３００３の構図シナリオ作成処理について詳細に説明する。図５（ａ）は、画像処理装置３００の作成部３０５による被写体リスト作成処理の流れを示すフローチャートである。図５（ａ）に示すフローチャートは、構図シナリオリストの取得要求を受信することで開始される。なお、以降に説明するフローチャート示す処理は、画像処理装置３００のＣＰＵ７０１が情報の演算や各ハードウェアを制御することで実現される。なお、フローチャートの少なくとも一部のステップが専用のハードウェアにより実行されてもよい。専用のハードウェアは、例えば、ＡＳＩＣやＦＰＧＡである。

作成部３０５は、構図シナリオリストの取得要求をユーザ端末４００から受けることで被写体リスト作成処理を開始する。ここで被写体リストとは、選手やボールといった各被写体に関する仮想視点画像の生成が可能か否かを、指定されたシーンに対応する開始時間から終了までの各フレームについて示したしたものである。なお、複数のカメラの設置の状況に応じて、特定の位置に存在する被写体の仮想視点画像が生成できない場合が生じ得る。したがって、例えば、選手などの被写体は、撮影対象のフィールドの位置に応じて、その被写体が写る仮想視点画像が生成できない時間が生じ得る。

作成部３０５は、指定されたシーンに関する被写体位置情報を位置情報取得部３０２より取得する（Ｓ１５０１）。被写体位置情報は、特定の被写体の位置を示す情報である。また、被写体位置情報は、指定されたシーンにおいて、仮想視点画像に写すことができる被写体に関する情報であってもよい。また、被写体位置情報は、指定されたシーンにおいて、被写体の目線などその被写体に関連する視点で仮想視点画像に写すことができる被写体に関する情報であってもよい。被写体位置情報には、時間と関連付けて、各被写体の位置及び向きとその被写体を識別するための情報とが含まれてもよい。また、被写体位置情報には、個々の被写体のＩＤが含まれてもよい。

図５（ｂ）は、位置情報取得部３０２による被写体位置情報取得処理の流れを示すフローチャート図である。位置情報取得部３０２は、作成部３０５より被写体位置情報の取得要求を受けることで被写体位置情報取得処理を開始する。位置情報取得部３０２は、指定されたシーンの開始時間における三次元モデルを生成部３０１より取得する（Ｓ２５０１）。次いで、位置情報取得部３０２は、シーンの開始時間の三次元モデルに含まれる全ての特定の被写体の位置を取得する（Ｓ２５０２）。なお、処理量を低下させるために、Ｓ４００３で選択されたシーンにおいて生じる事象の発生する位置を含む所定の範囲の領域の三次元モデルに含まれる特定の被写体の位置を取得する構成としてもよい。

位置情報取得部３０２は、仮想視点画像を生成可能な領域内に位置する各被写体について、個々を区別できるようＩＤを付与する（Ｓ２５０３）。シーンの開始時間における被写体の位置が図６（ｂ）に示した例である場合、仮想視点画像を生成可能な領域である点線で囲まれた円の内側にはチェック柄の選手３人と縞模様の選手３人とボール１つがあるので、ＩＤ０１からＩＤ０７が付与される。次いで、位置情報取得部３０２は、生成する仮想視点画像の次フレームに対応する時間の三次元モデルを生成部３０１より取得する（Ｓ２５０４）。位置情報取得部３０２は、取得した次フレームに対応する時間の三次元モデルに含まれる全ての被写体の位置を取得する（Ｓ２５０５）。

位置情報取得部３０２は、次フレームに対応する時間の仮想視点画像を生成可能な領域内に位置する被写体それぞれについて、前フレームに対応する時間での位置差が最も近いものを特定する。そして、位置情報取得部３０２は、位置差が所定値以下であったものに前フレームと同一のＩＤを付与する（Ｓ２５０６）。また、位置情報取得部３０２は、次フレームに対応する時間の仮想視点画像を生成可能な領域内に位置する被写体のうち、前フレームに対応する時間との位置差が所定値以下であるものが存在しない被写体があれば、新しいＩＤを付与する（Ｓ２５０７）。次のフレームに対応する時間における被写体位置が図６（ｃ）に示した例である場合、仮想視点画像を生成可能な領域である点線円内にチェック柄の選手３人と縞模様の選手３人とボール１つがある。当該フレームと、前フレームに対応する時間との位置差から、それぞれの被写体にＩＤ０１からＩＤ０６までの同一ＩＤが付与される。図６（ｃ）で示した例において、右下のチェック柄の選手は、開始フレームの円内から円外へ移動したためＩＤを付与されず、右上のチェック柄選手は、開始フレームの円外から円内へ移動したため新しいＩＤ０８が付与される。位置情報取得部３０２は、Ｓ２５０４～Ｓ２５０７の処理を、仮想視点画像を生成するシーンの終了時間になるまで繰り返し行う。位置情報取得部３０２は、シーンの終了時間に対応する分まで処理を終えた場合（Ｓ２５０８のｙｅｓ）、被写体位置情報取得処理を終了する。

図５（ａ）の説明に戻り、作成部３０５は、イベント情報保持部２０よりイベント人物情報を取得する（Ｓ１５０２）。作成部３０５は、画像保持部１０より取得した多視点映像を解析し、ユニフォームの色や柄や背番号といった特徴をＩＤで区別された個々の被写体について抽出する（Ｓ１５０３）。次いで、作成部３０５は、イベント人物情報に含まれるユニフォームの色や柄や背番号といった特徴と抽出した特徴とを照合することで、ＩＤで区別された個々の被写体について人物を特定する（Ｓ１５０４）。ボール等の人物ではない被写体については、形状や大きさといった特徴を作成部３０５で保持しておくことによって、被写体を特定する。なお、Ｓ１５０２の処理順序は、Ｓ１５０４より前であればよいので、Ｓ１５０１の前やＳ１５０３の後であってもよい。

次いで、作成部３０５は、被写体リストを作成する（Ｓ１５０５）。図６（ａ）に被写体リストの例を示す。図６（ａ）に示した例では、仮想視点画像を生成可能な領域内にシーンの開始から終了までの全フレームに渡って位置していたのは選手５人とボール１つであり、選手２人は一部のフレームにおいて仮想視点画像を生成可能な領域外に位置していたことが判る。

続いて、Ｓ３００３の構図シナリオ作成処理について詳細に説明する。図７は、作成部３０５による構図シナリオリスト作成処理の流れを示すフローチャートである。作成部３０５は、被写体リスト作成の処理が終了することで、構図シナリオリスト作成処理を開始する。作成部３０５は、シーン内容に依存しない共通の構図シナリオを設定する（Ｓ１７０１）。イベントをサッカー試合とした場合、シーン内容に依存しない共通の構図シナリオの例として、図８に示したような「真上からシーン全体の動きを見る」がある。この構図シナリオでは、選択されたシーンがシュートシーンでもファウルシーンでもその他どのようなシーンであっても、仮想カメラを上空に配置した俯瞰映像での仮想視点画像が生成される。なお、シーン内容に依存しない共通の構図シナリオとして、例えば「サイドラインからボールを中心となるように見る」などでもよい。なお、シーン内容に依存しない共通の構図シナリオとして、例えば、「ボールの位置を視点としてゴール方向を見る」などでもよい。

次いで、作成部３０５は、選択されたシーンの種類を特定する（Ｓ１７０２）。作成部３０５は、例えば、イベントをサッカー試合とした場合、仮想視点画像を生成するシーンを、得点成功、得点失敗、オフサイドまたはファウルの何れかの種類に分類してもよい。この場合、作成部３０５は、シュートやコーナーキックやペナルティキック等のシーンのシーン種類を、得点成功か得点失敗のどちらかに分類する。オフサイドやファウルのシーンのシーン種類は、それぞれオフサイドやファウルとなる。

作成部３０５は、特定されたシーン種類に依存する構図シナリオを追加する（Ｓ１７０３）。イベントをサッカー試合とした場合、シーン種類が得点成功の構図シナリオの例を図８に示す。図８において、構図シナリオの例として、「＊の最前列でボールを追う（＊はディフェンス、オフェンス等）」や「＊地点でシュートが決まる様子を見る（＊はキック、ヘディング、ゴール等）」がある。「オフェンス最前列でボールを追う」構図シナリオでは、ボールに触れる攻撃側選手を仮想カメラが順次追うような仮想視点画像が生成される。このような構図シナリオは、シーンの開始から終了までの各フレームにおけるボールと複数の攻撃側選手との位置関係から仮想カメラの位置や向きを決めるような構図シナリオの例である。

「ゴール地点でシュートが決まる様子を見る」構図シナリオでは、ボールがキックされた地点からゴールラインを割る地点までの直線上のゴール裏に仮想カメラを据え、ボールが飛び込んでくる様子を捉えた仮想視点画像が生成される。このような構図シナリオは、キックシーンやゴールシーンといった特定の時間におけるボールや選手の位置関係から仮想カメラの位置や向きを決めるような構図シナリオの例である。

また、図８に示したような「ファウルの瞬間をじっくり見る」構図シナリオでは、ファウルが発生したフレームで時間を止めたままファウル発生位置を中心に仮想カメラを回転し、ファウルの瞬間を３６０度で観察するような仮想視点画像が生成される。このような構図シナリオは、特定フレームにおける選手位置に基づき、時間を止めた状態で仮想カメラを動かすような構図シナリオの例である。即ち、この場合、ある特定の時間における被写体を様々な視点から写した複数の仮想視点画像が生成される。

なお、上述の例は一例であり、他の構図シナリオを用いてもよい。また、シーンを種類に分類することなく、シーンに関連する構図シナリオを用いてもよい。例えば、仮想視点画像を生成するシーンにおいて生じる事象が「シュート（得点成功）」または「シュート（得点失敗）」である場合、「キーパの目線で見る」または「シュートした人の目線で見る」を構図シナリオとして用いてもよい。また、例えば、仮想視点画像を生成するシーンにおいて生じる事象が「パス」である場合、「パスを受ける人の目線で見る」または「パスを出す人の目線で見る」を構図シナリオとして用いてもよい。また、シーンに関連する構図シナリオをユーザの入力により定めてもよい。

続いて、作成部３０５は、被写体リストを確認し（Ｓ１７０４）、人物指定シナリオを追加するか否かを判定する。Ｓ１７０４では、例えば、作成部３０５は、シーン開始から終了までの全フレームに渡って仮想視点画像を生成可能な領域に位置する人物がいるか判定する。作成部３０５は、全フレームに渡って仮想視点画像を生成可能な領域に位置する人物がいる場合、人物指定シナリオを追加すると判定し、全フレームに渡って仮想視点画像を生成可能な領域に位置する人物がいない場合、人物指定シナリオを追加すると判定しない。また、例えば、Ｓ１７０４において、作成部３０５は、シーン開始から終了まで人物が被写体リストに登場するか否かを判定する。作成部３０５は、シーン開始から終了までの間に人物が被写体リストに登場する場合、人物指定シナリオを追加すると判定し、シーン開始から終了までの間に人物が被写体リストに登場しない場合、人物指定シナリオを追加すると判定しない。なお、シーンの全フレームに渡って仮想視点画像を生成可能な領域に位置する人物がいる場合に人物指定シナリオを追加すると判定するとして説明を行うがこれに限定されない。例えば、シーンの所定数以上のフレームに渡って仮想視点画像を生成可能な領域に位置する人物がいる場合に人物指定シナリオを追加すると判定する構成としてもよい。また、例えば、シーンにおいて生じる事象の発生地点を向いている人物がいる場合に人物指定シナリオを追加すると判定する構成としてもよい。また、シーンにおいて、目線で仮想視点画像が生成できる人物がいる場合に人物指定シナリオを追加すると判定する構成としてもよい。また、Ｓ１７０５の処理を省略し、常に人物指定シナリオを追加すると判定する構成としてもよい。

続いて、作成部３０５は、人物指定シナリオを追加すると判定すれば（Ｓ１７０５のｙｅｓ）、人物指定の構図シナリオを追加する（Ｓ１７０６）。人物指定シナリオの一例としては、イベントをサッカー試合とした場合、図８に示したような「選んだ選手と同じ目線で見る」や「選んだ選手を＊から追い続ける（＊は背後、正面等）」がある。「選んだ選手と同じ目線で見る」構図シナリオでは、特定選手の位置と顔の向きを仮想カメラの位置と向きにした特定選手の視界を再現するような仮想視点画像が生成される。このような構図シナリオは、１人の特定選手の全フレームでの位置や向きから仮想カメラの位置や向きを決めるような構図シナリオの例である。また、仮想視点画像を生成するシーンに関連づいた人物の人物指定の構図シナリオを追加する構成としてもよい。例えば、仮想視点画像を生成するシーンにおいて、ボールに接触した選手の人物指定の構図シナリオを追加する構成としてもよい。

次いで、作成部３０５は、追加した構図シナリオそれぞれについて選択されたシーンで仮想視点画像を生成可能か否か検査する（Ｓ１７０７）。イベントをサッカー試合とした場合、例えば得点成功の構図シナリオ「ヘディング地点でシュートが決まる様子を見る」は、キックによるシュートであれば成立しないので仮想視点画像を生成できないと判断される。作成部３０５は、仮想視点画像を生成できないと判断された構図シナリオを除外する。作成部３０５は、仮想視点画像を生成できると判断された構図シナリオから構図シナリオリストを作成する（Ｓ１７０８）。作成部３０５が作成した構図シナリオリストは、ユーザ端末４００に送信され、構図シナリオ選択画面としてユーザに提示される。

選択されたシーンが図２（ｃ）に示した例での「前半０３分 シュート（１－０）」等の得点成功シーン種類であって、人物指定シナリオを追加した場合の、構図シナリオ選択画面の一例を図４（ｂ）に示す。図４（ｂ）において、仮想カメラパスを設定するための条件である複数の構図シナリオが選択可能にユーザに提示される。

図３の説明に戻り、ユーザ端末４００は、構図シナリオリストに基づいて、例えば図４（ｂ）に示すような構図シナリオ選択画面を表示する。ユーザ端末４００は、ユーザからの指定に基づき構図シナリオ選択画面から特定された構図シナリオを選択する（Ｓ４００６）。ユーザ端末４００は、選択された構図シナリオが人物に関連する場合、被写体選択画面を提示する（Ｓ４００７）。ユーザ端末４００は、被写体リストに基づいて、例えば図４（ｃ）に示すような被写体選択画面を表示する。図４（ｃ）は、図４（ｂ）で示した構図シナリオ選択画面において「選んだ選手と同じ目線で見る」を視聴者が選択した場合の、被写体選択画面の例である。図４（ｃ）において、仮想カメラパスを設定するための条件として複数の人物が選択可能にユーザに提示される。また、被写体選択画面には、人物の氏名、背番号、チーム名、および顔写真などの付加情報が含まれていてもよい。

ユーザ端末４００は、ユーザからの指定に基づき、人物シナリオ選択画面から特定の人物を選択する（Ｓ４００９）。次いで、ユーザ端末４００は、仮想視点画像作成処理を開始する（Ｓ４０１０）。ユーザ端末４００の設定部４０４は、選択部４０３より受け取った選択されたシーン、構図シナリオおよび人物に基づいて仮想カメラパス条件を設定する（Ｓ４０１１）。仮想カメラパス条件とは、構図シナリオを実現するための、仮想カメラの位置および向きと、被写体の位置情報との関係を規定する条件である。

図９は、構図シナリオリストを図８で示した例とした場合の設定部４０４による仮想カメラパス条件の設定例である。例えば、イベントがサッカー試合の場合、構図シナリオ「真上からシーン全体の動きを見る」における仮想カメラ位置は「ボール移動経路を内包する円の中心８メートル上空」となり、仮想カメラ向きは「真下」となる。なお、これらの具体的な数字は一例あり、構図シナリオ「真上からシーン全体の動きを見る」における仮想カメラ位置は、他の位置であってもよい。

ここで、仮想カメラパス条件の具体例を、図１０を用いて説明する。仮想視点画像を生成するシーンにおいて、図１０（ａ）で示すように、生成する仮想視点画像の開始フレームに対応する時間でＩＤ０２の選手がＩＤ０３のボールを蹴り、ＩＤ０６の選手にパスを行う。また、パスを受けたＩＤ０６の選手は、シュートを行う。ＩＤ０６の選手がシュートを行った時間に対応する仮想視点画像のフレームをシュートフレームとする。

ＩＤ０６の選手がシュートしたボールは、ゴールラインを割る。ゴールラインを割った時間に対応する仮想視点画像のフレームをゴールフレームとする。生成する仮想視点画像を終了する時間に対応する仮想視点画像のフレームを終了フレームとする。

開始フレームから終了フレームまでのボールの移動経路５２は図１０（ｂ）で示すようになる。この場合のボールの移動経路５２を内包する円５３は図１０（ｂ）で示すようになる。したがって、構図シナリオ「真上からシーン全体の動きを見る」の仮想カメラパス条件を満たす仮想カメラの位置は円５３の中心８メートル上空となる。このように、設定部４０４は、算出部３０３がボールの移動経路を用いて仮想カメラの位置および向きを決定できるよう、どの被写体の位置情報をどう利用するかを仮想カメラパスの条件として設定する。

続いて、図１０（ａ）に示すシーンを用いて、構図シナリオ「ゴール地点でシュートが決まる様子を見る」の仮想カメラ条件の一例を説明する。構図シナリオ「ゴール地点でシュートが決まる様子を見る」における仮想カメラ位置は、「ゴール地点の３メートル後方」であり、仮想カメラ向きはシュート前が「ボール」とし、シュート後が「シュート地点」とする。仮想カメラ５１の位置は、図１０（ｃ）で示すように、シュートフレームでのボール位置からゴールフレームでのボール位置までの直線を３メートル延長した位置となる。また仮想カメラ５１の向きは、図１０（ｃ）で示すように、開始フレームからシュートフレームまではボールが画面中央となるよう仮想カメラの向きを設定し、シュートフレーム以降は終了フレームまでシュート地点を向いた状態で固定する。このように、設定部４０４は、算出部３０３が仮想カメラ位置を決定できるよう、被写体の位置情報を利用し、どのフレームでどの位置に仮想カメラを配置し、仮想カメラをどの向きにするかの条件を設定する。なお、これらの具体的な数字や具体的な位置は一例あり、構図シナリオ「ゴール地点でシュートが決まる様子を見る」における仮想カメラ位置は、他の位置であってもよい。

続いて、ファウルシーンにおいて、構図シナリオ「ファウルの瞬間をじっくり見る」の仮想カメラ条件の一例を説明する。構図シナリオ「ファウルの瞬間をじっくり見る」における仮想カメラの位置は、開始からファウル発生までは、副審位置とする。また、仮想カメラの向きは、開始からファウル発生までは、ファウルする選手が写るよう設定される。ファウルが発生した場合、仮想カメラの位置は、ファウルの発生タイミングにおいて（ファウル発生時間のまま）、ファウルする選手を中心に時計回り仮想カメラを３６０度回転する。即ち、仮想視点画像において、ファウルの発生タイミングを様々な角度から写すことができる。仮想カメラが副審位置に戻ったら、仮想カメラを固定してシーンの時間経過を再開する。このように、設定部４０４は、仮想視点画像において時間経過を停止する静止するタイミングと仮想視点カメラの回転状態を決定できるよう、仮想カメラをどの時間で静止してどの被写体を中心にどの被写体位置からどの向きに回転するかの条件を設定する。なお、これらの具体的な数字や具体的な位置は一例あり、構図シナリオ「ファウルの瞬間をじっくり見る」における仮想カメラ位置は、他の位置であってもよい。なお、シュートする選手を中心に、シュートを行う時間で、同様に仮想視点カメラを回転状態する構図シナリオを設けてもよい。

図９に示した上述以外の構図シナリオについても、設定部４０４は、どのフレームのどの被写体の位置情報をどう利用するかを仮想カメラパスの条件として設定する。なお、ユーザ端末４００が仮想カメラパス条件を設定する例を説明したが、ユーザ端末４００が仮想カメラパス条件を設定することなく、画像処理装置３００が仮想カメラパスを算出する構成としてもよい。この場合、ユーザ端末４００は、選択したシーン、構図シナリオおよび人物を識別するための情報を画像処理装置３００に送信してもよい。そして、画像処理装置３００は、受信した選択したシーン、構図シナリオおよび人物を識別するための情報に基づいて、仮想カメラパスを設定する構成としてもよい。

図３の説明に戻り、ユーザ端末４００は、選択したシーン、構図シナリオ、人物を識別するための情報及び仮想カメラ条件を示す情報を含む仮想視点画像の作成依頼を画像処理装置３００に送信する（Ｓ４０１２）。画像処理装置３００は、ユーザ端末４００から仮想視点画像の作成依頼を受信すると、受信した情報に基づいて仮想視点画像を作成する。

ここで、図１１を用いて画像処理装置３００の仮想カメラパス算出処理について説明する。図１１は、画像処理装置３００の算出部３０３による仮想カメラパス算出処理の流れを示すフローチャートである。

画像処理装置３００の算出部３０３は、ユーザ端末４００からの仮想視点画像作成依頼に含まれる仮想カメラパス条件を受け取ることで、仮想カメラパス算出処理を開始する。算出部３０３は、仮想カメラパス条件を取得する（Ｓ１１０１）。算出部３０３は、仮想カメラパス条件により示される仮想カメラパスを設定する際に利用する被写体の位置情報を特定する（Ｓ１１０２）。例えば、仮想カメラパス条件が図９で示した例のうちの仮想カメラの位置が「ボール移動経路を内包する円の中心８メートル上空」で、仮想カメラの向きが「真下」であった場合、算出部３０３は、開始から終了までボールを、位置を利用する被写体と特定する。また、仮想カメラパス条件が図９で示した例のうちの仮想カメラの位置が「ゴール地点の３メートル後方」である場合を考える。この場合において、仮想カメラの向きが「ボール／キック地点」であった場合、算出部３０３は、開始から選手がシュートを行うまでのボールおよびゴールフレームにおけるボールを位置利用する被写体と特定する。また、この場合、シュートを行う選手を位置利用する被写体と特定してもよい。

算出部３０３は、シュートを行う時間やゴールが決まる時間など、仮想カメラパスを設定する際に用いる時間情報をイベント情報保持部２０のイベントログ情報から特定してもよいし、得点した選手やゴールラインとボールの位置関係から特定してもよい。また、シュートを行う時間やゴールが決まる時間など、仮想カメラパスを設定する際に用いる時間情報を、撮影画像の画像処理によるシーン判定に基づき特定してもよい。例えば、シュートを行う時間は、得点した選手からボールが離れたことを画像処理により判別して、その画像の撮影時から取得されてよい。ボールが離れたことを判別する画像処理は、撮影画像のフレーム間で、得点した選手とボールの位置差が所定値以下となる最後のフレームを見つけることで特定する構成としてよい。また、例えば、ゴールが決まる時間は、ボールがゴールラインの内側になった最初のフレームを判別し、そのフレームの撮影時間により特定される。

このように算出部３０３は、仮想カメラパス条件に基づき、どの撮影時間のどの被写体について位置利用するかを特定する。算出部３０３は、シュート地点が仮想視点画像を生成可能な範囲外だった等により、位置利用する被写体を特定できなければ（Ｓ１１０３のｎｏ）、ユーザ端末４００にエラー通知し（Ｓ１１０８）、仮想カメラパス算出処理を終える。算出部３０３は、位置情報を利用する被写体を特定できれば（Ｓ１１０３のｙｅｓ）、特定時間における被写体の位置情報を位置情報取得部３０２より取得する（Ｓ１１０４）。算出部３０３は、取得した被写体の位置情報と、仮想カメラパス条件とに基づいて、生成する仮想視点画像のフレーム毎の仮想カメラの位置および向きを決定する（Ｓ１１０５）。構図シナリオが図９で示した例のうちの「真上からシーン全体の動きを見る」であった場合、シーン開始から終了までの全フレームに渡って、図１０（ｂ）の例で示した円５３の中心の上空８メートルから真下を向いたような仮想カメラパラパスとなる。構図シナリオが図９で示した例のうちの「ゴール地点でシュートが決まる様子を見る」であった場合、図１０（ｃ）の例で示した仮想カメラ５１の位置で、ボールを追って左から右へパンしていき選手がシュートする位置でパンが止まる仮想カメラパスとなる。このように算出部３０３は、仮想カメラパス条件を満たすようシーン開始から終了までの仮想カメラパスを構成するための仮想カメラパラメータを全フレームについて決定することで、仮想カメラパスを自動的に算出する。ここで決定される仮想カメラパラメータとは、例えば、生成される仮想視点画像のフレームごとの視点の位置及び／視線の方向である。

なお、算出部３０３は、算出した仮想カメラの動きが所定の閾値を超える場合、視聴者が仮想視点画像を見やすいよう再生速度を半分にする等の再生速度を仮想カメラパラメータとして設定してもよい。

次いで、算出部３０３は、算出した仮想カメラパスにより特定される各フレームの仮想カメラの位置を結んだ線を平滑化し、平滑化した線上の座標を仮想カメラの位置として特定する（Ｓ１１０６）。仮想カメラパスの平滑化は、仮想カメラが小刻みに動いて生成される仮想視点画像が手振れしたかのようになり、視聴者が映像酔いになるのを抑えるために行う。なお、Ｓ１１０６の処理は省略してもよい。次いで、算出部３０３は、算出した仮想カメラパスに応じた仮想視点画像生成を生成部３０１に依頼する（Ｓ１１０７）。

図３の説明に戻り、画像処理装置３００の生成部３０１は、算出部３０３が算出した仮想カメラパスの仮想カメラパラメータを満たす仮想視点画像を生成する。即ち、生成部３０１は、構図シナリオに応じて決定された仮想視点画像に係る視点の位置及び／または視線の方向に応じた仮想視点画像を生成する。

画像処理装置３００は、生成した仮想視点画像をユーザ端末４００に出力する。ユーザ端末４００は、受信した仮想視点画像を表示部４０１において表示する。ユーザ端末４００は、受信した仮想視点画像を表示部４０１で再生して視聴者に提示する（Ｓ４０１３）。

以上説明したように、本実施形態によれば、イベントを撮影し、その撮影結果から仮想視点画像を生成する場合、イベントを複数のシーンに分けて、複数のシーンから仮想視点画像を生成するシーンをユーザは選択することができる。したがって、ユーザは煩雑な操作を行わなくとも、イベントにおける所望の時間、場所または事象に係る仮想視点画像を生成することができる。また、本実施形態によれば、選択したシーンに関連づいた条件であって、仮想視点画像に係る視点の位置を決定するための複数の条件から所望の条件を選択することで、視点を設定するための煩雑な操作を行うことなく仮想視点画像が生成される。したがって、ユーザは、煩雑な操作なく、自分の好みに適した仮想カメラパスで選択したシーンの仮想視点画像を閲覧することができる。また、ユーザは、煩雑な操作なく、選択したシーンに適した仮想カメラパスで仮想視点画像を閲覧することができる。また、選択されたシーンおよび構図シナリオおよび人物から仮想カメラパス条件を設定し、シーン開始から終了までの仮想カメラパスを自動算出することで、１つの被写体の位置や向きに限った構図でなくても、仮想視点画像を視聴者に提供できるようになる。このように、本実施形態によれば、仮想視点画像に係る視点の設定に慣れていないユーザであっても、仮想視点画像に係る視点の設定を容易に行うことができる。

なお、上述の実施形態において、選択されたシーンに関する構図シナリオ数を確認し、１つであれば、構図シナリオ選択画面をユーザに提示することなく、その構図シナリオを自動で選択する構成としてもよい。

また、上述の実施形態において、ユーザ端末４００がイベントログ情報を取得して、シーンを判別したり、シーン選択画面を生成したりする構成を説明した。しかしながら、これに限らず、画像処理装置３００がイベントログ情報を取得して、シーンを判別したり、シーン選択画面を生成したりしてもよい。

また、ユーザ端末４００において、ユーザの操作に基づいて、時間や期間を指定することで仮想視点画像の生成に係るシーンを特定する構成としてもよい。時間や期間を指定することで仮想視点画像の生成に係るシーンを特定するための、ユーザの指示を受け付けるための画面例を図１２に示す。図１２において、シーン開始時刻とシーン終了までの長さの少なくとも２つについて指定するような画面である。また、シーン開始時刻とシー終了時刻を受け付ける画面であってもよい。また、どのようなシーンが指定されたかを特定しやすいよう、シーン終了までの長さは所定値以内と制限してもよい。また、画像処理装置３００またはユーザ端末４００は、イベントログ情報から、特定する構成としてもよい。指定されたシーンが図１２で示した例のように１０：０３：４８から８秒後の１０：０３：５６までとすると、イベントログ情報が図２（ｃ）で示した例では、指定シーン開始２秒後の１０：０３：５０にシュートによる得点シーンが含まれていることがわかる。

（変形例）
上述の実施形態の変形例を図１４に示す画像処理装置３００の動作の流れを示すフローチャートを用いて説明する。なお、変形例における各装置の構成は上述の実施形態と同様である。

Ｓ１９０１において、画像処理装置３００は、仮想視点画像を生成する候補となる複数のシーンをユーザに提示する。なお、画像処理装置３００は、イベント情報に基づいて上述のシーン選択画面を作成し、ユーザ端末４００にシーン選択画面を送信する。

Ｓ１９０２において、画像処理装置３００は、ユーザ操作による指定により仮想視点画像を生成するシーンを特定したか否かをユーザ端末４００から受信する情報に基づいて判定する。画像処理装置３００は、ユーザ端末４００からシーンを特定する情報を受信した場合、仮想視点画像を生成するシーンを特定したと判定する。

仮想視点画像を生成するシーンを特定した場合、Ｓ１９０３において、画像処理装置３００は、特定したシーンの場所、時間及び事象をイベント情報に基づいて特定する。例えば、画像処理装置３００は、特定したシーンがシュートシーンである場合、シュート位置に基づく場所をシーンの場所、シュートを行う一連のプレー時間を特定したシーンの時間、シュートをシーンにおいて生じた事象であると判定する。

仮想視点画像を生成するシーンを特定した場合、Ｓ１９０４において、画像処理装置３００は、Ｓ１９０３にて特定したシーンの場所、時間及び事象に関連する人物を特定する。例えば、画像処理装置３００は、特定したシーンがシュートシーンである場合、シュートを行った選手、キーパ及びシュートを行った選手に最も近い相手選手を関連する人物であると特定する。

Ｓ１９０５において、画像処理装置３００は、特定したシーンの場所、時間及び事象の少なくとも何れか一つに関連する構図シナリオ及びＳ１９０３で特定した被写体に関連する構図シナリオを取得する。画像処理装置３００は、特定したシーンがシュートシーンである場合、特定したシーンの場所、時間及び事象の少なくとも何れか一つに関連する構図シナリオとして、例えば、図９に示した「ゴール地点でシュートが決まる様子を見る」を取得する。また、画像処理装置３００は、Ｓ１９０３で特定した被写体に関連する構図シナリオとして、「シュートを行った選手、キーパまたはシュートを行った選手に最も近い相手選手の目線から見る」を取得する。画像処理装置３００は、取得した構図シナリオを選択するための構図シナリオ選択画面を作成し、ユーザに提示するためにユーザ端末４００に送信する。

Ｓ１９０６において、画像処理装置３００は、ユーザ操作による指定により、生成する仮想視点画像に係る構図シナリオを特定したか否かをユーザ端末４００から受信する情報に基づいて判定する。画像処理装置３００は、ユーザ端末４００から構図シナリオを特定する情報を受信した場合、構図シナリオを特定したと判定する。

生成する仮想視点画像に係る構図シナリオを特定した場合、Ｓ１９０７において、画像処理装置３００は、特定した構図シナリオに基づいて仮想カメラパラメータを特定する。例えば、生成する仮想視点画像に係る構図シナリオとして、「シュートを行った選手の目線から見る」が特定された場合、画像処理装置３００は、生成するシーンにおけるシュートを行った選手の位置情報と、向きとを位置情報取得部３０２により取得する。画像処理装置３００は、生成するシーンにおけるシュートを行った選手の位置情報と、向きとを仮想視点パスとする仮想視点パラメータを設定する。

Ｓ１９０８において、画像処理装置３００は、特定した仮想カメラパラメータに基づいて仮想視点画像を生成し、Ｓ１９０９において、画像処理装置３００は、生成した仮想視点画像をユーザ端末４００に出力する。

このように、変形例においても、仮想視点画像に係る視点の設定に慣れていないユーザであっても、仮想視点画像に係る視点の設定を容易に行うことができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

１００ 記憶装置
３００ 画像処理装置
４００ ユーザ端末
３０１ 生成部
３０２ 位置情報取得部
３０３ 算出部
３０４ イベント情報取得部
３０５ 作成部
４０１ 表示部
４０２ 判定部
４０３ 選択部
４０４ 設定部

Claims (12)

1. 仮想視点画像の生成に使用される撮影画像を取得する複数の撮影装置により撮影される複数のシーンのうち、あるシーンを特定する第１ユーザ操作と、前記仮想視点画像を生成するための仮想視点の位置及び仮想視点からの視線方向を決定するため複数の条件のうち、ある条件を特定する第２ユーザ操作と、複数の被写体のうち、ある被写体を特定する第３ユーザ操作と、を取得する取得手段と、
   特定された前記シーンと、特定された前記条件と、特定された前記被写体とに基づいて生成された前記仮想視点画像を表示する制御を行う表示制御手段と
   を有することを特徴とする画像処理装置。
2. 前記表示制御手段は、前記複数のシーンをそれぞれ示す複数の画像と、前記複数の条件をそれぞれ示す複数の画像と、前記複数の被写体をそれぞれ示す複数の画像とを表示する制御を行い、
   前記第１ユーザ操作は、前記複数のシーンをそれぞれ示す複数の画像のうち、あるシーンを示す画像を特定する操作であり、
   前記第２ユーザ操作は、前記複数の条件をそれぞれ示す複数の画像のうち、ある条件を示す画像を特定する操作であり、
   前記第３ユーザ操作は、前記複数の被写体をそれぞれ示す複数の画像のうち、ある被写体を示す画像を特定する操作であることを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の条件は、前記第１ユーザ操作に基づいて特定されたシーンに対応づけられていることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記複数の被写体は、前記第１ユーザ操作に基づいて特定されたシーンに対応付けられていることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記被写体は、人物であり、
   前記条件は、前記人物の位置の背後に前記仮想視点の位置及び前記仮想視点からの視線方向を設定するための条件であることを特徴とする請求項１に記載の画像処理装置。
6. 前記被写体は、人物であり、
   前記条件は、前記人物の目線から見た仮想視点画像に対応する前記仮想視点の位置及び前記仮想視点からの視線方向を設定するための条件であることを特徴とする請求項１に記載の画像処理装置。
7. 前記条件は、前記被写体を中心に回転する前記仮想視点の位置及び前記仮想視点からの視線方向を設定するための条件であることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
8. 前記シーンは、撮影時刻と対応付けられていることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記シーンは、ゴールシーン、シュートシーンおよびファールシーンのうち少なくとも何れか一つを含むことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記仮想視点画像は、他の装置で生成されることを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 仮想視点画像の生成に使用される撮影画像を取得する複数の撮影装置により撮影される複数のシーンのうち、あるシーンを特定する第１ユーザ操作と、前記仮想視点画像を生成するための仮想視点の位置及び仮想視点からの視線方向を決定するため複数の条件のうち、ある条件を特定する第２ユーザ操作と、複数の被写体のうち、ある被写体を特定する第３ユーザ操作と、を取得する取得工程と、
    特定された前記シーンと、特定された前記条件と、特定された前記被写体とに基づいて生成された前記仮想視点画像を表示する制御を行う表示制御工程と
    を有することを特徴とする画像処理方法。
12. コンピュータを請求項１乃至９の何れか１項に記載の画像処理装置として動作させるためのプログラム。

Images