JP7366611B2 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Description

本発明は、仮想視点画像を生成する技術に関するものである。

複数の撮像装置を異なる位置に設置し、同期した状態で被写体を撮像することにより得られる複数の撮像画像を用いて、仮想視点画像を生成する技術がある。この技術によれば、撮像装置の設置位置から見た画像だけでなく、撮像領域内における任意の視点（仮想視点）から見た画像を生成することができる。

仮想視点画像は、複数の撮像装置により撮像された複数の撮像画像を用いて、三次元モデル等の形状データ生成及びレンダリング等の画像処理を行うことにより生成される。特許文献１には、撮像領域を取り囲むように複数の撮像装置を配置し、当該撮像領域を撮像した撮像画像を用いて、任意の視点に対応する仮想視点画像を生成及び表示する技術が開示されている。特許文献１に記載の画像データ再生装置によれば、ユーザによる視点を指定するための操作を受け付け、ユーザが指定した視点から見た仮想視点画像を生成することができる。これにより、ユーザは例えばスポーツ競技やコンサートについて、所望の視点から見た仮想視点画像を見ながらスポーツ競技観戦やコンサートの観賞をすることができる。また、生成された仮想視点画像は、ユーザ端末に配信され視聴される。

特開２０１４－２１５８２８号公報

仮想視点画像は、ユーザが所望の視点から見た画像を取得できることから、スポーツ競技のプレー及びフォーム等についての分析等に使用されることが想定される。このとき、例えばある特定の選手について、現在表示されている仮想視点画像に映る選手と、１秒前の時刻に対応する仮想視点画像に映る選手とを比較し、フォームがどのように変化したかを分析する場合を考える。この場合に特許文献１に記載の画像データ再生装置を用いると、現在表示されている仮想視点画像の他に、１秒前の時刻に対応する仮想視点画像を生成し、二つの仮想視点画像を見比べるという方法をとることができる。しかしながら、上述の方法では、時刻を変更しながら異なる時刻に対応する複数の仮想視点画像を生成し、目視等により比較する必要があるため、比較の作業に時間がかかる虞がある。

本発明は上記の課題に鑑みてなされたものである。その目的は、連続して撮像された特定の被写体について、異なる時点のそれぞれに対応する当該特定の被写体どうしを所望の視点から比較可能な仮想視点画像を表示させることである。

本発明に係る画像処理装置は、複数の撮像装置により撮像された複数の撮像画像に基づいて仮想視点画像を生成する画像処理装置であって、背景データと、前記背景データとは異なる、特定の被写体が連続して撮像される期間における当該特定の被写体を表す形状データとを取得する取得手段と、前記仮想視点画像に係る仮想視点の、位置及び向きの少なくともいずれかを示す情報を含む仮想視点情報を決定する決定手段と、前記決定手段により決定された仮想視点情報に対応した、前記連続して撮像される期間における異なる時点のそれぞれに対応する複数の形状データに基づく画像を同時に表示させるための仮想視点画像を、前記背景データと前記複数の形状データとを用いて生成する生成手段とを有することを特徴とする。

本発明によれば、連続して撮像された特定の被写体について、異なる時点のそれぞれに対応する当該特定の被写体を所望の視点から比較可能な仮想視点画像を表示させることができるようになる。

画像処理装置１００のハードウェア構成を説明するための図である。 画像処理システム２００の機能構成を説明するための図である。 軌跡画像を生成するための処理を説明するための図である。 軌跡画像を生成するための処理を説明するための図である。 軌跡線分及び仮想カメラの配置の一例を説明するための図である。 画像処理装置１００が行う軌跡画像生成処理を説明するためのフローチャートである。 その他の実施形態を説明するための図である。 撮像装置１の配置の一例を示す図である。

以下、本発明の実施形態について、図面を参照しながら説明する。なお、以下の実施形態に記載される構成要素は、本発明の実施の一例としての形態を示すものであり、本発明の範囲をそれらのみに限定するものではない。

本実施形態においては、複数の撮像装置により撮像される特定の被写体に関して、当該被写体の経時的な変化を容易に認識可能な仮想視点画像を生成する画像処理装置１００について説明する。ここで、仮想視点画像とは、複数の撮像装置による撮像に基づく複数の画像と、指定された任意の視点（仮想視点）とに基づいて、指定された仮想視点からの見えを表す画像である。複数の撮像装置は、例えば図８に示す撮像装置１のように、撮像領域を囲むように配置されうるが、配置及び台数はこの例に限定されない。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。本実施形態における仮想視点画像は静止画像であるが、仮想視点画像を複数組み合わせることにより仮想視点動画を生成することも可能である。また、本実施形態においては、仮想視点画像を生成するためのデータを、素材データと呼ぶ。素材データは、撮像装置によって撮像された撮像画像、及び該撮像画像に基づいて生成されるデータである。素材データは、後述する補助記憶装置１０４又は外部補助記憶装置１０７等に蓄積され、仮想視点画像の生成時に使用される。素材データの種別及び生成方法の詳細については後述する。

本実施形態における画像処理装置１００を使用することにより、図３（ｂ）に示すような、異なる時刻に撮像された特定の被写体が一の静止画像に含まれる仮想視点画像を生成することができる。以降の説明においては、図３（ｂ）のように特定の被写体が時間の変化に伴いどのように変遷したかを確認可能な画像を、軌跡画像とも呼ぶこととする。

本実施形態における画像処理装置１００のハードウェア構成について、図１を用いて説明する。画像処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、補助記憶装置１０４、通信Ｉ／Ｆ１０５、及びバス１０６を有する。

ＣＰＵ１０１は、ＲＯＭ１０２やＲＡＭ１０３に格納されているコンピュータプログラムやデータを用いて画像処理装置１００の全体を制御することで、図１に示す画像処理装置１００の各機能を実現する。なお、画像処理装置１００がＣＰＵ１０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ１０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ１０２は、変更を必要としないプログラムなどを格納する。ＲＡＭ１０３は、補助記憶装置１０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ１０５を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１０４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

通信Ｉ／Ｆ１０５は、画像処理装置１００の外部の装置との通信に用いられる。例えば、画像処理装置１００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ１０５に接続される。画像処理装置１００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ１０５はアンテナを備える。本実施形態における画像処理装置１００は、例えば外部に接続される外部補助記憶装置１０７、及び後述のユーザ端末３００等と通信を行う。バス１０６は、画像処理装置１００の各部をつないで情報を伝達する。

次に、本実施形態における画像処理装置１００の機能構成について、図２を用いて説明する。図２は、画像処理装置１００を有する画像処理システム２００の機能構成を説明するための図である。なお、図２におけるユーザ端末３００ａ－３００ｚは、図１におけるユーザ端末３００に対応する。以降の説明においては、特別な説明がない限り、ユーザ端末３００ａ－３００ｚの２６セットのユーザ端末を区別せず、単にユーザ端末３００と記載する。各ユーザ端末３００内の装置についても同様に、特別な説明がない場合は区別せず、それぞれ端末通信部３０１、表示部３０２、操作部３０３、ユーザ情報発信部３０４と記載する。

素材データ保持部２０１及び被写体情報保持部２０２は、外部補助記憶装置１０７に含まれる保持部である。素材データ保持部２０１は、仮想視点画像を生成するために使用される素材データを保持し、後述する画像生成部２０６からの要求に応じて素材データを送信する。被写体情報保持部２０２は、複数の撮像装置により撮像される被写体に係る情報（以下、被写体情報と呼ぶ）を保持し、画像処理装置１００における各処理部に被写体情報を送信する。被写体として想定されるオブジェクトとしては、例えばボールや選手のように撮像領域内において動きのあるオブジェクトと、例えば球技で使用されるゴール等の構造物のように撮像領域内において静止しているオブジェクトとがある。本実施形態においては、動きのあるオブジェクトを前景オブジェクト、静止しているオブジェクトを背景オブジェクトと呼ぶ。前景オブジェクトとしては、上記の例の他に、フィールド内の審判、コンサートやエンタテイメントにおける歌手、演奏者、パフォーマー、司会者などが想定される。また背景オブジェクトとしては、上記の例の他に、コンサート等のステージ、及び競技などのイベントを行うスタジアム等が想定される。ただし、被写体としては前景オブジェクト及び背景オブジェクトの他に、別の物体等が含まれていても構わない。また、撮像領域全体も被写体であると解されてもよい。なお、以降の説明において、前景オブジェクトと背景オブジェクトとをまとめてオブジェクトと記載する場合がある。被写体情報保持部２０２は、前景オブジェクト及び背景オブジェクト等の各被写体に対応する被写体情報を保持する。被写体情報は、例えば、それぞれの被写体に対応する時刻情報、姿勢認識情報、識別情報及び代表点情報等を含む。また、被写体情報には、撮像領域全体の範囲に関する情報であって、仮想視点を指定可能な範囲を示す情報も含まれる。以下、被写体情報に含まれる各情報について説明する。

時刻情報は、複数の撮像装置により被写体が撮像された時刻に係る情報である。時刻情報は、例えば複数の撮像装置を同期して撮像を行う際に使用されるタイムコードに関する情報、及び撮像画像に付される撮像時刻に関する情報又は撮像画像フレーム番号等に基づいて取得することができる。姿勢認識情報は、例えば選手等の被写体について、機械学習等により姿勢認識を行った結果、又は姿勢認識を行うために必要な情報が含まれる。識別情報は、複数の被写体を識別可能にするための情報である。例えば被写体がサッカー選手である場合、選手の名前、背番号、及び所属等を表す情報が含まれうる。代表点情報は、一つの被写体（オブジェクト）を１点で表す際の座標に関する情報、又は該座標を算出するために必要な情報が含まれる。代表点としては、例えばオブジェクトの重心位置、及びオブジェクトが地面と接する点等、任意の位置が定義されてよい。以上が、被写体情報に含まれる情報についての説明である。なお、被写体情報に含まれる情報は、必ずしも上記の例に限定されない。上記以外の情報が含まれていてもよいし、必要に応じて上記の情報の中から任意の情報のみが含まれていてもよい。例えばゴール等の背景オブジェクトのように姿勢認識や識別の必要のないオブジェクトに対応する被写体情報は、姿勢認識情報及び識別情報が含まれていなくてもよい。なお、本実施形態における素材データ保持部２０１及び被写体情報保持部２０２は、外部補助記憶装置１０７に含まれるものとしたが、これに限定されない。素材データ保持部２０１及び被写体情報保持部２０２の少なくともいずれかが画像処理装置１００に含まれる構成であってもよい。

ここで、軌跡画像以外の仮想視点画像を生成するための処理部について先に説明する。この場合、主に使用される処理部は仮想視点決定部２０５、画像生成部２０６、及び画像処理装置１００の外部に接続されたユーザ端末３００である。仮想視点決定部２０５は、ユーザによる入力操作等に基づいて、仮想視点情報を決定する。仮想視点情報は、仮想視点の位置及び向きの少なくともいずれかを示す情報を含む情報である。なお、仮想視点情報に含まれる情報は上記の例に限定されない。例えば、仮想視点の視野の大きさ（画角）を示す情報が仮想視点情報に含まれてもよい。画像生成部２０６は、仮想視点決定部２０５から送信される仮想視点情報に基づいて、仮想視点画像を生成する。以下、仮想視点決定部２０５及び画像生成部２０６が軌跡画像以外の仮想視点画像を生成する際の処理の流れについて説明する。仮想視点決定部２０５は、ユーザによる後述するユーザ端末３００に対する入力操作に基づいて、仮想視点の位置及び向きの少なくともいずれかを決定する。仮想視点決定部２０５は、ユーザによる入力操作に基づいて決定した仮想視点情報を、画像生成部２０６に送信する。画像生成部２０６は、仮想視点決定部２０５から送信された仮想視点情報に応じて、当該仮想視点情報に対応する仮想視点から見た仮想視点画像を生成するために必要な素材データを、素材データ保持部２０１から取得する。画像生成部２０６は、取得した素材データを用いて仮想視点画像を生成し、生成した仮想視点画像を装置通信部２０８を介してユーザ端末３００に表示させる。

次に、軌跡画像を生成するための処理部について説明する。軌跡画像を生成する場合は、上記に加え、軌跡生成管理部２０３及び軌跡算出部２０４が使用される。軌跡生成管理部２０３は、装置通信部２０８を介してユーザに入力操作を要求し、該入力操作に基づいて得られた情報を管理する。要求する入力操作は、軌跡画像を生成する対象のオブジェクトを選択するための操作、及び、被写体が撮像された撮像時間に対して軌跡画像を生成する撮像時間の範囲を指定するための操作である。また、軌跡生成管理部２０３は、ユーザの入力操作によって得られた情報を、軌跡算出部２０４に送信する。軌跡算出部２０４は、軌跡生成管理部２０３から送信された情報に基づいて、軌跡画像を生成する対象のオブジェクトに関する代表点情報を被写体情報保持部２０２から取得する。また、軌跡算出部２０４は、被写体情報保持部２０２から取得した代表点情報に基づいて得られる代表点の座標を用いて、軌跡画像を生成する対象のオブジェクトの代表点の軌跡を算出する。軌跡算出部２０４は、算出した代表点の軌跡を示す情報を、仮想視点決定部２０５に送信する。仮想視点決定部２０５は、軌跡算出部２０４から送信される情報に基づいて、軌跡画像を生成するために使用される仮想視点情報を決定し、画像生成部２０６に送信する。画像生成部２０６は、仮想視点決定部２０５から送信された仮想視点情報及びユーザによる入力操作に基づいて、軌跡画像を生成する。以上が、軌跡画像を生成するための処理部についての説明である。軌跡画像生成の処理の詳細については、後述する。

表示情報生成部２０７は、ユーザ端末に表示させる情報を生成する。表示情報生成部２０７は、例えば、画像生成部２０６において生成される軌跡画像を含む仮想視点画像に、グラフィックデータ及びテキストデータ等を組み合わせた表示用の情報を生成する。装置通信部２０８は、画像処理装置１００とユーザ端末３００との間で通信Ｉ／Ｆ１０５を介してやり取りされる、画像、音声及びテキストデータ等のデータの送受信を行う。その際、装置通信部２０８はユーザ情報管理部２０９からの指示に従い、所定のユーザとの間で前記送受信を実行する。ユーザ情報管理部２０９は、各ユーザに関するユーザ情報を管理する。ユーザ情報には、ユーザを特定するためのユーザＩＤ、ユーザの個人情報を示すユーザ属性、ユーザの現在地等を示すユーザ位置、及びユーザが本画像処理ステム１００の使用のために支払っている使用料等の情報が含まれる。なお、ユーザ情報に含まれる情報は上記の例に限定されない。また、ユーザ情報管理部２０９は、画像処理装置１００とユーザ端末３００との間で各種情報を送受信する際、画像処理装置１００及びユーザ端末３００が行う処理とユーザ情報との対応付けを行う。これにより、画像処理装置１００は、複数のユーザに対しそれぞれ異なる処理の実行、及び情報の通信を実現する。

ユーザ端末３００は、端末通信部３０１、表示部３０２、操作部３０３及びユーザ情報発信部３０４を有する。端末通信部３０１は、画像処理装置１００における装置通信部２０８との間で、データの送受信を行う。表示部４０２は、例えば液晶ディスプレイ、あるいはＬＥＤ等で構成され、仮想視点画像及びユーザが画像処理装置１００を操作するためのＧＵＩ（グラフィカルユーザインターフェース）等を表示する。操作部３０３は、例えばキーボード、マウス、ジョイスティック、およびタッチパネル等で構成され、ユーザによる入力操作を受け付け、該入力操作に基づく情報を端末通信部３０１を介して画像処理装置１００に送信する。また、ユーザは、操作部３０３を操作することにより、仮想視点情報を決定するための入力操作を行うことができる。仮想視点情報を決定するための入力操作は、例えば、ジョイスティックを操作して仮想視点の位置及び向きを指定する操作等である。仮想視点決定部２０５は、ユーザの入力操作により得られる入力情報に基づいて、仮想視点情報を決定する。ただし、上記の方法に限定されない。例えば、仮想視点決定部２０５は、ユーザによる特定のシーン（例えばサッカーのゴールシーン等）を指定するためのテキスト入力あるいはボタンの押下等に基づいて仮想視点情報を決定する構成であってもよい。このように、仮想視点情報を決定するためのユーザ操作として種々の方法が用いられうる。ユーザ情報発信部３０４は、端末通信部３０１から装置通信部２０８に向けて送信される情報に対し、ユーザＩＤを始めとするユーザ情報を添付する。

＜素材データの種別及び生成方法＞
本実施形態における素材データは、撮像装置によって撮像された撮像画像、及び該撮像画像に基づいて生成されるデータである。撮像画像に基づいて生成されるデータは、例えば、撮像画像から抽出した前景画像と背景画像のデータ、オブジェクトの形状を表す形状データ及び形状データに色付けするためのテクスチャデータ等である。ここで、前景画像とは、撮像装置により撮像されて取得された撮像画像から、前景オブジェクトに対応する領域（前景領域）を抽出した画像である。また、背景画像とは、撮像画像において少なくとも前景領域とは異なる領域（背景領域）の画像である。具体的には、背景画像は、撮像画像から前景領域を取り除いた状態の画像である。背景領域は、撮像画像における背景オブジェクトに対応する領域と解されてもよい。また、形状データは、例えば三次元空間上におけるオブジェクトの三次元形状を示す三次元モデルデータ等である。なお、本実施形態における形状データは三次元モデルデータを想定しているが、形状データは三次元モデルデータに限定されない。例えば、イメージベースドレンダリングに基づく形状データであってもよい。

以下、不図示の素材データ生成部が、素材データを生成する方法の一例について説明する。なお、素材データ生成部は、画像処理装置１００の内部に含まれる構成であってもよいし、別の装置として画像処理装置１００の外部に接続される構成であってもよい。

素材データ生成部が、前景画像及び背景画像を生成する生成方法の一例について説明する。素材データ生成部は、複数の撮像装置により連続する時間において撮像された複数の撮像画像同士を比較することにより、画素値に変化のない領域を検出する。素材データ生成部は、当該検出した領域を背景領域であると判定し、当該領域に基づいて背景画像を生成する。また、素材データ生成部は、生成した背景画像と撮像画像とを比較し、画像値の差が所定の閾値以上である領域を前景領域であると判定し、当該領域に基づいて前景画像を生成する。

また、素材データ生成部が、前景領域に対応するオブジェクトの三次元モデルを生成する生成方法の一例について説明する。素材データ生成部は、上述の処理において判定した前景領域及び背景領域に基づいて、それぞれの領域を２値で表したオブジェクトのシルエット画像を生成する。このとき、素材データ生成部は、複数の方向から撮像された撮像画像を用いることにより、複数の方向から見たオブジェクトのシルエット画像を生成する。素材データ生成部は、複数のシルエット画像を用いて、公知技術である視体積交差法を用いることにより三次元モデルを生成する。

以上が、本実施形態における素材データの種別及び生成方法についての説明である。上記の素材データは被写体情報に含まれるものと同様の時刻情報が関連付けられている。したがって、画像生成部２０６は任意の時刻に対応する素材データを取得することが可能である。なお、素材データは仮想視点画像を生成するためのデータであれば、その種類は限定されない。例えば、撮像画像を取得する撮像装置の撮像条件を表すカメラパラメータが素材データに含まれていてもよい。また、素材データは仮想視点画像の生成手法により異なっていてもよい。例えば、三次元モデルを生成することにより仮想視点画像を生成する場合と、三次元モデルを用いないイメージベースドレンダリングの手法を用いて仮想視点画像を生成する場合とで、素材データが異なっていてもよい。

＜軌跡画像生成処理＞
以下、軌跡画像を生成するための処理について説明する。図３（ａ）に示す画像は、ユーザによる入力操作に基づいて生成された仮想視点画像を複数組み合わせて生成された全長５秒の仮想視点動画中の、時刻Ｔａにおける仮想視点画像Ａである。Ｐ及びＱはそれぞれ仮想視点画像Ａ内に映る人物、Ｒは仮想視点画像Ａ内に映るボールである。当該仮想視点動画は、ユーザ端末３００における表示部３０２に表示された状態である。ここでは、図３（ａ）に示す仮想視点画像に基づき、図３（ｂ）に示す人物Ｐ及びボールＱの軌跡画像を生成する例について説明する。

初めに、軌跡画像を生成する対象の前景オブジェクトを選択するための処理について説明する。ユーザが仮想視点動画を視聴中に、Ｔａ＝３秒９のキックシーンのところで、当該キックに至る人物Ｐ及びボールＲに係る軌跡画像を生成したいと考えた場合を想定する。この場合、ユーザは仮想視点動画の再生を一時停止する。図３（ｃ）は一時停止した画面を示す図である。図３（ｃ）の右上には種々のメニューを表示するためのメニューアイコン３１０が表示されている。ユーザは当該メニューアイコン３１０を指定してメニューを表示させ、メニューの一項目である軌跡画像生成モードを指定する操作を行うことにより、画像処理装置１００に軌跡画像生成処理を開始させる。

軌跡画像生成処理が開始されると、軌跡生成管理部２０３は、ユーザに軌跡画像を生成する対象の前景オブジェクトの選択を要求する。図３（ｄ）は、軌跡画像を生成する対象の前景オブジェクト（以降、対象前景オブジェクトと呼ぶ）を選択するための表示画面の一例を示す図である。ユーザは、図３（ｄ）に示す画面を見ながら、軌跡画像を生成する対象とする一以上の前景オブジェクトを選択する。軌跡生成管理部２０３は、ユーザによる前景オブジェクトを指定するための入力操作に基づいて、軌跡画像を生成する対象とする被写体特定を行う。図３（ｄ）が示す例においては、ユーザが対象前景オブジェクトとして選択した人物Ｐ及びボールＲが不透明表示され、対象外とした前景オブジェクトである人物Ｑが半透明表示されている。なお、対象前景オブジェクトが選択される前は全ての前景オブジェクトが半透明表示されており、前景オブジェクトに対しクリック又はタッチ等の動作をするごとに、不透明表示の選択状態及び半透明表示の非選択状態が切り替わる。選択状態及び非選択状態の表現方法としては、不透明／半透明といった透明度の違い以外にも、カラー／モノクロ等の色彩差が利用されてもよい。また、選択状態の前景オブジェクトを光らせる、又は点滅させる等の強調表示を行うことにより区別してもよい。また、非選択状態の前景オブジェクトを輪郭線だけで表示することにより区別してもよい。その他、選択状態の前景オブジェクト近傍に矢印若しくは押しピン等のグラフィックス及び「選択済」等のテキストを合成したり、上記の表現方法を複数組み合わせたりすることにより区別してもよい。このように、選択状態及び非選択状態の表現には種々の方法が考えられる。ユーザが図３（ｄ）の左上のチェックマークを指定する操作を行うことにより、対象前景オブジェクトの選択処理が終了される。なお、以降の処理においては、選択されなかった前景オブジェクトは表示されないものとする。また、以降の処理においては、背景オブジェクト（例えばフィールド内の地面等）は、軌跡画像を生成する時間範囲における始点時刻に対応するオブジェクトが表示されるものとする。なお、上記においてはユーザによる入力操作に基づいて対象前景オブジェクトが選択される例について説明したが、これに限定されない。例えば、軌跡生成管理部２０３は、前景オブジェクトが一つしかない場合は自動で該前景オブジェクトを選択する構成であってもよい。また、軌跡生成管理部２０３は、前景オブジェクトが人物とボールである場合に人物を自動で選択する構成であってもよい。また、例えばサッカーの試合の軌跡画像を生成する場合に、ユーザ情報管理部２０９に予めユーザが応援するチームに関する情報を保持しておき、選手が複数いる場合に、ユーザ情報に基づいて応援するチームの選手が選択されるようにしてもよい。

次に、軌跡画像を生成する時間範囲を特定するための処理について説明する。対象前景オブジェクトの選択処理が終了すると、軌跡生成管理部２０３は、軌跡画像を生成する時間範囲の始点時刻及び終点時刻の指定をユーザに要求する。軌跡生成管理部２０３は、以下のユーザ操作に基づき、軌跡画像を生成するための時間特定を行う。図４（ａ）は、始点時刻を指定するための表示画面の一例を示す図である。図４（ａ）に示す表示画面において、下部に表示されている時間バー４０１上には、一時停止がされた時刻Ｔａ＝３秒９と、始点時刻を示すアイコンである始点時刻４０２が表示されている。画面内の仮想視点画像は、始点時刻４０２に対応する仮想視点画像である。初期始点時刻は、軌跡生成管理部２０３が自動で設定した時刻になっている。初期始点時刻としては、Ｔａと同刻又はＴａからある固定時間長前の時刻等が指定される。上記の例の他に、画像認識等によりＴａにおける仮想視点画像のシーン判定を行い、当該シーンの中核となる一連動作（本実施例ではキックシーン）が始まる時刻近傍が指定される構成であってもよい。ユーザはアイコン４０８を選択することにより、始点時刻４０２を任意の時刻に進めることができる。また、ユーザはアイコン４０９を選択することにより、始点時刻４０２を任意の時刻に巻き戻すことができる。アイコン４０８又はアイコン４０９を一回選択すると、当該選択されたアイコンが指す時間方向に動画のスロー再生が開始する。その後、画面中央の一時停止アイコン４１０を選択して動画を一時停止させ、一時停止状態でチェックマーク４１１を選択すると、現在の一時停止時刻に始点時刻４０２が決定される。アイコン４０８又はアイコン４０９の選択時に、同じアイコンを連続して選択するたびに再生速度は速くなり、一度一時停止したのちに再度動画の再生を開始すると、初期再生速度に戻る。再生速度は速度表示４０３に表示される。また始点時刻４０２の調整は、時間バー４０１上の始点時刻４０２を示すアイコンに対しドラッグ若しくはスワイプ等の動作を行う、又は始点時刻４０２を示すアイコンの下の時刻テキスト表示部に直接時刻をテキスト入力することでも可能である。始点時刻４０２が決定されると、続いて図４（ｂ）に示す終点時刻を指定するための表示画面が表示される。図４（ｂ）に示す表示画面における終点時刻４０４に対し、上記と同様の操作により、終点時刻が決定される。なお、図４（ｂ）内の時間バー４０１においては、Ｔａ＝３秒９と終点時刻が近接するため、“３‘９”の時刻テキスト表示は省略されている。以上の処理により、軌跡画像を生成する時間範囲として、始点時刻４０２から終点時刻４０４までの時間範囲が特定される。

軌跡画像を生成する時間範囲が決定されると、軌跡生成管理部２０３は、対象前景オブジェクトである人物Ｐ及びボールＲの軌跡の算出を、軌跡算出部２０４に指示する。軌跡算出部２０４は、以下の処理により、対象前景オブジェクトに係る軌跡取得を行う。軌跡算出部２０４は、始点時刻から終点時刻までの時間範囲を任意の時間間隔に分割する。分割の方法は、例えば、軌跡画像を生成する時間範囲が全長３秒間である場合に１秒間隔ごとに３等分するといったように、任意の数に等分割されてもよい。また、始点時刻から順次固定時間長ずつ分割し、最後の端数時間のみ非等分であってもよい。また、姿勢認識情報等に基づいて対象前景オブジェクトの動きを認識し、動きが激しい時間は細かく、緩やかな時間は粗く分割するなどとしても良い。本実施形態においては４等分割とする。上記のように、軌跡生成管理部２０３は、軌跡画像を生成する時間範囲を所定の時間長に分割し、該分割に基づいて複数の異なる時刻（分割時刻）を特定する。なお、上記の分割方法の中から任意の分割方法をユーザが選択できる構成であってもよい。軌跡算出部２０４は、被写体情報保持部２０２から対象前景オブジェクトに係る被写体情報を取得し、始点時刻、各分割時刻、及び終点時刻のそれぞれにおける対象前景オブジェクトの代表点座標を算出する。各時刻における代表点座標は、被写体情報に含まれる時刻情報及び代表点情報に基づいて算出される。さらに、軌跡算出部２０４は、算出したそれぞれの時刻における代表点座標に基づき、時系列的に隣り合う代表点間をつなぐ軌跡線分を算出する。図５は、軌跡線分を上から見たときの概略図である。対象前景オブジェクトである人物Ｐ、及びボールＲの始点時刻における代表点の位置をそれぞれＰｓ、Ｒｓ、また終点時刻における代表点の位置をそれぞれＰｅ、Ｒｅと表す。また、人物Ｐ、及びボールＲの始点時刻と終点時刻との間における各分割時刻における代表点の位置を、それぞれ黒丸と白丸で表す。また、Ｃａは図３（ａ）の仮想視点画像に係る仮想視点の位置、向き及び画角を示す図である。図５においては、仮想視点を、便宜的に仮想視点の位置に配置されるカメラ（仮想カメラ）であるものとして説明する。すなわち、仮想視点の位置は仮想カメラの位置、仮想視点の向きは仮想カメラの向き、仮想視点の画角は仮想カメラの画角に相当する。また、仮想視点画像は、仮想カメラにより撮像される画像に相当する。軌跡算出部２０４は、算出した軌跡線分を示す情報を、仮想視点決定部２０５に送信する。

仮想視点決定部２０５は、軌跡線分を示す情報を取得すると、軌跡画像を生成するためのユーザ操作（以降、プロット操作と呼ぶ）を受け付ける際にユーザに提供する仮想視点画像を生成するための仮想視点情報を決定する。ここで、プロット操作とは、対象前景オブジェクトが連続して撮像された期間における異なる時点を指定するための操作である。プロット操作についての詳細は後述するが、プロット操作が行われる際、ユーザは表示部３０２に表示される仮想視点動画内の対象前景オブジェクトを見ながら、被写体プロットを指定するための入力操作を行う。被写体プロットは、上述の軌跡線分における各代表点に対応する被写体の形状データである。軌跡線分の算出時点で表示部３０２に表示されている仮想視点動画は、仮想カメラＣａにより撮像される仮想視点動画である。しかしながら、仮想カメラＣａにより撮像される仮想視点動画においては、画面奥から手前に向かって対象前景オブジェクトが動くため、被写体プロット同士が重なって見え、奥側の被写体プロットの視認性が悪い。プロット操作時の仮想カメラは、例えば図５におけるＣｂのように、（すなわちＰｓ～Ｐｅ及びＲｓ～Ｒｅの全てが画角に収まり）、かつ対象前景オブジェクトの軌跡線分に対して略直交する配置であることが好ましい。以下、プロット操作のための仮想カメラの配置を決定する方法について、図５を用いて説明する。

複数の対象前景オブジェクトの全軌跡線分に可能な限り直交する仮想カメラの向きは次の条件を満たす。
Σθ＝ＭＩＮ ・・・（１）

上記θは、軌跡線分を上から見たときの、仮想カメラの向き及び軌跡線分と直交する直線とのなす劣角である。図５には、仮想カメラＣｂの向きベクトルｂと、人物Ｐに係る各軌跡線分と直交する直線とがなす劣角度の一部であるθ１及びθ２が示されている。実際には人物Ｐ及びボールＲに係る軌跡線分は全部で８個あるが、図解の都合上２線分についての角度のみ示している。上記の角度の総和が最小である時、仮想カメラの向きが全ての軌跡線分に対して最も直交に近いと言える。なお、本実施形態においてはベクトルｂは水平であるとする。しかしこれに限定されず、ベクトルｂの垂直方向の角度は、被写体を観戦または観賞する時の人の姿勢に基づいて決定されてもよい。また仮想カメラの高さは、Ｐｓ～Ｐｅ及びＲｓ～Ｒｅにおける被写体プロットに対応する形状データの高さ方向の座標の平均値とする。これにより、被写体プロットが表示部３０２の画面中央域に表示されるようになる。以上の方法により、仮想視点決定部２０５は、プロット操作に適した仮想カメラＣｂに係る仮想視点情報を決定する。なお、図５における、仮想カメラＣｂと対向する位置に配置された仮想カメラＣｃについても、上記の条件は変わらない。しかし後述するプロット操作時に、被写体プロットの並ぶ方向と時間バーの方向とが等しい方が、人の自然な時間認識に即しているため、Ｐｓ及びＲｓが左側になるような仮想視点画像が得られる仮想カメラＣｂの方が好ましい。仮想視点決定部２０５は、決定された仮想カメラＣｂに係る仮想視点情報に基づき、仮想カメラをＣａからＣｂに移動する移動経路を算出する。仮想カメラの移動は一瞬で切り替わるようにしても良いし、連続的に変化するようにしても良い。連続的に変化するように移動する場合、移動中の仮想カメラの向きが対象前景オブジェクトの方向を見るようにしてもよい。画像生成部２０６は、仮想視点決定部２０５が算出した仮想カメラの移動経路に従って仮想視点画像を生成し、表示部３０２に表示させる。最終的に、表示部３０２には仮想カメラＣｂにより撮像された仮想視点画像が表示される。なお、前述においてはＰｓ～Ｐｅ及びＲｓ～Ｒｅの全てを画角に収めるとしたが、対象前景オブジェクトが途中で大きく折れ曲がって動く場合、当該移動の前後で分けて仮想視点情報を算出し、移動の前後で随時仮想カメラを移動させるようにしてもよい。また、軌跡線分が長い場合、軌跡線分を仮想カメラの画角に収めようとすると対象前景オブジェクトとの距離が離れてしまうことも想定される。この場合も、軌跡線分を任意の分割時刻で分割し、分割したそれぞれの線分が画角に収まるような仮想視点情報を算出するようにしてもよい。これにより、それぞれの線分を画角に収める仮想カメラが対象前景オブジェクトから離れすぎることを抑制することができる。また対象前景オブジェクトが多数である場合、あるいは複数の対象前景オブジェクトのそれぞれが全く異なる方向に動く場合は、メインとなる対象前景オブジェクトの軌跡を優先してプロット操作用の仮想視点情報を算出するとしても良い。メインとなる対象前景オブジェクトは、ユーザによる操作に基づいて決定されてもよいし、仮想視点動画に対する画像解析を行うことにより自動で決定されてもよい。例えば、対象前景オブジェクトが人物とボールとであった場合、人物をメインとなる対象前景オブジェクトとして自動で決定するような構成であってもよい。

次に、プロット操作について説明する。図４（ｃ）は、ユーザが被写体プロットを指定する際に表示部３０２に表示される表示画面の一例である。仮想カメラがＣｂに移動すると同時に、表示部３０２には始点時刻及び終点時刻のそれぞれに対応する対象前景オブジェクトの形状データである人物Ｐｓ及び人物Ｐｅ、並びにボールＲｓ及びボールＲｅが表示される。また、上記の形状データと共に、軌跡算出部２０４において算出された各分割時刻に対応する対象前景オブジェクトの形状データが表示される。これらの形状データを被写体プロットと呼ぶ。なお、仮想カメラがＣｂに移動すると同時に表示部３０２に表示される形状データを、被写体初期プロットとする。画面下部の時間バー４０１上には、それぞれの被写体プロットに対応する時刻（プロット時刻）４０５～４０７が表示される。プロット操作の開始時は、被写体初期プロットに対応するプロット時刻が示される。このとき時間バー４０１が示す時間範囲は、図４（ａ）までのような仮想視点動画の時間の全長から、軌跡画像生成の対象時間範囲に変更される。ユーザは、時間バー４０１上の各プロット時刻４０５～４０７に対して、ドラッグ、スワイプ等の操作を行う、又はプロット時刻４０５～４０７の下の時刻テキスト表示部に直接時刻をテキスト入力することにより、任意の変更を行うことが可能である。また、メニューアイコン３１０から、プロット時刻の削除及び追加を行うことが可能である。したがって、プロット操作の開始時に被写体初期プロットを表示しない構成であってもよい。上記のプロット操作において、画像生成部２０６は、プロット時刻の変更、削除及び追加に応じて、該プロット時刻に対応する形状データを含む素材データを素材データ保持部２０１から取得し、取得した形状データを用いて仮想視点画像を生成する。図４（ｄ）に示すように、全てのプロット時刻の指定を終えた場合、ユーザはチェックマーク４１１を指定する操作を行うことにより、プロット操作を終了させる。プロット操作を終了するユーザ操作を受け付けると、画像生成部２０６は、決定した各プロット時刻に対応する複数の形状データを取得し、当該複数の形状データを含む仮想視点画像（軌跡画像）を生成する。したがって、画像生成部２０６は、図３（ｂ）に示す最終的な軌跡画像を生成する。ユーザは、生成された軌跡画像について、仮想視点の位置及び向きを変更するための操作を行うことにより、任意の視点から被写体プロットを見ることができる。これにより、異なる時点のそれぞれにおける被写体について所望の視点から観察することが可能になる。なお、ユーザによる要求が無い限り、画像処理装置１００はプロット操作中における各被写体プロットの画質（解像度及び色調等）を低く設定し、処理速度を早くするようにしてもよい。また、上記の説明においては、画像生成部２０６はプロット時刻が変更、削除又は追加されるごとに該プロット時刻に対応する形状データを取得するものとしたが、これに限定されない。画像生成部２０６は、ユーザによるプロット操作を終了するための操作を受け付けた時に、その時点でのプロット時刻に対応する形状データを取得する構成であってもよい。また、上記のプロット操作におけるユーザの操作が必ずしも行われなくてもよい。例えば、仮想カメラがＣｂに移動すると同時に生成される被写体初期プロットに基づいて、軌跡画像が生成される構成であってもよい。

以上が、軌跡画像生成処理についての説明である。図６に示すフローチャートを用いて、画像処理装置１００が行う軌跡画像生成処理の全体の流れについて述べる。図６に示す処理は、ＣＰＵ１０１がＲＯＭ１０２又は補助記憶装置１０３に記憶されたプログラムを読み出して実行することにより実行される。画像処理装置１００がユーザによる軌跡画像生成処理を開始するための入力操作を受け付けると、処理が開始される。以降の説明においては、処理ステップを単にＳと表記する。

Ｓ６０１において、軌跡生成管理部２０３は、ユーザによる対象前景オブジェクトを選択するための入力操作を受け付け、該入力操作に基づいて、対象前景オブジェクトを決定する。Ｓ６０２において、軌跡生成管理部２０３は、ユーザ操作に基づき、軌跡画像を生成する時間範囲における始点時刻を決定する。Ｓ６０３において、軌跡生成管理部２０３は、ユーザ操作に基づき、上述の時間範囲における終点時刻を決定する。Ｓ６０４において、軌跡算出部２０４は、Ｓ６０２及びＳ６０３において決定された始点時刻及び終点時刻の間の時間範囲における対象前景オブジェクトの軌跡線分を算出する。このとき、軌跡算出部２０４は、上記の時間範囲を分割し、各分割時刻に対応する対象前景オブジェクトの代表点の座標を算出することにより軌跡線分を算出する。Ｓ６０５において、仮想視点決定部２０５は、Ｓ６０４において算出された軌跡線分に基づいて、プロット操作用の仮想視点情報を決定する。Ｓ６０５において、画像生成部２０６は、Ｓ６０４において決定された仮想視点情報に基づいて、仮想視点を移動する。また、画像生成部２０６は、移動させた仮想視点に基づいて生成された、プロット操作用の表示画面を表示させる。Ｓ６０７において、画像生成部２０６は、ユーザによるプロット操作を受け付け、該プロット操作に基づいてプロット時刻を決定する。Ｓ６０８において、画像生成部２０６は、Ｓ６０７において決定された各プロット時刻に対応する複数の形状データを取得し、該取得した複数の形状データを含む仮想視点画像（軌跡画像）を生成する。生成された軌跡画像が表示部３０２に表示されると、処理が終了する。

ここで、プロット操作時に表示部３０２に表示される表示画面の別の例を、図７（ａ）を用いて説明する。図７（ａ）に示す例においては、プロット操作の開始時には、始点時刻と終点時刻の被写体プロットのみ表示される。ユーザは始点時刻及び終点時刻の指定操作と同様に、動画のスロー再生を視聴し、任意の時刻に一時停止状態にする。ユーザが一時停止状態でチェックマーク横の押しピンマークを指定する操作を行うことにより、各プロット時刻を指定することが可能になる。図７（ａ）における時間バー４０１上の縦線は、再生位置である。ユーザは、プロット時刻の指定完了時にチェックマークを選択することにより、プロット操作を終了させる。以上説明した図７（ａ）に示す表示画面は、ユーザの要望に合わせて、作業開始時あるいは作業中に図４（ｃ）に示す表示画面から切り替えられるようにしてもよい。

また、上述の実施形態においては、対象前景オブジェクトが選択された以降の処理においては、選択されなかった前景オブジェクトは表示されないものとしたが、これに限定されない。例えば、背景オブジェクトと同様に、始点時刻に対応する非選択前景オブジェクトを表示させるようにしてもよい。あるいは、対象前景オブジェクトが選択された以降の処理においても、上記の実施形態における非選択状態の表現方法（半透明表示、モノクロ表示及び輪郭線）により表示されるようにしてもよい。また、対象前景オブジェクトが選択された以降の処理において、フィールドの地面等の背景オブジェクトについては、始点時刻における背景オブジェクトを表示するものとしたが、これに限定されず、背景オブジェクトが表示されない構成であってもよい。また、始点時刻以外の時刻における背景オブジェクトを表示させるようにしてもよい。例えば、軌跡画像を生成する時間範囲の終点時刻又は時間範囲における中間時刻等、時間範囲内の所定の時刻に対応する背景オブジェクトを表示させるようにしてもよい。また、当該所定の時刻をユーザが指定できるような構成であってもよい。また、音声認識又は画像認識等の少なくともいずれかにより特定される、競技が最も盛り上がった時刻又は対象前景オブジェクトの決定的シーン（上記の実施形態における、オブジェクトＰがボールＲを蹴る瞬間等）の時刻が当該所定の時刻として指定されてもよい。例えば、サッカーにおける観客の歓声、野球におけるチーム別の応援、及びスタジアムの場内放送等の音声を認識することにより、競技の盛り上がった時刻又は重要なイベントが発生したシーンに対応する時刻等が特定されてもよい。また例えば、複数の撮像装置により撮像された複数の撮像画像又は画像処理装置１００により生成された仮想視点画像に対して画像認識を行うことにより、上記の時刻が特定されてもよい。なお、上記の非選択前景オブジェクトについても同様に、当該所定の時刻に対応する非選択前景オブジェクトが表示されるようにしてもよい。また、対象前景オブジェクト以外のオブジェクトの代わりに、上下前後等の空間認識のみ出来るような、無地や格子模様の平面を表示させてもよい。図７（ｂ）は、フィールドの地面の代わりに格子模様の平面を表示させた場合の一例である。図７（ｂ）に示す表示方法によれば、対象前景オブジェクト以外のオブジェクトを描画する必要がないため、オブジェクトの描画に係る処理負荷が軽減される効果が得られる。また、図７（ｂ）のように三次元空間に対象前景オブジェクトのみを描画することにより、対象前景オブジェクトのみを見ながら分析等を行うことができるという効果がある。さらに、上記の表示方法の中から任意の方法を組み合わせて使用したり、ユーザが任意の方法を選択したりすることができる構成であってもよい。

また、上述の実施形態においては、軌跡線分を示す情報に基づいて、仮想視点決定部２０５が軌跡画像生成のための仮想視点情報を決定する例について説明したが、これに限定されない。仮想視点決定部２０５は、ユーザ操作に基づいて軌跡画像生成のための仮想視点情報を決定することも可能である。例えば、図６のＳ６０３の後に、ユーザは操作部３０３を操作し、仮想視点の位置及び向きを決定するための入力を行う。ユーザにより入力された情報は、端末通信部３０１及び装置通信部２０８を介して仮想視点決定部２０５に送信される。仮想視点決定部２０５は、ユーザ操作により入力された情報に基づいて、軌跡画像生成のための仮想視点情報を決定する。この工程により、ユーザは所望の仮想視点に基づく軌跡画像を生成することができる。また、上述の実施形態においては、プロット操作の開始時にのみ仮想視点が切り替わる例について説明したが、これに限定されない。すなわち、対象前景オブジェクトの選択からプロット操作に至るまで、ユーザは任意のタイミングで、仮想視点の位置及び向きを変更する操作を行うことが可能である。

また対象前景オブジェクト並びに始点時刻及び終点時刻は、上述の操作方法に沿って一度決定した後も、任意のタイミングで変更可能である。例えば、メニューアイコン３１０を指定することにより表示されるメニューに、対象前景オブジェクトの指定並びに始点時刻及び終点時刻の指定に関する項目を用意し、任意の項目を選択することにより処理工程を戻すことができるようにしてもよい。また上述の実施形態においては、複数の対象前景オブジェクトに対して共通のプロット時刻で被写体プロットを生成するとしたが、個々の対象前景オブジェクトごとに異なるプロット時刻の指定を行えるようにしてもよい。また、上述の実施形態においては、軌跡生成管理部２０３は、ユーザ操作に基づいて始点時刻及び終点時刻を決定することにより、軌跡画像を生成する時間範囲を特定するとしたが、これに限定されない。例えば、軌跡生成管理部２０３は所定の時間の長さに対応する軌跡画像を生成するように設定され、ユーザ操作に基づいて始点時刻が決定されると、決定された始点時刻から所定の時間の長さ分進めた時刻までの時間範囲を自動で特定する構成であってもよい。同様に、軌跡生成管理部２０３は、ユーザ操作に基づいて終点時刻が決定されると、決定された終点時刻から所定の時間の長さ分巻き戻った時刻までの時間範囲を自動で特定する構成であってもよい。また、軌跡生成管理部２０３は、上述したような音声認識及び画像認識等の少なくともいずれかの認識結果に基づいて、所定のイベントが発生したシーンに対応する時間範囲を特定する構成であってもよい。この場合、例えば、サッカーのゴールシーン及びペナルティキック等のシーンに対応する時間範囲や、陸上競技の高跳びのジャンプ地点から着地までの時間範囲等が特定されてもよい。また、軌跡生成管理部２０３は、ユーザ操作によるテキスト入力（例えば、「ゴールシーン」）に基づいて、対応するイベントのシーンの時間範囲を特定する構成であってもよい。さらに、軌跡生成管理部２０３は、表示部３０２に時間範囲を特定するためのアイコン（例えば、「ゴールシーン」と記載されたボタン）を表示させ、該アイコンを指定するためのユーザ操作を検出すると、対応する時間範囲を特定する構成であってもよい。

また、上述の実施形態においては、生成される軌跡画像は静止画像であるが、当該軌跡画像に対し仮想視点動画を重畳表示することも可能である。このとき重畳する仮想視点動画は、軌跡画像を生成する際に使用された仮想視点情報に基づいて生成される仮想視点動画である。例えば、図３（ｂ）に示す軌跡画像に対し、当該軌跡画像に係る仮想視点と同じ視点から見た仮想視点動画であって、当該軌跡画像を生成する時間範囲に相当する仮想視点動画を重畳する。これにより、軌跡画像を表示させた状態で、同時に対象前景オブジェクトが被写体プロットに沿って動く様子を認識可能な動画を生成することができる。この場合、被写体プロットの一部若しくは全て、又は仮想視点動画のいずれかを半透明表示又は低彩度表示にする等、表現に差を付けても良い。又は、重畳する仮想視点動画の時間経過に合わせて対応する時刻の被写体プロットを順に表示させることにより、動画における対象前景オブジェクトの残像を表すような仮想視点動画を生成する構成であってもよい。また、本実施形態における軌跡画像は静止画像であるが、軌跡画像は動画であっても構わない。この場合、画像処理装置１００は、被写体プロットに対応する時刻が異なる軌跡画像を複数枚組み合わせることにより、対象前景オブジェクトが動く動画を生成する構成であってもよい。また、被写体プロットを表示する場合に、複数の被写体プロットのうち、ユーザの指定した時刻若しくは対象前景オブジェクトに対応するもののみ、又は時間推移に合わせて順次、ハイライト表示するような仮想視点画像が生成されるような構成であってもよい。ハイライト表示は、上述の前景オブジェクトの選択／非選択の表現方法と同様に、種々の方法によって表現されるようにしてもよい。ハイライト表示は、複数の被写体プロット同士が重なっている場合、異なる対象前景オブジェクトの被写体プロット同士の時間関係を把握したい場合、及び複数の対象前景オブジェクトの中から特定のオブジェクトのみ強調して表示させたい場合等に有効である。被写体プロット同士が重なっている場合、ハイライト表示により所定の時刻における被写体プロットを強調して表示することにより、被写体モデルを観察しやすくなる効果がある。異なる対象前景オブジェクトの被写体プロット同士の時間関係を把握したい場合、同時刻に対応する複数の対象前景オブジェクト（例えば人物ＰとボールＲ）を強調して表示することにより、同時刻に対応する対象前景オブジェクトが認識しやすくなる効果がある。また、対象前景オブジェクトが複数ある場合、特定の対象前景オブジェクトのみを強調して表示することにより、複数の対象前景オブジェクトを認識しつつ、特定の対象前景オブジェクトを観察しやすくなるという効果がある。なお、複数の対象前景オブジェクト同士の時間関係を把握するための手法として、各被写体プロット近傍にプロット時刻のテキスト表示を合成する方法も考えられる。また上記のハイライト表示に合わせて対象前景オブジェクト以外のオブジェクトを表示する場合、ハイライトされた被写体プロットのプロット時刻と同刻のオブジェクトを表示するようにしてもよい。

また、上述の実施形態においては、素材データと被写体情報とが別のデータとしてそれぞれ素材データ保持部２０１及び被写体情報保持部２０２に保持される形態について説明したが、これに限定されない。素材データと被写体情報とが素材データと被写体情報とが同じデータファイルであってもよい。この場合、例えば、素材データファイルのメタデータ領域に被写体情報及び時刻情報を格納することにより、一つのファイルにまとめて管理することが可能になる。また、メタデータ領域に格納された時刻情報を参照することで、任意の時刻に対応する素材データ及び被写体情報の両方を取得することが容易になる。また、メタデータ領域に格納された被写体情報を、素材データの検索時に使用することも可能である。例えば、特定の選手に係る形状データを取得したい場合に、該選手の識別情報（例えば、選手の名前等）を用いて検索することにより、当該選手の形状データを容易に取得することができる。

以上述べた種々の実施形態のうち、任意の形態を組み合わせて実施することが可能である。

以上説明したように、本実施形態における画像生成部２０６は、特定の時間範囲における異なる時刻に撮像された特定の被写体（対象前景オブジェクト）を表す複数の形状データを、素材データ保持部２０１から取得する。また、仮想視点決定部２０５は、仮想視点の位置及び向きの少なくともいずれかを示す情報を含む仮想視点情報を決定する。また、画像生成部２０６は、決定された仮想視点情報に基づいて、取得された複数の形状データを含む仮想視点画像（軌跡画像）を生成する。また、画像生成部２０６により生成される仮想視点画像は、特定の時間範囲における特定の被写体の経時変化の軌跡を表す静止画像である。上記の構成により、画像処理装置１００は、連続して撮像された特定の被写体について、異なる時点のそれぞれに対応する当該特定の被写体を所望の視点から比較可能な仮想視点画像を生成することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
２０５ 仮想視点決定部
２０６ 画像生成部

Claims (19)

1. 複数の撮像装置により撮像された複数の撮像画像に基づいて仮想視点画像を生成する画像処理装置であって、
   背景データと、前記背景データとは異なる、特定の被写体が連続して撮像される期間における当該特定の被写体を表す形状データとを取得する取得手段と、
   前記仮想視点画像に係る仮想視点の、位置及び向きの少なくともいずれかを示す情報を含む仮想視点情報を決定する決定手段と、
   前記決定手段により決定された仮想視点情報に対応した、前記連続して撮像される期間における異なる時点のそれぞれに対応する複数の形状データに基づく画像を同時に表示させるための仮想視点画像を、前記背景データと前記複数の形状データとを用いて生成する生成手段と
   を有することを特徴とする画像処理装置。
2. 前記形状データは、前記被写体の三次元形状を表す三次元モデルデータであることを特徴とする請求項１に記載の画像処理装置。
3. 前記異なる時点を含む時間範囲を特定するための時間特定手段を有し、
   前記生成手段は、前記時間特定手段により特定された時間範囲における異なる時点のそれぞれに対応する複数の形状データに基づく画像を同時に表示させるための仮想視点画像を生成する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記時間特定手段は、ユーザ操作に基づいて前記時間範囲を特定することを特徴とする請求項３に記載の画像処理装置。
5. 前記時間特定手段は、始点時刻及び終点時刻の少なくともいずれかを指定するためのユーザ操作に基づいて前記時間範囲を特定することを特徴とする請求項４に記載の画像処理装置。
6. 前記時間特定手段は、音声認識及び画像認識の少なくともいずれかの認識結果に基づいて前記時間範囲を特定することを特徴とする請求項３に記載の画像処理装置。
7. 前記時間範囲は、前記複数の撮像装置により撮像される撮像領域において所定のイベントが発生したシーンに対応する時間範囲であることを特徴とする請求項３乃至６のいずれか１項に記載の画像処理装置。
8. 前記特定の被写体として、前記特定の時間範囲に撮像された複数の被写体の中から一以上の被写体を特定する被写体特定手段を有し、
   前記取得手段は、前記被写体特定手段により特定された一以上の被写体を表す形状データを取得することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記被写体特定手段は、ユーザ操作に基づいて、前記一以上の被写体を特定することを特徴とする請求項８に記載の画像処理装置。
10. 前記異なる時点は、ユーザ操作に基づいて指定されることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記異なる時点は、前記連続して撮像される期間を複数の所定の時間長に分割することにより特定されることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
12. 前記異なる時点のそれぞれにおける前記特定の被写体の座標に基づいて、前記連続して撮像される期間における被写体の軌跡を示す情報を取得する軌跡取得手段を有し、
    前記決定手段は、前記軌跡取得手段により取得された前記特定の被写体の軌跡を示す情報に基づいて仮想視点情報を決定することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記決定手段は、前記軌跡取得手段により取得された前記特定の被写体の軌跡を示す情報に基づいて、前記特定の被写体の軌跡が画角に収まる仮想視点に対応する仮想視点情報を決定することを特徴とする請求項１２に記載の画像処理装置。
14. 前記決定手段は、前記異なる時刻のそれぞれにおける前記特定の被写体の座標を結ぶ線分と仮想視点の向きを示す向きベクトルとのなす角に基づいて、仮想視点情報を決定することを特徴とする請求項１２又は１３に記載の画像処理装置。
15. 前記生成手段は、前記決定手段により決定された仮想視点情報と、前記連続して撮像される期間に撮像された撮像画像とに基づいて動画を生成し、前記仮想視点画像と前記動画とを重畳させた動画を生成することを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 前記生成手段は、前記取得手段により取得された複数の形状データのうち一以上の形状データを強調した仮想視点画像を生成することを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
17. 複数の撮像装置により撮像された複数の撮像画像に基づいて仮想視点画像を生成する画像処理方法であって、
    背景データと、前記背景データとは異なる、特定の被写体が連続して撮像される期間における当該特定の被写体を表す形状データとを取得する取得工程と、
    前記仮想視点画像に係る仮想視点の、位置及び向きの少なくともいずれかを示す情報を含む仮想視点情報を決定する決定工程と、
    前記決定工程において決定された仮想視点情報に対応した、前記連続して撮像される期間における異なる時点のそれぞれに対応する複数の形状データに基づく画像を同時に表示させるための仮想視点画像を、前記背景データと前記複数の形状データとを用いて生成する生成工程と
    を有することを特徴とする画像処理方法。
18. コンピュータを、請求項１乃至１６のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
19. 請求項１７に記載の方法の各工程をコンピュータに実行させるためのコンピュータプログラム。

Images