JP7530206B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本発明は、仮想視点画像を生成する情報処理装置、情報処理方法およびプログラムに関する。

異なる位置に設置された複数のカメラを同期させて撮影することにより得られた複数視点画像を用いて、指定された仮想視点に応じた仮想視点画像を生成する技術が注目されている。仮想視点画像によれば、例えば、サッカーやバスケットボールなどにおける特定シーン（例えばゴールシーンなど）を様々な角度から視聴することができる。そのため、仮想視点画像は、従来の撮影画像と比較してユーザに高臨場感を与えることができる。

仮想視点を任意の経路上を移動させながら、当該経路上に設定された仮想視点の位置・姿勢、時刻に対応する仮想視点画像を順次に生成する技術が知られている。以下、仮想視点が移動する経路を動線と称する。また、動線上に設定された仮想視点の位置、姿勢、時刻のセットを動線情報と称する。このような仮想視点の動線情報を生成する方法の一つとしてキーフレーム方式がある。キーフレーム方式では、仮想視点が移動する動線上に、基本となる複数のフレーム（基本フレーム）に対する仮想視点の位置と姿勢が指定される。基本フレームと基本フレームの間に位置する中間フレームに対する仮想視点の動線上の位置と姿勢は、補間により自動的に生成される。特許文献１は、中間フレームをスプライン関数で補間することにより、３次元仮想空間におけるカメラのモーションパスを生成する技術を開示している。

特開２００７－２５９７９号公報

しかしながら、特許文献１などに開示されているキーフレーム方式では、基本フレームに設定された仮想視点の動線上の位置・姿勢に基づいて中間フレームのための仮想視点の動線上の位置・姿勢が補間され、仮想視点が動線を移動している間のオブジェクトの位置は考慮されない。そのため、生成される仮想視点画像に注目すべきオブジェクトが含まれなくなる可能性がある。所望のオブジェクトが確実に仮想視点画像に含まれるようにするためには、より細かく基本フレームを設定することになり、結果、仮想視点の動線情報の生成に係る手間が増大する。

本発明は、所定のオブジェクトが含まれる仮想視点画像を生成するための仮想視点の設定を容易にするための技術を提供することを目的とする。

本発明の一態様による情報処理装置は以下の構成を備える。すなわち、
複数の撮影装置により所定の空間を撮影することで得られる複数の画像から仮想視点画像を生成するための仮想視点の位置および前記仮想視点からの視線方向を生成する情報処理装置であって、
前記仮想視点の第１の位置および第２の位置と、前記第１の位置および前記第２の位置に対応し、前記所定の空間の撮影時刻を示す第１の時刻および第２の時刻を取得する取得手段と、
前記第１の位置と前記第２の位置を接続し、前記仮想視点が移動する動線を生成する生成手段と、
前記動線の前記第１の位置と前記第２の位置の間に前記仮想視点の複数の位置を設定し、前記複数の位置の各々に対応する前記所定の空間の撮影時刻を前記第１の時刻と前記第２の時刻に基づいて設定する設定手段と、
前記複数の位置の各々における前記仮想視点からの視線方向を、前記所定の空間における特定のオブジェクトの、前記複数の位置の各々に設定された前記撮影時刻における位置に基づいて決定する決定手段と、を備え、
前記取得手段は、前記仮想視点の前記第１の位置を含む複数の位置と当該複数の位置の各々における前記仮想視点からの視線方向および撮影時刻を含む第１の動線情報と、前記仮想視点の前記第２の位置を含む複数の位置と当該複数の位置の各々における前記仮想視点からの視線方向および撮影時刻を含む第２の動線情報と、を取得し、
前記生成手段は、前記第１の位置と前記第２の位置とを接続する前記動線を、前記仮想視点が移動する第３の動線情報の動線として生成する。

本発明によれば、所定のオブジェクトが含まれる仮想視点画像を生成するための仮想視点の設定を容易にすることが可能になる。

画像処理システムの一例を概略的に示す図。 画像処理システムの構成例を示す図。 各装置のハードウェア構成例を示す図。 画像生成装置の機能構成例を示す図。 情報処理装置の機能構成例を示す図。 仮想視点の操作の一例を示す図。 仮想視点パラメータの構成例を示す図。 メタデータの構成例を示す図。 情報処理装置における一連の処理の流れを示すフローチャート。 仮想視点パラメータ群を図示化した図。 動線生成部が生成した接続動線の一例を示す図。 追従するオブジェクトの決定に係る説明図。 接続動線の線上を移動する仮想視点の一例を示す図。 ３つの動線が結合された状態の一例を示す図。 ２つの動線を自動的に結合する条件の一例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（システム構成）
図１は、実施形態に係る画像処理システム１００の一例を概略的に説明する図である。画像処理システム１００は、スタジアム１０１に設置された複数の撮影装置（以下、カメラ１０４）を有する。スタジアム１０１は、観客席１０２と、実際に競技等が行われるフィールド１０３とを含む。複数のカメラ１０４は、それぞれが撮影対象であるフィールド１０３の少なくとも一部を撮影する。また、複数のカメラ１０４は、少なくとも２つのカメラの画角に重なりが生じるように配置される。

図２は、画像処理システム１００の概略の装置構成例を示す図である。画像処理システム１００は、一例において、スタジアム１０１に設置された複数のカメラ１０４と、画像生成装置２０１と、情報処理装置２０２と、ユーザ端末２０３とを含む。複数のカメラ１０４は、例えば伝送ケーブルを介して相互に接続されるとともに、画像生成装置２０１に接続される。複数のカメラ１０４は、それぞれがフィールド１０３を撮影することにより取得した画像を、伝送ケーブルを介して画像生成装置２０１へ伝送する。図１の例では、複数のカメラ１０４は、サッカー場などのスタジアム１０１の全てまたは一部の範囲が撮影されるように配置される。複数のカメラ１０４は、静止画像を撮影するように構成されてもよいし、動画像を撮影するように構成されてもよい。また、複数のカメラ１０４は、静止画像と動画像との両方を撮影するように構成されてもよい。なお、本実施形態では、特に断りがない限り、用語「画像」は、静止画と動画との両方をその意義として含む。

画像生成装置２０１は、複数のカメラ１０４により撮影された複数の画像を集約、蓄積し、指定された仮想視点に対応する仮想視点画像を生成する。以下、カメラ１０４により撮影された画像を撮影画像と呼ぶ場合がある。また、仮想視点パラメータ群により指定される位置、姿勢、時刻に従った複数の仮想視点について生成された複数の仮想視点画像を仮想視点画像群と称する。また、本明細書において、仮想視点の経路（動線）に沿って設定された仮想視点の位置、姿勢、時刻のセットを含む仮想視点パラメータ群を動線情報と称する。画像生成装置２０１は、情報処理装置２０２から受信した動線情報に基づいて仮想視点画像群を生成し、生成した仮想視点画像群を情報処理装置２０２に伝送する。また、画像生成装置２０１は、メタデータを情報処理装置２０２に伝送する。メタデータは、例えば、フィールド１０３でプレーをする選手などの位置を示す位置情報を含む。メタデータの詳細については後述する。画像生成装置２０１は、複数の撮影画像および生成した仮想視点画像群を記憶するデータベース機能と、仮想視点画像群を生成するための画像処理機能とを有する。スタジアム１０１内の複数のカメラ１０４と画像生成装置２０１は、例えば、有線または無線による通信ネットワーク回線、または、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）等のケーブル回線によって接続される。画像生成装置２０１は、複数のカメラ１０４からこの回線を通じて撮影画像を受信し、受信した撮影画像をデータベースに格納する。

情報処理装置２０２は、仮想視点（位置、姿勢など）を編集する装置である。情報処理装置２０２は、ユーザ端末２０３から受け付けた仮想視点パラメータ群を記憶部５０２（図５）に記憶する。情報処理装置２０２は、画像生成装置２０１に動線情報を送信し、送信した動線情報に対応する仮想視点画像群を受信する。記憶部５０２には、複数の動線情報に対応する複数の仮想視点パラメータ群が記憶される。情報処理装置２０２は、記憶部５０２に記憶されている２つの動線情報（仮想視点パラメータ群）を取得し、それら動線情報を結合する。より具体的には、情報処理装置２０２は、２つの動線情報により示される２つの動線を結合する動線（以下、接続動線と呼ぶ場合がある。）を生成し、接続動線の線上を移動する仮想視点の位置、姿勢の情報を生成することで接続動線情報を生成する。その際、情報処理装置２０２は、所定のオブジェクトを追従するように、接続動線上を移動する仮想視点の姿勢情報を生成する。情報処理装置２０２は、２つの動線情報を、接続動線情報により結合し、新たな１つの動線情報を生成する。すなわち、情報処理装置２０２は、３つの動線情報を接続して新たな動線情報（仮想視点パラメータ群）を生成する。情報処理装置２０２は、例えば、パーソナルコンピュータである。なお、情報処理装置２０２は、画像生成装置２０１やユーザ端末２０３に組み込まれてもよい。即ち、情報処理装置２０２は、画像生成装置２０１とユーザ端末２０３との少なくともいずれかと一体の装置として実現されてもよい。

ユーザ端末２０３は、画像処理システム１００を利用するユーザが所持する情報処理装置である。ユーザ端末２０３は、仮想視点の位置や姿勢に関わるユーザの操作指示を受け付けることができる。図６は仮想視点の操作の一例である。例えば、ユーザは、仮想視点６０２の位置を、選手６０１の右斜め前方となるように移動させながら、仮想視点６０２の視線を選手６０１へ向けることができる。なお、仮想視点６０２が移動した動線を動線６０３とする。ユーザ端末２０３は、仮想視点の位置や姿勢に変化が生じる度に、操作指示の内容を示す仮想視点パラメータを情報処理装置２０２へ伝送する。また、ユーザ端末２０３は、図６で示すような一連の仮想視点の位置、姿勢の指定操作が完了した際に、当該一連の操作指示の内容を示す仮想視点パラメータ群を情報処理装置２０２へ伝送することもできる。

図７に、動線情報を構成する仮想視点パラメータの構成例を示す。仮想視点パラメータは、時刻情報、位置情報および姿勢情報を含む。時刻情報は、ＨＨ（時間）：ＭＭ（分）：ＳＳ（秒）．ＦＦ（フレーム）で構成される。位置情報は、３つの座標軸（ｘ軸、ｙ軸、ｚ軸）が原点で直交するように交わる座標系の３次元直交座標によって示されて得る。原点は、撮影空間内の任意の位置とすることができる。例えば、原点は、サッカーフィールドのセンターサークルの中心とすることができる。姿勢情報は、パン（水平方向）、チルト（垂直方向）、ロール（カメラが回転する方向）の３軸に対する角度により示され得る。なお、仮想視点パラメータ群は、仮想視点パラメータを時系列に纏めたデータである。

ユーザ端末２０３は、仮想視点パラメータに基づいて生成された仮想視点画像を情報処理装置２０２から受信し、表示装置に表示する。なお、表示装置はユーザ端末２０３に内蔵された表示装置であってもよいし、外部装置の表示装置であってもよい。ユーザ端末２０３は、例えば、パーソナルコンピュータや、スマートフォンやタブレットなどの携帯端末などである。ユーザ端末２０３は、マウス、キーボード、６軸コントローラ、及び、タッチパネルの少なくとも１つ等のユーザ操作を受け付けるためのインタフェースを有する。

画像生成装置２０１、情報処理装置２０２及びユーザ端末２０３は、例えば、インターネットなどのネットワークを介して相互に情報のやり取りが可能となるように構成される。なお、装置間の通信は、無線通信と有線通信とのいずれか又はこれらの組み合わせのいずれによって行われてもよい。

（装置のハードウェア構成）
続いて、図３を参照して、上述の画像生成装置２０１、情報処理装置２０２及びユーザ端末２０３のハードウェア構成例について説明する。本実施形態では、各装置は、図３のブロック図により示されるハードウェア構成を有しており、コントローラユニット３００、操作ユニット３０９、および表示装置３１０を含む。なお、画像生成装置２０１、情報処理装置２０２及びユーザ端末２０３が同じハードウェア構成を備える必要はなく、また、以下に説明する構成の全てを備えていなくてもよい。

コントローラユニット３００は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４、操作部Ｉ／Ｆ３０５、表示部Ｉ／Ｆ３０６、及び通信Ｉ／Ｆ３０７を含む。なお、これらのハードウェアブロックは、例えばシステムバス３０８によって相互に通信可能となるように接続される。なお、ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの頭字語であり、ＨＤＤはＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの頭字語であり、Ｉ／Ｆはインタフェースである。

ＣＰＵ３０１は、システムバス３０８を介して、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４、操作部Ｉ／Ｆ３０５、表示部Ｉ／Ｆ３０６、及び、通信Ｉ／Ｆ３０７の動作を制御する。ＣＰＵ３０１は、ＲＯＭ３０２に格納されているブートプログラムによりＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を起動する。ＣＰＵ３０１は、このＯＳ上で、例えばＨＤＤ３０４に格納されているアプリケーションプログラムを実行する。ＣＰＵ３０１がアプリケーションプログラムを実行することによって、各装置の各種処理が実現される。ＲＯＭ３０２は読み出し専用の半導体メモリであり、ＣＰＵ３０１により実行される各種プログラムやパラメータを格納する。ＲＡＭ３０３は、随時に読み出し及び書き込みが可能な半導体メモリであり、例えば、一時的な情報を格納する領域やＣＰＵ３０１の作業領域などを提供する。ＨＤＤ３０４は、ハードディスクなどの大容量記憶装置であり、アプリケーションプログラム、画像データなどを格納する。なお、ＣＰＵ３０１は、１つ以上の任意のプロセッサー（例えば、ＡＳＩＣ（特定用途向け集積回路）、ＤＳＰ（デジタルシグナルプロセッサ）や、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）等）によって置き換えられてもよい。

操作部Ｉ／Ｆ３０５は、操作ユニット３０９をコントローラユニット３００に接続するインタフェースである。操作部Ｉ／Ｆ３０５は、操作ユニット３０９によって受け付けられたユーザ操作の情報をＣＰＵ３０１へ転送する。操作ユニット３０９は、例えば、マウスやキーボード、タッチパネル等の、ユーザ操作を受付可能な機器を含んで構成される。表示部Ｉ／Ｆ３０６は、表示装置３１０をコントローラユニット３００に接続するインタフェースである。例えば、ＣＰＵ３０１は、表示されるべき画像データを、表示部Ｉ／Ｆ３０６を介して表示装置３１０に出力する。表示装置３１０は、液晶ディスプレイなどのディスプレイを含んで構成される。通信部Ｉ／Ｆ３０７は、例えばイーサネット（登録商標）等の通信を行うためのインタフェースである。通信部Ｉ／Ｆ３０７は、伝送ケーブルの接続を受け付けるためのコネクタ等を有する。なお、通信部Ｉ／Ｆ３０７は、無線通信インタフェースであってもよく、その場合、通信部Ｉ／Ｆ３０７は、例えばベースバンド回路、ＲＦ回路、及びアンテナを有する。コントローラユニット３００は、通信部Ｉ／Ｆ３０７を介して外部装置と情報の入出力を行う。

なお、各装置において表示装置３１０は、外部の装置であってもよい。すなわち、装置は、ケーブルやネットワークを介して接続された外部の表示装置３１０に画像を表示させる表示制御を行うこともできる。この場合、装置は、表示データを表示装置３１０に出力させるための表示制御を実行する。なお、図３の構成は一例であり、その一部が省略され又は図示されていない構成が追加され、さらに、図示された構成が組み合わされてもよい。例えば、画像生成装置２０１は、表示装置３１０を有しなくてもよい。

（画像生成装置２０１の機能構成）
図４に、画像生成装置２０１の機能構成例を示す。図４に示される機能構成は、画像生成装置２０１のＣＰＵ３０１が、ＲＯＭ３０２等に記録された各種プログラムを読み出して各部の制御を実行することにより実現される。なお、図４に示される機能構成の一部または全部が専用のハードウェア（例えばＡＳＩＣやＦＰＧＡ）により実現されてもよい。

画像生成装置２０１は、一例において、制御部４０１、記憶部４０２、画像入力部４０３、画像記憶部４０４、画像生成部４０５、メタデータ生成部４０６、及び、データ送受信部４０７を有する。なお、これら機能部は、内部バス４０８によって相互に接続され、制御部４０１による制御の下で、相互にデータを送受信することができる。制御部４０１は、以下に説明する各機能部を含む、画像生成装置２０１全体の動作を制御する。記憶部４０２は、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４を含み、種々のプログラム、撮影画像等の種々のデータの格納、読み出しを行う。

画像入力部４０３は、通信部Ｉ／Ｆ３０７を介して、スタジアム１０１に設置された複数のカメラ１０４によって撮影された画像（撮影画像）を所定のフレームレートで取得する。画像入力部４０３は、例えば有線もしくは無線の通信モジュール、又はＳＤＩ等の画像伝送モジュールにより、カメラ１０４から撮影画像を取得する。画像記憶部４０４は、画像入力部４０３によって取得された撮影画像と、それらの撮影画像に基づいて生成された仮想視点画像群と、オブジェクトの位置を示すメタデータとを、例えば、ＨＤＤ３０４などに記憶する。なお、仮想視点画像群は後述の画像生成部４０５により、メタデータは後述のメタデータ生成部４０６によりそれぞれ生成される。画像記憶部４０４は、例えば、磁気ディスク、光ディスク、半導体メモリ等によって実現され得る。画像記憶部４０４は、画像生成装置２０１に内蔵された装置（ＲＡＭ３０３、ＨＤＤ３０４）によって実現されてもよいし、画像生成装置２０１とは物理的に切り離された外部の装置によって実現されてもよい。また、画像記憶部４０４に記憶される撮影画像及び仮想視点画像群は、例えば、ＭＸＦ（Ｍａｔｅｒｉａｌ ｅＸｃｈａｎｇｅ Ｆｏｒｍａｔ）形式の画像フォーマットで記憶される。また、これら撮影画像及び仮想視点画像群は、例えば、ＭＰＥＧ２形式で圧縮される。ただし、画像フォーマットやデータ圧縮方式は、これらに限定されず、任意の画像フォーマットおよびデータ圧縮方式が用いられてもよい。

画像生成部４０５は、画像記憶部４０４に記憶された複数の撮影画像から、複数の仮想視点に対応する仮想視点画像群を生成する。仮想視点画像群は、例えば、イメージベースレンダリング（Ｉｍａｇｅ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ、以下、ＩＢＲ）を用いて生成され得る。ＩＢＲとは、モデリング（幾何学図形を使用して物体の形状を作成する過程）を行わず、複数の実際の視点から撮影された画像から仮想視点画像を生成するレンダリング方法である。ただし、仮想視点画像群の生成方法はＩＢＲに限られるものではない。例えば、モデルベースレンダリング（Ｍｏｄｅｌ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ、以下、ＭＢＲ）を用いて仮想視点画像群が生成されてもよい。ＭＢＲとは、複数の方向から被写体を撮影して得られた複数の撮影画像に基づいて生成される三次元モデルを用いて、仮想視点画像を生成する方式である。ＭＢＲでは、例えば、視体積交差法、Ｍｕｌｔｉ－Ｖｉｅｗ－Ｓｔｅｒｅｏ（ＭＶＳ）などの三次元形状復元手法によって得られた対象シーンの三次元形状（モデル）を利用することにより、仮想視点からのシーンの見えが画像として生成される。

なお、画像生成部４０５により生成される仮想視点画像群は、様々な仮想視点の位置及び視線の方向の仮想視点画像を含み、１つの画像ストリームとして空間方向及び時間方向に圧縮符号化される。但し、仮想視点画像群の形態はこのような画像ストリームに限られるものではなく、それぞれが独立した複数の画像によって構成されていてもよい。また、仮想視点画像群は、圧縮符号化されていなくてもよい。また、本実施形態では画像生成装置２０１が仮想視点画像群を生成するが、これに限られるものではない。例えば、画像生成装置２０１は、三次元形状データ等の三次元モデルを示す情報や、その情報によって示される三次元モデルにマッピングされる画像等の、仮想視点画像を生成するための情報を生成してもよい。すなわち、画像生成部４０５は、レンダリングされた仮想視点画像を生成することに代えて、情報処理装置２０２またはユーザ端末２０３で仮想視点画像をレンダリングするために必要な情報を生成してもよい。

メタデータ生成部４０６は、画像記憶部４０４に記憶された撮影画像を解析し、オブジェクトの位置情報を取得する。メタデータ生成部４０６は、例えば、ビジュアルハルなどの技術を用いて特定のオブジェクトの位置情報を取得する。メタデータ生成部４０６は、画像記憶部４０４に記憶された撮影画像の撮影開始から撮影終了までのすべての時刻における、オブジェクトの位置情報を取得する。メタデータ生成部４０６は、オブジェクトについて取得した位置情報を含むメタデータを生成する。図８に、メタデータ生成部４０６により生成されるメタデータの構成例を示す。メタデータは、例えば、時刻情報と各オブジェクトの位置情報とを含む。時刻情報は、ＨＨ（時間）：ＭＭ（分）：ＳＳ（秒）．ＦＦ（フレーム）で構成される。位置情報は、３次元直交座標を用いて、オブジェクト（例えば、ボール、選手、審判）の位置を示す。オブジェクト名は、任意の名称とオブジェクトＩＤで構成される。オブジェクトＩＤは、アルファベットや数字で構成され、それぞれのオブジェクトを区別できるようにオブジェクトごとに割り振られた識別記号である。なお、メタデータは、メタデータ生成部４０６による撮影画像の解析により取得されるものに限定されず、画像生成装置２０１や情報処理装置２０２に事前に登録されたものであってもよい。

データ送受信部４０７は、画像記憶部４０４に記憶される仮想視点画像群を情報処理装置２０２へ所定のフレームレートで出力する。また、データ送受信部４０７は、仮想視点画像群を出力する前に画像記憶部４０４に記憶されるメタデータを情報処理装置２０２へ出力する。また、データ送受信部４０７は、情報処理装置２０２から動線情報（仮想視点パラメータ群）を受信する。

（情報処理装置２０２の機能構成）
図５は、情報処理装置２０２の機能構成例を示すブロック図である。図５に示される機能構成は、情報処理装置２０２のＣＰＵ３０１が、ＲＯＭ３０２等に記録された各種プログラムを読み出して各部の制御を実行することにより実現される。なお、図５で示される機能部の一部または全部が専用のハードウェア（例えばＡＳＩＣやＦＰＧＡ）により実現されてもよい。

情報処理装置２０２は、一例において、制御部５０１、記憶部５０２、データ送受信部５０３、画像記憶部５０４、動線生成部５０５、姿勢生成部５０６、動線結合部５０７、画像取得部５０８、及び、入出力部５０９を有する。これらの機能部は、内部バス５１０によって相互に接続され、制御部５０１による制御の下で、相互にデータを送受信することができる。制御部５０１は、以下に説明する各機能部を含む、情報処理装置２０２全体の動作を制御する。記憶部５０２は、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４を含み、種々のプログラム、撮影画像等の種々のデータの格納、読み出しを行う。

データ送受信部５０３は、画像生成装置２０１から仮想視点画像群とメタデータを受信する。またデータ送受信部５０３は、画像生成装置２０１に動線情報（仮想視点パラメータ群）を送信する。画像記憶部５０４は、データ送受信部５０３によって受信された仮想視点画像群およびメタデータ、動線結合部５０７および入出力部５０９が取得した動線情報（仮想視点パラメータ群）などを記憶する。画像記憶部５０４は、例えば、磁気ディスク、光ディスク、半導体メモリ等によって実現される。なお、画像記憶部５０４は、情報処理装置２０２に内蔵された装置（ＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４）によって実現されてもよいし、情報処理装置２０２とは物理的に切り離された外部の装置によって実現されてもよい。

動線生成部５０５、姿勢生成部５０６、動線結合部５０７は、画像記憶部５０４に記憶されている２つの動線情報を接続するための接続動線情報を生成する。動線生成部５０５は、例えば、結合の対象となる２つの動線のうち、一方の動線（以下、第１の動線）上の点を接続動線の始点として決定し、もう一方の動線（以下、第２の動線）上の点を接続動線の終点として決定する。本実施形態では、第１の動線の終点、第２の動線の始点が用いられる。動線生成部５０５は、決定した接続動線の始点から終点へ仮想視点が移動するように直線状の接続動線を生成し、接続動線の線上を移動する仮想視点の位置情報を時刻単位で補間する。なお、本実施形態では始点と終点の間を直線により補間する例を示すが、これに限られるものではない。例えば、スプライン関数などにより表される曲線が接続動線として用いられてもよい。また、結合の対象となる２つの動線のうちのいずれを第１の動線、第２の動線とするかは、動線生成部５０５により自動的に決定されてもよいし、ユーザ端末２０３を介してユーザにより明示的に指定されてもよい。例えば、動線生成部５０５は、結合対象の２つの動線のうち、仮想視点パラメータ群の先頭に位置する仮想視点パラメータの時刻情報（開始時刻）が早い方を第１の動線に決定する。

更に、動線生成部５０５は、接続動線上の仮想視点画像を表示する際の再生速度を決定する。動線生成部５０５は、接続動線の始点と終点の距離または時刻の差分（時間差）によって再生速度を調整する。例えば、動線生成部５０５は、接続動線の始点と終点の間の距離が所定値よりも大きい場合に、通常の再生速度よりも早い再生速度を設定する。これにより、仮想視点が接続動線を移動する間は早送り再生が行われる。また、接続動線の始点と終点の間の距離が大きいほど速い再生速度が設定されるようにしてもよい。また、例えば、動線生成部５０５は、接続動線の始点と終点の時間差が所定値よりも大きい場合に通常の再生速度よりも早い再生速度を設定するようにしてもよい。また、接続動線の始点と終点の時間差が大きいほど早い再生速度が設定されるようにしてもよい。なお、接続動線の始点と終点の距離や時間差に関係なく、無条件で、所定速度の早送り再生が行われるようにしてもよい。

姿勢生成部５０６は、動線生成部５０５が生成した接続動線の線上を移動する仮想視点の姿勢情報を生成する。姿勢生成部５０６は、動線生成部５０５が結合の対象とした２つの動線のうちのどちらか一方の動線の始点または終点に位置する仮想視点パラメータを取得する。姿勢生成部５０６は、取得した仮想視点パラメータを画像取得部５０８へ提供することにより画像取得部５０８に仮想視点画像を取得させる。姿勢生成部５０６は、画像取得部５０８が取得した仮想視点画像の中央または中央付近に位置するオブジェクトを検出し、検出したオブジェクトの３次元直交座標を算出する。姿勢生成部５０６は、仮想視点パラメータの時刻情報と算出した３次元直交座標を用いて、画像記憶部５０４に記憶されるメタデータと照合し、検出したオブジェクトのオブジェクトＩＤを特定する。姿勢生成部５０６は、接続動線の動線上を移動する仮想視点の時刻情報と、特定したオブジェクトＩＤに基づいて、その時々のオブジェクトの位置情報をメタデータから抽出する。姿勢生成部５０６は、接続動線の動線上を移動する仮想視点の位置情報と、メタデータから抽出されたオブジェクトの位置情報に基づいて、仮想視点の姿勢を決定する。すなわち、姿勢生成部５０６は、仮想視点の位置とオブジェクトの位置を結ぶ直線がその仮想視点の方向と一致するように当該仮想始点の姿勢情報を生成する。

動線結合部５０７は、動線生成部５０５が画像記憶部５０４から取得した、結合対象の２つの動線情報と、動線生成部５０５と姿勢生成部５０６により生成された接続動線情報（仮想視点の位置、姿勢情報が付与された接続動線）とを結合する。動線結合部５０７は、結合により得られた動線情報（仮想視点パラメータ群）を画像記憶部５０４へ記憶する。その際、動線結合部５０７は、動線生成部５０５が決定した再生速度を付与する。

画像取得部５０８は、姿勢生成部５０６から提供された仮想視点パラメータ、または入出力部５０９から取得された仮想視点パラメータに基づいて、画像記憶部５０４が記憶している仮想視点画像群から仮想視点画像を選択する。また、画像取得部５０８は、画像記憶部５０４から仮想視点パラメータ群（動線情報）を取得し、仮想視点パラメータ群の先頭から順に抽出した仮想視点パラメータに基づいて仮想視点画像群の中から仮想視点画像を選択することもできる。すなわち、画像取得部５０８は、動線情報に従って画像記憶部５０４から仮想視点画像を順次に取得し、取得した仮想視点画像を、入出力部５０９を介してユーザ端末２０３に提供することができる。入出力部５０９は、画像取得部５０８によって取得された仮想視点画像をユーザ端末２０３へ出力する。また、入出力部５０９は、操作指示、仮想視点パラメータや仮想視点パラメータ群をユーザ端末２０３から入力する。

（情報処理装置２０２の動作）
図９は、情報処理装置２０２における一連の処理の流れを示すフローチャートである。このフローチャートは、２つの動線情報を接続する接続動線情報を生成し、これらを結合して１つの動線情報を生成する処理を示す。このフローチャートは、例えば、ユーザ端末２０３から既に作成済みの２つ動線情報を結合する要求を受け付けた際に実行される。

Ｓ９０１において、動線生成部５０５は、画像記憶部５０４に記憶されている２つの動線情報を取得する。図１０は、動線情報に含まれている仮想視点パラメータ群を図示化したものである。図１０において、１００１および１００２は選手であり、破線矢印に沿って矢印方向へ選手が移動している様子を示す。また、１０１１および１０１２は仮想視点であり、実線矢印に沿って矢印方向へ仮想視点が移動している様子を示す。また、１０２１および１０２２はそれぞれ仮想視点１０１１および仮想視点１０１２の動線を示す。仮想視点１０１１は、選手１００１の斜め前方を選手１００１の動きに合わせて移動し、常に選手１００１を撮影できるように姿勢が調整される。仮想視点１０１２は、選手１００１に向けて遠くから徐々に近づき、最後に選手１００１を中心に旋回するように移動し、常に選手１００１を撮影できるように姿勢が調整される。なお、説明の都合上、選手および仮想視点は、間引いて図示しているが、実際はフレームごとに存在する。また、動線１０２１および動線１０２２の撮影時刻を図１５（ａ）に示す。動線１０２１の撮影時刻は図１５（ａ）の動線Ａであって、動線１０２２の撮影時刻は図１５（ａ）の動線Ｂである。動線Ａと動線Ｂは、重複する期間があって、動線Ａの方が動線Ｂよりも早く撮影が開始されており、撮影の終了時刻は動線Ｂの方が遅い。

図９に戻り、Ｓ９０２において、動線生成部５０５は、Ｓ９０１で取得した２つの動線情報に含まれている動線を取得し、これら２つの動線を接続する接続動線を生成する。図１１は、動線生成部５０５が生成する接続動線の一例である。図１１において、動線１０２１，１０２２は図１０で示した動線である。１１０１は動線１０２１の終点を、１１０２は動線１０２２の始点を示している。また、接続動線１１１０は、終点１１０１から始点１１０２へ向けて生成された動線である。動線生成部５０５は、取得した２つの動線のうち動線１０２１を先方の動線として決定し、動線１０２２を後方の動線として決定する。動線生成部５０５は、例えば、仮想視点パラメータ群の先頭に位置する仮想視点パラメータの時刻情報を比較し、撮影の開始時刻が早い方を先方の動線として決定する。動線生成部５０５は、先方の動線１０２１の終点１１０１を接続動線１１１０の始点として決定し、後方の動線１０２２の始点１１０２を接続動線１１１０の終点として決定する。動線生成部５０５は、終点１１０１から始点１１０２へ向けた動線を接続動線１１１０として生成する。

なお、本実施形態では、動線生成部５０５は、接続動線１１１０を終点１１０１と始点１１０２を結ぶ直線とし、接続動線１１１０の線上を移動する仮想視点の位置情報を時刻単位で補間する。もちろん、接続動線１１１０は、スプライン関数などの所定の関数により表される曲線であってもよい。また、終点１１０１の時刻よりも始点１１０２の時刻の方が過去になるので、接続動線１１１０の線上を移動する仮想視点の時刻情報は過去に遡るように時刻が戻る。したがって、接続動線１１１０による仮想視点画像の再生は逆再生となる。また、この時点における仮想視点の姿勢情報は空状態であって、Ｓ９０５で設定される。なお、補間方法については、スプライン関数によるものであってもよい。また、取得した２つの動線のうち先方の動線として選ばれる動線は、ユーザ端末２０３からユーザによって選択されるものであってもよい。

Ｓ９０３において、動線生成部５０５は、Ｓ９０２で生成された接続動線１１１０の仮想視点画像を表示する際の再生速度を決定する。動線生成部５０５は、Ｓ９０２で生成された接続動線１１１０の再生方向を逆方向（逆再生）に設定し、再生速度を早送りに決定する。なお、上述したように、再生速度は、接続動線の始点と終点の距離または時間の差分によって調整されてもよい。また、距離または時間の差分が大きくなるにつれて早送りの速度を速めるようにしてもよい。また、ユーザ端末２０３からユーザによって再生速度が設定されてもよい。また、逆再生ならば早送りが、順方向の再生ならば通常再生が設定されるようにしてもよい。再生速度が決定されると、接続動線１１１０上における仮想視点の位置が決定される。例えば、始点と終点の時間差と再生速度から接続動線１１１０に対する再生時間を決定し、再生時間に基づいて決定されるフレーム数分の位置を接続動線１１１０上に等距離間隔で配置することで、仮想視点の位置が決定され得る。

次に、Ｓ９０４において、姿勢生成部５０６は、Ｓ９０２で生成された接続動線１１１０の線上を移動する仮想視点が追従するオブジェクトを決定する。図１２は、追従するオブジェクトの決定方法を説明する図である。図１２（ａ）において、動線１０２１と１０２２、選手１００１と１００２は図１０で説明したとおりである。１２０１は動線１０２１の終点に位置する仮想視点を示す。また、１２１１は仮想視点１２０１の撮影範囲を示す。なお、選手１００１および選手１００２の斜線丸印は、仮想視点１２０１が動線１０２１の終点に位置する時刻に、選手がプレーしている場所を示す。図１２（ｂ）は、仮想視点１２０１について取得される仮想視点画像である。

姿勢生成部５０６は、Ｓ９０２で決定された先方の動線１０２１の終点に位置する仮想視点１２０１の仮想視点パラメータを取得する。姿勢生成部５０６は、取得した仮想視点パラメータを画像取得部５０８へ送り、画像取得部５０８から仮想視点画像を取得する。この時、画像取得部５０８から取得した仮想視点画像が図１２（ｂ）である。姿勢生成部５０６は、仮想視点画像の中央または中央付近に位置するオブジェクトを検出し、検出したオブジェクトの３次元直交座標を算出する。姿勢生成部５０６は、仮想視点１２０１の仮想視点パラメータの時刻情報と算出した３次元直交座標を用いて、画像記憶部５０４に記憶されるメタデータと照合し、オブジェクトＩＤを特定する。図１２（ａ）,（ｂ）の例では、仮想視点１２０１の仮想視点画像から選手１００１の位置が検出され、メタデータとの照合により選手１００１のオブジェクトＩＤが特定される。なお、動線１０２１の終点における仮想視点画像から追従すべきオブジェクトを検出したがこれに限られるものではない。例えば、動線１０２２の始点における仮想視点画像から追従すべきオブジェクトが検出されてもよい。また、追従すべきオブジェクトがユーザ端末２０３から指定されてもよい。

Ｓ９０５において、姿勢生成部５０６は、Ｓ９０２で生成された接続動線１１１０の線上を移動する仮想視点の各位置の姿勢を生成する。図１３は、接続動線１１１０の線上を移動する仮想視点の一例である。図１３において、１３０１は接続動線１１１０の線上を移動する仮想視点を示す。仮想視点１３０１は、実線矢印に沿って矢印の方向へ移動しながら、常に選手１００１を撮影できるように姿勢が調整される。なお、接続動線１１１０の線上を移動する仮想視点１３０１の時刻情報は過去に遡るように時刻が戻るので、選手１００１も破線矢印に沿って矢印方向を逆行する。姿勢生成部５０６は、接続動線１１１０の線上を移動する仮想視点１３０１の各位置の時刻情報と、Ｓ９０４で決定したオブジェクトＩＤに基づいて、メタデータの中から選手１００１の位置情報を取得する。姿勢生成部５０６は、仮想視点の１３０１の視線がメタデータから抽出した選手１００１の位置を向くように各位置の仮想視点の姿勢を調整することにより、仮想視点の姿勢情報を生成する。

Ｓ９０６において、動線結合部５０７は、Ｓ９０１で取得した２つの動線情報と、Ｓ９０２～Ｓ９０５により生成された接続動線情報とを結合する。図１４は、これら３つの動線情報が結合された状態の一例を示す。動線結合部５０７は、Ｓ９０２で決定した先方の動線１０２１、Ｓ９０５で姿勢情報が付与された接続動線１１１０、Ｓ９０２で決定した後方の動線１０２２の順番で接続する。動線結合部５０７は、結合により得られた動線情報（仮想視点パラメータ群）を画像記憶部５０４へ記憶する。

以上のように、本実施形態によれば、既に作成済みの２つの動線情報を結合する場合に、２つの動線を接続する接続動線を生成し、接続動線の線上を移動する仮想視点の視線を、常に移動するオブジェクトへ向けることができる。そのため、ユーザが仮想視点の位置や姿勢に係る操作を行わずとも、注目すべきオブジェクトが仮想視点画像の範囲から外れないように２つの動線を接続する動線情報を接続する動線情報を生成することできる。例えば、サッカー競技において、ドリブルからシュートまでの一連の動作を行った選手を注目オブジェクトとして追従するように仮想視点を移動させた後、時間を戻しながら（逆再生しながら）別の位置へ仮想視点を移動させることを考える。この場合に、逆再生のための仮想視点の動線を、基本フレームに対応して設定された動線上の位置・姿勢を単純に補間することにより生成すると、注目オブジェクトである選手の位置は考慮されない。従って、逆再生中に注目対象である選手が仮想視点の視界から外れてしまう場合がある。これに対して、上述した本実施形態によれば、注目対象のオブジェクトの位置を考慮して動線を補間するため、注目対象の選手が仮想視点の視界から外れてしまう虞を低減できる。

なお、上記実施形態では、２つの動線の間を接続する接続動線を生成する例を説明したが、これに限られるものではない。例えば、時刻、位置、姿勢が設定された２つの仮想視点を指定することにより、これらの仮想視点間を結ぶ動線情報を自動生成する構成に適用することができる。すなわち、キーフレーム方式において２つの基本フレームの間の中間フレームに対応する仮想視点の位置および姿勢を決定するために、上述した動線情報の生成方法を適用することができる。これにより、所定のオブジェクトが仮想視点画像から外れないように、中間フレームの仮想視点を決定することができる。

（その他の実施形態）
上述の実施形態では、ユーザ端末２０３から既に作成済みの２つ動線情報を結合する要求を受け付けると、図９に示されるフローチャートの処理が実行されるものとして説明したが、これに限定されない。例えば、制御部５０１は、画像記憶部５０４に動線情報（仮想視点パラメータ群）が新規に追加される度に、図９に示されるフローチャートの処理を実行するように制御してもよい。

この場合、制御部５０１は、新規に追加された動線情報と、画像記憶部５０４に記憶されている既存の動線情報を解析し、これら動線情報の結合を実行するか否かを判定するようにしてもよい。例えば、図１５（ａ）で示すように２つの動線の撮影時刻の範囲が少なくとも部分的に重複し、かつ、図１５（ｂ）で示すように２つの動線情報によって共通のオブジェクトが撮影されている場合、制御部５０１は２つの動線情報を結合すると判断する。なお、結合の実行の判定条件はこれに限定されるものではない。このようにすることで、ユーザが２つの動線を結合する指示を出さずとも、関係性の高い２つの動線情報が自動的に結合されるようにすることができる。なお、動線情報の結合の実行が、ユーザ端末２０３からユーザによって設定されるようにしてもよい。

また、上述の実施形態では、サッカーの試合を撮影する場合を例示したが、撮影対象は必ずしもこれに限定されない。例えば、ラグビー、テニス、アイススケート、バスケットボール等の他のスポーツの試合や、ライブ、コンサート等の演奏の撮影にも、本実施形態を適用することができる。

以上のように、各実施形態によれば、キーフレーム方式で中間フレームの仮想視点を補間する場合、仮想視点の撮影対象であるオブジェクトを追従するように仮想視点の姿勢を決定するので、仮想視点の撮影範囲からオブジェクトが外れることがなくなる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

２０２：情報処理装置、５０１：制御部、５０２：記憶部、５０３：データ送受信部、５０４：画像記憶部、５０５：動線生成部、５０６：姿勢生成部、５０７：動線結合部、５０８：画像取得部、５０９：入出力部、５１０：内部バス

Claims (15)

1. 複数の撮影装置により所定の空間を撮影することで得られる複数の画像から仮想視点画像を生成するための仮想視点の位置および前記仮想視点からの視線方向を生成する情報処理装置であって、
   前記仮想視点の第１の位置および第２の位置と、前記第１の位置および前記第２の位置に対応し、前記所定の空間の撮影時刻を示す第１の時刻および第２の時刻とを取得する取得手段と、
   前記第１の位置と前記第２の位置を接続し、前記仮想視点が移動する動線を生成する生成手段と、
   前記動線の前記第１の位置と前記第２の位置の間に前記仮想視点の複数の位置を設定し、前記複数の位置の各々に対応する前記所定の空間の撮影時刻を前記第１の時刻と前記第２の時刻に基づいて設定する設定手段と、
   前記複数の位置の各々における前記仮想視点からの視線方向を、前記所定の空間における特定のオブジェクトの、前記複数の位置の各々に設定された前記撮影時刻における位置に基づいて決定する決定手段と、を備え、
   前記取得手段は、前記仮想視点の前記第１の位置を含む複数の位置と当該複数の位置の各々における前記仮想視点からの視線方向および撮影時刻を含む第１の動線情報と、前記仮想視点の前記第２の位置を含む複数の位置と当該複数の位置の各々における前記仮想視点からの視線方向および撮影時刻を含む第２の動線情報と、を取得し、
   前記生成手段は、前記第１の位置と前記第２の位置とを接続する前記動線を、前記仮想視点が移動する第３の動線情報の動線として生成することを特徴とする情報処理装置。
2. 前記第１の動線情報、前記第２の動線情報および前記第３の動線情報を結合して結合された動線情報を生成する結合手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
3. 前記第１の動線情報または前記第２の動線情報によって得られる仮想視点画像に基づいて、前記特定のオブジェクトを選択する選択手段をさらに備えることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記選択手段は、前記第１の位置または前記第２の位置の仮想視点から得られる仮想視点画像において最も中央に近い位置にあるオブジェクトを前記特定のオブジェクトに選択することを特徴とする請求項３に記載の情報処理装置。
5. 前記生成手段は、前記第１の動線情報が表す仮想視点の終点の位置を始点とし、前記第２の動線情報が表す仮想視点の始点の位置を終点とする動線を生成することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記生成手段は、前記第１の位置と前記第２の位置の間を直線で結ぶことにより前記動線を生成することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記生成手段は、前記第１の位置と前記第２の位置を所定の関数により表される曲線で結ぶことにより前記動線を生成することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
8. 前記設定手段は、前記第１の位置と前記第２の位置の間の距離または前記第１の時刻と前記第２の時刻との時間差に基づいて再生速度を設定し、前記再生速度に基づいて前記動線に前記仮想視点の位置と撮影時刻を設定することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記設定手段は、前記距離が所定値より大きい場合、または、前記時間差が所定値より大きい場合に、通常の再生速度よりも速い再生速度を設定することを特徴とする請求項８に記載の情報処理装置。
10. 前記設定手段は、前記距離が大きいほど、または、前記時間差が大きいほど、より速い再生速度を設定することを特徴とする請求項８または９に記載の情報処理装置。
11. 前記第１の動線情報と前記第２の動線情報に基づいて前記第３の動線情報を生成するか否かを判定する判定手段をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
12. 前記判定手段は、前記第１の動線情報に含まれる撮影時刻の範囲と前記第２の動線情報に含まれる撮影時刻の範囲が少なくとも部分的に重複する場合に、前記第３の動線情報を生成すると判定することを特徴とする請求項１１に記載の情報処理装置。
13. 前記判定手段は、前記第１の動線情報によって生成される仮想視点画像と前記第２の動線情報によって生成される仮想視点画像が共通のオブジェクトを含む場合に、前記第３の動線情報を生成すると判定することを特徴とする請求項１１または１２に記載の情報処理装置。
14. 複数の撮影装置により所定の空間を撮影することで得られる複数の画像から仮想視点画像を生成するための仮想視点の位置および前記仮想視点からの視線方向を生成する情報処理方法であって、
    前記仮想視点の第１の位置および第２の位置と、前記第１の位置および前記第２の位置に対応し、前記所定の空間の撮影時刻を示す第１の時刻および第２の時刻とを取得する取得工程と、
    前記第１の位置と前記第２の位置を接続し、前記仮想視点が移動する動線を生成する生成工程と、
    前記動線の前記第１の位置と前記第２の位置の間に前記仮想視点の複数の位置を設定し、前記複数の位置の各々に対応する前記所定の空間の撮影時刻を前記第１の時刻と前記第２の時刻に基づいて設定する設定工程と、
    前記複数の位置の各々における前記仮想視点からの視線方向を、前記所定の空間における特定のオブジェクトの、前記複数の位置の各々に設定された前記撮影時刻における位置に基づいて決定する決定工程と、を備え、
    前記取得工程は、前記仮想視点の前記第１の位置を含む複数の位置と当該複数の位置の各々における前記仮想視点からの視線方向および撮影時刻を含む第１の動線情報と、前記仮想視点の前記第２の位置を含む複数の位置と当該複数の位置の各々における前記仮想視点からの視線方向および撮影時刻を含む第２の動線情報と、を取得し、
    前記生成工程は、前記第１の位置と前記第２の位置とを接続する前記動線を、前記仮想視点が移動する第３の動線情報の動線として生成することを特徴とする情報処理方法。
15. コンピュータを、請求項１乃至１３のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラム。

Images