JP7102173B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本発明は、仮想視点映像を検索するための情報処理装置、情報処理方法、及びプログラムに関する。

昨今、複数のカメラを異なる位置に設置して複数視点で同期撮影し、当該撮影により得られた複数視点画像を用いて、任意の仮想カメラ（仮想視点）からの映像（仮想視点映像）を生成する技術が注目されている。このような技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが可能となり、通常の映像コンテンツと比較してユーザに高臨場感を与えることが可能となる。

複数の映像から所望の映像を検索する場合、撮影日時やシーンといった情報を検索要素とすることができる。特許文献１には、複数のカメラで撮影された映像から、ユーザが指定したシーン（例えば警報検出場面）や時間帯に対応する映像を検索して、検索により得られた映像をユーザに提示する装置が開示されている。

特開２００４－１４５５６４号公報

上記のような技術によれば、同一のシーンに対して、視点が異なる複数の仮想視点映像が生成される場合がある。そのため、従来のように撮影日時やシーンを指定しても、複数の仮想視点映像の中から所望の仮想視点映像を特定することが難しいケースが予想される。

そこで、本発明は、仮想視点映像の検索に関する利便性を向上させることを目的とする。

本発明による情報処理装置は、複数の撮影装置が行う撮影により得られる複数の撮影画像に基づいて生成される仮想視点映像に係る仮想視点の位置と、該仮想視点からの視線方向との少なくとも一方を表す視点情報を含む検索条件を取得する取得手段と、生成済みの一以上の仮想視点映像であって、取得手段により取得される検索条件に含まれる視点情報との差が最も小さい視点情報に対応する仮想視点映像を少なくとも含む一以上の仮想視点映像を、所定の条件において特定する特定手段と、特定手段により特定された一以上の仮想視点映像を出力する出力手段と、を有し、検索条件は、頻度に関する情報を更に含み、特定手段は、検索される頻度が閾値よりも大きい視点情報に対応する一以上の仮想視点映像を特定する。

本発明によれば、仮想視点映像の検索に関する利便性を向上できる。

実施形態における画像検索システムの構成の一例を示すブロック図である。 実施形態における仮想視点映像データを蓄積する際のデータフォーマットの一例を示す図である。 ユーザが視点情報を入力するためのＵＩ画面の一例を示す図である。 実施形態における仮想視点映像の検索処理を示すフローチャートである。 実施形態における検索処理を説明するための図である。 実施形態における検索処理を説明するための図である。 実施形態における検索処理を説明するための図である。 実施形態における検索処理を説明するための図である。 実施形態における検索処理を説明するための図である。

以下、本発明の実施の形態について詳細に説明する。なお、以下の実施の形態に記載されている構成要素は、本発明の例としての形態を示すものであり、本発明の範囲をそれらのみに限定するものではない。
［第１実施形態］

図１は、第１実施形態における画像検索システムの構成の一例を示すブロック図である。第１実施形態における画像検索システムは、図１に示すように、仮想視点映像を検索する仮想視点映像検索装置（以下、画像検索装置、または単に検索装置と呼ぶ）１０を備える。また、画像検索システムは、ユーザが視点情報を入力する視点情報入力部３０と、仮想視点映像を示す仮想視点映像データが蓄積される仮想視点映像蓄積部（以下、単に蓄積部と呼ぶ）２０とを備える。

検索装置１０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ＷＳ（Ｗｏｒｋ Ｓｔａｔｉｏｎ）、各種サーバなどのコンピュータである。なお、コンピュータは、タブレットＰＣやスマートフォンであってもよい。検索装置１０は、本実施形態の特徴的な処理を行う。検索装置１０の処理の詳細については、図４を用いて後述する。

蓄積部２０は、１または複数の仮想視点映像データを蓄積する。蓄積部２０は、例えば、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ（ＨＤＤ）やＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ）、フラッシュメモリなどのストレージデバイスである。なお、蓄積部２０は、単一のデバイスで構成されていてもよいし、複数のデバイスの集合体で構成されていてもよいし、複数種類のデバイスが混在していてもよい。また、蓄積部２０は、物理デバイスではなく、ネットワーク上に仮想化されたクラウド上のデバイスで構成されていてもよい。また、蓄積部２０に蓄積される仮想視点映像データは、どのような生成手段によって生成されてもよい。さらに、仮想視点映像データは、どのようなデータフォーマットで蓄積部２０に蓄積されてもよい。ただし、蓄積部２０に蓄積される仮想視点映像データのそれぞれには、視点情報が付与されるものとする。蓄積部２０に蓄積される仮想視点映像データのデータフォーマットの詳細については、図２を用いて後述する。

検索装置１０と蓄積部２０は、ネットワークを介して接続されている。なお、本実施形態では、検索装置１０と蓄積部２０とを接続するネットワークとしてＥｔｈｅｒｎｅｔ（登録商標）を用いることとするが、その他のネットワークを用いてもよい。また、検索装置１０と蓄積部２０は、同じ筐体内に格納されていてもよい。その場合、検索装置１０と蓄積部２０は、コンピュータ内の内部バスによって接続されるものとする。

図２は、第１実施形態において蓄積部２０に蓄積される仮想視点映像データのデータフォーマットの一例を示す図である。図２に示すように、本実施形態における仮想視点映像データ２０２は、メタデータ２０１が付与された状態で蓄積部２０に格納される。メタデータ２０１は、仮想視点パラメータ２１１と映像付属情報２１２とを含む。このように、本実施形態では、仮想視点映像データ２０２に、視点情報として仮想視点パラメータ２１１が付与されるものとする。なお、データ２０１，２０２は互いに関連づけられて蓄積されていればよく、それぞれの配置や順序は図２に示す形態に限定されない。また、メタデータ２０１内におけるパラメータや情報の配置や順序は図２に示す形態に限定されない。

仮想視点パラメータ２１１は、姿勢パラメータ２２１と位置パラメータ２２２とを含む。仮想視点パラメータ２１１の詳細については後述する。映像付属情報２１２は、例えば、撮影時刻情報（以下、単に時刻情報と記す）や、映像の解像度や色空間といった映像データに一般的に付与される、メタデータである。なお、時刻情報は、対象となる仮想視点映像の撮影時刻を示す情報であり、より具体的には、該仮想視点映像の生成元である撮影映像の撮影時刻を示す情報である。なお、撮影時刻は、絶対時刻であってもよいし、撮影開始時刻を０とした相対時刻であってもよい。なお、相対時刻の表現形式として一般的な規格であるタイムコード、またはそれに類するものであってもよい。

ここで、仮想視点パラメータ２１１について説明する。仮想視点パラメータ２１１の姿勢パラメータ２２１は、仮想カメラの姿勢を示すパラメータである。本実施形態では、仮想カメラの姿勢をクォータニオンで表現するものとする。クォータニオンは、以下の式（１）で表現される。

式（１）において、セミコロンの左側は実数部を表現していて、ｘ,ｙ,ｚは虚数部を表現している。クォータニオン表現を用いることによって、任意の方向を軸とする任意の回転を容易に表現することが可能となる。具体的には、以下の手順となる。

まず、回転させたい点Ｐを以下の式（２）と置く。

次に、回転軸の方向を表すベクトルをｖ=（ｘｖ，ｙｖ，ｚｖ）と表し、回転させたい角度をθと表し、以下の式（３）（４）を用いてこのベクトルｖから２つのクォータニオンＱ，Ｒを求める。なお、ベクトルｖは正規化されていることとする。

最後に、以下の式（５）に示すような演算を実行する。

この結果、ベクトルｖを向いた軸まわりに点Ｐをθ回転させた点が、座標（ｘ，ｙ，ｚ）として得られる。なお、姿勢パラメータ２２１の表現方法はこれに限定されず、例えば回転行列表現でもよい。

位置パラメータ２２２は、仮想カメラの位置を示すパラメータである。世界座標上の原点を（０，０，０）とした３次元座標（ｘ，ｙ，ｚ）であるとする。このように、本実施形態では、位置パラメータ２２２を３次元ベクトルで表現する。

なお、図２には、仮想視点映像データ２０２がメタデータ２０１と連続したデータ領域に格納される例が示されているが、仮想視点映像データ２０２は、メタデータ２０１と連続したデータ領域に格納されていなくてもよい。また、仮想視点映像データ２０２とメタデータ２０１とは、同一ファイル内に格納されている必要はなく、それぞれが別のファイルに格納されていてもよい。

また、仮想視点映像データ２０２が動画像、すなわち複数フレームで構成される映像である場合は、フレームの数と同じだけの仮想視点パラメータ２１１が、仮想視点映像データ２０２に付与されるものとする。なお、フレームの数に関わらず、代表的な仮想視点パラメータ２１１を仮想視点映像データ２０２に付与するようにしてもよい。その場合、仮想視点パラメータ２１１の代表値の求め方については特に限定しない。例えば、全フレーム分の仮想視点パラメータの平均値や中央値を代表値としてもよい。また例えば、仮想視点映像データを生成したユーザが指定した値を代表値としてもよい。

視点情報入力部３０は、視点情報を入力する。視点情報入力部３０が入力する視点情報は、仮想視点映像を検索するための情報である。例えば、後述する仮想カメラの位置である。本実施形態における視点情報入力部３０は、タッチパネル等の入力手段を有する液晶ディスプレイ等の表示装置で構成されているものとする。視点情報入力部３０は、後述する図３に示すようなユーザインターフェース（ＵＩ）画面を表示する。そして、ユーザは、ＵＩ画面に対してタッチ操作などの入力操作を行うことで視点情報を指定する。視点情報入力部３０は、ユーザが指定した視点情報を、図２に示す仮想視点パラメータ２１１のデータ形式で検索装置１０に送付する。なお、視点情報入力部３０は、マウスやジョイスティックなどの入力デバイスからの信号を受け付け可能に構成されていてもよい。

図３は、ユーザが視点情報を入力するためのＵＩ画面の一例を示す図である。図３に示すＵＩ画面には、サッカーのグラウンド３００を俯瞰した画像（２次元の空間情報）が表示されていて、該２次元の空間情報に対してユーザが視点情報を指定する。

まず、ユーザは、タッチパネルを操作したり、マウスやジョイスティックのような入力デバイスを使用したりして、希望する視点の位置をカーソル（例えばマウスポインタ）で指定する。カーソルは、初期状態ではグラウンド３００の中央に位置しているものとする。図３に示す例では、ユーザ操作によってグラウンド３００右下の位置３０１にカーソルが移動されている。

視点の位置を確定すると、次にユーザは、姿勢を指定する。本実施形態では、図３に示す矢印３０２を回転させることによって姿勢を指定可能である。ここでは、位置３０１は、（ｘ，ｙ）の２次元で表現されている。また、姿勢すなわち矢印３０２の方向は最初の状態では右向き（図３における右方向）であり、グラウンド３００の長手方向と並行であるとする。図３には、最初の状態から矢印３０２を反時計回りに９０度回転させた姿勢θをユーザが指定したときの状態が示されている。

図３に示すＵＩ画面にてユーザが指定した位置（位置３０１）及び姿勢（矢印３０２）は、サッカーの試合の状況に照らし合わせると、図３右側の陣地に攻め入ったチームがセンタリングを上げる場面などに対応する。また、通常の動画像コンテンツを検索する際に時刻情報を指定するように、仮想視点映像コンテンツが複数フレームから構成される動画像データである場合は、目盛り指定部３０３を使用して時刻指定を行うことができる。ユーザは、目盛り指定部３０３上のつまみ（黒丸）の位置を指定することで、時刻情報を指定することができる。図３に示す例では、試合開始後１５分あたりをユーザが選択していることになる。なお、本実施形態では説明を容易にするため、２次元で表現された画像上で検索が行われる場合を例にしたが、３次元空間のｚ方向、すなわちグラウンド３００の物理空間での高さ方向を検索条件に含めるようにしてもよい。つまり、３次元上の位置や姿勢をユーザが指定可能なようにしてもよい。その場合、ユーザに位置や姿勢を指定させるＵＩとしては、３次元の画像（空間情報）をユーザに提示し、ユーザに位置や姿勢を指定させるＵＩが想定される。例えば、各種の３Ｄシミュレータや３Ｄゲームで行われているように、対象となる仮想空間（仮想的な３次元空間）上にユーザが存在するものとして、該ユーザが見ている方向を視点情報入力部３０の画面上に表示するＵＩが想定される。このようなＵＩを用いることで、ユーザは、ジョイスティックなどを操作して、仮想空間上を自由に移動したり、仮想空間上で見たい方向を向いたりすることにより、所望の位置および姿勢を仮想視点パラメータとして容易に指定することが可能となる。

なお、ユーザに位置や姿勢を指定させるＵＩの表現形式は、上述した例に限定されない。例えば、キーボードを使用して具体的な数値で位置や姿勢を指定可能なＵＩを採用してもよい。また、上述したマウスやジョイスティック等の操作デバイスを複数組み合わせて位置や姿勢を指定するＵＩを採用してもよい。さらに、動画再生アプリケーションにおいて動画像コンテンツを検索する際に一般的に採用されている、ハイライトシーンを提示するようなインターフェースを採用してもよい。例えば、図３に示す目盛り指定部３０３上にカーソルが置かれたときに、該カーソルが置かれた位置に、該位置に対応する時間帯のハイライトシーンを重畳して表示するようにしてもよい。そのような形態によれば、ユーザは、表示されるハイライトシーンを確認しながら、特定のイベントが起こった時間帯を把握することが可能となる。したがって、ユーザは、単純に時間を指定するのではなく、特定のイベントが起こった時間の周辺の時間帯を指定することが可能となる。

また、姿勢パラメータ、位置パラメータ、及び時刻情報の全てのパラメータを指定する必要はなく、いずれかのパラメータのみ、またはいずれか任意のパラメータを組み合わせて指定するようにしてもよい。その他、時刻情報に限らず、映像付属情報２１２に含まれている他の情報を検索条件として利用してもよい。例えば、色空間や解像度といった映像フォーマットに関する情報を利用してもよい。また例えば、仮想視点映像データの生成時に付与されるカテゴリ情報を示すメタデータを利用してもよい。カテゴリ情報としては、例えばスポーツの種別（サッカーやラグビーなど）を示す情報や、そのサブカテゴリ（コーナーキックやフリーキックやペナルティーキックやゴールシーンなど）を示す情報が想定される。また、一般的にトリックプレーと呼ばれるようなフレームの早回し、スロー再生など、映像編集に関する情報をカテゴリ情報として指定するようにしてもよい。また、仮想視点映像には、あるフレームで静止した状態の被写体（オブジェクト）の周囲を複数フレームかけてぐるりと回転するような停止回転と呼ばれるトリックプレーが存在する。このような仮想視点映像特有の映像編集に関する情報をカテゴリ情報として指定するようにしてもよい。

また、映像に関するパラメータとして画角がある。例えば、あるシーンを同じ視点から撮影した映像であったとしても、特定の選手に注目してズームした望遠の映像と、そのシーンを俯瞰して見た広角の映像とでは映像の見え方が異なる。したがって、仮想視点パラメータ２１１または映像付属情報２１２に画角情報を含ませるようにして、検索条件として画角情報をユーザに指定させるようにしてもよい。このとき、「望遠」「広角」といったある程度カテゴライズされた画角情報をユーザに指定させるようにしてもよいし、０～１８０度内の任意の角度を画角情報としてユーザに指定させるようにしてもよい。なお、ユーザに画角情報を指定させるＵＩとして、画角情報を直観的に指定できるようなＵＩを採用してもよい。例えば、先に述べたような仮想的な３次元空間上においてユーザの視野を変更するとこで、該視野に応じた画角情報を仮想視点パラメータとして指定可能なようにしてもよい。

検索装置１０と視点情報入力部３０とは、ネットワーク接続されているとする。なお、本実施形態では、検索装置１０と視点情報入力部３０とを接続するネットワークとしてＥｔｈｅｒｎｅｔ（登録商標）を用いることとするが、その他のネットワークを用いてもよい。また、検索装置１０と視点情報入力部３０とは、同じ筐体内に格納されていてもよい。その場合、検索装置１０と視点情報入力部３０とは、コンピュータ内の内部バスによって接続されるものとする。

次に、検索装置１０の構成及び動作を説明する。検索装置１０は、図１に示すように、視点情報取得部１０１、視点情報比較部１０２、検索結果生成部１０３、及び検索結果提示部１０４を有する。視点情報取得部１０１は、蓄積部２０から、蓄積部２０に蓄積されている仮想視点映像データに付与されている仮想視点パラメータ２１１及び映像付属情報２１２を取得する。視点情報比較部１０２は、視点情報入力部３０から受け取った仮想視点パラメータと、視点情報取得部１０１から受け取った仮想視点パラメータとを比較する。検索結果生成部１０３は、視点情報比較部１０２の比較結果から検索結果を生成する。検索結果提示部１０４は、検索結果生成部１０３から受け取った検索結果をユーザに提示する。

ここで、図４を用いて、検索装置１０における仮想視点映像の検索処理について説明する。図４は、第１実施形態の検索装置１０における仮想視点映像の検索処理を示すフローチャートである。図４に示すフローチャートの一連の処理は、例えば、検索装置１０のＣＰＵ（不図示）がＲＯＭ（不図示）に記憶されているプログラムコードをＲＡＭ（不図示）に展開し実行することにより行われる。また例えば、図４におけるステップの一部または全部をＡＳＩＣや電子回路等のハードウェアで実現してもよい。

ステップＳ４０１（以下、単にＳ４０１と表記する。他のステップについても同様に表記する）において、視点情報入力部３０が、ユーザが視点情報を入力したかどうかを監視する。視点情報が入力されると（Ｓ４０１のＹＥＳ）、視点情報入力部３０は、入力された視点情報を視点情報比較部１０２に渡す。なお、ここでは、視点情報とともに時刻情報が入力されるものとする。したがって、視点情報入力部３０は、入力された時刻情報も視点情報比較部１０２に渡す、処理はＳ４０２に進む。視点情報が入力されていない場合には（Ｓ４０１のＮＯ）、処理はＳ４０１に戻る。

Ｓ４０２において、視点情報取得部１０１が、蓄積部２０から、蓄積部２０に蓄積されている仮想視点映像データに付与されている仮想視点パラメータ２１１及び映像付属情報２１２を取得する。なお、ここでは、映像付属情報２１２として少なくとも時刻情報が取得されるものとする。そして、視点情報取得部１０１は、取得した仮想視点パラメータ２１１および時刻情報を視点情報比較部１０２に渡す。

Ｓ４０３において、視点情報比較部１０２が、視点情報入力部３０から受け取った視点情報および時刻情報と、視点情報取得部１０１から受け取った仮想視点パラメータ２１１および時刻情報とを比較する。Ｓ４０４において、検索結果生成部１０３が、視点情報比較部１０２の比較結果から検索結果を生成する。Ｓ４０５において、検索結果提示部１０４が、検索結果生成部１０３から受け取った検索結果を視点情報入力部３０の液晶ディスプレイ等に表示する。

次に、具体例を用いて、上述したＳ４０３の比較処理、Ｓ４０４の検索結果の生成処理、及びＳ４０５の検索結果の提示処理について説明する。図５は、第１実施形態における検索処理を説明するための図である。ここでは、あるサッカーの試合における一シーンについて生成された仮想視点映像Ａ，Ｂ，及びＣが、蓄積部２０に蓄積されているものとする。図５には、上記仮想視点映像Ａ，Ｂ，及びＣに対応するカメラパスが、矢印線５０２，５０３，及び５０４で模式的に示されている。矢印線の始点はカメラパスの始点（最初のフレーム）を表し、矢印線の先端はカメラパスの終点（最終フレーム）を表す。カメラパスは、仮想視点パラメータを画像のフレーム分連続させて得られるパスであり、仮想視点の経路を示す。なお、先に述べた停止回転のように、同時刻のフレームが複数生成されるような映像編集が行われた場合、画像のフレーム数が実時間のフレーム数と一致しない仮想視点映像データが生成され得る。しかし、そのような仮想視点映像データによって示される仮想視点映像についても、同様にしてカメラパスで表現することができる。白抜き矢印５０１（以下、仮想視点入力５０１と記す）は、図３に示すＵＩ画面にてユーザが検索条件として指定した視点情報を模式的に示したものである。

ユーザが指定した検索条件（仮想視点入力５０１で示される仮想カメラの位置）と、仮想視点映像Ａ，Ｂ，及びＣそれぞれの位置パラメータ２２２とが、上記Ｓ４０３の処理において比較される。そして、仮想視点映像Ａの位置パラメータ２２２の平均値が仮想視点入力５０１と最も近いため、検索結果として仮想視点映像Ａが提示される。

なお、位置パラメータ２２２は３次元ベクトルで表現されるため、位置パラメータ２２２の平均値は、仮想視点映像の各フレームにおける仮想カメラの位置を示すベクトルの平均値として算出される。ベクトルの各要素は直交した軸の座標値であるため、位置パラメータ２２２の平均値は、結果として各座標それぞれの平均値になる。また、ある仮想視点映像について算出された平均値とユーザが指定した仮想視点入力５０１との差（類似度）が予め定められた閾値以下である場合に、該仮想視点映像の情報を検索結果としてユーザに提示するものとする。なお、Ｓ４０３の比較処理に用いる値は平均値に限定されず、位置パラメータ２２２の中央値や頻度の高い値でもよい。また、Ｓ４０３の比較処理に、位置パラメータ２２２ではなく、姿勢パラメータ２２１を使用するようにしてもよいし、位置パラメータ２２２と姿勢パラメータ２２１との両方を使用するようにしてもよい。また、Ｓ４０３の比較処理に、時刻情報を追加使用するようにしてもよい。また、位置パラメータ２２２と姿勢パラメータ２２１とのどちらか一方のパラメータで検索して得られた結果に対して、他方のパラメータを使用してさらに検索結果を絞り込むようにしてもよい。さらに、検索結果の絞り込みに時刻情報を使用するようにしてもよい。姿勢パラメータ２２１の類似度は、一般的なベクトルの内積値で判断すればよい。なお、内積値以外の尺度を用いて、姿勢パラメータ２２１の類似度を判断するようにしてもよい。また、Ｓ４０３の比較処理を行う際の位置パラメータ２２２や姿勢パラメータ２２１の閾値を、ユーザが設定できるようにしてもよい。さらに、検索結果として、類似している順に一定の数の仮想視点映像をユーザに提示するようにしてもよい。

以上のように、本実施形態によれば、視点情報を指定することで、ユーザは所望の仮想視点映像の検索を行うことが可能となる。したがって、ユーザは、蓄積部２０に蓄積されている仮想視点映像データによって示される仮想視点映像をひとつずつ見ながら所望の仮想視点映像を検索する必要がなくなる。よって、蓄積部２０に膨大な量の仮想視点映像データが蓄積されている場合であっても、所望の仮想視点映像を容易に抽出することが可能となる。また、所望の仮想視点映像を検索する際に要する検索時間を低減させることが可能となる。

また、ユーザが自ら所望の仮想視点映像データを生成しようとする場合にも本実施形態は有効である。その理由は、所望の仮想視点映像データが蓄積部２０に蓄積されていれば、ユーザは、該所望の仮想視点映像データを蓄積部２０から取得することができるからである。したがって、本実施形態によれば、ユーザが所望の仮想視点映像データを生成する手間を省くことができる。

なお、本実施形態では仮想視点映像が動画像である場合を例にして説明したが、本実施形態は、仮想視点映像が１フレームのみで構成されている場合、すなわち仮想視点映像が静止画像である場合にも適用可能である。

また、本実施形態では、仮想視点パラメータ２１１を用いて所望の仮想視点映像を検索する装置を例にした。しかし、仮想視点パラメータ２１１を、その他の用途に用いるようにしてもよい。例えば、仮想視点映像の再生装置において、仮想視点映像データに付与された仮想視点パラメータを用いて、仮想視点パラメータから導出される情報を仮想視点映像とともに再生時に表示させるようにしてもよい。

また、Ｓ４０３の比較処理に平均値、中央値、またはその他の代表値のいずれを用いるかをユーザが指定可能であってもよい。例えば、図３に示すＵＩ画面に「平均値検索」ボタンや「中央値検索」ボタン等を設けるようにしてもよい。そして、「平均値検索」ボタンが押下された場合には、Ｓ４０３で平均値を用いた比較処理が行われ、「中央値検索」ボタンが押下された場合には、Ｓ４０３で中央値を用いた比較処理が行われるようにしてもよい。

また、検索結果は、文字情報で提示してもよいし、検索結果を何らかの方法で画像として表示してもよい。例えば、図５に示すような画像（オブジェクトを含む画像上にカメラパスを描画した画像）を検索結果として提示してもよい。また、検索結果として画像を表示する場合には、代表的なフレームを何らかの手段で選択して表示してもよい。例えば、ハイライトとなる時間帯のフレームを繰り返し表示したり、検索条件の合致度がわかりやすいフレームを選択して表示したりするなど、動画再生アプリケーションにおいて一般的に用いられる、静止画像や動画像の検索結果の提示方法を採用してもよい。なお、検索結果の提示方法については上記の表示方法以外であってもよいし、表示以外の提示方法であってもよい。
［第２実施形態］

第２実施形態では、蓄積部２０に蓄積された仮想視点映像のカメラパスの一部を参照して、該仮想視点映像が、ユーザが所望する仮想視点映像であるか否かを判断する例を説明する。なお、第２実施形態における画像検索システムの構成及び動作は、第１実施形態の構成及び動作は同様である。ただし、視点情報比較部１０２および検索結果生成部１０３の処理が異なる。以下では、第２実施形態における視点情報比較部１０２および検索結果生成部１０３の処理について説明する。図６～９は、第２実施形態における検索処理を説明するための図である。なお、図６～８に示す仮想視点映像Ａ、Ｂ，及びＣは図５に示す仮想視点映像Ａ、Ｂ，及びＣと同様であるため、各仮想視点映像には同じ符号が付されている。

まず、図６を用いて、仮想視点映像Ａ、Ｂ，及びＣのカメラパスの始点を参照して、各仮想始点映像が、ユーザが所望する仮想始点映像であるか否かを判断する検索処理を説明する。図６に示す白抜き矢印６０１（以下、仮想視点入力６０１と記す）は、図３に示すＵＩ画面にてユーザが検索条件として指定した視点情報を模式的に示したものである。ここでは、ユーザが指定した検索条件（仮想視点入力６０１で示される仮想カメラの位置及び姿勢）と、各仮想視点映像の最初のフレームの位置パラメータ２２２及び姿勢パラメータ２２１とが、上記Ｓ４０３の処理において比較されるものとする。図６には、検索の結果、実線で示される仮想視点映像Ｂが抽出された様子が示されている。図中における、仮想視点入力６０１の始点（黒丸）と仮想視点映像Ｂの始点（黒丸）とを囲う丸枠は、カメラパスの始点を参照して検索が行われたことを表している。このように、仮想視点入力６０１は図５における仮想視点入力５０１と異なり、「指定したフレームから開始される仮想視点映像」を検索するための条件として使用される。

次に、図７を用いて、仮想視点映像Ａ、Ｂ，及びＣのカメラパスの終点を参照して、該仮想始点映像が、ユーザが所望する仮想始点映像であるか否かを判断する検索処理を説明する。図７に示す白抜き矢印７０１（以下、仮想視点入力７０１と記す）は、図３に示すＵＩ画面にてユーザが検索条件として指定した視点情報を模式的に示したものである。ここでは、ユーザが指定した検索条件（仮想視点入力７０１で示される仮想カメラの位置及び姿勢）と、各仮想視点映像の最終フレームの位置パラメータ２２２及び姿勢パラメータ２２１とが、上記Ｓ４０３の処理において比較されるものとする。図７には、検索の結果、実線で示される仮想視点映像Ａが抽出された様子が示されている。図中における、仮想視点入力７０１の始点（黒丸）と仮想視点映像Ａの終点（黒丸）とを囲う丸枠は、カメラパスの終点を参照して検索が行われたことを表している。これにより、仮想視点映像Ａが、検索条件に一致または類似する位置パラメータ及び姿勢パラメータを有するフレームで終了する仮想視点映像であることを、ユーザは認識することができる。このように、仮想視点入力７０１は図５における仮想視点入力５０１と異なり、「指定したフレームで終了する仮想視点映像」を検索するための条件として使用される。

図６や図７に示す例のように、仮想視点映像Ａ、Ｂ及びＣのカメラパスの一部を検索対象とすることで、一部のフレーム（ここでは最初または最後のフレーム）の仮想視点パラメータが検索条件に一致または類似する仮想視点映像を抽出することが可能となる。なお、検索条件との類似度の算出処理や、該類似度を用いた比較処理については第１実施形態と同様にして行えばよい。

次に、図８を用いて、ユーザが検索条件としてカメラパスを指定する例を説明する。図８に示す一点鎖線の矢印線８０１（以下、カメラパス８０１と記す）は、図３に示すＵＩ画面にてユーザが検索条件として指定した視点情報を模式的に示したものである。カメラパスの指定方法としては、例えば、視点情報入力部３０に対してカメラパス８０１に対応する視点情報、すなわち連続した視点情報を入力する方法が想定される。また、カメラパスを指定するＵＩとしては、例えば、サッカーのグラウンドを俯瞰した画像上において、始点から終点までカーソルを移動させて、その軌跡をカメラパスとして指定するＵＩが想定される。そのようなＵＩでは、指定したカメラパス上の各位置における座標（ｘ，ｙ）が視点情報（仮想カメラの位置）として視点情報入力部３０に入力される。仮想カメラの姿勢については、カメラパスを指定した後に、視点情報入力部３０に対して別途入力するようにすればよい。仮想カメラの姿勢の決定方法としては、最も簡便な方法として、固定の場所を注視点として指定する方法が想定される。固定の場所を注視点として指定した場合、仮想カメラがカメラパスにおける各位置においてその注視点を向くように、仮想カメラの姿勢が決定される。

また、より自由度の高いカメラパスの指定を行いたい場合には、仮想カメラの位置と同時に姿勢を入力するようにしてもよい。具体的には、第１実施形態の説明で述べたように、３次元空間上におけるユーザの視点を視点情報として取得するようにしてもよい。例えば、仮想的な３次元空間上で表現されたサッカースタジアムの中で実際に仮想カメラを動かすことによって、仮想カメラの位置と、仮想カメラの方向（姿勢）とを視点情報として取得する方法が想定される。

上記Ｓ４０３の処理では、ユーザが指定したカメラパスと仮想視点映像Ａ，Ｂ，及びＣのそれぞれのカメラパスとが比較される。図８に示す例では、ユーザが指定したカメラパス８０１と最も類似するカメラパスを有する仮想視点映像Ｃが抽出されている。カメラパスは上述したように連続した複数の仮想視点パラメータで構成されている。したがって、図８に示す例では、Ｓ４０３の処理において、ユーザが指定したカメラパス８０１と仮想視点映像Ａ，Ｂ，及びＣのカメラパスとの間で、同じ撮影時刻の仮想視点パラメータ同士が比較される。なお、撮影時刻は、絶対時刻であってもよいし、相対時刻であってもよい。また、姿勢パラメータの比較については、位置パラメータの比較と同時に行われてもよいし、位置パラメータで検索して得られた候補を絞り込むために、位置パラメータの比較の後に行うようにしてもよい。なお、連続する仮想視点パラメータで構成されるカメラパスについて、それら仮想視点パラメータの平均値や中央値を代表値として求めて、該代表値を検索処理に用いるようにしてもよい。すなわち、カメラパス８０１の平均値や中央値と、仮想視点映像Ａ，Ｂ，及びＣのカメラパスの平均値や中央値とを比較するようにしてもよい。

図８に示す例のように、検索条件としてカメラパスを指定することで、仮想視点パラメータの遷移、すなわち視点の遷移を考慮した仮想視点映像の検索を実現することが可能となる。

最後に、図９を用いて、検索条件を指定せずに検索処理を行う例を説明する。ここでは、特定のシーンについて生成された仮想視点映像データが蓄積部２０に蓄積されているものとする。図９には、上記仮想視点映像データによって示される仮想視点映像９０１～９０７のカメラパスが模式的に示されている。例えば、図３に示すＵＩ画面上に、不図示の「よく見られている視点」ボタンが設けられていて、該ボタンをユーザが押下することで、検索条件を指定しない設定がなされるものとする。このとき、視点情報入力部３０から視点情報取得部１０１に対して、仮想視点パラメータの頻度による検索の実行指示が送付され、仮想視点映像９０１～９０７の仮想視点パラメータの全てが視点情報比較部１０２によって解析される。

視点情報比較部１０２は、仮想視点映像９０１～９０６それぞれの全フレームに渡る姿勢パラメータ２２１や位置パラメータ２２２について頻度を導出し、導出した頻度に基づき仮想視点映像９０１～９０６をグルーピングする。このとき、姿勢パラメータ２２１のみ、または、位置パラメータ２２２のみ、または両パラメータを使用して頻度を導出してもよい。また、その他のパラメータ、例えば映像付属情報２１２を使用してグルーピングを行ってもよい。なお、全フレームのパラメータを用いるのではなく、姿勢パラメータ２２１や位置パラメータ２２２の平均値や中央値を使用してもよいし、あらかじめ設定されている代表値を使用してもよい。

なお、姿勢パラメータ２２１や位置パラメータ２２２を全フレーム分まとめて扱った場合には、姿勢パラメータ２２１や位置パラメータ２２２を、各パラメータを要素として有するベクトルのまとまりとして見ることができる。したがって、仮想視点映像のグルーピングには、一般的なベクトルの類似度比較や、クラスタリング、グルーピング、カテゴライズなどに用いられる手法を使用することができる。具体的には、Ｋ平均法や、コサイン類似度、相関係数などを使用することが想定される。また、連続した仮想視点パラメータは、ベクトルではなく、値の集合としても捉えることもできる。したがって、集合としての類似度算出やグルーピングの手法を用いて、グルーピングを行うようにしてもよい。例えば、ジャッカード係数やダイス係数などを使用する方法が想定される。

図９に示す楕円の枠９１０は、検索結果として抽出された仮想視点映像のグループを模式的に表している。図９に示す例では、仮想視点パラメータの頻度による検索の結果、枠９１０で囲われた仮想視点映像９０２，９０３，９０４，及び９０５が、頻度が高い仮想視点パラメータが付与された仮想視点映像として抽出されている。このように各仮想視点映像に指定されている仮想視点パラメータの頻度を導出することで、頻度が高い仮想視点パラメータが付与された仮想視点映像を抽出することが可能となる。頻度が高い仮想視点パラメータとは、例えば頻度が所定値以上である仮想視点パラメータである。図９に示すような検索処理によって、特定のシーンについてよく使用される仮想視点パラメータやカメラパスを特定することができ、特定した仮想視点パラメータやカメラパスが設定された仮想視点映像を抽出することが可能となる。

これにより、特定のシーンについて生成された複数の仮想視点映像の中から、よく見られる視点やカメラパスの仮想視点映像を抽出することが可能となる。このようにして抽出される仮想視点映像は、特定のシーンについてそのシーンをわかりやすく表現できる視点やカメラパスで生成された映像や、映像表現として視聴ユーザに強く印象付ける視点やカメラパスで生成された映像であることが想定される。したがって、図９に示すような検索処理は、よく見られている視点やカメラパスの仮想視点映像を検索する際に効果的である。

また、図９に示すような検索処理は、類似した仮想視点映像を検索する際にも効果的である。例えば、検索装置１０は、ユーザが指定した仮想視点映像と蓄積部２０に蓄積された各仮想視点映像データによって示される仮想視点映像との間で、姿勢パラメータや位置パラメータを比較する。そして、比較の結果に応じて、ユーザが指定した仮想視点映像と蓄積部２０に蓄積された各仮想視点映像データによって示される仮想視点映像との類似度をユーザに提示したり、類似度の高い仮想視点映像から順にユーザに提示したりすることが可能となる。

また、図６～９を用いて説明した各検索処理で得られる検索結果の提示については、第１の実施形態で説明した提示方法を用いて行えばよい。

また、上述した各実施形態では、仮想カメラの位置、姿勢、画角を示す情報を仮想視点パラメータに格納する場合を例にした。しかし、仮想視点パラメータにはその他の情報を格納するようにしてもよい。例えば、仮想視点を設定したユーザの識別情報（ユーザ名など）や、仮想視点を設定した日時や、仮想視点映像の生成日時などを仮想視点パラメータに格納するようにしてもよい。また例えば、仮想視点映像のコーデックに関する情報や、仮想視点の移動距離に関する情報を仮想視点パラメータに格納するようにしてもよい。また例えば、仮想視点映像の再生時間に関する情報や、仮想視点映像の再生の制限に関する情報（再生可能ユーザの識別情報、再生可能回数に関する情報等）を仮想視点パラメータに格納するようにしてもよい。これらの情報を仮想視点パラメータに格納することで、記憶装置等に記憶された仮想視点映像データ群の中から、より高度に又はより柔軟に仮想視点映像を検索することが可能となる。また、検索以外にも、例えば、おすすめコンテンツの選定を行ったり、コンテンツリストの並べ替えを行ったり、個別ファイルの確認に使ったり（例えば、いつ仮想視点を設定したかを思い出したいときにプロパティから参照する）することが可能となる。

また、画像検索システムの構成は、図１により示されるものに限らない。例えば、検索装置１０と、視点情報入力部３０と、蓄積部２０とがそれぞれ通信ネットワーク（例えばインターネット）を介して接続されていても良い。例えば、視点情報入力部３０（スマートフォン）は、仮想視点映像の検索条件に関するユーザ操作を受け付け、当該ユーザ操作に基づいて仮想視点パラメータを識別し、当該仮想視点パラメータに基づく検索メッセージを検索装置１０へ送信できる。そして、検索装置１０は、視点情報入力部３０からの検索メッセージに基づいて検索処理を実行する。具体的な検索方法は上述の通りである。そして、検索装置１０は、検索処理の結果を視点情報入力部３０に送ることができる。この場合、仮想視点情報入力部３０において、検索の結果が提示される。なお、上述の実施形態では、検索装置１０と蓄積部２０が別の装置である場合の例を中心に説明したが、これらの機能が１つの装置によって実現されるようにしても良い。このように、図１の構成や機能分担には種々の変形例が存在することに留意されたい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０ 仮想視点映像検索装置
２０ 仮想視点映像蓄積部
３０ 視点情報入力部

Claims (22)

1. 複数の撮影装置が行う撮影により得られる複数の撮影画像に基づいて生成される仮想視点映像に係る仮想視点の位置と、前記仮想視点からの視線方向との少なくとも一方を表す視点情報を含む検索条件を取得する取得手段と、
   生成済みの一以上の仮想視点映像であって、前記取得手段により取得される検索条件に含まれる前記視点情報との差が最も小さい視点情報に対応する仮想視点映像を少なくとも含む前記一以上の仮想視点映像を、所定の条件において特定する特定手段と、
   前記特定手段により特定された前記一以上の仮想視点映像を出力する出力手段と、
   を有し、
   前記検索条件は、頻度に関する情報を更に含み、
   前記特定手段は、検索される頻度が閾値よりも大きい視点情報に対応する一以上の仮想視点映像を特定する
   ことを特徴とする情報処理装置。
2. 前記特定手段は、前記検索条件に含まれる前記視点情報との差が小さい順に、所定の数の仮想視点映像を特定する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 複数の撮影装置が行う撮影により得られる複数の撮影画像に基づいて生成される仮想視点映像に係る仮想視点の位置と、前記仮想視点からの視線方向との少なくとも一方を表す視点情報を含む検索条件を取得する取得手段と、
   生成済みの一以上の仮想視点映像であって、前記取得手段により取得される検索条件に含まれる前記視点情報との差が最も小さい視点情報に対応する仮想視点映像を少なくとも含む前記一以上の仮想視点映像を、所定の条件において特定する特定手段と、
   前記特定手段により特定された前記一以上の仮想視点映像を出力する出力手段と、
   を有し、
   前記特定手段は、前記検索条件に含まれる前記視点情報との差が小さい順に、所定の数の仮想視点映像を特定する
   ことを特徴とする情報処理装置。
4. 前記仮想視点映像は複数のフレームを有し、
   前記複数のフレームのそれぞれは、前記視点情報が対応付けられる
   ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記特定手段は、前記検索条件に含まれる前記視点情報との差が最も小さい視点情報が対応付けられたフレームを含む仮想視点映像を少なくとも含む一以上の仮想視点映像を特定する
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記特定手段は、前記検索条件に含まれる前記視点情報との差が最も小さい視点情報が対応付けられたフレームを、最後のフレームとして含む仮想視点映像を少なくとも含む一以上の仮想視点映像を特定する
   ことを特徴とする請求項５に記載の情報処理装置。
7. 複数の撮影装置が行う撮影により得られる複数の撮影画像に基づいて生成される仮想視点映像に係る仮想視点の位置と、前記仮想視点からの視線方向との少なくとも一方を表す視点情報を含む検索条件を取得する取得手段と、
   生成済みの一以上の仮想視点映像であって、前記取得手段により取得される検索条件に含まれる前記視点情報との差が最も小さい視点情報に対応する仮想視点映像を少なくとも含む前記一以上の仮想視点映像を、所定の条件において特定する特定手段と、
   前記特定手段により特定された前記一以上の仮想視点映像を出力する出力手段と、
   を有し、
   前記仮想視点映像は複数のフレームを有し、
   前記複数のフレームのそれぞれは、前記視点情報が対応付けられ、
   前記特定手段は、前記検索条件に含まれる前記視点情報との差が最も小さい視点情報が対応付けられたフレームを、最後のフレームとして含む仮想視点映像を少なくとも含む一以上の仮想視点映像を特定する
   ことを特徴とする情報処理装置。
8. 前記複数のフレームのそれぞれは、前記撮影装置が撮影を行う時刻に対応する時刻情報が対応付けられる
   ことを特徴とする請求項４乃至７のいずれか１項に記載の情報処理装置。
9. 前記複数のフレームは、異なる時刻に対応する前記時刻情報が対応付けられたフレームを含む
   ことを特徴とする請求項８に記載の情報処理装置。
10. 前記複数のフレームは、同じ時刻に対応する前記時刻情報が対応付けられたフレームを含む
    ことを特徴とする請求項８に記載の情報処理装置。
11. 前記特定手段は、前記検索条件に含まれる前記視点情報と、前記複数のフレームのそれぞれに対応する前記視点情報の代表値との差が最も小さい視点情報に対応する仮想視点映像を少なくとも含む一以上の仮想視点映像を特定する
    ことを特徴とする請求項４乃至１０のいずれか１項に記載の情報処理装置。
12. 前記代表値は、前記複数のフレームのそれぞれに対応する前記視点情報を表す値の平均値又は中間値である
    ことを特徴とする請求項１１に記載の情報処理装置。
13. 前記特定手段は、前記検索条件に含まれる前記視点情報との差が最も小さい視点情報が対応付けられたフレームを、最初のフレームとして含む仮想視点映像を少なくとも含む一以上の仮想視点映像を特定する
    ことを特徴とする請求項５に記載の情報処理装置。
14. 前記出力手段により出力される前記一以上の仮想視点映像を表示する表示手段を有する
    ことを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
15. 前記表示手段は、前記一以上の仮想視点映像に対応する前記視点情報を表す画像を更に表示する
    ことを特徴とする請求項１４に記載の情報処理装置。
16. 前記所定の条件は、所定のシーンに対応する位置以上の仮想視点映像が特定されるという条件を含む
    ことを特徴とする請求項１乃至１５のいずれか１項に記載の情報処理装置。
17. 前記所定の条件は、所定の時刻に対応する位置以上の仮想視点映像が特定されるという条件を含む
    ことを特徴とする請求項１乃至１６のいずれか１項に記載の情報処理装置。
18. 前記所定の時刻は、ユーザにより指定される
    ことを特徴とする請求項１７に記載の情報処理装置。
19. 複数の撮影装置が行う撮影により得られる複数の撮影画像に基づいて生成される仮想視点映像に係る仮想視点の位置と、前記仮想視点からの視線方向との少なくとも一方を表す視点情報を含む検索条件を取得する取得工程と、
    生成済みの一以上の仮想視点映像であって、前記取得工程において取得される検索条件に含まれる前記視点情報との差が最も小さい視点情報に対応する仮想視点映像を少なくとも含む前記一以上の仮想視点映像を、所定の条件において特定する特定工程と、
    前記特定工程において特定された前記一以上の仮想視点映像を出力する出力工程と、
    を有し、
    前記検索条件は、頻度に関する情報を更に含み、
    前記特定工程は、検索される頻度が閾値よりも大きい視点情報に対応する一以上の仮想視点映像を特定する
    ことを特徴とする情報処理方法。
20. 複数の撮影装置が行う撮影により得られる複数の撮影画像に基づいて生成される仮想視点映像に係る仮想視点の位置と、前記仮想視点からの視線方向との少なくとも一方を表す視点情報を含む検索条件を取得する取得工程と、
    生成済みの一以上の仮想視点映像であって、前記取得工程により取得される検索条件に含まれる前記視点情報との差が最も小さい視点情報に対応する仮想視点映像を少なくとも含む前記一以上の仮想視点映像を、所定の条件において特定する特定工程と、
    前記特定工程により特定された前記一以上の仮想視点映像を出力する出力工程と、
    を有し、
    前記特定工程は、前記検索条件に含まれる前記視点情報との差が小さい順に、所定の数の仮想視点映像を特定する
    ことを特徴とする情報処理方法。
21. 複数の撮影装置が行う撮影により得られる複数の撮影画像に基づいて生成される仮想視点映像に係る仮想視点の位置と、前記仮想視点からの視線方向との少なくとも一方を表す視点情報を含む検索条件を取得する取得工程と、
    生成済みの一以上の仮想視点映像であって、前記取得工程により取得される検索条件に含まれる前記視点情報との差が最も小さい視点情報に対応する仮想視点映像を少なくとも含む前記一以上の仮想視点映像を、所定の条件において特定する特定工程と、
    前記特定工程により特定された前記一以上の仮想視点映像を出力する出力工程と、
    を有し、
    前記仮想視点映像は複数のフレームを有し、
    前記複数のフレームのそれぞれは、前記視点情報が対応付けられ、
    前記特定工程は、前記検索条件に含まれる前記視点情報との差が最も小さい視点情報が対応付けられたフレームを、最後のフレームとして含む仮想視点映像を少なくとも含む一以上の仮想視点映像を特定する
    ことを特徴とする情報処理方法。
22. コンピュータを、請求項１乃至１８のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

Images