JP7207913B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、仮想視点画像を生成するための技術に関するものである。

近年、複数のカメラを異なる位置に設置して同期撮影し、その撮影により得られた複数視点画像を用いて、仮想視点画像を生成する技術が注目されている。この複数視点画像に基づく仮想視点画像の生成及び閲覧は、複数のカメラで撮影した画像をサーバ等の画像処理装置に集約し、画像処理装置において、仮想視点に基づくレンダリング等の処理を施し、ユーザ端末に仮想視点画像を表示することで実現される。なお、仮想視点画像の生成において、複数のカメラは撮影対象の空間内の特定の位置（以下、注視点と称する場合がある）に向けられる。

そして、このような仮想視点画像を用いたサービスでは、例えば、サッカー、バスケットボール等における特定のシーンを様々な角度から視聴することができるため、従来の撮影画像と比較して、ユーザに高臨場感を与えることができる。ここで、特許文献１には、ユーザ端末の位置及び方向に基づいて仮想視点の位置及び方向を決定し、その決定した仮想視点の位置及び方向に基づいて仮想視点画像を生成する技術が開示されている。

特開２０１５－２２５５２９号公報

しかしながら、特許文献１の技術では、特定のシーンを好適に視聴する上で、配信された仮想視点画像がユーザ端末に表示された後、ユーザの操作により、ユーザ端末から注視点付近まで仮想視点を変更（移動）させる必要がある。例えば、撮影対象がサッカーのゴールシーンである場合、ユーザは、ゴールを決めた選手に向けて仮想視点を近付ける操作を行う必要がある。そのため、例えば、競技がリアルタイムで進行している場合等には、ユーザ（特に、仮想視点の操作に慣れていないユーザ）は、仮想視点の操作に気を取られ、競技そのものを見逃してしまう可能性がある。なお、スポーツ競技に限らず、コンサートやその他のイベントにおいても同様の問題が生じ得る。

本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、仮想視点の変更に係る操作を容易にすることである。

本発明に係る情報処理装置は、複数の撮影装置により、異なる方向から撮影領域を撮影することにより得られる複数の画像に基づいて生成される仮想視点画像を鑑賞するユーザの鑑賞位置における視線方向に対応する第１の視線方向を指定するための第１の仮想視点位置に関する第１の位置情報を取得する第１の取得手段と、仮想視点画像及び撮影領域内に含まれる注目点への方向に対応する第２の視線方向を指定するための第２の仮想視点位置に関する第２の位置情報を取得する第２の取得手段と、第１の位置情報に対応する第１の仮想視点位置及び第１の視線方向から、第２の位置情報に対応する第２の仮想視点位置及び第２の視線方向に、仮想視点を移動させる制御を行う制御手段と、を有し、制御手段は、仮想視点を、鑑賞位置から注目点の位置に向かって移動させるように制御し、制御手段は、仮想視点の位置と注目点の位置との距離が特定の距離よりも短くなった場合、仮想視点からの視線方向を変えて移動するように制御することを特徴とする。

本発明によれば、仮想視点の変更に係る操作が容易になる。

画像処理システムの概略図である。 画像処理システムの概略構成図である。 画像生成装置のハードウェア構成図である。 情報処理装置の機能構成図である。 画像生成装置の機能構成図である。 注視点データの構成を示すデータ構造図である。 動線決定部における処理の手順を示すフローチャートである。 動線決定部により決定された仮想視点の動線を示す模式図である。 動線決定部により決定された仮想視点の動線を示す模式図である。 動線決定部により決定された仮想視点の動線を示す模式図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は、本発明を限定するものではなく、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。その他、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれ、また、以下の実施形態の一部を適宜組み合わせることもできる。
（画像処理システム）

図１は、画像処理システムの概略図である。図１に示されるように、スタジアム１２には、観客席１４と競技等を実際に行うフィールド１６があり、複数のカメラ１８が設置されている。複数のカメラ１８は、各々のカメラ１８が撮影対象であるフィールド１６の少なくとも一部を撮影するように、かつ、カメラ１８間で画角に重なりができるように配置される。例えば、複数のカメラ１８は、観客席１４とフィールド１６とを囲むように設置される。

また、ユーザ１０は観客席１４から競技（ここでは、その一例としてサッカー）を観戦している。ユーザ１０は、ユーザ端末を所持し、ライブで観戦を楽しむと共に、必要に応じてユーザ端末を操作してシュートシーン、ゴールシーン、反則を犯したシーン等のイベントシーンを再生して確認する。本実施形態では、このユーザ端末の操作（具体的には、ユーザ端末における再生の指示）に応じて、適切なイベントシーンの仮想視点画像がユーザ端末に提供される。

図２は、画像処理システムの概略構成図である。図２に示されるように、画像処理システムは、スタジアム１２に設置された複数のカメラ１８と、画像生成装置２００と、情報処理装置１００と、ユーザ端末３００を備える。

複数のカメラ１８は、スタジアム１２の全て又は一部の範囲が複数のカメラ１８で撮影されるように配置され、伝送ケーブルを介して相互に接続される。また、カメラ１８は、予め設定された１又は複数の実カメラ注視点に向けて設置される。つまり、１又は複数の実カメラ注視点の各々は２以上のカメラ１８により異なる方向から撮影される。また、カメラ１８の各々は、画像生成装置２００にも接続され、スタジアム１２を撮影することにより取得した画像を画像生成装置２００に伝送する。

なお、複数のカメラ１８は、静止画像を撮影するカメラであっても、動画像を撮影するカメラであっても、静止画像及び動画像の双方を撮影するカメラであってもよい。また、本実施形態において、特に断りがない限り、画像という用語は、動画と静止画の両方の概念を含むものとする。

画像生成装置２００は、仮想視点画像を生成する装置である。画像生成装置２００は、複数のカメラ１８により撮影された画像（以下、撮影画像と称する場合がある）を記憶する。画像生成装置２００は、撮影画像を用いて、仮想視点画像群を生成する。なお、仮想視点画像群とは、異なる仮想視点に基づく複数の仮想視点画像の集合のことである。

画像生成装置２００は、生成した仮想視点画像群と注視点データを情報処理装置１００に伝送する。なお、注視点データは、撮影対象のスタジアム１２内に設定された１又は複数の注視点の位置等を示す情報である。特定の選手やボールやゴールなどのオブジェクトが注視点となりうる。また、サッカーコートのコーナー位置やペナルティキックのキック位置なども注視点となりうる。注視点データにより表される注視点は、上述の実カメラ注視点とは異なる概念であることに留意されたい。但し、注視点データにより表される注視点の１つとして、実カメラ注視点が管理されるようにしてもよい。

また、画像生成装置２００は、例えば、サーバ装置等であり、上述の仮想視点画像を生成するための画像処理機能に加えて、複数の撮影画像や生成した仮想視点画像群を記憶するデータベースとしての機能も有する。その他、スタジアム１２内の複数のカメラ１８と画像生成装置２００は、有線又は無線の通信ネットワーク回線や、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）等のケーブル回線で接続されている。画像生成装置２００は、この回線を通じて、複数のカメラ１８から撮影画像を受信してデータベースに格納する。なお、注視点データの詳細については、後述する。

情報処理装置１００は、画像生成装置２００で生成される仮想視点画像群から、ユーザ端末３００に提供する仮想視点画像を選択する。より詳細には、情報処理装置１００は、ユーザ端末３００に出力する仮想視点画像に係る仮想視点の動線、及びその動線上を移動する仮想視点の視線方向に基づいて、ユーザ端末３００に提供する仮想視点画像を選択する。なお、動線とは仮想視点を任意の位置まで移動させるときの経路のことである。

情報処理装置１００は、画像生成装置２００から取得した注視点データが示す１又は複数の注視点から１つの注視点を選択する。また、情報処理装置１００は、ユーザ端末３００からユーザ端末情報を取得する。そして、情報処理装置１００は、選択した注視点とユーザ端末３００から取得したユーザ端末情報に基づいて、生成すべき仮想視点画像に係る仮想視点の動線、及び動線上を移動する仮想視点の視線方向を決定する。なお、ユーザ端末情報には、例えば、操作内容を示す端末操作情報や端末の位置を示す位置情報等が含まれる。また、端末操作情報には、例えば、仮想視点の指定や仮想視点画像の再生等の操作を示す情報等が含まれる。

情報処理装置１００は、決定した仮想視点画像に係る仮想視点の動線、及びその動線上を移動する仮想視点の視線方向に基づいて、画像生成装置２００により生成された仮想視点画像群から仮想視点画像を選択し、ユーザ端末３００に出力する。

なお、これに限らず、情報処理装置１００により決定された注視点と仮想視点の指定を示す情報（例えば、仮想視点の位置、仮想視点の視線方向等に関する情報）を画像生成装置２００に送信してもよい。この場合、画像生成装置２００は、スタジアム１２に設置された複数のカメラ１８による撮影画像から、情報処理装置１００により決定された注視点に対応するカメラ群による撮影画像を選択する。その後、画像生成装置２００は、選択された撮影画像を、仮想視点の指定を示す情報に基づいて処理することで、仮想視点に応じた仮想視点画像を生成して情報処理装置１００に出力する。

また、以下のように仮想視点画像が提供されるようにしてもよい。即ち、画像生成装置２００は、ユーザ端末から当該ユーザ端末の位置に関する情報と、注視点に関する情報を取得し、当該取得された情報に基づいて仮想視点の動線を決定する。そして、画像生成装置２００は、決定した動線に応じた仮想視点画像を、複数のカメラ１８から取得した複数の撮影画像に基づいて生成する。この例においては、仮想視点画像群の生成は必須ではない。なお、本実施形態では、情報処理装置１００と画像生成装置２００が別の装置である場合の例を中心に説明しているが、これらが一体であってもよい。また、本実施形態で画像生成装置２００が複数のカメラ１８から撮影画像を取得する例を中心に説明しているが、これに限らず、複数のカメラ１８が撮影画像に対して、仮想視点画像を生成するための処理の一部を行ってもよい。この場合、画像生成装置２００が取得する画像データは、撮影画像そのものではなく、加工済み画像データとなりうる。この場合、画像生成装置２００による仮想視点画像の生成負荷が低減されうる。

補足として、情報処理装置１００は、例えば、パーソナルコンピュータ等である。なお、情報処理装置１００は、画像生成装置２００に組み込まれていてもよく、ユーザ端末３００に組み込まれていてもよい。また、その逆であってもよい。したがって、例えば、画像生成装置２００は、情報処理装置１００に組み込まれてもよい（即ち、情報処理装置１００は、画像生成装置２００の機能を備えてもよい）。このように、情報処理装置１００と画像生成装置２００は一体の装置であってもよいし、また、情報処理装置１００とユーザ端末３００は一体の装置であってもよい。

ユーザ端末３００は、ユーザ１０の入力に基づいて、例えば、仮想視点の位置の移動、仮想視点の視線方向の変更、及び視点の切り替え等の指示を受け付ける。ユーザ端末３００は、ユーザ１０からの指示を受け付けると、その受け付けた指示の内容を示す仮想視点情報を含む伝送信号を生成し、情報処理装置１００に伝送する。また、ユーザ端末３００は、位置情報に基づく仮想視点の自動設定を情報処理装置１００に要求する。

なお、ユーザ端末３００には、ユーザ１０に固有のＩＤを関連付けるようにしてもよい。また、ユーザ端末３００は、例えば、パーソナルコンピュータであってもよく、又はスマートフォンやタブレット等の携帯端末であってもよい。その他、ユーザ端末３００は、マウス、キーボード、６軸コントローラ、及びタッチパネルの少なくとも１つを有する。また、ユーザ端末３００は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等により位置情報を取得する機能を有する。

画像生成装置２００、情報処理装置１００及びユーザ端末３００は、例えば、インターネット等のネットワークを介して相互に情報をやり取りすることができる。なお、装置間の通信は、無線通信であってもよいし、有線通信であってもよい。
（画像生成装置のハードウェア構成）

図３は、画像生成装置２００のハードウェア構成を示す図である。なお、情報処理装置１００、ユーザ端末３００についても、図３に示されるハードウェア構成と同様のハードウェア構成を有する。画像生成装置２００は、図３に示されるように、コントローラユニット５００、操作ユニット５０９、及び表示装置５１０を有する。

コントローラユニット５００は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤＤ５０４、操作部Ｉ／Ｆ（インターフェース）５０５、表示部Ｉ／Ｆ５０６、通信部Ｉ／Ｆ５０７を有する。また、これらは、システムバス５０８を介して、相互に接続される。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２に格納されているブートプログラムによりＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を起動する。ＣＰＵ５０１は、その起動したＯＳ上で、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）５０４に格納されているアプリケーションプログラムを実行する。ＣＰＵ５０１は、アプリケーションプログラムを実行することによって、各種処理を実現する。ＨＤＤ５０４は、上述のように、アプリケーションプログラム等を格納する。なお、ＣＰＵ５０１の作業領域として、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３が用いられる。また、ＣＰＵ５０１は、１つのプロセッサで構成されても、複数のプロセッサで構成されてもよい。

操作部Ｉ／Ｆ５０５は、操作ユニット５０９とのインターフェースである。操作部Ｉ／Ｆ５０５は、操作ユニット５０９においてユーザにより入力された情報をＣＰＵ５０１に送出する。操作ユニット５０９は、例えば、マウス、キーボード等を有する。表示部Ｉ／Ｆ５０６は、表示装置５１０に表示する画像データを表示装置５１０に出力する。表示装置５１０は、液晶ディスプレイ等のディスプレイを有する。

通信部Ｉ／Ｆ５０７は、例えば、イーサネット（登録商標）等の通信を行うためのインターフェースである。通信部Ｉ／Ｆ５０７は、伝送ケーブルに接続され、その伝送ケーブルを介して、外部装置との間で情報の入出力を行う。なお、通信部Ｉ／Ｆ５０７は、無線通信を行うための回路やアンテナであってもよい。また、コントローラユニット５００は、ケーブルやネットワークを介して接続された外部の表示装置（不図示）に画像を表示させる表示制御を行うことも可能である。この場合、コントローラユニット５００は、表示データを外部の表示装置に出力することで表示制御を実現する。

以上、図３を用いて画像生成装置２００のハードウェア構成について説明したが、図３に示される構成は、いずれも必須の構成ではない。例えば、画像生成装置２００において、表示装置５１０は必須の構成ではない。また、上述の説明では、コントローラユニット５００がＣＰＵ５０１を有するものとして説明したが、必ずしもこれに限定されない。例えば、コントローラユニット５００は、ＣＰＵ５０１の代わりに、又は、ＣＰＵ５０１に加えて、ＡＳＩＣやＦＰＧＡ等のハードウェアを有していてもよい。この場合、ＡＳＩＣやＦＰＧＡ等のハードウェアが、ＣＰＵ５０１が行うべき処理の一部又は全てを行ってもよい。なお、ＡＳＩＣはＡｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略であり、ＦＰＧＡはＦｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。
（情報処理装置の機能構成）

図４は、情報処理装置１００の機能構成を示すブロック図である。なお、図４に示す各機能は、例えば、図３のＣＰＵ５０１がＲＯＭ５０２に記憶された各種プログラムを読み出して各部の制御を実行することにより実現される。また、図４に示す構成の一部又はすべてを例えば、ＡＳＩＣやＦＰＧＡ等の専用のハードウェアにより実現してもよい。

情報処理装置１００は、図４に示されるように、制御部１０１、記憶部１０２、分離部１０３、ユーザ情報取得部１０４、注視点決定部１０５、動線決定部１０６、画像取得部１０７及び画像出力部１０８を有する。また、これらは、内部バス１０９によって相互に接続され、制御部１０１による制御の下、相互にデータを送受信することができる。

制御部１０１は、記憶部１０２に格納されているコンピュータプログラムに従って、情報処理装置１００全体の動作を制御する。記憶部１０２は、不揮発性メモリで構成され、各種データやプログラム（例えば、情報処理装置１００全体の動作を制御するコンピュータプログラム等）を記憶する。

分離部１０３は、画像生成装置２００から取得した仮想視点画像群と注視点データを分離して出力する。ユーザ情報取得部１０４は、ユーザ１０に関する位置情報を含むユーザ端末情報をユーザ端末３００から取得する。なお、ユーザ情報取得部１０４は、ユーザ端末３００がＧＰＳで取得した位置情報を、ユーザ１０に関する位置情報としてユーザ端末３００から取得してもよい。また、ユーザ情報取得部１０４は、例えば、スタジアム１２の観客席１４の客席番号等の位置を示す情報をユーザ端末３００から取得し、その取得した情報に基づいてユーザ１０の位置を特定してもよい。

注視点決定部１０５は、画像生成装置２００から取得した注視点データから１つの注視点を決定する。注視点決定部１０５は、例えば、ゴールを決めた選手、反則を犯した選手等を選択し、注視点として決定する。また、注視点決定部１０５は、ユーザ端末３００から入力される操作情報（例えば、ユーザによる注視点の選択操作に応じた情報、ユーザによる仮想視点の指定操作に応じた情報等）に基づいて、注視点を決定してもよい。

動線決定部１０６は、ユーザ端末３００に出力する仮想視点画像に係る仮想視点の動線、及び動線上を移動する仮想視点の視線方向を決定する。なお、以下、本実施形態において、動線決定部１０６は、動線上を移動する各仮想視点の位置として三次元座標上の位置を決定するものとして説明する。但し、その他の実施形態においては、動線決定部１０６は、動線上を移動する各仮想視点の位置として二次元座標上の位置を決定するものとしてもよい。また、この場合、動線決定部１０６は、仮想視点画像に係る仮想視点の位置の高さを、ユーザ情報取得部１０４が取得した位置情報を用いることなく、任意の値又は固定値として決定してもよい。

動線決定部１０６は、ユーザ情報取得部１０４によりユーザ端末３００からユーザ端末情報が取得された場合、注視点決定部１０５で決定した注視点と、ユーザ端末情報に含まれる位置情報に基づいて、仮想視点の動線を決定する。また、動線決定部１０６は、動線上を移動する各仮想視点の視線方向を、注視点決定部１０５で決定した注視点に向けられるように決定する。

画像取得部１０７は、動線決定部１０６において決定された仮想視点の動線、及び動線上を移動する各仮想視点の視線方向に対応する仮想視点画像を取得する。なお、画像取得部１０７は、画像生成装置２００から受信した情報に基づいて、レンダリングにより仮想視点画像を生成する機能を有していてもよい。画像出力部１０８は、画像取得部１０７により取得された仮想視点画像を、ユーザ端末３００に出力する。
（画像生成装置の機能構成）

図５は、画像生成装置２００の機能構成を示すブロック図である。画像生成装置２００は、図５に示されるように、制御部２０１、情報記憶部２０２、撮影画像入力部２０３、画像記憶部２０４、仮想視点画像生成部２０５、注視点データ生成部２０６、画像解析部２０７、データ出力部２０８を有する。また、これらは、内部バス２０９によって相互に接続され、制御部２０１による制御の下、相互にデータを送受信することができる。

制御部２０１は、情報記憶部２０２に格納されているコンピュータプログラムに従って、画像生成装置２００全体の動作を制御する。情報記憶部２０２は、不揮発性メモリで構成され、プログラム（例えば、画像生成装置２００全体の動作を制御するコンピュータプログラム等）や各種データ等の情報を記憶する。

撮影画像入力部２０３は、スタジアム１２に設置された複数のカメラ１８により撮影された画像を所定のフレームレートで取得し、画像記憶部２０４に出力する。なお、撮影画像入力部２０３は、有線若しくは無線の通信モジュール、又はＳＤＩ等の画像伝送モジュールにより撮影画像を取得する。

画像記憶部２０４は、例えば、磁気ディスク、光ディスク、半導体メモリ等の大容量の記憶装置であり、撮影画像入力部２０３より取得した撮影画像、及びそれらの撮影画像に基づいて生成された仮想視点画像群を記憶する。なお、画像記憶部２０４は、画像生成装置２００に対して物理的に外部に設けてもよい。また、画像記憶部２０４に記憶されている撮影画像、及びそれらの撮影画像に基づいて生成された仮想視点画像群は、画像フォーマットとして例えば、ＭＸＦ形式（Ｍａｔｅｒｉａｌ ｅＸｃｈａｎｇｅ Ｆｏｒｍａｔ）等で記憶される。加えて、画像記憶部２０４に記憶されている撮影画像、及びそれらの撮影画像に基づいて生成された仮想視点画像群は、例えば、ＭＰＥＧ２形式等で圧縮される。但し、データの形式は、必ずしもこれらに限定されない。

仮想視点画像生成部２０５は、画像記憶部２０４に記憶される複数の撮影画像から仮想視点画像群を生成する。仮想視点画像群を生成する方式として、例えば、イメージベースレンダリングを用いる方式等が挙げられる。イメージベースレンダリングは、モデリング工程（即ち、幾何学図形を用いて物体の形状を作成する工程）を実施しないで、複数の実際の視点から撮影された画像から仮想視点画像を生成するレンダリング方法である。

なお、仮想視点画像群を生成する方法は、イメージベースレンダリングに限られず、モデルベースレンダリング（ＭＯＤＥＬ－ＢＡＳＥＤ ＲＥＮＤＥＲＩＮＧ：ＭＢＲ）を用いてもよい。ここで、ＭＢＲとは、被写体を複数の方向から撮影することで取得される複数の撮影画像に基づいて生成される三次元モデルを用いて、仮想視点画像を生成するレンダリング方法である。具体的には、ＭＢＲは、視体積交差法、ＭＵＬＴＩ－ＶＩＥＷ－ＳＴＥＲＥＯ（ＭＶＳ）等の三次元形状復元方法により取得される対象シーンの三次元形状（モデル）を用いて、仮想視点からのその対象シーンの見えを画像として生成するレンダリング方法である。

仮想視点画像生成部２０５は、生成した仮想視点画像群に含まれる各仮想視点画像に、その仮想視点画像に対応する仮想視点（仮想視点の位置）、視線の方向、及び注視点データ生成部２０６により生成される注視点を示すデータ（注視点データ）を付与する。仮想視点画像生成部２０５は、例えば、仮想視点、視線の方向、及び注視点を示すデータを含むメタデータを注視点データとして仮想視点画像（又は、仮想視点画像群）に付与する。

なお、生成される仮想視点画像群は様々な仮想視点、視線の方向、及び注視点の仮想視点画像を含んでおり、本実施形態において、そのような仮想視点画像群は１つの画像ストリームとして空間方向及び時間方向に圧縮符号化されているものとする。但し、その他の実施形態においては、仮想視点画像群は、１つの画像ストリームではなく、各々が独立した複数の画像から構成されてもよい。或いは、仮想視点画像群は、圧縮符号化されていなくてもよい。

また、画像生成装置２００は、仮想視点画像群に代えて、例えば、三次元モデルを示す情報、その三次元モデルにマッピングするための画像等の仮想視点画像を生成するための情報を生成してもよい。即ち、仮想視点画像生成部２０５は、レンダリングされた仮想視点画像を生成することに代えて、情報処理装置１００又はユーザ端末３００において仮想視点画像をレンダリングするために必要な情報を生成してもよい。

注視点データ生成部２０６は、画像解析部２０７により取得される１又は複数のオブジェクトの位置情報、及び／又は、所定の固定位置の位置情報を用いて注視点データを生成し、その生成した注視点データを仮想視点画像生成部２０５に出力する。ここで、図６を用いて、注視点データについて説明を補足する。

図６は、注視点データの構成を示すデータ構造図である。注視点データは、図６に示されるように、例えば、注視点ＩＤ、位置情報、及び半径で構成される。なお、注視点データは、注視点の位置を特定可能な情報であればよく、必ずしも図６に示される構成（内容）に限定されない。

注視点ＩＤは、例えば、アルファベット、数字等で構成され、すべての注視点に割り振られる識別番号である。位置情報は、注視点の中心座標の緯度及び経度を、Ｄｅｇｒｅｅ形式を用いて示したものである。半径は、注視点の中心座標からの距離であり、仮想視点画像を生成するときに有効な範囲を示したものである。なお、以下、この中心座標と半径で規定される有効な範囲を示す円状の領域を注視点ユニットと称する。

なお、本実施形態において注視点とは、仮想視点画像に映すべき点のことであり、典型的には、ユーザにより選択される点である。また、注視点は、特定の選手やボールやゴール等のオブジェクトに対応しうる。また、注視点は、サッカーコートのコーナーやペナルティキックのペナルティマーク等も対応しうる。さらに、注視点データには、上述の実カメラ注視点の情報が含まれてもよい。図６の半径の情報は、注視点が実カメラ注視点である場合に有効な情報である。つまり、半径の情報は必須ではない。

その他、ある１つの実カメラ注視点に向けられた複数のカメラ１８による撮影画像を用いて仮想視点画像を生成する場合、生成対象がその実カメラ注視点に対応する注視点ユニットに含まれる領域の仮想視点画像であれば、より高画質に生成することができる。また、注視点データは、画像解析部２０７による撮影画像の解析により取得されるものに限定されず、画像生成装置２００、情報処理装置１００に事前に登録されていてもよい。

図５に戻り、画像解析部２０７は、撮影画像入力部２０３に入力された撮影画像を解析し、注視点の位置情報を取得する。画像解析部２０７は、例えば、ビジュアルハル等の技術を用いて、特定のオブジェクトの位置又は所定の固定位置の位置情報を注視点の位置情報として取得する。特定のオブジェクトとは、特定の選手や審判等の人物、又はボール等である。また、注視点は、フィールド中央、ゴール前、ペナルティマーク等のフィールド１６上の所定の固定位置であってもよい。その他、複数のカメラ１８の光軸を共通の位置に向けるようにカメラ１８を設置した場合、注視点はその共通の位置であってもよい。データ出力部２０８は、仮想視点画像生成部２０５において生成された仮想視点画像群を情報処理装置１００に所定のフレームレートで出力する。
（動線決定処理）

図７は、動線決定部１０６における処理の手順を示すフローチャートである。より詳細には、図７は、ユーザ端末３００に出力する仮想視点画像に係る仮想視点の動線、及び動線上を移動する仮想視点の視線方向を決定する処理の手順を示すフローチャートである。なお、このフローチャートの処理は、情報処理装置１００がユーザ端末３００から仮想視点画像の再生要求を受け付けると実行される。また、以下において、フローチャートの説明における記号「Ｓ」は、ステップを表すものとする。

Ｓ７０１において、動線決定部１０６は、注視点決定部１０５により決定された注視点を取得する。また、動線決定部１０６は、ユーザ情報取得部１０４を介して、ユーザ端末情報を取得する。

Ｓ７０２において、動線決定部１０６は、注視点決定部１０５により決定された注視点と、ユーザ端末情報に含まれるユーザ端末３００の位置情報に基づいて、ユーザ端末３００に出力する仮想視点画像に係る仮想視点の動線を決定する。ここで、図８を用いて、仮想視点の動線について説明を補足する。

図８は、動線決定部１０６により決定された仮想視点の動線を示す模式図である。図８において、符号８０１は注視点であり、例えば、ゴールを決めた選手である。また、図８において、動線決定部１０６は、ユーザ１０の位置から注視点８０１の位置に向けて直線的に結んだ線を動線として決定している。なお、ユーザ１０の位置及び注視点の位置は三次元座標で示されることから、動線決定部１０６は、水平垂直方向の経路だけでなく、図示していない高さ方向の経路も含めた動線を決定する。

次に、その他の例について、図９を用いて説明を補足する。図９は、動線決定部１０６により決定された仮想視点の動線を示す模式図である。図９において、符号９０１は、注視点８０１を中心に、仮想視点を旋回させる上での始点であり、注視点８０１から所定の距離だけ離間した位置にある。また、符号９０２は、仮想視点を始点９０１から１８０度旋回させたときの終点である。動線決定部１０６は、仮想視点が始点９０１に到達すると、ユーザ１０から注視点８０１に向けて直線的に結ばれた動線から、注視点８０１を中心に旋回させる動線に切り替え、その旋回の終点９０２まで旋回させるように動線を決定する。

なお、図９では、仮想視点の動線としてユーザ１０から注視点８０１に向けた直線的な動線を用いて説明したが、仮想視点の動線は、必ずしもこれに限定されず、例えば、波線等、直線以外の線でもよい。また、仮想視点を旋回させるときの円の半径は、注視点８０１の周辺の状況に応じて変動させてもよい。例えば、注視点８０１の周辺にいる選手の密集度によって、円の半径を変動させてもよい。この場合、具体的には、注視点８０１の周辺にいる選手の密集度が高い場合、円の半径を短くし、注視点８０１に動線を近づけるようにする。

加えて、仮想視点を旋回させるときの形状は必ずしも円に限定されず、楕円や多角形等の他の形状であってもよい。また、仮想視点を旋回させる方向に関して必ずしも水平方向に限定されず、注視点８０１を中心とした球体の全方位に旋回可能なようにしてもよい。例えば、注視点８０１として選択された選手がオーバーヘッドキックでゴールを決めた場合、その選手の頭上で仮想視点を旋回させたり、その選手の正面側を旋回させたりするようにしてもよい。その他、仮想視点を旋回させるときの回転角度は１８０度に限定されず、任意の角度で旋回させることができる。

図７に戻り、Ｓ７０３において、動線決定部１０６は、Ｓ７０２において決定された動線上を移動する仮想視点の視線方向を決定する。ここで、図１０を用いて、仮想視点の視線方向について説明を補足する。

図１０は、動線決定部１０６により決定された仮想視点の視線方向を示す模式図である。図１０において、符号１００１から符号１００７は仮想視点であり、動線の始点から終点に向けて動線上を仮想視点が移動している。動線決定部１０６は、動線上を移動する仮想視点の視線方向が注視点８０１に向けられるように、各仮想視点の視線方向を決定する。即ち、符号１００１から符号１００７までのすべての仮想視点の視線方向は、注視点８０１に向けられる。

以上、説明したように、本実施形態によれば、ユーザの位置と注視点の位置に基づいて仮想視点の動線、及び動線上を移動する各仮想視点の視線方向を決定し、動線及び視線方向に基づいた仮想視点画像を生成することができる。そのため、ユーザは、仮想視点画像を視聴するための開始操作を行うだけで、ユーザ端末から注視点まで仮想視点を移動させた仮想視点画像を視聴することができる。また、ユーザは、仮想視点の動線を、注視点を中心に旋回させる動線に切り替えることができるので、より好適な仮想視点画像を視聴することができる。
（その他の実施形態）

上述の実施形態では、ユーザ端末３００から仮想視点画像の再生要求を受け付けると、図７に示されるフローチャートの処理が実行（開始）されるものとして説明したが、図７に示されるフローチャートの処理の実行は必ずしもこれに限定されない。したがって、例えば、動線決定部１０６は、情報処理装置１００の受信部（不図示）を介して、シュート、反則等のイベントが発生したときのイベントトリガー信号を受信する度に、図７に示されるフローチャートの処理を実行してもよい。

なお、この場合、情報処理装置１００は、その都度、決定された仮想視点の動線、及び動線上を移動する仮想視点の視線方向に基づいて仮想視点画像を生成し、ユーザ端末３００に送信する。ユーザ端末３００は、仮想視点画像を受信すると、表示を仮想視点画像の再生に切り替える。或いは、ユーザ端末３００は、仮想視点画像の再生を促す通知を画面に表示してもよい。このようにすることで、ユーザは、直近に発生したイベントに係る仮想視点画像を見逃すことなく、視聴することができる。また、上述の実施形態では、サッカーの試合を撮影する場合を例示したが、撮影対象は必ずしもこれに限定されない。例えば、ラグビー、テニス、アイススケート、バスケットボール等の他のスポーツの試合や、ライブ、コンサート等の演奏の撮影にも、本実施形態を適用することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 情報処理装置
２００ 画像生成装置
１０４ ユーザ情報取得部
１０６ 動線決定部

Claims (17)

1. 複数の撮影装置により、異なる方向から撮影領域を撮影することにより得られる複数の画像に基づいて生成される仮想視点画像を鑑賞するユーザの鑑賞位置における視線方向に対応する第１の視線方向を指定するための第１の仮想視点位置に関する第１の位置情報を取得する第１の取得手段と、
   前記仮想視点画像及び前記撮影領域内に含まれる注目点への方向に対応する第２の視線方向を指定するための第２の仮想視点位置に関する第２の位置情報を取得する第２の取得手段と、
   前記第１の位置情報に対応する前記第１の仮想視点位置及び前記第１の視線方向から、前記第２の位置情報に対応する前記第２の仮想視点位置及び前記第２の視線方向に、仮想視点を移動させる制御を行う制御手段と、
   を有し、
   前記制御手段は、前記仮想視点を、前記鑑賞位置から前記注目点の位置に向かって移動させるように制御し、
   前記制御手段は、前記仮想視点の位置と前記注目点の位置との距離が特定の距離よりも短くなった場合、前記仮想視点からの視線方向を変えて移動するように制御する
   ことを特徴とする情報処理装置。
2. 前記鑑賞位置は、前記仮想視点画像を鑑賞するために使用される端末の位置であること
   を特徴とする請求項１に記載の情報処理装置。
3. 前記鑑賞位置は、前記仮想視点画像を鑑賞する前記ユーザの位置であること
   を特徴とする請求項１に記載の情報処理装置。
4. 前記第１の位置情報は、ＧＰＳデータ、及び、観客席の座席番号のうち少なくとも１つに基づいて取得されること
   を特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記注目点は、前記撮影領域内の特定のオブジェクトの位置であること
   を特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記注目点は、前記ユーザによって指定される位置であること
   を特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記注目点は、複数の候補位置から選択される位置であること
   を特徴とする請求項１に記載の情報処理装置。
8. 前記特定の距離は、前記注目点の周りの状況に従って決定されること
   を特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記制御手段は、前記仮想視点からの視線方向が前記注目点の位置に向けられた状態で前記仮想視点を移動させるように制御すること
   を特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記制御手段は、前記注目点が移動する場合、前記仮想視点を前記注目点の移動方向に対して移動させるように制御すること
    を特徴とする請求項９に記載の情報処理装置。
11. 前記制御手段は、前記仮想視点が三次元空間を移動するように制御すること
    を特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記複数の画像に基づいて、前記制御手段により制御された前記仮想視点に対応する前記仮想視点画像を生成する生成手段
    を更に有すること
    を特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 前記第１の位置情報と前記第２の位置情報とに基づいて、前記鑑賞位置から前記注目点の位置に近づく前記仮想視点の移動経路を決定する決定手段
    を更に有し、
    前記制御手段は、前記決定手段により決定された移動経路に従って前記仮想視点を移動させるように制御すること
    を特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
14. 複数の撮影装置により、異なる方向から撮影領域を撮影することにより得られる複数の画像に基づいて生成される仮想視点画像を鑑賞するユーザの鑑賞位置における視線方向に対応する第１の視線方向を指定するための第１の仮想視点位置に関する第１の位置情報を取得する第１の取得工程と、
    前記仮想視点画像及び前記撮影領域内に含まれる注目点への方向に対応する第２の視線方向を指定するための第２の仮想視点位置に関する第２の位置情報を取得する第２の取得工程と、
    前記第１の位置情報に対応する前記第１の仮想視点位置及び前記第１の視線方向から、前記第２の位置情報に対応する前記第２の仮想視点位置及び前記第２の視線方向に、仮想視点を移動させる制御を行う制御工程と、
    を有し、
    前記制御工程は、前記仮想視点を、前記鑑賞位置から前記注目点の位置に向かって移動させるように制御し、
    前記制御工程は、前記仮想視点の位置と前記注目点の位置との距離が特定の距離よりも短くなった場合、前記仮想視点からの視線方向を変えて移動するように制御する
    ことを特徴とする情報処理方法。
15. 前記鑑賞位置は、前記仮想視点画像を鑑賞するために使用される端末の位置であること
    を特徴とする請求項１４に記載の情報処理方法。
16. 前記鑑賞位置は、前記仮想視点画像を鑑賞する前記ユーザの位置であること
    を特徴とする請求項１４に記載の情報処理方法。
17. コンピュータを、請求項１乃至１３のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

Images