JP6918455B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて、カメラ設置位置の画像だけでなく任意の視点からなる仮想視点画像を生成する技術が注目されている。複数視点の画像に基づく仮想視点画像の生成及び閲覧は、複数のカメラが撮影した画像をサーバなどの画像処理部に集約し、画像処理部にて、仮想視点に基づくレンダリングなどの処理を施し、ユーザの視聴端末に仮想視点画像を表示することで実現できる。

上記のような仮想視点画像を用いたサービスでは、ユーザは、端末画面に表示されたサッカーやバスケットボールの仮想視点画像にて試合観戦を行うことができる。さらに、ユーザが、ユーザインタフェースを用いて自由に仮想視点画像の視点を移動させれば、従来の撮影画像と比較してユーザにその場面にいるような臨場感を与えることができる。なお、視聴端末のユーザが仮想視点を移動するほか、例えば、仮想視点を設定するための視点設定用機器のユーザの操作によって仮想視点が設定されるようにしても良い。この場合、当該視点設定用機器に対する操作によって設定された仮想視点に応じた仮想視点画像が１又は複数の視聴端末で表示される。以下でユーザと記述した場合、特別な理由がなければ、仮想視点を設定可能な視聴端末のユーザと、視点設定用機器のユーザとの両方の概念を含むものとして説明する。

特許文献１には、複数のカメラで同一の範囲を取り囲むように配置して、その同一の範囲を撮影した画像を用いて、任意の仮想視点画像を生成、表示する技術が開示されている。

特開２０１４−２１５８２８号公報

しかしながら、ユーザ操作に応じて視点を移動しながら仮想視点画像を視聴する場合において、ユーザが注目する被写体の動きが速い場合には、被写体のフレームアウトが生じてしまう恐れがある。特に、走っている選手やボールに視点が近付く程、迫力のあるコンテンツが得られる一方で、被写体のフレームアウトが生じる可能性が高まる。

本発明はこのような問題点に鑑みなされたもので、仮想視点を設定するユーザが特定の被写体を見逃す可能性を低減することを目的とする。

そこで、本発明は、画像処理装置であって、被写体を複数の方向から撮影するための複数の撮像装置により得られる撮像画像に基づいて生成される第１の仮想視点画像を取得する取得手段と、前記取得手段により取得された第１の仮想視点画像が表示手段により表示されている間に仮想視点の切替指示を受け付けた場合、前記第１の仮想視点画像に対応する第１の仮想視点の移動速度に基づいて決定された第２の仮想視点に対応する第２の仮想視点画像であって、前記第１の仮想視点画像により示される仮想的な撮影範囲よりも大きい仮想的な撮影範囲を示す第２の仮想視点画像を前記表示手段に表示させる表示制御手段とを有することを特徴とする。

本発明によれば、仮想視点を設定するユーザが特定の被写体を見逃す可能性を低減することができる。

画像処理システムを示す図である。 撮像装置の設置例を示す図である。 画像生成装置のハードウェア構成を示す図である。 画像生成装置の機能構成を示す図である。 第１の仮想視点と第２の仮想視点の説明図である。 画像処理を示すフローチャートである。 第１の仮想視点と第２の仮想視点の一例を示す図である。 第１の仮想視点と第２の仮想視点の一例を示す図である。 第１の仮想視点画像と第２の仮想視点画像の一例を示す図である。 第２の実施形態に係る画像生成装置の機能構成を示す図である。 第３の実施形態に係る画像生成装置の機能構成を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

（第１の実施形態）
図１は、本実施形態に係る画像処理システム１００を示す図である。画像処理システム１００は、複数の撮像装置１１０と、画像生成装置１２０と、端末装置１３０と、を有している。各撮像装置１１０と画像生成装置１２０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブル等の通信ケーブルを介して接続している。なお、本実施形態においては、通信ケーブルはＬＡＮケーブルであるものとするが、通信ケーブルは実施形態に限定されるものではない。他の例としては、通信ケーブルは、ＤｉｓｐｌａｙＰｏｒｔやＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の映像伝送ケーブルであってもよいものとする。

撮像装置１１０は、例えば画像（静止画及び動画）を撮影可能なデジタルカメラである。各撮像装置１１０は、サッカー場等の競技場や特定の被写体を取り囲むように設置され、画像（映像）を撮影する。撮影された画像は、撮像装置１１０から画像生成装置１２０に送信される。図２は、撮像装置１１０の設置例を示す図である。本実施形態においては、複数の撮像装置１１０は、それぞれサッカー場のすべて又は一部を撮影するように設置されているものとする。つまり、本実施形態の画像処理システム１００には、被写体を複数の方向から撮影するための複数の撮像装置１１０が含まれる。

画像生成装置１２０は、撮像装置１１０により得られた撮像画像を蓄積しておき、端末装置１３０におけるユーザ操作により、仮想視点情報が入力されると、撮像画像と仮想視点とに基づいて、仮想視点画像を生成する。ここで、仮想視点情報は、撮像画像から構築される仮想空間における仮想的な視点（仮想視点）の３次元的な位置を示す情報である。仮想視点情報は、撮影した競技場の中央など所定位置に対する相対的な位置、つまり所定位置に対する前後、左右、左右の位置情報、その所定位置からの向き、つまり前後、左右、上下を軸とする角度の方向情報とを少なくとも含むものとする。

画像生成装置１２０は、例えば、サーバ装置であり、データベース機能や、画像処理機能を備えている。データベースには、競技の開始前など予め被写体が存在しない状態の競技会場の場面を撮影した画像を背景画像データとして、撮像装置１１０を介して保持しておく。また競技中の選手など被写体の存在するシーンでは、被写体である前景を画像処理により分離して、前景画像データとして保持しておく。被写体である前景の分離方法として、例えば背景画像との差分を抽出するなどのオブジェクト抽出の画像処理を用いる。なお、前景は、競技する選手だけでなく、例えば、他の特定人物（控え選手、監督、審判など）であってもよく、ボールやゴールなど、画像パターンが予め定められている物体であってもよい。また、その他の検出方法として、動体が検出されるようにしてもよい。

仮想視点情報に対応した仮想視点画像は、データベースで管理された背景画像データと前景画像データとから生成されるものとする。仮想視点画像の生成方式として、例えばモデルベースレンダリング（Ｍｏｄｅｌ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）が用いられる。ＭＢＲとは、被写体を複数の方向から撮影した複数の撮像画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する方式である。具体的には、視体積交差法、Ｍｕｌｔｉ−Ｖｉｅｗ−Ｓｔｅｒｅｏ（ＭＶＳ）などの三次元形状復元手法により得られた対象シーンの三次元形状（モデル）を利用し、仮想視点からのシーンの見えを画像として生成する技術である。なお、仮想視点画像の生成方法は、ＭＢＲ以外のレンダリング手法を用いてもよい。生成された仮想視点画像は、ＬＡＮケーブルなどを介して、端末装置１３０に伝送される。

端末装置１３０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やタブレットである。コントローラ１３１は、例えば、マウス、キーボード、６軸コントローラ、タッチパネルであり、これらを用いてユーザは操作し、画面上に静止画像や動画像を表示する。端末装置１３０は、例えば、画像生成装置１２０から受信した仮想視点画像を表示部１３２に表示する。端末装置１３０は、さらに、接続されたコントローラ１３１に対するユーザ操作に応じて、仮想視点の移動、方向の指示を受け付け、受け付けた指示に係る仮想視点を示す仮想視点情報を生成し、これを画像生成装置１２０に送信する。なお、本実施形態では、端末装置１３０により設定された仮想視点に基づいて生成された仮想視点画像が端末装置１３０にて表示される例を中心に説明するが、これに限らない。例えば、端末装置１３０により設定された仮想視点に基づいて生成された仮想視点画像が、他の端末装置１３０（例えばスマートフォン）等で表示されるようにしても良い。

図３は、画像生成装置１２０のハードウェア構成を示す図である。画像生成装置１２０は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、ＨＤＤ３０４と、表示部３０５と、入力部３０６と、通信部３０７とを有している。ＣＰＵ３０１は、ＲＯＭ３０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ３０４は、各種データや各種プログラム等を記憶する。表示部３０５は、各種情報を表示する。入力部３０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部３０７は、ネットワークを介して画像形成装置等の外部装置との通信処理を行う。なお、ネットワークとしては、イーサネット（登録商標）が挙げられる。また、他の例としては、通信部３０７は、無線により外部装置との通信を行ってもよい。

なお、フローチャート等を用いて後述する画像生成装置１２０の機能や処理は、ＣＰＵ３０１がＲＯＭ３０２又はＨＤＤ３０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。ただし、画像生成装置１２０の各機能や処理の一部又は全部を専用のハードウェアにより実現することも可能である。この場合、画像生成装置１２０のＣＰＵ３０１が当該専用のハードウェアを制御することで、後述する各機能や処理を実現する。また、端末装置１３０のハードウェア構成は、画像生成装置１２０のハードウェア構成と同様である。つまり、フローチャート等を用いて後述する端末装置１３０の機能や処理も、ＣＰＵ３０１により実現されるようにしても良いし、その機能や処理の一部又は全部が専用のハードウェアにより実現されるようにしても良い。

図４は、画像生成装置１２０の機能構成を示す図である。画像生成装置１２０は、通信処理部４０１と、分離部４０２と、画像記憶部４０３と、画像生成部４０４と、視点記憶部４０５と、視点決定部４０６と、を有している。通信処理部４０１は、画像生成装置１２０及び端末装置１３０との情報の送受信を制御する。分離部４０２は、通信処理部４０１を介して受信した撮像画像のうち、競技の開始前など特定の被写体が存在しない状態の競技会場の場面を撮影した画像を背景画像として画像記憶部４０３に記録する。さらに、分離部４０２は、競技中に撮影された画像から選手など特定の被写体を抽出し、抽出した特定の被写体の画像を前景画像として記録する。画像記憶部４０３は、背景画像及び前景画像を記憶する。

画像生成部４０４は、通信処理部４０１を介して受信した仮想視点情報に基づいて、画像記憶部４０３に記憶されている前景画像と背景画像を画像処理により合成することにより仮想視点画像を生成する。仮想視点画像は、通信処理部４０１を介して端末装置１３０に送信される。視点記憶部４０５は、通信処理部４０１を介して受信した仮想視点情報を記憶する。視点記憶部４０５はまた、後述の視点決定部４０６により生成された仮想視点情報も記憶する。

視点決定部４０６は、通信処理部４０１を介して仮想視点の切替指示を受け付ける。ここで、切替指示とは、表示部１３２の表示を、ユーザ操作により定まる仮想視点に対応した仮想視点画像ではなく、ユーザ操作により定まる仮想視点と所定の関係を有する他の仮想視点での仮想視点画像に切り替えることを指示するための指示である。

視点決定部４０６は、切替指示を受け付けると、ユーザ操作に応じた仮想視点とは異なる仮想視点の位置を決定する。以下、説明の便宜上、ユーザ操作により定まる仮想視点を第１の仮想視点、視点決定部４０６が第１の仮想視点に基づいて決定する仮想視点を第２の仮想視点と称することとする。第１の仮想視点を示す情報を第１の仮想視点情報、第２の仮想視点を示す情報を第２の仮想視点情報と称することとする。また、第１の仮想視点から生成される仮想視点画像を第１の仮想視点画像、第２の仮想視点から生成される仮想視点画像を第２の仮想視点画像と称することとする。

視点決定部４０６は、第１の仮想視点の位置に基づいて第２の仮想視点の位置を決定する。具体的には、本実施形態においては、例えばＨＤＤ３０４等に、第１の仮想視点と第２の仮想視点の相対的な位置関係を定めた関係情報が予め設定されているものとする。そして、視点決定部４０６は、関係情報を参照することにより、第１の仮想視点から第２の仮想視点を決定する。なお、第２の仮想視点は、第１の仮想視点に比べて被写体までの距離が長くなるような視点である。なお、関係情報は、端末装置１３０におけるユーザ操作に応じて、設定、変更可能であるものとする。

図５は、第１の仮想視点と第２の仮想視点の説明図である。第１の仮想視点５１０においては仮想的な撮影範囲は、第１の範囲５１１となる。これに対し、第２の仮想視点５２０においては、仮想的な撮影範囲は第２の範囲５２１となる。このように、第２の仮想視点５２０の位置は、被写体５０１、５０２からの距離が第１の仮想視点５１０からの距離に比べて長くなるような位置、すなわち、仮想的なカメラの撮影方向と逆向きの方向、すなわち後方の位置となる。これにより、第２の範囲５２１は、第１の範囲５１１を包含し、かつ第１の範囲５１１に比べて大きい範囲となる。このため、第２の仮想視点５２０から生成される第２の仮想視点画像は、第１の仮想視点画像に比べて画角の広いカメラにより撮影される画像に相当するものとなる。したがって、図５に示すように、第１の仮想視点画像において被写体５０１、５０２がフレームアウトしかけている場合においても、第２の仮想視点画像においては、その画像内に被写体５０１、５０２が含まれる。

図６は、画像生成装置１２０による画像処理を示すフローチャートである。Ｓ６００において、通信処理部４０１は、端末装置１３０から第１の仮想視点情報を受信するまで待機し、第１の仮想視点情報を受信すると（Ｓ６００でＹｅｓ）、処理をＳ６０１へ進める。すなわち、画像生成装置１２０の通信処理部４０１は、被写体を複数の方向から撮影するための複数のカメラにより得られる撮像画像に基づいて生成される仮想視点画像に係る仮想視点情報を端末装置１３０から取得する。なお、Ｓ６００でＹｅｓと判定されるタイミングよりも前に、端末装置１３０は、画像生成装置１２０へ送る仮想視点情報を取得する。端末装置１３０による仮想視点情報の取得の方法として、典型的には、ユーザ操作、及び／又は画像処理に基づく方法が考えられる。

Ｓ６０１において、通信処理部４０１は、第１の仮想視点情報を視点記憶部４０５に記録する。次に、Ｓ６０２において、画像生成部４０４は、第１の仮想視点情報に基づいて、画像記憶部４０３に記憶されている前景画像と背景画像とを合成して第１の仮想視点画像を生成する。次に、Ｓ６０３において、通信処理部４０１は、第１の仮想視点画像を端末装置１３０に送信する。端末装置１３０は、第１の仮想視点画像を受信すると、これを表示部１３２に表示する。ここで、Ｓ６０３の処理は、第１の仮想視点画像を表示部１３２に表示するよう制御する表示処理の一例である。

次に、Ｓ６０４において、視点決定部４０６は、第１の仮想視点に基づいて、第２の仮想視点を決定する。次に、Ｓ６０５において、通信処理部４０１は、端末装置１３０から仮想視点の切替指示を受信したか否かを確認する。端末装置１３０において、ユーザ操作に応じて切替指示が入力された場合に、端末装置１３０は、画像生成装置１２０に切替指示を送信する。通信処理部４０１は、切替指示を受信した場合には（Ｓ６０５でＹｅｓ）、処理をＳ６０６へ進める。通信処理部４０１は、切替指示を受信しなかった場合には（Ｓ６０５でＮｏ）、処理を６０８へ進める。なお、Ｓ６０４における第２の仮想視点の決定のタイミングは、図６に示したタイミングに限らず、例えば、仮想視点の切替指示を受信したあとのタイミングとしても良い。

Ｓ６０６において、画像生成部４０４は、Ｓ６０４において決定された第２の仮想視点に基づいて、第２の仮想視点画像を生成する。次に、Ｓ６０７において、通信処理部４０１は、第２の仮想視点画像を端末装置１３０に送信する。端末装置１３０は、第２の仮想視点画像を受信すると、これを表示部１３２に表示する。即ち通信処理部４０１は、Ｓ６００にて取得した仮想視点情報に応じた仮想視点画像が端末装置１３０にて表示されている間に切替指示を受け付けると、表示中の仮想視点画像に対応する画角より広い画角に対応する仮想視点画像を端末装置１３０にて表示させる。端末装置１３０の視点で言い換えると、端末装置１３０は、Ｓ６００に対応するタイミングで送信した仮想視点情報に応じた仮想視点画像を表示中に仮想視点の切替指示を受け付けた場合、当該表示中の仮想視点画像に対応する画角より広い画角に対応する仮想視点画像を表示させる。すなわち、表示部１３２の表示は、第１の仮想視点画像から第２の仮想視点画像に切り替わる。ここで、Ｓ６０７の処理は、端末装置１３０の表示部１３２の表示を第１の仮想視点画像から第２の仮想視点画像に切り替えるよう制御する表示処理の一例である。

ここで、第２の仮想視点を決定する処理について説明する。視点決定部４０６は、以下の式により第２の仮想視点を算出する。なお、以下の式は、第１の仮想視点と第２の仮想視点の位置関係を定めるものであり、この位置関係は予め画像生成装置１２０のＨＤＤ３０４等の記憶部に設定されているものとする。

Ｘｏｕｔ＝Ｘｉｎ−（Ｌ＊ｓｉｎ（ＲＹｉｎ）＊ｓｉｎ（ＲＺｉｎ））
Ｙｏｕｔ＝Ｙｉｎ−（Ｌ＊ｓｉｎ（ＲＹｉｎ）＊ｃｏｓ（ＲＺｉｎ））
Ｚｏｕｔ＝Ｚｉｎ−（Ｌ＊ｃｏｓ（ＲＹｉｎ））
ＲＸｏｕｔ＝ＲＸｉｎ
ＲＹｏｕｔ＝ＲＹｉｎ
ＲＺｏｕｔ＝ＲＺｉｎ

ここで、（Ｘｉｎ、Ｙｉｎ、Ｚｉｎ、ＲＸｉｎ、ＲＹｉｎ、ＲＺｉｎ）は第１の仮想視点、（Ｘｏｕｔ、Ｙｏｕｔ、Ｚｏｕｔ、ＲＸｏｕｔ、ＲＹｏｕｔ、ＲＺｏｕｔ）は第２の仮想視点である。また、Ｌは第１の仮想視点と第２の仮想視点の距離であり、予め設定されているものとする。なお、仮想視点から見て、Ｘ軸は前後移動、Ｙ軸は左右移動、Ｚ軸は上下移動、単位はメートルとする。また、ＲＸ軸は前後を軸とした回転、ＲＹ軸は左右を軸とした回転、ＲＺ軸は上下を軸とした回転で単位は角度とする。また、これらの軸と移動や回転との対応、その単位、後方仮想視点情報生成の計算式はこの限りではなく、変更されてもよいものとする。

図７及び図８は、第１の仮想視点と第２の仮想視点の一例を示す図である。図１に示すように、第１の仮想視点が（Ｘｉｎ、Ｙｉｎ、Ｚｉｎ、ＲＸｉｎ、ＲＹｉｎ、ＲＺｉｎ）＝（０，０，０，０，０，０）であるとする。この場合、第２の仮想視点は、（Ｘｏｕｔ、Ｙｏｕｔ、Ｚｏｕｔ、ＲＸｏｕｔ、ＲＹｏｕｔ、ＲＺｏｕｔ）＝（−１０，０，０，０，０，０）となる。このように、本実施形態の画像生成装置１２０おいては、第２の仮想視点は、常に第１の仮想視点の１０メートル後方を追尾するような位置関係が設定されているものとする。すなわち、本実施形態に係る位置関係は、第１の仮想視点からの仮想的な撮影方向と逆向きの後方において一定距離だけ離れた位置を第２の仮想位置とする、というものである。なお、位置関係は予め定められていればよく、実施形態に限定されるものではない。他の例としては、撮影方向についても所定角度内で変更させるものであってもよい。

また、図８に示すように、ユーザ操作に応じて第１の仮想視点が回転したとする。例えば、第１の仮想視点が（Ｘｉｎ、Ｙｉｎ、Ｚｉｎ、ＲＸｉｎ、ＲＹｉｎ、ＲＺｉｎ）＝（０，０，０，０，０，０）から（Ｘｉｎ、Ｙｉｎ、Ｚｉｎ、ＲＸｉｎ、ＲＹｉｎ、ＲＺｉｎ）＝（０，０，０，０，０，９０）へ移動したとする。この場合、第２の仮想視点は、（Ｘｏｕｔ、Ｙｏｕｔ、Ｚｏｕｔ、ＲＸｏｕｔ、ＲＹｏｕｔ、ＲＺｏｕｔ）＝（０，−１０，０，０，０，９０）へ移動する。このように第１の仮想視点が回転した場合でも、第２の仮想視点は、常に第１の仮想視点の１０メートル後方を追尾するものとする。

図９（ａ）は、第１の仮想視点画像の一例を示す図である。図９（ｂ）は、図９（ａ）に示す第１の仮想視点画像に対応する第２の仮想視点画像の一例を示す図である。ユーザ操作により第１の仮想視点が移動することがで、図９（ａ）に示すように第１の仮想視点画像９００において、選手Ａがフレームアウトする場合がある。このような場合にユーザが仮想視点の切替指示を入力すると、Ｓ６０６において、図９（ｂ）に示す第２の仮想視点画像９１０が生成され、端末装置１３０において第２の仮想視点画像９１０が表示される。これにより、ユーザは、難しい操作を行うことなく、選手Ａを確認することができる。さらに、第２の仮想視点は第１の仮想視点を基に定まる位置であるため、画像生成装置１２０は、ユーザにとって違和感のない視点の切り替えを行うことができる。

図６に戻り、Ｓ６０８において、画像生成部４０４は、端末装置１３０におけるユーザ操作に応じて第１の仮想視点が変更されたか否かを確認する。画像生成部４０４は、第１の仮想視点の変更がある場合には（Ｓ６０８でＹｅｓ）、処理をＳ６０１へ進める。この場合、Ｓ６０１以降の処理において、直前に生成された第１の仮想視点画像に続くフレームに対する第１の仮想視点画像の生成が行われる。

画像生成部４０４は、第１の仮想視点の変更がない場合には（Ｓ６０８でＮｏ）、処理をＳ６０９へ進める。Ｓ６０９において、画像生成部４０４は、直前に生成された第１の仮想視点画像に続くフレームに対し第１の仮想視点画像を生成する。次に、Ｓ６１０において、通信処理部４０１は、Ｓ６０９において生成された第１の仮想視点画像を端末装置１３０に送信する。その後処理をＳ６０５へ進める。

以上のように、第１の実施形態に係る画像処理システム１００は、被写体がフレームアウトした状態においても、適切な仮想視点画像を提供することができる。さらに、画像処理システム１００は、端末装置１３０の表示部１３２に表示される画像において、ユーザにとって違和感のない視点の切り替えを行うことができる。さらに、画像生成装置１２０は、切替指示を受け付ける前に予め第２の仮想視点を決定しておくので、切替指示の受信後速やかに第２の仮想視点画像を生成、送信することができる。

第１の実施形態の変形例としては、画像処理システム１００は、第１の仮想視点から仮想視点をより後方の位置に変更するのに替えて、第１の仮想視点画像に比べて画角を広くすることにより第２の仮想視点画像を生成してもよい。すなわち、この場合には、画像処理システム１００は、第１の仮想視点画像の画角に基づいて、第２の仮想視点画像の画角を決定する。なお、画像処理システム１００は、第１の仮想視点画像の画角に比べて大きい画角を第２の仮想視点画像の画角として決定する。そして、決定した画角と、第１の仮想視点画像の仮想視点と、に基づいて、第２の仮想視点画像を生成する。また、画像処理システム１００は、仮想視点と画角の両方を変更することにより、第２の仮想視点画像を生成してもよい。なお、いずれの場合も、実施形態において説明した第２の仮想視点画像と同一の仮想視点画像が生成されるように、第２の仮想視点画像の画角や仮想視点を制御するものとする。

（第２の実施形態）
次に、第２の実施形態に係る画像処理システムについて、第１の実施形態に係る画像処理システムと異なる点について説明する。第２の実施形態に係る画像処理システムにおいては、画像生成装置の機能構成が第１の実施形態と異なる。図１０は、第２の実施形態に係る画像生成装置１０００の機能構成を示す図である。画像生成装置１０００は、画像生成装置１２０の機能構成に加えて速度算出部１００１をさらに有している。速度算出部１００１は、通信処理部４０１に入力された第１の仮想視点情報に示される第１の仮想視点の移動速度を算出する。そして、速度算出部１００１は、算出した移動速度と予め設定された基準速度との関係を速度係数として視点決定部１００２に出力する。

視点決定部１００２は、第１の仮想視点と、速度係数と、に基づいて第２の仮想視点の位置を決定する。例えば、１秒間にＸ軸の正方向に２０ｍ移動していた場合、移動速度は２０ｍ／秒である。基準速度を１０ｍ／秒とした場合、２０ｍ／秒であれば、２倍の速度となることから、速度係数は２となる。本実施形態においては、視点決定部１００２は、基準距離を１０ｍとし速度係数を乗じた距離だけ後方の位置を第２の仮想視点として決定する。したがって、視点決定部１００２は、速度係数２に対しては、第１の仮想視点よりも２０ｍ後方の位置を第２の仮想視点として決定する。なお、第２の実施形態に係る画像処理システムのこれ以外の構成及び処理は、第１の実施形態に係る画像処理システムの構成及び処理と同様である。

このように、第２の実施形態に係る画像処理システムにおいては、第１の仮想視点の移動速度に応じて第２の仮想視点の位置を決定する。したがって、第１の仮想視点の移動速度が速い場合においても、特定被写体がフレームアウトしないような第２の仮想視点を決定することができる。

（第３の実施形態）
次に、第３の実施形態に係る画像処理システムについて、他の実施形態に係る画像処理システムと異なる点について説明する。第３の実施形態に係る画像処理システムにおいては、画像生成装置の機能構成が他の実施形態と異なる。図１１は、第３の実施形態に係る画像生成装置１１００の機能構成を示す図である。画像生成装置１１００は、画像生成装置１２０の機能構成に加えて、速度算出部１１０１をさらに有している。

速度算出部１１０１は、画像生成部４０４により生成された第１の仮想視点画像における被写体の移動速度を算出する。速度算出部１１０１は、第１の仮想視点画像に基づいて移動速度を算出することとする。但し、速度算出部１１０１は移動速度を取得できればよく、そのための処理は実施形態に限定されるものではない。他の例としては、被写体が選手である場合において、選手に直接装着された移動検知センサにより検出された速度データを画像生成装置１１００が受信することとしてもよい。速度算出部１１０１は、算出した移動速度と予め設定された基準速度との関係を速度係数として視点決定部１１０２に出力する。

視点決定部１１０２は、第１の仮想視点と、速度係数と、に基づいて、第２の仮想視点の位置を決定する。なお、視点決定部１１０２の処理は、第２の実施形態において説明した視点決定部１００２の処理と同様である。また、第３の実施形態に係る画像処理システムのこれ以外の構成及び処理は、他の実施形態に係る画像処理システムの構成及び処理と同様である。

このように、第３の実施形態に係る画像処理システムにおいては、被写体の移動速度に応じて第２の仮想視点の位置を決定する。したがって、被写体の移動速度が速い場合においても、特定被写体がフレームアウトしないような第２の仮想視点を決定することができる。

実施形態の変形例としては、画像処理システムは、第１の仮想視点の移動速度と被写体の移動速度の２つに基づいて速度係数を求め、この速度係数に基づいて第２の仮想視点を決定してもよい。また、画像処理システムは、第１の仮想視点の移動速度及び被写体の移動速度のうち少なくとも一方が所定の速度になった場合に、第２の仮想視点を決定してもよい。また、画像処理システムは、第１の仮想視点から第２の仮想視点まで徐々に仮想視点が移動していくような仮想視点画像を生成し、これを表示してもよい。また、画像処理システムは、ユーザ操作に応じて第１の仮想視点を特定したが、他の例としては、被写体の位置に基づいて、第１の仮想視点を決定してもよい。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理システム
１１０ 撮像装置
１２０ 画像生成装置
１３０ 端末装置

Claims (11)

1. 被写体を複数の方向から撮影するための複数の撮像装置により得られる撮像画像に基づいて生成される第１の仮想視点画像を取得する取得手段と、
   前記取得手段により取得された第１の仮想視点画像が表示手段により表示されている間に仮想視点の切替指示を受け付けた場合、前記第１の仮想視点画像に対応する第１の仮想視点の移動速度に基づいて決定された第２の仮想視点に対応する第２の仮想視点画像であって、前記第１の仮想視点画像により示される仮想的な撮影範囲よりも大きい仮想的な撮影範囲を示す第２の仮想視点画像を前記表示手段に表示させる表示制御手段と
   を有することを特徴とする画像処理装置。
2. 前記第２の仮想視点画像により示される仮想的な撮影範囲は、前記第１の仮想視点画像により示される仮想的な撮影範囲を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の仮想視点の移動速度に基づいて前記第２の仮想視点を決定する決定手段をさらに有することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記決定手段は、予め定められた前記第１の仮想視点と前記第２の仮想視点の位置関係に基づいて、前記第２の仮想視点を決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記位置関係をユーザ操作に応じて設定する設定手段を有し、
   前記決定手段は、前記設定手段により設定された前記位置関係に基づいて、前記第２の仮想視点を決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記第２の仮想視点の位置は、前記第１の仮想視点の位置から所定の距離離れた位置であって、前記第１の仮想視点からの仮想的な撮影方向と逆向きの方向にある位置であることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記仮想視点の切替指示を受け付ける受付手段をさらに有することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記表示手段をさらに有することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記切替指示が入力された場合に前記第２の仮想視点画像を生成する生成手段をさらに有することを特徴とする請求項２乃至８の何れか１項に記載の画像処理装置。
10. 画像処理方法であって、
    被写体を複数の方向から撮影するための複数の撮像装置により得られる撮像画像に基づいて生成される第１の仮想視点画像を取得する取得ステップと、
    前記取得ステップにおいて取得された第１の仮想視点画像が表示手段により表示されている間に仮想視点の切替指示を受け付けた場合、前記第１の仮想視点画像に対応する第１の仮想視点の移動速度に基づいて決定された第２の仮想視点に対応する第２の仮想視点画像であって、前記第１の仮想視点画像により示される仮想的な撮影範囲よりも大きい仮想的な撮影範囲を示す第２の仮想視点画像を前記表示手段に表示させる表示制御ステップと
    を含むことを特徴とする画像処理方法。
11. コンピュータを、請求項１乃至７の何れか１項に記載の画像処理装置の各手段として動作させるためのプログラム。

Images