JP7446754B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、仮想視点画像を生成する技術に関するものである。

複数の撮影装置を異なる位置に設置して同期撮影し、その撮影により得られた複数の撮影画像を用いて、視点を任意に変更可能な仮想視点画像を生成する技術がある。具体的には、複数の撮影画像に基づいて、撮影画像に含まれるオブジェクトの３次元形状データを生成し、仮想視点の位置及び向きに応じたレンダリング処理を行うことにより、仮想視点画像が生成される。

特許文献１には、競技場の周囲に設置されたカメラでサッカー競技や陸上競技を撮影して仮想視点画像を生成することが開示されている。このようにして生成された仮想視点画像を視聴することにより、ユーザは競技を様々な方向から観戦することができる。

特開２０１７－２１１８２８号公報

競技場において陸上競技が行われる場合、１００ｍ走や走り幅跳び、やり投げ等の複数種目の競技が同じ競技場内で並行して進行することがある。このような状況の競技場を撮影した画像に基づいて仮想視点画像を生成した場合、ユーザにとっての仮想視点画像の見やすさが低下する虞がある。例えば、ユーザが１００ｍ走を観戦しようとした際に、１００ｍ走の選手を走り幅跳びの選手が隠してしまったり、画像に映りこんでいる走り幅跳びが気になってユーザが１００ｍ走に集中できなくなったりすることが考えられる。

このような課題は陸上競技に限らず、柔道や体操など同一会場で複数の競技が行われる場合に同様に起こりうる。また、複数の演技が行われるサーカスなどを撮影対象とした場合も、ユーザが見たい特定の範囲内の人物等が見づらくなるなど、同様の課題が生じうる。

本発明は上記の課題に鑑みてなされたものであり、撮影画像に基づいて生成される仮想視点画像において、撮影領域内の特定のイベントが行われる領域を見やすくすることを目的とする。

上述した課題を解決するために、本発明に係る画像処理装置は、例えば以下の構成を有する。すなわち、撮影領域をそれぞれ異なる方向から撮影する複数の撮影装置による撮影に基づく複数の画像を取得する画像取得手段と、仮想視点の位置及び向きを示す視点情報を取得する情報取得手段と、前記撮影領域で行われるイベントのうち特定のイベントが行われる前記撮影領域内の部分領域を特定する特定手段と、前記仮想視点の位置及び向きに応じた仮想視点画像であって、前記撮影領域内のオブジェクトのうち前記特定手段により特定された前記部分領域内に位置しないオブジェクトの表示が制限された仮想視点画像を、前記画像取得手段により取得された前記複数の画像と前記情報取得手段により取得された視点情報とに基づいて生成する画像生成手段と、を有し、前記特定手段は、前記情報取得手段により取得された視点情報に基づいて、前記撮影領域内の複数の所定の領域のうち前記視点情報に対応する１以上の前記部分領域を特定することを特徴とすることを特徴とする。

本発明によれば、撮影画像に基づいて生成される仮想視点画像において、撮影領域内の特定のイベントが行われる領域を見やすくすることができる。

画像生成システムの構成を示すブロック図である。 撮影装置の設置例を示す図である。 画像生成装置のハードウェア構成例を示す図である。 画像生成装置の機能構成例を示すブロック図である。 競技エリア情報の例を説明するための図である。 画像生成装置の処理の例を説明するためのフローチャートである。 ユーザ端末の表示画面の例を示す図である。 生成される仮想視点画像の例を説明するための図である。 オブジェクトの位置履歴の例を説明するための図である。 画像生成装置の処理の例を説明するためのフローチャートである。 仮想視点と競技とを対応付ける情報の例を示す図である。

［システム構成］
図１は、本実施形態に係る画像生成システム１００の構成例を示すブロック図である。画像生成システム１００は、図１に示されるように、複数の撮影装置１１０、画像生成装置１２０、及びユーザ端末１３０を備える。

複数の撮影装置１１０は、図２に示すように、撮影領域２００の一部又は全体をそれぞれ異なる方向から撮影する。各撮影装置１１０は、例えば、静止画像及び動画像を撮影可能なデジタルカメラ等である。複数の撮影装置１１０は、撮影領域２００を取り囲むようにそれぞれ異なる位置に設置され、同期して撮影を行う。なお、複数の撮影装置１１０は撮影領域２００の全周にわたって設置されていなくてもよく、設置場所の制限等によっては撮影領域２００の周囲の一部にのみ設置されていてもよい。また、撮影装置１１０の数は図に示す例に限定されず、例えば撮影領域２００を陸上競技の競技場とする場合には、競技場の周囲に１００台程度の撮影装置１１０が設置されてもよい。また、望遠カメラと広角カメラなど機能が異なる撮影装置１１０が設置されていてもよい。

本実施形態における撮影領域２００は、複数種目の陸上競技が同時進行する競技場である。ただし撮影領域２００はこれに限定されるものではなく、陸上競技以外の競技が行われる競技場であってもよいし、サーカスの演技などが行われる舞台であってもよい。以下では、競技場において行われる競技や、舞台で行われる演技等を、イベントと表記する。例えば、陸上競技の競技場においては１００ｍ走、走り幅跳び、及びやり投げ等の複数の異なるイベントがそれぞれ異なる領域で行われる。

複数の撮影装置１１０により撮影された画像は、例えばＬＡＮケーブル等の通信媒体を介して、画像生成装置１２０に伝送される。なお、画像生成装置１２０への画像の伝送は無線により行われても良い。

画像生成装置１２０は、例えばサーバ装置等であり、データベース機能や画像処理機能を備える。画像生成装置１２０は、複数の撮影装置１１０による撮影に基づく複数の画像（複数視点画像）を取得して蓄積する。複数視点画像に含まれる画像は、撮影画像であってもよいし、撮影画像に対して例えば所定の領域を抽出する処理などの画像処理が行われることで得られる画像であってもよい。そして画像生成装置１２０は、複数視点画像と、ユーザ端末１３０を介して指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点画像を生成する。

本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作に基づいて行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。

画像生成装置１２０は、競技の開始前など、選手等の所定のオブジェクトが存在しない状態の競技場が予め撮影された画像を背景画像データとして記憶するデータベース機能を有する。また、画像生成装置１２０は、競技中の選手等の前景を画像処理により撮影画像から分離して得られた画像を前景画像データとして記憶する。なお、前景の分離方法としては、例えば、撮影画像と背景画像との差分に基づいて前景を抽出するオブジェクト抽出の画像処理を用いる。また、そのほかの方法として、撮影画像から検出された動体を前景として分離するようにしてもよい。なお、前景となるオブジェクトは競技を行う選手だけでなく、他の人物（例えば審判など）であっても良いし、やり投げのやり又は走り高跳びのマットやポールなどの器具であっても良い。

画像生成装置１２０は、保持している背景画像データと前景画像データから、指定された仮想視点に対応する仮想視点画像を生成する。そして画像生成装置１２０は、生成した仮想視点画像を、ＬＡＮケーブル等を介して、ユーザ端末１３０へ出力する。

仮想視点画像の生成方式としては、例えば、モデルベースレンダリング（Ｍｏｄｅｌ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）を用いることができる。ＭＢＲとは、オブジェクトを複数の方向から撮影した複数の撮影画像に基づいて生成される三次元モデルを用いて、仮想視点画像を生成する方式である。具体的には、三次元形状復元方法により得られた対象オブジェクトの三次元形状に対して、仮想視点からの三次元形状の見えに対応した複数の撮影画像をレンダリング画像として投影することで、仮想視点画像を生成する方式である。なお、三次元形状復元方法としては、視体積交差法、又はＭＶＳ（Ｍｕｌｔｉ－Ｖｉｅｗ－Ｓｔｅｒｅｏ）等の方法を用いることができる。ただし、仮想視点画像の生成方法はこれに限定されず、三次元モデルを用いずに撮影画像の射影変換により仮想視点画像を生成する方法など、種々の方法を用いることができる。

ユーザ端末１３０は、例えばＰＣやタブレット端末などであり、マウス、キーボード、６軸コントローラ、又はタッチパネル等のユーザ操作を受け付ける操作部と、画像を表示する表示部とを有する。ユーザ端末１３０は、注目する競技を選択するための操作や、仮想視点を指定するための操作をユーザから受け付け、ユーザ操作に応じた情報を、ＬＡＮケーブル等を介して画像生成装置１２０へ出力する。また、ユーザ端末１３０は、画像生成装置１２０から受信した仮想視点画像を表示部に表示させることで、ユーザ操作に応じた仮想視点画像をユーザに視聴させる。

本実施形態において、仮想視点を指定するための操作に応じてユーザ端末１３０から画像生成装置１２０に入力される情報は、仮想視点画像の生成に用いられる視点情報であり、仮想視点の位置及び向き（視線方向）を示す。具体的には、視点情報は、仮想視点の三次元位置を表すパラメータと、パン、チルト、及びロール方向における仮想視点の向きを表すパラメータとを含む、パラメータセットである。仮想視点の位置を表すパラメータは、撮影領域２００内の位置に関連付けられた原点を有する仮想空間上の三次元位置を表し、例えば撮影領域２００の中央等の所定位置に対する仮想視点の相対的な位置を示す。仮想視点の向きを表すパラメータは、仮想視点の位置からどの方向を見た様子を表す仮想視点画像を生成するかを示す。

なお、視点情報の内容は上記に限定されない。例えば、視点情報としてのパラメータセットには、仮想視点の視野の大きさ（画角）を表すパラメータが含まれてもよい。また、視点情報は複数のパラメータセットを有していてもよい。例えば、視点情報が、仮想視点画像の動画を構成する複数のフレームにそれぞれ対応する複数のパラメータセットを有し、連続する複数の時点それぞれにおける仮想視点の位置及び向きを示す情報であってもよい。なお、ユーザ端末１３０からはユーザ操作の内容を示す操作情報が画像生成装置１２０へ入力され、画像生成装置１２０が操作情報に基づいて視点情報を生成してもよい。

なお、画像生成システム１００の構成は図１に示したものに限定されない。例えば、画像生成装置１２０に複数のユーザ端末１３０が接続されてもよいし、複数の画像生成装置１２０が撮影装置１１０から複数視点画像を取得して仮想視点画像を生成してもよい。

［ハードウェア構成］
図３は、画像生成装置１２０のハードウェア構成例を示す図である。なお、ユーザ端末１３０の構成も、以下で説明する画像生成装置１２０と同様である。画像生成装置１２０は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４、入力部３０５、表示部３０６、及び通信部３０７を有する。

ＣＰＵ３０１は、ＲＯＭ３０２やＨＤＤ３０４に記憶された制御プログラムを用いて、演算処理や各種プログラムを実行することで、画像生成装置１２０の各機能を実現する。なお、画像生成装置１２０がＣＰＵ３０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ３０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ３０２は、ブートプログラム、制御プログラム、画像生成装置１２０の各部に設定するパラメータ等を記憶する記憶領域を有する。ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等の一致時記憶領域として用いられる。ＨＤＤ３０４は、各種データやプログラムを記憶する。なお、ＨＤＤ３０４に替えてＳＳＤなどその他の補助記憶装置が用いられてもよい。

入力部３０５は、例えばキーボードやマウス、ジョイスティック、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ３０１に入力する。表示部３０６は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが画像生成装置１２０を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。ＣＰＵ３０１は、表示部３０６を制御する表示制御部として動作する。通信部３０７は、撮影装置１１０及びユーザ端末１３０等の外部装置との通信処理を実行する。なお、通信部３０７による通信は、ＬＡＮ等の有線ネットワークを介して行われても良いし、無線ネットワークを介して行われても良い。

本実施形態では表示部３０６と入力部３０５が画像生成装置１２０の内部に存在するものとするが、表示部３０６と入力部３０５との少なくとも一方が画像生成装置１２０の外部に別の装置として存在していてもよい。

［画像生成装置の機能構成］
図４は、本実施形態における画像生成装置１２０の機能構成を示すブロック図である。画像取得部４０１は、撮影装置１１０から撮影画像を受信し、前景背景分離部４０２に送信する。前景背景分離部４０２は、画像取得部４０１から受信した撮影画像から、選手等のオブジェクトに対応する前景領域を抽出し、前景画像データとしてデータ保持部４０３に保存する。データ保持部４０３は、前景背景分離部４０２から受信した前景画像データに加えて、競技の開始前などの被写体が存在しない状態の競技場の撮影画像を背景画像データとして保持する。

モデル生成部４０４は、データ保持部４０３から取得した前景画像データと、撮影装置１１０の位置や姿勢等を示すカメラパラメータとに基づいて、オブジェクトのモデル情報を生成する。モデル情報には、モデルの形状を表す点群データ、及びモデルの位置を表す位置情報などが含まれる。すなわち、モデル情報は、オブジェクトの三次元形状とオブジェクトの位置を表すデータである。

情報取得部４０５は、ユーザ端末１３０からのユーザ操作に応じた入力をユーザコマンドデータとして受信する。ユーザコマンドデータが、注目する競技を選択する操作に応じた選択情報である場合、情報取得部４０５は選択情報をエリア管理部４０７に送信する。選択情報は例えば、複数の競技種目と、その競技種目が選択されたか否かを示す。また、ユーザコマンドデータが、仮想視点を指定する操作に応じた視点情報である場合、情報取得部４０５は、視点情報を視点設定部４０６に送信する。

視点設定部４０６は、情報取得部４０５から受信した情報に基づいて、仮想空間内の仮想視点の位置及び向きを設定し、設定された仮想視点を示す視点情報を画像生成部４０９に送信する。エリア管理部４０７は、撮影対象の各競技が行われる競技エリアと、注目対象として指定されている競技とを示す競技エリア情報を管理する。そして、情報取得部４０５より受信した選択情報に基づいて競技エリア情報を更新し、更新されたことをモデル表示判定部４０８に通知する。

図５を用いて、エリア管理部４０７により管理される競技エリア情報の例について説明する。図５（Ａ）に示すように、撮影領域２００内には走り幅跳びが行われる部分領域であるエリア５０１と、棒高跳びが行われる部分領域であるエリア５０２と、１００ｍ走が行われる部分領域であるエリア５０３が含まれる。この例では各エリアが重なりなく設定されているが、複数のエリアの一部が重なっていてもよい。

図５（Ｂ）は競技エリア情報５１０の一例を示す。競技エリア情報５１０には、複数の競技種目と、各競技が行われる競技エリアを示す座標情報と、各競技が注目対象として指定されているかを示す競技指定情報が含まれる。図５（Ｂ）の例では、棒高跳びが注目対象の競技として指定されている。なお、競技エリアの座標情報は、撮影対象となる競技場に応じて予め設定されているものとする。ただし、競技エリアの座標情報は、実際の競技の進行状況に応じて修正できるようにしても良いし、ユーザ端末１３０からの情報取得部４０５を介した入力に応じて修正できるようにしても良い。

また、図５（Ｂ）では競技エリアがＸ軸及びＹ軸の２次元座標で表される例を示したが、競技エリアがＺ軸方向（高さ方向）の座標を含む３次元座標で表されても良い。また、図５の例では、競技エリアが２点の座標を頂点とする長方形であるものとしたが、競技エリアの形状はこれに限定されず、また競技に応じて競技エリアの形状が異なっていてもよい。また、時間によって撮影領域２００内で実施される競技内容やその競技エリアが変わる場合は、競技エリア情報５１０は上記の情報に加えて、各競技の時刻情報を有していてもよい。この場合、予め競技進行スケジュールに基づいて競技の時刻情報が入力されても良いし、実際の競技の進行状況や撮影状況に応じて時刻情報が更新されるようにしても良い。

モデル表示判定部４０８は、競技エリア情報に基づいて、撮影領域２００内の複数の領域であってそれぞれ異なるイベントが行われる複数の領域のうち、注目対象として指定された競技に対応する１以上の領域を特定する。競技エリア情報が各競技の時刻情報を有する場合には、モデル表示判定部４０８は、その時刻情報に基づいて注目されるべきイベントが行われる領域を特定してもよい。これにより、競技の選択に係るユーザ操作の手間を削減できる。

そしてモデル表示判定部４０８は、モデル生成部４０４からモデル情報を取得し、モデル情報が表す撮影領域２００内の各オブジェクトについて、仮想視点画像における表示を行うか否かを判定し、判定結果を画像生成部４０９に送信する。本実施例での判定方法としては、注目対象として指定された競技の競技エリア内に各オブジェクトが位置するか否かが判定され、指定された競技エリア内に位置するオブジェクトのみが仮想視点画像における表示対象となるものとする。

なお、本実施形態では、オブジェクトが特定の競技エリア内に位置するかを判定する基準として、オブジェクト全体（人物の場合は身体全体）がそのエリアに含まれている場合にそのオブジェクトがエリア内に位置すると判定するものとする。ただしこれに限らず、例えばオブジェクトの半分以上の部分がそのエリアに含まれる場合にそのオブジェクトがエリア内に位置すると判定されてもよい。または、オブジェクトの特定の部分（例えば重心又は地面に接する部分）がそのエリアに含まれる場合にそのオブジェクトがエリア内に位置すると判定されてもよい。

画像生成部４０９は、モデル表示判定部４０８からモデル表示の判定結果を受信し、表示を行うと判定されたオブジェクトのモデル情報を、モデル生成部４０４から取得する。そして画像生成部４０９は、モデル生成部４０４から取得したモデル情報と、データ保持部４０３から取得した前景画像データ及び背景画像データと、視点設定部４０６により設定された仮想視点を示す視点情報に基づいて、仮想視点画像を生成する。具体的には、仮想視点から見たモデルに対して、画像データの色情報を用いてレンダリング処理を行う。画像生成部４０９は、生成した仮想視点画像を画像出力部４１０に送信する。画像出力部４１０は、画像生成部４０９から受信した仮想視点画像を、ユーザ端末１３０に送信する。

なお、画像生成装置１２０の構成は図４に示した例に限定されず、図４に示した構成要素の一部が画像生成装置１２０とは別の装置に実装されていてもよい。例えば、前景背景分離部４０２が撮影装置１１０に実装され、画像生成装置１２０は前景背景分離により得られた画像データを撮影装置１１０から取得してもよい。

［動作フロー］
次に図６を用いて、本実施形態に係る画像生成装置１２０の処理フローについて説明する。図６に示す処理は、画像生成装置１２０のＣＰＵ３０１がＲＯＭ３０２に格納されたプログラムをＲＡＭ３０３に展開して実行することで実現される。なお、図６に示す処理の少なくとも一部を、ＣＰＵ３０１とは異なる１又は複数の専用のハードウェアにより実現してもよい。図６に示す処理は、画像生成装置１２０が撮影装置１１０及びユーザ端末１３０と接続され、仮想視点画像の生成に係る処理を行うための指示が画像生成装置１２０に入力されたタイミングで開始される。ただし、図６に示す処理の開始タイミングはこれに限定されない。なお、図６を用いた以下の説明においては、予め撮影装置１１０により撮影された複数のフレームから構成される動画の複数視点画像に基づいて、動画の仮想視点画像が生成されるものとする。ただし、撮影装置１１０による撮影と並行してリアルタイムで動画の仮想視点画像が生成されてもよい。また、静止画の仮想視点画像が生成されてもよい。

Ｓ６００において、画像取得部４０１が撮影装置１１０から複数視点画像を取得し、前景背景分離部４０２が複数視点画像から前景画像データを抽出する。そしてモデル生成部４０４が、前景画像データに基づいてオブジェクトのモデル情報を取得する。Ｓ６０１において、情報取得部４０５がユーザ端末１３０から注目対象の競技を選択する操作に応じた選択情報を取得し、エリア管理部４０７は選択情報に基づいて競技エリア情報を更新する。

図７に、画像生成装置１２０による表示制御に基づいて、競技選択時にユーザ端末１３０に表示されるＧＵＩ画面の例を示す。ユーザ端末１３０が有する表示部７１０には、画面７００が表示される。画面７００は、競技場の全体図と、エリア管理部４０７で管理される各競技の競技エリアを示す。ユーザは競技場内における各競技の競技エリア（図７の例では走り幅跳びのエリア７０１と、棒高跳びのエリア７０２と、１００ｍ走のエリア７０３）を認識しながら、注目したい対象の競技を選択できる。また、画面７００内の競技選択メニュー７０４は、選択可能な競技のうち、注目対象として現在選択中の競技（図７の例では棒高跳）とそれ以外の競技（図７の例では走幅跳と１００ｍ走）を識別可能に示す。選択可能な競技としては、進行中の競技のみが表示されても良いし、すでに終了した競技や将来行われる競技も併せて表示されても良い。また、新たな競技が開始された場合には、それをユーザに通知するメッセージが画面７００に表示されてもよい。

なお、図７の例では１つの競技が選択されているが、２以上の競技が選択されてもよい。また、本実施形態ではユーザが競技を選択し、画像生成装置１２０が選択された競技に対応するエリアを特定するものとするが、これに限らず、ユーザが注目対象の領域を直接選択してもよい。また、ユーザが非注目対象の競技又は領域を選択し、画像生成装置１２０はその選択に応じた入力に基づいて注目対象の領域を特定してもよい。

Ｓ６０２において、モデル表示判定部４０８は、モデル生成部４０４からモデル情報を取得し、モデル情報が示す撮影領域２００内の複数のオブジェクトの中から、判定対象のオブジェクトを選択する。Ｓ６０４において、モデル表示判定部４０８は、エリア管理部４０７から競技エリア情報を取得し、Ｓ６０２で選択されたオブジェクトが、注目対象として指定されている競技の競技エリア内に位置するかを判定する。選択されたオブジェクトが競技エリア内に位置する場合、Ｓ６０４においてモデル表示判定部４０８は、そのオブジェクトを仮想視点画像における表示対象に設定する。一方、選択されたオブジェクトが競技エリア内に位置しない場合、Ｓ６０５においてモデル表示判定部４０８は、そのオブジェクトを仮想視点画像における表示対象に設定しない。

Ｓ６０６において、モデル表示判定部４０８は、モデル情報が示す全てのオブジェクトに対して表示又は非表示の設定がされたかを判定する。未設定のオブジェクトがある場合にはＳ６０２に戻り、判定対象のオブジェクトが新たに選択される。一方、すべてのオブジェクトについて設定が完了した場合はＳ６０７に進む。

Ｓ６０７において、視点設定部４０６は、ユーザ端末１３０から情報取得部４０５を介して入力された情報に基づいて仮想視点を設定し、視点情報を更新して画像生成部４０９に送信する。Ｓ６０８において、画像生成部４０９は、Ｓ６０４で表示対象に設定されたオブジェクトのモデル情報をモデル生成部４０４から取得する。そして画像生成部４０９は、表示対象のオブジェクトのモデル情報と、Ｓ６０７で受信した視点情報と、データ保持部４０３から取得した前景及び背景画像データに基づいて、仮想視点の位置及び向きに応じた仮想視点画像を生成する。ここで生成される仮想視点画像には、表示対象に設定されたオブジェクト（注目対象の競技に対応する領域内に位置するオブジェクト）のうち仮想視点の位置及び向きに応じた視界内のオブジェクトが含まれる。Ｓ６０９において、画像出力部４１０は、Ｓ６０８で生成された仮想視点画像をユーザ端末１３０に出力する。

［仮想視点画像の例］
図８を用いて、図６のＳ６０８で生成される仮想視点画像について具体的に説明する。図８（Ａ）は、撮影領域２００内の注目対象として指定された棒高跳エリア８０１と、Ｓ６０７で設定された仮想視点８０２と、オブジェクト８０３及びオブジェクト８０４との位置関係を示す。オブジェクト８０３は、棒高跳エリア８０１のエリア内に位置し、オブジェクト８０４は、棒高跳エリア８０１のエリア外に位置する。また、仮想視点８０２の位置及び向きに応じた視野内にオブジェクト８０３及びオブジェクト８０４が含まれているものとする。

図８（Ｂ）は、図８（Ａ）に示す状況に応じてＳ６０８で生成される仮想視点画像生成の表示例を示す。ユーザ端末１３０の表示部７１０に、仮想視点画像８００が表示されている。仮想視点画像８００において、棒高跳エリア８０１のエリア内に位置するオブジェクト８０３は表示されるが、棒高跳エリア８０１のエリア外に位置するオブジェクト８０４は表示されていない。すなわち、画像生成装置１２０は、指定された棒高跳びエリア８０１外のオブジェクト８０４の表示が制限され、指定された棒高跳びエリア８０１内のオブジェクト８０３のみが表示されるような仮想視点画像８００を生成している。図８（ｂ）においてはオブジェクト８０４を模式的に点線で示しているが、実際にはオブジェクト８０４は仮想視点画像８００に表示されず、仮想視点画像８００を見るユーザからは視認できない。

このような仮想視点画像８００が表示されることにより、ユーザ端末１３０を用いて仮想視点画像８００を見るユーザは、注目対象として指定したエリア内の画像に集中することができる。例えば、注目対象を棒高跳びとした場合に、幅跳びの選手が表示されないことにより、棒高跳びの競技の仮想視点画像８００の見やすさが向上する。

なお、上記の説明においては、注目対象として指定された競技に対応する競技エリア（指定エリア）外のオブジェクトが表示されないものとしたが、画像生成装置１２０は指定エリア内に位置しないオブジェクトの表示を制限すればよい。すなわち、画像生成装置１２０は、撮影領域２００内のオブジェクトのうち１以上の指定エリア内に位置しないオブジェクトの表示が制限された仮想視点画像を生成すればよく、制限の内容は表示有無の制限に限定されない。例えば、指定エリア外のオブジェクトに透過処理を施して半透明で表示することで、そのオブジェクトの表示の視認性を低減させるように表示制限がされても良い。また例えば、指定エリア外のオブジェクトを特定の単色で着色することで目立たないようにしても良い。また、指定エリア外のオブジェクトのうち、仮想視点から見て指定エリアの手前側にあるオブジェクトと、指定エリアの奥側にあるオブジェクトとの表示態様がそれぞれ異なってもよい。

また、モデル表示判定部４０８は、指定エリア外のオブジェクトの表示を制限するか否か、又は指定エリア外のオブジェクトの表示の制限内容を、ユーザ端末１３０からの入力等に基づいて設定してもよい。そして画像生成部４０９は、その設定に応じて仮想視点画像を生成してもよい。

また、指定エリア外のオブジェクトについて、オブジェクトの種別毎に表示態様を異ならせたり、オブジェクトの種別ごとに表示有無を選択したりできるようにしても良い。例えば、仮想視点の位置及び向きに応じた視野に含まれ且つ指定エリア内に位置しないオブジェクトのうち、人物のオブジェクトは表示されず、マットやポールなどの器具のオブジェクトは表示されるようにしてもよい。これにより、指定エリア外の人物を非表示にすることで指定エリア内のオブジェクトの視認性を向上させつつ、指定エリア外の器具は表示させることで競技場の臨場感を維持することができる。なお、オブジェクトの種別は人物と器具に限定されず、例えば動体と静止物体とを異なる種別のオブジェクトとして扱ってもよい。

また、ユーザ端末１３０からの入力に応じて仮想視点の設定を行う際の、仮想視点の初期値が、注目対象として指定された競技に応じて異なっていても良い。例えば、仮想視点の初期位置が指定エリアの中央位置に設定されても良いし、競技に応じた最も注目すべきポイント（１００ｍ走のゴールや、高跳びのバーなど）が見えるように設定されても良い。また、仮想視点の初期状態を、過去に同じ競技が指定された際の仮想視点の状態に設定しても良い。この場合、画像生成装置１２０は、ユーザ操作により選択された競技に応じた仮想視点の位置及び向きを示す視点情報を取得する。そして、競技ごとの仮想視点を示す情報がエリア管理部４０７で管理され、ユーザ端末１３０に送信される。また、ユーザ端末１３０からの入力に応じて仮想視点の設定を行う際に、指定エリア内でのみ仮想視点の位置を指定可能なように制限されても良い。また、指定エリアがある方向にのみ仮想視点の向きを指定可能なように制限されても良い。このような処理により、競技ごとの見やすい視点に応じた仮想視点画像をユーザに提供できる。

また、エリア管理部４０７は、図１１に示すような、複数の仮想視点（仮想視点Ａ～Ｆ）と競技とを対応付ける対応情報を保持していてもよい。この場合、ユーザはユーザ端末１３０を介して、仮想視点Ａ～Ｆの中から特定の仮想視点を選択する。情報取得部４０５はこの選択操作に応じた入力を受け付け、視点設定部４０６は選択に応じた仮想視点を設定する。そしてエリア管理部４０７は、選択された仮想視点に対応付けられた競技のエリアを指定エリアとして設定する。これにより、Ｓ６０１の競技選択が行われなくても、仮想視点に対応付けられた競技エリア内のオブジェクトのみが表示される仮想視点画像が生成される。図１１に示す対応情報によれば、１つの競技に複数の仮想視点を対応付けることができるため、ユーザは複数の仮想視点を切り替えながら競技を観戦することができる。それぞれの仮想視点の位置及び向きは競技に応じて予め定められていてもよいし、各仮想視点の位置及び向きを変更可能にして、変更された各仮想視点の位置及び向きを保持するようにしてもよい。エリア管理部４０７が保持する対応情報における仮想視点と競技との対応関係は、予め定められていてもよいし、ユーザ端末１３０の操作に応じて設定及び変更できるようにしてもよい。また、それぞれの仮想視点を識別するための名称をユーザが設定できるようにしてもよい。

なお、図１１を用いた上記の例では複数の仮想視点から特定の仮想視点を選択するユーザ操作に応じて指定エリアが設定されるものとしたが、これに限らず、ユーザに指定された仮想視点の位置及び向きを示す視点情報に基づいて指定エリアが設定されてもよい。すなわち、ユーザがユーザ端末１３０を介して仮想視点を自由に指定し、エリア管理部４０７は複数の競技エリアのうち指定された仮想視点に対応する競技エリアを特定して、その競技エリアを指定エリアとして設定してもよい。指定された仮想視点に対応する競技エリアは、例えば、仮想視点に最も近い競技エリアや、仮想視点画像に最も大きく映る競技エリアなどであってもよい。

また、上述した実施形態では、指定エリア外のオブジェクトを非表示とする場合に、画像生成部４０９が指定エリア内のオブジェクトのモデル情報を取得し、そのモデル情報と仮想視点を示す視点情報とに基づいて仮想視点画像を生成するものとした。すなわち、モデル生成部４０４により生成されたモデル情報のうち、指定エリア内に位置しないオブジェクトのモデル情報を用いずに仮想視点画像が生成されるものとした。ただし、仮想視点画像の生成方法はこれに限定されない。例えば、画像生成部４０９は、仮想視点の視野に含まれる範囲を特定し、指定エリア内のオブジェクトのうちその視野の範囲内に位置するオブジェクトのモデル情報を取得してもよい。これにより、画像生成部４０９が処理するモデル情報のデータ量を削減できる。

また、画像生成装置１２０は、モデル情報を取得する前に指定エリアの選択を受け付け、指定エリア内のオブジェクトのモデル情報をモデル生成部４０４により生成し、指定エリア外のオブジェクトのモデル情報を生成しなくてもよい。この場合、限られたエリア内のオブジェクトのモデルのみ生成されるため、モデル生成時間を短縮できるという効果がある。ただし、画像生成装置１２０に複数のユーザ端末１３０が接続され、複数のユーザ端末１３０によりそれぞれ異なる競技が選択されうる場合は、この限りでない。このような場合は、画像生成装置１２０は撮影領域２００内のオブジェクト全体のモデルを生成し、各ユーザ端末１３０からの競技選択の情報に基づいて、それぞれのユーザ端末１３０用の仮想視点画像を並行して生成してもよい。

［オブジェクトの位置履歴を用いる例］
以下では、オブジェクトの位置履歴を用いて、仮想視点画像における各オブジェクトの表示有無を判定する場合について説明する。この場合、モデル表示判定部４０８は、複数の時刻におけるオブジェクトの位置を示すモデル情報を取得し、モデル毎の位置履歴を保持する。そしてモデル表示判定部４０８は、エリア管理部４０７から取得した競技エリア情報と各オブジェクトの位置履歴に基づいて、各オブジェクトの表示を行うか否かを判定する。

図９を用いて、オブジェクトの位置変化と位置履歴について説明する。９（Ａ）は、複数の撮影時刻（ｔ１、ｔ２、ｔ３）における、棒高跳エリア９０１、走幅跳エリア９０２、オブジェクト９０３及びオブジェクト９０４の位置関係を示す。図９（Ｂ）は、図９（Ａ）に示す状況に対応するオブジェクトの履歴情報９１０の例を示す。履歴情報９１０は、各撮影時刻において各オブジェクトが位置する競技エリアを示す。

図９の例において、オブジェクト９０４（オブジェクトＢ）は、時刻ｔ１では走幅跳エリア９０２にいるが、時刻ｔ２では棒高跳エリア９０１に位置し、時刻ｔ３では再度、走幅跳エリア９０２に位置している。なお、図９（Ｂ）の例では履歴情報９１０がオブジェクトの位置する競技エリアの履歴を示すものとしたが、履歴情報９１０はオブジェクトの座標の履歴を示しても良いし、オブジェクトが位置する競技エリアの変更の履歴を示してもよい。

次に、オブジェクトの位置履歴を用いる場合の画像生成装置の処理フローについて、図１０を用いて説明する。図１０において、図６を用いて説明した処理と同様の処理については同じ符号を付している。以下では図６を用いて説明した処理フローとの差異を中心に説明する。

Ｓ６００において、モデル生成部４０４によりモデル情報が生成されると、モデル表示判定部４０８はモデル情報に基づいてオブジェクトの位置の履歴を示す履歴情報を生成して保持する。Ｓ６０１からＳ６０３の処理は図６を用いて説明した処理と同様である。

判定対象のオブジェクトが注目対象として指定された指定エリア内に位置する場合、Ｓ１００１においてモデル表示判定部４０８は、判定対象のオブジェクトが他の時刻に指定エリア外に位置するかを履歴情報に基づいて判定する。そして、他の時刻においても対象のオブジェクトが指定エリア内に位置する場合は、Ｓ６０４においてそのオブジェクトは表示対象に設定される。一方、他の時刻において対象のオブジェクトが指定エリア外に位置する場合は、Ｓ６０５においてそのオブジェクトは非表示に設定される。Ｓ６０６以降の処理は図６を用いて説明した処理と同様である。

図９に示した例では、注目対象の競技として棒高跳を選択され、時刻ｔ２の仮想視点画像を生成する場合、オブジェクト９０４は時刻ｔ２の時点では棒高跳エリア９０１に位置する。しかし、オブジェクト９０４は他の時刻ｔ１及びｔ３では棒高跳エリア９０１の外（走幅跳エリア９０２）に位置するため、オブジェクト９０４は非表示に設定され、時刻ｔ２の仮想視点画像に表示されない。

このようにすることによって、注目競技と異なる競技の選手が注目競技のエリアに一時的に侵入した場合等に、その選手を仮想視点画像に表示させないようにすることができる。これにより、注目競技に関係ないオブジェクトが表示されたり消えたりすることによる仮想視点画像の見やすさの低下を抑制することができる。

なお、図９の例では時刻ｔ１～ｔ３の３つの時刻に対応するオブジェクトの履歴情報を示したが、画像生成装置１２０は競技が撮影される期間全体に含まれる各時刻のオブジェクトの位置を示す履歴情報を保持してもよい。ただし、Ｓ１００１の判定の際には、生成する仮想視点画像の時刻の前あるいは後の一方におけるオブジェクトの位置履歴が判定対象となっても良いし、仮想視点画像の時刻を含む一定期間におけるオブジェクトの位置履歴が判定対象となってもよい。例えば、ある時刻の仮想視点画像において、その時刻に指定エリア内に位置するオブジェクトのうち、その時刻の前後数分の期間内に指定エリア内に位置しないオブジェクトは表示されず、当該期間内に指定エリア内に位置するオブジェクトは表示されてもよい。

また、指定エリア内に位置する時間が指定エリア外に位置する時間より長いオブジェクトを表示対象にしてもよいし、少なくとも１時刻において指定エリア内に位置したモデルを表示対象としても良い。また、他の時刻に指定エリア外にいるオブジェクトであっても、生成する仮想視点画像の時刻において指定エリア内の中央付近に位置するオブジェクトは表示対象にするなど、エリア内でのオブジェクトの位置に応じて表示有無が決定されてもよい。

また、同様にオブジェクトの位置履歴を用いて、指定エリア外に一時的に出てしまったオブジェクトを表示対象のままにしても良い。例えば、ある時刻の仮想視点画像において、その時刻に指定エリア外に位置するオブジェクトのうち、その時刻の前後数分の期間内に指定エリア内に位置しないオブジェクトは表示されず、当該期間内に指定エリア内に位置するオブジェクトは表示されてもよい。図９の例では、オブジェクト９０４は時刻ｔ２では走幅跳エリア９０２の外（棒高跳エリア９０１）に位置するが、他の時刻ｔ１及びｔ３では走幅跳エリア９０２にいるため、注目対象として走幅跳が指定された場合にオブジェクト９０４を表示対象としても良い。これにより、注目対象の競技の選手が競技の合間に一時的に指定エリアから離れてしまうような場合にも、その選手の様子を仮想視点画像に映し続けることができる。

また、オブジェクトの位置履歴を基に、各オブジェクトに対応する競技（各選手が参加している競技）を判定しても良い。その場合、判定対象のオブジェクトが最も長い時間位置するエリアの競技をそのオブジェクトに対応する競技としても良い。また、オブジェクトが２以上のエリアに同程度の時間だけ位置する場合には、２つ以上の競技をそのオブジェクトに対応付けても良い。２以上の競技エリアの一部が重なる場合には、重なったエリアに位置するオブジェクトの位置履歴を用いることで、そのオブジェクトがどちらの競技に対応するオブジェクトかを判定することもできる。

以上説明したように、本実施形態に係る画像生成装置１２０は、撮影領域２００をそれぞれ異なる方向から撮影する複数の撮影装置１１０による撮影に基づく複数視点画像を取得する。また、画像生成装置１２０は、仮想視点の位置及び向きを示す視点情報を取得し、撮影領域２００で行われるイベントのうち特定のイベントが行われる撮影領域２００内の部分領域を特定する。そして画像生成装置１２０は、撮影領域２００内のオブジェクトのうち特定された部分領域内に位置しないオブジェクトの表示が制限された仮想視点画像を、複数視点画像と視点情報とに基づいて生成する。

このような構成によれば、撮影画像に基づいて生成される仮想視点画像において、撮影領域内の特定のイベントが行われる領域を見やすくすることができる。例えば、ユーザが１００ｍ走を観戦しようとした場合に、１００ｍ走の選手を走り幅跳びの選手が隠してしまったり、画像に映りこんでいる走り幅跳びが気になってユーザが１００ｍ走に集中できなくなったりすることのない、見やすい仮想視点画像を提供できる。

なお、本実施形態では、陸上競技場において複数種目の陸上競技が行われる例を中心に説明したが、これに限らず、体操や柔道、レスリングのように同じ競技場で複数の競技あるいは複数の試合が同時進行する場合にも本実施形態を適用できる。すなわち、同じ競技場で行われる複数の競技又は試合のうち、特定の競技又は試合が行われるエリアの外に位置するオブジェクトの表示が制限された仮想視点画像を生成することができる。あるいは、同会場で競技に限らない複数のイベントが同時に進行される場合にも、同様に本実施形態を適用できる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。

１００ 画像生成システム
１１０ 撮影装置
１２０ 画像生成装置
１３０ ユーザ端末
２００ 撮影領域

Claims (20)

1. 撮影領域をそれぞれ異なる方向から撮影する複数の撮影装置による撮影に基づく複数の画像を取得する画像取得手段と、
   仮想視点の位置及び向きを示す視点情報を取得する情報取得手段と、
   前記撮影領域で行われるイベントのうち特定のイベントが行われる前記撮影領域内の部分領域を特定する特定手段と、
   前記仮想視点の位置及び向きに応じた仮想視点画像であって、前記撮影領域内のオブジェクトのうち前記特定手段により特定された前記部分領域内に位置しないオブジェクトの表示が制限された仮想視点画像を、前記画像取得手段により取得された前記複数の画像と前記情報取得手段により取得された視点情報とに基づいて生成する画像生成手段と、を有し、
   前記特定手段は、前記情報取得手段により取得された視点情報に基づいて、前記撮影領域内の複数の所定の領域のうち前記視点情報に対応する１以上の前記部分領域を特定することを特徴とすることを特徴とする画像処理装置。
2. 前記画像生成手段により生成される仮想視点画像において、前記仮想視点の位置及び向きに応じた視野に含まれるオブジェクトであって且つ前記特定手段により特定された前記部分領域内に位置するオブジェクトが表示されることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像生成手段により生成される仮想視点画像において、前記特定手段により特定された前記部分領域内に位置しないオブジェクトは表示されないことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像生成手段により生成される仮想視点画像において、前記特定手段により特定された前記部分領域内に位置しないオブジェクトが半透明で表示されることを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記画像生成手段により生成される仮想視点画像において、前記仮想視点の位置及び向きに応じた視野に含まれ且つ前記特定手段により特定された前記部分領域内に位置しないオブジェクトのうち、第１種別のオブジェクトは表示されず、第２種別のオブジェクトは表示されることを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記第１種別のオブジェクトは器具であり、前記第２種別のオブジェクトは人物であることを特徴とする請求項５に記載の画像処理装置。
7. 前記画像生成手段により生成される所定の時刻の仮想視点画像において、前記仮想視点の位置及び向きに応じた視野に含まれ且つ前記所定の時刻に前記部分領域内に位置しないオブジェクトのうち、所定の期間内に前記部分領域内に位置しないオブジェクトは表示されず、前記所定の期間内に前記部分領域内に位置するオブジェクトは表示されることを特徴とする請求項１又は２に記載の画像処理装置。
8. 前記画像生成手段により生成される所定の時刻の仮想視点画像において、前記仮想視点の位置及び向きに応じた視野に含まれ且つ前記所定の時刻に前記部分領域内に位置するオブジェクトのうち、所定の期間内に前記部分領域内に位置しないオブジェクトは表示されず、前記所定の期間内に前記部分領域内に位置するオブジェクトは表示されることを特徴とする請求項１に記載の画像処理装置。
9. 前記特定手段は、１以上の領域を選択するユーザ操作に基づいて１以上の前記部分領域を特定することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記特定手段は、１以上のイベントを選択するユーザ操作に基づいて１以上の前記部分領域を特定することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
11. 撮影領域をそれぞれ異なる方向から撮影する複数の撮影装置による撮影に基づく複数の画像を取得する画像取得手段と、
    仮想視点の位置及び向きを示す視点情報を取得する情報取得手段と、
    前記撮影領域で行われるイベントのうち特定のイベントが行われる前記撮影領域内の部分領域を特定する特定手段と、
    前記仮想視点の位置及び向きに応じた仮想視点画像であって、前記撮影領域内のオブジェクトのうち前記特定手段により特定された前記部分領域内に位置しないオブジェクトの表示が制限された仮想視点画像を、前記画像取得手段により取得された前記複数の画像と前記情報取得手段により取得された視点情報とに基づいて生成する画像生成手段と、を有し、
    前記特定手段は、前記撮影領域で行われる複数のイベントのうち少なくとも何れかの時刻に関する情報に基づいて、前記部分領域を特定することを特徴とする画像処理装置。
12. 前記撮影領域内のオブジェクトの３次元形状を表すモデル情報を、前記画像取得手段により取得された前記複数の画像に基づいて生成するモデル生成手段を有し、
    前記画像生成手段は、前記モデル生成手段により生成されたモデル情報と前記情報取得手段により取得された視点情報とに基づいて前記仮想視点画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
13. 前記モデル生成手段は、前記特定手段により特定された前記部分領域内に位置しないオブジェクトのモデル情報を生成しないことを特徴とする請求項１２に記載の画像処理装置。
14. 前記画像生成手段は、前記モデル生成手段により生成されたモデル情報のうち、前記特定手段により特定された前記部分領域内に位置しないオブジェクトのモデル情報を用いずに前記仮想視点画像を生成することを特徴とする請求項１２に記載の画像処理装置。
15. 前記特定手段により特定された前記部分領域内に位置しないオブジェクトの表示を制限するか否かを設定する設定手段を有し、
    画像生成手段は、前記設定手段による設定に応じて前記仮想視点画像を生成することを特徴とする請求項１乃至１４の何れか１項に記載の画像処理装置。
16. 前記撮影領域内の複数の領域のうち前記特定手段により特定された前記部分領域を識別可能に示す画像を表示部に表示させる表示制御手段を有することを特徴とする請求項１乃至１５の何れか１項に記載の画像処理装置。
17. 撮影領域をそれぞれ異なる方向から撮影する複数の撮影装置による撮影に基づく複数の画像を取得する画像取得工程と、
    仮想視点の位置及び向きを示す視点情報を取得する情報取得工程と、
    前記撮影領域で行われるイベントのうち特定のイベントが行われる前記撮影領域内の部分領域を特定する特定工程と、
    前記仮想視点の位置及び向きに応じた仮想視点画像であって、前記撮影領域内のオブジェクトのうち前記特定工程において特定された前記部分領域内に位置しないオブジェクトの表示が制限された仮想視点画像を、前記画像取得工程において取得された前記複数の画像と前記情報取得工程において取得された視点情報とに基づいて生成する画像生成工程と、を有し、
    前記特定工程は、前記情報取得工程により取得された視点情報に基づいて、前記撮影領域内の複数の所定の領域のうち前記視点情報に対応する１以上の前記部分領域を特定することを特徴とすることを特徴とする画像処理方法。
18. 前記画像生成工程により生成される仮想視点画像において、前記仮想視点の位置及び向きに応じた視野に含まれるオブジェクトであって且つ前記部分領域内に位置するオブジェクトが表示され、前記部分領域内に位置しないオブジェクトは表示されないことを特徴とする請求項１７に記載の画像処理方法。
19. 撮影領域をそれぞれ異なる方向から撮影する複数の撮影装置による撮影に基づく複数の画像を取得する画像取得工程と、
    仮想視点の位置及び向きを示す視点情報を取得する情報取得工程と、
    前記撮影領域で行われるイベントのうち特定のイベントが行われる前記撮影領域内の部分領域を特定する特定工程と、
    前記仮想視点の位置及び向きに応じた仮想視点画像であって、前記撮影領域内のオブジェクトのうち前記特定工程により特定された前記部分領域内に位置しないオブジェクトの表示が制限された仮想視点画像を、前記画像取得工程により取得された前記複数の画像と前記情報取得工程により取得された視点情報とに基づいて生成する画像生成工程と、を有し、
    前記特定工程は、前記撮影領域で行われる複数のイベントのうち少なくとも何れかの時刻に関する情報に基づいて、前記部分領域を特定することを特徴とする画像処理方法。
20. コンピュータを、請求項１乃至１６の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images