JP6513169B1 - 仮想視点画像を生成するシステム、方法及びプログラム - Google Patents

Abstract

【課題】複数視点画像のデータ伝送時のネットワーク負荷を抑制しつつ、撮影シーン内に存在する構造物等が現実と同じように３次元で表現された自然な仮想視点画像が得られるようにする。【解決手段】本発明に係るシステムは、複数のカメラで撮影した複数視点画像を用いて仮想視点画像を生成するシステムであって、前記複数のカメラにより撮影される静止物体である構造物の３次元モデルである構造物モデルを取得する第１取得手段と、前記複数視点画像から動体であるオブジェクトに対応する前景の画像を抽出した前景画像に基づく３次元モデルであって、前記前景の３次元モデルである前景モデルを取得する第２取得手段と、前記構造物モデルと、前記前景モデルと、前記複数視点画像とを用いて仮想視点画像を生成する生成手段と、を有することを特徴とする。【選択図】図６

Description

本発明は、複数の視点位置から撮像した複数視点画像に基づき、仮想視点からの画像を生成する技術に関する。

昨今、複数台の実カメラで撮影した画像を用いて、3次元空間内に仮想的に配置した実際には存在しないカメラ（仮想カメラ）からの画像を再現する仮想視点画像技術が注目されている。この仮想視点画像技術によれば、例えば、サッカーやバスケットボールの試合におけるハイライトシーンを様々な角度から視聴することが可能になるため、ユーザにより高臨場感を与えることができる。

仮想視点画像の生成には、複数の実カメラが撮影した画像データの画像処理サーバ等への集約と、当該サーバ等における３次元モデル（オブジェクトの形状データ）の生成やレンダリング処理が必要となり得る。

オブジェクトの３次元形状を推定する手法として、「視体積交差法（Visual Hull）」と呼ばれる手法が知られている（特許文献１）。

特開２０１４−１０８０５号公報

従来の３次元形状を推定する技術では、例えば、撮影範囲に存在するサッカーゴールなどの静止物体である構造物については、３次元モデルが生成されない恐れがあった。これは、３次元形状の推定の対象となるオブジェクトは、撮影画像内の動体である人間等の前景の部分であるためである。つまり、サッカーゴールなど静止状態の構造物は背景として扱われる結果、３次元モデルの生成対象とならない。構造物の３次元モデルが生成されていない状態で仮想視点画像を生成すると、動きのない構造物等は動きのある人物等の後ろに２次元的に表現され、地面等に張りついたように表現されてしまい、実際の撮影シーンとはかけ離れた映像表現になってしまう。図１にその一例を示す。図１は、サッカーのワンシーンの仮想視点画像であるが、サッカーゴール（ゴールポスト、クロスバー、ゴールネットの全要素）が芝生のフィールドに張りついたような画像になっている。また、図１３（ｂ）は、相撲のワンシーンの仮想視点画像であるが、押し出されて土俵下に倒れているはずの力士が土俵上に倒れているかのような画像になっている。

本発明は、上記課題に鑑みてなされたものであり、その目的は、静止物体である構造物等であっても、現実に近くなるように３次元で表現された自然な仮想視点画像が得られるようにすることである。

本発明に係る生成装置は、複数の方向から撮影されるオブジェクトに対応する３次元形状データを取得する第１取得手段と、複数の方向から撮影される構造物に対応する３次元形状データを取得する第２取得手段と、複数の方向から撮影される、少なくとも前記オブジェクト及び前記構造物とは異なる背景に対応する背景データを取得する第３取得手段と、仮想視点を示す情報を取得する第４取得手段と、前記第１取得手段により取得された前記オブジェクトに対応する３次元形状データと、前記第２取得手段により取得された前記構造物に対応する３次元形状データと、前記第３取得手段により取得された前記背景データと、前記第４取得手段により取得された前記仮想視点を示す情報とに基づき、仮想視点画像を生成する生成手段と、を有し、前記第２取得手段は、前記オブジェクト及び前記構造物が存在しない状態における第１撮影により得られた撮影画像と、前記構造物が存在し前記オブジェクトが存在しない状態における、前記第１撮影と同じ方向からの第２撮影により得られた撮影画像とに基づき、前記構造物に対応する３次元形状データを生成して取得する、ことを特徴とする。

本発明によれば、静止物体である構造物等であっても、構造物等が現実に近くなるように３次元で表現された自然な仮想視点画像を得ることができる。

従来手法の問題点を説明する図 実施形態１に係る、カメラシステムの配置の一例を示す図 仮想視点画像生成システムのハードウェア構成の一例を示す図 複数のカメラの共通撮影領域を説明する図 ボリュームデータの説明図 実施形態１に係る、構造物モデルの生成過程を示すシーケンス図 （ａ）はサッカーゴールがない状態のフィールドの撮影画像を示し、（ｂ）はサッカーゴールがある状態のフィールドの撮像画像を示す図 サッカーゴールの３次元モデルをボリュームデータ上で示した図 実施形態１に係る、仮想視点画像の生成過程を示すシーケンス図 （ａ）は撮影画像の一例を示し、（ｂ）は前景画像の一例を示し、（ｃ）は仮想視点画像の一例を示す図 選手の３次元モデルをボリュームデータ上で示した図 実施形態１の変形例に係る、カメラシステムの配置の一例を示す図 （ａ）及び（ｂ）は従来手法の問題点を説明する図 土俵を真上から見た俯瞰図上で、その周囲を4つの領域に分けたことを示す図 実施形態２に係る、撮影シーン内の構造物部分の画像データを間引いて伝送する処理の流を示すフローチャート 実施形態２に係る、仮想視点画像の生成処理の流れを示すフローチャート

以下、添付の図面を参照して、本発明を実施する形態について説明する。各実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

実施形態１

近年、カメラの高画質化によって撮影画像の解像度は上がり、そのデータ量は増加する傾向にある。複数のカメラで撮影した複数視点画像のデータを、ネットワーク網を介してサーバ等に送信する際にそのまま送信するとネットワークに大きな負荷が掛かってしまう。さらには、複数視点画像のデータを受信したサーバ等における３次元モデル生成やレンダリング処理時の計算量も増加する。そこで本実施形態では、複数視点画像のデータ伝送時のネットワーク負荷を抑制しつつ、撮影シーン内に存在する構造物等が現実に近くなるように３次元で表現された自然な仮想視点画像を得る態様について説明する。具体的には、撮影シーン内の静止または静止状態に近い状態が継続する構造物を前景でも背景でもない独自属性のオブジェクトとして切り離し、予め３次元モデル化しておく態様を説明する。以下では、サッカーの試合を撮影シーンとし、構造物としてのサッカーゴールを予め３次元モデル化する場合を例に説明を行うものとする。

なお、仮想視点画像とは、エンドユーザ及び／又は選任のオペレータ等が自由に仮想カメラの位置及び姿勢を操作することによって生成される映像であり、自由視点画像や任意視点画像などとも呼ばれる。また、生成される仮想視点画像やその元になる複数視点画像は、動画であっても、静止画であってもよい。以下に述べる各実施形態では、入力される複数視点画像及び出力される仮想視点画像が、共に動画である場合の例を中心に説明するものとする。なお、本実施形態における構造物は、同じアングルから時系列で撮影を行った場合にその位置に変化が見られない静的オブジェクト（静止物体）であればよい。例えば、屋内スタジオなどを撮影シーンとする場合には、家具や小道具を本実施形態でいう構造物として扱うことができる。

図２は、本実施形態に係る、仮想視点画像生成システムを構成する全１０台のカメラシステム１１０ａ〜１１０ｊの配置を、フィールド２００を真上から見た俯瞰図において示した図である。各カメラシステム１１０ａ〜１１０ｊは、地上からある一定の高さにフィールド２００を囲むように設置されており、一方のゴール前を様々な角度から撮影して、視点の異なる複数視点画像データを取得する。芝生のフィールド２００上には、サッカーコート２０１が（実際には白のラインで）描かれており、その左右両端にサッカーゴールが置かれている。また、左側のサッカーゴール２０２の前の×印２０３はカメラシステム１１０ａ〜１１０ｊの共通の視線方向（注視点）を示し、破線の円２０４は注視点２０３を中心としてカメラシステム１１０ａ〜１１０ｊがそれぞれ撮影可能なエリアを示している。本実施形態では、フィールド２００の1つの角を原点として、長手方向をx軸、短手方向をy軸、高さ方向をz軸とした座標系で表すこととする。

図３は、仮想視点画像生成システムのハードウェア構成の一例を示す図である。図３の仮想視点画像生成システムは、カメラシステム１１０ａ〜１１０ｊ、スイッチングハブ１２０、制御装置１３０、サーバ１４０、及びデータベース１５０で構成される。

各カメラシステム１１０ａ〜１１０ｊ内には、レンズや撮像センサなどで構成される撮像部１１１ａ〜１１１ｊ、及び制御装置１３０の指示に従って撮像部の制御や所定の画像処理を行うカメラアダプタ１１２ａ〜１１２ｊが備わっている。カメラアダプタは、制御や画像処理に必要な演算処理装置（ＣＰＵ或いはＡＳＩＣ）やメモリ（ＲＡＭ及びＲＯＭ）を備えている。また、カメラシステム１１０ａ〜１１０ｊの間は、ネットワークケーブル１６０ａ〜１６０ｉによって、隣り合うカメラシステム同士がデイジーチェーン方式で接続されている。カメラシステム１１０ａ〜１１０ｊで撮影された画像データは、ネットワークケーブル１６０ａ〜１６０ｉを介して伝送される。スイッチングハブ（以下、「ＨＵＢ」と表記）１２０は、ネットワーク上のデータ伝送のルーティングを行う。ＨＵＢ１２０とカメラシステム１１０ａとの間はネットワークケーブル１７０ａで接続され、ＨＵＢ１２０とカメラシステム１１０ｊとの間はネットワークケーブル１７０ｂで接続されている。サーバ１４０は、カメラシステム１１０ａ〜１１０ｊから送信されてきた複数視点画像データを加工して、仮想視点画像データを生成する。また、サーバ１４０は、時刻同期信号を生成してシステム全体の同期制御も担う。データベース１５０（以下、「ＤＢ」と表記）は、サーバ１４０から送られてきた画像データを蓄積し、蓄積した画像データを必要に応じてサーバ１５０に提供する。なお、ＨＵＢ１２０とサーバ１４０との間はネットワークケーブル１７０ｃで、サーバ１４０とＤＢ１５０との間はネットワークケーブル１７０ｄで、ＨＵＢ１２０と制御装置１３０との間はネットワークケーブル１１３ｅで接続されている。制御装置１３０は、各カメラシステム１１０ａ〜１１０ｊやサーバ１４０を統括的に制御する。そして、複数視点画像を元にサーバ１４０で生成された仮想視点画像を、例えば不図示の表示装置やネットワーク上の他の情報処理装置に出力する。図３に示すシステム構成では、複数のカメラシステム間をデイジーチェーン方式で接続しているが、ＨＵＢ１２０と各カメラシステム１１０ａ〜１１０ｊをそれぞれ直接接続するスター型接続でも構わない。また、仮想視点画像生成システムを構成するカメラシステムの数は１０台に限定されるものではない。

ここで、本実施形態における複数視点画像データの取得について説明する。まず、サーバ１４０が、時刻同期信号を各カメラシステムに対して送信する（タイムサーバ機能）。各カメラシステム１１０ａ〜１１０ｊにおいては、内部のカメラアダプタ１１２ａ〜１１２ｊの制御下で各撮像部１１１ａ〜１１１ｊが、受信した時刻同期信号に従って撮影を行う。これにより、フレーム単位で同期が取れた動画による複数視点画像の取得が可能になる。具体的には以下のようにして、各カメラシステムで撮影された画像データがサーバ１４０へと順次伝送される。まず、カメラシステム１１０ａにおいて、撮像部１１１ａによって撮影した画像データに対しカメラアダプタ１１２ａにて後述の画像処理を施した後、ネットワークケーブル１６０ａ介して、カメラシステム１１０ｂに伝送する。カメラシステム１１０ｂは、同様の処理を行って、その撮影画像データを、カメラシステム１１０ａから取得した撮影画像データと合わせてカメラシステム１１０ｃに伝送する。各カメラシステムで同様の処理が実行され、１０台のカメラシステム１１０ａ〜１１０ｊそれぞれで取得された計１０視点分の撮影画像データが、ネットワークケーブル１７０ｂを介してＨＵＢ１２０に伝送されて、最終的にサーバ１４０に送られる。サーバ１４０は、受け取った１０視点分の撮影画像データを用いて、後述する構造物モデルの生成、オブジェクトの形状推定、レンダリングといった画像処理を行う。

図４は、上記１０台のカメラシステムのうち４台のカメラシステム１１０ａ〜１１０ｄがそれぞれ有する撮像部１１１ａ〜１１１ｄからの撮影領域を、前述の図２をベースに模式的に表した図である。カメラシステム１１０ａ〜１１０ｄのそれぞれから伸びる三角形の領域４１１〜４１４は、カメラシステム１１０ａ〜１１０ｄにそれぞれ対応する撮影領域を視体積で表したものである。そして、上記４つの三角形で示す撮影領域４１１〜４１４が重なる多角形の領域４１５は、カメラシステム１１０ａ〜１１０ｄの共通撮像領域を表している。ここでは、４台のカメラシステムの場合を例に共通撮像領域を説明したが、同様の方法で、全１０台のカメラシステムにおける共通撮像領域が導出可能である。当然のことながら、全１０台のカメラシステムにおける共通撮影領域は、上述の多角形領域４１５よりも小さくなる。このように共通の注視点を撮像するカメラ群の共通撮像領域は、各カメラが持つ視体積の重複領域を算出することで得ることができる。また、共通撮影領域に存在するオブジェクトの３次元モデルも同様に、各カメラシステムで取得された複数視点画像の重複領域から導出可能である。

次に、本実施形態の特徴の１つである、上述のようにして得た共通撮像領域内に存在する構造物を３次元モデル化する方法について説明する。ここでは、サッカーゴール２０２の３次元モデルを生成する場合を例に説明を行う。まず、フィールド２００上の３次元空間を一定の大きさを持つ立方体（ボクセル）で充填したボリュームデータ（図５を参照）を用意する。ボリュームデータを構成するボクセルの値は０と１で表現され、「１」は形状領域、「０」は非形状領域をそれぞれ示す。図５において、符号５０１がボクセル（実際のサイズよりも説明の便宜上大きく表記）を示している。次に、各カメラシステム１１０ａ〜１１０ｊが備える撮像部１１１ａ〜１１１ｊのカメラパラメータを用いて、ボクセルの３次元座標をワールド座標系からカメラ座標系に変換する。そして、構造物がそのカメラ座標系にある場合は、ボクセルによって当該構造物の３次元形状を表したモデル（構造物モデル）が生成される。なお、カメラパラメータとは、各撮像部１１１ａ〜１１１ｊの設置位置や向き（視線方向）並びにレンズの焦点距離等の情報を指す。

図６は、撮影シーン内に存在する構造物モデルの生成過程を示すシーケンス図である。このシーケンス図で示される一連の処理を、例えば競技場の設営時など、仮想視点画像の元データとなる複数視点画像の本編の撮影開始前（例えば試合開始前）に行っておく。図６においては、１０台のカメラシステム１１０ａ〜１１０ｊの集合を「カメラシステム群」として表記している。

ステップ６０１では、各撮像部１１１ａ〜１１１ｊが、構造物がない（ここでは、サッカーゴール２０２が未設置）状態の対象３次元空間（ここではフィールド２００）を撮影する。図７（ａ）は、サッカーゴール２０２がない状態でのフィールド２００をカメラシステム１１０ｉの撮像部１１１ｉから撮影して得られた画像を示している。視点の異なるこのような撮影画像がそれぞれのカメラシステムにおいて取得される。

次に、ステップ６０２では、各撮像部１１１ａ〜１１１ｊが、構造物がある（ここでは、サッカーゴール２０２０が設置）状態の対象３次元空間（フィールド２００）を撮影する。図７（ｂ）は、サッカーゴール２０２がある状態でのフィールド２００をカメラシステム１１０ｉの撮像部１１１ｉから撮影して得られた画像を示している。ステップ６０１と同様、視点の異なるこのような撮影画像がそれぞれのカメラシステムにおいて取得される。なお、ステップ６０１及び６０２で得た撮影画像データは、各カメラアダプタ１１２ａ〜１１２ｊ内のメモリで保持しているものとする。

ステップ６０３では、各カメラアダプタ１１２ａ〜１１２ｊが、ステップ６０１で得た撮影画像とステップ６０２で得た撮影画像との差分から、構造物が写っている画像領域とそれ以外の背景が写っている画像領域とに分離する。これにより、構造物（ここではサッカーゴール２０２）に対応する画像データとそれ以外の背景（ここではフィールド２００）に対応する画像データが得られる。

ステップ６０４では、各カメラアダプタ１１２ａ〜１１２ｊが、ステップ６０３で得られた構造物に対応する画像データと背景に対応する画像データをサーバ１４０に対して伝送する。

ステップ６０５では、サーバ１４０が、各カメラシステムから受信した構造物の画像データと各カメラシステムのカメラパラメータとに基づいて、前述したボクセルで構成される構造物（ここではサッカーゴール２０２）の３次元モデルを生成する。図８は、サッカーゴール２０２の３次元モデルを、前述のボリュームデータ上にて示した図である。なお、ボクセルそのものではなく、ボクセルの中心を示す点の集合（点群）によって、３次元形状を表現してもよい。こうして生成された構造物モデルは、サーバ１４０内のメモリ或いはＤＢ１５０に保存される。また、構造物の画像データと一緒に受け取った背景の画像データも併せて保存される。

以上が、撮影シーン内の構造物モデルを生成する際の処理の流れである。同様の手法で、例えばコーナーフラッグといった他の構造物の３次元モデルを生成してもよい。なお、本実施形態では、カメラアダプタ側にて構造物とそれ以外の背景との分離を行ったが、これをサーバ１４０側で行ってもよい。

続いて、上述のようにして得られた構造物モデルを用いて、撮影シーン内に存在する構造物が違和感なく表現される仮想視点画像の生成について説明する。図９は、本実施形態に係る、仮想視点画像の生成過程を示すシーケンス図である。図６のシーケンス図と同様、１０台のカメラシステム１１０ａ〜１１０ｊの集合を「カメラシステム群」として表記している。

サッカーの試合開始などに合わせ、ステップ９０１では、制御装置１３０が、サーバ１４０に対し仮想視点画像の元になる複数視点画像の撮影指示（撮影開始コマンド）を送る。続くステップ９０２では、制御装置１３０からの撮影指示を受けて、サーバ１４０が、各カメラシステム１１０ａ〜１１０ｊに対し、時刻同期信号を送信する。そして、ステップ９０３では、各カメラシステム１１０ａ〜１１０ｊが、対象３次元空間（ここでは、フィールド２００上の３次元空間）の撮影を開始する。これにより例えばカメラシステム１１０ｉにおいては、図１０（ａ）で示すような、サッカーの試合中の画像が得られる。そして、視点の異なるこのような画像の撮影がそれぞれのカメラシステムにおいて行われる。

ステップ９０４では、各カメラアダプタ１１２ａ〜１１２ｊにおいて、ステップ９０３で取得した撮影画像から、動きのあるオブジェクトからなる前景（ここでは、選手とボール）のデータを抽出する処理が実行される。この抽出処理は、ステップ９０３で取得した撮影画像と前述のステップ６０２で取得した構造物ありの撮影画像（図７（ｂ））とを比較し、その差分に基づいて前景と背景とに分離する処理と言い換えることができる。図１０（ｂ）は、図１０（ａ）の撮影画像（全景画像）から抽出された前景のみの画像を示している。続くステップ９０５では、各カメラアダプタ１１２ａ〜１１２ｊが、抽出された前景の画像データをサーバ１４０に対して伝送する。このとき、フィールド２００やサッカーゴール２０２に対応する画像領域（背景の画像データ）については、サーバ１４０に伝送されない。よって、その分だけデータ伝送量が抑制される。

ステップ９０６では、ユーザ指示に基づき、制御装置１３０が、仮想視点画像の生成指示（生成開始コマンド）を、仮想視点や注視点に関する情報と共にサーバ１４０に送信する。この際、仮想視点画像を作成・視聴したいユーザは、制御装置１３０が備えるＧＵＩ（不図示）を介して、仮想視点画像の生成に必要な情報を入力する。具体的には、仮想視点の位置やその移動経路、さらにはどこ（どのオブジェクト）を注視するのかといった仮想視点画像の生成に必要な情報（以下、「仮想視点情報」と呼ぶ。）を所定のＵＩ画面を介して設定する。

ステップ９０７では、サーバ１４０が、カメラ群から受信した前景の画像データと前述のカメラパラメータとを用いて、撮影シーン内で動きのあるオブジェクトの３次元モデル（前景モデル）を生成する。ここでは、選手とボールの３次元モデルが前景モデルとして生成されることになる。図１１は、本ステップで生成される選手とボールの３次元モデルのうち、ある一人の選手に対応する３次元モデルを、前述の図８と同様、ボリュームデータ上にて示した図である。

ステップ９０８では、サーバ１４０は、制御装置１３０から受け取った仮想視点情報、ステップ９０７で取得した前景モデル、及び予め生成・取得しておいた構造物モデル及び背景データを用いて、仮想視点画像を生成する。具体的には、例えばVisual Hull手法などを用いて、設定された仮想視点（仮想カメラ）から見た場合の構造物モデルと前景モデルのそれぞれの形状推定を行う。この形状推定処理の結果、撮影シーン内に存在するオブジェクトの３次元形状を表現したボリュームデータが得られる。こうして、仮想視点からみたオブジェクトの３次元形状が得られると、次に、これらオブジェクトの３次元形状を１つの画像に合成する。合成処理の際、設定された仮想視点からの距離が、構造物モデルよりも前景モデルの方が近い場合は、構造物モデルの上から前景モデルをマッピングする。逆に、構造物モデルの方が前景モデルよりも仮想視点に近い場合は、前景モデルの上から構造物モデルをマッピングする。こうして、例えばカメラシステム１１０ｉの撮像部１１１ｉからの視点を高さ方向（+z方向）に異動した点を仮想視点とした場合の仮想視点画像は、図１０（ｃ）に示したような画像となる。図１０（ｃ）に示す仮想視点画像においては、前景モデルである選手とボール、構造物モデルであるサッカーゴールが、いずれも自然な３次元形状にてフィールド２００上にマッピングされているのが分かる。このような処理を、別途設定されたタイムフレーム数分だけ繰り返すことで、動画による所望の仮想視点画像が得られる。

なお、本実施形態では、図９のシーケンスにおいて、背景の画像データを一切伝送しないことでトータルのデータ伝送量の抑制を図っている。この場合、例えば屋外でのスポーツシーンを動画で撮影する場合などでは日照条件などが時系列で変化することから、出来上がる仮想視点画像における背景部分が実際と異なってしまうという問題が起こり得る。このような問題が懸念される場合には、前景の画像データを伝送する合間に、ステップ９０４の前景・背景分離で得られた背景の画像データを適宜伝送してもよい。

また、本実施形態では、構造物モデルの生成と前景モデルの生成とをサーバ１４０で行っているが、これに限定されない。例えば、構造物モデルの生成までをカメラアダプタで行ってそれをサーバ１４０に送信してもよい。或いは他の情報処理装置で生成した構造物モデルのデータをサーバ１４０が取得してもよい。要は、複数視点画像から抽出した前景データから前景モデルを生成する段階で、サーバ１４０において構造物モデルが利用可能な状態になっていればよい。

＜変形例＞
上述の例では、撮影シーン内の構造物を前景でも背景でもない独自属性のオブジェクトとして扱い、予め構造物の３次元モデルを生成・保持しておくことでデータ伝送量の削減を図った。データ伝送量の削減の観点からは、構造物の３次元モデルを背景として扱うことでもその目的は達成可能である。ただし、構造物モデルを背景として扱う場合には、以下のような問題が生じる。

図１２は、撮影シーンが相撲の場合の、本変形例に係る仮想視点画像生成システムを構成する全１０台のカメラシステム１１０ａ〜１１０ｊの配置を示した図である。各カメラシステム１１０ａ〜１１０ｊは、相撲会場の天井に土俵の周りを囲むように設置されており、土俵上を様々な角度から撮影して、視点の異なる複数視点画像データを取得する。この場合、土俵（＝構造物）だけの状態を撮影した画像に基づき３次元モデル化を行ない、得られた土俵の３次元形状を背景として扱う。

ここで、力士２人が相撲を取った結果、例えば図１３（ａ）に示すように片方の力士が土俵上から落ちたとする。この図１３（ａ）の状態を全１０台のカメラシステム１１０ａ〜１１０ｊで撮影してサーバ１４０に対して前景の画像データのみを伝送するケースを考える。サーバ１４０にて前景の画像データを受信したサーバ１４０は、背景として予め作製しておいた土俵の３次元モデル上に前景である力士２人をマッピングすることになる。そうすると、図１３（ｂ）に示すように、押し出されて土俵の外に倒れているはずの力士が土俵の上で倒れているかのような画像になってしまう。つまり、３次元モデル化した構造物を背景として扱う場合、前景の位置によっては自然な仮想視点画像とはならない。そこで、構造物モデルを背景として扱う場合には、自然な仮想視点画像を得られるかどうかを事前に判定し、不自然な仮想視点画像となる可能性が高い場合にユーザに対し警告を行なうことが望ましい。

図１４は、土俵を真上から見た俯瞰図であり、土俵の周りをA、B、C、Dの4つの領域に分けている。このA、B、C、Dの領域それぞれは、土俵の下（土俵外）の部分を示している。中央の×印は、カメラシステム１１０ａ〜１１０ｊ内の撮像部１１１ａ〜１１１ｊの注視点である。本変形例では、仮想視点画像の生成指示があった際に、その前景の位置を確かめる。上記の例では、力士の位置が土俵上であるかどうかを、指定された仮想視点（仮想カメラ）からの距離或いは図示していない土俵全体を俯瞰で撮影しているカメラの画像にも基づき判定する。そして、力士のうち少なくとも１人が土俵上におらず、指定された仮想視点の位置と力士の位置とが、A〜Dのいずれか同じ領域内に存在していなければ仮想視点画像の生成不能と判断し、警告を行なうようにする。一方がAの領域内で他方がCの領域内といったように、仮想視点の位置が存在する領域と、力士のいる位置の領域とが異なる場合は、実際とは異なる場所に力士を貼り付けたような、不自然な仮想視点画像が生成される可能性が高いためである。このように、構造物モデルを背景として扱う場合には、留意が必要である。

本実施形態によれば、構造物についてはその３次元モデルを予め作成しておき、他の前景モデルと異なる扱いをする。これによって、仮想視点画像の元になる複数視点画像のデータ伝送量を抑制しつつ、撮影シーン内の構造物が違和感なく表現された仮想視点画像を生成することが可能となる。

実施形態２

実施形態１は、撮影シーン内の構造物を、前景でも背景でもない独自属性のオブジェクトとして切り離し、予め３次元モデル化してサーバに保持しておくことで、データ転送量を抑制する態様であった。次に、撮影シーン内の構造物を前景として扱いつつ、構造物についてはデータを間引いて伝送することで、データ転送量を抑制する態様を実施形態２として説明する。なお、システム構成など実施形態１と共通する内容については説明を省略ないしは簡略化し、以下では差異点を中心に説明するものとする。

本実施形態でも、実施形態１と同じ、サッカーの試合を撮影シーンとする場合を例に説明を行う。すなわち、カメラシステムの配置は前述の図２と同じであるとの前提で、以下説明を行う。この場合において、構造物であるサッカーゴールを、選手やボールとは区別しつつも、前景モデルとして扱う。図１５は、本実施形態に係る、撮影シーン内の構造物部分の画像データを間引いて伝送する処理の流を示すフローチャートである。図１５のフローは、制御装置１３０のＵＩを介してユーザが仮想視点画像の元になる複数視点画像の撮影を指示した場合に、各カメラシステムにおいてその実行を開始する。すなわち、カメラアダプタ内のＣＰＵ等が所定のプログラムを実行することで実現される。

ここで、図１５のフローの実行開始前には、その準備処理を終えている必要がある。具体的には、各カメラシステム１１０ａ〜１１０ｊにおいて、フィールド２００を構造物がない状態とある状態とで撮影した全景画像（図７（ａ）及び（ｂ）を参照）をそれぞれ取得し、各カメラアダプタ１１２ａ〜１１２ｊ内のメモリに保持しておく。この準備処理は、例えば試合が始まる前の競技場の設営時点に行っておく。なお、準備処理で得られたこれら画像のデータはサーバ１４０へも送信され、後述の仮想視点画像の生成処理で参照するためにサーバ１４０内のメモリに保持される。このような準備処理の完了を前提に、図１５のフローが実行可能となる。

まず、ステップ１５０１では、各カメラアダプタ１１２ａ〜１１２ｊにおいて、その内部に持つカウンタ（不図示）の値が初期化される。具体的には、初期値として“0”が設定される。続くステップ１５０２では、各撮像部１１１ａ〜１１１ｊにおいて、サーバ１４０から送信されてくる時刻同期信号に従った撮影が開始される。次に、ステップ１５０３では、現在のカウンタ値が“０”であるか否かによって、以降の処理の切り分けがなされる。カウンタ値が“０”であればステップ１５０７に進み、“０”以外の値であればステップ１５０４に進む。

ステップ１５０４では、カウンタ値が“１”だけ減算（デクリメント）される。続くステップ１５０５では、各カメラアダプタ１１２ａ〜１１２ｊにおいて、各撮像部１１１ａ〜１１１ｊで撮影した画像（フレーム）から前景の領域を抽出する処理が実行される。具体的には、準備処理で取得・保持しておいた２パターンの全景画像のうち構造物ありの全景画像を用いて、撮影画像との差分を求める処理（前景・背景分離処理）を行う。いま、準備処理で取得した２パターンの全景画像のうち構造物ありの全景画像には、構造物としてのサッカーゴール２０２がフィールド２００上に設置された状態で写っている（図７（ｂ））。したがって、サッカーゴールを含まない、選手やボールといった動的オブジェクトのみが写っている領域を切り出した画像が前景データとして得られることになる。そして、ステップ１５０６では、各カメラアダプタ１１２ａ〜１１２ｊが、ステップ１５０５で得られた構造物を含まない前景データをサーバ１４０に対して送信する。前景データの送信を終えると、ステップ１５１０に進み、撮影終了かどうかが判定される。サーバ１４０から撮影終了の指示を受信していなければステップ１５０３に戻る。

ステップ１５０７では、各カメラアダプタ１１２ａ〜１１２ｊにおいて、各撮像部１１１ａ〜１１１ｊで撮影した画像（フレーム）から前景の領域を抽出する処理が実行される。具体的には、準備処理で取得・保持しておいた２パターンの全景画像のうち構造物なしの全景画像を用いて、撮影画像との差分を求める前景・背景分離処理を行う。いま、準備処理で取得した２パターンの全景画像のうち構造物なしの全景画像には、サッカーゴール２０２が未設置状態のフィールド２００だけが写っている（図７（ａ））。したがって、選手やボールが写っている領域だけでなくサッカーゴールが写っている領域をも併せて切り出した画像が前景データとして得られることになる。つまり、本ステップにおいては、構造物であるサッカーゴールも前景として抽出される。そして、ステップ１５０８では、各カメラアダプタ１１２ａ〜１１２ｊが、ステップ１５０７で得られた「構造物を含んだ前景データ」をサーバ１４０に対し送信する。この際、構造物の領域も前景データに含まれていることが受信したサーバ１４０側でも判るよう、構造物の有無を示す情報（例えば、含む場合を“１”含まない場合を“０”で示す２値フラグ）を付与して送信を行う。続くステップ１５０９では、カウンタに所定の値Ｎ（Ｎ＞１）が設定される。具体的には、各撮像部１１１ａ〜１１１ｊによる動画撮影のフレームレートが６０ｆｐｓの場合、例えば“６０”といった値が設定される。ユーザは、カウンタに設定する所定値を任意の値とすることで、構造物を含んだ前景データを送信する頻度（Ｎ回に１回）を自由に変更することができる。カウンタに対する所定値の設定を終えた後は、ステップ１５１０に進み、撮影終了かどうかが判定される。サーバ１４０から撮影終了の指示を受信していなければステップ１５０３に戻る。

以上が、撮影シーン内の構造物部分の画像データを間引いて伝送する処理の内容である。このような処理を行う結果、例えば所定値としてフレームレートと同じ値がカウンタに設定された場合は、６０回に１回のみ構造物（ここではサッカーゴール）を含む前景の画像データの伝送がサーバ１４０に対しなされることになる。もちろん、選手やボールといった動的オブジェクトは６０回のすべてで（毎フレーム）伝送される。このように、静的オブジェクトである構造物の画像情報に関しては、選手やボールといった動的オブジェクトよりもフレームレートを下げて伝送することができるため、構造物を含む前景の画像データを毎フレーム伝送するよりも伝送効率を格段に上げることができる。また、構造物の画像情報を含む前景画像を構造物の画像情報を含まない前景画像より少ない頻度で送信することで、伝送データを削減することができる。

次に、上述のようにして順次送られてきた前景の画像データを元に、サーバ１４０で仮想視点画像を生成する際の処理について説明する。図１６は、サーバ１４０における仮想視点画像の生成処理の流れを示すフローチャートである。図１６のフローは、カメラシステム１１０ａ〜１１０ｊで撮影され伝送されてきた全ての前景の画像データの中から、ユーザが指定した特定のタイムフレーム（例えば10秒分）分の前景画像を対象に、フレーム単位で実行されるものである。また、この一連の処理は、制御装置１３０の指示に基づき、サーバ１４０内のＣＰＵが所定のプログラムを実行することで実現される。

まず、ステップ１６０１では、設定されたタイムフレーム分の前景の画像データのうち、処理対象となる注目する前景画像（フレーム）が決定される。続くステップ１６０２では、注目前景画像に構造物が含まれているかどうかが、前述の２値フラグに基づき判定される。判定の結果、注目前景画像に構造物が含まれる場合はステップ１６０３へ進み、構造物が含まれない場合はステップ１６０５に進む。

注目前景画像に構造物が含まれる場合のステップ１６０３では、注目前景画像から構造物に対応する画像領域を抽出し、構造物を表す画像（以下、「構造物画像」と呼ぶ）が生成される。この生成処理は、以下のような手順で行われる。まず、前述の準備処理で取得され予め保持しておいた構造物ありの状態の撮影画像（全景画像）と注目前景画像との差分を求め、前景に対応する画像領域を取り出す。次に、当該取り出した前景に対応する画像領域と、予め保持しておいた構造物なしの状態の撮影画像（全景画像）とを合成する。そして、当該合成によって得られた合成画像と、注目前景画像との差分を求め、構造物に対応する画像領域のみを表す構造物画像が得られる。そして、ステップ１６０４にて、ステップ１６０３で生成された構造物画像のデータが、サーバ１４０内のメモリに保持される。既に構造物画像のデータが保持されている場合は、新たに生成された構造物画像のデータによって上書き（更新）されることになる。生成された構造物画像のデータをメモリに保存した後は、ステップ１６０７に進む。

一方、注目前景画像に構造物が含まれない場合のステップ１６０５では、先行するステップ１６０３及びステップ１６０４の処理で生成・保持された構造物画像のデータが読み出される。続く１６０６では、読み出した構造物画像と、構造物を含まない注目前景画像とが合成され、構造物を含んだ注目前景画像が生成される。

ステップ１６０７では、構造物を前景の一部とした、撮影シーン内のオブジェクトの３次元モデル（前景モデル）が生成される。この際、注目前景画像に元々構造物を含んでいた場合（ステップ１６０２でＹｅｓ）の本ステップでは、当該注目前景画像をそのまま用いて前景モデルが生成される。一方、注目前景画像に元々構造物を含んでいなかった場合（ステップ１６０２でＮｏ）の本ステップでは、ステップ１６０６で構造物が合成された注目前景画像を用いて前景モデルが生成される。いずれの場合においても、選手やボールといった動的オブジェクトに加え、構造物（静的オブジェクト）であるサッカーゴールをも含んだ前景モデルが生成されることになる。

ステップ１６０８では、ユーザによって別途設定された仮想視点の位置情報に基づいて、ステップ１６０７で生成した前景モデルを当該仮想視点から見た場合の形状推定を行ない、仮想視点画像が生成される。

以上が、本実施形態に係る、サーバ１４０での仮想視点画像の生成処理の内容である。 本実施形態のように、撮影シーン内の構造物を前景として扱いつつその画像データを間引いて伝送することによっても、実施形態１と同様の効果を得ることができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１０ａ〜１１０ｊ カメラシステム
１１２ａ〜１１２ｊ カメラアダプタ
１４０ サーバ

Claims (25)

1. 複数の方向から撮影されるオブジェクトに対応する３次元形状データを取得する第１取得手段と、
   複数の方向から撮影される構造物に対応する３次元形状データを取得する第２取得手段と、
   複数の方向から撮影される、少なくとも前記オブジェクト及び前記構造物とは異なる背景に対応する背景データを取得する第３取得手段と、
   仮想視点を示す情報を取得する第４取得手段と、
   前記第１取得手段により取得された前記オブジェクトに対応する３次元形状データと、前記第２取得手段により取得された前記構造物に対応する３次元形状データと、前記第３取得手段により取得された前記背景データと、前記第４取得手段により取得された前記仮想視点を示す情報とに基づき、仮想視点画像を生成する生成手段と、
   を有し、
   前記第２取得手段は、前記オブジェクト及び前記構造物が存在しない状態における第１撮影により得られた撮影画像と、前記構造物が存在し前記オブジェクトが存在しない状態における、前記第１撮影と同じ方向からの第２撮影により得られた撮影画像とに基づき、前記構造物に対応する３次元形状データを生成して取得する、
   ことを特徴とする生成装置。
2. 前記第２取得手段は、前記オブジェクトの撮影開始前に、前記構造物に対応する３次元形状データを生成して取得することを特徴とする請求項１に記載の生成装置。
3. 前記第１撮影により得られた撮影画像と前記第２撮影により得られた撮影画像とに基づく画像であって、かつ前記構造物の領域を他の領域と区別して表す画像に基づき、前記構造物に対応する３次元形状データは生成されることを特徴とする請求項１又は２に記載の生成装置。
4. 前記生成手段は、
   前記第４取得手段により取得された前記仮想視点を示す情報により特定された仮想視点から前記構造物までの距離よりも前記特定された仮想視点から前記オブジェクトまでの距離の方が近い場合は、前記仮想視点画像において前記構造物より前に前記オブジェクトが存在するように、前記構造物に対応する３次元形状データと前記オブジェクトに対応する３次元形状データとを合成し、
   前記特定された仮想視点から前記構造物までの距離の方が前記特定された仮想視点から前記オブジェクトまでの距離よりも近い場合は、前記仮想視点画像において前記構造物より後ろに前記オブジェクトが存在するように、前記オブジェクトに対応する３次元形状データと前記構造物に対応する３次元形状データとを合成する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の生成装置。
5. 前記第１取得手段と前記第２取得手段と前記第３取得手段と前記第４取得手段のうち少なくとも２つ以上は、同じ物理的手段により実現されることを特徴とする請求項１に記載の生成装置。
6. 前記オブジェクトは、動体であることを特徴とする請求項１乃至５のいずれか１項に記載の生成装置。
7. 人物とボールのうち少なくとも一方は、前記オブジェクトであることを特徴とする請求項１乃至６のいずれか１項に記載の生成装置。
8. 前記構造物は、静止状態が継続する物体であることを特徴とする請求項１乃至７のいずれか１項に記載の生成装置。
9. サッカーの試合に用いられるサッカーゴール及びコーナーフラッグの少なくとも一方は、前記構造物であることを特徴とする請求項１乃至８のいずれか１項に記載の生成装置。
10. 前記構造物は、所定の位置に設置された物体であることを特徴とする請求項１乃至９のいずれか１項に記載の生成装置。
11. 前記構造物の少なくとも一部は、オブジェクトである人物が競技を行うフィールド上に設置されていることを特徴とする請求項１乃至１０のいずれか１項に記載の生成装置。
12. 前記構造物は、指定された物体であることを特徴とする請求項１乃至１１のいずれか１項に記載の生成装置。
13. 複数の方向からの撮影により得られた複数の撮影画像に基づき、構造物の領域及びオブジェクトの領域を他の領域と区別して表す第１画像を生成する第１生成手段と、
    複数の方向からの撮影により得られた複数の撮影画像に基づき、前記オブジェクトの領域を他の領域と区別して表す第２画像を生成する第２生成手段と、
    前記第１生成手段により生成された前記第１画像と、前記第２生成手段により生成された前記第２画像とを送信する送信手段と、
    前記送信手段から送信された前記第１画像と前記第２画像とに基づき、前記オブジェクトに対応する３次元形状データを取得する第１取得手段と、
    前記送信手段から送信された前記第１画像に基づき、前記構造物に対応する３次元形状データを取得する第２取得手段と、
    少なくとも前記オブジェクト及び前記構造物とは異なる背景の領域に対応する背景データを取得する第３取得手段と、
    仮想視点を示す情報を取得する第４取得手段と、
    前記第１取得手段により取得された前記オブジェクトに対応する３次元形状データと、前記第２取得手段により取得された前記構造物に対応する３次元形状データと、前記第３取得手段により取得された前記背景データと、前記第４取得手段により取得された前記仮想視点を示す情報とに基づき、仮想視点画像を生成する第３生成手段と、
    を有し、
    前記送信手段は、前記第１画像を、前記第２画像より低い頻度で送信することを特徴とするシステム。
14. 前記送信手段により送信された前記第１画像と前記第２画像とに基づき、前記構造物の領域を他の領域と区別して表す第３画像を生成する第４生成手段を、さらに有することを特徴とする請求項１３に記載のシステム。
15. 前記第１取得手段と前記第２取得手段は、同じ物理的手段であり、
    前記送信手段により前記第２画像が送信された場合、前記送信手段により送信された前記第２画像と、前記第４生成手段により生成された前記第３画像とに基づき、前記オブジェクトに対応する３次元形状データと前記構造物に対応する３次元形状データを取得することを特徴とする請求項１４に記載のシステム。
16. 前記第３生成手段は、
    前記第４取得手段で取得した前記仮想視点を示す情報により特定された仮想視点から前記構造物の距離よりも前記特定された仮想視点から前記オブジェクトまでの距離の方が近い場合は、前記仮想視点画像において前記構造物より前に前記オブジェクトが存在するように、前記構造物に対応する３次元形状データと前記オブジェクトに対応する３次元形状データとを合成し、
    前記特定された仮想視点から前記構造物の距離の方が前記特定された仮想視点から前記オブジェクトまでの距離よりも近い場合は、前記仮想視点画像において前記構造物より後ろに前記オブジェクトが存在するように、前記オブジェクトに対応する３次元形状データと前記構造物に対応する３次元形状データとを合成する
    ことを特徴とする請求項１３乃至１５のいずれか１項に記載のシステム。
17. 前記第１取得手段と前記第２取得手段と前記第３取得手段と前記第４取得手段のうち少なくとも２つ以上は、同じ物理的手段により実現されることを特徴とする請求項１３乃至１６のいずれか１項に記載のシステム。
18. 仮想視点画像を生成する生成方法であって、
    複数の方向から撮影されるオブジェクトに対応する３次元形状データを取得する第１取得工程と、
    複数の方向から撮影される構造物に対応する３次元形状データを取得する第２取得工程と、
    複数の方向から撮影される、少なくとも前記オブジェクト及び前記構造物とは異なる背景に対応する背景データを取得する第３取得工程と、
    仮想視点を示す情報を取得する第４取得工程と、
    前記第１取得工程により取得された前記オブジェクトに対応する３次元形状データと、前記第２取得工程により取得された前記構造物に対応する３次元形状データと、前記第３取得工程により取得された前記背景データと、前記第４取得工程により取得された前記仮想視点を示す情報とに基づき、仮想視点画像を生成する生成工程と、
    を有し、
    前記第２取得工程において、前記オブジェクト及び前記構造物が存在しない状態における第１撮影により得られた撮影画像と、前記構造物が存在し前記オブジェクトが存在しない状態における、前記第１撮影と同じ方向からの第２撮影により得られた撮影画像とに基づき、前記構造物に対応する３次元形状データが生成されて取得されることを特徴とする生成方法。
19. 前記生成工程は、
    前記第４取得工程により取得された前記仮想視点を示す情報により特定された仮想視点から前記構造物までの距離よりも前記特定された仮想視点から前記オブジェクトまでの距離の方が近い場合は、前記仮想視点画像において前記構造物より前に前記オブジェクトが存在するように、前記構造物に対応する３次元形状データと前記オブジェクトに対応する３次元形状データとを合成し、
    前記特定された仮想視点から前記構造物までの距離の方が前記特定された仮想視点から前記オブジェクトまでの距離よりも近い場合は、前記仮想視点画像において前記構造物より後ろに前記オブジェクトが存在するように、前記オブジェクトに対応する３次元形状データと前記構造物に対応する３次元形状データとを合成する
    ことを特徴とする請求項１８に記載の生成方法。
20. 仮想視点画像を生成する生成方法であって、
    複数の方向からの撮影により得られた複数の撮影画像に基づき、構造物の領域及びオブジェクトの領域を他の領域と区別して表す第１画像を生成する第１生成工程と、複数の方向からの撮影により得られた複数の撮影画像に基づき、前記オブジェクトの領域を他の領域と区別して表す第２画像を生成する第２生成工程と、
    前記第１生成工程により生成された前記第１画像と、前記第２生成工程により生成された前記第２画像とを送信する送信工程と、
    前記送信工程から送信された前記第１画像と前記第２画像とに基づき、前記オブジェクトに対応する３次元形状データを取得する第１取得工程と、
    前記送信工程から送信された前記第１画像に基づき、構造物に対応する３次元形状データを取得する第２取得工程と、
    少なくとも前記オブジェクト及び前記構造物とは異なる背景の領域に対応する背景データを取得する第３取得工程と、
    仮想視点を示す情報を取得する第４取得工程と、
    前記第１取得工程により取得された前記オブジェクトに対応する３次元形状データと、前記第２取得工程により取得された前記構造物に対応する３次元形状データと、前記第３取得工程により取得された前記背景データと、前記第４取得工程により取得された前記仮想視点を示す情報とに基づき、仮想視点画像を生成する第３生成工程と、
    を有し、
    前記送信工程は、前記第１画像を前記第２画像より低い頻度で送信することを特徴とする生成方法。
21. 前記送信工程により送信された前記第１画像と前記第２画像とに基づき、前記構造物の領域を他の領域と区別して表す第３画像を生成する第４生成工程を、さらに有することを特徴とする請求項２０に記載の生成方法。
22. 前記オブジェクトに対応する３次元形状データと前記構造物に対応する３次元形状データは、前記送信工程により前記第２画像が送信された場合、前記送信工程により送信された前記第２画像と、前記第４生成工程により生成された前記第３画像とに基づき取得されることを特徴とする請求項２１に記載の生成方法。
23. 前記第３生成工程は、
    前記第４取得工程により取得された前記仮想視点を示す情報により特定された仮想視点から前記構造物までの距離よりも前記特定された仮想視点から前記オブジェクトまでの距離の方が近い場合は、前記仮想視点画像において前記構造物より前に前記オブジェクトが存在するように、前記構造物に対応する３次元形状データと前記オブジェクトに対応する３次元形状データとを合成し、
    前記特定された仮想視点から前記構造物までの距離の方が前記特定された仮想視点から前記オブジェクトまでの距離よりも近い場合は、前記仮想視点画像において前記構造物より後ろに前記オブジェクトが存在するように、前記オブジェクトに対応する３次元形状データと前記構造物に対応する３次元形状データとを合成する
    ことを特徴とする請求項２０乃至２２のいずれか１項に記載の生成方法。
24. コンピュータを、請求項１乃至１２のいずれか１項に記載の生成装置の各手段として動作させるためのプログラム。
25. コンピュータを、請求項１３乃至１７のいずれか１項に記載のシステムの各手段として動作させるためのプログラム。

Images