JP7265825B2 - 生成装置、生成方法およびプログラム - Google Patents

Description

本発明は、生成装置、生成方法およびプログラムに関するものである。

近年、複数のカメラを異なる位置に設置して複数視点で同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点コンテンツを生成する技術が注目されている。複数視点画像から仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。複数視点画像に基づく仮想視点コンテンツの生成及び閲覧は、複数のカメラが撮影した画像をサーバなどの画像処理部に集約し、当該画像処理部により、三次元モデル生成、レンダリングなどの処理を施し、ユーザ端末に伝送を行うことで実現できる。

精細な三次元モデルを生成する代表的な方法として、視体積交差法という計算手法が提案されている。非特許文献１は、複数視点画像から対象物体（前景）の領域（シルエット）を抽出し、視体積交差法により三次元モデル（三次元形状データ）を生成することを開示している。

Ｌａｕｒｅｎｔｉｎｉ Ａ："Ｔｈｅ Ｖｉｓｕａｌ Ｈｕｌｌ Ｃｏｎｃｅｐｔ ｆｏｒ Ｓｉｌｈｏｕｅｔｔｅ－Ｂａｓｅｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ"，ＩＥＥＥ Ｔｒａｎｓｃｒｉｐｔｉｏｎｓ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓａｎｄ ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ, Ｖｏｌ.１６, Ｎｏ.２, ｐｐ.１５０－１６２,Ｆｅｂ.１９９４

しかしながら、非特許文献１に記載の技術では、構造物等の他の物体が対象物体に重なったり、対象物体と背景の色が類似したりする場合には、生成される三次元形状データの一部に欠落が生じてしまう虞がある。

本発明は、上記の課題に鑑みてなされたものであり、オブジェクトの三次元形状データの欠落を抑制し、高品質な三次元形状データを生成するための技術を提供することを目的とする。

上記の目的を達成する本発明に係る生成装置は、
オブジェクトに対応する３次元形状データを生成する生成装置であって、
複数の撮影装置により取得された複数の撮影画像内の前記オブジェクトの領域を表す画像データ、及び、複数の撮影方向の少なくとも一つの撮影方向からの撮影において前記オブジェクトを遮蔽する可能性のある構造物の領域を表す画像データを取得する取得手段と、
前記オブジェクトに対応する３次元形状データを生成するための３次元空間を構成する要素ごとに、当該要素に対応する画素又は領域を前記オブジェクトの領域に含む撮影画像を取得した撮影装置の数を特定する特定手段と、
前記取得手段により取得された前記オブジェクトの領域を表す画像データと、前記取得手段により取得された前記構造物の領域を表す画像データと、前記特定手段により特定された前記撮影装置の数の情報とに基づき、前記オブジェクトに対応する３次元形状データを生成する生成手段と、
を有することを特徴とする。

本発明によれば、オブジェクトの三次元形状データの欠落を抑制し、高品質な三次元形状データを生成することが可能となる。

一実施形態に係る三次元モデルを構成するボクセルの例を示す図。 一実施形態に係る三次元モデル生成装置を含む仮想視点画像生成システムの構成例を示す図。 一実施形態に係る仮想視点画像生成システムのカメラ配置の例を示す図。 （ａ）第１の実施形態に係る三次元モデル生成装置の機能構成の一例を示す図、（ｂ）第１の実施形態に係る三次元モデル生成装置のハードウェア構成の一例を示す図。 第１の実施形態に係る三次元モデル生成装置が実施する処理の手順を示すフローチャート。 本発明の一実施形態に係る複数のカメラにより撮影した撮影画像の例を示す図。 本発明の一実施形態に係る構造物マスク画像の例を示す図。 本発明の一実施形態に係る前景マスク画像の例を示す図。 本発明の一実施形態に係る前景マスク画像と構造物マスク画像とを統合した統合マスク画像の例を示す図。 第１の実施形態に係る競技場システムの三次元モデル生成対象のボクセル空間を示す図。 第１の実施形態に係るＴｒｕｅ Ｃｏｕｎｔ／Ｆａｌｓｅ Ｃｏｕｎｔを示す図。 第１の実施形態に係るＦａｌｓｅ Ｃｏｕｎｔの閾値判定を適用して生成された三次元モデルの一例を示す図。 第１の実施形態に係るＦａｌｓｅ Ｃｏｕｎｔの閾値判定及びＴｒｕｅ Ｃｏｕｎｔの閾値判定を適用して生成された三次元モデルの一例を示す図。 欠落が生じる場合の三次元モデルを表す図。 第２の実施形態に係る三次元モデル生成装置の機能構成の一例を示す図。 第２の実施形態に係る三次元モデル生成装置が実施する処理の手順を示すフローチャート。 第２の実施形態に係る仮想視点画像生成システムのカメラ配置と前景の例を表した図。 第２の実施形態に係るＴｒｕｅ／Ｆａｌｓｅ Ｃｏｕｎｔを示す図。 第３の実施形態に係る三次元モデル生成装置の機能ブロックを表した図。 第３の実施形態に係る三次元モデル生成装置の処理フローを表した図。 第３の実施形態に係る重み加算なしとありによるＴｒｕｅ／Ｆａｌｓｅ Ｃｏｕｎｔを示す図。 視体積交差法による三次元モデル生成の概要を示す図。 第４の実施形態に係る三次元モデル生成装置の機能構成の一例を示す図。 第４の実施形態に係る三次元モデル生成装置が実施する処理の手順を示すフローチャート。 第４の実施形態に係るＦａｌｓｅ Ｃｏｕｎｔ／Ｓｔｒｕｃｔｕｒｅを示す図。

以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

（第１の実施形態）
第１の実施形態では、対象物体（前景、オブジェクト）の三次元モデル（三次元形状データ）を生成するための判定対象となる空間内の各ボクセル（部分領域）について、撮影画像内における対象のボクセルに対応する位置（画素や領域）が前景の領域を示す前景マスク画像に含まれるようなカメラの数が、閾値以下であるか否かを判定する。そして、当該数が閾値以下である場合にそのボクセル（部分領域）を三次元モデルの候補から除去することで、前景の三次元モデルを生成する例を説明する。

具体的には、三次元空間を構成する複数の部分領域それぞれについて、複数のカメラのうち撮影画像内における対象物体の領域を示す前景領域に当該部分領域が含まれるカメラの数が第１の閾値以下であるという条件に合致するか否かを判定する。そして、条件に合致すると判定されなかった部分領域を含む対象物体の三次元モデルを生成する。

＜三次元モデルの表現方法＞
図１（ａ）は立方体の単一ボクセルを示す。図１（ｂ）は三次元モデル生成の対象空間を表したボクセル集合を示す。図１（ｂ）に示すように、ボクセルは三次元空間を構成する微小な部分領域である。そして、図１（ｃ）は対象空間のボクセル集合である図１（ｂ）の集合から四角錐領域以外のボクセルを除去することで四角錐の三次元モデルのボクセル集合を生成した例を示す。なお、本発明では三次元空間及び三次元モデルが立方体のボクセルで構成される例を説明するが、これに限らず点群などで構成されてもよい。なお、ここでいう三次元モデルとは、三次元の形状を表すデータをいう。

＜システム構成＞
図２は、第１の実施形態に係る三次元モデル生成装置を含む仮想視点画像生成システムの構成例を示すブロック図である。仮想視点画像生成システム１は、複数のカメラ１０ａ－カメラ１０ｚを含むカメラアレイ１１、制御装置１２、前景背景分離装置１３、三次元モデル生成装置１４、及びレンダリング装置１５を含んで構成されている。

カメラアレイ１１は、複数のカメラ１０ａ－カメラ１０ｚを含む撮影装置群であり、様々な角度から被写体を撮影して、前景背景分離装置１３および制御装置１２へ画像を出力する。なお、カメラ１０ａ－カメラ１０ｚと前景背景分離装置１３、制御装置１２は、スター型のトポロジーで接続されているものとするが、ディジーチェーン接続によるリング型、バス型等のトポロジーで接続されてもよい。カメラアレイ１１は、例えば図３に示すように競技場の周囲に配置され、全てのカメラで共通したフィールド上の注視点に向けて様々な角度から同期して撮影する。ただし、カメラアレイ１１に含まれるカメラのうちの半数が向けられる注視点と、残りの半数が向けられる別の注視点のように、複数の注視点が設定されてもよい。

ここで、前景とは、仮想視点で任意の角度から見ることを可能とする所定の対象物体（撮影画像に基づいて三次元モデルを生成する対象となる被写体）であり、本実施形態では競技場のフィールド上に存在する人物を指す。一方、背景とは、前景以外の領域であり、本実施形態では競技場全体（フィールド、観客席など）を指す。ただし、前景と背景はこれらの例に限定されない。また、本実施形態における仮想視点画像は、指定可能な視点からの見えを表す画像だけでなく、カメラが設置されていない仮想的な視点からの見えを表す画像全般を含むものとする。

制御装置１２は、カメラアレイ１１で同期して撮影された画像からカメラ１０ａ－カメラ１０ｚの位置や姿勢を示すカメラパラメータを算出し、算出したカメラパラメータを三次元モデル生成装置１４に出力する。ここで、カメラパラメータは、外部パラメータ及び内部パラメータで構成されている。外部パラメータは、回転行列と並進行列とで構成されており、カメラの位置や姿勢を示す。内部パラメータは、カメラの焦点距離や光学的中心等の情報を含み、カメラの画角や撮影センサの大きさ等を示す。

カメラパラメータを算出する処理はキャリブレーションと呼ばれる。カメラパラメータは、例えば、チェッカーボードのような特定パターンをカメラにより撮影した複数枚の画像を用いて取得した三次元の世界座標系の点と、それに対応する二次元上の点との対応関係を用いることで求めることができる。

制御装置１２は、カメラ１０ａ－カメラ１０ｚで撮影される画像の中で、前景の手前に重なる可能性のある構造物領域を示す構造物マスク画像を算出し、算出した構造物マスク画像の情報を出力する。本実施形態では、構造物とは撮影対象空間内に設置された静止物体であり、例としてサッカーゴールを構造物として扱い、各カメラで撮影される画像内におけるゴールの領域を示す画像が構造物マスク画像となる。なお、前景の手前に重なる可能性のある構造物領域とは、少なくとも１つのカメラの撮影方向からの撮影時に前景であるオブジェクトを遮る可能性のあることを意味する。

前景背景分離装置１３は、カメラアレイ１１から入力される複数のカメラで撮影された画像から、前景としてフィールド上の人物が存在する領域と、それ以外の背景の領域とを識別し、前景領域を示す前景マスク画像を出力する。前景領域の識別方法として、予め保持する背景画像と撮影画像との差分のある領域を前景領域として識別する方法や、移動する物体の領域を前景領域として識別する方法などを用いることができる。

ここで、マスク画像とは、撮影画像から抽出したい特定部分を表す基準画像であり、０と１で表される２値画像である。例えば、前景マスク画像は、撮影画像の中で、例えば選手などの前景が存在する領域を示し、撮影画像と同じ解像度で、前景領域を示す画素を１、前景以外の画素を０として表した画像である。ただし、マスク画像の形式はこれに限定されるものではなく、撮影画像内における特定のオブジェクトの領域を示す情報であればよい。

三次元モデル生成装置１４は、複数のカメラにより撮影された複数の撮影画像を用いて三次元モデルを生成する情報処理装置としての機能を有する。まず、制御装置１２からカメラパラメータ及び構造物マスク画像の情報を受信し、前景背景分離装置１３から前景マスク画像を受信する。そして、三次元モデル生成装置１４は、構造物マスク画像と前景マスク画像とを統合して統合領域を示す統合マスク画像を生成する。さらに、前景の三次元モデルを生成する対象となる空間内の各ボクセルが統合マスク画像に含まれないカメラの数、及び、各ボクセルが前景マスク画像に含まれるカメラの数に基づいて、各ボクセルを除去するか否か判定する。そして、除去すると判定されたボクセルを除去した残りのボクセルに基づいて、例えば視体積交差法により前景の三次元モデルを生成し、レンダリング装置１５に出力する。

ここで、図２２を参照して、視体積交差法の基本原理を説明する。図２２（ａ）のように、対象物体Ｃを撮影すると、撮影面Ｓに対象物体の二次元シルエットを表すマスク画像Ｄａが得られる。カメラの投影中心Ｐａからマスク画像の輪郭上の各点を通すように、三次元空間中に広がる錐体が考えられる。この錐体のことを該当するカメラによる対象の「視体積」と呼び、視体積Ｖａを図２２（ｂ）に示す。さらに、図２２（ｃ）に示すように、複数の視体積の共通領域、すなわち視体積の交差を求めることによって、対象物体の三次元モデルを求めることができる。

レンダリング装置１５は、三次元モデル生成装置１４から三次元モデルを受信し、前景背景分離装置１３から前景を示す画像を受信する。また、カメラパラメータより前景を示す画像と三次元モデルとの位置関係を求め、三次元モデルに対応する前景画像を貼り付けることで色付けを行い、三次元モデルを任意視点から観察した仮想視点画像を生成する。なお、仮想視点画像には背景の画像が含まれていてもよい。すなわち、レンダリング装置１５は、三次元空間内に背景のモデルと前景のモデルと視点の位置とを設定することで、背景及び前景を設定された視点から見た仮想視点画像を生成してもよい。

＜三次元モデル生成装置の機能構成＞
続いて、図４（ａ）を参照して、本実施形態に係る三次元モデル生成装置の機能構成を説明する。三次元モデル生成装置１４は、受信部１００、構造物マスク保存部１０１、カメラパラメータ保持部１０２、マスク統合部１０３、座標変換部１０４、マスク内外判定部１０５、閾値設定部１０６、前景モデル生成部１０７及び出力部１０８を備えている。各処理部の機能は、図４（ｂ）を参照して後述するＣＰＵ１００１がＲＯＭ１００２やＲＡＭ１００３から読み出したコンピュータプログラムを実施することにより実現される。

受信部１００は、制御装置１２から、カメラアレイ１１を構成する各カメラのカメラパラメータ及び構造物の領域を示す構造物マスク画像を受信する。また、受信部１００は、前景背景分離装置１３から、カメラアレイ１１の各カメラで撮影された画像と、その画像内の前景領域を示す前景マスク画像を撮影毎に受信する。

構造物マスク保存部１０１は、受信部１００で受信した構造物マスク画像を保存する。構造物マスク画像はカメラの位置に応じた固定の画像である。

カメラパラメータ保持部１０２は、カメラアレイ１１により撮影された各カメラの位置及び／又は姿勢を示す外部パラメータと、焦点距離及び／又は画像サイズを示す内部パラメータとをカメラパラメータとして保持する。

マスク統合部１０３は、カメラアレイ１１で撮影する毎に前景背景分離装置１３から受信される前景マスク画像と、構造物マスク保存部１０１に保存されている構造物マスク画像とを統合して、統合マスク画像を生成する。前景マスク画像と構造物マスク画像との統合方法の詳細は後述する。

座標変換部１０４は、カメラパラメータ保持部１０２に保持されているカメラパラメータに基づいて各撮影画像の世界座標系での位置や画角を算出し、各撮影画像が三次元空間上のどの撮影領域を示すかを表す情報に変換する。

マスク内外判定部１０５は、対象となるボクセル空間内の各ボクセルが前景マスク画像内に含まれるカメラの台数が閾値以下である場合に、当該ボクセルを除去すると判定する。また、対象となるボクセル空間内の各ボクセルが統合マスク画像内に含まれないカメラの台数が他の閾値以上である場合、当該ボクセルを除去すると判定する。

閾値設定部１０６は、マスク内外判定部１０５によりボクセルを除去するか否かを判定するための各閾値を設定する。この閾値は、三次元モデル生成装置１４に対するユーザ操作に応じて設定されてもよいし、閾値設定部１０６が自動で設定してもよい。前景モデル生成部１０７は、対象となるボクセル空間内のボクセルのうち、マスク内外判定部１０５により除去されるべきであると判定されたボクセルを除去して、残ったボクセルに基づいて三次元モデルを生成する。出力部１０８は、前景モデル生成部１０７により生成された三次元モデルをレンダリング装置１５へ出力する。

＜三次元モデル生成装置のハードウェア構成＞
次に、図４（ｂ）を参照して、本実施形態に係る三次元モデル生成装置のハードウェア構成の一例を説明する。三次元モデル生成装置１４は、ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３、記憶装置１００４、及びバス１００５を備え、入力装置１００６及び表示装置１００７と接続されている。

ＣＰＵ１００１は、本実施形態に係る三次元モデル生成装置１４の上述の機能ブロックによる各種動作を制御する。その制御内容は、後述するＲＯＭ１００２やＲＡＭ１００３上のプログラムによって指示される。また、ＣＰＵ１００１は、複数の計算機プログラムを並列に動作させることもできる。ＲＯＭ１００２は、ＣＰＵ１００１による制御の手順を記憶させた計算機プログラムやデータを格納している。ＲＡＭ１００３は、ＣＰＵ１００１が処理するための制御プログラムを格納するとともに、ＣＰＵ１００１が各種制御を実行する際の様々なデータの作業領域を提供する。ＲＯＭ１００２やＲＡＭ１００３などの記録媒体に格納されたプログラムコードの機能は、ＣＰＵ１００１が読み出して実行することによって実現されるが、記録媒体の種類は問わない。

記憶装置１００４は、さまざまなデータ等を記憶することができる。記憶装置１００４は、ハードディスクやフロッピーディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等の記録媒体と、当該記録媒体を駆動して情報を記録するドライブとを有する。保管された計算機プログラムやデータはキーボード等の指示や、各種計算機プログラムの指示により、必要な時にＲＡＭ１００３上に呼び出される。

バス１００５は、各構成要素と接続されているデータバスなどであり、各構成要素間の通信を実現し、情報のやり取りを高速に実現するためのものである。入力装置１００６は、ユーザによる各種入力環境を提供する。各種入力操作環境を提供するものとして、キーボードやマウス等が考えられるが、タッチパネル、スタイラスペン等であってもよい。表示装置１００７は、液晶ディスプレイなどで構成され、各種入力操作の状態やそれに応じた計算結果などをユーザに対して表示する。なお、以上述べてきた構成は一例であり、説明した構成に限定されるものでない。

＜処理＞
図５は、本実施形態に係る三次元モデル生成装置が実施する処理の手順を示すフローチャートである。

Ｓ２０１において、受信部１００は、カメラアレイ１１を構成する各カメラの構造物マスク画像を制御装置１２から受信する。ここで、撮影画像及び構造物マスク画像の一例を説明する。図６は、カメラアレイ１１の一部を構成する５台のカメラで撮影された５つの撮影画像の例を示す。ここでは、フィールド上に人物が一人、ゴールが構造物としてフィールド上に存在しており、図６（ｂ）、図６（ｃ）、図６（ｄ）では人物の手前に構造物であるゴールがあるため、人物の一部が隠れている。図７は、図６に示した各撮影画像に対応する構造物マスク画像を示している。構造物であるゴールの領域が１（白）、構造物以外の領域が０（黒）の２値画像として示されている。

Ｓ２０２において、受信部１００は、前景領域を示す前景マスク画像を前景背景分離装置１３から受信する。ここで、前景マスク画像の一例を説明する。図８は、図６で示した各撮影画像に対応する前景マスク画像を示している。前景背景分離装置１３は、時間的に変化のある領域を前景領域として抽出するため、図８（ｂ）、図８（ｃ）、図８（ｄ）のようにゴールに隠れた人物の一部の領域は前景領域として抽出されない。また、図８（ｅ）では時間的変化の無かった人物の足の一部が前景領域として抽出されていない。

Ｓ２０３において、マスク統合部１０３は、Ｓ２０１及びＳ２０２で受信した構造物マスク画像と前景マスク画像とを統合して統合マスク画像を生成する。図９は、図７で示した構造物マスク画像と図８で示した前景マスク画像とを統合した結果である統合マスク画像の一例を示す。統合マスク画像は２値で表される前景マスク画像と構造物マスク画像とのＯＲ（論理和）により算出する。

Ｓ２０４において、マスク内外判定部１０５は、対象ボクセル空間内から未選択のボクセルを一つ選択する。

Ｓ２０５において、マスク内外判定部１０５は、選択された一つのボクセルが各カメラの統合マスク画像のマスク領域内に含まれないカメラの台数（以降、Ｆａｌｓｅ Ｃｏｕｎｔと呼ぶ）をカウントする。

Ｓ２０６において、マスク内外判定部１０５は、Ｆａｌｓｅ Ｃｏｕｎｔが閾値以上であるか否かを判定する。Ｆａｌｓｅ Ｃｏｕｎｔが閾値以上である場合、選択された一つのボクセルは前景でも構造物でもないと判定できるため、Ｓ２０７へ進む。これにより、明らかに非前景である多くのボクセルを除去することができる。一方、Ｆａｌｓｅ Ｃｏｕｎｔが閾値未満である場合、選択された一つのボクセルは前景又は構造物であると判定できるため、Ｓ２０８へ進む。

Ｓ２０７において、前景モデル生成部１０７は、選択された一つのボクセルを対象ボクセル空間から除去する。Ｓ２０８において、マスク内外判定部１０５は、選択された一つのボクセルが各カメラの前景マスク画像のマスク領域内に含まれるカメラの台数（以降、Ｔｒｕｅ Ｃｏｕｎｔと呼ぶ）をカウントする。

Ｓ２０９において、マスク内外判定部１０５は、Ｔｒｕｅ Ｃｏｕｎｔが他の閾値以下であるか否かを判定する。Ｔｒｕｅ Ｃｏｕｎｔが他の閾値以下である場合、選択された一つのボクセルは構造物であると判定できるため、Ｓ２０７へ進み、選択された一つのボクセルを対象ボクセル空間から除去する。一方、Ｔｒｕｅ Ｃｏｕｎｔが他の閾値を超過する場合、選択された一つのボクセルは前景と判定できるため、対象ボクセル空間から除去しない。

Ｓ２１０において、マスク内外判定部１０５は、対象ボクセル空間内の全てのボクセルについて処理が完了したか否かを判定する。全てのボクセルについて処理が完了した場合、Ｓ２１１へ進む。一方、全てのボクセルについて処理が完了していない場合、Ｓ２０４に戻って、未選択のボクセルのうち次の一つのボクセルを選択し、以降、同様の処理を行う。

Ｓ２１１において、前景モデル生成部１０７は、対象ボクセル空間についてボクセルの除去判定を行った後の残りのボクセルを用いて、前景の三次元モデルを生成する。

Ｓ２１２において、出力部１０８は、前景モデル生成部１０７により生成された前景の三次元モデルをレンダリング装置１５へ出力する。以上の一連の処理が、各カメラにより撮影されたフレーム毎に実施される。

ここで、図３に示した１６台のカメラにより競技場を撮影する仮想視点画像生成システムを例として、三次元モデルの生成例を説明する。図１０は、本実施形態に係る競技場システムの三次元モデル生成対象のボクセル空間を示す図である。図３の仮想視点画像生成システムにおける三次元モデル生成の対象領域として格子で示された直方体の領域が対象ボクセル空間を表している。

図１１は、図３に示した仮想視点画像生成システムにおける前景、一部のカメラで未検出の前景、構造物に隠れた前景、構造物、非前景として、それぞれ人物、人物の足、人物の頭部、ゴール、その他の領域に対する、ボクセルのＦａｌｓｅ Ｃｏｕｎｔ／ＴｒｕｅＣｏｕｎｔと、判定結果の例を示している。ただし、１台のカメラで人物の足の前景抽出に失敗しており、また３台のカメラで人物の頭部が構造物であるゴールに隠れており、これらは前景背景分離装置１３により前景として抽出されないものとする。

Ｓ２０６の判定において、Ｆａｌｓｅ Ｃｏｕｎｔの閾値が固定値の１０である場合、その他の領域に位置するボクセルはＦａｌｓｅ Ｃｏｕｎｔが１６であり閾値を超えることから除去される。その結果、例えば図１２に示すような前景と構造物とから構成される三次元モデルが生成されることになる。ここで図１２は、Ｆａｌｓｅ Ｃｏｕｎｔの閾値判定を適用して生成された三次元モデルの一例を示す図である。

さらに、Ｓ２０９の判定において、Ｔｒｕｅ Ｃｏｕｎｔの閾値（他の閾値）が固定値の５である場合、構造物であるゴールの領域に位置するボクセルはＴｒｕｅ Ｃｏｕｎｔが０で閾値以下であることから除去される。一方、人物、人物の足、頭部の領域に位置するボクセルはＴｒｕｅ Ｃｏｕｎｔは各々１６、１５、１３であり、第２の閾値を超過するため除去されない。

すなわち、図１１に示すように、前景（人物）、一部未検出の前景（足）及び構造物で隠れた前景（頭部）はボクセル残存と判定され、構造物（ゴール）及び非前景（その他の領域）はボクセル除去と判定されることになる。従って、最終的に、図１０で示した対象空間のボクセル集合から、例えば図１３に示すような欠落のない人物の三次元モデルが生成されることになる。ここで図１３は、Ｆａｌｓｅ Ｃｏｕｎｔの閾値判定及びＴｒｕｅＣｏｕｎｔの閾値判定を適用して生成された三次元モデルの一例を示す図である。

これに対し、図１４は、図８に示した前景マスク画像のみを用いて視体積交差法により三次元モデル生成した例を示す。図８（ａ）は人物全体が写っているが、図８（ｂ）、図８（ｃ）、図８（ｄ）に示す撮影画像では構造物のゴールにより人物の頭の一部が隠れている。さらに、図８（ｅ）に示す撮影画像では人物の足が前景として抽出されていない。そのため、生成された三次元モデルも一部が欠落している。

以上説明したように、本実施形態では、対象物体（前景）の三次元モデルを生成する対象となる空間内の各ボクセルについて、対象とするボクセルが前景の領域を示す前景マスク画像に含まれるカメラの数が閾値（Ｔｒｕｅ Ｃｏｕｎｔの閾値）以下であるか否かを判定し、当該数が閾値以下である場合にそのボクセルを除去する。

本実施形態によれば、対象物体（前景）の領域を示す前景マスク画像に欠落がある場合でも、生成する対象物体（前景）の三次元モデルの欠落を回避し、三次元モデルの品質を向上させることができる。

また、前景マスク画像と構造物マスク画像とを統合して統合マスク画像を生成し、対象とするボクセルが統合マスク画像に含まれないカメラの数が閾値（Ｆａｌｓｅ Ｃｏｕｎｔの閾値）以上である場合に、当該ボクセルを除去すると判定する。これにより、明らかに非前景である多くのボクセルを除去することができるので、後段の処理の速度を向上させることが可能となる。

（第２の実施形態）
本実施形態では、画角内外判定の結果に基づいて閾値を設定することにより、注視点から離れた位置にある前景も除去されないように三次元モデルを生成する例を説明する。

第１の実施形態では、ボクセルが各カメラから撮影範囲内（画角内）か否かを判定していないため、多数のカメラで撮影範囲外である場合に、誤って前景を示すボクセルを除去してしまう可能性がある。

例えば、図３に示す競技場の仮想視点画像生成システムにおいて、注視点と反対側のゴール付近に位置する人物の領域に位置するボクセルを撮影範囲内に含むカメラの台数は３台であり、Ｔｒｕｅ Ｃｏｕｎｔが３となる。その際、Ｔｒｕｅ Ｃｏｕｎｔの閾値が５である場合、閾値未満であるため当該ボクセルは除去されてしまうことになる。

本実施形態では、ボクセルを撮影範囲内（画角内）に含むカメラの台数に基づいてＴｒｕｅ Ｃｏｕｎｔの閾値を算出することにより、ボクセルが注視点から離れていたとしても、誤って前景を示すボクセルを除去してしまうことを回避する。

＜三次元モデル生成装置の機能構成＞
図１５を参照して、本実施形態に係る三次元モデル生成装置の機能構成を説明する。本実施形態に係る三次元モデル生成装置１４は、受信部１００、構造物マスク保存部１０１、カメラパラメータ保持部１０２、マスク統合部１０３、座標変換部１０４、マスク内外判定部１０５、閾値設定部１０６、前景モデル生成部１０７、出力部１０８に加えて、画角内外判定部１０９及び閾値算出部１１０をさらに備えている。各処理部の機能は、第１の実施形態において図４（ｂ）を参照して説明したＣＰＵ１００１がＲＯＭ１００２やＲＡＭ１００３から読み出したコンピュータプログラムを実施することにより実現される。また、仮想視点画像生成システムの構成は第１実施形態と同様であるため、説明は省略する。

三次元モデル生成装置１４の受信部１００乃至出力部１０８の機能は第１の実施形態と同様であるため、説明を省略する。

画角内外判定部１０９は、各カメラのカメラパラメータに基づいて、対象ボクセル空間内の各ボクセルが各カメラの撮影範囲内であるか否かを判定する。

閾値算出部１１０は、撮影範囲内であると判定されたカメラの台数に所定の割合を乗算した値を、Ｔｒｕｅ Ｃｏｕｎｔの閾値として算出する。例えば、あるボクセルを撮影範囲内とするカメラの台数が５台、所定の割合を６０％とすると、そのボクセルに対するＴｒｕｅ Ｃｏｕｎｔの閾値は３として算出される。閾値算出部１１０により算出された閾値は閾値設定部１０６へ出力され、閾値設定部１０６は閾値設定部１０６から入力された閾値をＴｒｕｅ Ｃｏｕｎｔの閾値として設定する。

なお、あるボクセルを撮影範囲内とするカメラの台数が一定数未満である場合、生成される三次元モデルの精度は低くなり、処理が不要であると考えられることから、カメラの台数が一定数未満であるには閾値を所定値に設定するように構成してもよい。

＜処理＞
図１６は、本実施形態に係る三次元モデル生成装置が実施する処理の手順を示すフローチャートである。Ｓ３０１～Ｓ３０４の処理は、第１の実施形態で図５を参照しながら説明したＳ２０１～Ｓ２０４の処理と同様であるため、説明を省略する。

Ｓ３０５において、画角内外判定部１０９は、各カメラのカメラパラメータに基づいて、Ｓ３０４で選択された一つのボクセル各カメラの画角内に含まれるか否かを判定する。

Ｓ３０６において、マスク内外判定部１０５は、選択された一つのボクセルが各カメラの統合マスク画像のマスク領域内に含まれず、且つ、選択された一つのボクセルが画角内に含まれる、カメラの台数（以降、Ｆａｌｓｅ Ｃｏｕｎｔと呼ぶ）をカウントする。

Ｓ３０７～Ｓ３０９の処理は、Ｓ２０６～Ｓ２０８の処理と同様であるため、説明を省略する。

Ｓ３１０において、閾値算出部１１０は、選択された一つのボクセルを画角内に含むカメラの台数に基づいて、Ｔｒｕｅ Ｃｏｕｎｔの閾値を算出する。閾値設定部１０６は、閾値算出部１１０により算出されたＴｒｕｅ Ｃｏｕｎｔの閾値を設定する。

Ｓ３１１～Ｓ３１４の処理は、Ｓ２０９～Ｓ２１２の処理と同様であるため、説明を省略する。以上が図１６の一連の処理である。

ここで、図１７は、注視点に近い前景Ａと注視点から遠い前景Ｂとを含む競技場を図３と同様に１６台のカメラにより撮影する仮想視点画像生成システムを示す。前景Ａは１６台全てのカメラで画角内であり、前景Ｂは図１７のカメラ１０ｋ、１０ｌ、１０ｍの３台のカメラでのみ画角内であるものとする。

また、図１８は、図１７に示す仮想視点画像生成システムにおいて注視点から近い前景Ａの位置のボクセルと、注視点から遠い前景Ｂの位置のボクセルとのそれぞれのＦａｌｓｅ Ｃｏｕｎｔ／Ｔｒｕｅ Ｃｏｕｎｔの一例を示す。Ｆａｌｓｅ Ｃｏｕｎｔの閾値は固定値の１０とし、Ｔｒｕｅ Ｃｏｕｎｔの閾値は、ボクセルを画角内に含むカメラの台数の７０％とする。

注視点に近い前景Ａに位置するボクセルは１６台全てのカメラで統合マスク画像内に含まれるため、ボクセルが統合マスク画像外となるカメラは存在しない。従って、ボクセルが統合マスク画像外且つ画角内のカメラの台数は０であり、Ｆａｌｓｅ Ｃｏｕｎｔは０である。

また、注視点に近い前景Ａに位置するボクセルを画角内に含むカメラの台数も１６台であるので、Ｔｒｕｅ Ｃｏｕｎｔの閾値は１６台の７０％である１１．２となる。そして、注視点に近い前景Ａに位置するボクセルは全てのカメラで前景マスク画像内となるためＴｒｕｅ Ｃｏｕｎｔは１６となり、当該カウント値は閾値（１１．２）以上であるのでボクセルは除去されない。

注視点から遠い前景Ｂの位置のボクセルは１３台のカメラ（カメラ１０ｋ、１０ｌ、１０ｍを除く１３台）で画角外となり、３台のカメラ（カメラ１０ｋ、１０ｌ、１０ｍ）で画角内となる。また、３台のカメラ（カメラ１０ｋ、１０ｌ、１０ｍ）でボクセルが統合マスク画像内となる。従って、ボクセルが統合マスク画像外且つ画角内のカメラの台数は０台であり、Ｆａｌｓｅ Ｃｏｕｎｔは０である。

また、注視点から遠い前景Ｂに位置するボクセルを画角内に含むカメラの台数が３台であるので、Ｔｒｕｅ Ｃｏｕｎｔの閾値は３台の７０％である２．１となる。そして、注視点から遠い前景Ｂに位置するボクセルは３台のカメラで前景マスク画像内となるためＴｒｕｅ Ｃｏｕｎｔは３となり、当該カウント値は閾値（２．１）以上であるのでボクセルは除去されない。

このように、対象とするボクセルが画角内に含まれるカメラの台数に基づいて、ＴｒｕｅＣｏｕｎｔの閾値を設定することによって、注視点から離れており、画角内であるカメラ台数が少ない前景について三次元モデルを生成することができる。従って、注視点から遠い前景であっても欠落を抑制した三次元モデルを生成することが可能となる。

（第３の実施形態）
本実施形態では、対象とするボクセルが構造物マスク画像に含まれるカメラ台数に基づいて重み値を設定する。そして、対象とするボクセルが前景マスク画像に含まれるカメラの数と、対象とするボクセルが構造物マスク画像に含まれるカメラの台数に重み値を乗算した値とを加算した値が、Ｔｒｕｅ Ｃｏｕｎｔの閾値以下である場合に、当該ボクセルを除去すると判定する。これにより、多数のカメラで構造物により前景が遮られた場合でも欠落のない三次元モデルを生成する例を説明する。

第１の実施形態及び第２の実施形態では、各ボクセルのＴｒｕｅ Ｃｏｕｎｔとしてボクセルが前景マスク画像内に含まれるカメラのみをカウントする例を説明した。しかし、その場合、多数のカメラにおいて構造物で隠れた前景の位置にあるボクセルは、ＴｒｕｅＣｏｕｎｔが閾値を超えずに、除去されてしまうことがある。

これに対して、本実施形態では、対象とするボクセルが前景マスク画像外であっても構造物マスク画像内に含まれる場合には、そのボクセルは前景である可能性があるため、ボクセルが構造物マスク画像内に含まれると判定されたカメラの台数に重み値を乗算した値を、Ｔｒｕｅ Ｃｏｕｎｔに加算することで、前景の欠落を回避する。

＜三次元モデル生成装置の機能構成＞
図１９を参照して、本実施形態に係る三次元モデル生成装置の機能構成を説明する。本実施形態に係る三次元モデル生成装置１４は、第２の実施形態の三次元モデル生成装置の構成に加えて、重み設定部１１１をさらに備えている。各処理部の機能は、第１の実施形態において図４（ｂ）を参照して説明したＣＰＵ１００１がＲＯＭ１００２やＲＡＭ１００３から読み出したコンピュータプログラムを実施することにより実現される。また、仮想視点画像生成システムの構成は第１実施形態と同様であるため、説明は省略する。

重み設定部１１１は、対象とするボクセルが構造物マスク画像内と判定された場合にＴｒｕｅ Ｃｏｕｎｔに加算する値を、カメラ１台当たりの重み値として設定する。この重み値は、前景に位置するボクセルの可能性を示す値と同等であり、本実施形態では、カメラ１台当たりの重み値を０．５と設定する。そして、対象とするボクセルが構造物マスク画像内と判定されたカメラの台数に、カメラ１台当たりの重み値０．５を乗算した値を、Ｔｒｕｅ Ｃｏｕｎｔに加算する。

＜処理＞
図２０は、本実施形態に係る三次元モデル生成装置が実施する処理の手順を示すフローチャートである。

Ｓ４０１～Ｓ４０４の処理はＳ３０１～Ｓ３０４の処理と同様であり、Ｓ４０５～Ｓ４０８の処理はＳ３０６～Ｓ３０９の処置と同様である。Ｓ４０９の処理はＳ３０５の処理と同様であり、Ｓ４１０の処理はＳ３１０の処理と同様である。

Ｓ４１１において、マスク内外判定部１０５は、選択された一つのボクセルが各カメラの構造物マスク画像のマスク領域内に含まれるカメラの台数をカウントする。

Ｓ４１２において、重み設定部１１１は、構造物マスク画像のマスク領域内に含まれるカメラの台数に、カメラ１台当たりの重み値０．５を乗算した値を、Ｓ４０８で算出されたＴｒｕｅ Ｃｏｕｎｔに加算する。Ｓ４１３～Ｓ４１６の処理は、Ｓ３１１～Ｓ３１４の処理と同様である。以上で図２０の一連の処理が終了する。

ここで、図２１に、ある前景領域に位置するボクセルにおける、重み加算なしの場合のＴｒｕｅ Ｃｏｕｎｔの例と、本実施形態に係る重み加算ありの場合のＴｒｕｅ Ｃｏｕｎｔの例とを示す。

このボクセルは１６台全てのカメラで画角内であり、対象とするボクセルを前景マスク画像内に含むカメラの台数が７台、対象とするボクセルを構造物マスク画像内に含むカメラの台数が９台であるものとする。この場合、ボクセルが統合マスク画像外であるカメラは０台（全カメラ１６台－７台－９台）である。従って、ボクセルが統合マスク画像外且つ画角内のカメラの台数は０であり、Ｆａｌｓｅ Ｃｏｕｎｔは０である。

重み加算なしの場合、対象とするボクセルを前景マスク画像内に含むカメラの台数が７台であるため、Ｔｒｕｅ Ｃｏｕｎｔは７となる。Ｔｒｕｅ Ｃｏｕｎｔの閾値が、対象とするボクセルを画角内に含むカメラの台数の７０％であるものとする。すると、閾値は１１．２（１６×０．７）となるため、Ｔｒｕｅ Ｃｏｕｎｔ（７）＜閾値（１１．２）であり、Ｔｒｕｅ Ｃｏｕｎｔが閾値以下となることから、当該ボクセルは除去されてしまう。

一方、重み加算ありの場合、対象とするボクセルを前景マスク画像内に含むカメラの台数が７台であるため、同様にＴｒｕｅ Ｃｏｕｎｔは７となり、これに重み値が加算されることになる。対象とするボクセルを構造物マスク画像内に含むカメラの台数が９であり、カメラ１台あたりの重み値が０．５であるため、９×０．５＝４．５を重み値として加算する。重み値を加算した後のＴｒｕｅ Ｃｏｕｎｔは１１．５であり、Ｔｒｕｅ Ｃｏｕｎｔ（１１．５）＞閾値（１１．２）となり、閾値を超えることから、当該ボクセルは前景であるものとして除去されない。

なお、本実施形態では、構造物が一つである場合を想定したが、前景と重なる可能性のある異なる複数の構造物がある場合、構造物マスク画像の種類ごとに異なる重み値を設定し、その重み値に基づく値をＴｒｕｅ Ｃｏｕｎｔに加算してもよい。例えば、競技場の競技フィールドを囲むように設置されている電子看板の構造物マスク画像については、電子看板は大きく前景と重なりやすいことから前景を含む可能性が高くなるので、カメラ１台当たりの重み値を０．５とする。また、ゴールの構造物マスク画像については、カメラ１台当たりの重み値を０．３とする。ゴールよりも電子看板の方が大きく隙間もないので前景（人物）と重なる可能性が高いと考えられることから、電子看板に対する重み値を、ゴールに対する重み値よりも大きい値としている。

また、ボクセル位置、シーン、マスク領域の大きさや形状、撮影対象となる競技場のエリアなどに応じて異なる重み値を設定してもよい。

以上説明したように、本実施形態では、対象とするボクセルが構造物マスク画像のマスク領域内に含まれるカメラの台数に基づく重みＴｒｕｅ Ｃｏｕｎｔに加算した上で、閾値判定を行う。これにより、多数のカメラで前景が構造物に遮られる場合でも、欠落のない三次元モデルの生成を実現することができる。

（第４の実施形態）
本実施形態では、第１の実施形態で用いた前景マスク画像に含まれるカメラ台数（Ｔｒｕｅ Ｃｏｕｎｔ）の代わりに、構造物マスク画像に含まれるカメラ台数を用いる処理について説明する。

第１の実施形態では、前景マスク画像と構造物マスク画像に基づいて生成した三次元モデルに対して、毎回、前景マスク画像を更新して、三次元モデルを構成するボクセルが前景マスク画像に含まれるか判定するため、処理が煩雑となる場合がある。本実施形態では、前景マスク画像と構造物マスク画像に基づいて生成した三次元モデルに対して、固定の構造物マスク画像に含まれるカメラ台数をカウントすることにより、構造物を含まない前景三次元モデルの生成を行う。

＜三次元モデル生成装置の機能構成、及びハードウェア構成＞
図２３は、本実施形態における三次元モデル生成装置の構成を示す図である。本実施形態における三次元モデル生成装置１４の構成は、第１の実施形態とほぼ同様であり、同じ処理を行うブロックについては説明を省略する。本実施形態に係る三次元モデル生成装置１４は、マスク内外判定部１０５に代えて、マスク内外判定部１１２を備えている。マスク内外判定部１１２は、対象となるボクセル空間内の各ボクセルが統合マスク画像及び構造物マスク画像のマスク内外に含まれるカメラ台数をカウントし、閾値判定により、対象となるボクセルを除去するか否かを判定し、前景モデル生成部１０７に出力する。また、本実施形態の三次元モデル生成装置１４のハードウェア構成は、図４（ｂ）と同様であるため、説明は省略する。

＜処理＞
図２４は、本実施形態における三次元モデル生成装置１４が実施する処理の手順を示すフローチャートである。Ｓ５０１～Ｓ５０７及びＳ５１０～Ｓ５１２は、第１の実施形態で図５を参照しながら説明したＳ２０１～Ｓ２０７及びＳ２１０～Ｓ２１２と同様であるため重複箇所については詳細な説明を省略し、主に必要箇所を中心に説明するする。

Ｓ５０６において、マスク内外判定部１１２は、Ｆａｌｓｅ Ｃｏｕｎｔが閾値以上であるか否かを判定する。Ｆａｌｓｅ Ｃｏｕｎｔが閾値未満である場合、選択されたボクセルは前景又は構造物であると判定できるため、Ｓ５０８へ進む。

Ｓ５０８において、マスク内外判定部１１２は、選択された一つのボクセルに対応する画素や領域が各カメラの構造物マスク画像のマスク領域内に含まれるカメラの台数（以降、Ｓｔｒｕｃｔｕｒｅ Ｃｏｕｎｔと呼ぶ）をカウントする。

Ｓ５０９において、マスク内外判定部１１２は、Ｓｔｒｕｃｔｕｒｅ Ｃｏｕｎｔが閾値以上であるか判定する。Ｓｔｒｕｃｔｕｒｅ Ｃｏｕｎｔが閾値以上の場合は、選択されたボクセルは構造物であると判定できるため、Ｓ５０７へ進み、選択されたボクセルを対象ボクセル空間から除去する。一方、Ｓｔｒｕｃｔｕｒｅ Ｃｏｕｎｔが閾値未満の場合、選択されたボクセルは前景と判定できるため、対象ボクセル空間から除去しない。

ここで、図３で示した１６台のカメラにより競技場を撮影する仮想視点画像生成システムを例として、三次元モデルの生成例を説明する。図２５は、図３に示した仮想視点画像生成システムにおける前景、一部のカメラで未検出の前景、構造物に隠れた前景、構造物、非前景として、それぞれ、人物、人物の足、人物の頭部、ゴール、その他の領域に対する、ボクセルのＦａｌｓｅ Ｃｏｕｎｔ／Ｓｔｒｕｃｔｕｒｅ Ｃｏｕｎｔと判定結果の例を示す。

ただし、１台のカメラで人物の足の前景抽出に失敗しており、また３台のカメラで人物の頭部が構造物であるゴールに隠れており、これらは前景背景分離装置１３により前景として抽出されないものとする。

Ｓ５０４の判定において、Ｆａｌｓｅ Ｃｏｕｎｔの閾値が固定値の１０である場合、人物、足、頭部、構造物のゴールポストを除くその他の領域に位置するボクセルはＦａｌｓｅ Ｃｏｕｎｔが１６であり、閾値を超えるため、除去される。ここで、図１２は、Ｆａｌｓｅ Ｃｏｕｎｔの閾値判定を適用して生成された三次元モデルの一例を示す図である。

さらに、Ｓ５０８で示した判定において、Ｓｔｒｕｃｔｕｒｅ Ｃｏｕｎｔの閾値が固定値の３である場合、構造物であるゴールの領域に位置するボクセルは、Ｓｔｒｕｃｔｕｒｅ Ｃｏｕｎｔが５であり、閾値以上であるため、除去される。一方、人物、人物の足、頭部の領域に位置するボクセルは、Ｓｔｒｕｃｔｕｒｅ Ｃｏｕｎｔは各々０であり、閾値未満となるため、除去されない。よって、図１３で示す欠落のない人物の三次元モデルが生成される。

以上の処理により、構造物マスクに含まれるカメラ台数（Ｓｔｒｕｃｔｕｒｅ Ｃｏｕｎｔ）の閾値判定により、前景が構造物に遮られる場合でも欠落のない三次元モデル生成を実現することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１：仮想視点映像生成システム、１０：カメラ、１１：カメラアレイ、１２：制御装置、１３：前景背景分離装置、１４：三次元モデル生成装置、１５：レンダリング装置、１００：受信部、１０１：構造物マスク保存部、１０２：カメラパラメータ保持部、１０３：マスク統合部、１０４：座標変換部、１０５：マスク内外判定部、１０６：閾値設定部、１０７：前景モデル生成部、１０８：出力部、１０９：画角内外判定部、１１０：閾値算出部、１１１：重み設定部、１１２：マスク内外判定部

Claims (18)

1. オブジェクトに対応する３次元形状データを生成する生成装置であって、
   複数の撮影装置により取得された複数の撮影画像内の前記オブジェクトの領域を表す画像データ、及び、複数の撮影方向の少なくとも一つの撮影方向からの撮影において前記オブジェクトを遮蔽する可能性のある構造物の領域を表す画像データを取得する取得手段と、
   前記オブジェクトに対応する３次元形状データを生成するための３次元空間を構成する要素ごとに、当該要素に対応する画素又は領域を前記オブジェクトの領域に含む撮影画像を取得した撮影装置の数を特定する特定手段と、
   前記取得手段により取得された前記オブジェクトの領域を表す画像データと、前記取得手段により取得された前記構造物の領域を表す画像データと、前記特定手段により特定された前記撮影装置の数の情報とに基づき、前記オブジェクトに対応する３次元形状データを生成する生成手段と、
   を有することを特徴とする生成装置。
2. 前記生成手段は、前記取得手段により取得された前記オブジェクトの領域を表す画像データと前記取得手段により取得された前記構造物の領域を表す画像データとに基づいて生成される３次元形状データと、前記特定手段により特定された前記撮影装置の数の情報とに基づいて、前記オブジェクトに対応する３次元形状データを生成することを特徴とする請求項１に記載の生成装置。
3. 前記生成手段は、前記取得手段により取得された前記オブジェクトの領域を表す画像データと前記取得手段により取得された前記構造物の領域を表す画像データとに基づいて生成される３次元形状データから、前記特定手段により特定された前記撮影装置の数が閾値以下である要素に対応するデータを除くことにより、前記オブジェクトに対応する３次元形状データを生成することを特徴とする請求項１又は２に記載の生成装置。
4. 前記閾値は、前記複数の撮影方向に基づく値であることを特徴とする請求項３に記載の生成装置。
5. 前記閾値は、前記複数の撮影方向からの撮影を行う撮影装置の位置に基づく値であることを特徴とする請求項３に記載の生成装置。
6. 前記閾値は、前記複数の撮影方向からの撮影を行う撮影装置の台数より少ない値であることを特徴とする請求項３乃至５の何れか１項に記載の生成装置。
7. 前記画像データは、前記オブジェクトの領域を表す第１画像と前記構造物の領域を表す第２画像とが合成された画像データであり、
   前記特定手段は、前記撮影装置の数として、前記オブジェクトに対応する３次元形状データを生成するための３次元空間を構成する要素ごとに、当該要素に対応する画素又は領域を前記オブジェクトの領域に含む前記第１画像に対応する撮影装置の数を特定することを特徴とする請求項１乃至６の何れか１項に記載の生成装置。
8. 前記画像データは、前記オブジェクトの領域を表す第１画像の画像データと前記構造物の領域を表す第２画像の画像データを含み、
   前記特定手段は、前記撮影装置の数として、前記オブジェクトに対応する３次元形状データを生成するための３次元空間を構成する要素ごとに、当該要素に対応する画素又は領域を前記オブジェクトの領域に含む前記第１画像に対応する撮影装置の数を特定することを特徴とする請求項１乃至６の何れか１項に記載の生成装置。
9. オブジェクトに対応する３次元形状データを生成する生成装置であって、
   複数の撮影装置により取得された複数の撮影画像内の前記オブジェクトの領域を表す画像データ、及び、複数の撮影方向の少なくとも一つの撮影方向からの撮影において前記オブジェクトを遮蔽する可能性のある構造物の領域を表す画像データを取得する取得手段と、
   前記オブジェクトに対応する３次元形状データを生成するための３次元空間を構成する要素ごとに、当該要素に対応する画素又は領域を前記構造物の領域に含む撮影画像を取得した撮影装置の数を特定する特定手段と、
   前記取得手段により取得された前記オブジェクトの領域を表す画像データと、前記取得手段により取得された前記構造物の領域を表す画像データと、前記特定手段により特定された撮影装置の数の情報とに基づき、前記オブジェクトに対応する３次元形状データを生成する生成手段と、
   を有することを特徴とする生成装置。
10. 前記生成手段は、前記取得手段により取得された前記オブジェクトの領域を表す画像データと前記取得手段により取得された前記構造物の領域を表す画像データとに基づいて生成される３次元形状データと、前記特定手段により特定された撮影装置の数の情報とに基づいて、前記オブジェクトに対応する３次元形状データを生成することを特徴とする請求項９に記載の生成装置。
11. 前記生成手段は、前記取得手段により取得された前記オブジェクトの領域を表す画像データと前記取得手段により取得された前記構造物の領域を表す画像データとに基づいて生成される３次元形状データから、前記特定手段により特定された撮影装置の数が閾値以上である要素に対応するデータを除くことにより、前記オブジェクトに対応する３次元形状データを生成することを特徴とする請求項９又は１０に記載の生成装置。
12. 前記画像データは、前記オブジェクトの領域を表す第１画像と前記構造物の領域を表す第２画像とが合成された画像データであり、
    前記特定手段は、前記撮影装置の数として、前記オブジェクトに対応する３次元形状データを生成するための３次元空間を構成する要素ごとに、当該要素に対応する画素又は領域を前記構造物の領域に含む前記第２画像に対応する撮影装置の数を特定することを特徴とする請求項９乃至１１のいずれか１項に記載の生成装置。
13. 前記画像データは、前記オブジェクトの領域を表す第１画像の画像データと前記構造物の領域を表す第２画像の画像データを含み、
    前記特定手段は、前記撮影装置の数として、前記オブジェクトに対応する３次元形状データを生成するための３次元空間を構成する要素ごとに、当該要素に対応する画素又は領域を前記構造物の領域に含む前記第２画像に対応する撮影装置の数を特定することを特徴とする請求項９乃至１１のいずれか１項に記載の生成装置。
14. 前記第１画像と前記第２画像は、前記生成装置が有する受信手段を介して取得されることを特徴とする請求項７、８、１２及び１３の何れか１項に記載の生成装置。
15. 前記要素は、前記３次元空間を構成する点又はボクセルであることを特徴とする請求項１乃至１４の何れか１項に記載の生成装置。
16. オブジェクトに対応する３次元形状データの生成方法であって、
    複数の撮影装置により取得された複数の撮影画像内の前記オブジェクトの領域を表す画像データ、及び複数の撮影方向の少なくとも一つの撮影方向からの撮影において前記オブジェクトを遮蔽する可能性のある構造物の領域を表す画像データを取得し、
    前記オブジェクトに対応する３次元形状データを生成するための３次元空間を構成する要素ごとに、当該要素に対応する画素又は領域を前記オブジェクトの領域に含む撮影画像を取得した撮影装置の数を特定し、
    取得された前記オブジェクトの領域を示す画像データと、取得された前記構造物の領域を表す画像データと、特定された前記撮影装置の数とに基づき、前記オブジェクトに対応する３次元形状データを生成する、
    ことを特徴とする生成方法。
17. オブジェクトに対応する３次元形状データの生成方法であって、
    複数の撮影装置により取得された複数の撮影画像内の前記オブジェクトの領域を表す画像データ、及び、複数の撮影方向の少なくとも一つの撮影方向からの撮影において前記オブジェクトを遮蔽する可能性のある構造物の領域を表す画像データを取得し、
    前記オブジェクトに対応する３次元形状データを生成するための３次元空間を構成する要素ごとに、当該要素に対応する画素又は領域を前記構造物の領域に含む撮影画像を取得した撮影装置の数を特定し、
    取得された前記オブジェクトの領域を示す画像データと、取得された前記構造物の領域を表す画像データと、特定された前記撮影装置の数とに基づき、前記オブジェクトに対応する３次元形状データを生成する
    ことを特徴とする生成方法。
18. コンピュータを、請求項１乃至１５のいずれか1項に記載の生成装置として機能させるためのプログラム。

Images