JP7177020B2

JP7177020B2 - 画像処理装置、方法及びプログラム

Info

Publication number: JP7177020B2
Application number: JP2019153696A
Authority: JP
Inventors: 軍陳; 敬介野中
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2019-08-26
Filing date: 2019-08-26
Publication date: 2022-11-22
Anticipated expiration: 2039-08-26
Also published as: JP2021033682A

Description

本発明は、高速且つ高精度にビジュアルハルを生成することのできる画像処理装置、方法及びプログラムに関する。

ビジュアルハル（Visual Hull）は、３次元再構成手法の１つであるシルエット（影）からの形状復元（shape-from-silhouette）により３次元モデルとして生成される幾何的対象である。カメラパラメータを用いて、シルエットに対して逆投影を行うことで、実際の対象物をその内部に包含する錐体を、視体積として得ることができる。全てのカメラにおける視体積の論理積（共通部分）がビジュアルハルであり、ビジュアルハルは実際の対象物を内包するものとなる。この既存技術においては通常、ポリゴンメッシュを用いて対象物の近似形状を得るようにしており、非特許文献１に開示されるような体積ベースの手法と、非特許文献２に開示されるような多角形ベースの手法と、の２つに大別することが可能である。

前者（体積ベース）の非特許文献１では、３次元空間をボクセルとして離散化し、各ボクセルに関して、各カメラ画像におけるシルエットの内部又は外部のいずれに該当するかの判定がなされる。シルエットの外部に該当するシルエットが１つでも存在する場合、当該ボクセルは対象物に該当しないものとして削除される。こうして、全てのシルエットに関して内部に該当するボクセルの集合として、離散化ボクセルで表現した状態でのビジュアルハルが得られる。当該離散化ビジュアルハルに対してさらにマーチングキューブ法（marching cubes algorithm）を適用することで、立方体としてのボクセルの辺に交差する３角形としての等値面（isosurface）が抽出され、３角形メッシュの集合体による対象物の３次元モデルを得ることができる。この手法では特に、当初のボクセル密度が最終的に得られるビジュアルハルの精度を決定することとなり、ボクセル密度が高いほど近似形状としてのビジュアルハルの精度も高くなる。

後者（多角形ベース）の非特許文献２では、ボクセルを利用することなく直接、表面形状としてのビジュアルハルをメッシュで表現したものを得る。ここで、局所的に滑らかであることとエピポーラ幾何による対応関係とを前提として、シルエット形状とビジュアルハルの表面形状との幾何的な対応関係を取得する。ボクセル利用の手法よりも計算は複雑となるが、多角形ベースの手法ではより正確なビジュアルハルが得られる。しかしながら、得られた３角形メッシュ表現のビジュアルハルが非適切(ill-posed；解として一意に定まらないか不安定であること)となることがある。

Laurentini A. The visual hull concept for silhouette-based image understanding. IEEE Transactions on pattern analysis and machine intelligence, 1994, 16(2): 150-162. Franco J S, Boyer E. Efficient polyhedral modeling from silhouettes. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(3): 414-427. Chen, J., Nonaka, K., Sankoh, H., Watanabe, R., Sabirin, H., & Naito, S. Efficient Parallel Connected Component Labeling with a Coarse-to-Fine Strategy. IEEE Access, 2008, 6, 55731-55740. Schnabel, Ruwen and Klein, Reinhard. Octree-based Point-Cloud Compression. Spbg, 2006, 6: 111-120.

しかしながら、上記した非特許文献１，２のいずれの手法においても課題があった。

非特許文献１のような体積ベースの手法はロバスト且つ効率的であるが、ボクセル密度がビジュアルハルの精度に大きく影響し、精度を上げるためにボクセル密度を上げると必要なメモリ容量と計算時間とが急激に増大してしまう。従って、例えば屋外スポーツ映像において当該スポーツが行われているフィールドのような広大な空間を対象として、当該映像上において精度を確保したうえでリアルタイムに選手等のビジュアルハルを得るといったことは困難であった。

非特許文献２のような多角形ベースの手法はエピポーラ幾何を利用することで、広大な空間であってもメモリ容量や計算時間が急激に増大することは避けられる。しかしながら、当該手法で得られるビジュアルハルは、カメラキャリブレーションの誤差とシルエット精度にその精度が大きく影響されるという制約がある。さらに別の制約として、得られる多角形モデルとしてのビジュアルハルが凸ではない多角形を含むことで、当該モデルに対してさらに対象物のテクスチャマッピングを行う場合に煩雑となるという点も存在する。

上記従来技術の課題に鑑み、本発明は、高速且つ高精度にビジュアルハルを生成することのできる画像処理装置、方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明は画像処理装置であって、多視点画像の各視点の画像に前景及び背景の区別が付与されたシルエット画像に対して、第一密度のボクセルグリッドを用いて視体積交差法を適用して第一ビジュアルハルを生成する第一生成部と、前記第一ビジュアルハルにおいて個別の対象物の空間領域を推定したものとして第一領域を設定する第一設定部と、前記シルエット画像に対して、前記第一領域に配置された、前記第一密度よりも高い第二密度のボクセルグリッドを用いて視体積交差法を適用して第二ビジュアルハルを生成する第二生成部と、を備えることを特徴とする。また、当該装置に対応する画像処理方法及びプログラムであることを特徴とする。

本発明によれば、第一生成部において第一密度で第一ビジュアルハルを生成し、この第一ビジュアルハルを利用してさらに、第二生成部において第一密度よりも高い第二密度で第二ビジュアルハルを生成するという、ビジュアルハルの生成に際して粗・密の段階的な生成を行うことにより、高速且つ高精度にビジュアルハルを生成することができる。

一実施形態に係る画像処理装置の機能ブロック図である。視体積交差法においてボクセルグリッドの各点についてビジュアルハルに含まれるか否かを判定する模式例を示す図である。第一生成部で得られる第一ビジュアルハルの例を示す図である。一実施形態に係る第一設定部の機能ブロック図である。図３の第一ビジュアルハルに対して識別部で連結領域ラベリングを適用した結果の例を示す図である。図５の例における識別され且つ選別された第一ビジュアルハルに対して、領域設定部で得られる囲み領域の例を示す図である。図６（及び図３、図５）に示される第一ビジュアルハルより得た囲み領域（第一領域）に対して、第二生成部で視体積交差法を適用して得られる第二ビジュアルハルの例を示す図である。あるシルエット画像に対して第一生成部及び第二生成部においてそれぞれ第一密度及び第二密度で視体積交差法を適用する際の数値例を表形式で示す図である。画像処理装置の第二実施形態での動作の一例を示すフローチャートである。一般的なコンピュータ装置におけるハードウェア構成を示す図である。

図１は、一実施形態に係る画像処理装置の機能ブロック図である。画像処理装置10は、前処理部1、第一生成部2、第一設定部3、第二生成部4、第二設定部5及び追加処理部6を備える。画像処理装置10は、その全体的な動作として、多視点画像（2以上のN個のカメラ視点で構成されるものとする）を前処理部1において入力として読み込み、第二生成部4から、この多視点画像に撮影されているオブジェクトの３次元モデルとしてのビジュアルハル（第二ビジュアルハル）を出力するものである。

第一実施形態では、画像処理装置10は前処理部1、第一生成部2、第一設定部3及び第二生成部4のみを備えることで、全体的な動作として、前処理部1で入力としてN視点の多視点画像を読み込み、第二生成部4からビジュアルハルを出力する。この際、画像処理装置10はユーザ入力等によって設定される種々の事前設定情報（例えばカメラパラメータ等）を利用するようにしてよい。なお、種々の事前設定情報に関しては、後述の詳細説明においてその都度、説明する。

第二実施形態では、画像処理装置10は第一実施形態の構成に加えてさらに第二設定部5を備えることで、第一実施形態での処理に対してさらに繰り返しの処理を行い、当該繰り返しの処理の都度、第二生成部4において出力されるビジュアルハルの精度を向上させるようにすることができる。

第一実施形態及び第二実施形態のいずれにおいても、画像処理装置10は追加構成としてさらに追加処理部6を備えることで、第二生成部4から得られるビジュアルハルを利用した任意の追加処理を行うことができる。追加処理部6での追加処理としては例えば、第二生成部4から得られるビジュアルハルを加工してポリゴンメッシュモデルとしての３次元モデルを生成する処理や、画像処理装置10へ入力された多視点画像から自由視点画像を生成する処理が可能である。

以下、第一実施形態の詳細と第二実施形態の詳細とを、この順番で説明する。第一実施形態では、前処理部1、第一生成部2、第一設定部3及び第二生成部4がこの順番で処理を行う。各部1～4の処理の詳細は以下の通りである。

（前処理部1）
前処理部1は、入力としてのN視点の多視点画像の各々より、撮影されている対象物の領域を前景とし、これ以外の領域を背景として区別したシルエット画像を得て、当該得られたN枚のシルエット画像を第一生成部2及び第二生成部4へと出力する。このシルエット画像は例えば、前景に該当する画素には値「1」を、背景に該当する画素には値「0」を付与した二値マスク画像の形式で与えることができるものである。

前処理部1においてシルエット画像を得る手法には任意の既存手法を用いてよく、例えば背景差分法を用いてよい。背景差分法では、N視点の各画像について、被写体（前景）の存在しない状態での背景統計情報を予め事前設定情報として用意しておき、この背景統計情報からの相違が閾値を超えると判定される画素領域を前景として抽出することができる。また例えば、機械学習による領域抽出手法を用いて、所定種類の対象物の領域を前景として抽出するようにしてもよい。

（第一生成部2）
第一生成部2は、前処理部1で得たN枚のシルエット画像に対して視体積交差法を適用することにより、当該シルエット画像に表現されている対象物（当初の多視点画像における前景としての被写体に相当する対象物）の３次元モデルとしての第一ビジュアルハルを生成し、当該第一ビジュアルハルを第一設定部3へと出力する。

既知のように、視体積交差法の原理は、N枚のシルエット画像の各々について、カメラ中心（カメラ視点の位置）からシルエット上の前景へと３次逆投影を行って得られる、３次元世界座標系における錐体状の視体積（Visual Cone）を求めたうえで、N個の視体積の共通部分（論理積）としてビジュアルハルを生成するというものである。式で表現すれば以下の式(1)の通りのビジュアルハルVH(I)を生成することができる。

式(1)にて、集合IはN枚のシルエット画像（当初のN枚の多視点画像）の各々の識別番号の集合であり、I={1,2,…,N}である。V_iはi番目（1≦i≦N）のシルエット画像において３次元逆投影により得られる視体積である。この視体積Viを得るための３次元逆投影に関しては、3DCGの分野で既知のように、事前設定情報として与えることのできるカメラパラメータ（i番目の視点の画像を撮影しているカメラのカメラパラメータ）より定まる透視投影行列を用いて実施することができる。

ここで、体積ベースの手法で視体積交差法を実際に適用する際は、上記の原理のように視体積V_iを３次元逆投影で得るようにするのとは逆に、空間に配置されたボクセルグリッドの各点からシルエット画像上へと投影を行い、前景上に投影されるか否かを判定するようにすればよい。投影に関しても上記透視投影行列を用いて実施できる。

すなわち、式(1)にてN個の視体積Vi（1≦i≦N）の共通部分として与えられるビジュアルハルVH(I)を求める際は、事前設定情報において３次元ユークリッド空間（R³）として直交xyz座標軸を設定しておく世界座標系において、当初のN個の多視点画像が撮影の撮影対象となっている所定範囲（例えば、スポーツ映像なら当該スポーツが行われるフィールド等）に第一密度でボクセルグリッドを配置しておき、このボクセルグリッドの各点（格子点）に関して、ビジュアルハルVH(I)に含まれる点であるかそうでないかを判定するようにすればよい。

図２は、視体積交差法においてボクセルグリッドの各点についてビジュアルハルに含まれるか否かを判定する模式例を、パネルPL1及びPL2と分けて示す図である。図２のパネルPL1に示すように、N視点の多視点画像が撮影されている３次元空間内には予め所定のボクセルグリッドVGを設定しておき、その各格子点としてボクセル格子点を定義しておく。１つのボクセル格子点g1は、多視点画像のうちの１つのカメラC1（パネルPL1ではそのカメラ中心の位置C1として示されている）における画像P1（シルエット画像）へと投影した位置がp1であり、前景上に投影されている。一方、別の１つのボクセル格子点g2は、同画像P1へと投影した位置がp2であり、前景上ではなく背景上へと投影されている。

このように、図２のパネルPL1に示されるような投影の処理をボクセルグリッドVGで定義される全てのボクセル格子点に関して、多視点画像の全画像Pi(i=1,2, …, N)について実施し、全画像において前景に投影される（すなわち、対象内の領域にあることによって全カメラから可視となる位置にある）と判定されたものを、多視点画像に前景として撮影されている対象に該当するボクセル点群として判定することができる。この判定結果の模式例として、図２のパネルPL2では、ボクセルグリッドVGの全点のうち、黒丸（●）で示すような可視(visible)となるボクセル点群VG_visとして判定されたものと、白丸（○）で示すようなそれ以外の不可視（invisible）点群VG_invとして判定されたものと、の模式例が示されている。このように可視と判定されたボクセル点群VG_visが、得られるビジュアルハルとなる。

本実施形態においては特に、第一生成部2では第一密度で配置されるボクセルグリッドを対象として視体積交差法を適用して第一ビジュアルハルを生成し、後述する第二生成部4では第一密度よりも高い第二密度で配置されるボクセルグリッドを対象として視体積交差法を適用することで第二ビジュアルハルを生成する、という粗・密の２段階での視体積交差法の適用がなされる。これにより、詳細を後述するように、１段階目の粗な密度（低い密度）での第一ビジュアルハルにより、広大な空間から対象物の領域を候補として絞り込んだうえで、当該絞り込まれた候補の領域を対象として２段階目の密な密度（高い密度）での第二ビジュアルハルとして、対象物の３次元領域を高速且つ高精度に抽出することが可能となっている。

図３は、第一生成部2で得られる第一ビジュアルハルVH1の例を示す図である。この例では、当初のN視点の多視点画像はバレーボールのシーンを撮影しており、前処理部1においてバレーボール選手とボールとがシルエット画像における前景として抽出され、この前景に対応する第一ビジュアルハルVH1が得られている。第一ビジュアルハルVH1において、範囲R1を拡大したものが範囲R2として示されおり、図３の例に対応する例として図７を参照して後述する第二生成部4で得られる第二ビジュアルハルVH2よりもボクセルグリッドの密度が小さいことを見て取ることができる。

（第一設定部3）
第一設定部3は、第一生成部2で得た第一ビジュアルハルを解析して、第一ビジュアルハルにおいて当初のN視点の多視点画像に撮像されている個別の対象物がそれぞれ存在していると推定される空間領域を、第一領域として設定し、当該設定された第一領域を第二生成部4へと出力する。後述するように、第二生成部4では、第一領域のみを対象として、すなわち、第一領域のみにボクセルグリッドを配置して、視体積交差法を適用する。

例えば、第一生成部2で得た第一ビジュアルハルが具体的に、図３に示すようなバレーボールのシーンにおける選手とボールとを抽出した第一ビジュアルハルVH1であったとすると、第一設定部3の役割は、このような個別の選手やボールの領域をそれぞれ、第一領域として推定して設定するものである。（なお、図３に例示されるような第一ビジュアルハルVH1は、空間にプロットしたうえで人手による目視で確認すると選手やボールの形状を知覚可能であるが、データとしてはボクセルグリッドの点の集合に過ぎず、当該データには個別の選手やボールを区別する情報も付与されておらず、従って、個別の選手やボールに該当する領域の情報も存在しない。このような領域に関する情報を自動で設定するのが、第一設定部3である。）

図４は、一実施形態に係る第一設定部3の機能ブロック図である。第一設定部3は、識別部31、フィルタ部32及び領域設定部33を備え、この順番で処理を行うことにより、第一生成部2で得た第一ビジュアルハルを解析して第一領域を設定し、当該第一領域を第二生成部4へと出力する。各部31～33の詳細は以下の通りである。

（識別部31）
識別部31は、第一生成部2で得た第一ビジュアルハルに対して連結成分ラベリング（connected components labeling）を適用し、この結果として連結成分として識別された第一ビジュアルハルをフィルタ部32へと出力する。ここで、第一生成部2で得られた第一ビジュアルハルは、図２の模式例でも示したように、N個の全画像において前景と判定されたボクセルグリッドの点集合であるので、ボクセルグリッドとしての隣接関係にあるような点同士に同一ラベルを付与するように、識別部31では連結領域ラベリングを行う。

識別部31で適用する連結領域ラベリングには任意の既存手法を用いてよく、例えば前掲の非特許文献３の手法を用いてよい。当該手法では、第一ビジュアルハルを３次元空間内での２値（第一ビジュアルハルに属する点が値「1」を、属さない点が値「0」の２値）体積集合として扱い、当該２値体積集合をGPU（グラフィックス処理装置）で並列処理すべくブロック分割して、局所（ローカル）ラベリング及び全体（グローバル）ラベリングを実施する。局所及び全体ラベリングのいずれにおいても、各グリッドを同一ラベルに属するものと判定する隣接関係としては26連結（各グリッドに関して、当該グリッドを対角中心とする3³=27個のグリッドからなる立方体表面上の26個の位置を隣接関係にあるとする）を用いる。

図５は、図３の第一ビジュアルハルVH1に対して識別部31で連結領域ラベリングを適用した結果の例を示す図であり、13個のラベルがそれぞれ付与されたボクセル点群v1～v13が示されている。12個のボクセル点群v1～v12は12人の選手の領域に該当するものであり、1個のボクセル点群v13はボールの領域に該当するものであることを見て取ることができる。

（フィルタ部32）
前処理部1で得たN枚のシルエット画像は必ずしも完全なものとは限らず、想定している本来の被写体以外のものをノイズとして前景に含んでいることもありうる。フィルタ部32ではこのノイズの影響を除外するために、識別部31で得たラベル付与されて識別された第一ビジュアルハルのうち、本来の被写体に該当しないノイズ由来のラベルに該当するものを判定して除外し、除外されなかったもののみを、識別され且つ選別された第一ビジュアルハルとして領域設定部33へと出力する。

フィルタ部32では、事前設定情報としての被写体のサイズ情報を利用することで、当該サイズ情報に整合しないと判定されるものを、ノイズ由来で同一ラベルが付与されたボクセル点群であるとして除外することができる。例えば図３や図５の例のように、N枚のシルエット画像（当初のN視点の多視点画像）がスポーツシーンにおいて被写体として選手及びボールを撮影しているものであることを事前設定情報として利用し、識別部31で得たラベル付与された各々のボクセル点群が、選手やボールの占める体積（及び形状）に整合する所定範囲内にあるかを、ボクセル点群に属する点群の個数によって、以下の式(2)のように判定するようにしてよい。

式(2)において、S_tは、識別部31で得られたt番目(t=1,2,…)のラベルが付与されたボクセル点群集合であり、N(S_t)は当該集合に属する点の個数である。T_nbは事前設定情報としての、ボール（ball）に該当する点群に属する点の個数の所定上限であり、T_npは事前設定情報としての、選手（player）に該当する点群に属する点の個数の所定下限である。式(2)では、左辺１段目のように個数N(S_t)が当該所定上限T_nbより多く、且つ、所定下限T_npより少ない場合に、集合S_tはボールのサイズにも、選手のサイズにも整合しないノイズ由来のものであるとして、削除判定（OFF）を行い、左辺２段目のようにこの削除判定（OFF）には該当しない場合には、問題なく選別された旨の判定（ON）を行う。当該判定（ON）が得られたような集合S_tのみが、選別されたものとして領域設定部33へと出力される。

なお、式(2)での閾値としてのボールの上限個数T_nb及び選手の下限個数T_npは、ボール及び選手に関して想定される体積や形状と、第一生成部2で視体積交差法を適用した際のグリッドの辺の長さと、を用いて事前に算出しておいた値を利用すればよい。あるいは、実際のスポーツ映像を用いて事前に試験的にボール及び選手が占める点群の個数の実績値を求めておくことで、上限及び下限の個数を設定するようにしてもよい。

また、式(2)の例はN枚のシルエット画像における前景が小さいボールとこれより大きな選手との２種類である場合の例であったが、事前設定情報として前景に該当する被写体の種類（任意の１以上の種類）及び各種類における占有ボクセル点群数の範囲が既知である場合、同様にして当該範囲に整合するか否かを判定することで、フィルタ部32の処理を行うことが可能である。

なお、前処理部1で得られるN枚のシルエット画像が高精度に得られており、本来の被写体以外のものを前景として含まないことが既知である場合は、フィルタ部32を省略して、識別部31で得られた識別された第一ビジュアルハルをそのまま領域設定部33へと出力するようにしてもよい。なおまた、前述の図５の例における13個の識別されたボクセル点群v1～v13には、フィルタ部32で除外されるもの（選手やボールに該当しないもの）は含まれていないが、これは、既にフィルタ部32で選別された後の結果を示したものである。

（領域設定部33）
領域設定部33は、フィルタ部32から得られた、識別され且つ選別された第一ビジュアルハルの各々（個別の被写体に相当するボクセル点群の各々）について、３次元空間（R³）内で当該ボクセル点群を包含する直方体としての囲み領域（バウンディングボックス、bounding box）を第一領域として求め、当該求めた第一領域を第二生成部4へと出力する。この囲み領域は、３次元空間（R³）のx軸、y軸、z軸のそれぞれにおいて、各々のボクセル点群に属する点の中で最小値及び最大値を(x_min,x_max), (y_min,y_max), (z_min,z_max)として求め、当該最小値及び最大値で囲まれる領域(x_min,x_max)×(y_min,y_max)×(z_min,z_max)として求めればよい。

なお、３次元空間（R³）に関しては、事前設定情報として、この領域設定部33と、第一生成部2及び第二生成部4とで共通して利用する直交座標系を予め設定しておけばよい。

図６は、図５の例における識別され且つ選別された第一ビジュアルハルVH1に対して、領域設定部33で得られる囲み領域の例を示す図である。図５にて識別され且つ選別された各々のボクセル点群v1～v13について、図６ではそれぞれ直方体状の囲み領域b1～b13が定まっている。

（第二生成部4）
第二生成部4は、以上の第一設定部3（領域設定部33）より得た第一領域、すなわち、第一ビジュアルハルにおける各々の被写体を包含する囲み領域を、３次元逆投影（あるいは投影）を行う対象空間として利用して、前処理部1で得たN枚のシルエット画像を用いて視体積交差法を適用することにより、第二ビジュアルハルを生成する。例えば、図６の例に示される第一領域であれば、第二生成部4は３次元空間（R³）の全体のうち、囲み領域b1～b13のみにボクセルグリッドを配置して、視体積交差法を適用する。また、既に言及したように、視体積交差法を適用するに際して、第二生成部4では第一生成部2で用いた第一密度よりも高い第二密度で設定されたボクセルグリッドを用いる。

図７は、図６（及び図３、図５）に示される第一ビジュアルハルVH1より得た囲み領域（第一領域）b1～b13に対して、第二生成部4で視体積交差法を適用して得られる第二ビジュアルハルVH2の例を示す図である。なお、第二生成部4では領域b1～b13を順番に処理して視体積交差法を適用して第二ビジュアルハルVH2を得るが、この際の各領域の処理（例えば個別の領域b1に対する処理）においては並列処理で視体積交差法を適用することができる。図３等に示される第一密度のボクセルグリッドの下での第一ビジュアルハルVH1よりも、図７に示される第二密度のボクセルグリッドの下での第二ビジュアルハルVH2の方が、密度が高く、3次元モデルとして高精度化されていることを見て取ることができる。図３の第一ビジュアルハルVH1にて範囲R1を拡大した様子が範囲R2として示されるのと同様に、これに対応するものとして、図７の第二ビジュアルハルVH2にて範囲R11を拡大した様子が範囲R12として示されている。

図８は、あるシルエット画像に対して第一生成部2及び第二生成部4においてそれぞれ第一密度及び第二密度で視体積交差法を適用する際の数値例を表形式で示す図である。図８に示される通り、ボクセルグリッドのグリッド長として第一生成部2では低密度（グリッド長が大）の50mm（第一密度）を、第二生成部では高密度（グリッド長が小）の20mm（第二密度）を設定する。視体積交差法が適用される空間全体のサイズとしてのボクセルグリッドの総数はそれぞれ2.3×10⁷個及び3.6×10⁷個（図６のb1～b13等のように複数での合計個数）で同オーダーであるが、得られる占有ボクセル点群の数（第一ビジュアルハル及び第二ビジュアルハルに属する点の数）は、9.6×10³個（図３のVH1等での全体の個数）及び1.4×10⁵個（図７のVH2等での全体の個数）であり、図３及び図７の様子から見て取ることができるのと同様に、第二ビジュアルハルは第一ビジュアルハルよりも高精度化されたものとして得られる。

（追加処理部6）
既に言及した通り、画像処理装置10におけるオプション構成としての追加処理部6では、第二生成部4で得た第二ビジュアルハルを用いて任意の追加処理を行うことができる。例えば、ボクセル点群としての第二ビジュアルハルに対してマーチングキューブ法を適用して、ポリゴンモデルを得るようにしてもよいし、ユーザ指定される自由視点において当該ポリゴンモデルに元のN視点の多視点画像のテクスチャを貼り付けてレンダリングし、自由視点画像を生成するようにしてもよい。多視点映像の各時刻のフレームに以上の画像処理装置10での処理を行うことで、自由視点映像を生成するようにしてもよい。

以上、画像処理装置10の第一実施形態の処理を説明したので、次に、第二実施形態に関して説明する。図９は、画像処理装置10の第二実施形態での動作の一例を示すフローチャートである。概要を既に言及した通り、第二実施形態では第一実施形態での画像処理装置10の構成（各部1～4及びオプションとしての追加処理部6を備える構成）に対して第二設定部5を追加で利用し、繰り返しの処理の都度、第二生成部4において第二ビジュアルハルを高精度化したものとして得ることができる。

以下の図９の各ステップの説明では、この繰り返し処理（図９においてステップS2,S3,S4及びS5で構成されるループ処理）の回数をk(k=1,2,…)として参照することにより、k回目に第一生成部2が出力する第一ビジュアルハルをVH1[k]とし、k回目に第二生成部4が出力する第二ビジュアルハルをVH2[k]とする。また、k回目に第一設定部3が出力する第一領域をSP1[k]とし、k回目に第二設定部5が出力する第二領域をSP2[k]とする。

図９に示される第二実施形態では、前掲の非特許文献４におけるような８分木（octree）ベースの点群圧縮手法においてなされているような階層型の高精度化のアプローチを簡素に実現することが可能である。

ステップS1では、前処理部1がN視点の多視点画像を読み込んでN個のシルエット画像を得て、このシルエット画像を第一生成部2及び第二生成部4へと出力してからステップS2へと進む。このステップS1での前処理部1の処理は第一実施形態と同様である。

ステップS2では、前処理部1で得られたシルエット画像を第一生成部2、第一設定部3及び第二生成部4がこの順番で処理することにより第二生成部4においてk回目の第二ビジュアルハルVH2[k]を得てから、ステップS3へと進む。

このステップS2での処理は、k=1の初回に関しては第一実施形態と同様である。初回よりも後のk回目（k≧2）では、各部2,3,4の処理内容自体は第一実施形態と同様であるが、処理対象となるデータ（及び視体積交差法を適用する際に用いるボクセルグリッド密度の設定）を以下のように第一実施形態とは別のものに変更する。

k回目（k≧2）のステップS2において、第一生成部2が視体積交差法を適用する空間対象は、k=1の初回のように３次元空間（R³）に予め設定されているボクセルグリッドを対象とするではなく、その直前のk-1回目においてステップS5で第二設定部5が出力した第二領域SP2[k-1]（複数の空間領域で構成されうる）にボクセルグリッドを配置し、当該第二領域SP2[k-1]のみを対象とする。（この第二設定部5が出力する第二領域は、ステップS5の説明において後述する。）k回目（k≧2）において、第一生成部2が生成した第一ビジュアルハルVH1[k]は、第一設定部3へと出力される。

k回目（k≧2）のステップS2において、第一設定部3は当該k回目の第一生成部2が生成した第一ビジュアルハルVH1[k]を対象として、第一実施形態と同様の処理を行うことにより、k回目の第一領域SP1[k]を得て、当該第一領域SP1[k]を第二生成部4へと出力する。

k回目（k≧2）のステップS2において、第二生成部4は当該k回目の第一設定部3が出力した第一領域SP1[k]を、ボクセルグリッドを配置する空間対象として利用して、視体積交差法を適用することにより、k回目の第二ビジュアルハルVH2[k]を得る。

なお、各k回目(k=1,2,…)のステップS2において第一生成部2及び第二生成部4が視体積交差法を適用する際のグリッド長をそれぞれL1[k]及びL2[k]とすると、以下の式(3A)の一般式及び(3B)のk=1,2,3の具体例のように、k回目として指定される繰り返し処理が進行する都度、グリッド長がより短くなり、従って、ボクセルグリッドの密度がより大きくなり、得られるビジュアルハルが高精度化されるように、各k回目の所定のグリッド密度を事前に設定しておく。例えば、繰り返し処理が進行する都度、グリッド長が半分となるように、「0.5*L1[k]=L2[k]」及び「0.5*L2[k]=L1[k+1]」として設定しておくことができる。（なお、前述の図８の例はk=1の初回に関して、L1[1]=50mm,L2[1]=20mmと設定した例となっている。）
L1[k]>L2[k]>L1[k+1]>L2[k+1] …(3A)
L1[1]>L2[1]>L1[2]>L2[2]>L1[3]>L2[3]>… …(3B)

ここで、各k回目(k=1,2,…)のステップS2において第一生成部2及び第二生成部4が視体積交差法を適用する際に用いるシルエット画像に関しては、ステップS1で前処理部1において得られたものを共通で利用すればよい。

ステップS3では、第二生成部4が、当該k回目に得られた第二ビジュアルハルVH2[k]が、画像処理装置10から最終的な結果として出力するものとして収束しているか否かを判定してから、ステップS4へ進む。当該収束判定は例えば、回数kが所定値K(K≧2)に到達したか否かによって判定すればよい。また、使用リソースとして処理時間が長すぎること及び／又は使用メモリ量が多すぎること、が判定される場合に、収束判定を下してもよい。この使用リソースの判定は実際に次のk+1回目の計算を実施する前に、このk回目のステップS3において予測して行うようにすればよい。ステップS4では、ステップS3での判定結果が肯定（収束した）であればステップS6へと進み、否定（収束していない）であればステップS5へと進む。なお、否定判定の場合、ステップS4において第二生成部4は当該k回目の第二ビジュアルハルVH2[k]を第二設定部5へと出力したうえで、ステップS4からステップS5へと進む。

ステップS6では、当該収束判定の得られたk回目の第二ビジュアルハルVH2[k]を最終的な結果として第二生成部4が出力したうえで、図９のフローは終了する。なお、ステップS6ではさらに、このk回目の第二ビジュアルハルVH2[k]を用いて第一実施形態と同様に、追加処理部6において追加処理を行うようにしてもよい。

ステップS5では、当該k回目において第二生成部4が得た第二ビジュアルハルVH2[k]を用いて第二設定部5が第二領域SP2[k]を設定し、当該設定した第二領域SP2[k]を第一生成部2へと出力してから、ステップS2へと戻る。（なお、当該戻ることで回数kが次の値k+1に更新され、当該戻ったステップS2はk回目の次のk+1回目の繰り返し処理におけるものとなり、第一生成部2では当該戻る前のk回目の第二領域SP2[k]をk+1回目の直前のもの（SP2[k]=SP2[(k+1)-1]）として、視体積交差法を適用する対象空間として利用することとなる。）

ステップS5における第二設定部5の処理は、第一実施形態において第一設定部3が第一ビジュアルハルを入力として第一領域を出力したのと同様の処理を、入力をk回目の第二ビジュアルハルVH2[k]として実施することにより、出力としてk回目の第二領域SP2[k]を得ることができる。

以上、本発明の第一実施形態又は第二実施形態によれば、以下に（１）～（６）として列挙する点により、図３等に例示されるスポーツシーンのような広大な空間を対象として選手やボール等の被写体を抽出する場合であっても、高速且つ高精度に当該被写体のモデルとしてのビジュアルハルを抽出することができる。

（１）第一生成部2での粗な第一ビジュアルハルで広大な空間から被写体候補の領域を絞り込んだうえで、第二生成部4での密な第二ビジュアルハルを最終的な結果とする、粗・密の２段階のアプローチを採用している。（２）当該２段階で絞り込む際は、領域設定部33で囲み領域（bounding box）として絞り込むことにより、必要最小限の範囲のみへと絞り込む。（３）当該絞り込む際に、フィルタ部32で被写体以外の無駄な領域を除外することができる。（４）第二実施形態の繰り返し処理も可能であるため、第一生成部2での当初（k=1回目）のグリッド密度を予め細かくチューニングして設定しておくことは必須ではない。（５）画像処理装置10の各部の処理を、GPUで扱うのに適した並列処理とすることができる。（６）第二実施形態では、画像処理装置10で利用可能な計算資源に応じて、最適な収束判定を設定することができる。

以下、補足事項を説明する。

（１）画像処理装置10においては前処理部1で多視点画像よりシルエット画像を得るものとしたが、この前処理部1の処理を画像処理装置10の外部において実施しておくことで、シルエット画像を第一生成部2において直接、入力として読み込むようにすることで、前処理部1を画像処理装置10から省略するようにしてもよい。

（２）図１０は、一般的なコンピュータ装置70におけるハードウェア構成の例を示す図である。画像処理装置10は、このような構成を有する１台以上のコンピュータ装置70として実現可能である。なお、２台以上のコンピュータ装置70で画像処理装置10を実現する場合、ネットワーク経由で処理に必要な情報の送受を行うようにしてよい。コンピュータ装置70は、所定命令を実行するCPU（中央演算装置）71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する専用プロセッサとしてのGPU（グラフィックス演算装置）72、CPU71にワークエリアを提供する主記憶装置としてのRAM73、補助記憶装置としてのROM74、GPU72用のメモリ空間を提供するGPUメモリ78、通信インタフェース75、ディスプレイ76、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース77と、これらの間でデータを授受するためのバスBSと、を備える。

画像処理装置10の各部は、各部の機能に対応する所定のプログラムをROM74から読み込んで実行するCPU71及び／又はGPU72によって実現することができる。なお、CPU71及びGPU72は共に、演算装置（プロセッサ）の一種である。ここで、表示関連の処理が行われる場合にはさらに、ディスプレイ76が連動して動作し、データ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース75が連動して動作する。第二生成部4や追加処理部6からの出力はディスプレイ76で表示してもよい。

10…画像処理装置、1…前処理部、2…第一生成部、3…第一設定部、4…第二生成部、5…第二設定部、6…追加処理部、31…識別部、32…フィルタ部、33…領域設定部

Claims

多視点画像の各視点の画像に前景及び背景の区別が付与されたシルエット画像に対して、１回目の第一密度のボクセルグリッドを用いて視体積交差法を適用して１回目の第一ビジュアルハルを生成する第一生成部と、
１回目の第一ビジュアルハルにおいて個別の対象物の空間領域を推定したものとして１回目の第一領域を設定する第一設定部と、
前記シルエット画像に対して、１回目の第一領域に配置された、１回目の第一密度よりも高い１回目の第二密度のボクセルグリッドを用いて視体積交差法を適用して１回目の第二ビジュアルハルを生成する第二生成部と、
１回目の第二ビジュアルハルにおいて個別の対象物の空間領域を推定したものとして１回目の第二領域を設定する第二設定部とを備える画像処理装置であって、
前記第一生成部、前記第一設定部、前記第二生成部及び前記第二設定部はさらに、終了判定が得られていない場合に、２以上の整数であるｋに対して、ｋ回目の処理を繰り返し実施し、
前記第一生成部はさらに、前記シルエット画像に対して、ｋ－１回目の第二領域に配置された、ｋ－１回目の第二密度よりも高いｋ回目の第一密度のボクセルグリッドを用いて視体積交差法を適用して、ｋ回目の第一ビジュアルハルを生成し、
前記第一設定部はさらに、ｋ回目の第一ビジュアルハルにおいて個別の対象物の空間領域を推定したものとしてｋ回目の第一領域を設定し、
前記第二生成部はさらに、前記シルエット画像に対して、ｋ回目の第一領域に配置された、ｋ回目の第一密度よりも高いｋ回目の第二密度のボクセルグリッドを用いて視体積交差法を適用してｋ回目の第二ビジュアルハルを生成し、
前記第二設定部はさらに、ｋ回目の第二ビジュアルハルにおいて個別の対象物の空間領域を推定したものとしてｋ回目の第二領域を設定し、
ｋ－１回目の処理を繰り返しの最後とすることで繰り返し処理を終了する判定を、ｋ－１回目の次であるｋ回目の処理に対して予測される計算リソースが過大であると判定されることによって行い、
前記第一設定部及び前記第二設定部はそれぞれ、繰り返し処理の各回において、前記第一ビジュアルハル及び前記第二ビジュアルハルを構成する点群に対して連結領域ラベリングを適用してラベル付与された各々の点群を包含する空間領域として、前記第一領域及び前記第二領域を設定することを特徴とする画像処理装置。
前記第一設定部及び前記第二設定部において、前記包含する空間領域は直方体形状であることを特徴とする請求項１に記載の画像処理装置。
前記第一設定部及び前記第二設定部は、前記連結領域ラベリングを適用してラベル付与された各々の点群のうち、属する点の個数が所定範囲内にあるもののみを、個別の対象物の空間領域に該当するものとして推定することを特徴とする請求項１または２に記載の画像処理装置。
前記属する点の個数の所定範囲は、前記多視点画像に撮影されている被写体のサイズに基づいて予め設定されていることを特徴とする請求項３に記載の画像処理装置。
多視点画像の各視点の画像に前景及び背景の区別が付与されたシルエット画像に対して、１回目の第一密度のボクセルグリッドを用いて視体積交差法を適用して１回目の第一ビジュアルハルを生成する第一生成段階と、
１回目の第一ビジュアルハルにおいて個別の対象物の空間領域を推定したものとして１回目の第一領域を設定する第一設定段階と、
前記シルエット画像に対して、１回目の第一領域に配置された、１回目の第一密度よりも高い１回目の第二密度のボクセルグリッドを用いて視体積交差法を適用して１回目の第二ビジュアルハルを生成する第二生成段階と、
１回目の第二ビジュアルハルにおいて個別の対象物の空間領域を推定したものとして１回目の第二領域を設定する第二設定段階とを備える、コンピュータが実行する画像処理方法であって、
前記第一生成段階、前記第一設定段階、前記第二生成段階及び前記第二設定段階はさらに、終了判定が得られていない場合に、２以上の整数であるｋに対して、ｋ回目の処理を繰り返し実施し、
前記第一生成段階はさらに、前記シルエット画像に対して、ｋ－１回目の第二領域に配置された、ｋ－１回目の第二密度よりも高いｋ回目の第一密度のボクセルグリッドを用いて視体積交差法を適用して、ｋ回目の第一ビジュアルハルを生成し、
前記第一設定段階はさらに、ｋ回目の第一ビジュアルハルにおいて個別の対象物の空間領域を推定したものとしてｋ回目の第一領域を設定し、
前記第二生成段階はさらに、前記シルエット画像に対して、ｋ回目の第一領域に配置された、ｋ回目の第一密度よりも高いｋ回目の第二密度のボクセルグリッドを用いて視体積交差法を適用してｋ回目の第二ビジュアルハルを生成し、
前記第二設定段階はさらに、ｋ回目の第二ビジュアルハルにおいて個別の対象物の空間領域を推定したものとしてｋ回目の第二領域を設定し、
ｋ－１回目の処理を繰り返しの最後とすることで繰り返し処理を終了する判定を、ｋ－１回目の次であるｋ回目の処理に対して予測される計算リソースが過大であると判定されることによって行い、
前記第一設定段階及び前記第二設定段階はそれぞれ、繰り返し処理の各回において、前記第一ビジュアルハル及び前記第二ビジュアルハルを構成する点群に対して連結領域ラベリングを適用してラベル付与された各々の点群を包含する空間領域として、前記第一領域及び前記第二領域を設定することを特徴とする画像処理方法。
多視点画像の各視点の画像に前景及び背景の区別が付与されたシルエット画像に対して、１回目の第一密度のボクセルグリッドを用いて視体積交差法を適用して１回目の第一ビジュアルハルを生成する第一生成部と、
１回目の第一ビジュアルハルにおいて個別の対象物の空間領域を推定したものとして１回目の第一領域を設定する第一設定部と、
前記シルエット画像に対して、１回目の第一領域に配置された、１回目の第一密度よりも高い１回目の第二密度のボクセルグリッドを用いて視体積交差法を適用して１回目の第二ビジュアルハルを生成する第二生成部と、
１回目の第二ビジュアルハルにおいて個別の対象物の空間領域を推定したものとして１回目の第二領域を設定する第二設定部とを備える画像処理装置としてコンピュータを機能させるプログラムであって、
前記第一生成部、前記第一設定部、前記第二生成部及び前記第二設定部はさらに、終了判定が得られていない場合に、２以上の整数であるｋに対して、ｋ回目の処理を繰り返し実施し、
前記第一生成部はさらに、前記シルエット画像に対して、ｋ－１回目の第二領域に配置された、ｋ－１回目の第二密度よりも高いｋ回目の第一密度のボクセルグリッドを用いて視体積交差法を適用して、ｋ回目の第一ビジュアルハルを生成し、
前記第一設定部はさらに、ｋ回目の第一ビジュアルハルにおいて個別の対象物の空間領域を推定したものとしてｋ回目の第一領域を設定し、
前記第二生成部はさらに、前記シルエット画像に対して、ｋ回目の第一領域に配置された、ｋ回目の第一密度よりも高いｋ回目の第二密度のボクセルグリッドを用いて視体積交差法を適用してｋ回目の第二ビジュアルハルを生成し、
前記第二設定部はさらに、ｋ回目の第二ビジュアルハルにおいて個別の対象物の空間領域を推定したものとしてｋ回目の第二領域を設定し、
ｋ－１回目の処理を繰り返しの最後とすることで繰り返し処理を終了する判定を、ｋ－１回目の次であるｋ回目の処理に対して予測される計算リソースが過大であると判定されることによって行い、
前記第一設定部及び前記第二設定部はそれぞれ、繰り返し処理の各回において、前記第一ビジュアルハル及び前記第二ビジュアルハルを構成する点群に対して連結領域ラベリングを適用してラベル付与された各々の点群を包含する空間領域として、前記第一領域及び前記第二領域を設定することを特徴とする画像処理装置としてコンピュータを機能させることを特徴とするプログラム。