JP6901885B2 - 前景抽出装置及びプログラム - Google Patents

Description

本発明は、多視点画像に関して計算負荷が低い前景抽出装置及びプログラムに関する。

画像からの前景抽出はバーチャルリアリティー、物体追跡、画像ベースのモデリングといったコンピュータビジョン分野の多くの応用における前処理として利用される。利用するカメラ視点数に応じて、前景抽出は２つのタイプに分類することができ、単視点画像（１枚のみの画像）における前景抽出と、多視点画像における前景抽出と、が存在する。

まず、単視点画像の前景抽出に関して、その計算効率性から広く利用されている背景差分法がある。また、背景差分法における制約に制限されずに利用可能な手法として、前景及び背景における空間的な滑らかさを利用したグラフカット等がある。

また、多視点画像を対象とした前景抽出に関して、以下の非特許文献１，２のような手法がある。

非特許文献１では、対象シーンについて複数視点で撮影された画像（多視点画像）が利用できることを前提として、前景抽出する手法を提案している。ここでさらに、前景領域と背景領域とでは色分布特性が異なっているとの仮定を設けることにより、その他の事前知識を必要とすることなく自動で前景領域を特定している。当該特定手法においては、画像間の空間的な整合性と色分布の整合性とが制約条件として活用されている。

非特許文献２では、多視点画像に関して、3次元立体の再構成手法や視差マップ推定といった手法を用いずに、背景から前景を分離する手法が報告されている。ここでは、スパースな3次元立体のサンプル集合に対して最大事後確率の手法を適用することによって、多視点画像における前景抽出を実現しており、非特許文献１の場合と同様に、前景と背景とではその色分布モデルが異なることを仮定している。

Wonwoo Lee, Woontack Woo, and Edmond Boyer. "Silhouette Segmentation in Multiple Views", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 33, no. 7, 2011, pp. 1429-1441. Abdelaziz Djelouah, Jean-sebastien Franco, Edmond Boyer, Francois Le Clerc, and Patrick Perez. "Sparse Multi-view consistency for Object Segmentation", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 37, no. 9, 2015, pp. 1890-1903.

しかしながら、以上のような従来技術の手法には、次のような課題があった。

背景差分法は、背景が全く動かず静止しているというその制約が厳しすぎるものであった。この制約を不要とするグラフカット等も、人手による指定を必要とするという課題があった。

非特許文献１の手法は、仮定としている色分布の整合が成立しない場合、すなわち、前景と背景とで色分布特性が区別できない場合には、上手く前景抽出することができなかった。また、非特許文献２の手法も同様に、前景と背景との色分布モデルが区別不能な場合に、上手く前景抽出することができなかった。なお、前景と背景との色分布モデルが区別困難となる例として、例えば屋外における画像を挙げることができる。

さらに、非特許文献１，２の両方に関して、計算負荷が大きいために、例えばリアルタイム用途に適用するのが困難であるという課題があった。

上記のような従来技術の課題に鑑み、本発明は、多視点画像に関して計算負荷が低い前景抽出装置及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明は、前景抽出装置であって、多視点画像の各視点の画像について背景差分法を適用することで各視点の第一前景画像を得る背景差分部と、前記各視点の第一前景画像に対して視体積交差法を適用することで視体積を得る視体積交差部と、前記視体積を多視点画像の各視点の画像平面へと逆射影することにより、各視点の第二前景画像を得る復元部と、を備えることを特徴とする。また、本発明は、コンピュータを前記前景抽出装置として機能させるプログラムであることを特徴とする。

本発明によれば、多視点画像に関して高速に前景抽出を行うことができる。

一実施形態に係る前景抽出装置の機能ブロック図である。 初期領域の位置及びサイズを決定する式を説明するための図である。 初期領域の位置及びサイズを決定する模式例を示す図である。 地面より上に初期領域を決定することの模式例を示す図である。 解像度の決定について説明するための図である。 背景差分部の処理について説明するための模式例を示す図である。 視体積交差部及び復元部の処理について説明するための模式例を示す図である。

図１は、一実施形態に係る前景抽出装置10の機能ブロック図である。前景抽出装置10は、初期領域生成部2、背景差分部3、視体積交差部4及び復元部5を備える。各部の処理の概要は以下の通りである。

初期領域生成部2は、所定のカメラ間配置情報（背景差分部3で読み込む多視点カメラ画像におけるカメラ1,2, ..., N間の配置情報）に基づき、初期領域Rを生成して視体積交差部4へと出力する。なお、初期領域Rは、カメラ間配置情報に基づいて予め固定的に定めておくことができるものであり、後述する詳細手法で定める以外にも、任意のその他の手法で定めるようにしてよい。

背景差分部3は、多視点カメラ映像における各時刻tの多視点カメラ画像としての、各カメラ1,2, ..., N(Nは視点数)の画像P1(t),P2(t), ..., PN(t)と、各カメラにおける背景画像（時刻tに依存しない静止画として予め用意しておく）G1,G2, ..., GNと、を読み込み、各カメラ画像について背景差分法を適用して第一の前景領域画像fg1(t),fg2(t), ..., fgN(t)を生成し、視体積交差部4へと出力する。

視体積交差部4は、背景差分部3から得られる第一の前景領域画像fg1(t),fg2(t), ..., fgN(t)に対して視体積交差法を適用することで時刻tの視体積（ビジュアル・ハル、Visual Hull）VH(t)を生成し、当該視体積VH(t)を復元部5へと出力する。視体積交差部4における視体積交差法では各カメラ視点における視錐体（Visual Cone）の積領域を求めることで最終的な視体積VH(t)が得られるが、当該積領域を取る際の初期領域として初期領域生成部2から得られる初期領域Rを利用する。

復元部5は、視体積交差部4から得られた視体積VH(t)に対して、各視点のカメラ画像の平面への逆射影（back projection）を行うと共に、モルフォロジー処理によって欠損を補うことにより各カメラ画像についての第二の前景領域FG1(t),FG2(t), ..., FGN(t)を得て、前景抽出装置10からの最終的な出力となす。

以下、各部の詳細を説明する。

初期領域生成部2では、以下の２つの手順によって、初期領域Rを生成する。
（１）初期領域Rのワールド座標系における矩形としてのサイズ及び位置の決定
（２）上記により矩形として決定された初期領域Rの解像度の決定
以下、これらをそれぞれ説明する。

（１）初期領域Rのサイズ及び位置の決定について
図２及び図３は当該決定手法を説明するための模式図である。図２では、カメラkのカメラ中心(c_k(x),c_k(y),c_k(z))から画像Pk(t)の4頂点へと向かうベクトル（光線）がそれぞれl_k ¹,l_k ²,l_k ³,l_k ⁴として、当該矩形の右上頂点に対応するl_k ¹から始まる時計回りの順で示されている。なお、任意の画像Pk(t)において、l_k ¹,l_k ²,l_k ³,l_k ⁴はこのように時計回りの順で定めるものとする。画像Pk+1(t)においても同様の記号でその4頂点に向かうベクトルl_k+1 ¹,l_k+1 ²,l_k+1 ³,l_k+1 ⁴が示されている。図２に示すように、カメラk+1の光線l_k+1 ¹,l_k+1 ²によって平面P_(k,k+1)が張られる（図示するように、その法線ベクトルを(n₁,n₂,n₃)とする）と共に、当該平面P_(k,k+1)とカメラkの光線l_k ³,l_k ⁴との交点としてそれぞれ点p³ _(k,k+1)(x,y,z)及び点p⁴ _(k,k+1)(x,y,z)が得られる。以上の表記により、当該交点p³ _(k,k+1)(x,y,z)及び点p⁴ _(k,k+1)(x,y,z)をそれぞれ以下の式(1),(2)のように求めることができる。

さらに、以下の式(3)によって矩形領域としての初期領域Rを、R={(x,y,z)|x_min≦x≦x_max, y_min≦y≦y_max, z_min≦z≦z_max}として求めることができる。図3の[1]は、当該求める初期領域Rをワールド座標系のうち(x,y)平面を切り取って模式的に示すものであり、8個のカメラ中止からの射影（projection）が行われている。また、図３の[2]は、当該求める初期領域Rをワールド座標系において模式的に示すものである。

なお、上記の式(2),(3)のような計算を可能にするために、複数のカメラのカメラパラメータは既知であると共に、異なるカメラ間で共通のワールド座標系において、各カメラの位置姿勢の情報も既知であるものとする。すなわち、図２の各カメラkのカメラ中心(c_k(x),c_k(y),c_k(z))やその向きが共通のワールド座標系において与えられているものとする。

ここで、次の追加処理を行うことにより、式(3)で求まったy_minの値を以下の式(4)で与えられるy'_minの値に置き換えたものによって初期領域Rの位置及びサイズを定めるようにしてもよい。すなわち、ワールド座標系(x,y,z)は平面y=0が地面であるものとして設定しておき、以下の場合分けの式(4)のようにy'_minを定め、この値をy_minの値として置き換えるようにしてもよい。

図４は、上記の式(4)による置き換えを模式的に説明する図である。[1]に示すのが「y_min≦0」に該当する場合であり、上記の式(4)において「y'_min=0」として決定される場合である。[1]の場合、式(3)で求めた初期領域Rは地面GRより上のy≧0にある領域R1と地面より下のy≦0にある領域R2と、によって構成されることとなる。しかしながら、対象とする現実世界において、地面GRより下にある領域R2で何らかの対象が検出されることはありえない。そこで、初期領域Rを、当該地面より下にある領域R2を除いた領域R1として求めておく、というのが上記の式(4)の内容となる。一方、図４の[2]は「y_min＞0」に該当する場合であり、この場合は式(3)で求まっている初期領域Rは地面GRより上に位置しており、現実世界において何らかの対象が検出されうる範囲であるため、式(3)で求まった領域をそのまま採用すればよい。

（２）矩形領域として求まった初期領域Rの解像度の決定について
当該決定する解像度とは、後段側の視体積交差部4でワールド座標系におけるボクセル空間において視体積交差法を適用する際の、ボクセルの解像度である。図５を参照して、解像度の決定についてその考え方から説明する。視錐体（Visual Cone；すなわち、カメラ中心を頂点としてカメラ撮影面へ延びる母線で形成される錐体）と初期領域R(矩形としてのbounding box)とで形成される断面を考えると、図５の[1]〜[3]に示すような３つの類型が考えられ、それぞれ以下の通りである。なお、(x,y,z)は前述の通りワールド座標系である。
（第一類型）カメラ画像面が初期領域Rにおけるxy平面と平行になる。すなわち、図５の[1]に模式的に示すように、カメラC1におけるカメラ画像面P1が初期領域Rのxy平面向きの面RC10と平行となる。
（第二類型）カメラ画像面が初期領域Rにおけるyz平面と平行になる。すなわち、図５の[2]に模式的に示すように、カメラC2におけるカメラ画像面P2が初期領域Rのyz平面向きの面RC20と平行になる。
（第三類型）カメラ画像面が初期領域Rにおけるxy平面ともyz平面とも平行にはならない。例えば、このような場合として、図５の[3]に模式的に示すように、上記xy平面と平行な場合とyz平面と平行な場合の中間的な場合として、初期領域Rの形成する直方体のうちy方向と、zx平面上の対角線方向と、によって辺の方向が規定される面RC30と、カメラC3におけるカメラ画像面P3と、が平行になる場合が挙げられる。
なおここでは、次のことを前提としている。すなわち、式(4)で説明したように、ワールド座標系(x,y,z)はy軸方向が垂直方向であり且つ平面y=0が地面であるものとして設定しておき、各カメラ画像は当該地面に対して水平方向を向いて撮影されているという前提である。換言すれば、各カメラ画像の画像座標系(u,v)において、横軸u方向はワールド座標系における水平方向となっており、縦軸v方向はワールド座標系における垂直方向となっているという前提である。このような前提のもとで初期領域Rの解像度の設定を考察する場合、上記の３つの類型を考えれば十分である。

そして、図５の[1]〜[3]にそれぞれ示される視錐体VC1,VC2,VC3上において、[1]の視錐体VC1では矩形RC10と矩形RC1の間に、[2]の視錐体VC2では矩形RC20と矩形RC2の間に、[3]の視錐体VC3では矩形RC30と矩形RC3の間に、それぞれ相似関係がある（対応する辺の長さの相似関係がある、すなわち、アスペクト比が同じとなる）ことから、以下の式(5),(6),(7)の関係がそれぞれ得られる。

上記の式(5)〜(7)において、式(3),(4)等において既に説明している通り、x_max-x_min, y_max-y_min, z_max-z_minは直方体として構成される初期領域Rのそれぞれx, y, z方向の辺の長さである。また、(q_x ⁱ, q_y ⁱ)(i=1,2,3)はそれぞれの場合におけるカメラ画像平面上に断面として形成される矩形（i=1の場合は[1]の矩形RC1、i=2の場合は[2]の矩形RC2、i=3の場合は[3]の矩形RC3）におけるピクセル長（すなわちピクセル数）である。なお、式(7)の左辺に現れている以下の値（sqrtは平方演算）は矩形RC3のzx平面上を斜めに向いた辺の長さである。
sqrt{( x_max-x_min)²+( z_max-z_min)²}

以上の式(5)〜(7)において次のことに注目する。すなわち、式(5),(6)よりx軸方向とz軸方向との解像度は同じものとして設定してもよい。なぜなら、両者はq_x ⁱで関連付けられていると共に、もう一方の側であるy軸方向はq_y ⁱで決定されるためである。

そして、解像度の決定に関して、(q_x ⁱ, q_y ⁱ)の設定と共に最適化された解像度を個別に算出するという手法を用いてもよいが、本発明の一実施形態においては次の簡略化された手法を採用することができる。すなわち、式(3)で説明した通り、当該実施形態においては初期領域Rを、各カメラ画像の全域を画像座標系へ向けて拡張するという、簡素化された手法で求めている。また、前述のように各カメラ画像において画像座標系(u,v)の横軸u方向が水平方向であり、縦軸v方向が垂直方向に対応している。この場合、初期領域Rの(x,y,z)方向それぞれの解像度を(r_u,r'_v,r_u)として決定してよい。ここで、(r_u,r_v)はカメラ画像の(u,v)方向それぞれの解像度であり、以下の式(8)によって求めることができる。なお、各カメラ画像の解像度(r_u,r_v)は共通であるものとする。y'_minは式(4)で説明した通りであり、式(8)よりy_min＞0の場合はr'_v=r_vとなり、y_min≦0の場合は、r'_vはr_vよりも所定割合だけ小さな値となる。

以下、背景差分部3、視体積交差部4及び復元部5をそれぞれ説明する。図６及び図７は、これら各部3,4,5の処理内容を説明するための模式例として、多視点画像におけるカメラ視点数が4の場合の模式例を[1]〜[7]（図６に[1]〜[4]、図７に[5]〜[7]）と分けて示す図であり、以下の説明において適宜、参照する。

背景差分部3は、各カメラ画像Pk(t)(k=1,2,..., N)について、その背景画像Gkを用いて既存手法である背景差分法を適用することで、前景の画素を「0」、背景の画素を「1」として前景領域を表現した第一の前景画像fgk(t)を得る。なお、背景差分部3において得られる第一の前景画像fgk(t)は、後段側の復元部5において最終的に得られる第二の前景画像FGk(t)をいわば、粗い状態で求めたものに相当する。

背景差分部3において当該適用する背景差分法は以下の通りである。すなわち、各カメラ画像Pk(t)に関して、その背景画像Gkとの間で同位置(u,v)にある画素値との差分を式(9)のように求める。さらに、式(10)のように当該求めた差分が閾値th以上である位置(u,v)に前景として値「0」を与え、当該求めた差分が閾値th未満である位置(u,v)に背景として値「1」を与えることにより、第一の前景画像fgk(t)が得られる。

式(9),(10)においてI^k _bs(u,v)は2値領域画像としての第一の前景画像fgk(t)の画素値、I^k _s(u,v)はカメラ画像Pk(t)から背景画像Gkを引いた差分絶対値画像の画素値、I^k _c(u,v)はカメラ画像Pk(t)の画素値、I^k _o(u,v)は背景画像Gkの画素値であり、(u,v)は前述の通り画素位置、thは閾値である。

図６では、多視点画像が4視点である場合の背景差分部3による処理の模式例が示されており、[1]には各カメラ視点における背景画像Gk（サッカーグラウンドのみが撮影された画像）の例が、[2]には各カメラ画像（サッカーグラウンドに前景としてのプレイヤーが2人いる状態で撮影された画像）の例が、[3]にはこれらの差分画像（式(9)の画像）の例が、[4]には得られる第一の前景画像fgk(t)（式(10)の画像）の例が、それぞれ示されている。ここで特に、[4]の第一の前景画像fgk(t)の例において、本来の前景として得られるべき2人のプレイヤー以外の領域（サッカーグランドにおける地面や空等の領域）がノイズとして得られていることに注意されたい。

視体積交差部4は、各カメラ画像Pk(t)における所与のカメラパラメータに基づき、背景差分部3で得られた第一の前景画像fgk(t)における前景をシルエットとして利用した視体積交差法を行うことで、ワールド座標系のボクセル空間において視体積を生成する。

具体的には、各カメラ画像Pk(t)のカメラ中心(c_k(x),c_k(y),c_k(z))から対応する第一の前景画像fgk(t)の前景に属する各画素へと延びる直線を形成することで当該カメラ視点kにおける視錐体（Visual Cone）cone(k)を形成し、全ての視点k=1,2, ..., Nにおける視錐体core(k)の積集合（共通部分）として、以下の式(11)のように現時刻tの視体積VH(t)を生成することができる。

ここで、前述のように、初期領域生成部2から得られる初期領域Rを用いて当該視体積交差法を実施する。すなわち、式(11)の積集合を求める処理は初期領域Rの内部において、その解像度で設定されるボクセル単位で実施する。すなわち、各カメラ画像Pk(t)のカメラ中心(c_k(x),c_k(y),c_k(z))から対応する第一の前景画像fgk(t)の前景に属する各画素へと延びる直線を形成した際に、当該直線が通過するボクセルをcone(k)に属するボクセルであると判定したうえで、式(11)による積集合を求める処理が行われる。

図７の[5]では、図６の例に対応する例として、式(11)による視体積交差法で得られる視体積をボクセル空間内の4つの視点（当該図７に示す視点はカメラ1~4の視点とは異なる）から見たものが示されている。ここで、対象に相当する2人のプレイヤーの領域として構成される視体積であり、やや疎の状態で構成されているものの、図６の[4]に見られたような前景のノイズは除去されていることに注意されたい。これは、視体積交差法によって空間的に矛盾しない前景のみが視体積のボクセルとして残り、空間的に矛盾した位置にあるノイズはボクセルとしては残らない（残る可能性が低い）という効果によるものである。

復元部5は、以下の２つの手順によって、各カメラ画像Pk(t)について第二の前景画像FGk(t)を得る。
（１）視体積VH(t)から各カメラ画像Pk(t)へ逆射影を行い、逆射影画像を得る。
（２）逆射影画像において欠損補完処理を行うことで、第二の前景画像FGk(t)を得る。
以下、これらをそれぞれ説明する。

（１）逆射影の処理について
ワールド座標系（ボクセル空間）O(x,y,z,w)から各カメラ画像Pk(t)の画像平面I_p ^k(u,v)へと、以下の式(12)のようにホモグラフィ行列T₃₄ ^kによって変換を行うことができる。ここで、ホモグラフィ行列T₃₄ ^kは当該視点kについて既知のカメラパラメータから求めることができる。

従って、視体積VH(t)の各ボクセルを上記の式(12)で各カメラ画像Pk(t)へと変換することで、ボクセルが写像される位置にある画素を前景として定義した逆射影画像を得ることができる。図７では[6]に、[5]の視体積に対応する逆射影画像の例が示されている。本来の領域であるはずの2人のプレイヤーの領域に欠損があることが見て取れる。

ここで、視体積のボクセル密度を増加させればこのような欠損はなくなることが期待されるが、ボクセル密度を増加させることはそのまま計算負荷の増加につながってしまう。そこで本発明においては、ボクセル密度を増加させるのではなく、次の（２）の欠損補完処理によって本来の対象の領域を計算負荷を増すことなく得ることができるようにする。

（２）欠損補完処理について
上記得られた逆射影画像に対して、モルフォロジー処理を適用することで、欠損が補完された2値領域画像としての第二の前景画像FGk(t)を得る。モルフォロジー処理に関しては既存手法であり、膨張(opening)処理や収縮処理(closing)等の組み合わせによって高速に欠損補完を行うことができる。図７では[6]の欠損を含む逆射影の領域画像について、モルフォロジー処理を施した第二の前景画像が[7]に示されており、欠損が補完されていることを見て取ることができる。

以上、本発明の利点を列挙すると以下の通りとなる。
（１）多視点画像における高速な前景抽出が可能である。
（２）GPU等に実装可能な並列演算に適した構成となっている。
（３）例えばグラフカット等におけるような人手による指定作業は不要である。
（４）背景差分部3及び視体積交差部4を組み合わせることで、互いにデメリットを補いつつ、双方のメリットを活かすことが可能である。

以下、本発明の説明上の補足を述べる。

（１）式(4)ではy=0が地面に相当するものとして、対象が存在しえない地面よりも下を初期領域から除外することを説明したが。地面に限らず、ワールド座標系において求まった初期領域において、対象が存在しえない任意の領域が事前知識として与えられている場合、当該対象の存在しえない領域を初期領域から除外するようにしてもよい。例えば、地面ではなく壁がある場合、壁よりも奥には対象は存在しえないので、そのような領域は初期領域から除外してよい。

（２）本発明は、コンピュータを前景抽出装置10として機能させるプログラムとしても提供可能である。当該コンピュータには、CPU(中央演算装置)、メモリ及び各種I/Fといった周知のハードウェア構成のものを採用することができ、CPUが前景抽出装置10の各部の機能に対応する命令を実行することとなる。また、当該コンピュータはさらに、CPUよりも並列処理を高速実施可能なGPU（グラフィック処理装置）を備え、CPUに代えて前景抽出装置10の全部又は任意の一部分の機能を当該GPUにおいてプログラムを読み込んで実行するようにしてもよい。

GPUを利用する場合、前景抽出装置10の各部の処理を所定単位に分割して並列化して実施することで、処理を高速化することが可能である。例えば、前景抽出部10の処理は、各カメラ画像P1(t),P2(t), ..., PN(t)についてN個の並列処理で一括実行してもよいし、さらに個別のカメラ画像を互いに等しいサイズのM個の矩形に分割して、N×M個の並列処理で一括実施してもよい。復元部5の処理についても同様にN個あるいはN×M個の並列処理で一括実施してもよい。視体積交差部4の処理についても、初期領域生成部2で得られる直方体としての初期領域を互いに等しいサイズの複数の直方体（L個）に分割し、当該L個の分割された初期領域を対象として、L個の並列処理で視体積交差法を一括実施してもよい。

10…前景抽出装置、2…初期領域生成部、3…背景差分部、4…視体積交差部、5…復元部

Claims (8)

1. 多視点画像の各視点の画像について背景差分法を適用することで各視点の第一前景画像を得る背景差分部と、
   前記各視点の第一前景画像に対して視体積交差法を適用することで視体積を得る視体積交差部と、
   前記視体積を多視点画像の各視点の画像平面へと逆射影することにより、各視点の第二前景画像を得る復元部と、を備え、
   前記視体積交差部では、多視点画像の各視点の画像ペアにおいて、一方の画像のカメラ中心と一方の画像の一辺の２頂点とが張る平面を求め、他方の画像のカメラ中心から他方の画像の一辺の2頂点に向かう２直線を求め、当該求めた平面と当該求めた２直線との２交点を求め、一連の画像ペア間における当該２交点をワールド座標系において包含することで定まる空間領域を初期領域として利用し、当該初期領域において前記視体積交差法を適用することを特徴とする前景抽出装置。
2. 前記復元部は、前記逆射影したうえでさらに、欠損補完処理を行うことよって各視点の第二前景画像を得ることを特徴とする請求項１に記載の前景抽出装置。
3. 前記視体積交差部では、前記初期領域を、多視点画像の各視点の画像の解像度に基づく所定解像度でボクセルに分割したうえで、前記視体積交差法を適用することを特徴とする請求項１または２に記載の前景抽出装置。
4. 前記視体積交差部では、前記包含することで空間領域として定まる初期領域において、多視点画像の各視点の画像に映る対象が存在しえない領域が存在する場合に、当該存在しえない領域を除外したものとしての初期領域を、前記視体積交差法の適用対象とすることを特徴とする請求項１ないし３のいずれかに記載の前景抽出装置。
5. 前記視体積交差部では、互いに垂直なｘ、ｙ及びｚ軸方向で定義され、y軸方向が垂直方向として定義されるワールド座標系において、各辺の方向が当該ｘ、ｙ及びｚ軸のいずれかに平行となるよう配置された直方体領域を、前記視体積交差法を適用するための初期領域として利用し、
   前記多視点画像の各視点の画像は横軸方向がワールド座標系の水平方向に該当し縦軸方向がワールド座標系の垂直方向に該当するものとして撮影されたものであり、
   前記視体積交差部では、前記直方体領域としての初期領域におけるｘ、ｙ及びｚ軸方向の解像度をそれぞれ前記多視点画像の各視点の画像の横軸方向解像度、縦軸方向解像度及び横軸方向解像度として、当該初期領域をボクセルに分割したうえで、前記視体積交差法を適用することを特徴とする請求項１ないし４のいずれかに記載の前景抽出装置。
6. 前記背景差分部、前記視体積交差部及び前記復元部のうち少なくとも１つは、GPU（グラフィック処理装置）による並列処理で実現されることを特徴とする請求項１ないし５のいずれかに記載の前景抽出装置。
7. 前記視体積交差部で前記平面、前記２直線及び前記２交点を求めるに際して、多視点画像の各画像において、各画像の４頂点のうち、前記平面を前記一方の画像において求めるための２頂点と、前記２直線を前記他方の画像において求めるための２頂点と、が互いに異なるものであることを特徴とする請求項１ないし６のいずれかに記載の前景抽出装置。
8. コンピュータを請求項１ないし７のいずれかに記載の前景抽出装置として機能させることを特徴とするプログラム。

Images