JP4722923B2 - コンピュータビジョンによりシーンをモデル化する方法 - Google Patents

Description

本発明は、包括的にはコンピュータビジョンに関し、特にキャストシャドウのモデル化及びキャストシャドウの除去に関する。

陰影は多くのコンピュータビジョンアプリケーションにおいて難しい問題を提起する。画像中の陰影は、シーンの背景における光源から遮られた領域に対応する。陰影は物体の形状及び色を歪め、物体の検出及び追跡を難しくする。２つのタイプの陰影が定義される。影は光源に対して物体の背後にあり、陰は物体そのものの遮蔽によるものである。

したがって、物体が落とす影は除去されなければならないが、物体そのものの照明されない部分である陰は、完全な物体の輪郭が得られるように保持されるべきである。

画像中に陰影が存在することを示す手掛かりはいくつかある。例えば、陰影領域内の画素のルミナンスは基準となる背景と比べて低下する。陰影領域は、一般的な観察条件においてその下にある表面のテクスチャを保持する。したがって、強度の低下率は近傍画素間で滑らかに変化する。

さらに、ほとんどの陰影領域には強いエッジがない（H.T. Chen、H.H. Lin、T.L. Liu著「動的なグラフマッチングを用いた複数物体の追跡（Multi-object tracking using dynamical graph matching）」（CVPR, 2001））。空間的に、移動するキャストシャドウ領域は物体に隣接するはずである。

ほとんどの従来技術の陰影除去方法は、陰影画素のクロミナンスは背景と同じであるがルミナンスは低下するという仮定に基づく。一方法は、差分のルミナンスの歪み及びクロミナンスの量に応じて画素を４つのカテゴリーのうちの１つに分類する（T. Horprasert、D. Harwood、及びL. Davis著「リアルタイムでロバストな背景差分及び陰影検出のための統計的手法（A statistical approach for real-time robust background subtraction and shadow detection）」（Proc. of IEEE ICCV Frame-rate Workshop, 1999））。同様の方法は、フォンシェーディングに基づくカラーモデルを組み込むことによって上記基準を検証する（J. Stauder、R. Mech、及びJ. Ostermann著「物体の分割のための移動するキャストシャドウの検出（Detection of moving cast shadows for object segmentation）」（IEEE Transactions on Multimedia, vol. 1, 1999））。別の方法は、統計モデルに従って画素を分類する（I. Mikic、P. Cosman、G. Kogut、及びM. Trivedi著「交通シーンにおける移動する陰影及び物体の検出（Moving shadow and object detection in traffic scenes）」（ICPR, vol. 1, pp. 321-324, 2000））。

変化する照明下での色の変化がフォン・クリース（von Kries）則により説明されている。各カラーチャネルはほぼ単一の全体的な乗算係数で乗算される。

いくつかの方法は、背景に落ちる影の色相は大きく変化しないため、色空間をマッピングし直す（R. Cucchiara、C. Grana、M. Piccardi、及びA. Prati著「色情報及び動き情報を利用することによるビデオストリームにおける物体、陰影及びゴーストの検出（Detecting objects, shadows and ghosts in video streams by exploiting color and motion information）」（Proc. of IEEE CIAP, 2001））。

別の方法は、３つの帯域から成るカラー画像から不変画像を回復する（G.D. Finlayson、M. Drew、及びC. Lu著「エントロピー最小化による固有画像（Intrinsic images by entropy minimization）」（ECCV, 2004））。この方法は、ランバート反射率、ほぼプランクの照明、及び十分に狭帯域のカメラセンサの仮定に基づいて固有反射率画像を求める。

同様の方法もまた照明不変画像を利用する（H. Jiang、M. Drew著「ビデオにおける陰影に強い追跡（Shadow resistant tracking in video）」（ICME, 2003））。照明がほぼプランクである場合、照明色が変化するにつれて、いずれか１つの表面の（Ｒ／Ｇ）値及び（Ｂ／Ｇ）値の対数−対数プロットが直線を形成する。したがって、照明の変化は線形変換となる。ほぼ不変な照明空間を最初に用いて色空間を変換する。この色空間は、等エネルギー白色照明下のマット表面の場合に限るが、陰影及び強度の変化に対してほぼ不変である（T. Gevers及びA.W. Smeulders著「色に基づく物体認識（Color-based object recognition）」（Patt. Rec., vol. 32, pp. 453-464, 1999））。

他の方法は画像分割を行う。例えば、潜在的な陰影領域を小領域に分割することができる（O. Javed及びM. Shah著「自動監視のための追跡及び物体分類（Tracking and object classification for automated surveillance）」（ECCV, 2002））。各陰影候補部分及びそれぞれの背景に関して、勾配を相関させる。相関が閾値よりも高い場合、その候補部分はキャストシャドウであると見なされ、そのキャストシャドウは前景領域から除去される。

明らかに、１つの欠点は、全ての画像が、直接照明された画素及び陰影になった画素の両方に対応する統計的に有意な量の物体表面を含むわけではないことである。さらに、アンブラ（umbra：暗影部）領域の照明色が太陽光と常に同じであるとは限らない。

一方法は、明るさの尺度を用いて陰影を除去する（I. Sato及びK. Ikeuchi著「陰影中の明るさに基づく照明分布（Illumination distribution from brightness in shadows）」（ICCV (2), pp. 875-882, 1999））。この画像は、密度の同じいくつかの領域に分割される。陰影領域は、明るさ及び色に基づいて判定される。この方法は、最大値フィルタ及び最小値フィルタの後に平滑化演算子を適用して画像の大域的な明るさを得ることによって拡張することができる。この大域的な明るさから、陰影密度を求めることができる（M. Baba及びN. Asada著「実写画像からの陰影除去（Shadow removal from a real picture）」（SIGGRAPH Conference on Sketches and Applications, 2003））。

別の方法は画像を２段階で分割する（E. Salvador、A. Cavallaro、及びT. Ebrahimi著「不変カラーモデルを用いた陰影の識別及び分類（Shadow identification and classification using invariant color models）」（ICASSP, 2001））。第１段階は、フレームシーケンスの各フレームにおいて移動するキャストシャドウを抽出する。第２段階は、抽出した影を後続フレームにおいて追跡する。明らかに、分割に基づく手法は本質的に、分割の不正確さにより劣化する。

幾何学的方法は、陰影が楕円形状であると仮定する。背景中の対応画素より低い強度を有する陰影の楕円内にある前景画素はいずれも、閾値により、陰影画素として分類される（T. Zhao、R. Nevatia著「複雑な状況における複数人物の追跡（Tracking multiple humans in complex situations）」（PAMI, vol. 26, no. 9, 2004））。

残念ながら、上記の方法の仮定は概して正当化が難しい。ルミナンスベースの基準に基づく検出は、前景物体の画素が背景よりも暗く、基準となる背景に対して均一な利得を有する場合に機能しない。色空間の変換は、背景色が灰色である場合に不十分である。幾何学的な陰影モデルは視点及び物体形状に大きく依存する。いくつかの事前に定義されたパラメータを用いて様々な条件にわたって正確に陰影を除去することは不可能である。上記の方法のもう１つの限界は、異なるタイプの陰影（例えば弱い周囲光源による薄い陰影、または強いスポットライトによる濃い陰影）に適応しないことである。

一つの観測として、キャストシャドウは色の「大きな」変化をもたらす。言い換えれば、物体による画素の色の変化は、物体が様々な色を有し得るため、キャストシャドウによる色の変化と比べて高い分散を有する。画素に関して、キャストシャドウは同一の背景色の変化を生じる。しかし、物体色が異なれば物体の動きにより生じる色の変化は異なり、物体色は異なるのが普通である。

方法は、物体領域に対する陰影領域の統計的割合を利用することによりビデオ中のキャストシャドウをモデル化する。陰影は、多変量ガウス分布を用いてモデル化される。

弱分類器が後の処理のための前置フィルタとして適用される。陰影モデルが量子化された色空間上に射影され、陰影フロー関数が更新される。陰影領域と物体領域とを区別するために陰影フロー、背景モデル、及び現フレームが用いられる。

利点として、本方法は、陰影を推定するために色空間の変換を必要としない。この問題は、ＲＧＢ色空間、及び空間を張るために直交軸が用いられる他のデカルト空間（すなわちＣＭＹ、ＹＵＶ等）において解かれる。したがって、他の計算コストの高い射影変換を適用する必要はない。

本方法はまた、データ駆動型であり、変化する陰影条件に自動的に適応する。

本方法の精度は、事前に設定された閾値により制限されない。さらに、本モデルは、物体の３Ｄモデルまたはフレームシーケンスにおけるキャストシャドウの追跡を前提としない。

方法は、シーンに関して取得された監視ビデオ等のビデオからキャストシャドウを含むシーンをモデル化する。本方法は、多変量ガウス分布を用いてシーン中の背景及び陰影を経時的にモデル化することによりキャストシャドウの特性をビデオから自動的に学習する適応的な陰影フロー方法であり、データ駆動型となっている。

本発明はまた、モデルを更新する方法を提供する。本方法はいくつかの利点を有する。本方法は、色空間の変換を必要としない。本発明では、ＲＧＢ色空間で問題を提起し、直交軸により張られる他のデカルト色空間（ＣＭＹＫ、ＹＵＶ、ＹＣｂＣｒ等）でも同じ解析を行うことができる。

このデータ駆動型の方法は、変化する陰影条件に陰影モデルを動的に適応させる。言い換えれば、本発明の方法の精度は、従来技術の方法の主な欠点である事前に設定された閾値による制限を受けない。本方法の精度は、ビデオの処理されるフレームの数が多くなるほど高まる。さらに、本モデルは、シーン中の物体の３Ｄモデルまたはフレームシーケンスにおけるキャストシャドウの追跡を前提としない。

図１は、本発明の一実施の形態によるキャストシャドウをモデル化する方法１００を示す。モデルは、キャストシャドウを検出及び除去するために用いることができる。本発明の別の実施の形態では、物体領域も推定される。

カメラ１０２によりシーン１０３に関してビデオ１０１を取得する。一組の背景モデル２０１、背景陰影マップ２０２、及び一組の陰影モデル２０３を、より詳細に後述するように、そのシーンに関して初期化する。次に、ビデオのフレーム１１０毎及び各フレーム中の画素毎に、以下のステップを行う。

再帰的なベイズプロセスにより、背景モデル２０１及び背景陰影マップ２０２を更新する（２００）。背景モデルを用いて、第１レベルの前景検出（３００）を行う。画素を前景画素（Ｃ）、陰影画素（Ｓ）、または未知の画素（Ｕ）のいずれかとして弱く分類する（４００）（下記を参照のこと）。陰影画素のみを用いて陰影モデル２０３を、より詳細に後述するベイズ手順も用いて更新する（５００）。

陰影画素を用いて陰影フローを得る（６００）。この陰影フローを用いて弱分類器を精緻化する（７００）ことができる。また陰影フローを用いて、背景陰影マップ２０２を更新すると共に、移動するキャストシャドウ領域２０４を推定する（８００）ことができる。また移動するキャストシャドウ領域を用いて、物体領域２０５を推定する（９００）ことができる。

再帰的なデータ駆動型の方法１００は、ビデオ１０１中で観測される陰影により生じる色の変化を多変量ガウス分布に関してモデル化する。この方法は、ビデオが移動物体、ハンドジェスチャ等による陰影を含み得るビデオ監視アプリケーション、娯楽アプリケーション、及び双方向アプリケーションに特に有用である。そのような陰影を除去することが望ましい。

一組のモデルを、ビデオ１０１の各フレーム１１０中の各画素における陰影の変化に対して適応的に訓練する。これらのモデルは、ビデオのフレーム（画像）毎に更新する。したがって、照明条件が陰影の特性により変化する場合、それらの変化する照明条件に対してモデルを動的に適応させる。

画素の一組の陰影モデル２０３は、その画素が弱分類器４００により陰影画素としてラベル付けされる場合にのみ更新する。分類器は後の処理のための前置フィルタとしての役目を果たす。

データ駆動型の方法１００は、一組の陰影モデルを入力ビデオ１０１に再帰的に適応させる。言い換えれば、本方法の精度は、従来技術の方法の主な欠点である事前に設定された閾値による制限を受けない。本方法１００の精度は、ビデオ１０１の処理されるフレーム１１０の数が多くなるほど高まる。

さらに、方法１００はキャストシャドウの追跡を必要としない。また、本方法は、従来技術のように特別な色空間を必要としない。その代わりに、問題はＲＧＢ色空間において提起される。本方法はまた、他のデカルト空間においても機能し得る。本方法は、シーン１０３中の物体の３Ｄモデルを必要としない。

キャストシャドウの学習
時刻ｔにおける画像シーケンス（ビデオ）１０１中の各現フレーム１１０（画像）はＩｔ（ｐ_ｘ，ｙ）であり、ここで、ｐ_ｘ，ｙは画像中の位置ｘ，ｙにある画素を表す。

二組のモデル、すなわち、一組の背景モデルＢ^ｎ _ｔ（ｐ）２０１と、一組の陰影モデルＳ^ｍ _ｔ（ｘ）２０３とを訓練し、ここで、ｎは背景モデルの数であり、ｍは陰影モデルの数である。

方法の操作はＲＧＢ色空間において行う。最初に、シーンの静止部分の基準モデルまたは背景モデルを推定する。これは、ビデオ中の１番目のフレーム、またはシーンに関して他の手段により取得された画像から行うことができる。

各現フレーム１１０を一組の背景モデル２０１と比較して、画像中の変化した領域を求める。これらの変化した領域は、物体及び移動するキャストシャドウを含み得る。背景差分を用いて、比較的静的なシーン中の移動物体を区別すると共に、第１レベルの検出（３００）を行って可能性のある前景画素を見付ける。

後述するように、本発明では、各画素を多変量ガウス分布の複数の層として定義する。本発明では、１つの「層」をモデル信頼度スコアに対する全ての画素の一組の順序付けされたモデルとして定義する。各層は画素の異なる外観に対応する。

これらの層のうち最も一貫性のあるものを背景と見なす。前景画素を見付けるために、各現フレーム１１０の画素を、一組の背景モデル２０１を形成する背景層と比較する。

次に、前景画素の色の変化及び空間的変化を評価する弱分類器４００を適用する。この弱い陰影分類器は、後述のように、背景色に対して様々な可能性のある色を定義し、局所的一貫性を用いて画素の分類ラベルを反復的に更新する。

画素ｐが前景画素として検出され、その画素の色が、弱分類器４００により求められる所定の範囲内にある場合、その画素ｐの一組の陰影モデルＳ^ｍ _ｔ（ｐ）２０３を更新する。

図２は、一次元の背景モデル２０１及び陰影モデル２０３の更新を示す。図２において、横軸２１０は正規化された暗−明範囲［０，１］における画素強度を示し、線２２０は背景（上）を前景（下）と分離する前景判定閾値である。背景モデルは、最も信頼度の高い背景モデル２３０を含む。現画素２１１がより暗く、陰影画素として分類される場合、陰影モデル２０３が更新される。画素２１２がより明るい場合、陰影モデルは更新されない。

再帰的なベイズ更新手続きは、モデル毎に信頼度スコアを求める。本発明では、画素毎に最も信頼度の高い陰影モデルＳ^＊ _ｔ（ｐ）を求める。この最も信頼度の高い陰影モデルＳ^＊ _ｔ（ｐ）を最も信頼度の高い背景モデルＢ^＊ _ｔ（ｐ）と比較し、視差ベクトル（disparity vector）
Ｓ^＊ _ｔ（ｘ，μ）−Ｂ^＊ _ｔ（ｐ，μ）
を求める。ここで、μはモデルの平均である。

本発明では、視差ベクトルを量子化された色空間に射影する。この色空間において、各ビンは背景における色値を表す。

色は同じであるが視差は異なる複数の画素が背景中に存在し得るため、複数の視差ベクトルを各ビンに割り当てることができる。

陰影フロー
（ＲＧＢ）色空間に関して図４に示すように、モデルの信頼度により重み付けされた視差ベクトルを集約し、各ビンｃの平均Ｆ_ｔ（ｃ，μ）及び分散Ｆ_ｔ（ｃ，σ）を求めて陰影フローＦ_ｔ（ｃ）を得る。異なる陰影タイプ及び異なる背景の陰影フローベクトル４０１は異なる。

前景における陰影画素を見付けるために、陰影フローＦ_ｔ（ｃ）を陰影画像
ＳＩ_ｔ（ｐ）＝Ｆ_ｔ（Ｂ^＊ _ｔ（ｐ），μ）
に、背景画像を用いて逆射影する。最後に、現前景画素と陰影画像とを比較し、陰影色分散Ｆ_ｔ（ｃ，σ）を用いて陰影画素を求める。

図５は、（ＲＧＢ）色空間の１つの陰影ビンを対応する陰影フローベクトル５０１、前景画素の１つのカラービンに対応する現画像の色変化ベクトル５０２、及び背景として分類される画素の色変化ベクトル５０３と共に示す。陰影フローを用いて前景推定の品質を判定することも可能である。

弱い陰影分類器
弱い陰影分類器４００は、各画素を評価し、その画素が陰影画素または前景物体の一部である可能性があるかどうかを判定する。ここで、分類に関する最終決定は行わない。したがって、分類は弱い。その代わりに、本発明では、以下のステップにおいて多変量陰影モデルを更新するために用いられる画素を選択する。他のタイプの分類器、例えば弱い明るさ分類器を用いることもできることに留意すべきである。弱い明るさ分類器を用いる場合、シーン中のハイライトされた、すなわち明るい領域を検出することが可能になる。これにより、照明の変化の検出が可能になる。

前景画素を分類するために、本発明では、画素の色とモデル２０１中の信頼度のある背景層の平均値との間のマハラノビス距離を測定する。背景の全ての信頼度のある層の９９％信頼区間外の画素は前景画素として分類される。

まず、色の変動を評価することによって、画素が陰影画素である可能性があるかどうかを判定する。陰影は輝度を低下させ彩度を変化させるが、色相には影響を与えないものと仮定する。

背景色ベクトルへの色ベクトルの射影により、輝度の変化ｈが得られる。

ここで、φは背景Ｂ^＊ _ｔ（ｐ）とＩ_ｔ（ｐ）との間の角度である。本発明では、輝度比をｒ＝｜Ｉ_ｔ（ｐ）｜／ｈとして定義する。Ｂ^＊ _ｔ（ｐ）と白色（１，１，１）との間の第２の角度φ_Ｂを求める。したがって、本発明では陰影を、図３に示すような、（ＲＧＢ）色空間における背景色ベクトルＢ_ｑを中心とする円錐３０１として定義する。

可能性のある前景画素毎に、以下の試験を適用し、その画素が以下の条件を両方とも満たす場合にはその画素を陰影画素として分類する。

ここで、φ_０は最大角度間隔であり、ｒ_１＜ｒ_２は最大の許容される暗さ及び明るさを判定する。本発明はまた、色の変動が背景色値を上限としない場合に、φ＜ｍｉｎ（φ_０）として角度を上記式における最大間隔に制限する。

上記の条件を満たす画素のみが可能性のある陰影画素として分類される。

第２段階では、陰影画素を、その局所近傍を評価することによって精緻化する。隣接する陰影画素の照明比が異なる場合、それらの画素は未知のものとなる。

特定の画素の周囲に配置される所定サイズの「窓」内で、前景画素Ｃ、陰影画素Ｓ、及び未知の画素Ｕの数がカウントされて局所的一貫性が求められ、画素を弱く分類するために以下の規則が反復的に適用される。
（Ｃ＞Ｕ）∧（Ｃ＞Ｓ）→Ｃであり、
（Ｓ＞Ｕ）∧（Ｓ＞Ｃ）→Ｓであり、
それ以外の場合、Ｕである。

全てのカラービンのフローベクトルを集約した後、αブレンディングを用いて弱分類器４００の上記パラメータを精緻化する。

陰影画素を選択した後、後述するベイズ更新プロセス５００を用いて一組の多変量陰影モデル２０３を更新する。本発明では、背景モデルと同じ更新機構を用いる。本発明では、モデルをノイズまたは前景画素により変形させないが、滑らかな強度の変化には適応させる。埋め込み信頼度スコアが、用いられる層数を決め、不要な層を避ける。

ベイズプロセスを用いて、層の平均及び分散ではなく、平均及び分散の確率分布を推定する。これらのパラメータに関する統計情報はガウス分布関数から抽出することができる。

ベイズ更新
本発明では、ガウス分布の「混合」の代わりに、各画素を多変量ガウス分布の複数の「競合」層として定義する（Tuzel他により２００５年５月２０日付で出願された「ベイズ推定による低フレームレートのビデオのモデル化（Modeling Low Frame Rate Video with Bayesian Estimation）」と題する米国特許出願第１１／１３３，８９４号（さらなる詳細に関しては参照により本明細書中に援用される）を参照のこと）。各層は画素の様々な外観に対応する。

本発明による更新プロセスは、モデルの多峰性を維持する。更新毎に、現観測値により多くて１つの層が更新される。これにより、層間の重複を確実に最小限にする。

本発明ではまた、画素毎にいくつの層が必要であるかを求め、それらの層を、前景分割段階中にのみ用いる。画素の色履歴の平均μ及び分散Σは未知であり、正規分布のランダム変数としてモデル化される。

再帰的なベイズ推定を行うために、結合事前密度（joint prior density）ｐ（μ，Σ）は結合事後密度（joint posterior density）ｐ（μ，Σ｜Ｘ）と同じ形状を有する。分散を条件として、結合事前密度は次のように表すことができる。

上記条件は、逆ウィシャート分布を共分散に仮定し、この共分散を条件として、多変量正規分布を平均に仮定する場合に実現される。逆ウィシャート分布は、スケーリングされた逆χ^２分布の多変量一般化である。

パラメータ化すると、

となり、ここで、ｖ_ｔ−１及びΛ_ｔ−１は逆ウィシャート分布の自由度及びスケール行列であり、θ_ｔ−１は前の平均であり、κ_ｔ−１は以前の測定値の数である。

これらの仮定により、結合事前密度は正規逆ウィシャート（θ_ｔ，Λ_ｔ／κ_ｔ；ｖ_ｔ，Λ_ｔ）となり、パラメータは以下に従って更新される。

ここで、

は新たなサンプルの平均であり、ｎは、モデルの更新に用いられるサンプルの数である。更新がフレーム毎に行われる場合、ｎは１となる。

平均及び共分散の周辺事後分布の期待値を時刻ｔにおける本発明のモデルパラメータとして用いる。周辺事後平均の期待値、すなわち、多変量ｔ分布の期待値は、

となり、周辺事後共分散の期待値、すなわち、逆ウィシャート分布の期待値は、

となる。

層の信頼度は、１をμ｜Ｘの共分散の行列式で割った値

に等しい。

周辺事後平均がより大きな分散を有する場合、本発明のモデルの信頼度は低くなる。スケール行列Σ及び自由度ｖを有する多変量ｔ分布の分散は、ｖ＞２の場合に（ｖ／（ｖ−２））Σに等しい。１つの層に対して１つの多変量ガウス分布を用いる代わりに、各カラーチャネルに対応する３つの一変量ガウス分布を用いることも可能である。この場合、一変量ガウス分布毎に、スケーリングされた逆χ^２分布を分散に仮定し、この分散を条件として、一変量正規分布を平均に仮定する。

画素毎にｋ個の層を用いて本発明のシステムを初期化する。通常、本発明では、背景モデル及び陰影モデルの両方に３つ〜５つの層を選択する。非常に動的なシーンにはより多い数の層を用いることができる。

各画素の新たなサンプルに関して、モデルのパラメータを更新する。本発明の更新プロセスは、本発明のモデルにおける最も信頼度の高い層から開始する。サンプルが現モデルの９９％信頼区間内にある場合、そのモデルのパラメータが式６〜８に従って更新される。

信頼度の低いモデルを有するモデルは更新されない。デプリーション（depletion）機構を用いて過去の観測値の影響を最小化することができる。デプリーションは、不適合モデルの以前の観測値の数パラメータを低減することによって行われる。現サンプルが信頼区間内にない場合、以前の測定値の数パラメータｋ_ｔ＝ｋ−１−ｎを更新し、次に信頼度の高い層の更新を続ける。

本発明では、ｋ_ｔを初期値である１０未満にはしない。どのモデルも更新されない場合、最も信頼度の低い層を削除し、新たな層を現サンプルにより初期化する。

本発明の信頼度スコアは、各画素に必要な層数を求める上で非常に効果的である。本発明では、モデルパラメータを５つの層により推定するが、本発明の信頼度スコアは、方法が有効となるために必要な層数を明らかに示す。重要な層と重要でない層との間には大きなギャップがある。

本発明を好ましい実施の形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び変更を行ってもよいことが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るそのような変形及び変更を全て網羅することである。

キャストシャドウをモデル化する方法のフロー図である。 一次元の背景モデル及び陰影モデルの更新の図である。 画素の対応する背景色の周囲の弱い陰影を表す円錐ボリュームの図である。 陰影フローベクトルの概略図である。 対応する陰影フローベクトル及び現画像の色変化ベクトルを有する単一の陰影ビンの概略図である。

Claims (15)

1. コンピュータビジョンによりシーンをモデル化する方法であって、
   シーンのビデオを取得することであって、前記ビデオのフレーム毎に、
   各画素に関して一組の背景モデルを更新すること、
   各画素に関して一組の陰影モデルを更新すること、
   各背景色に関して前記一組の陰影モデルから一組の陰影フローベクトルを更新すること、及び
   各画素に関して前記一組の陰影フローベクトルを用いて背景陰影マップを更新することによって、前記ビデオ中の陰影を検出すること
   を含み、
   前記陰影フローベクトルは、陰影のない画像を陰影付きの画像に変換するための情報であって、
   各背景モデル及び各陰影モデル中の前記画素を複数の層により表現することをさらに含み、各層は複数のガウス分布を含み、各ガウス分布は平均及び共分散を含み、該共分散は逆ウィシャート分布であり、前記更新は、再帰的なベイズ推定プロセスに従って行われ、
   各画素に関して各モデルの信頼度スコアを求めること、
   各画素に関して最も信頼度の高い陰影モデルを最も信頼度の高い背景モデルと比較することによって、視差ベクトルを求めること、
   前記視差ベクトルを、複数のビンを含む量子化された色空間中に射影することであって、各ビンは前記シーンの背景における色値を表し、各ビンに関して前記射影された視差ベクトルを集約することによって、各ビンにおいて前記陰影フローベクトルを見付けること
   をさらに含む、
   コンピュータビジョンによりシーンをモデル化する方法。
2. 各画素を前景画素、陰影画素または未知の画素として弱分類器により分類することをさらに含み、前記陰影画素のみに関して前記一組の陰影モデルを更新することをさらに含む、請求項１に記載の方法。
3. 前記一組の陰影モデルから一組の陰影フローベクトルを得ることをさらに含む、請求項２に記載の方法。
4. 前記一組の陰影フローベクトルに従って前記分類を精緻化することをさらに含む、請求項３に記載の方法。
5. 前記一組の陰影フローベクトルに従って前記背景陰影マップを更新することをさらに含む、請求項３に記載の方法。
6. 前記一組の背景モデル及び前記一組の陰影モデルを用いて物体領域を推定することをさらに含む、請求項１に記載の方法。
7. 前記一組の背景モデル及び前記背景陰影マップを用いて物体領域を推定することをさらに含む、請求項１に記載の方法。
8. 前記フレーム中の前記画素の色の変化を前記背景陰影マップ中の対応する画素と比較することによって、移動するキャストシャドウ領域を推定することをさらに含む、請求項１に記載の方法。
9. 前記ビデオは監視ビデオである、請求項１に記載の方法。
10. 前記ビデオを固定カメラにより取得することをさらに含む、請求項１に記載の方法。
11. 前記ビデオは娯楽ビデオである、請求項１に記載の方法。
12. 前記ビデオは双方向ビデオである、請求項１に記載の方法。
13. 前記射影された視差ベクトルを前記モデルの前記信頼度スコアにより重み付けすることをさらに含む、請求項１に記載の方法。
14. 前記分類は、弱い明るさ分類器を用いて前記シーン中の照明の変化を検出する、請求項２に記載の方法。
15. 前記一組の陰影フローベクトルの平均により前記弱分類器の最大の暗さ閾値及び最大の明るさ閾値を求めることをさらに含む、請求項３に記載の方法。

Images