JP5802146B2 - 静止カメラの色補正のための方法、装置、プログラム（静止カメラのための色補正） - Google Patents

Description

本発明は一般に、デジタル・ビデオ監視、ビデオ・イベント検索、およびビデオ処理に関し、更に具体的には色補正技法に関する。

監視システムは通常、起こり得る脅威についてセキュリティ職員に事前に警告し、または重要な事件の調査を容易にし、あるいはその両方を行うことができる。後者の機能では、セキュリティ担当者は、ビデオ画像から関係する人々またはイベントを事前におよび科学捜査で検索しなければならない。実際には、人または車両の出現に関する情報は、多くの場合、目標物を一意にかつ信頼性高く識別する永続性が無い特性に限定される。しかしながら実際の世界では、かかる情報は、特に他の情報と共に用いた場合には、検索を簡潔にして目標物の検出を支援するのに極めて有効である。

人々を識別する場合、かかる特性は「ソフト・バイオメトリクス（soft biometrics）」と呼ばれることが多い。最も重要なソフト・バイオメトリクスの１つは衣服の色である。目に留めて覚えるのが容易であり、ビデオ画像からの抽出を実行できるからである。同様に、車両を識別するためには、多くの場合、色が唯一の可能な手がかりである。このため、多くの監視アプリケーションでは、色情報によってユーザは重要なイベントを見つけることができる。例えば、不審な行為の報告を追跡する（例えばある事件に関与する特定のメーカー、型、および色の車両の位置を特定する）場合、または小売の監視を実行する（例えば店から品物を取った顧客が店から出るのを見つける）場合、色情報は識別を支援することができる。

「TheRetinex Theory of Color Vision」、（Ｓｃｉ． Ａｍ．２３７：１０８〜２８、ＭｃＣａｎｎで再販、第３巻、１２５〜４２（１９７７年）） J.van de Weijer等の「Edge-Based Color Constancy」（IEEE Trans. on Image Processing、第１６巻、Ｎｏ．９、２００７年９月） J.P. Renno等の「Application and Evaluation ofColour Constancy in Visual Surveillance」（Proc. 2ndIEEE Int’l Workshop on VS-PETS、北京、２００５年１０月１５〜１６日、３０１〜３０８） C.StaufferおよびW. E. L. Grimson「Adaptive Background Mixture Models forReal-Time Tracking」（IEEE Computer Society Conferenceon Computer Vision and Pattern Recognition、第２巻、１９９９年） A.Elgammal等「Non-Parametric Model forBackground Subtraction」（6th European Conf. on ComputerVision、アイルランド、ダブリン、２０００年６月／７月） B.Han等「Incremental Density Approximationand Kernel-Based Bayesian Filtering for Object Tracking」（IEEE Conf. on Computer Vision and PatternRecognition、ワシントン、２００４年）

色の不変性という課題があるため、目標物の色の識別は難しい問題である。例えば、あるコンテキストにおいて目標物の全体画像を見る場合、知覚される（かつ真の）目標物の色が緑に見える場合がある。しかしながら、目標物の画像の一部を分離する（例えば全体画像の不変部分を抽出する）と、これは実際には別の色の画素で構成されている場合がある。例えば、全体画像から抽出された緑の画素は、分離された抽出部分では灰色の画素または青色の画素に見える場合がある。これらの画素が全体画像において緑に「見える」ことがあるのは、人が無意識のうちに、そのシーンが赤い「色合い」を有すると観察し、目標物の真の反射率である緑を知覚するように正確に補償するからである。同様に、異なる時刻における、または異なる採光条件のもとでの同一のカメラによる画像は、人によって別の色と知覚され、全く異なる色画素から構成される場合がある。

従って、画像の色補正のための改良された方法および装置に対する要望がある。

一般的に言うと、画像の色補正のための方法および装置を提供する。本発明の一態様において、静止ビデオ・カメラから取得した画像において１つ以上の色を補正するために、静止ビデオ・カメラから取得した１つ以上の以前の画像から１つ以上の履歴背景モデルを取得し、静止ビデオ・カメラから取得した１つ以上の現在の画像からライブ背景モデルおよびライブ前景モデルを取得し、１つ以上の履歴背景モデルから基準画像を発生し、基準画像、ライブ背景モデル、およびライブ前景モデルを処理して、画像における１組の色補正した前景目標物を発生する。

任意に、例えば色量子化分類方法またはヒストグラム色分類方法を用いて、１組の色補正した前景目標物を処理して、前景目標物の少なくとも１つの色を分類する。

基準画像は、拡散白色採光下のシーンを実質的に最適に近似する履歴背景モデルの線形組み合わせとすることができる。基準画像は、局部的な採光および影を補償するように局部的に実質的に最適化することができる。

一実施形態においては、基準画像からライブ背景モデルへのマッピングを実質的に最適化するように１つ以上の色補正アルゴリズムを局部的に適用することによって、基準画像、ライブ背景モデル、およびライブ前景モデルを処理する。例えば、画像において１組の色補正した前景目標物を取得するために、マッピングをライブ前景モデルに適用することができる。

本発明のいっそう完全な理解、ならびに本発明の更に別の特徴および利点は、以下の詳細な説明および図面を参照することによって得られるであろう。

本発明の特徴を組み込んだ色補正プロセスの例示的な実施を示すフローチャートである。 図１の基準画像計算を更に詳細に示す。 図１の色補正および色分類を更に詳細に示す。 本発明音１つ以上の態様または要素あるいはその両方を実施する際に有用であり得るコンピュータ・システムを示す。

本発明は、画像の色補正のための改良された方法および装置を提供する。本発明の１つの態様によれば、カメラが静止しており背景モデルが利用可能であるという認識に基づいて色補正を実行する色適応アルゴリズムが提供される。開示する色適応アルゴリズムは、照明の効果を補償し、目標物の真の反射率を回復する。

色適応技法
１．白色パッチ（whitepatch）
レチネックス（Retinex）アルゴリズムに基づいて、３つの異なる周波帯（実際には赤、緑、青）を用いて色補正を独立して達成することができる。例えば「The Retinex Theory of Color Vision」（Ｓｃｉ． Ａｍ．２３７：１０８〜２８、ＭｃＣａｎｎで再販、第３巻、１２５〜４２（１９７７年））を参照のこと。単一のグローバル均一光源を想定し、各色の最大値を反射する目標物がシーンに存在すると想定する。従って、レチネックス理論によって、光源が（ｒ_ｍａｘ、ｇ_ｍａｘ、ｂ_ｍａｘ）であり、この光源で各画素を正規化することによって色の不変性を達成可能であることが示される。この方法は白色パッチ・アルゴリズムと呼ばれることが多い。画像における最も明るいパッチは白であると想定されるからである。

２．グレー・ワールド
グレー・ワールド・アルゴリズムのもとでは、シーンの空間反射率の平均が無色である（achromatic）と想定される。この場合、正規化は平均の比（μ^Ｃ _ｒ／ μ^Ｕ _ｒ ， μ^Ｃ _{ｇ ／} μ^Ｕ _ｇ， μ^Ｃ _{ｂ ／} μ^Ｕ _ｂ）に基づいている（ここで、上付き文字ＣおよびＵはそれぞれ標準的な光源および未知の光源を表す）。例えば、グレー・ワールド法は、正規化を行って光源とは無関係に反射率を回復し、次いで所定数の色へと量子化を行って、特定の色の目標物を回復する。

３．グレー・エッジ
グレー・エッジ法は、複雑な自然のシーンについて極めて有望であり、また極めて効率的であることが示されている。例えばJ. van de Weijer等の「Edge-Based Color Constancy」（IEEE Trans. on Image Processing、第１６巻、Ｎｏ．９、２００７年９月）を参照のこと。グレー・エッジ法は、シーンにおける平均エッジ差が無色であると想定するグレー・エッジ仮説に基づいている。グレー・エッジ色補正では、チャネルごとにゾーベル・フィルタを適用する。以下のような勾配の大きさを用いて、重み付け係数を求め、強いエッジを大きく強調した。

エッジ画素（ｒ_ａ、ｇ_ａ、ｂ_ａ）の重み付け平均を計算する。次いで、入力チャネルの各画素（ｒ_ｉ，ｊ、ｇ_ｉ，ｊ、ｂ_ｉ，ｊ）を以下によってスケーリングする。

例示的な実施においては、ε＝０．１２８であり、極めて小さい数で除算した場合に正規化したｒ、ｇ、ｂの値が色ドメインを超えるのを防ぐ。

グレー・ワールドおよびグレー・エッジ技法は双方とも、均一な白色採光のもとでシーンを表す標準的な画像を必要とする。実際には、この画像が利用可能でない場合がある。J. P. Renno等の「Application and Evaluation of ColourConstancy in Visual Surveillance」（Proc. 2nd IEEE Int’l Workshop onVS-PETS、北京、２００５年１０月１５〜１６日、３０１〜３０８）は、いくつかの方法を提案し試験して、最大の色範囲を有する画像を見つけるために用いた様々な測定値に基づいて標準的な画像を選択した。

同様に、グレー・ワールドおよびグレー・エッジ法の双方では、正確な色補正は、標準的な画像に対する画像の内容に依存する。ライブ・ビデオでは、目標物（人々および車両）が前景に移動するにつれて経時的にシーンの内容が変化する。従って、背景モデルの採光に基づいて現在の画像に色適応を実行することが重要である。実際、我々にできる最良のことは最新の背景モデルを用いることである。これらの方法は「背景モデル利用」として識別される。

最後に、強度正規化によって、量子化（特に黒および白への）を、シーンの明るさおよび時刻に適合させることができる。強度正規化は色補正の前に実行することができる。各チャネルのサンプル画像平均および分散に基づいて、各画素値を正規化する。

色補正の後、正規化を再び実行して、平均強度が同じ範囲内にあるようにすることができる。

図１は、本発明の特徴を組み込んだ色補正プロセス１００の例示的な実施を記載するフローチャートである。図１に示すように、例示的な色補正プロセス１００は、最初にステップ１１０において、多数の以前の（履歴）ビデオ画像を用いて背景減算を行う。更に、例示的な色補正プロセス１００は、ステップ１４０において、多数のライブ（またはリアルタイム）ビデオ画像を用いて背景減算を行う。

一般に、ステップ１１０および１４０において実行される背景減算は、（例えばデジタル・ビデオ・カメラ入力からの）ビデオ入力を処理し、背景モデルを発生する。背景モデルは、シーン内に動かない目標物を含む画像である。例えば背景モデルは、道路、建物、空、および他の不動の目標物で構成することができる。いったん車両が駐車されて、これが動かない場合には、更新された背景モデルの一部になる。

シーン内で人々および車両等の動いている目標物を検出するためには、多数の周知の方法がある。例えば、画像差分、多重ガウス混合モデル（例えばC. StaufferおよびW. E. L. Grimson「Adaptive Background Mixture Models forReal-Time Tracking」（IEEE Computer Society Conferenceon Computer Vision and Pattern Recognition、第２巻、１９９９年）を参照）、カーネル密度方法（例えばA. Elgammal等「Non-Parametric Model forBackground Subtraction」（6th European Conf. on ComputerVision、アイルランド、ダブリン、２０００年６月／７月））、および平均シフト技法（B. Han等「Incremental Density Approximation andKernel-Based Bayesian Filtering for Object Tracking」（IEEE Conf. on Computer Vision and PatternRecognition、ワシントン、２００４年））を用いて、移動する目標物の検出を実行することができる。

図１に示すように、ステップ１１０において実行された背景減算の出力は多数の履歴出力（Ｂｔ）を含む。Ｂｔ出力は、システムによって発生された経時的な履歴背景モデルである。理想的には、現フレームと同じ静止した目標物を含む背景モデルが望ましい。すなわち、車が駐車されて背景を変化させると、現在の背景（車）は、履歴的に対象となり、車の後方のシーンではない。一般に、同一の静止シーンで見られるような、経時的な採光の変化を用いる。

図１に示すように、ステップ１４０において実行された背景減算の出力は、ライブ背景モデルＢ_ｌ、およびライブ前景モデルＦＧ_ｌを含む。前景モデルＦＧ_ｌは、シーン内に動く目標物を含む画像である。

図１に示すように、ステップ１２０では、基準計算プロセス（これについては図２に関連付けて以下で更に論じる）によってステップ１１０からのＢｔ出力を処理して基準画像Ｉ_ｒｅｆを発生する。次いでステップ１３０において、基準画像Ｉ_ｒｅｆを、ステップ１４０において実行した背景減算によって発生したライブ背景モデルＢ_ｌおよびライブ前景モデルＦＧ_ｌと共に処理して、前景色補正ＦＧ_ＣＣを発生する。ステップ１５０において、前景色補正ＦＧ_ＣＣを処理して色を分類する。これについては図３に関連付けて以下で更に論じる。

図２は、図１の基準画像計算１２０を更に詳細に示す。例示的な基準画像計算１２０は、採光条件が付加的であるという想定を用いる。基準画像計算１２０は、「白色」採光に最も近い背景モデルの線形組み合わせとして基準画像を見出し、局部的に最適化して局部的な採光および影を補償する。図１に示すように、基準画像計算１２０は、ステップ１１０（図１）において取得した履歴背景モデルのシーケンス（Ｂ_ｔ、Ｂ_ｔ＋１、Ｂ_ｔ＋２）を処理する。基準画像計算１２０は、局部的採光パッチが識別された基準画像（Ｉ_Ｒｅｆ）を発生する。

本発明に従った色補正の計算は基準画像（Ｉ_Ｒｅｆ）に依存する。理想的な場合、この基準画像（Ｉ_Ｒｅｆ）は、拡散白色採光のもとで目標物の反射率（色）がどのように見えるかを表す。基準画像は現在の背景モデルについて望ましいものである。このため、入力は履歴背景モデルである。採光条件は付加的であると想定される。「白色」採光に最も近い背景モデルの線形組み合わせとして基準画像が見出される。採光の「白さ（whiteness）」の尺度を最適化する背景モデルの重み付け組み合わせを求める。色分布の統計データに基づいた「カラフルネス」の尺度（白色採光のもとでは最大の色範囲がある可能性があるため）、または最も純粋な色、平面輝度上またはその近傍での色全域の極値の色等、異なる尺度を用いることができる。

更に、充分な情報（解像度および履歴）が利用可能である範囲で、この最適化を局部的に行って、局部的な採光および影を補償することができる。

図３は、図１の色補正１３０および色分類１５０を更に詳細に示す。図３に示すように、色補正１３０は、ステップ１２０で計算した基準画像（Ｉ_Ｒｅｆ）ならびにステップ１４０で実行した背景減算によって発生したライブ背景モデルＢ_ｌおよびライブ前景モデルＦＧ_ｌを処理する。色補正１３０は、１組の色補正前景目標物ＦＧ_ＣＣを発生する。

例示的な色補正１３０は、基準画像（Ｉ_Ｒｅｆ）に対するマッピングを最適化するために、周知の色補正アルゴリズムを局部的に適用する。例えば、例示的な色補正１３０は、上述したグレー・ワールド、白色パッチ、または全域マッピング技法等の既知の色補正アルゴリズムを適用することができる。色補正１３０は、基準画像（Ｉ_Ｒｅｆ）からライブ（または現在の）背景モデルＢ_ｌへのマッピングを計算する。このマッピングをライブ（または現在の）前景目標物ＦＧ_ｌ（対象の目標物）に適用して、それらの補正された配色を取得する。

例示的な色分類１５０は、色補正１３０が発生した１組の色補正前景目標物ＦＧ_ＣＣを処理する。例示的な色分類１５０は、１組の色補正前景目標物ＦＧ_ＣＣにおいて各目標物の色を発生する。一般に、例示的な色分類１５０は、色補正した画素を用いて目標物の色分類を実行する。この色分類は色量子化およびヒストグラム生成を必要とする場合があり、またはもっと複雑であり何らかの種類の目標物色モデルを必要とする場合がある。これは当業者には明らかであろう。

例示的なシステムおよび製造品（Article of Manufacture）の詳細
当業者によって認められるように、本発明の態様は、システム、方法、またはコンピュータ・プログラムとして具現化することができる。従って、本発明の態様は、全体的にハードウェアの実施形態、全体的にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、または、ソフトウェアおよびハードウェアの態様を組み合わせた実施形態という形態を取ることができ、それらは全て本明細書において、「回路」、「モジュール」、または「システム」と一般的に称することができる。更に、本発明の態様は、具現化されたコンピュータ読み取り可能プログラム・コードを有する（１つ以上のコンピュータ読み取り可能媒体において具現化された）コンピュータ・プログラムの形態を取ることも可能である。

本発明の１つ以上の実施形態、またはその要素は、メモリおよびこのメモリに結合されて例示的な方法ステップを実行するように動作可能な少なくとも１つのプロセッサを含む装置の形態で実施することができる。

１つ以上の実施形態は、汎用コンピュータまたはワークステーション上で動作するソフトウェアを利用することができる。図４は、本発明の１つ以上の態様または要素あるいはその両方を実施するのに有用であり得る例示的なコンピュータ・システム４００を示す。図４を参照すると、かかる実施は、例えばプロセッサ４０２と、メモリ４０４と、例えばディスプレイ４０６およびキーボード４０８で形成される入出力インタフェースと、を用いることができる。

本明細書で用いる場合、「プロセッサ」という言葉は、例えばＣＰＵ（中央演算処理装置）または他の形態の処理回路あるいはその両方を含むもの等のいずれかの処理デバイスを含むことが意図される。更に、「プロセッサ」という言葉は、２つ以上の個別のプロセッサを指す場合がある。「メモリ」という言葉は、例えばＲＡＭ（ランダム・アクセス・メモリ）、ＲＯＭ（読み出し専用メモリ）、固定メモリ・デバイス（例えばハード・ディスク）、着脱可能メモリ・デバイス（例えばディスケット）、フラッシュ・メモリ等の、プロセッサまたはＣＰＵに関連付けたメモリを含むことが意図される。

更に、本明細書で用いる場合、「入出力インタフェース」という言葉は、例えば処理ユニットにデータを入力するための１つ以上の機構（例えばマウス）、および、処理ユニットに関連付けられた結果を供給するための１つ以上の機構（例えばプリンタ）を含むことが意図される。プロセッサ４０２、メモリ４０４、ならびにディスプレイ４０６およびキーボード４０８等の入出力インタフェース４０６は、データ処理ユニット４１２の一部としてバス４１０を介して相互接続することができる。また、例えばバス４１０を介した適切な相互接続を、ネットワーク・カード等のネットワーク・インタフェース４１４（これはコンピュータ・ネットワークとのインタフェースのために提供することができる）に、およびディスケットまたはＣＤ−ＲＯＭドライブ等の媒体インタフェース４１６（これは媒体４１８とのインタフェースのために提供することができる）に提供することができる。

アナログ・ビデオ供給等のアナログ入力を受信し、これをデジタル化するために、アナログ−デジタル・コンバータ（複数のコンバータ）４２０を設けることができる。かかるコンバータ（複数のコンバータ）はシステム・バス４１０に相互接続することも可能である。

従って、本明細書に記載したような本発明の方法を実行するための命令またはコードを含むコンピュータ・ソフトウェアは、１つ以上の関連するメモリ・デバイス（例えばＲＯＭ、固定または着脱可能メモリ）に記憶することができ、利用する準備が整うと、部分的にまたは全体的に（例えばＲＡＭに）ロードされてＣＰＵによって実施することができる。かかるソフトウェアは、限定ではないが、ファームウェア、常駐ソフトウェア、マイクロコード等を含むことができる。

プログラム・コードの記憶または実行あるいはその両方を行うのに適したデータ処理システムは、直接にまたはシステム・バス４１０を介して間接にメモリ要素４０４に結合された少なくとも１つのプロセッサ４０２を含む。メモリ要素は、プログラム・コードの実際の実施中に用いられるローカル・メモリ、バルク記憶装置、および実施中にバルク記憶装置からコードを検索しなければならない回数を減らすために少なくとも何らかのプログラム・コードを一時的に記憶するキャッシュ・メモリを含むことができる。

入出力またはＩ／Ｏデバイス（限定ではないがキーボード４０８、ディスプレイ４０６、ポインティング・デバイス等を含む）は、直接に（バス４１０を介して等）、またはＩ／Ｏコントローラを介在させて（明確さのために省略している）、システムに結合することができる。

また、ネットワーク・インタフェース４１４等のネットワーク・アダプタをシステムに結合することで、データ処理システムを、私設または公共のネットワークを介在させて他のデータ処理システムまたは遠隔プリンタもしくは記憶デバイスに結合することができる。ネットワーク・アダプタの現在利用可能なタイプの少数の例として、モデム、ケーブル・モデム、およびイーサネット・カードが挙げられる。

特許請求の範囲を含めて、本明細書で用いる場合、「サーバ」は、サーバ・プログラムを実行する物理的なデータ処理システム（例えば図４に示すようなシステム４１２）を含む。かかる物理サーバは、ディスプレイおよびキーボードを含む場合も含まない場合もあることは理解されよう。

注記したように、本発明の態様は、具現化されたコンピュータ読み取り可能プログラム・コードを有する（１つ以上のコンピュータ読み取り可能媒体において具現化された）コンピュータ・プログラムの形態を取ることができる。１つ以上のコンピュータ読み取り可能媒体のあらゆる組み合わせを利用することができる。コンピュータ読み取り可能媒体は、コンピュータ読み取り可能信号媒体またはコンピュータ読み取り可能記憶媒体とすることができる。コンピュータ読み取り可能記憶媒体は例えば、限定ではないが、電子、磁気、光、電磁、赤外線、または半導体のシステム、装置、またはデバイス、または前述のもののいずれかの適切な組み合わせとすることができる。媒体ブロック４１８は限定でない例である。コンピュータ読み取り可能記憶媒体の更に具体的な例（非網羅的な列挙）は、以下を含む。すなわち、１本以上のワイヤを含む電気的接続、携帯型コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、光ファイバ、携帯型コンパクト・ディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または前述のもののいずれかの適切な組み合わせである。この文書の文脈において、コンピュータ読み取り可能記憶媒体は、命令実行システム、装置、またはデバイスによってまたはそれと接続して用いるためにプログラムを含有または記憶することができるいずれかのタンジブルな媒体とすることができる。

コンピュータ読み取り可能信号媒体は、例えばベースバンドにおいてまたは搬送波の一部として、具現化されたコンピュータ読み取り可能プログラム・コードを有する伝播データ信号を含むことができる。かかる伝播信号は様々な形態のいずれかを取ることができ、それらは限定ではないが、電磁、光、またはそれらのいずれかの適切な組み合わせを含む。コンピュータ読み取り可能信号媒体は、コンピュータ読み取り可能記憶媒体でないが、命令実行システム、装置、またはデバイスによってまたはそれと接続して用いるためにプログラムを伝達、伝播、または転送することができるいずれかのコンピュータ読み取り可能媒体とすることができる。

コンピュータ読み取り可能媒体上で具現化されるプログラム・コードは、限定ではないが、無線、有線、光ファイバ・ケーブル、ＲＦ等、または前述のもののいずれかの適切な組み合わせを含むいずれかの適切な媒体を用いて伝送することができる。

本発明の態様の動作を実行するためのコンピュータ・プログラム・コードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語等の従来の手順プログラミング言語を含む１つ以上のプログラミング言語のいずれかの組み合わせにおいて記述することができる。プログラム・コードは、全体的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンのソフトウェア・パッケージとして、部分的にユーザのコンピュータ上でおよび部分的に遠隔コンピュータ上で、または全体的に遠隔コンピュータもしくはサーバ上で、実行することができる。後者の場合、遠隔コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）またはワイド・エリア・ネットワーク（ＷＡＮ）を含むいずれかのタイプのネットワークを介してユーザのコンピュータに接続することができ、または、接続は、（例えばインターネット・サービス・プロバイダを用いてインターネットを介して）外部コンピュータに対して行うことができる。

本発明の実施形態に従った方法、装置（システム）、およびコンピュータ・プログラムのフローチャート図またはブロック図あるいはその両方を参照して、本開示について以下に記載する。フローチャート図またはブロック図あるいはその両方の各ブロックおよびフローチャート図またはブロック図あるいはその両方におけるブロックの組み合わせは、コンピュータ・プログラム命令によって実施可能であることは理解されよう。これらのコンピュータ・プログラム命令は、汎用コンピュータ、特殊目的コンピュータ、または他のプログラマブル・データ処理装置のプロセッサに提供されて機械を生成することができ、これによって、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサによって実行される命令が、フローチャートまたはブロック図あるいはその両方のブロックまたは複数のブロックに規定された機能／行為を実施するための手段を生成するようになっている。

また、これらのコンピュータ・プログラム命令はコンピュータ読み取り可能媒体に記憶することができ、これによって、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイスに特定の方法で機能するように指示することができ、これにより、コンピュータ読み取り可能媒体に記憶された命令が、フローチャートまたはブロック図あるいはその両方のブロックまたは複数のブロックに規定された機能／行為を実施する命令を含む製造品を生成するようになっている。

また、コンピュータ・プログラム命令を、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイスにロードして、そのコンピュータ、他のプログラマブル装置、または他のデバイス上で一連の動作ステップを実行させてコンピュータ実施プロセスを生成することができ、これによって、コンピュータまたは他のプログラマブル装置上で実行する命令が、フローチャートまたはブロック図あるいはその両方のブロックまたは複数のブロックに規定された機能／行為を実施するためのプロセスを提供するようになっている。

図面におけるフローチャートおよびブロック図は、本発明の様々な実施形態に従ったシステム、方法、およびコンピュータ・プログラムの可能な実施のアーキテクチャ、機能性、および動作を例示する。この点で、フローチャートまたはブロック図における各ブロックは、規定された論理機能（複数の機能）を実施するための１つ以上の実行可能命令を含むコードのモジュール、セグメント、または一部を表すことができる。また、いくつかの代替的な実施において、ブロックに明記した機能は図面に明記した順序どおりでなく発生する場合があることに留意すべきである。例えば、関与する機能性に応じて、連続して示した２つのブロックは実際には実質的に同時に実行されることがあり、またはブロックは時に逆の順序で実行される場合がある。また、ブロック図またはフローチャート図あるいはその両方の各ブロック、およびブロック図またはフローチャート図あるいはその両方におけるブロックの組み合わせは、規定された機能もしくは行為を実行する特殊目的ハードウェア・ベースのシステム、または特殊目的ハードウェアおよびコンピュータ命令の組み合わせによって実施可能であることに留意すべきである。

本明細書に記載したように、本明細書に記載した方法ステップを、例えば、かかるステップを実行するようにプログラムした汎用コンピュータに、またはかかるステップを実行するためのハードウェアに接続することができる。更に、例えばデータ・ストリームの取得およびこれらのストリームの符号化を含む本明細書に記載した方法ステップを、カメラまたはマイクロフォン等の物理センサに接続し、ここからデータ・ストリームを取得することができる。

本明細書に記載した方法のいずれも、（コンピュータ読み取り可能記憶媒体上に具現化した）別個のソフトウェア・モジュールを含むシステムを提供する追加ステップを含むことができることに留意すべきである。次いで、上述のように、１つ以上のハードウェア・プロセッサ４０２上で実行するシステムの別個のソフトウェア・モジュールまたはサブ・モジュールあるいはその両方を用いて、方法ステップを実行することができる。場合によっては、本明細書で述べた機能の１つ以上を実施するために専用のハードウェアを用いることができる。更に、コンピュータ・プログラムは、別個のソフトウェア・モジュールをシステムに提供することを含む、本明細書に記載した１つ以上の方法ステップを実行するために実施するように適合されたコードを有する（コンピュータ読み取り可能記憶媒体を含む）ことができる。

いずれにせよ、本明細書に例示した構成要素は、ハードウェア、ソフトウェア、またはそれらの組み合わせの様々な形態で実施可能であることは理解されよう。例えば、特定用途向け集積回路（複数の回路）（ＡＳＩＣ）、機能回路、メモリが関連付けられた１つ以上の適切にプログラムした汎用デジタル・コンピュータ等である。本明細書に提示した本発明の教示が与えられれば、当業者は本発明の構成要素の他の実施を想定することができるであろう。

本明細書において用いた用語は、特定の実施形態を記載する目的のためだけのものであり、本発明を限定することは意図していない。本明細書において用いたように、単数形「１つの（ａ）、（ａｎ）、（ｔｈｅ）」は、文脈によって明らかに他の場合が示されない限り、複数形を含むことが意図されている。また、「含む」または「含んでいる」という言葉あるいはその両方は、本明細書において用いられた場合、述べた特徴、整数、ステップ、動作、要素、または構成要素あるいはそれら全ての存在を規定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、またはそれらのグループあるいはそれら全ての存在または追加を除外するものではないことは、理解されよう。

以下の特許請求の範囲における全てのミーンズまたはステップ・プラス・ファンクション要素の対応する構造、材料、行為、および均等物は、具体的に特許請求したような他の特許請求した要素と組み合わせて機能を実行するためのいずれかの構造、材料、または行為を含むことが意図されている。本発明の記載は、例示および記述の目的のために提示したが、網羅的であることや、開示した形態に本発明を限定することは、意図していない。本発明の範囲および精神から逸脱することなく、当業者には多くの変更および変形が明らかであろう。実施形態は、本発明の原理および実際的な用途を最良に説明するため、更に、想定される特定の用途に適した様々な変更と共に様々な実施形態に関して当業者が本発明を理解することを可能とするために、選択し記載したものである。

４００ コンピュータ・システム
４０２ プロセッサ
４０４ メモリ
４０６ ディスプレイ
４０８ キーボード
４１０ バス
４１２ データ処理ユニット
４１４ ネットワークＩ／Ｆ
４１６ 媒体Ｉ／Ｆ
４１８ 媒体
４２０ Ａ／Ｄ

Claims (20)

1. 静止ビデオ・カメラから取得した画像において１つ以上の色を補正するための方法であって、
   前記静止ビデオ・カメラから取得した１つ以上の以前の画像から１つ以上の履歴背景モデルを取得するステップと、
   前記静止ビデオ・カメラから取得した１つ以上の現在の画像からライブ背景モデルおよびライブ前景モデルを取得するステップと、
   前記１つ以上の履歴背景モデルから基準画像を発生するステップと、
   前記基準画像、前記ライブ背景モデル、および前記ライブ前景モデルを処理するステップであって、前記画像における１組の色補正した前景目標物を発生する、前記処理するステップと、
   を含む、方法。
2. 前記基準画像が、静止ビデオ・カメラから取得した１つ以上の以前の画像から複数の履歴背景モデルを取得する場合において、拡散白色採光下のシーンを実質的に最適に近似する前記履歴背景モデルの線形組み合わせである、請求項１に記載の方法。
3. 前記基準画像が、局部的な採光および影を補償するように局部的に実質的に最適化されている、請求項１に記載の方法。
4. 前記処理するステップが、前記基準画像から前記ライブ背景モデルへのマッピングを実質的に最適化するように１つ以上の色補正アルゴリズムを局部的に適用するステップを更に含む、請求項１に記載の方法。
5. 前記画像において前記１組の色補正した前景目標物を取得するために、前記マッピングが前記ライブ前景モデルに適用される、請求項４に記載の方法。
6. 前記１組の色補正した前景目標物を処理して前記前景目標物の少なくとも１つの色を分類するステップを更に含む、請求項１に記載の方法。
7. 色量子化色分類方法およびヒストグラム色分類方法の１つ以上を用いて前記前景目標物の少なくとも１つの前記色が分類される、請求項６に記載の方法。
8. 静止ビデオ・カメラから取得した画像において１つ以上の色を補正するための装置であって、
   メモリと、
   前記メモリに結合された少なくとも１つのプロセッサであって、
   前記静止ビデオ・カメラから取得した１つ以上の以前の画像から１つ以上の履歴背景モデルを取得し、
   前記静止ビデオ・カメラから取得した１つ以上の現在の画像からライブ背景モデルおよびライブ前景モデルを取得し、
   前記１つ以上の履歴背景モデルから基準画像を発生し、
   前記基準画像、前記ライブ背景モデル、および前記ライブ前景モデルを処理して、前記画像における１組の色補正した前景目標物を発生するように動作する、プロセッサと、
   を含む、装置。
9. 前記基準画像が、静止ビデオ・カメラから取得した１つ以上の以前の画像から複数の履歴背景モデルを取得する場合において、拡散白色採光下のシーンを実質的に最適に近似する前記履歴背景モデルの線形組み合わせである、請求項８に記載の装置。
10. 前記基準画像が、局部的な採光および影を補償するように局部的に実質的に最適化されている、請求項８に記載の装置。
11. 前記基準画像から前記ライブ背景モデルへのマッピングを実質的に最適化するように１つ以上の色補正アルゴリズムを局部的に適用することによって、前記基準画像、前記ライブ背景モデル、および前記ライブ前景モデルが処理される、請求項８に記載の装置。
12. 前記画像において前記１組の色補正した前景目標物を取得するために、前記マッピングが前記ライブ前景モデルに適用される、請求項１１に記載の装置。
13. 前記プロセッサが、前記１組の色補正した前景目標物を処理して前記前景目標物の少なくとも１つの色を分類するように更に構成されている、請求項８に記載の装置。
14. 色量子化色分類方法およびヒストグラム色分類方法の１つ以上を用いて前記前景目標物の少なくとも１つの前記色が分類される、請求項１３に記載の装置。
15. 静止ビデオ・カメラから取得した画像において１つ以上の色を補正するためのプログラムであって、コンピュータまたはハードウェアによって前記プログラムが実行された場合に、
    前記静止ビデオ・カメラから取得した１つ以上の以前の画像から１つ以上の履歴背景モデルを取得するステップと、
    前記静止ビデオ・カメラから取得した１つ以上の現在の画像からライブ背景モデルおよびライブ前景モデルを取得するステップと、
    前記１つ以上の履歴背景モデルから基準画像を発生するステップと、
    前記基準画像、前記ライブ背景モデル、および前記ライブ前景モデルを処理するステップであって、前記画像における１組の色補正した前景目標物を発生する、前記処理するステップと、
    を実施する、プログラム。
16. 前記基準画像が、静止ビデオ・カメラから取得した１つ以上の以前の画像から複数の履歴背景モデルを取得する場合において、拡散白色採光下のシーンを実質的に最適に近似する前記履歴背景モデルの線形組み合わせである、請求項１５に記載のプログラム。
17. 前記基準画像が、局部的な採光および影を補償するように局部的に実質的に最適化されている、請求項１５に記載のプログラム。
18. 前記処理するステップが、前記基準画像から前記ライブ背景モデルへのマッピングを実質的に最適化するように１つ以上の色補正アルゴリズムを局部的に適用するステップを更に含む、請求項１５に記載のプログラム。
19. 前記画像において前記１組の色補正した前景目標物を取得するために、前記マッピングが前記ライブ前景モデルに適用される、請求項１８に記載のプログラム。
20. 前記１組の色補正した前景目標物を処理して前記前景目標物の少なくとも１つの色を分類するステップを更に含む、請求項１５に記載のプログラム。
    

Images