JP7063039B2

JP7063039B2 - 目標検出方法、目標検出装置及び画像処理装置

Info

Publication number: JP7063039B2
Application number: JP2018056508A
Authority: JP
Inventors: ジャン・ナヌ; ワン・チィ
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2017-07-26
Filing date: 2018-03-23
Publication date: 2022-05-09
Anticipated expiration: 2038-03-23
Also published as: CN109308711A; CN109308711B; JP2019028991A

Description

本発明は、画像処理の技術分野に関し、特に目標検出方法、目標検出装置及び画像処理装置に関する。

ビデオ監視の分野では、画像前景検出は多くのアプリケーションの基礎である。現在、画像前景の検出方法について大量の研究が行われている。殆どのアルゴリズムは、画像前景検出を行うために、画素レベルの背景モデルを構築する。このようなアルゴリズムは、画像シーケンスの画素値が一定の規則に従って分布すると仮定し、履歴画像シーケンスの画素値の統計を分析することで、類似の推定背景値を取得する。画像全体を完全に分析した後に、背景モデルを取得できる。

現在よく使用されている前景検出方法は、フレーム差分法（ｆｒａｍｅｄｉｆｆｅｒｅｎｃｅｍｅｔｈｏｄ）、単一ガウスモデル（ｓｉｎｇｌｅｇａｕｓｓｉａｎｍｏｄｅｌ）、ガウス混合（ＭＯＧ：ｍｉｘｔｕｒｅｏｆｇａｕｓｓｉａｎ）モデル、平均値シフト（ｍｅａｎ－ｓｈｉｆｔ）法、コードブック（ｃｏｄｅｂｏｏｋ）アルゴリズム、ビジュアル背景抽出（Ｖｉｂｅ：ｖｉｓｕａｌｂａｃｋｇｒｏｕｎｄｅｘｔｒａｃｔｏｒ）アルゴリズム等を含む。

フレーム差分法は、画像シーケンスの２つの隣接するフレームの間の画素に基づく時間差分が閾値よりも大きいか否かを判断することで、背景と前景とを区別する。該方法は、２つの隣接するフレームにおける相応画素の変化のみを考慮し、短期間で履歴画像シーケンス値が明らかに変化しないと仮定する。該フレーム差分法は、計算が簡単であり、動作速度が速く、リアルタイム性能がよいという利点を有する。しかし、複雑なシーンに適用できない。

単一ガウスモデルは、画素シーケンスの値がガウス分布に従うと仮定し、目標移動が遅いというフレーム差分法の問題を解決するが、ノイズ処理に依然として適用しにくい。

ＭＯＧモデルは、実際のシーンの背景がマルチピーク分布に従うと仮定し、複数の可能な状態を表すように各画素について複数のガウス分布によりモデルを構築する。ＭＯＧモデルは複雑なシーンに適用でき、背景更新メカニズムは背景変化のものを処理できる。一方、ＭＯＧモデルは、パラメータ推定が遅く、計算複雑さが高く、ガウス分布の数を推定しにくいという欠点を有する。

平均値シフト法は、複雑なシーンのマルチピークについてモデルを構築し、良い検出結果を取得するが、平均値シフト法が反復的な技術であるため、データ空間全体の収束を考慮する必要があるため、計算の複雑さが高く、画素レベルの背景モデルの構築への適用が制限されている。

コードブックアルゴリズムは、各画素について複数のコード要素に対応するコードブックを設定し、複雑なシーンにおけるマルチピーク分布についてモデルを構築する。該方法は、最初のフレームを用いて背景を学習する必要があるため、シーンが最初から複雑であると、初期化の結果が非常に悪くなる。また、多くのメモリを占用する必要がある。

以上の前景検出方法は単一の画素について分析を行い、画素間の関連を無視している。一方、Ｖｉｂｅアルゴリズムは、画素間の関連を考慮し、隣接する画素の分布が類似すると仮定し、隣接画素を参考にしてモデルを構築するのは非常に速く、１つのフレームのみが必要となる。背景は一定の確率でランダムに更新される。該方法の精度が高く、動作速度が速い。

なお、上述した技術背景の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により周知されたものではない。

本発明の発明者の発見によると、現在、殆どの前景検出方法はグレースケール画像に基づくものであり、カラー目標のグレースケール値が背景と類似すると、背景として判断されてしまう。この問題を解決するために、いくつかの改良されたアルゴリズムは、３チャネル画像を用いて背景モデルを構築し、各チャネルについて３つのモデルを構築するが、計算量が倍になり、ビデオのサイズが大きいほど、計算量が大きくなる。

上記の問題を解決するために、本発明の実施例は、目標検出方法、目標検出装置及び画像処理装置を提供する。

本発明の実施例の第１態様では、目標検出方法であって、入力画像の現フレーム画像のグレースケールバッファ及びカラーバッファを抽出するステップであって、前記グレースケールバッファに前記現フレーム画像の各画素のグレースケール値が保存され、前記カラーバッファに前記現フレーム画像の各画素のカラー値が保存される、ステップと、現画素のグレースケール値及びカラー値とそれに対応するグレースケール背景モデルの複数のグレースケールモデルサンプル及びカラー背景モデルの複数のカラーモデルサンプルとをそれぞれ比較し、現画素のグレースケールマッチング数及びカラーマッチング数を取得するステップと、現画素のグレースケールマッチング数が第１閾値よりも小さく、或いはカラーマッチング数が第２閾値よりも小さい場合、現画素の前景マスクを更新し、現画素の前景検出結果を取得するステップと、を含む、方法を提供する。

本発明の実施例の第２態様では、目標検出装置であって、入力画像の現フレーム画像のグレースケールバッファ及びカラーバッファを抽出する第１抽出手段であって、前記グレースケールバッファに前記現フレーム画像の各画素のグレースケール値が保存され、前記カラーバッファに前記現フレーム画像の各画素のカラー値が保存される、第１抽出手段と、現画素のグレースケール値及びカラー値とそれに対応するグレースケール背景モデルの複数のグレースケールモデルサンプル及びカラー背景モデルの複数のカラーモデルサンプルとをそれぞれ比較し、現画素のグレースケールマッチング数及びカラーマッチング数を取得するマッチング手段と、現画素のグレースケールマッチング数が第１閾値よりも小さく、或いはカラーマッチング数が第２閾値よりも小さい場合、現画素の前景マスクを更新し、現画素の前景検出結果を取得する第１更新手段と、を含む、装置を提供する。

本発明の実施例の第３態様では、上記の第２態様に記載の目標検出装置を含む画像処理装置を提供する。

本発明の実施例の第４態様では、目標検出装置又は電子機器においてプログラムを実行する際に、コンピュータに、該目標検出装置又は電子機器において本発明の実施例の第１態様に記載の目標検出方法を実行させる、コンピュータ読み取り可能なプログラムをさらに提供する。

本発明の実施例の第５態様では、コンピュータに、目標検出装置又は電子機器において本発明の実施例の第１態様に記載の目標検出方法を実行させるためのコンピュータ読み取り可能なプログラムを記憶する、記憶媒体をさらに提供する。

本発明の実施例の効果としては、本発明の実施例は、カラー背景モデルに基づいて目標検出を行うことで、グレースケール背景モデルを用いる場合に比べて、背景モデルのための１つのチャネルのみを追加するが、より完全な背景を取得できる。該方法は、ビデオ監視システムの目標検出に適用でき、検出率を向上できる。

本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び均等的なものが含まれる。

ある一つの実施形態に説明及び又は示されている特徴は、同一又は類似の方式で一つ又は多くの他の実施形態に使用されてもよく、他の実施形態における特徴と組み合わせてもよく、他の実施形態における特徴を代替してもよい。

なお、用語「包括／含む」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。

本発明の実施例の図面又は実施形態に説明されている要素及び特徴は、１つ又は複数の他の図面又は実施形態に示す要素及び特徴と組み合わせてもよい。図面において、類似する符号は複数の図面における対応する構成部を表し、複数の態様に用いられる対応構成部を表してもよい。

ここで含まれる図面は、本発明の実施例を理解させるためのものであり、本明細書の一部を構成し、本発明の実施例を例示するためのものであり、文言の記載と合わせて本発明の原理を説明する。なお、ここに説明される図面は、単なる本発明の実施例を説明するためのものであり、当業者にとって、これらの図面に基づいて他の図面を容易に得ることができる。
本発明の実施例１の目標検出方法の１つの態様を示す図である。本発明の実施例１の目標検出方法におけるグレースケールバッファ及びカラーバッファの取得を示す図である。本発明の実施例１の目標検出方法におけるグレースケール背景モデルの初期化を示す図である。本発明の実施例１の目標検出方法のもう１つの態様を示す図である。本発明の実施例２の目標検出装置を示す図である。本発明の実施例２の目標検出装置の初期化部を示す図である。本発明の実施例３の画像処理装置を示す図である。

本発明の上記及びその他の特徴は、図面及び下記の説明により理解できるものである。明細書及び図面では、本発明の特定の実施形態、即ち本発明の原則に従う一部の実施形態を表すものを公開している。なお、本発明は説明される実施形態に限定されず、本発明は、特許請求の範囲内の全ての修正、変更されたもの、及び均等なものを含む。

本発明の実施例では、用語「第１」、「第２」は異なる要素を名称で区分するためのものであり、これらの要素の空間的配列又は時間的順序などを意味するものではなく、これらの要素はこれらの用語に限定されない。用語「及び／又は」は列挙された用語の１つ又は複数のうち何れか及びその組み合わせを含む。用語「包括」、「含む」、「有する」は説明された特徴、要素、素子又は部材の存在を意味するが、他の１つ又は複数の特徴、要素、素子又は部材の存在又は追加を排除するものではない。

本発明の実施例では、単数形の「一」、「該」等は複数形を含み、「一種」又は「一類」を意味し、「１つ」に限定するものではない。また、用語「前記」は、文脈上明確に指示されない限り、単数形及び複数形両方を含む。また、文脈上明確に指示されない限り、用語「応じて」は「少なくとも部分的に応じて」を意味し、用語「に基づいて」は「少なくとも部分的に基づいて」を意味する。

以下は、図面を参照しながら本発明の実施例の各態様を説明する。これらの態様は単なる例示的なものであり、本発明を限定するものではない。

＜実施例１＞
本実施例は目標検出方法を提供し、図１は本発明の実施例１の目標検出方法の１つの態様を示す図である。図１に示すように、該方法は以下のステップを含む。

ステップ１０１：入力画像の現フレーム画像のグレースケールバッファ及びカラーバッファを抽出し、該グレースケールバッファに該現フレーム画像の各画素のグレースケール値が保存され、該カラーバッファに該現フレーム画像の各画素のカラー値が保存される。

ステップ１０２：現画素のグレースケール値及びカラー値とそれに対応するグレースケール背景モデルの複数のグレースケールモデルサンプル及びカラー背景モデルの複数のカラーモデルサンプルとをそれぞれ比較し、現画素のグレースケールマッチング数及びカラーマッチング数を取得する。

ステップ１０３：現画素のグレースケールマッチング数が第１閾値よりも小さく、或いはカラーマッチング数が第２閾値よりも小さい場合、現画素の前景マスクを更新し、現画素の前景検出結果を取得する。

本実施例では、グレースケール背景モデル及びカラー背景モデルを定義し、各画素は１つのグレースケール背景モデル及び１つのカラー背景モデルに対応し、また、各フレーム画像の検出に伴い、該グレースケール背景モデル及びカラー背景モデルは、次のフレーム画像の検出のために更新される。

本実施例では、グレースケール背景モデルには複数のグレースケールモデルサンプルが含まれ、該複数のグレースケールモデルサンプルの初期値は各画素の隣接画素のグレースケール値から選択される。カラー背景モデルには複数のカラーモデルサンプルが含まれ、該複数のカラーモデルサンプルの初期値は各画素の隣接画素のカラー値から選択される。該グレースケール背景モデル及びカラー背景モデルの初期化方法は後述する。

本実施例の目標検出方法によれば、目標検出を行う際に、カラー背景モデルに基づいて目標検出を行うことで、グレースケール背景モデルを用いる場合に比べて、背景モデルのための１つのチャネルのみを追加するが、より完全な背景を取得できる。

本実施例では、入力画像の各フレームについて、ステップ１０１において、該フレーム画像のグレースケールバッファ及びカラーバッファを抽出し、該フレーム画像の各画素のグレースケール値及びカラー値を取得してもよい。ここで、グレースケール値は該画素のＹチャネルの値であり、カラー値は該画素のＵチャネルの値とＶチャネルの値とを合成して得られた値であってもよく、詳細は後述する。

本実施例では、各画素のグレースケール値及びカラー値を取得した後に、ステップ１０２において、該グレースケール値及びカラー値と該画素に対応するグレースケール背景モデルの複数のグレースケールモデルサンプル及びカラー背景モデルの複数のカラーモデルサンプルとをそれぞれ比較し、グレースケールマッチング数及びカラーマッチング数を決定してもよい。ここで、グレースケールマッチング数は該グレースケール値とマッチしたものの数であり、１つの態様では、該画素のグレースケール値とグレースケールモデルサンプルとの差が所定のモデルマッチング半径よりも大きい場合、該グレースケール値と該グレースケールモデルサンプルとがマッチしたと見なされ、グレースケールマッチング数に１を加算する。これによって、該画素のグレースケール値と該複数のグレースケールモデルサンプルとを比較することで、マッチしたグレースケールモデルサンプルの数、即ちグレースケールマッチング数を決定できる。同様に、カラーマッチング数を取得できる。

本実施例では、現画素のグレースケールマッチング数及びカラーマッチング数を取得した後に、ステップ１０３において、所定の第１閾値及び第２閾値とそれぞれ比較し、グレースケールマッチング数が第１閾値よりも小さく、或いはカラーマッチング数が第２閾値よりも小さい場合、該画素が前景点であると見なされ、該画素の前景マスクを更新し、例えば前景マスクにおける該画素に対応する位置の画素値を２５５に設定し、現画素の前景検出結果を取得してもよい。

１つの態様では、該画素の前景マスクを更新した後に、該画素に対応する前景数に１を加算し、即ち、該画素が前景点であると判定された回数に１を加算してもよい。これによって、該画素が前景点であると判定された回数が所定数に達した場合、例えば第３閾値よりも大きい場合、該画素の背景モデルを更新してもよい。言い換えれば、該画素（位置）は前景画素として複数のフレーム画像に留まり、該画素を背景モデルに追加し、即ちその背景モデルを更新してもよい。

本実施例の方法により生成された前景マスクは二値化画像であり、そのうち、白色の点、即ち２５５とマーキングされた点は、移動部分を示し、これによって各フレーム画像の前景マスクにおける輪郭を取得でき、そして、それらの距離を比較することで、これらの輪郭をスポットにクラスタリングし、最後に、移動目標の矩形を取得してもよく、該結果を後続の事件判断に用いられてもよい。

本実施例の方法によれば、入力画像の各フレーム画像の各画素に対して上記処理を行うことで、入力画像の検出結果を取得できる。また、本実施例の方法はカラー背景モデルに基づいて目標検出を行うことで、グレースケール背景モデルを用いる場合に比べて、背景モデルのための１つのチャネルのみを追加するが、より完全な背景を取得できる。本実施例の方法をビデオ監視システムの目標検出に適用する場合、検出率を向上できる。

本実施例では、現画素のグレースケールマッチング数が第１閾値に達し、且つ該画素のカラーマッチング数が第２閾値に達した場合、更新されたグレースケール背景モデル及びカラー背景モデルを用いて次のフレーム画像の該現画素に対応する位置の画素について前景検出を行うように、現画素に対応するグレースケール背景モデル及びカラー背景モデルを更新してもよい。

１つの態様では、グレースケール背景モデルを更新する際に、現画素のグレースケール値を用いて、現画素に対応するグレースケール背景モデルの複数のグレースケールモデルサンプルのうち、該グレースケール値との差が最も大きいグレースケールモデルサンプルのグレースケール値を置換してもよい。同様に、カラー背景モデルを更新する際に、現画素のカラー値を用いて、現画素に対応するカラー背景モデルの複数のカラーモデルサンプルのうち、該カラー値との差が最も大きいカラーモデルサンプルのカラー値を置換してもよい。

この態様では、該画素のグレースケール値と各グレースケールモデルサンプルとの差は、ステップ１０２の比較処理で保存されてもよく、また、差が最も大きいグレースケールモデルサンプルの識別情報（ＩＤ）を保存してもよく、例えばＧｍａｘｉｄとして保存してもよい。これによって、該画素に対応するグレースケール背景モデルを更新する必要がある場合、該Ｇｍａｘｉｄのグレースケール値を該画素のグレースケール値に置換してもよい。同様に、該画素のカラー値と各カラーモデルサンプルとの差は、ステップ１０２の比較処理で保存されてもよく、また、差が最も大きいカラーモデルサンプルの識別情報（ＩＤ）を保存してもよく、例えばＣｍａｘｉｄとして保存してもよい。これによって、該画素に対応するカラー背景モデルを更新する必要がある場合、該Ｃｍａｘｉｄのカラー値を該画素のカラー値に置換してもよい。

本実施例では、現画素のグレースケール背景モデル及びカラー背景モデルを更新した後に、該画素の隣接画素のうち、グレースケール値と現画素のグレースケール値との差が最も小さい隣接画素のグレースケール背景モデル及びカラー背景モデルを更新し、現画素の隣接画素のうち、カラー値と現画素のカラー値との差が最も小さい隣接画素のグレースケール背景モデル及びカラー背景モデルを更新してもよい。

ここで、隣接画素は例えば現画素の周囲の８個の画素、又は現画素の所定方向の所定数の隣接画素などであってもよいが、本実施例はこれに限定されない。具体的な更新方法は、上述したように、例えば、該隣接画素のグレースケール値及びカラー値とそれに対応するグレースケール背景モデルの複数のグレースケールモデルサンプル及びカラー背景モデルの複数のカラーモデルサンプルとをそれぞれ比較し、該隣接画素のグレースケールマッチング数及びカラーマッチング数の統計を取り、該隣接画素のグレースケールマッチング数が第１閾値に達し、且つカラーマッチング数が第２閾値に達した場合、該隣接画素に対応するグレースケールモデルサンプル及びカラーモデルサンプルを更新し、該隣接画素のグレースケールマッチング数が第１閾値よりも小さく、或いはカラーマッチング数が第２閾値よりも小さい場合、該隣接画素の前景マスクを更新し、該隣接画素の前景検出結果を取得してもよい。

ステップ１０１において、ＹＵＶ画像を入力画像としてもよく、ここで、「Ｙ」は輝度（Ｌｕｍｉｎａｎｃｅ又はＬｕｍａ）を表し、即ちグレースケール値であり、「Ｕ」及び「Ｖ」は色度（Ｃｈｒｏｍｉｎａｎｃｅ又はＣｈｒｏｍａ）を表し、画像の色調及び彩度を表現し、画素の色を指定できる。

図２はステップ１０１の１つの態様を示す図であり、図２に示すように、該方法は以下のステップを含む。

ステップ２０１：入力画像から１つのフレーム画像を取得する。該入力画像はビデオシーケンス画像であってもよい。

ステップ２０２：現画素についてチャネル分離を行い、現画素のＹチャネルの値、Ｕチャネルの値及びＶチャネルの値を取得する。

ステップ２０３：該画素のＹチャネルの値を現フレーム画像のグレースケールバッファに入れる。

ステップ２０４：該画素のＵチャネルの値とＶチャネルの値とを合成し、合成後の値をカラーバッファに入れる。

ステップ２０５：現フレーム画像に処理されていない画素がまだあるか否かを判断し、ＹＥＳの場合、ステップ２０２を実行し、ＮＯの場合、ステップ２０６を実行する。

ステップ２０６：現フレーム画像のグレースケールバッファ及びカラーバッファを出力する。

この態様では、ＹＵＶの原理により、ＹＵＶとＲＧＢとの関係は以下の通りである。

Ｒ＝Ｙ＋１．４０７５＊（Ｖ－１２８）
Ｇ＝Ｙ－０．３４５５＊（Ｕ－１２８）－０．７１６９＊（Ｖ－１２８）
Ｂ＝Ｙ＋１．７７９＊（Ｕ－１２８）
上記の関係式から分かるように、Ｕチャネルの値（Ｕ値と略称される）及びＶチャネルの値（Ｖ値と略称される）は共に１２８である場合、該画素は色を有しない。Ｕ値及びＶ値の１２８から離れる程度は色度のレベルを表すことができるため、Ｕ値とＶ値との合成後の値は次のように表してもよい。

ｃ_ｊ＝｜Ｕ_ｊ－１２８｜＋｜Ｖ_ｊ－１２８｜
該関係式では、ｃ_ｊは位置ｊのカラー値であり、Ｕ_ｊは位置ｊのＵチャネルの値であり、Ｖ_ｊは位置ｊのＶチャネルの値である。ここで、位置ｊは現在画素の所在する位置を意味するため、位置ｊは画素ｊと称されてもよい。

この態様では、Ｙチャネルの値は、次のように、該画素のグレースケール値とされてもよい。

ｇ_ｊ＝Ｙ_ｊ
該関係式では、ｇ_ｊは位置ｊのグレースケール値であり、Ｙ_ｊは位置ｊのＹチャネルの値である。同様に、位置ｊは画素ｊと称されてもよい。

図２の処理により、現フレーム画像のグレースケールバッファ及びカラーバッファを取得でき、グレースケールバッファに現フレーム画像の各画素のグレースケール値が保存され、カラーバッファに現フレーム画像の各画素のカラー値が保存されている。

本実施例では、入力画像の１番目のフレーム画像を用いてグレースケール背景モデル及びカラー背景モデルを初期化してもよい。

１つの態様では、１番目のフレーム画像のグレースケールバッファ及びカラーバッファをしてもよい。該グレースケールバッファには該１番目のフレーム画像の各画素のグレースケール値が保存され、該カラーバッファに該１番目のフレーム画像の各画素のカラー値が保存されている。抽出方法は上述したものと同様であり、ここでその説明を省略する。そして、該１番目のフレーム画像の各画素の隣接画素のグレースケール値に基づいて、各画素についてグレースケール背景モデルを構築し、該１番目のフレーム画像の各画素の隣接画素のカラー値に基づいて、各画素についてカラー背景モデルを構築する。ここで、隣接画素は、例えば現画素の周囲の２４個の隣接画素、又は現画素の所定方向の所定数の隣接画素などであってもよいが、本実施例はこれに限定されない。

この態様では、各画素の隣接画素のグレースケール値に基づいて各画素の隣接画素から第１所定数の隣接画素を選択し、選択された隣接画素のグレースケール値を該画素のグレースケール背景モデルにおけるグレースケールモデルサンプルとしてもよい。同様に、各画素の隣接画素のカラー値に基づいて各画素の隣接画素から第２所定数の隣接画素を選択し、選択された隣接画素のカラー値を該画素のカラー背景モデルにおけるカラーモデルサンプルとしてもよい。

この態様では、第１所定数及び第２所定数は予め設定されたものであり、同一であってもよいし、異なってもよい。

この態様では、該第１所定数のグレースケールモデルサンプルは、後述する比較を行うために、グレースケール値の小さい順又は大きい順で並び替えられてもよい。同様に、該第２所定数のカラーモデルサンプルは、後述する比較を行うために、カラー値の小さい順又は大きい順で並び替えられてもよい。

以下は、グレースケール背景モデル及びカラー背景モデルの初期化方法の具体例を説明する。

まず、初期化の開始時に、グレースケール背景モデル及びカラー背景モデルのために２つのｍ＊ｎ＊ｓの記憶空間を構築してもよく、ｍ＊ｎは画像のサイズであり、ｓは各モデルにおけるモデルサンプルの数である。また、計数値、例えば上述した画素が前景点であると判定された計数値を保存するためのｍ＊ｎサイズの記憶空間をさらに構築してもよい。

そして、各画素のためにグレースケール背景モデル及びカラー背景モデルを構築してもよい。具体的には、隣接画素から所定数のモデルサンプルを取得し、ここで、隣接画素の数はモデルサンプルの数よりも多くてもよく、例えばモデルサンプルの数は２０であり、隣接画素の数は２４であり、隣接画素のうち画素値（グレースケール値又はカラー値）が最も大きい２つの画素及び画素値（グレースケール値又はカラー値）が最も小さい２つの画素を除去し、残った２０個の隣接画素の画素値（グレースケール値又はカラー値）を該画素に対応する背景モデル（グレースケール背景モデル又はカラー背景モデル）に入れてもよい。

図３は目標画素のグレースケール背景モデルの初期化の一例を示す。図３に示すように、上側は目標画素（中間位置）及び隣接画素のグレースケール値であり、隣接画素のうちグレースケール値が最も大きい２つの画素（グレースケール値はそれぞれ１６０及び１６５である）及びグレースケール値が最も小さい２つの画素（グレースケール値はそれぞれ１０２及び１０５である）を除去し、残った隣接画素のグレースケール値を目標画素のグレースケールモデルサンプルとすることで、目標画素のグレースケール背景モデルを取得できる。

図４は本実施例の目標検出方法のもう１つの態様のフローチャートである。図４に示すように、該方法は以下のステップを含む。

ステップ４０１：１番目のフレーム画像を用いてグレースケール背景モデル及びカラー背景モデルを初期化する。

ステップ４０２：現フレーム画像のグレースケールバッファ及びカラーバッファを抽出する。

ステップ４０３：現画素のグレースケール値及びカラー値とそれに対応するグレースケールモデルサンプル及びカラーモデルサンプルとをそれぞれ比較する。

ステップ４０４：グレースケールマッチング数及びカラーマッチング数の統計を取る。

ステップ４０５：グレースケールマッチング数が第１閾値に達し、且つカラーマッチング数が第２閾値に達したか否かを判断し、ＹＥＳの場合、ステップ４０７を実行し、そうでない場合、ステップ４０６を実行する。

ステップ４０６：現画素の前景マスクを更新し、現画素が前景点であると判定された回数に１を加算する。

ステップ４０７：現画素のグレースケール背景モデル及びカラー背景モデルを更新し、ステップ４９０に進む。

ステップ４０８：現画素が前景点であると判定された回数が第３閾値よりも大きいか否かを判断し、ＹＥＳの場合、ステップ４０７を実行し、そうでない場合、ステップ４０９を実行する。

ステップ４０９：処理されていない画素がまだあるか否かを判断し、ＹＥＳの場合、ステップ４０３を実行し、そうでない場合、ステップ４１０を実行する。

ステップ４１０：処理されていないフレームがまだあるか否かを判断し、ＹＥＳの場合、ステップ４０２を実行し、そうでない場合、処理を終了する。

図４における各ステップの処理方法は以上で既に詳細に説明されているため、ここでその説明を省略する。また、図４は本実施例の目標検出方法の１つの態様を示しているが、具体的に実施する際に、一部のステップを有しなくてもよく、一部のステップを他の手段で実現してもよく、詳細は上述したものと同様であり、ここでその説明を省略する。

＜実施例２＞
本実施例は目標検出装置を提供する。該装置の問題解決の原理は実施例１の方法と類似するため、その具体的な実施は実施例１の方法の実施を参考してもよく、重複する説明を省略する。

図５は本実施例の目標検出装置５００を示す図である。図５に示すように、目標検出装置５００は、第１抽出部５０１、マッチング部５０２及び第１更新部５０３を含む。第１抽出部５０１は、入力画像の現フレーム画像のグレースケールバッファ及びカラーバッファを抽出してもよく、グレースケールバッファに現フレーム画像の各画素のグレースケール値が保存され、カラーバッファに現フレーム画像の各画素のカラー値が保存される。マッチング部５０２は、現画素のグレースケール値及びカラー値とそれに対応するグレースケール背景モデルの複数のグレースケールモデルサンプル及びカラー背景モデルの複数のカラーモデルサンプルとをそれぞれ比較し、現画素のグレースケールマッチング数及びカラーマッチング数を取得してもよい。第１更新部５０３は、現画素のグレースケールマッチング数が第１閾値よりも小さく、或いはカラーマッチング数が第２閾値よりも小さい場合、現画素の前景マスクを更新し、現画素の前景検出結果を取得してもよい。その具体的な実施は図１における各ステップを参考してもよく、ここでその説明を省略する。

本実施例の１つの態様では、第１更新部５０３は、前景マスクにおける現画素に対応する位置の画素値を２５５に設定してもよい。また、好ましくは、第１更新部５０３は、現画素が前景点であると判定された回数に１を加算してもよい。

本実施例では、図５に示すように、目標検出装置５００は、現画素のグレースケールマッチング数が第１閾値に達し、且つカラーマッチング数が第２閾値に達した場合、現画素に対応するグレースケール背景モデル及びカラー背景モデルを更新する第２更新部５０４をさらに含んでもよい。

１つの態様では、第２更新部５０４は、現画素のグレースケール値を用いて、現画素に対応するグレースケール背景モデルの複数のグレースケールモデルサンプルのうちグレースケール値との差が最も大きいグレースケールモデルサンプルのグレースケール値を置換し、現画素のカラー値を用いて、現画素に対応するカラー背景モデルの複数のカラーモデルサンプルのうちカラー値との差が最も大きいカラーモデルサンプルのカラー値を置換してもよい。

本実施例では、図５に示すように、目標検出装置５００は、現画素の隣接画素のうち、グレースケール値と現画素のグレースケール値との差が最も小さい隣接画素のグレースケール背景モデル及びカラー背景モデルを更新する第３更新部５０５と、現画素の隣接画素のうち、カラー値と現画素のカラー値との差が最も小さい隣接画素のグレースケール背景モデル及びカラー背景モデルを更新する第４更新部５０６とをさらに含んでもよい。

１つの態様では、第３更新部５０５又は第４更新部５０６は、前記隣接画素のグレースケール値及びカラー値とそれに対応するグレースケール背景モデルの複数のグレースケールモデルサンプル及びカラー背景モデルの複数のカラーモデルサンプルとをそれぞれ比較し、隣接画素のグレースケールマッチング数及びカラーマッチング数の統計を取り、隣接画素のグレースケールマッチング数が第１閾値に達し、且つカラーマッチング数が第２閾値に達した場合、隣接画素に対応するグレースケールモデルサンプル及びカラーモデルサンプルを更新し、隣接画素のグレースケールマッチング数が第１閾値よりも小さく、或いはカラーマッチング数が第２閾値よりも小さい場合、隣接画素の前景マスクを更新し、現画素の前景検出結果を取得してもよい。

本実施例では、画素のグレースケール値は画素のＹチャネルの値であり、画素のカラー値は画素のＵチャネルの値とＶチャネルの値とを合成して得られた値である。

１つの態様では、画素のカラー値は、
ｃ_ｊ＝｜Ｕ_ｊ－１２８｜＋｜Ｖ_ｊ－１２８｜
で表されてもよく、ｃ_ｊは画素ｊのカラー値であり、Ｕ_ｊは画素ｊのＵチャネルの値であり、Ｖ_ｊは画素ｊのＶチャネルの値である。

本実施例では、グレースケール値とグレースケールモデルサンプルとの差が所定のモデルマッチング半径よりも大きい場合、グレースケールマッチング数に１を加算し、カラー値とカラーモデルサンプルとの差が所定のモデルマッチング半径よりも大きい場合、カラーマッチング数に１を加算する。

本実施例では、図５に示すように、目標検出装置５００は、入力画像の１番目のフレーム画像を用いてグレースケール背景モデル及びカラー背景モデルを初期化する初期化部５０７をさらに含んでもよい。

図６は本実施例の初期化部５０７の１つの態様を示す図である。図６に示すように、第２抽出部６０１、第１構築部６０２及び第２構築部６０３を含む。第２抽出部６０１は、１番目のフレーム画像のグレースケールバッファ及びカラーバッファを抽出してもよく、グレースケールバッファに１番目のフレーム画像の各画素のグレースケール値が保存され、カラーバッファに１番目のフレーム画像の各画素のカラー値が保存される。第１構築部６０２は、１番目のフレーム画像の各画素の隣接画素のグレースケール値に基づいて、各画素についてグレースケール背景モデルを構築してもよい。第２構築部６０３は、１番目のフレーム画像の各画素の隣接画素のカラー値に基づいて、各画素についてカラー背景モデルを構築してもよい。

１つの態様では、第１構築部６０２は、各画素の隣接画素のグレースケール値に基づいて各画素の隣接画素から第１所定数の隣接画素を選択し、選択された隣接画素のグレースケール値を画素のグレースケール背景モデルにおけるグレースケールモデルサンプルとしてもよい。

１つの態様では、第２構築部６０３は、各画素の隣接画素のカラー値に基づいて各画素の隣接画素から第２所定数の隣接画素を選択し、選択された隣接画素のカラー値を画素のカラー背景モデルにおけるカラーモデルサンプルとしてもよい。

本実施例の装置によれば、入力画像の各フレーム画像の各画素に対して上記処理を行うことで、入力画像の検出結果を取得できる。また、本実施例の方法はカラー背景モデルに基づいて目標検出を行うことで、グレースケール背景モデルを用いる場合に比べて、背景モデルのための１つのチャネルのみを追加するが、より完全な背景を取得できる。本実施例の方法をビデオ監視システムの目標検出に適用する場合、検出率を向上できる。

＜実施例３＞
本実施例は、実施例２の目標検出装置を含む画像処理装置を提供する。

図７は本実施例の画像処理装置を示す図である。図７に示すように、画像処理装置７００は、中央処理装置（ＣＰＵ）７０１及び記憶装置７０２を含んでもよく、記憶装置７０２は中央処理装置７０１に接続される。記憶装置７０２は、各種のデータ及び情報処理のプログラムを記憶してもよく、中央処理装置７０１の制御により該プログラムを実行する。

１つの態様では、目標検出装置５００の機能は中央処理装置７０１に統合されてもよい。ここで、中央処理装置７０１は、実施例１に説明された目標検出方法を実現するように構成されてもよい。

もう１つの態様では、目標検出装置５００は中央処理装置７０１とそれぞれ配置されてもよく、例えば、目標検出装置は中央処理装置７０１に接続されたチップであり、中央処理装置７０１の制御により目標検出装置の機能を実現するように構成されてもよい。

本実施例では、中央処理装置７０１は、入力画像の現フレーム画像のグレースケールバッファ及びカラーバッファを抽出し、グレースケールバッファに現フレーム画像の各画素のグレースケール値が保存され、カラーバッファに現フレーム画像の各画素のカラー値が保存され、現画素のグレースケール値及びカラー値とそれに対応するグレースケール背景モデルの複数のグレースケールモデルサンプル及びカラー背景モデルの複数のカラーモデルサンプルとをそれぞれ比較し、現画素のグレースケールマッチング数及びカラーマッチング数を取得し、現画素のグレースケールマッチング数が第１閾値よりも小さく、或いはカラーマッチング数が第２閾値よりも小さい場合、現画素の前景マスクを更新し、現画素の前景検出結果を取得するように構成されてもよい。

また、図７に示すように、画像処理装置７００は、入力出力（Ｉ／Ｏ）装置７０３及び表示装置７０４等をさらに含んでもよい。ここで、上記各部の機能は従来技術と類似し、ここでその説明を省略する。なお、画像処理装置７００は、図７に示す全ての構成部を含まなくてもよい。また、画像処理装置７００は、図７に示していない構成部を含んでもよく、従来技術を参考してもよい。

本発明の実施例は、目標検出装置又は画像処理装置においてプログラムを実行する際に、コンピュータに、該目標検出装置又は画像処理装置において上記実施例１に記載の目標検出方法を実行させる、コンピュータ読み取り可能なプログラムをさらに提供する。

本発明の実施例は、コンピュータに、目標検出装置又は画像処理装置において上記実施例１に記載の目標検出方法を実行させるためのコンピュータ読み取り可能なプログラムを記憶する、記憶媒体をさらに提供する。

本発明の以上の装置及び方法は、ハードウェアにより実現されてもよく、ハードウェアとソフトウェアを結合して実現されてもよい。本発明はコンピュータが読み取り可能なプログラムに関し、該プログラムは論理部により実行される時に、該論理部に上述した装置又は構成要件を実現させる、或いは該論理部に上述した各種の方法又はステップを実現させることができる。本発明は上記のプログラムを記憶するための記憶媒体、例えばハードディスク、磁気ディスク、光ディスク、ＤＶＤ、フラッシュメモリ等に関する。

本発明の実施例を参照しながら説明した方法／装置は、ハードウェア、プロセッサにより実行されるソフトウェアモジュール、又は両者の組み合わせで実施されてもよい。例えば、図５に示す機能的ブロック図における１つ若しくは複数、又は機能的ブロック図の１つ若しくは複数の組み合わせ（例えば第１抽出部、マッチング部及び第１更新部など）は、コンピュータプログラムフローの各ソフトウェアモジュールに対応してもよいし、各ハードウェアモジュールに対応してもよい。これらのソフトウェアモジュールは、実施例２に示す各ステップにそれぞれ対応してもよい。これらのハードウェアモジュールは、例えばフィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）を用いてこれらのソフトウェアモジュールをハードウェア化して実現されてもよい。

ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、モバイルハードディスク、ＣＤ－ＲＯＭ又は当業者にとって既知の任意の他の形の記憶媒体に位置してもよい。プロセッサが記憶媒体から情報を読み取ったり、記憶媒体に情報を書き込むように該記憶媒体をプロセッサに接続してもよいし、記憶媒体がプロセッサの構成部であってもよい。プロセッサ及び記憶媒体はＡＳＩＣに位置する。該ソフトウェアモジュールは移動端末のメモリに記憶されてもよいし、移動端末に挿入されたメモリカードに記憶されてもよい。例えば、機器（例えば移動端末）が比較的に大きい容量のＭＥＧＡ－ＳＩＭカード又は大容量のフラッシュメモリ装置を用いる場合、該ソフトウェアモジュールは該ＭＥＧＡ－ＳＩＭカード又は大容量のフラッシュメモリ装置に記憶されてもよい。

図面に記載されている一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、本願に記載されている機能を実行するための汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理装置、ディスクリートハードウェアコンポーネント、またはそれらの任意の適切な組み合わせで実現されてもよい。図面に記載されている一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、例えば、コンピューティング機器の組み合わせ、例えばＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰ通信と組み合わせた１つ又は複数のマイクロプロセッサ又は他の任意の構成で実現されてもよい。

以上、具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び修正を行ってもよく、これらの変形及び修正も本発明の範囲に属する。

また、上述の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
目標検出方法であって、
入力画像の現フレーム画像のグレースケールバッファ及びカラーバッファを抽出するステップであって、前記グレースケールバッファに前記現フレーム画像の各画素のグレースケール値が保存され、前記カラーバッファに前記現フレーム画像の各画素のカラー値が保存される、ステップと、
現画素のグレースケール値及びカラー値とそれに対応するグレースケール背景モデルの複数のグレースケールモデルサンプル及びカラー背景モデルの複数のカラーモデルサンプルとをそれぞれ比較し、現画素のグレースケールマッチング数及びカラーマッチング数を取得するステップと、
現画素のグレースケールマッチング数が第１閾値よりも小さく、或いはカラーマッチング数が第２閾値よりも小さい場合、現画素の前景マスクを更新し、現画素の前景検出結果を取得するステップと、を含む、方法。
（付記２）
現画素の前景マスクを更新するステップは、前景マスクにおける現画素に対応する位置の画素値を２５５に設定するステップ、を含む、付記１に記載の方法。
（付記３）
現画素の前景マスクを更新するステップは、現画素が前景点であると判定された回数に１を加算するステップ、をさらに含む、付記２に記載の方法。
（付記４）
現画素のグレースケールマッチング数が前記第１閾値に達し、且つカラーマッチング数が前記第２閾値に達した場合、現画素に対応するグレースケール背景モデル及びカラー背景モデルを更新するステップ、をさらに含む、付記１に記載の方法。
（付記５）
現画素に対応するグレースケール背景モデル及びカラー背景モデルを更新するステップは、
現画素のグレースケール値を用いて、現画素に対応するグレースケール背景モデルの複数のグレースケールモデルサンプルのうち前記グレースケール値との差が最も大きいグレースケールモデルサンプルのグレースケール値を置換するステップと、
現画素のカラー値を用いて、現画素に対応するカラー背景モデルの複数のカラーモデルサンプルのうち前記カラー値との差が最も大きいカラーモデルサンプルのカラー値を置換するステップと、を含む、付記４に記載の方法。
（付記６）
現画素に対応するグレースケール背景モデル及びカラー背景モデルを更新した後に、
現画素の隣接画素のうち、グレースケール値と現画素のグレースケール値との差が最も小さい隣接画素のグレースケール背景モデル及びカラー背景モデルを更新するステップと、
現画素の隣接画素のうち、カラー値と現画素のカラー値との差が最も小さい隣接画素のグレースケール背景モデル及びカラー背景モデルを更新するステップと、をさらに含む、付記４に記載の方法。
（付記７）
隣接画素のグレースケール背景モデル及びカラー背景モデルを更新するステップは、
前記隣接画素のグレースケール値及びカラー値とそれに対応するグレースケール背景モデルの複数のグレースケールモデルサンプル及びカラー背景モデルの複数のカラーモデルサンプルとをそれぞれ比較し、前記隣接画素のグレースケールマッチング数及びカラーマッチング数の統計を取るステップと、
前記隣接画素のグレースケールマッチング数が前記第１閾値に達し、且つカラーマッチング数が前記第２閾値に達した場合、前記隣接画素に対応するグレースケールモデルサンプル及びカラーモデルサンプルを更新するステップと、
前記隣接画素のグレースケールマッチング数が前記第１閾値よりも小さく、或いはカラーマッチング数が前記第２閾値よりも小さい場合、前記隣接画素の前景マスクを更新し、現画素の前景検出結果を取得するステップと、を含む、付記６に記載の方法。
（付記８）
前記画素のグレースケール値は、前記画素のＹチャネルの値であり、
前記画素のカラー値は、前記画素のＵチャネルの値とＶチャネルの値とを合成して得られた値である、付記１に記載の方法。
（付記９）
前記画素のカラー値は、
ｃ_ｊ＝｜Ｕ_ｊ－１２８｜＋｜Ｖ_ｊ－１２８｜
で表され、
ｃ_ｊは画素ｊのカラー値であり、Ｕ_ｊは画素ｊのＵチャネルの値であり、Ｖ_ｊは画素ｊのＶチャネルの値である、付記８に記載の方法。
（付記１０）
グレースケール値とグレースケールモデルサンプルとの差が所定のモデルマッチング半径よりも大きい場合、グレースケールマッチング数に１を加算し、カラー値とカラーモデルサンプルとの差が所定のモデルマッチング半径よりも大きい場合、カラーマッチング数に１を加算する、付記１に記載の方法。
（付記１１）
入力画像の１番目のフレーム画像を用いてグレースケール背景モデル及びカラー背景モデルを初期化するステップ、をさらに含む、付記１に記載の方法。
（付記１２）
グレースケール背景モデル及びカラー背景モデルを初期化するステップは、
前記１番目のフレーム画像のグレースケールバッファ及びカラーバッファを抽出するステップであって、前記グレースケールバッファに前記１番目のフレーム画像の各画素のグレースケール値が保存され、前記カラーバッファに前記１番目のフレーム画像の各画素のカラー値が保存される、ステップと、
前記１番目のフレーム画像の各画素の隣接画素のグレースケール値に基づいて、各画素についてグレースケール背景モデルを構築するステップと、
前記１番目のフレーム画像の各画素の隣接画素のカラー値に基づいて、各画素についてカラー背景モデルを構築するステップと、を含む、付記１１に記載の方法。
（付記１３）
各画素についてグレースケール背景モデルを構築するステップは、各画素の隣接画素のグレースケール値に基づいて各画素の隣接画素から第１所定数の隣接画素を選択し、選択された隣接画素のグレースケール値を前記画素のグレースケール背景モデルにおけるグレースケールモデルサンプルとするステップ、を含み、
各画素についてカラー背景モデルを構築するステップは、各画素の隣接画素のカラー値に基づいて各画素の隣接画素から第２所定数の隣接画素を選択し、選択された隣接画素のカラー値を前記画素のカラー背景モデルにおけるカラーモデルサンプルとするステップ、を含む、付記１２に記載の方法。

Claims

目標検出装置であって、
入力画像の現フレーム画像のグレースケールバッファ及びカラーバッファを抽出する第１抽出手段であって、前記グレースケールバッファに前記現フレーム画像の各画素のグレースケール値が保存され、前記カラーバッファに前記現フレーム画像の各画素のカラー値が保存される、第１抽出手段と、
現画素のグレースケール値及びカラー値とそれに対応するグレースケール背景モデルの複数のグレースケールモデルサンプル及びカラー背景モデルの複数のカラーモデルサンプルとをそれぞれ比較し、現画素のグレースケールマッチング数及びカラーマッチング数を取得するマッチング手段と、
現画素のグレースケールマッチング数が第１閾値よりも小さく、或いはカラーマッチング数が第２閾値よりも小さい場合、現画素の前景マスクを更新し、現画素の前景検出結果を取得する第１更新手段と、を含み、
前記グレースケール背景モデル及び前記カラー背景モデルは、前記入力画像の前記現フレーム画像の前のフレーム画像の各画素について構築された記憶空間であり、
前記グレースケール背景モデルには、目標画素の隣接画素のグレースケール値が該目標画素のグレースケールモデルサンプルとして記憶されており、
前記カラー背景モデルには、目標画素の隣接画素のカラー値が該目標画素のカラーモデルサンプルとして記憶されている、装置。
現画素のグレースケールマッチング数が前記第１閾値に達し、且つカラーマッチング数が前記第２閾値に達した場合、現画素に対応するグレースケール背景モデル及びカラー背景モデルを更新する第２更新手段、をさらに含む、請求項１に記載の装置。
前記第２更新手段は、
現画素のグレースケール値を用いて、現画素に対応するグレースケール背景モデルの複数のグレースケールモデルサンプルのうち前記グレースケール値との差が最も大きいグレースケールモデルサンプルのグレースケール値を置換し、
現画素のカラー値を用いて、現画素に対応するカラー背景モデルの複数のカラーモデルサンプルのうち前記カラー値との差が最も大きいカラーモデルサンプルのカラー値を置換する、請求項２に記載の装置。
現画素の隣接画素のうち、グレースケール値と現画素のグレースケール値との差が最も小さい隣接画素のグレースケール背景モデル及びカラー背景モデルを更新する第３更新手段と、
現画素の隣接画素のうち、カラー値と現画素のカラー値との差が最も小さい隣接画素のグレースケール背景モデル及びカラー背景モデルを更新する第４更新手段と、をさらに含む、請求項２に記載の装置。
前記第３更新手段又は前記第４更新手段は、
前記隣接画素のグレースケール値及びカラー値とそれに対応するグレースケール背景モデルの複数のグレースケールモデルサンプル及びカラー背景モデルの複数のカラーモデルサンプルとをそれぞれ比較し、前記隣接画素のグレースケールマッチング数及びカラーマッチング数の統計を取り、
前記隣接画素のグレースケールマッチング数が前記第１閾値に達し、且つカラーマッチング数が前記第２閾値に達した場合、前記隣接画素に対応するグレースケールモデルサンプル及びカラーモデルサンプルを更新し、
前記隣接画素のグレースケールマッチング数が前記第１閾値よりも小さく、或いはカラーマッチング数が前記第２閾値よりも小さい場合、前記隣接画素の前景マスクを更新し、現画素の前景検出結果を取得する、請求項４に記載の装置。
前記画素のグレースケール値は、前記画素のＹチャネルの値であり、
前記画素のカラー値は、前記画素のＵチャネルの値とＶチャネルの値とを合成して得られた値である、請求項１に記載の装置。
前記画素のカラー値は、
ｃ_ｊ＝｜Ｕ_ｊ－１２８｜＋｜Ｖ_ｊ－１２８｜
で表され、
ｃ_ｊは画素ｊのカラー値であり、Ｕ_ｊは画素ｊのＵチャネルの値であり、Ｖ_ｊは画素ｊのＶチャネルの値である、請求項６に記載の装置。
入力画像の１番目のフレーム画像を用いてグレースケール背景モデル及びカラー背景モデルを初期化する初期化手段、をさらに含み、
前記初期化手段は、
前記１番目のフレーム画像のグレースケールバッファ及びカラーバッファを抽出する第２抽出手段であって、前記グレースケールバッファに前記１番目のフレーム画像の各画素のグレースケール値が保存され、前記カラーバッファに前記１番目のフレーム画像の各画素のカラー値が保存される、第２抽出手段と、
前記１番目のフレーム画像の各画素の隣接画素のグレースケール値に基づいて、各画素についてグレースケール背景モデルを構築する第１構築手段と、
前記１番目のフレーム画像の各画素の隣接画素のカラー値に基づいて、各画素についてカラー背景モデルを構築する第２構築手段と、を含む、請求項１に記載の装置。
前記第１構築手段は、各画素の隣接画素のグレースケール値に基づいて各画素の隣接画素から第１所定数の隣接画素を選択し、選択された隣接画素のグレースケール値を前記画素のグレースケール背景モデルにおけるグレースケールモデルサンプルとし、
前記第２構築手段は、各画素の隣接画素のカラー値に基づいて各画素の隣接画素から第２所定数の隣接画素を選択し、選択された隣接画素のカラー値を前記画素のカラー背景モデルにおけるカラーモデルサンプルとする、請求項８に記載の装置。
請求項１乃至９の何れかに記載の装置を含む画像処理装置。