JP6733397B2 - 放置物の検出装置、方法及びシステム - Google Patents

Description

本発明は、画像処理技術に関し、特に装置物の検出装置、方法及びシステムに関する。

コンピュータ画像処理技術の発展に伴い、ビデオ監視システムは高度道路交通（ｉｎｔｅｌｌｉｇｅｎｔ ｔｒａｎｓｐｏｒｔａｔｉｏｎ）の分野に広く用いられている。しかし、ほとんどの研究はトラフィックフローの検出、歩行者の追跡、違反車両の検出などに集中し、違法な道路占用の認識はまだ完成していない。違法な道路占用は、主に違法な露店、放置不審物、違法停車などを含む。これらの場合に早速処理をしないと、交通事故を引き起こす可能性がある。しかし、現実では、ほとんどの違法な道路占用の検査が人間の作業によるものであり、警察官が固定点から車線情報を定期的に収集する必要はあるため、お金及び人力のコストの浪費につながる。

知能監視の研究は、目標検出、目標追跡、動作認識を含む。目標検出は、システム全体の基本となり、目標領域に対して前景分割を行うことで実現され、通常の検出方法はオプティカルフロー法、フレーム差分アルゴリズム、背景モデル化方法などを含む。オプティカルフロー法は、オプティカルフロー特徴に基づいて移動目標を抽出し、計算量が大きく、且つ雑音に敏感である。フレーム差分アルゴリズムは、２つ又は３つの隣接フレームの時間領域の減算により動的なシナリオを効果的に処理できる。背景モデル化方法は、現在フレームの画像及び背景モデルを減算して移動目標を分割し、計算速度が速く、通常は完全な特徴データを提供できる。

現在は、放置物検出の方法は、非自動的監視アルゴリズム及び追跡アルゴリズムという２種類に分けられている。非自動的監視アルゴリズムは、学習に基づくアルゴリズム及び背景手動設定アルゴリズムを含む。前者は、放置物の特徴に対する特別な要求を有するため、訓練サンプルとは異なる特徴を有する放置物を正確に検出できない。後者は、多くの制限を有し、複雑なシナリオにおいて空の背景を設定できなく、光線条件の変化に適応できない。追跡アルゴリズムは、背景モデルに基づいて目標を追跡し、背景モデルの効果に深く依存し、且つゴースト（ｇｈｏｓｔ）等の不良現象に影響されやすく、該追跡方法は非常に高い複雑さを有し、長時間の放置物に十分に対応できない。

なお、背景技術に関する上記の説明は、単なる本発明の技術案をより明確、完全に説明するためのものであり、当業者を理解させるために説明するものであり。これら技術案が本発明の背景技術の部分に説明されているから当業者にとって周知の技術であると解釈してはならない。

背景技術における問題点を解決するために、本願は、違法な道路占用の認識の問題を解決する放置物の検出装置、方法及びシステムを提供する。

本発明の実施例の第１の態様では、放置物の検出装置であって、取得された現在のフレームの各画素とその背景モデルとのマッチングを行い、一致しない画素を前景画素として前景マスクにおいてマーキングし、各前景画素に対応する前景計数器に１を加算し、前記背景モデルを更新する検出手段と、各前景画素について、前記前景画素に対応する前景計数器の値が第２閾値よりも大きい場合に、放置マスクにおいて前記前景画素に対応する点をマーキングするマーキング手段と、放置マスクにおける各点について、その背景モデルと、バッファ背景又は前景マスクとに基づいて、前記放置マスクを処理するマスク処理手段と、を含む、装置を提供する。

本発明の実施例の第２の態様では、ビデオ監視システムであって、ビデオを撮影し、ビデオデータを取得するビデオカメラと、前記ビデオカメラからのビデオデータにおける各フレームの画像を処理し、放置物を検出する放置物の検出装置と、を含み、前記放置物の検出装置は、取得された現在のフレームの各画素とその背景モデルとのマッチングを行い、一致しない画素を前景画素として前景マスクにおいてマーキングし、各前景画素に対応する前景計数器に１を加算し、前記背景モデルを更新する検出手段と、各前景画素について、前記前景画素に対応する前景計数器の値が第２閾値よりも大きい場合に、放置マスクにおいて前記前景画素に対応する点をマーキングするマーキング手段と、放置マスクにおける各点について、その背景モデルと、バッファ背景又は前景マスクとに基づいて、前記放置マスクを処理するマスク処理手段と、を含む、システムを提供する。

本発明の実施例の第３の態様では、放置物の検出方法であって、取得された現在のフレームの各画素とその背景モデルとのマッチングを行い、一致しない画素を前景画素として前景マスクにおいてマーキングし、各前景画素に対応する前景計数器に１を加算し、前記背景モデルを更新するステップと、各前景画素について、前記前景画素に対応する前景計数器の値が第２閾値よりも大きい場合に、放置マスクにおいて前記前景画素に対応する点をマーキングするステップと、放置マスクにおける各点について、その背景モデルと、バッファ背景又は前景マスクとに基づいて、前記放置マスクを処理するステップと、を含む、方法を提供する。

本発明の有益な効果としては、本願の装置、方法及びシステムによれば、放置物のバッファ背景を追加することで、放置物の離れた時間及び滞在時間を判断でき、遮蔽及びゴーストの干渉を回避でき、違法な道路占用の認識の問題を解決した。

下記の説明及び図面に示すように、本発明の特定の実施形態が詳細に開示され、本発明の原理を採用できる方式が示される。なお、本発明の実施形態の範囲はこれらに限定されない。本発明の実施形態は、添付される特許請求の範囲の要旨及び項目の範囲内において、変更されたもの、修正されたもの及び均等的なものを含む。

１つの実施形態に記載された特徴及び／又は示された特徴は、同一又は類似の方式で１つ又はさらに多くの他の実施形態で用いられてもよいし、他の実施形態における特徴と組み合わせてもよいし、他の実施形態における特徴に代わってもよい。

なお、本文では、用語「包括／含む」は、特徴、部材、ステップ又はコンポーネントが存在することを指し、一つ又は複数の他の特徴、部材、ステップ又はコンポーネントの存在又は付加を排除しない。

ここで含まれる図面は、本発明の実施例を理解させるためのものであり、本明細書の一部を構成し、本発明の実施例を例示するためのものであり、文言の記載と合わせて本発明の原理を説明する。なお、ここに説明される図面は、単なる本発明の実施例を説明するためのものであり、当業者にとって、これらの図面に基づいて他の図面を容易に得ることができる。
本発明の実施例の放置物の検出装置の構成を示す図である。 ビデオカメラにより撮影されたビデオにおける１つのフレームの画像を示す図である。 ビデオカメラにより撮影されたビデオにおけるもう１つのフレームの画像を示す図である。 図２Ｂに示す画像を検出して得られた放置マスクを示す図である。 本発明の実施例の放置物の検出方法のフローチャートである。 本実施例の前景検出及び放置マスク抽出のフローチャートである。 本実施例の放置マスク処理のフローチャートである。 本実施例のビデオ監視システムのハードウェア構成を示す図である。

本発明の上記及びその他の特徴は、図面及び下記の説明により理解できるものである。明細書及び図面では、本発明の特定の実施形態、即ち本発明の原則に従う一部の実施形態を表すものを公開している。なお、本発明は説明される実施形態に限定されず、本発明は、特許請求の範囲内の全ての修正、変更されたもの、及び均等なものを含む。

＜実施例１＞
本願は放置物の検出装置を提供し、該装置は、ビデオカメラにより撮影されたビデオの各フレームの画像を処理し、該ビデオにおける放置物を検出する。図１は該装置の構成を示す図であり、図１に示すように、該放置物の検出装置１００は、検出部１０１、マーキング部１０２、及びマスク処理部１０３を含む。

本実施例では、検出部１０１は、取得された現在のフレームの各画素とその背景モデルとのマッチングを行い、一致しない画素を前景画素として前景マスクにおいてマーキングし、各前景画素に対応する前景計数器に１を加算し、該背景モデルを更新する。

本実施例では、検出部１０１は、該背景モデルに基づいて前景検出を行ってもよい。背景モデルは従来のアルゴリズムに従って更新されてもよく、ここで、各画素点について、背景モデルはサンプル集合を有し、サンプル集合におけるサンプリング値は、該画素点の過去の画素値及びその隣接点の画素値である。現在のフレームの画素ｘ（ｉ，ｊ）及びその背景モデルｂａｃｋ＿ｓａｍｐｌｅｓ［ＮＵＭ＿ＳＡＭＰＬＥＳ］について、検出部１０１は、該画素ｘ（ｉ，ｊ）と該背景モデルにおける各サンプリング値とのマッチングを行い、マッチ数を記録してもよい。マッチ数が閾値Ｔｈｒｅ＿ｆｇよりも大きい場合に、該画素ｘ（ｉ，ｊ）を背景画素（背景点）と見なし、そうでない場合に、該画素ｘ（ｉ，ｊ）が一致しない画素であると見なし、前景画素（前景点）として前景マスクにおいてマーキングする。

ここで、前景マスクは後続のマスク処理のために設定され、詳細について以下で説明する。

本実施例では、前景計数器をさらに定義し、画素が前景画素であると判定した場合に、その前景計数器に１を加算する。画素ｘ（ｉ，ｊ）の前景計数器ｆｏｒｅ＿ｃｏｕｎｔｅｒ（ｉ，ｊ）は式（１）に従って計算されてもよい。

本実施例では、前景マスクにおいて前景画素をマーキングし、該前景画素に対応する前景計数器を更新する以外に、検出部１０１は、所定の条件に応じて各前景画素に対応する背景モデルを更新し、具体的な更新方法は従来技術を参照してもよい。

本実施例では、図１に示すように、該装置は画像処理部１０４をさらに含んでもよく、画像処理部１０４は、最初のゴースト現象を回避するように、現在フレームのフレーム番号が第１閾値よりも小さい場合に、３フレーム間差分法を用いて該前景画素を処理する。

本実施例では、各前景画素について、マーキング部１０２はその前景計数器の計数結果に基づいて、該前景画素が放置点であるか否かを決定する。１つの態様では、該前景画素に対応する前景計数器の値が第２閾値Ｔｈｒｅ＿ｆｃよりも大きい場合、即ち画素が前景であると判定する回数が所定の閾値よりも大きい場合に、該画素が放置点であると見なし、放置マスクにおいて該画素に対応する点をマーキングする。ここで、該放置マスクａｂａｎｄｏｎ＿ｍａｓｋ（ｉ，ｊ）は式（２）で定義されてもよい。

本実施例では、放置マスクにおける各点について、マスク処理部１０３は、その背景モデルと、バッファ背景又は前景マスクとに基づいて、該放置マスクを処理する。

本実施例では、マーキング部１０２により取得された放置マスクはゴースト、離れ及び遮蔽などの場合の影響を考慮せず、即ち放置マスクにおける点が真の放置物ではなくゴーストであり、或いは放置マスクにおける点が既に離れ、或いは放置マスクにおける点が遮蔽されている可能性はある。これらの状況による不正確な放置マスクを回避するために、本実施例では、マスク処理部１０３はこれらの場合に処理を行い、具体的には、マスク処理部１０３は、該放置マスクにおける各点の背景モデルとそのバッファ背景との関係、又は該放置マスクにおける各点の背景モデルとその前景マスクとの関係に基づいて、該放置マスクを処理してもよい。

本実施例では、バッファ背景は、放置物の離れた時間を検出するために定義されたものであり、画素（ｉ，ｊ）が背景から前景に変わり、即ち該画素の前景計数器の値が０から１に変わった場合に、検出部１０１は、そのバッファ背景ｂｕｆｆｅｒ＿ｂａｃｋｇｒｏｕｎｄ（ｉ，ｊ）においてその背景モデルの平均値を保存する。

１つの態様では、図１に示すように、ゴーストの影響を除去するために、マスク処理部１０３は、第１判断モジュール１０３１及び第１処理モジュール１０３２を含む。第１判断モジュール１０３１は、該点の背景モデル及びバッファ背景に基づいて、該点がゴースト点であるか否かを判断する。第１処理モジュール１０３２は、第１判断モジュール１０３１の判断結果がＹＥＳの場合に、放置マスクから該点を除去し、例えば放置マスクにおける該点の値を０に設定し、第１判断モジュール１０３１の判断結果がＮＯの場合に、放置マスクにおいて該点を保留する。

この態様では、放置点が離れた場合にも、放置マスク上に依然として滞在する可能性があり、この現象をゴースト（ｇｈｏｓｔ）と称する。この態様では、該放置点のバッファ背景と背景モデルとの関係に基づいて、放置マスクにおける点がゴースト点であるか否かを決定する。放置マスクにおける点を放置点とするフレームの数が所定閾値よりも大きく、且つそのバッファ背景とその現在の背景モデルとが一致する場合、即ちａｂａｎｄｏｎ＿ｃｏｕｎｔ（ｉ，ｊ）＞Ｔｈｒｅ＿ｇ ＆＆ （ｂｕｆｆｅｒ＿ｂａｃｋｇｒｏｕｎｄ（ｉ，ｊ） ｍａｔｃｈｗｉｔｈ ｃｕｒｒｅｎｔ
ｂａｃｋｇｒｏｕｎｄ（ｉ,ｊ））の場合に、この点がゴースト点であると判定する。この態様では、一旦放置点がゴースト点であると判断すると、放置マスクにおいて対応する画素値を０に設定する。

もう１つの態様では、図１に示すように、放置点の離れによる不正確な放置マスクを回避するために、マスク処理部１０３は、第２判断モジュール１０３３及び第２処理モジュール１０３４をさらに含んでもよい。第２判断モジュール１０３３は、該点のバッファ背景と該現在のフレームとが一致するか否かを判断する。第２処理モジュール１０３４は、第２判断モジュール１０３３の判断結果がＹＥＳの場合に、該放置マスクから該点を除去し、例えば放置マスクにおける該点の値を０に設定し、第２判断モジュール１０３３の判断結果がＮＯの場合に、該放置マスクにおいて該点を保留する。

この態様では、放置画素（ｉ，ｊ）について、そのバッファ背景と現在のフレームとが一致する場合に、該放置点が既に離れたことを意味し、この場合は、離れた点の値を０に設定することで該放置マスクを更新してもよい。また、放置物が徐々に遠くなる場合に、放置マスクにおけるクラスタが小さくなるため、本実施例では、領域閾値をさらに設定することで、放置クラスタが離れたか否かを決定してもよい。

また、１つの態様では、図１に示すように、放置点が遮蔽されることによる不正確な放置マスクを回避するために、マスク処理部１０３は、第３判断モジュール１０３５及び第３処理モジュール１０３６をさらに含んでもよい。第３判断モジュール１０３５は、放置マスク及び前景マスクにおける該点に対応する画素値が共に０ではないか否かを判断する。第３処理モジュール１０３６は、第３判断モジュール１０３５の判断結果がＹＥＳの場合に、放置マスクにおいて該点を保留し、第３判断モジュール１０３５の判断結果がＮＯの場合に、放置マスクから該点を除去し、例えば放置マスクにおける該点の値を０に設定する。

この態様では、放置物が新しい前景により遮蔽された場合に、処理しないと、放置マスクを誤って０に更新してしまう。従って、この態様では、衝突点を定義して、放置点が遮蔽されているか否かを判断する。放置画素（ｉ，ｊ）について、放置マスク及び前景マスクにおける該放置画素に対応する画素値が共に０でない場合、即ち式（３）を満たしている場合に、該放置画素は衝突点であり、放置マスクにおいて該画素値を保留する。

本実施例の放置物の検出装置の上記処理によれば、真の放置マスクを取得し、クラスタリングすることで、現在のフレームの画像における放置スポットの輪郭を取得できる。

図２Ａ〜図２Ｂはビデオカメラにより撮影されたビデオにおける２つのフレームの画像を示す図であり、図２Ａ及び図２Ｂに示すように、図２Ａに示すフレームの画像では、ランプ（ｒａｍｐ）に停車する車両がなく、図２Ｂに示すフレームの画像では、ランプに１つの車両が停車し、該車両は違法停車に該当する。本実施例の放置物の検出装置がビデオカメラにより撮影されたビデオの各フレームの画像について上記処理を行うことで、図２Ｃに示す放置マスクを取得し、図２Ｃに示すように、該放置マスクには、図２Ｂの車両に対応する位置において、幾つかの放置点をマーキングしており、１つの放置領域を構成している。

本実施例では、上記の処理によれば、放置物の基本情報を取得し、放置物の滞在フレームの計数することで、放置物の種類を判定できる。放置物の滞在時間が所定期間を超えた場合に、警告を出して、そのタイプを表示してもよい。

１つの態様では、図１に示すように、放置物の検出装置１００は、抽出部１０５、クラスタリング部１０６、マッチング部１０７、及び処理部１０８をさらに含む。

抽出部１０５は、該放置マスクにおける点の位置特徴及び滞在時間特徴を抽出する。

クラスタリング部１０６は、該放置マスクにおける点の位置特徴及び滞在時間特徴に基づいて、該放置マスクにおける点をクラスタリングし、複数の放置ブロッブ（ｂｌｏｂ）を取得する。

マッチング部１０７は、現在のフレームの放置ブロッブと前のフレームの放置ブロッブとのマッチングを行い、各放置ブロッブについて対応するＩＤをマーキングし、各放置ブロッブの滞在時間を統計する。

処理部１０８は、各放置ブロッブの滞在時間に基づいて所定処理を行い、例えば滞在時間が閾値を超えた場合に、サーバに警告を出す。

この態様では、放置物が離れると、放置物の検出装置１００の上記処理により、放置マスクにおいて該放置物の位置に対応する放置点は全て０となった場合に、上記警告を解除する。

本実施例の放置物の検出装置によれば、背景モデル更新の影響を受けず、占用対象をリアルタイムで検出でき、少ない計算量で高度道路交通全体に統合できる。

＜実施例２＞
本願は放置物の検出方法をさらに提供し、該方法の問題解決の原理は実施例１の放置物の検出装置１００と類似するため、その具体的な実施は実施例１の放置物の検出装置の実施を参照してもよく、同様な部分について説明が省略される。

図３は本発明の実施例の放置物の検出方法のフローチャートであり、図３に示すように、該方法は下記のステップを含む。

ステップ３０１：取得された現在のフレームの各画素とその背景モデルとのマッチングを行い、一致しない画素を前景画素として前景マスクにおいてマーキングし、各前景画素に対応する前景計数器に１を加算し、該背景モデルを更新する。

ステップ３０２：各前景画素について、該前景画素に対応する前景計数器の値が第２閾値よりも大きい場合に、放置マスクにおいて該前景画素に対応する点をマーキングする。

ステップ３０３：放置マスクにおける各点について、その背景モデルと、バッファ背景又は前景マスクとに基づいて、前記放置マスクを処理する。

本実施例では、上述したように、現在フレームのフレーム番号が第１閾値よりも小さい場合に、３フレーム間差分法を用いて該前景画素を処理してもよい。

本実施例では、上述したように、該前景画素に対応する前景計数器の値が１である場合、即ち該画素が背景画素から前景画素に変わった場合に、バッファ背景において該前景画素の背景モデルの平均値を保存する。

ステップ３０３の１つの態様では、背景モデル及びバッファ背景に基づいて該点がゴースト点であるか否かを判断し、判断結果がＹＥＳの場合に、該放置マスクから該点を除去し、判断結果がＮＯの場合に、放置マスクにおいて該点を保留する。ここで、該点の放置計数結果（放置点と判定されたフレームの数）が所定閾値よりも大きく、且つそのバッファ背景と現在の背景モデルとが一致する場合に、該点がゴースト点であると判定する。

ステップ３０３のもう１つの態様では、該点のバッファ背景と該現在のフレームとが一致するか否かを判断し、判断結果がＹＥＳの場合に、該点が既に離れたことを意味し、該放置マスクから該点を除去し、判断結果がＮＯの場合に、該放置マスクにおいて該点を保留する。

ステップ３０３のさらにもう１つの態様では、放置マスク及び前景マスクにおける該点に対応する画素値が共に０ではないか否かを判断し、判断結果がＹＥＳの場合に、該点が衝突点であると見なし、該放置マスクにおいて該点を保留し、判断結果がＮＯの場合に、該放置マスクから該点を除去する。

本実施例では、放置マスクを取得した後に、該放置マスクにおける点の位置特徴及び滞在時間特徴を抽出し、該放置マスクにおける点の位置特徴及び滞在時間特徴に基づいて該放置マスクにおける点をクラスタリングし、複数の放置ブロッブを取得し、現在のフレームの放置ブロッブと前のフレームの放置ブロッブとのマッチングを行い、各放置ブロッブについて対応するＩＤをマーキングし、各放置ブロッブの滞在時間を統計し、各放置ブロッブの滞在時間に基づいて所定処理を行い、例えば滞在時間が所定の閾値よりも大きい場合に、警告を出してもよい。

図４は本実施例の前景検出及び放置マスク抽出のフローチャートであり、図４に示すように、該フローは下記のステップを含む。

ステップ４０１：背景モデルを更新する。

ステップ４０２：取得された現在のフレームの各画素とその背景モデルとのマッチングを行い、一致しない画素を前景画素として前景マスクにおいてマーキングする。

ステップ４０３：現在フレームのフレーム番号が第１閾値よりも小さいか否かを判断し、判断結果がＹＥＳの場合に、ステップ４０４を実行し、そうでない場合に、ステップ４０５を実行する。

ステップ４０４：最初のゴーストを回避するように、３フレーム間差分法を用いて該前景画素を処理する。

ステップ４０５：各前景画素の前景計数器に１を加算する。

ステップ４０６：現在の画素が背景から前景に変わったか否かを判断し、判断結果がＹＥＳの場合に、ステップ４０７を実行し、そうでない場合に、ステップ４０９を実行する。

ここで、現在の画素の前景計数器の値が１の場合に、現在の画素が背景から前景に変わったばかりであることを意味する。

ステップ４０７：バッファ背景において該画素の背景モデルの平均値を保存する。

ステップ４０８：現在の画素の背景モデルを更新する。

ステップ４０９：前景マッチ数が第２閾値よりも大きいか否かを判断し、判断結果がＹＥＳの場合に、ステップ４１０を実行し、そうでない場合に、終了する。

ここで、前景マッチ数は、現在の画素が前景画素であると判定した回数である。

ステップ４１０：放置マスクにおいて現在の画素をマーキングする。

上記のステップ及びその順序は単なる例示的なものであり、この態様では、上述したように、これらのステップは必須のものではなく、具体的な実施効果に応じて、当業者が容易想到できるステップをさらに追加してもよく、本実施例はこれに限定されない。

図４の処理によれば、現在のフレームの画像における放置物の放置マスクを取得した。しかし、該放置マスクにおける点は、全て放置物の点ではなく、例えば一部はゴーストであり、一部は既に離れ、或いは遮蔽される可能性がある。本実施例では、図５のフローにより、該放置マスクにおける各点を処理し、該放置物の真の放置マスクを取得してもよい。

図５は放置マスク処理のフローチャートであり、図５に示すように、該フローは下記のステップを含む。

ステップ５０１：現在の画素点が放置物の離れによるゴースト点であるか否かを判断し、判断結果がＹＥＳの場合に、ステップ５０２を実行し、そうでない場合に、ステップ５０３を実行する。

ここで、放置マスクにおける点の放置計数結果が所定閾値よりも大きく、且つそのバッファ背景と現在の背景モデルとが一致する場合に、該点がゴースト点であると判定する。

ステップ５０２：放置マスクにおける該点を０に設定する。

ステップ５０３：バッファ背景と現在のフレームとが一致するか否かを判断し、判断結果がＹＥＳの場合に、ステップ５０４を実行し、そうでない場合に、ステップ５０５を実行する。

ステップ５０４：放置マスクにおける該点を０に設定する。

ステップ５０５：前景点と干渉するか否かを判断し、判断結果がＹＥＳの場合に、ステップ５０６を実行し、そうでない場合に、ステップ５０７を実行する。

ここで、放置マスク及び前景マスクにおける該点に対応する画素値が共に０ではない場合に、前景と干渉することを意味し、即ち該点が本当に離れることではなく、遮蔽されている。

ステップ５０６：放置マスクにおいて該点を保留する。

ステップ５０７：放置マスクにおける該点を０に設定する。

上記のステップ及びその順序は単なる例示的なものであり、この態様では、上述したように、これらのステップは必須のものではなく、一部のステップの実行順序を交換してもよく、例えばステップ５０１、５０３及び５０５の順序を交換してもよく、具体的な実施効果に応じて、当業者が容易想到できるステップをさらに追加してもよく、本実施例はこれに限定されない。

図５の処理によれば、放置物の真の放置マスクを取得した。

本実施例の放置物の検出方法によれば、背景モデル更新の影響を受けず、占用対象をリアルタイムで検出でき、少ない計算量で高度道路交通全体に統合できる。

＜実施例３＞
本発明の実施例はビデオ監視システムをさらに提供し、該システムはビデオを撮影し、ビデオデータを取得するビデオカメラと、該ビデオカメラからのビデオデータにおける各フレームの画像を処理し、放置物を検出する放置物の検出装置と、を含む。

本実施例では、該放置物の検出装置は実施例１の放置物の検出装置１００により実現されてもよく、実施例１において該放置物の検出装置１００を詳細に説明しているため、ここでその内容を援用し、その説明が省略される。

図６は本実施例のビデオ監視システムのハードウェア構成を示す図である。図６に示すように、ビデオ監視システム６００は、中央処理装置６０１及び記憶装置６０２を含んでもよく、記憶装置６０２は中央処理装置６０１に接続される。なお、該図は単なる例示的なものであり、電気通信機能又は他の機能を実現するように、他の種類の構成を用いて、該構成を補充又は代替してもよい。

１つの態様では、実施例１の放置物の検出装置１００の機能は中央処理装置６０１に統合されてもよい。

もう１つの態様では、実施例１の放置物の検出装置１００は中央処理装置６０１とそれぞれ構成されてもよく、例えば放置物の検出装置１００は中央処理装置６０１に接続されたチップであり、中央処理装置６０１の制御により上記装置の機能を実現してもよい。

図６に示すように、ビデオ監視システム６００は、通信モジュール６０３、入力部６０４、音声処理部６０５、ディスプレイ６０６、電源６０７、及びビデオカメラ６０８をさらに含んでもよい。なお、ビデオ監視システム６００は、図６に示されている全ての構成部を含まなくてもよい。また、ビデオ監視システム６００は、図６に示されていない構成部をさらに含んでもよく、従来技術を参照してもよい。

図６に示すように、中央処理装置６０１は、コントローラ又は操作制御部とも称され、マイクロプロセッサ又は他の処理装置及び／又は論理装置を含んでもよく、中央処理装置６０１は入力を受信し、ビデオ監視システム６００の各部の操作を制御する。

記憶装置６０２は、例えばバッファ、フラッシュメモリ、ハードディスク、移動可能な媒体、発揮性メモリ、不発揮性メモリ、又は他の適切な装置の１つ又は複数であってもよい。予め定義され、或いは予め構成された情報、ビデオカメラにより取得されたビデオデータを記憶してもよく、関連情報を実行するためのプログラムをさらに記憶してもよい。また、中央処理装置６０１は、記憶装置６０２に記憶されたプログラムを実行し、情報の記憶又は処理などを実現してもよい。他の部材は従来技術に類似するため、ここでその説明が省略される。ビデオ監視システム６００の各部は、本発明の範囲から逸脱することなく、特定のハードウェア、ファームウェア、ソフトウェア又はその組み合わせによって実現されてもよい。

本発明の実施例のビデオ監視システム６００によれば、背景モデル更新の影響を受けず、占用対象をリアルタイムで検出でき、少ない計算量で高度道路交通全体に統合できる。

本発明の実施例は、コンピュータにおいてプログラムを実行する際に、コンピュータに、実施例２に記載の方法を実行させる、コンピュータ読み取り可能なプログラムをさらに提供する。

本発明の実施例は、コンピュータに、実施例２に記載の方法を実行させるためのコンピュータ読み取り可能なプログラムを記憶する、記憶媒体をさらに提供する。

本発明の以上の装置及び方法は、ハードウェアにより実現されてもよく、ハードウェアとソフトウェアを結合して実現されてもよい。本発明はコンピュータが読み取り可能なプログラムに関し、該プログラムはロジック部により実行される時に、該ロジック部に上述した装置又は構成要件を実現させる、或いは該ロジック部に上述した各種の方法又はステップを実現させることができる。本発明は上記のプログラムを記憶するための記憶媒体、例えばハードディスク、磁気ディスク、光ディスク、ＤＶＤ、フラッシュメモリ等にさらに関する。

以上、具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び修正を行ってもよく、これらの変形及び修正も本発明の範囲に属する。

また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
放置物の検出装置であって、
取得された現在のフレームの各画素とその背景モデルとのマッチングを行い、一致しない画素を前景画素として前景マスクにおいてマーキングし、各前景画素に対応する前景計数器に１を加算し、前記背景モデルを更新する検出手段と、
各前景画素について、前記前景画素に対応する前景計数器の値が第２閾値よりも大きい場合に、放置マスクにおいて前記前景画素に対応する点をマーキングするマーキング手段と、
放置マスクにおける各点について、その背景モデルと、バッファ背景又は前景マスクとに基づいて、前記放置マスクを処理するマスク処理手段と、を含む、装置。
（付記２）
現在フレームのフレーム番号が第１閾値よりも小さい場合に、３フレーム間差分法を用いて前記前景画素を処理する画像処理手段、をさらに含む、付記１に記載の装置。
（付記３）
前記検出手段は、前記前景画素に対応する前景計数器の値が１である場合に、バッファ背景において前記前景画素の背景モデルの平均値を保存する、付記１に記載の装置。
（付記４）
前記マスク処理手段は、
背景モデル及びバッファ背景に基づいて前記点がゴースト点であるか否かを判断する第１判断モジュールと、
前記第１判断モジュールの判断結果がＹＥＳの場合に、前記放置マスクから前記点を除去し、前記第１判断モジュールの判断結果がＮＯの場合に、前記放置マスクにおいて前記点を保留する第１処理モジュールと、を含む、付記１に記載の装置。
（付記５）
前記点の放置計数結果が所定閾値よりも大きく、且つそのバッファ背景と現在の背景モデルとが一致する場合に、前記第１判断モジュールは、前記点がゴースト点であると判定する、付記４に記載の装置。
（付記６）
前記マスク処理手段は、
前記点のバッファ背景と前記現在のフレームとが一致するか否かを判断する第２判断モジュールと、
前記第２判断モジュールの判断結果がＹＥＳの場合に、前記放置マスクから前記点を除去し、前記第２判断モジュールの判断結果がＮＯの場合に、前記放置マスクにおいて前記点を保留する第２処理モジュールと、を含む、付記１に記載の装置。
（付記７）
前記マスク処理手段は、
放置マスク及び前景マスクにおける前記点に対応する画素値が共に０ではないか否かを判断する第３判断モジュールと、
前記第３判断モジュールの判断結果がＹＥＳの場合に、前記放置マスクにおいて前記点を保留し、前記第３判断モジュールの判断結果がＮＯの場合に、前記放置マスクから前記点を除去する第３処理モジュールと、を含む、付記１に記載の装置。
（付記８）
前記放置マスクにおける点の位置特徴及び滞在時間特徴を抽出する抽出手段と、
前記放置マスクにおける点の位置特徴及び滞在時間特徴に基づいて前記放置マスクにおける点をクラスタリングし、複数の放置ブロッブを取得するクラスタリング手段と、
現在のフレームの放置ブロッブと前のフレームの放置ブロッブとのマッチングを行い、各放置ブロッブについて対応するＩＤをマーキングし、各放置ブロッブの滞在時間を統計するマッチング手段と、
各放置ブロッブの滞在時間に基づいて所定処理を行う処理手段と、をさらに含む、付記１に記載の装置。
（付記９）
ビデオ監視システムであって、
ビデオを撮影し、ビデオデータを取得するビデオカメラと、
前記ビデオカメラからのビデオデータにおける各フレームの画像を処理し、放置物を検出する放置物の検出装置と、を含み、
前記放置物の検出装置は、
取得された現在のフレームの各画素とその背景モデルとのマッチングを行い、一致しない画素を前景画素として前景マスクにおいてマーキングし、各前景画素に対応する前景計数器に１を加算し、前記背景モデルを更新する検出手段と、
各前景画素について、前記前景画素に対応する前景計数器の値が第２閾値よりも大きい場合に、放置マスクにおいて前記前景画素に対応する点をマーキングするマーキング手段と、
放置マスクにおける各点について、その背景モデルと、バッファ背景又は前景マスクとに基づいて、前記放置マスクを処理するマスク処理手段と、を含む、システム。
（付記１０）
放置物の検出方法であって、
取得された現在のフレームの各画素とその背景モデルとのマッチングを行い、一致しない画素を前景画素として前景マスクにおいてマーキングし、各前景画素に対応する前景計数器に１を加算し、前記背景モデルを更新するステップと、
各前景画素について、前記前景画素に対応する前景計数器の値が第２閾値よりも大きい場合に、放置マスクにおいて前記前景画素に対応する点をマーキングするステップと、
放置マスクにおける各点について、その背景モデルと、バッファ背景又は前景マスクとに基づいて、前記放置マスクを処理するステップと、を含む、方法。
（付記１１）
現在フレームのフレーム番号が第１閾値よりも小さい場合に、３フレーム間差分法を用いて前記前景画素を処理するステップ、をさらに含む、付記１０に記載の方法。
（付記１２）
前記前景画素に対応する前景計数器の値が１である場合に、バッファ背景において前記前景画素の背景モデルの平均値を保存するステップ、をさらに含む、付記１０に記載の方法。
（付記１３）
前記放置マスクにおける各点について、その背景モデルと、バッファ背景又は前景マスクとの関係に基づいて、前記放置マスクを処理するステップは、
背景モデル及びバッファ背景に基づいて前記点がゴースト点であるか否かを判断するステップと、
判断結果がＹＥＳの場合に、前記放置マスクから前記点を除去し、判断結果がＮＯの場合に、前記放置マスクにおいて前記点を保留するステップと、を含む、付記１０に記載の方法。
（付記１４）
前記点の放置計数結果が所定閾値よりも大きく、且つそのバッファ背景と現在の背景モデルとが一致する場合に、前記点がゴースト点であると判定する、付記１３に記載の方法。
（付記１５）
前記放置マスクにおける各点について、その背景モデルと、バッファ背景又は前景マスクとの関係に基づいて、前記放置マスクを処理するステップは、
前記点のバッファ背景と前記現在のフレームとが一致するか否かを判断するステップと、
判断結果がＹＥＳの場合に、前記放置マスクから前記点を除去し、判断結果がＮＯの場合に、前記放置マスクにおいて前記点を保留するステップと、を含む、付記１０に記載の方法。
（付記１６）
前記放置マスクにおける各点について、その背景モデルと、バッファ背景又は前景マスクとの関係に基づいて、前記放置マスクを処理するステップは、
放置マスク及び前景マスクにおける前記点に対応する画素値が共に０ではないか否かを判断するステップと、
判断結果がＹＥＳの場合に、前記放置マスクにおいて前記点を保留し、判断結果がＮＯの場合に、前記放置マスクから前記点を除去するステップと、を含む、付記１０に記載の方法。
（付記１７）
前記放置マスクにおける点の位置特徴及び滞在時間特徴を抽出するステップと、
前記放置マスクにおける点の位置特徴及び滞在時間特徴に基づいて前記放置マスクにおける点をクラスタリングし、複数の放置ブロッブを取得するステップと、
現在のフレームの放置ブロッブと前のフレームの放置ブロッブとのマッチングを行い、各放置ブロッブについて対応するＩＤをマーキングし、各放置ブロッブの滞在時間を統計するステップと、
各放置ブロッブの滞在時間に基づいて所定処理を行うステップと、をさらに含む、付記１０に記載の方法。

Claims (13)

1. 放置物の検出装置であって、
   取得された現在のフレームの各画素とその背景モデルとのマッチングを行い、一致しない画素を前景画素として前景マスクにおいてマーキングし、各前景画素に対応する前景計数器に１を加算し、前記背景モデルを更新する検出手段と、
   各前景画素について、前記前景画素に対応する前景計数器の値が第２閾値よりも大きい場合に、放置マスクにおいて前記前景画素に対応する点をマーキングするマーキング手段と、
   放置マスクにおける各点について、その背景モデルと、バッファ背景又は前景マスクとに基づいて、前記点を保留又は除去することで前記放置マスクを処理するマスク処理手段と、を含み、
   前記検出手段は、前記前景画素に対応する前景計数器の値が１である場合に、バッファ背景において前記前景画素の背景モデルの平均値を保存する、装置。
2. 現在フレームのフレーム番号が第１閾値よりも小さい場合に、３フレーム間差分法を用いて前記前景画素を処理する画像処理手段、をさらに含む、請求項１に記載の装置。
3. 前記マスク処理手段は、
   背景モデル及びバッファ背景に基づいて前記点がゴースト点であるか否かを判断する第１判断モジュールと、
   前記第１判断モジュールの判断結果がＹＥＳの場合に、前記放置マスクから前記点を除去し、前記第１判断モジュールの判断結果がＮＯの場合に、前記放置マスクにおいて前記点を保留する第１処理モジュールと、を含み、
   前記点の放置計数結果が所定閾値よりも大きく、且つそのバッファ背景と現在の背景モデルとが一致する場合に、前記第１判断モジュールは、前記点がゴースト点であると判定する、請求項１に記載の装置。
4. 前記マスク処理手段は、
   前記点のバッファ背景と前記現在のフレームとが一致するか否かを判断する第２判断モジュールと、
   前記第２判断モジュールの判断結果がＹＥＳの場合に、前記放置マスクから前記点を除去し、前記第２判断モジュールの判断結果がＮＯの場合に、前記放置マスクにおいて前記点を保留する第２処理モジュールと、を含む、請求項１に記載の装置。
5. 前記マスク処理手段は、
   放置マスク及び前景マスクにおける前記点に対応する画素値が共に０ではないか否かを判断する第３判断モジュールと、
   前記第３判断モジュールの判断結果がＹＥＳの場合に、前記放置マスクにおいて前記点を保留し、前記第３判断モジュールの判断結果がＮＯの場合に、前記放置マスクから前記点を除去する第３処理モジュールと、を含む、請求項１に記載の装置。
6. 前記放置マスクにおける点の位置特徴及び滞在時間特徴を抽出する抽出手段と、
   前記放置マスクにおける点の位置特徴及び滞在時間特徴に基づいて前記放置マスクにおける点をクラスタリングし、複数の放置ブロッブを取得するクラスタリング手段と、
   現在のフレームの放置ブロッブと前のフレームの放置ブロッブとのマッチングを行い、各放置ブロッブについて対応するＩＤをマーキングし、各放置ブロッブの滞在時間を統計するマッチング手段と、
   各放置ブロッブの滞在時間に基づいて所定処理を行う処理手段と、をさらに含む、請求項１に記載の装置。
7. 放置物の検出方法であって、
   取得された現在のフレームの各画素とその背景モデルとのマッチングを行い、一致しない画素を前景画素として前景マスクにおいてマーキングし、各前景画素に対応する前景計数器に１を加算し、前記背景モデルを更新するステップと、
   各前景画素について、前記前景画素に対応する前景計数器の値が第２閾値よりも大きい場合に、放置マスクにおいて前記前景画素に対応する点をマーキングするステップと、
   放置マスクにおける各点について、その背景モデルと、バッファ背景又は前景マスクとに基づいて、前記点を保留又は除去することで前記放置マスクを処理するステップと、を含み、
   該方法は、前記前景画素に対応する前景計数器の値が１である場合に、バッファ背景において前記前景画素の背景モデルの平均値を保存するステップ、をさらに含む、方法。
8. 現在フレームのフレーム番号が第１閾値よりも小さい場合に、３フレーム間差分法を用いて前記前景画素を処理するステップ、をさらに含む、請求項７に記載の方法。
9. 前記放置マスクにおける各点について、その背景モデルと、バッファ背景又は前景マスクとの関係に基づいて、前記放置マスクを処理するステップは、
   背景モデル及びバッファ背景に基づいて前記点がゴースト点であるか否かを判断するステップと、
   判断結果がＹＥＳの場合に、前記放置マスクから前記点を除去し、判断結果がＮＯの場合に、前記放置マスクにおいて前記点を保留するステップと、を含み、
   前記点の放置計数結果が所定閾値よりも大きく、且つそのバッファ背景と現在の背景モデルとが一致する場合に、前記点がゴースト点であると判定する、請求項７に記載の方法。
10. 前記放置マスクにおける各点について、その背景モデルと、バッファ背景又は前景マスクとの関係に基づいて、前記放置マスクを処理するステップは、
    前記点のバッファ背景と前記現在のフレームとが一致するか否かを判断するステップと、
    判断結果がＹＥＳの場合に、前記放置マスクから前記点を除去し、判断結果がＮＯの場合に、前記放置マスクにおいて前記点を保留するステップと、を含む、請求項７に記載の方法。
11. 前記放置マスクにおける各点について、その背景モデルと、バッファ背景又は前景マスクとの関係に基づいて、前記放置マスクを処理するステップは、
    放置マスク及び前景マスクにおける前記点に対応する画素値が共に０ではないか否かを判断するステップと、
    判断結果がＹＥＳの場合に、前記放置マスクにおいて前記点を保留し、判断結果がＮＯの場合に、前記放置マスクから前記点を除去するステップと、を含む、請求項７に記載の方法。
12. 前記放置マスクにおける点の位置特徴及び滞在時間特徴を抽出するステップと、
    前記放置マスクにおける点の位置特徴及び滞在時間特徴に基づいて前記放置マスクにおける点をクラスタリングし、複数の放置ブロッブを取得するステップと、
    現在のフレームの放置ブロッブと前のフレームの放置ブロッブとのマッチングを行い、各放置ブロッブについて対応するＩＤをマーキングし、各放置ブロッブの滞在時間を統計するステップと、
    各放置ブロッブの滞在時間に基づいて所定処理を行うステップと、をさらに含む、請求項７に記載の方法。
13. ビデオ監視システムであって、
    ビデオを撮影し、ビデオデータを取得するビデオカメラと、
    前記ビデオカメラからのビデオデータにおける各フレームの画像を処理し、放置物を検出する放置物の検出装置と、を含み、
    前記放置物の検出装置は、
    取得された現在のフレームの各画素とその背景モデルとのマッチングを行い、一致しない画素を前景画素として前景マスクにおいてマーキングし、各前景画素に対応する前景計数器に１を加算し、前記背景モデルを更新する検出手段と、
    各前景画素について、前記前景画素に対応する前景計数器の値が第２閾値よりも大きい場合に、放置マスクにおいて前記前景画素に対応する点をマーキングするマーキング手段と、
    放置マスクにおける各点について、その背景モデルと、バッファ背景又は前景マスクとに基づいて、前記点を保留又は除去することで前記放置マスクを処理するマスク処理手段と、を含み、
    前記検出手段は、前記前景画素に対応する前景計数器の値が１である場合に、バッファ背景において前記前景画素の背景モデルの平均値を保存する、システム。

Images