JP4005409B2 - 背景像推定方法及び背景像推定装置 - Google Patents
背景像推定方法及び背景像推定装置 Download PDFInfo
- Publication number
- JP4005409B2 JP4005409B2 JP2002132593A JP2002132593A JP4005409B2 JP 4005409 B2 JP4005409 B2 JP 4005409B2 JP 2002132593 A JP2002132593 A JP 2002132593A JP 2002132593 A JP2002132593 A JP 2002132593A JP 4005409 B2 JP4005409 B2 JP 4005409B2
- Authority
- JP
- Japan
- Prior art keywords
- background image
- region
- small
- determination
- pixel density
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、背景像推定方法及び背景像推定装置に係り、より詳しくは、物体を監視する監視領域内の背景像を推定する背景像推定方法及び背景像推定装置に関する。
【０００２】
【従来の技術】
従来から、路上における車両の渋滞状況や移動車両の数等を把握するために、様々な提案がなされている。こうした提案の一つとして、ビデオカメラによる路上の撮像結果から、個々の車両を認識し、個々の車両の移動及び停止状況を検出することにより、路上における車両の渋滞状況や移動車両の数等を把握しようとする技術がある。
【０００３】
この技術においては、車両がない路面の像である背景像を予め求める。かかる背景像を求めるためには、多数回の撮像を行い、路上であると推測される画像領域の画素濃度値の時間統計において、最も頻繁に登場する画素濃度値を背景濃度値であると推定していた。
【０００４】
こうして予め求めておいた背景像と監視時におけるビデオカメラによる路上の撮像結果との差分から、車両の移動及び停止状況を検出することにより、路上における車両の渋滞状況や移動車両の数等を把握していた。
【０００５】
【発明が解決しようとする課題】
上述した従来の背景像を求める技術では、精度良く背景像を推定するためには、多数回の撮像を行うことが必要となるので、背景像を求めるまでに多くの時間を要していた。また、非常に多数の画素濃度値を取り扱うことが必要となるので、背景像を求めるために大規模な資源が必要となっていた。
【０００６】
また、従来の背景像を求める技術では、背景が静的に決まる環境であれば、実用的な背景像を求めることができるが、背景の状態の変化が大きい戸外では、有効な背景像を決められないので、実用的ではない。すなわち、背景像を求めるために多くの時間を要する従来の背景像を求める技術では、各車両の移動を精度良く特定するために必要な撮像フレームごとの適切な背景像の推定をすることはできなかった。
【０００７】
また、従来の背景像を求める技術では、路上に長時間停車している車両があった場合には、その車両像が背景像と誤認される可能性があった。
【０００８】
本発明は、かかる事情のもとでなされたものであり、迅速かつ精度良く、物体を監視する監視領域内の背景像を推定することができる背景像推定方法及び背景像推定装置を提供することを目的とする。
【０００９】
本発明の背景像推定方法は、物体を監視する監視領域を含む領域の定期的な撮像によって得られる画像における前記監視領域内の背景像を推定する背景像推定方法であって、前記撮像を行うたびに、前記撮像によって得られた画像から前記監視領域を抽出する監視領域抽出工程と；前記監視領域抽出工程において抽出された監視領域を複数の小領域に分割し、前記複数の小領域ごとに、新たな内部画素濃度分布が前記監視領域の背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを判定する判定工程と；前記判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において既に肯定的な判定がされたことがある小領域ごとに、少なくともその新たな内部画素濃度分布に基づいて新たな現在背景像を推定するとともに、前記判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において未だ肯定的な判定がされたことがない小領域ごとに、その新たな内部画素濃度分布のみに基づいて新たな現在背景像を推定する肯定領域背景像推定工程と；前記判定工程において否定的な判定がされた小領域のうち、前回までの判定工程において既に肯定的な判定がされたことがある小領域ごとに、今回の撮像前において推定されていた現在背景像を新たな現在背景像として推定する第１否定領域背景像推定工程と；前記判定工程において否定的な判定がされた小領域のうち、前回までの判定工程において未だ肯定的な判定がされたことがない小領域ごとに、前記肯定領域背景像推定工程及び前記第１否定領域背景像推定工程のいずれかにおいて新たな現在背景像が推定された小領域のうちで最も距離が近い小領域の新たな現在推定背景像と同一のものであると推定する第２否定領域背景像推定工程と；を実行する背景像推定方法である。
【００１０】
この背景像推定方法では、物体を監視する監視領域を含む領域を定期的に撮像するごとに、すなわち撮像フレームごとに、監視領域抽出工程において、撮像によって得られた画像から監視領域が抽出される。かかる監視領域の抽出は、予め知られている監視領域周辺の画像特徴（例えば、特有の画像パターンの存在）を認識することにより行われる。
【００１１】
引き続き、判定工程において、抽出された監視領域を複数の小領域に分割した後、複数の小領域ごとに、新たな内部画素濃度分布が監視領域の背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かが判定される。ここで、基準画素濃度分布は、理論又は経験則に基づいて予め求められる。
【００１２】
次に、肯定領域背景像推定工程において、判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において既に肯定的な判定がされたことがある小領域ごとに、少なくともその新たな内部画素濃度分布に基づいて新たな現在背景像が推定される。また、肯定領域背景像推定工程において、判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において未だ肯定的な判定がされたことがない小領域ごとに、その新たな内部画素濃度分布のみに基づいて新たな現在背景像が推定される。
【００１３】
また、第１否定領域背景像推定工程において、判定工程において否定的な判定がされた小領域のうち、前回までの判定工程において既に肯定的な判定がされたことがある小領域ごとに、現在背景像が新たな現在背景像として推定される。
【００１４】
そして、第２否定領域背景像推定工程において、判定工程において否定的な判定がされた小領域のうち、前回までの判定工程において未だ肯定的な判定がされたことがない小領域ごとに、上述した肯定領域背景像推定工程及び第１否定領域背景像推定工程のいずれかにおいて新たな現在背景像が推定された小領域のうちで最も距離が近い小領域のあらたな現在推定背景像と同一のものが背景像として推定される。
【００１５】
こうして各撮像フレームごとに、各小領域の背景像として確実度が高い推定を行うことができる順に各小領域の背景像を推定するとともに、撮像フレームが更新されるたびに、各小領域の背景像として新たなより確実度が高い背景像が求められたときには、そのより確実度が高い背景像が各小領域の新たな背景像として推定される。この結果、確実度が高い背景像の推定がされた小領域が、撮像をするたびに増えていくととともに、確実度が高い背景像の推定がされたとはいえない小領域については、確実度が高い背景像の推定がされた小領域の背景像に基づいて合理的な推定がされる。また、環境条件の変化に伴う背景像の変化にも確実に追従して、監視領域の背景像が推定される。
【００１６】
したがって、本発明の背景像推定方法によれば、監視対象となる物体の移動の有無にかかわらず、迅速かつ精度良く、物体を監視する監視領域内の背景像を推定することができる。
【００１７】
本発明の背景像推定方法では、前記複数の小領域のそれぞれを、少なくとも１方向において、前記物体よりも大きな領域とすることが好ましい。
【００１８】
また、本発明の背景像推定方法では、前記複数の小領域のそれぞれを線状領域とすることができる。ここで、「線状領域」とは幅が１〜数画素という非常に狭い幅の領域をいう。
【００１９】
また、本発明の背景像推定方法では、前記複数の小領域のそれぞれを矩形状領域とすることができる。
【００２０】
また、本発明の背景像推定方法では、前記判定工程が、前記複数の領域のそれぞれについて、内部画素濃度値の分散及び変化幅を算出する特徴算出工程と；前記分散値が許容分散値以下であるともに、前記変化幅が許容変化幅以下であるときに、前記期待される基準画素濃度分布から許容誤差範囲にあると判定する判定演算工程と；を含むこととすることができる。
【００２１】
ここで、前記肯定領域背景像推定工程における、前記判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において未だ肯定的な判定がされたことがない小領域の新たな現在背景像の推定を、その小領域内の画素濃度値の代表値が一様に配列されてできる画像を前記新たな現在背景像として推定することとすることができる。
【００２２】
また、本発明の背景像推定方法では、前記肯定領域背景像推定工程における、前記判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において既に肯定的な判定がされたことがある小領域の新たな背景像の推定を、前記新たな内部画素濃度分布及び今回の撮像前において推定されていた現在背景像に基づいて行うこととすることができる。
【００２３】
また、本発明の背景像推定方法では、前記物体を車両とすることができる。
【００２４】
また、本発明の背景像推定方法では、前記物体を動物とすることができる。ここで、「動物」には人間が含まれるものとする。
【００２５】
本発明の背景像推定装置は、物体を監視する監視領域内の背景像を推定する背景像推定装置であって、前記監視領域を含む領域を定期的に撮像する撮像手段と；前記撮像装置による撮像によって得られた画像から前記監視領域を抽出する監視領域抽出手段と；前記監視領域抽出手段によって抽出された監視領域を複数の小領域に分割し、前記複数の小領域ごとに、新たな内部画素濃度分布が前記監視領域の背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを判定する判定手段と；前記判定手段により肯定的な判定がされた小領域のうち、前回までに前記判定手段によって既に肯定的な判定がされたことがある小領域ごとに、少なくともその新たな内部画素濃度分布に基づいて新たな現在背景像を推定するとともに、前記判定手段によって肯定的な判定がされた小領域のうち、前回までに前記判定手段によって未だ肯定的な判定がされたことがない小領域ごとに、その新たな内部画素濃度分布のみに基づいて新たな現在背景像を推定する肯定領域背景像推定手段と；前記判定手段により否定的な判定がされた小領域のうち、前回までに前記判定手段によって既に肯定的な判定がされたことがある小領域ごとに、今回の撮像前において推定されていた現在背景像を新たな現在背景像として推定する第１否定領域背景像推定手段と；前記判定手段によって否定的な判定がされた小領域のうち、前回までに判定手段によって未だ肯定的な判定がされたことがない小領域ごとに、前記肯定領域背景像推定手段及び前記第１否定領域背景像推定手段のいずれかによって新たな現在背景像が推定された小領域のうちで最も距離が近い小領域のあらたな現在推定背景像と同一のものであると推定する第２否定領域背景像推定手段と；を備える背景像推定装置である。
【００２６】
この背景像推定装置では、撮像手段が物体を監視する監視領域を含む領域を定期的に撮像するごとに、すなわち撮像フレームごとに、監視領域抽出手段が、撮像によって得られた画像から監視領域を抽出する。引き続き、判定手段が、抽出された監視領域を複数の小領域に分割した後、複数の小領域ごとに、新たな内部画素濃度分布が監視領域の背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを判定する。
【００２７】
次に、肯定領域背景像推定手段が、判定手段により肯定的な判定がされた小領域のうち、前回までに判定手段によって既に肯定的な判定がされたことがある小領域ごとに、少なくともその新たな内部画素濃度分布に基づいて新たな現在背景像を推定する。また、肯定領域背景像推定手段は、判定手段により肯定的な判定がされた小領域のうち、前回までに判定手段により未だ肯定的な判定がされたことがない小領域ごとに、その新たな内部画素濃度分布のみに基づいて新たな現在背景像を推定する。また、第１否定領域背景像推定手段が、判定手段により否定的な判定がされた小領域のうち、前回までに判定手段によって既に肯定的な判定がされたことがある小領域ごとに、今回の撮像前において推定されていた現在背景像を新たな現在背景像として推定する。
【００２８】
引き続き、第２否定領域背景像推定手段が、判定手段により否定的な判定がされた小領域のうち、前回までに判定手段によって未だ肯定的な判定がされたことがない小領域ごとに、上述した肯定領域背景像推定手段及び第１否定領域背景像推定手段のいずれかにより新たな現在背景像が推定された小領域のうちで最も距離が近い小領域の新たな現在推定背景像と同一のものを背景像として推定する。
【００２９】
すなわち、本発明の背景象推定装置は、上述した本発明の背景像推定方法を使用して監視領域内の背景像を推定することができる。したがって、本発明の背景像推定装置によれば、監視対象となる物体の移動の有無にかかわらず、迅速かつ精度良く、物体を監視する監視領域内の背景像を推定することができる。
【００３０】
【発明の実施の形態】
以下、本発明の一実施形態を、図１〜図５を参照して説明する。図１には、一実施形態に係る背景像推定装置を含む待ち行列検出装置１００の構成が、ブロック図にて示されている。この待ち行列検出装置１００は、車道の特定の車線における車両の待ち行列の発生状況、すなわち、車両の渋滞の発生状況を検出する装置である。
【００３１】
図１に示されるように、この待ち行列検出装置１００は、路上を撮像する撮像手段としてのビデオカメラ１０と、ビデオカメラ１０による撮像結果を処理して、車両の待ち行列の発生状況を検出する処理装置２０と、待ち行列の発生状況を表示する表示装置としての画面表示装置４３及び音声表示装置４５とを備えている。また、待ち行列検出装置１００は、オペレータによる処理装置２０への指示入力用に、キーボードやマウス等の入力装置４１を更に備えている。なお、画面表示装置４３は、入力装置４１からの入力情報を確認のために表示や、待ち行列検出装置１００の動作状況を表示するためにも使用される。
【００３２】
前記ビデオカメラ１０は、図２（Ａ）に概念的に示されるように、車道Ｒの上方に設置され、斜め上方から車道Ｒの監視対象の車線ＲＬ（図２（Ｂ）参照）における車両ＯＢＪ１，ＯＢＪ２，ＯＢＪ３の進行方向を見込む視野で、車道Ｒ上を観察するようになっている。この結果、ビデオカメラ１０の視野内には、図２（Ｂ）に示されるような斜視像で、車道Ｒ上の車両ＯＢＪ１，ＯＢＪ２，ＯＢＪ３及びそれらの周辺の様子が捉えられるようになっている。また、渋滞時においても少なくとも手前側では、車間における車道面が観察できるような角度で車道Ｒを見込むように、ビデオカメラ１０の視野が設定されるようになっているものとする。
【００３３】
なお、以下の説明においては、車道Ｒの車線ＲＬにおける車両ＯＢＪ１，ＯＢＪ２，ＯＢＪ３の進行方向をＹ方向とし、また、車道Ｒの幅方向をＸ方向と記すものとする。ここで、画像上（すなわち、図２（Ｂ）におけるモニタ座標系（ＸM，ＹM）においては、車線ＲＬにおける車両ＯＢＪ１，ＯＢＪ２，ＯＢＪ３の進行方向がＸ方向位置によって異なることになるが、車線ＲＬにおける車両ＯＢＪ１，ＯＢＪ２，ＯＢＪ３の進行方向を総括的にＹ方向と記すものとする。
【００３４】
また、車道Ｒは、片側一車線であり、車線の分離が白線ＷＬ１〜ＷＬ５によって表示されているものとする。また、車道Ｒと歩道とは段差があり、その段差の壁面により車道Ｒと歩道との識別が可能であるものとする。
【００３５】
図１に戻り、前記処理装置２０は、（ａ）待ち行列検出装置１００全体を統括制御する制御装置２９と、（ｂ）ビデオカメラ１０による撮像結果データを収集する撮像データ収集装置２１と、（ｃ）収集された撮像データに基づいて、背景を推定する背景像推定演算装置２２と、（ｄ）待ち行列の発生状況を検出する待ち行列算出装置２３とを備えている。なお、ビデオカメラ１０、撮像データ収集装置２１及び背景像推定演算装置２２から背景像推定装置が構成されている。なお、図１においては、データの流れが実線矢印で示され、制御の流れが点線矢印で示されている。
【００３６】
前記背景像推定演算装置２２は、図３に示されるように、（ｉ）撮像された画像から監視領域ＪＧＡ（図２（Ｂ）参照）を抽出する監視領域抽出装置５１と、（ii）監視領域抽出装置５１によって抽出された監視領域ＪＧＡを複数の小領域に分割し、前記複数の小領域ごとに、新たな撮像によって得られた内部画素濃度分布が監視領域ＪＧＡの背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを判定する判定装置５２と、（iii）判定装置５２により肯定的な判定がされた小領域ごとに新たな現在背景像を推定する肯定領域背景像推定装置５３と、（iv）判定装置５２により否定的な判定がされた小領域のうち、今回の撮像までに判定装置５２により既に肯定的な判定がされたことがある小領域ごとに新たな背景像を推定する第１否定領域背景像推定装置５４と、（ｖ）判定装置５２により否定的な判定がされた小領域のうち、今回の撮像までに判定装置５２により既に肯定的な判定がされたことがある小領域ごとに新たな背景像を推定する第２否定領域背景像推定装置５５と、（vi）記憶装置３０とを備えている。
【００３７】
ここで、記憶装置３０は、撮像データ格納領域３１、監視領域データ格納領域３２、判定結果データ格納領域３３、及び推定背景像データ格納領域３４を有している。
【００３８】
なお、図３においては、データの流れが実線矢印で示されている。
【００３９】
本実施形態では、背景像演算装置２２を上記のように、各種の装置を組み合わせて構成したが、処理装置２０を計算機システムとして構成し、背景像演算装置２２を構成する各装置の機能を処理装置２０に内蔵されたプログラムによって実現することも可能である。このように処理装置２０を計算機システムとして構成した場合には、待ち行列算出装置２３の機能も処理装置２０に内蔵されたプログラムによって実現することが可能である。
【００４０】
以下、本実施形態の待ち行列検出装置１００による待ち行列検出動作を、主に背景像推定の動作に着目しつつ、図４及び図５のフローチャートに沿って説明する。
【００４１】
まず、図４のステップ１１１において、撮像データ収集装置２１が、ビデオカメラ１０から送られてきた撮像データを一画面分だけ収集する。そして、撮像データ収集装置２１は、収集した撮像データを撮像データ格納領域３１に格納する。
【００４２】
次に、ステップ１１２において、監視領域抽出装置２２が、撮像データ格納領域３１から撮像データを読み出して、監視領域ＪＧＡ（図２（Ｂ）参照）を抽出する。かかる監視領域ＪＧＡの抽出にあたって、監視領域抽出装置２２は、まず、読み出した撮像データから、上述した白線ＷＬ１〜ＷＬ５及び車道Ｒと歩道との境界壁面を認識し、監視領域である車線ＲＬの領域を特定する。そして、特定された車線ＲＬの領域中から、車線ＲＬの中央部付近の監視領域ＪＧＡを抽出する。なお、監視領域としては、Ｙ位置（車両の進行方向位置）としては車両が存在する場合であっても、そのＹ位置におけるＸ方向（車線ＲＬの幅方向）には、車両が存在せず、路面が現れている部分がある程度（例えば、監視領域のＸ方向幅の１／３以下）は存在するような領域を選択する。
【００４３】
こうして、本来は動かない白線や境界壁面を基準として監視領域ＪＧＡを抽出することにより、ビデオカメラの揺れ等による撮像画像中における監視領域ＪＧＡの抽出の不安定さが解消される。監視領域抽出装置２２は、抽出された監視領域ＪＧＡの今回の撮像画像における位置情報とともに、抽出された監視領域ＪＧＡ内の画像データを今回の監視領域データとして監視領域データ格納領域３２に格納する。
【００４４】
次いで、ステップ１１３において、判定装置５２が、監視領域データ格納領域３２から今回の監視領域位置情報及び監視領域データを読み出して、監視領域ＪＧＡを複数の小領域に分割する。本実施形態では、判定装置５２は、監視領域ＪＧＡを、Ｘ方向幅として監視領域ＪＧＡのＸ方向幅を有し、Ｙ方向幅として１画素幅を有する複数の線状の小領域に分割している。
【００４５】
引き続き、判定装置５２は、分割した各小領域ごとに、今回の撮像画像における内部画素濃度値分布が、監視領域ＪＧＡの背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを判定する。本実施形態では、かかる判定のために、判定装置５２は、まず、分割した各小領域ごとに、今回の撮像画像における内部画素濃度値のメジアン値、濃度変化幅、及び分散値を算出する。引き続き、判定装置５２は、路面の画像は各小領域においてほぼ一様な画素濃度値であり、その画素濃度値は車両部分の画素濃度値とは異なることが期待できることを鑑みて、算出された濃度変化幅が許容変化幅以下であり、かつ、算出された分散値が許容分散値以下であるか否かを判定する。
【００４６】
判定装置５２は、こうした各小領域についての判定結果、すなわち、各小領域が肯定的な判定がされた領域（以下、「肯定領域」という）であるか、否定的な判定がなされた領域（以下、「否定領域」という）であるかの情報を、各小領域の監視領域ＪＧＡ内の位置情報及び各小領域の内部画素濃度値のメジアン値とともに判定結果データ格納領域３３に格納する。
【００４７】
次に、サブルーチン１１４において、上述した小領域ごとに背景像が推定される。このサブルーチン１１４では、図５に示されるように、ステップ１２１において、肯定領域背景像推定装置５３が、肯定領域における背景像を推定する。
【００４８】
かかる肯定領域における背景像の推定に際し、肯定領域背景像推定装置５３は、まず、判定結果データ格納領域３３から肯定領域それぞれの監視領域ＪＧＡ内の位置情報及び内部画素濃度値のメジアン値を読み出した後、肯定領域の位置に対応する小領域についての現在背景像を推定背景像データ格納領域３４から読み出す。なお、推定背景像データ格納領域３４には、待ち行列検出の動作を開始する前において、撮像結果の画素濃度値として発生しえない値の画素濃度値が現在推定像における画素濃度値の初期値として書き込まれているものとする。
【００４９】
引き続き、肯定領域背景像推定装置５３は、肯定領域それぞれについて、推定背景像データ格納領域３４から読み出された現在背景像の画素濃度値の初期値ではないか否かを判定することにより、以前に判定装置５２により肯定的な判定がなされたことがある小領域（以下、「第１種肯定領域」という）か、以前に判定装置５２により肯定的な判定がなされたことがない小領域（以下、「第２種肯定領域」という）か、を判断する。そして、肯定領域背景像推定装置５３は、第１種肯定領域については、現在背景像の画素濃度値と、今回の撮像画像における当該第１種肯定領域の画素濃度値のメジアン値との平均値を、当該第１種肯定領域における新たな現在背景像の画素濃度値として算出する。また、肯定領域背景像推定装置５３は、第２種肯定領域については、今回の撮像画像における当該第２種肯定領域の画素濃度値のメジアン値を、当該第２種肯定領域における新たな現在背景像の画素濃度値として算出する。なお、第１回の撮像においては、肯定領域の全ては、第２種肯定領域であると判断される。
【００５０】
次いで、肯定領域背景像推定装置５３は、肯定領域のそれぞれの背景像が、上述のようにして求められた新たな背景像の画素濃度値の一様な画像であると推定する。そして、肯定領域背景像推定装置５３は、肯定領域の新たな背景像の画素濃度値を、推定背景像データ格納領域３４に格納する。
【００５１】
次に、ステップ１２２において、第１否定領域背景像推定装置５４が、否定領域のうち、以前に判定装置５２により肯定的な判定がなされたことがある小領域（以下、「第１種否定領域」という）における背景像を推定する。
【００５２】
かかる第１種否定領域における背景像の推定に際し、第１否定領域背景像推定装置５４は、まず、判定結果データ格納領域３３から否定領域それぞれの監視領域ＪＧＡ内の位置情報を読み出す。引き続き、第１否定領域背景像推定装置５４は、否定領域それぞれについて、その否定領域における現在背景像の画素濃度値の初期値ではないものを抽出することにより、第１種否定領域を抽出する。そして、第１否定領域背景像推定装置５４は、抽出された第１種否定領域について、現在背景像の画素濃度値を、当該第１種否定領域における新たな現在背景像の画素濃度値として推定する。
【００５３】
次いで、第１否定領域背景像推定装置５４は、第１種否定領域のそれぞれの背景像は、上述のようにして求められた新たな現在背景像の画素濃度値の一様な画像であると推定する。なお、第１種否定領域における新たな現在背景像の画素濃度値は、現在背景像濃度と同一なので、第１否定領域背景像推定装置５４は、第１種否定領域について新たな現在背景像の画素濃度値の推定背景像データ格納領域３４への格納は行わないこととしている。ここで、第１否定領域背景像推定装置５４が第１種否定領域について新たな現在背景像の画素濃度値の推定背景像データ格納領域３４への格納は行ってもよいことは、勿論である。
【００５４】
次に、ステップ１２３において、第２否定領域背景像推定装置５５が、否定領域のうち、以前に判定装置５２により肯定的な判定がなされたことがない小領域（以下、「第２種否定領域」という）における背景像を推定する。
【００５５】
かかる第２種否定領域における背景像の推定に際し、第２否定領域背景像推定装置５５は、まず、判定結果データ格納領域３３から否定領域それぞれの監視領域ＪＧＡ内の位置情報を読み出す。引き続き、第２否定領域背景像推定装置５５は、否定領域それぞれについて、その否定領域における現在背景像の画素濃度値の初期値であるものを抽出することにより、第２種否定領域を抽出する。そして、第２否定領域背景像推定装置５５は、抽出された第２種否定領域それぞれについて、既に新たな背景像の画素濃度値が推定された肯定領域及び第１種否定領域のうち、最も距離が近い小領域における新たな背景像の画素濃度値を、新たな背景像の画素濃度値として求める。なお、第１回の撮像においては、否定領域の全ては、第２種否定領域であると判断される。
【００５６】
次いで、第２否定領域背景像推定装置５５は、第２種否定領域のそれぞれの背景像は、上述のようにして求められた新たな現在背景像の画素濃度値の一様な画像であると推定する。そして、第２否定領域背景像推定装置５５は、第２種否定領域それぞれの新たな現在背景像の画素濃度値の推定背景像データ格納領域３４へ格納する。
【００５７】
こうして、全ての小領域について新たな背景像の推定が終了すると、サブルーチン１１４の処理が終了する。そして、処理が図４のステップ１１５へ移行する。
【００５８】
次に、ステップ１１５において、待ち行列算出装置２３が、待ち行列の発生状況を検出する。かかる待ち行列の発生状況の検出に際し、待ち行列算出装置２３は、まず、監視領域データ格納領域３２から今回の撮像によって得られた監視領域ＪＧＡの撮像結果データを読み出すとともに、推定背景像データ格納領域３４から監視領域ＪＧＡにおける新たな背景像データを読み出す。引き続き、待ち行列算出装置２３は、監視領域ＪＧＡにおける撮像結果画像と新たな推定背景像との差分画像を算出する。
【００５９】
次に、待ち行列算出装置２３は、算出された差分画像に基づいて、監視領域ＪＧＡにおける今回の撮像時点における車両の位置情報を特定する。引き続き、待ち行列算出装置２３は、今回の撮像時点における車両の位置情報と、前回の撮像を含め前回までの複数回の撮像に応じて求められた各撮像時点における車両の位置情報とに基づいて、車両の待ち行列の発生状況を検出する。
【００６０】
次いで、ステップ１１６において、待ち行列算出装置２３が、前に待ち行列の発生状況を表示した時から待ち行列の発生状況に変化があったか否かを判定する。肯定的な判定がなされた場合には、処理はステップ１１７へ移行する。一方、否定的な判定がなされた場合には、処理はステップ１１８へ移行する。以下、ステップ１１６において肯定的な判定がなされたものとして、説明を行う。
【００６１】
ステップ１１７においては、待ち行列算出装置２３が、待ち行列情報に基づいて、待ち行列の発生状況を視覚した表示を画面表示装置４３に表示指示するとともに、待ち行列の発生状況の変換を音声表示装置４５に表示指示する。これにより、待ち行列の発生状況及びその変化状況が、視覚及び聴覚を通じてオペレータに提供される。こうして、表示動作が終了すると、処理はステップ１１８へ移行する。
【００６２】
ステップ１１８においては、制御装置２９が、入力装置４１から待ち行列検出動作の終了が指示されたか否かを判定する。ここで、否定的な判定がなされた場合には、処理はステップ１１１へ移行し、上記と同様にして、待ち行列の検出が続行される。一方、ステップ１１８において、肯定的な判定がなされると、待ち行列の検出動作が終了する。こうして、入力装置４１から待ち行列検出動作の終了が指示されるまで、待ち行列の検出がなされる。
【００６３】
以上説明したように、本実施形態の背景像推定装置によれば、各回のビデオカメラ１０による撮像結果に基づいて、監視領域抽出装置５１が、撮像結果における監視領域である車線領域ＲＬを抽出した後、抽出された車線領域ＲＬにおいて、監視領域ＪＧＡを抽出する。引き続き、判定装置５２が、抽出された監視領域ＪＧＡを複数の小領域に分割した後、複数の小領域ごとに、新たな内部画素濃度分布が監視領域の背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを判定する。
【００６４】
そして、肯定領域背景像推定装置５３が、第１種肯定領域ごとに、新たな内部画素濃度分布と現在推定背景像とに基づいて新たな現在背景像を推定する。また、肯定領域背景像推定装置５３が、第２種肯定領域ごとに、新たな内部画素濃度分布に基づいて新たな現在背景像を推定する。また、第１否定領域背景像推定装置５４が、第１種否定領域ごとに、現在背景像を新たな現在背景像として推定する。また、第２否定領域背景像推定装置５５が、第２種否定領域ごとに、第１種肯定領域、第２種肯定領域及び第１種否定領域のうちで最も距離が近い小領域のあらたな現在推定背景像と同一のものを背景像として推定する。
【００６５】
したがって、監視領域ＪＧＡ内の背景像を、車両の移動の有無にかかわらず迅速かつ精度良く推定することができる。
【００６６】
また、背景像推定装置２２が、撮像の都度、背景画像の濃度値、すなわち、路面の撮像結果の濃度値を求めるので、環境条件の変化が大きな戸外における待ち行列の検出を精度良く行うことができる。
【００６７】
なお、上記の本実施形態では、各小領域の背景像画素濃度値の推定に各小領域における複数画素の濃度値のメジアン値を使用したが、当該複数画素の濃度値の平均値を使用してもよい。
【００６８】
また、上記の本実施形態では、第１種肯定領域における新たな背景像濃度値を、新たな撮像結果のみから推定される背景像濃度値と、それまでに推定された背景像濃度値との平均値を算出することにより求めたが、新たな撮像結果のみから推定される背景像濃度値と、それまでに推定された背景像濃度値との重み付け平均値を算出することにより求めることもできる。さらに、新たな撮像結果のみから推定される背景像濃度値を新たな背景像濃度値とすることもできる。
【００６９】
また、上記の本実施形態では、監視領域ＪＧＡを分割する小領域を線状領域としたが、矩形状領域やその他の形状の領域とすることもできる。
【００７０】
また、本実施形態では、監視対象を路上の車両としたが、待ち行列の発生があり得るものであれば、他の物や人であっても、本発明を適用することができる。また、戸外であるか否かを問わず、本発明を適用することができる。
【００７１】
【発明の効果】
以上詳細に説明にしたように、本発明の背景像推定方法及び背景像推定装置によれば、迅速かつ精度良く、物体を監視する監視領域内の背景像を推定することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る背景像推定装置を備える待ち行列検出装置の概略的な構成を示すブロック図である。
【図２】図２（Ａ）は、図１のビデオカメラの配置を説明するための図であり、図２（Ｂ）は、図１のビデオカメラによる撮像結果を説明するための図である。
【図３】図１の背景像算出装置の構成を示すブロック図である。
【図４】図１の待ち行列検出装置による待ち行列の検出処理を説明するためのフローチャートである。
【図５】図４の背景像推定サブルーチンにおける処理を説明するためのフローチャートである。
【符号の説明】
１０…ビデオカメラ（撮像手段）、２２…背景像推定装置、５１…監視領域抽出装置（監視領域抽出手段）、５２…判定装置（判定手段）、５３…肯定領域背景像推定装置（肯定領域背景像推定手段）、５４…第１否定領域背景像推定装置（第１否定領域背景像推定手段）、５５…第２否定領域背景像推定装置（第２否定領域背景像推定手段）。
【発明の属する技術分野】
本発明は、背景像推定方法及び背景像推定装置に係り、より詳しくは、物体を監視する監視領域内の背景像を推定する背景像推定方法及び背景像推定装置に関する。
【０００２】
【従来の技術】
従来から、路上における車両の渋滞状況や移動車両の数等を把握するために、様々な提案がなされている。こうした提案の一つとして、ビデオカメラによる路上の撮像結果から、個々の車両を認識し、個々の車両の移動及び停止状況を検出することにより、路上における車両の渋滞状況や移動車両の数等を把握しようとする技術がある。
【０００３】
この技術においては、車両がない路面の像である背景像を予め求める。かかる背景像を求めるためには、多数回の撮像を行い、路上であると推測される画像領域の画素濃度値の時間統計において、最も頻繁に登場する画素濃度値を背景濃度値であると推定していた。
【０００４】
こうして予め求めておいた背景像と監視時におけるビデオカメラによる路上の撮像結果との差分から、車両の移動及び停止状況を検出することにより、路上における車両の渋滞状況や移動車両の数等を把握していた。
【０００５】
【発明が解決しようとする課題】
上述した従来の背景像を求める技術では、精度良く背景像を推定するためには、多数回の撮像を行うことが必要となるので、背景像を求めるまでに多くの時間を要していた。また、非常に多数の画素濃度値を取り扱うことが必要となるので、背景像を求めるために大規模な資源が必要となっていた。
【０００６】
また、従来の背景像を求める技術では、背景が静的に決まる環境であれば、実用的な背景像を求めることができるが、背景の状態の変化が大きい戸外では、有効な背景像を決められないので、実用的ではない。すなわち、背景像を求めるために多くの時間を要する従来の背景像を求める技術では、各車両の移動を精度良く特定するために必要な撮像フレームごとの適切な背景像の推定をすることはできなかった。
【０００７】
また、従来の背景像を求める技術では、路上に長時間停車している車両があった場合には、その車両像が背景像と誤認される可能性があった。
【０００８】
本発明は、かかる事情のもとでなされたものであり、迅速かつ精度良く、物体を監視する監視領域内の背景像を推定することができる背景像推定方法及び背景像推定装置を提供することを目的とする。
【０００９】
本発明の背景像推定方法は、物体を監視する監視領域を含む領域の定期的な撮像によって得られる画像における前記監視領域内の背景像を推定する背景像推定方法であって、前記撮像を行うたびに、前記撮像によって得られた画像から前記監視領域を抽出する監視領域抽出工程と；前記監視領域抽出工程において抽出された監視領域を複数の小領域に分割し、前記複数の小領域ごとに、新たな内部画素濃度分布が前記監視領域の背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを判定する判定工程と；前記判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において既に肯定的な判定がされたことがある小領域ごとに、少なくともその新たな内部画素濃度分布に基づいて新たな現在背景像を推定するとともに、前記判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において未だ肯定的な判定がされたことがない小領域ごとに、その新たな内部画素濃度分布のみに基づいて新たな現在背景像を推定する肯定領域背景像推定工程と；前記判定工程において否定的な判定がされた小領域のうち、前回までの判定工程において既に肯定的な判定がされたことがある小領域ごとに、今回の撮像前において推定されていた現在背景像を新たな現在背景像として推定する第１否定領域背景像推定工程と；前記判定工程において否定的な判定がされた小領域のうち、前回までの判定工程において未だ肯定的な判定がされたことがない小領域ごとに、前記肯定領域背景像推定工程及び前記第１否定領域背景像推定工程のいずれかにおいて新たな現在背景像が推定された小領域のうちで最も距離が近い小領域の新たな現在推定背景像と同一のものであると推定する第２否定領域背景像推定工程と；を実行する背景像推定方法である。
【００１０】
この背景像推定方法では、物体を監視する監視領域を含む領域を定期的に撮像するごとに、すなわち撮像フレームごとに、監視領域抽出工程において、撮像によって得られた画像から監視領域が抽出される。かかる監視領域の抽出は、予め知られている監視領域周辺の画像特徴（例えば、特有の画像パターンの存在）を認識することにより行われる。
【００１１】
引き続き、判定工程において、抽出された監視領域を複数の小領域に分割した後、複数の小領域ごとに、新たな内部画素濃度分布が監視領域の背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かが判定される。ここで、基準画素濃度分布は、理論又は経験則に基づいて予め求められる。
【００１２】
次に、肯定領域背景像推定工程において、判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において既に肯定的な判定がされたことがある小領域ごとに、少なくともその新たな内部画素濃度分布に基づいて新たな現在背景像が推定される。また、肯定領域背景像推定工程において、判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において未だ肯定的な判定がされたことがない小領域ごとに、その新たな内部画素濃度分布のみに基づいて新たな現在背景像が推定される。
【００１３】
また、第１否定領域背景像推定工程において、判定工程において否定的な判定がされた小領域のうち、前回までの判定工程において既に肯定的な判定がされたことがある小領域ごとに、現在背景像が新たな現在背景像として推定される。
【００１４】
そして、第２否定領域背景像推定工程において、判定工程において否定的な判定がされた小領域のうち、前回までの判定工程において未だ肯定的な判定がされたことがない小領域ごとに、上述した肯定領域背景像推定工程及び第１否定領域背景像推定工程のいずれかにおいて新たな現在背景像が推定された小領域のうちで最も距離が近い小領域のあらたな現在推定背景像と同一のものが背景像として推定される。
【００１５】
こうして各撮像フレームごとに、各小領域の背景像として確実度が高い推定を行うことができる順に各小領域の背景像を推定するとともに、撮像フレームが更新されるたびに、各小領域の背景像として新たなより確実度が高い背景像が求められたときには、そのより確実度が高い背景像が各小領域の新たな背景像として推定される。この結果、確実度が高い背景像の推定がされた小領域が、撮像をするたびに増えていくととともに、確実度が高い背景像の推定がされたとはいえない小領域については、確実度が高い背景像の推定がされた小領域の背景像に基づいて合理的な推定がされる。また、環境条件の変化に伴う背景像の変化にも確実に追従して、監視領域の背景像が推定される。
【００１６】
したがって、本発明の背景像推定方法によれば、監視対象となる物体の移動の有無にかかわらず、迅速かつ精度良く、物体を監視する監視領域内の背景像を推定することができる。
【００１７】
本発明の背景像推定方法では、前記複数の小領域のそれぞれを、少なくとも１方向において、前記物体よりも大きな領域とすることが好ましい。
【００１８】
また、本発明の背景像推定方法では、前記複数の小領域のそれぞれを線状領域とすることができる。ここで、「線状領域」とは幅が１〜数画素という非常に狭い幅の領域をいう。
【００１９】
また、本発明の背景像推定方法では、前記複数の小領域のそれぞれを矩形状領域とすることができる。
【００２０】
また、本発明の背景像推定方法では、前記判定工程が、前記複数の領域のそれぞれについて、内部画素濃度値の分散及び変化幅を算出する特徴算出工程と；前記分散値が許容分散値以下であるともに、前記変化幅が許容変化幅以下であるときに、前記期待される基準画素濃度分布から許容誤差範囲にあると判定する判定演算工程と；を含むこととすることができる。
【００２１】
ここで、前記肯定領域背景像推定工程における、前記判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において未だ肯定的な判定がされたことがない小領域の新たな現在背景像の推定を、その小領域内の画素濃度値の代表値が一様に配列されてできる画像を前記新たな現在背景像として推定することとすることができる。
【００２２】
また、本発明の背景像推定方法では、前記肯定領域背景像推定工程における、前記判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において既に肯定的な判定がされたことがある小領域の新たな背景像の推定を、前記新たな内部画素濃度分布及び今回の撮像前において推定されていた現在背景像に基づいて行うこととすることができる。
【００２３】
また、本発明の背景像推定方法では、前記物体を車両とすることができる。
【００２４】
また、本発明の背景像推定方法では、前記物体を動物とすることができる。ここで、「動物」には人間が含まれるものとする。
【００２５】
本発明の背景像推定装置は、物体を監視する監視領域内の背景像を推定する背景像推定装置であって、前記監視領域を含む領域を定期的に撮像する撮像手段と；前記撮像装置による撮像によって得られた画像から前記監視領域を抽出する監視領域抽出手段と；前記監視領域抽出手段によって抽出された監視領域を複数の小領域に分割し、前記複数の小領域ごとに、新たな内部画素濃度分布が前記監視領域の背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを判定する判定手段と；前記判定手段により肯定的な判定がされた小領域のうち、前回までに前記判定手段によって既に肯定的な判定がされたことがある小領域ごとに、少なくともその新たな内部画素濃度分布に基づいて新たな現在背景像を推定するとともに、前記判定手段によって肯定的な判定がされた小領域のうち、前回までに前記判定手段によって未だ肯定的な判定がされたことがない小領域ごとに、その新たな内部画素濃度分布のみに基づいて新たな現在背景像を推定する肯定領域背景像推定手段と；前記判定手段により否定的な判定がされた小領域のうち、前回までに前記判定手段によって既に肯定的な判定がされたことがある小領域ごとに、今回の撮像前において推定されていた現在背景像を新たな現在背景像として推定する第１否定領域背景像推定手段と；前記判定手段によって否定的な判定がされた小領域のうち、前回までに判定手段によって未だ肯定的な判定がされたことがない小領域ごとに、前記肯定領域背景像推定手段及び前記第１否定領域背景像推定手段のいずれかによって新たな現在背景像が推定された小領域のうちで最も距離が近い小領域のあらたな現在推定背景像と同一のものであると推定する第２否定領域背景像推定手段と；を備える背景像推定装置である。
【００２６】
この背景像推定装置では、撮像手段が物体を監視する監視領域を含む領域を定期的に撮像するごとに、すなわち撮像フレームごとに、監視領域抽出手段が、撮像によって得られた画像から監視領域を抽出する。引き続き、判定手段が、抽出された監視領域を複数の小領域に分割した後、複数の小領域ごとに、新たな内部画素濃度分布が監視領域の背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを判定する。
【００２７】
次に、肯定領域背景像推定手段が、判定手段により肯定的な判定がされた小領域のうち、前回までに判定手段によって既に肯定的な判定がされたことがある小領域ごとに、少なくともその新たな内部画素濃度分布に基づいて新たな現在背景像を推定する。また、肯定領域背景像推定手段は、判定手段により肯定的な判定がされた小領域のうち、前回までに判定手段により未だ肯定的な判定がされたことがない小領域ごとに、その新たな内部画素濃度分布のみに基づいて新たな現在背景像を推定する。また、第１否定領域背景像推定手段が、判定手段により否定的な判定がされた小領域のうち、前回までに判定手段によって既に肯定的な判定がされたことがある小領域ごとに、今回の撮像前において推定されていた現在背景像を新たな現在背景像として推定する。
【００２８】
引き続き、第２否定領域背景像推定手段が、判定手段により否定的な判定がされた小領域のうち、前回までに判定手段によって未だ肯定的な判定がされたことがない小領域ごとに、上述した肯定領域背景像推定手段及び第１否定領域背景像推定手段のいずれかにより新たな現在背景像が推定された小領域のうちで最も距離が近い小領域の新たな現在推定背景像と同一のものを背景像として推定する。
【００２９】
すなわち、本発明の背景象推定装置は、上述した本発明の背景像推定方法を使用して監視領域内の背景像を推定することができる。したがって、本発明の背景像推定装置によれば、監視対象となる物体の移動の有無にかかわらず、迅速かつ精度良く、物体を監視する監視領域内の背景像を推定することができる。
【００３０】
【発明の実施の形態】
以下、本発明の一実施形態を、図１〜図５を参照して説明する。図１には、一実施形態に係る背景像推定装置を含む待ち行列検出装置１００の構成が、ブロック図にて示されている。この待ち行列検出装置１００は、車道の特定の車線における車両の待ち行列の発生状況、すなわち、車両の渋滞の発生状況を検出する装置である。
【００３１】
図１に示されるように、この待ち行列検出装置１００は、路上を撮像する撮像手段としてのビデオカメラ１０と、ビデオカメラ１０による撮像結果を処理して、車両の待ち行列の発生状況を検出する処理装置２０と、待ち行列の発生状況を表示する表示装置としての画面表示装置４３及び音声表示装置４５とを備えている。また、待ち行列検出装置１００は、オペレータによる処理装置２０への指示入力用に、キーボードやマウス等の入力装置４１を更に備えている。なお、画面表示装置４３は、入力装置４１からの入力情報を確認のために表示や、待ち行列検出装置１００の動作状況を表示するためにも使用される。
【００３２】
前記ビデオカメラ１０は、図２（Ａ）に概念的に示されるように、車道Ｒの上方に設置され、斜め上方から車道Ｒの監視対象の車線ＲＬ（図２（Ｂ）参照）における車両ＯＢＪ１，ＯＢＪ２，ＯＢＪ３の進行方向を見込む視野で、車道Ｒ上を観察するようになっている。この結果、ビデオカメラ１０の視野内には、図２（Ｂ）に示されるような斜視像で、車道Ｒ上の車両ＯＢＪ１，ＯＢＪ２，ＯＢＪ３及びそれらの周辺の様子が捉えられるようになっている。また、渋滞時においても少なくとも手前側では、車間における車道面が観察できるような角度で車道Ｒを見込むように、ビデオカメラ１０の視野が設定されるようになっているものとする。
【００３３】
なお、以下の説明においては、車道Ｒの車線ＲＬにおける車両ＯＢＪ１，ＯＢＪ２，ＯＢＪ３の進行方向をＹ方向とし、また、車道Ｒの幅方向をＸ方向と記すものとする。ここで、画像上（すなわち、図２（Ｂ）におけるモニタ座標系（ＸM，ＹM）においては、車線ＲＬにおける車両ＯＢＪ１，ＯＢＪ２，ＯＢＪ３の進行方向がＸ方向位置によって異なることになるが、車線ＲＬにおける車両ＯＢＪ１，ＯＢＪ２，ＯＢＪ３の進行方向を総括的にＹ方向と記すものとする。
【００３４】
また、車道Ｒは、片側一車線であり、車線の分離が白線ＷＬ１〜ＷＬ５によって表示されているものとする。また、車道Ｒと歩道とは段差があり、その段差の壁面により車道Ｒと歩道との識別が可能であるものとする。
【００３５】
図１に戻り、前記処理装置２０は、（ａ）待ち行列検出装置１００全体を統括制御する制御装置２９と、（ｂ）ビデオカメラ１０による撮像結果データを収集する撮像データ収集装置２１と、（ｃ）収集された撮像データに基づいて、背景を推定する背景像推定演算装置２２と、（ｄ）待ち行列の発生状況を検出する待ち行列算出装置２３とを備えている。なお、ビデオカメラ１０、撮像データ収集装置２１及び背景像推定演算装置２２から背景像推定装置が構成されている。なお、図１においては、データの流れが実線矢印で示され、制御の流れが点線矢印で示されている。
【００３６】
前記背景像推定演算装置２２は、図３に示されるように、（ｉ）撮像された画像から監視領域ＪＧＡ（図２（Ｂ）参照）を抽出する監視領域抽出装置５１と、（ii）監視領域抽出装置５１によって抽出された監視領域ＪＧＡを複数の小領域に分割し、前記複数の小領域ごとに、新たな撮像によって得られた内部画素濃度分布が監視領域ＪＧＡの背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを判定する判定装置５２と、（iii）判定装置５２により肯定的な判定がされた小領域ごとに新たな現在背景像を推定する肯定領域背景像推定装置５３と、（iv）判定装置５２により否定的な判定がされた小領域のうち、今回の撮像までに判定装置５２により既に肯定的な判定がされたことがある小領域ごとに新たな背景像を推定する第１否定領域背景像推定装置５４と、（ｖ）判定装置５２により否定的な判定がされた小領域のうち、今回の撮像までに判定装置５２により既に肯定的な判定がされたことがある小領域ごとに新たな背景像を推定する第２否定領域背景像推定装置５５と、（vi）記憶装置３０とを備えている。
【００３７】
ここで、記憶装置３０は、撮像データ格納領域３１、監視領域データ格納領域３２、判定結果データ格納領域３３、及び推定背景像データ格納領域３４を有している。
【００３８】
なお、図３においては、データの流れが実線矢印で示されている。
【００３９】
本実施形態では、背景像演算装置２２を上記のように、各種の装置を組み合わせて構成したが、処理装置２０を計算機システムとして構成し、背景像演算装置２２を構成する各装置の機能を処理装置２０に内蔵されたプログラムによって実現することも可能である。このように処理装置２０を計算機システムとして構成した場合には、待ち行列算出装置２３の機能も処理装置２０に内蔵されたプログラムによって実現することが可能である。
【００４０】
以下、本実施形態の待ち行列検出装置１００による待ち行列検出動作を、主に背景像推定の動作に着目しつつ、図４及び図５のフローチャートに沿って説明する。
【００４１】
まず、図４のステップ１１１において、撮像データ収集装置２１が、ビデオカメラ１０から送られてきた撮像データを一画面分だけ収集する。そして、撮像データ収集装置２１は、収集した撮像データを撮像データ格納領域３１に格納する。
【００４２】
次に、ステップ１１２において、監視領域抽出装置２２が、撮像データ格納領域３１から撮像データを読み出して、監視領域ＪＧＡ（図２（Ｂ）参照）を抽出する。かかる監視領域ＪＧＡの抽出にあたって、監視領域抽出装置２２は、まず、読み出した撮像データから、上述した白線ＷＬ１〜ＷＬ５及び車道Ｒと歩道との境界壁面を認識し、監視領域である車線ＲＬの領域を特定する。そして、特定された車線ＲＬの領域中から、車線ＲＬの中央部付近の監視領域ＪＧＡを抽出する。なお、監視領域としては、Ｙ位置（車両の進行方向位置）としては車両が存在する場合であっても、そのＹ位置におけるＸ方向（車線ＲＬの幅方向）には、車両が存在せず、路面が現れている部分がある程度（例えば、監視領域のＸ方向幅の１／３以下）は存在するような領域を選択する。
【００４３】
こうして、本来は動かない白線や境界壁面を基準として監視領域ＪＧＡを抽出することにより、ビデオカメラの揺れ等による撮像画像中における監視領域ＪＧＡの抽出の不安定さが解消される。監視領域抽出装置２２は、抽出された監視領域ＪＧＡの今回の撮像画像における位置情報とともに、抽出された監視領域ＪＧＡ内の画像データを今回の監視領域データとして監視領域データ格納領域３２に格納する。
【００４４】
次いで、ステップ１１３において、判定装置５２が、監視領域データ格納領域３２から今回の監視領域位置情報及び監視領域データを読み出して、監視領域ＪＧＡを複数の小領域に分割する。本実施形態では、判定装置５２は、監視領域ＪＧＡを、Ｘ方向幅として監視領域ＪＧＡのＸ方向幅を有し、Ｙ方向幅として１画素幅を有する複数の線状の小領域に分割している。
【００４５】
引き続き、判定装置５２は、分割した各小領域ごとに、今回の撮像画像における内部画素濃度値分布が、監視領域ＪＧＡの背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを判定する。本実施形態では、かかる判定のために、判定装置５２は、まず、分割した各小領域ごとに、今回の撮像画像における内部画素濃度値のメジアン値、濃度変化幅、及び分散値を算出する。引き続き、判定装置５２は、路面の画像は各小領域においてほぼ一様な画素濃度値であり、その画素濃度値は車両部分の画素濃度値とは異なることが期待できることを鑑みて、算出された濃度変化幅が許容変化幅以下であり、かつ、算出された分散値が許容分散値以下であるか否かを判定する。
【００４６】
判定装置５２は、こうした各小領域についての判定結果、すなわち、各小領域が肯定的な判定がされた領域（以下、「肯定領域」という）であるか、否定的な判定がなされた領域（以下、「否定領域」という）であるかの情報を、各小領域の監視領域ＪＧＡ内の位置情報及び各小領域の内部画素濃度値のメジアン値とともに判定結果データ格納領域３３に格納する。
【００４７】
次に、サブルーチン１１４において、上述した小領域ごとに背景像が推定される。このサブルーチン１１４では、図５に示されるように、ステップ１２１において、肯定領域背景像推定装置５３が、肯定領域における背景像を推定する。
【００４８】
かかる肯定領域における背景像の推定に際し、肯定領域背景像推定装置５３は、まず、判定結果データ格納領域３３から肯定領域それぞれの監視領域ＪＧＡ内の位置情報及び内部画素濃度値のメジアン値を読み出した後、肯定領域の位置に対応する小領域についての現在背景像を推定背景像データ格納領域３４から読み出す。なお、推定背景像データ格納領域３４には、待ち行列検出の動作を開始する前において、撮像結果の画素濃度値として発生しえない値の画素濃度値が現在推定像における画素濃度値の初期値として書き込まれているものとする。
【００４９】
引き続き、肯定領域背景像推定装置５３は、肯定領域それぞれについて、推定背景像データ格納領域３４から読み出された現在背景像の画素濃度値の初期値ではないか否かを判定することにより、以前に判定装置５２により肯定的な判定がなされたことがある小領域（以下、「第１種肯定領域」という）か、以前に判定装置５２により肯定的な判定がなされたことがない小領域（以下、「第２種肯定領域」という）か、を判断する。そして、肯定領域背景像推定装置５３は、第１種肯定領域については、現在背景像の画素濃度値と、今回の撮像画像における当該第１種肯定領域の画素濃度値のメジアン値との平均値を、当該第１種肯定領域における新たな現在背景像の画素濃度値として算出する。また、肯定領域背景像推定装置５３は、第２種肯定領域については、今回の撮像画像における当該第２種肯定領域の画素濃度値のメジアン値を、当該第２種肯定領域における新たな現在背景像の画素濃度値として算出する。なお、第１回の撮像においては、肯定領域の全ては、第２種肯定領域であると判断される。
【００５０】
次いで、肯定領域背景像推定装置５３は、肯定領域のそれぞれの背景像が、上述のようにして求められた新たな背景像の画素濃度値の一様な画像であると推定する。そして、肯定領域背景像推定装置５３は、肯定領域の新たな背景像の画素濃度値を、推定背景像データ格納領域３４に格納する。
【００５１】
次に、ステップ１２２において、第１否定領域背景像推定装置５４が、否定領域のうち、以前に判定装置５２により肯定的な判定がなされたことがある小領域（以下、「第１種否定領域」という）における背景像を推定する。
【００５２】
かかる第１種否定領域における背景像の推定に際し、第１否定領域背景像推定装置５４は、まず、判定結果データ格納領域３３から否定領域それぞれの監視領域ＪＧＡ内の位置情報を読み出す。引き続き、第１否定領域背景像推定装置５４は、否定領域それぞれについて、その否定領域における現在背景像の画素濃度値の初期値ではないものを抽出することにより、第１種否定領域を抽出する。そして、第１否定領域背景像推定装置５４は、抽出された第１種否定領域について、現在背景像の画素濃度値を、当該第１種否定領域における新たな現在背景像の画素濃度値として推定する。
【００５３】
次いで、第１否定領域背景像推定装置５４は、第１種否定領域のそれぞれの背景像は、上述のようにして求められた新たな現在背景像の画素濃度値の一様な画像であると推定する。なお、第１種否定領域における新たな現在背景像の画素濃度値は、現在背景像濃度と同一なので、第１否定領域背景像推定装置５４は、第１種否定領域について新たな現在背景像の画素濃度値の推定背景像データ格納領域３４への格納は行わないこととしている。ここで、第１否定領域背景像推定装置５４が第１種否定領域について新たな現在背景像の画素濃度値の推定背景像データ格納領域３４への格納は行ってもよいことは、勿論である。
【００５４】
次に、ステップ１２３において、第２否定領域背景像推定装置５５が、否定領域のうち、以前に判定装置５２により肯定的な判定がなされたことがない小領域（以下、「第２種否定領域」という）における背景像を推定する。
【００５５】
かかる第２種否定領域における背景像の推定に際し、第２否定領域背景像推定装置５５は、まず、判定結果データ格納領域３３から否定領域それぞれの監視領域ＪＧＡ内の位置情報を読み出す。引き続き、第２否定領域背景像推定装置５５は、否定領域それぞれについて、その否定領域における現在背景像の画素濃度値の初期値であるものを抽出することにより、第２種否定領域を抽出する。そして、第２否定領域背景像推定装置５５は、抽出された第２種否定領域それぞれについて、既に新たな背景像の画素濃度値が推定された肯定領域及び第１種否定領域のうち、最も距離が近い小領域における新たな背景像の画素濃度値を、新たな背景像の画素濃度値として求める。なお、第１回の撮像においては、否定領域の全ては、第２種否定領域であると判断される。
【００５６】
次いで、第２否定領域背景像推定装置５５は、第２種否定領域のそれぞれの背景像は、上述のようにして求められた新たな現在背景像の画素濃度値の一様な画像であると推定する。そして、第２否定領域背景像推定装置５５は、第２種否定領域それぞれの新たな現在背景像の画素濃度値の推定背景像データ格納領域３４へ格納する。
【００５７】
こうして、全ての小領域について新たな背景像の推定が終了すると、サブルーチン１１４の処理が終了する。そして、処理が図４のステップ１１５へ移行する。
【００５８】
次に、ステップ１１５において、待ち行列算出装置２３が、待ち行列の発生状況を検出する。かかる待ち行列の発生状況の検出に際し、待ち行列算出装置２３は、まず、監視領域データ格納領域３２から今回の撮像によって得られた監視領域ＪＧＡの撮像結果データを読み出すとともに、推定背景像データ格納領域３４から監視領域ＪＧＡにおける新たな背景像データを読み出す。引き続き、待ち行列算出装置２３は、監視領域ＪＧＡにおける撮像結果画像と新たな推定背景像との差分画像を算出する。
【００５９】
次に、待ち行列算出装置２３は、算出された差分画像に基づいて、監視領域ＪＧＡにおける今回の撮像時点における車両の位置情報を特定する。引き続き、待ち行列算出装置２３は、今回の撮像時点における車両の位置情報と、前回の撮像を含め前回までの複数回の撮像に応じて求められた各撮像時点における車両の位置情報とに基づいて、車両の待ち行列の発生状況を検出する。
【００６０】
次いで、ステップ１１６において、待ち行列算出装置２３が、前に待ち行列の発生状況を表示した時から待ち行列の発生状況に変化があったか否かを判定する。肯定的な判定がなされた場合には、処理はステップ１１７へ移行する。一方、否定的な判定がなされた場合には、処理はステップ１１８へ移行する。以下、ステップ１１６において肯定的な判定がなされたものとして、説明を行う。
【００６１】
ステップ１１７においては、待ち行列算出装置２３が、待ち行列情報に基づいて、待ち行列の発生状況を視覚した表示を画面表示装置４３に表示指示するとともに、待ち行列の発生状況の変換を音声表示装置４５に表示指示する。これにより、待ち行列の発生状況及びその変化状況が、視覚及び聴覚を通じてオペレータに提供される。こうして、表示動作が終了すると、処理はステップ１１８へ移行する。
【００６２】
ステップ１１８においては、制御装置２９が、入力装置４１から待ち行列検出動作の終了が指示されたか否かを判定する。ここで、否定的な判定がなされた場合には、処理はステップ１１１へ移行し、上記と同様にして、待ち行列の検出が続行される。一方、ステップ１１８において、肯定的な判定がなされると、待ち行列の検出動作が終了する。こうして、入力装置４１から待ち行列検出動作の終了が指示されるまで、待ち行列の検出がなされる。
【００６３】
以上説明したように、本実施形態の背景像推定装置によれば、各回のビデオカメラ１０による撮像結果に基づいて、監視領域抽出装置５１が、撮像結果における監視領域である車線領域ＲＬを抽出した後、抽出された車線領域ＲＬにおいて、監視領域ＪＧＡを抽出する。引き続き、判定装置５２が、抽出された監視領域ＪＧＡを複数の小領域に分割した後、複数の小領域ごとに、新たな内部画素濃度分布が監視領域の背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを判定する。
【００６４】
そして、肯定領域背景像推定装置５３が、第１種肯定領域ごとに、新たな内部画素濃度分布と現在推定背景像とに基づいて新たな現在背景像を推定する。また、肯定領域背景像推定装置５３が、第２種肯定領域ごとに、新たな内部画素濃度分布に基づいて新たな現在背景像を推定する。また、第１否定領域背景像推定装置５４が、第１種否定領域ごとに、現在背景像を新たな現在背景像として推定する。また、第２否定領域背景像推定装置５５が、第２種否定領域ごとに、第１種肯定領域、第２種肯定領域及び第１種否定領域のうちで最も距離が近い小領域のあらたな現在推定背景像と同一のものを背景像として推定する。
【００６５】
したがって、監視領域ＪＧＡ内の背景像を、車両の移動の有無にかかわらず迅速かつ精度良く推定することができる。
【００６６】
また、背景像推定装置２２が、撮像の都度、背景画像の濃度値、すなわち、路面の撮像結果の濃度値を求めるので、環境条件の変化が大きな戸外における待ち行列の検出を精度良く行うことができる。
【００６７】
なお、上記の本実施形態では、各小領域の背景像画素濃度値の推定に各小領域における複数画素の濃度値のメジアン値を使用したが、当該複数画素の濃度値の平均値を使用してもよい。
【００６８】
また、上記の本実施形態では、第１種肯定領域における新たな背景像濃度値を、新たな撮像結果のみから推定される背景像濃度値と、それまでに推定された背景像濃度値との平均値を算出することにより求めたが、新たな撮像結果のみから推定される背景像濃度値と、それまでに推定された背景像濃度値との重み付け平均値を算出することにより求めることもできる。さらに、新たな撮像結果のみから推定される背景像濃度値を新たな背景像濃度値とすることもできる。
【００６９】
また、上記の本実施形態では、監視領域ＪＧＡを分割する小領域を線状領域としたが、矩形状領域やその他の形状の領域とすることもできる。
【００７０】
また、本実施形態では、監視対象を路上の車両としたが、待ち行列の発生があり得るものであれば、他の物や人であっても、本発明を適用することができる。また、戸外であるか否かを問わず、本発明を適用することができる。
【００７１】
【発明の効果】
以上詳細に説明にしたように、本発明の背景像推定方法及び背景像推定装置によれば、迅速かつ精度良く、物体を監視する監視領域内の背景像を推定することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る背景像推定装置を備える待ち行列検出装置の概略的な構成を示すブロック図である。
【図２】図２（Ａ）は、図１のビデオカメラの配置を説明するための図であり、図２（Ｂ）は、図１のビデオカメラによる撮像結果を説明するための図である。
【図３】図１の背景像算出装置の構成を示すブロック図である。
【図４】図１の待ち行列検出装置による待ち行列の検出処理を説明するためのフローチャートである。
【図５】図４の背景像推定サブルーチンにおける処理を説明するためのフローチャートである。
【符号の説明】
１０…ビデオカメラ（撮像手段）、２２…背景像推定装置、５１…監視領域抽出装置（監視領域抽出手段）、５２…判定装置（判定手段）、５３…肯定領域背景像推定装置（肯定領域背景像推定手段）、５４…第１否定領域背景像推定装置（第１否定領域背景像推定手段）、５５…第２否定領域背景像推定装置（第２否定領域背景像推定手段）。
Claims (10)
- 物体を監視する監視領域を含む領域の定期的な撮像によって得られる画像における前記監視領域内の背景像を推定する背景像推定方法であって、前記撮像を行うたびに、
前記撮像によって得られた画像から前記監視領域を抽出する監視領域抽出工程と；
前記監視領域抽出工程において抽出された監視領域を複数の小領域に分割し、前記複数の小領域ごとに、新たな内部画素濃度分布が前記監視領域の背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを判定する判定工程と；
前記判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において既に肯定的な判定がされたことがある小領域ごとに、少なくともその新たな内部画素濃度分布に基づいて新たな現在背景像を推定するとともに、前記判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において未だ肯定的な判定がされたことがない小領域ごとに、その新たな内部画素濃度分布のみに基づいて新たな現在背景像を推定する肯定領域背景像推定工程と；
前記判定工程において否定的な判定がされた小領域のうち、前回までの判定工程において既に肯定的な判定がされたことがある小領域ごとに、今回の撮像前において推定されていた現在背景像を新たな現在背景像として推定する第１否定領域背景像推定工程と；
前記判定工程において否定的な判定がされた小領域のうち、前回までの判定工程において未だ肯定的な判定がされたことがない小領域ごとに、前記肯定領域背景像推定工程及び前記第１否定領域背景像推定工程のいずれかにおいて新たな現在背景像が推定された小領域のうちで最も距離が近い小領域の新たな現在推定背景像と同一のものを新たな背景像と推定する第２否定領域背景像推定工程と；を実行する背景像推定方法。 - 前記複数の小領域のそれぞれは少なくとも１方向において、前記物体よりも大きな領域である、ことを特徴とする請求項１に記載の背景像推定方法。
- 前記複数の小領域のそれぞれは線状領域である、ことを特徴とする請求項１又は２に記載の背景像推定方法。
- 前記複数の小領域のそれぞれは矩形状領域である、ことを特徴とする請求項１又は２に記載の背景像推定方法。
- 前記判定工程は、
前記複数の領域のそれぞれについて、内部画素濃度値の分散及び変化幅を算出する特徴算出工程と；
前記分散値が許容分散値以下であるともに、前記変化幅が許容変化幅以下であるときに、前記期待される基準画素濃度分布から許容誤差範囲にあると判定する判定演算工程と；を含むことを特徴とする請求項１〜４のいずれか一項に記載の背景像推定方法。 - 前記肯定領域背景像推定工程における、前記判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において未だ肯定的な判定がされたことがない小領域の新たな現在背景像の推定では、その小領域内の画素濃度値の代表値が一様に配列されてできる画像を前記新たな現在背景像として推定する、ことを特徴とする請求項５に記載の背景像推定方法。
- 前記肯定領域背景像推定工程における、前記判定工程において肯定的な判定がされた小領域のうち、前回までの判定工程において既に肯定的な判定がされたことがある小領域の新たな背景像の推定は、前記新たな内部画素濃度分布及び今回の撮像前において推定されていた現在背景像に基づいて行われる、ことを特徴とする請求項１〜６に記載の背景像推定方法。
- 前記物体は車両である、ことを特徴とする請求項１〜７のいずれか一項に記載の背景像推定方法。
- 前記物体は動物である、ことを特徴とする請求項１〜７のいずれか一項に記載の背景像推定方法。
- 物体を監視する監視領域内の背景像を推定する背景像推定装置であって、
前記監視領域を含む領域を定期的に撮像する撮像手段と；
前記撮像装置による撮像によって得られた画像から前記監視領域を抽出する監視領域抽出手段と；
前記監視領域抽出手段によって抽出された監視領域を複数の小領域に分割し、前記複数の小領域ごとに、新たな内部画素濃度分布が前記監視領域の背景像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを判定する判定手段と；
前記判定手段により肯定的な判定がされた小領域のうち、前回までに前記判定手段によって既に肯定的な判定がされたことがある小領域ごとに、少なくともその新たな内部画素濃度分布に基づいて新たな現在背景像を推定するとともに、前記判定手段によって否定的な判定がされた小領域のうち、前回までに前記判定手段によって未だ肯定的な判定がされたことがない小領域ごとに、その新たな内部画素濃度分布のみに基づいて新たな現在背景像を推定する肯定領域背景像推定手段と；
前記判定手段により否定的な判定がされた小領域のうち、前回までに前記判定手段によって既に肯定的な判定がされたことがある小領域ごとに、今回の撮像前において推定されていた現在背景像を新たな現在背景像として推定する第１否定領域背景像推定手段と；
前記判定手段において肯定的な判定がされた小領域のうち、前回までに判定手段によって未だ肯定的な判定がされたことがない小領域ごとに、前記肯定領域背景像推定手段及び前記第１否定領域背景像推定手段のいずれかによって新たな現在背景像が推定された小領域のうちで最も距離が近い小領域の新たな現在推定背景像と同一のものであると推定する第２否定領域背景像推定手段と；を備える背景像推定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002132593A JP4005409B2 (ja) | 2002-05-08 | 2002-05-08 | 背景像推定方法及び背景像推定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002132593A JP4005409B2 (ja) | 2002-05-08 | 2002-05-08 | 背景像推定方法及び背景像推定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003324727A JP2003324727A (ja) | 2003-11-14 |
| JP4005409B2 true JP4005409B2 (ja) | 2007-11-07 |
Family
ID=29544566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002132593A Expired - Fee Related JP4005409B2 (ja) | 2002-05-08 | 2002-05-08 | 背景像推定方法及び背景像推定装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4005409B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4233272B2 (ja) * | 2002-05-23 | 2009-03-04 | 株式会社エイブイプランニングセンター | 物体計数方法及び物体計数装置 |
| JP4968936B2 (ja) * | 2007-10-02 | 2012-07-04 | キヤノン株式会社 | 制御装置、制御方法及びプログラム |
| JP5175765B2 (ja) * | 2009-02-20 | 2013-04-03 | 株式会社東芝 | 画像処理装置及び交通監視装置 |
| KR102085034B1 (ko) * | 2013-06-10 | 2020-03-05 | 에스케이 텔레콤주식회사 | 영상의 전경과 배경을 분리하여 전경영상을 검출하는 방법 및 장치 |
-
2002
- 2002-05-08 JP JP2002132593A patent/JP4005409B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003324727A (ja) | 2003-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8902053B2 (en) | Method and system for lane departure warning | |
| CN102792314B (zh) | 交叉通行碰撞警报系统 | |
| US9185402B2 (en) | Traffic camera calibration update utilizing scene analysis | |
| US20180151063A1 (en) | Real-time detection system for parked vehicles | |
| JP5075672B2 (ja) | 対象物検出装置及び方法 | |
| JP4363295B2 (ja) | ステレオ画像による平面推定方法 | |
| US8879786B2 (en) | Method for detecting and/or tracking objects in motion in a scene under surveillance that has interfering factors; apparatus; and computer program | |
| JP2006268097A (ja) | 車載物体検出装置、および物体検出方法 | |
| CN105631418A (zh) | 一种人数统计的方法和装置 | |
| JP2013065304A (ja) | 高速障害物検出 | |
| GB2526658A (en) | An efficient method of offline training a special-type parked vehicle detector for video-based on-street parking occupancy detection systems | |
| JP4848312B2 (ja) | 身長推定装置および身長推定方法 | |
| CN104966304A (zh) | 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法 | |
| JP2009064175A (ja) | 物体検出装置および物体検出方法 | |
| KR102295183B1 (ko) | Cctv 프로젝션 모델을 이용한 cctv 영상의 객체 추적 방법 | |
| JP7125843B2 (ja) | 障害検知システム | |
| JP4005409B2 (ja) | 背景像推定方法及び背景像推定装置 | |
| CN109492454B (zh) | 对象识别方法及装置 | |
| KR100994722B1 (ko) | 카메라 핸드오프를 이용한 다중 카메라상의 연속적인 물체추적 방법 | |
| JP4321410B2 (ja) | 物体検出装置、および方法 | |
| JP4697761B2 (ja) | 待ち行列検出方法及び待ち行列検出装置 | |
| CN110020572B (zh) | 基于视频图像的人数统计方法、装置、设备及存储介质 | |
| Bravo et al. | Outdoor vacant parking space detector for improving mobility in smart cities | |
| WO2021199584A1 (en) | Detecting debris in a vehicle path | |
| JP4888290B2 (ja) | 侵入者検知装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050418 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070323 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070417 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070611 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070727 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070823 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130831 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |