JP4434689B2

JP4434689B2 - 物体計数方法及び物体計数装置

Info

Publication number: JP4434689B2
Application number: JP2003359122A
Authority: JP
Inventors: 勉塚原
Original assignee: 株式会社エイブイプランニングセンター
Priority date: 2003-10-20
Filing date: 2003-10-20
Publication date: 2010-03-17
Anticipated expiration: 2023-10-20
Also published as: JP2005122607A

Description

本発明は、物体計数方法及び物体計数装置に係り、より詳しくは、監視領域内における監視対象物体の数を計数する物体計数方法及び当該物体計数方法を使用する物体計数装置である。

従来から、広場や路上といった監視領域における人や車両等の監視対象物体の現在数を把握するために、様々な提案がなされている。その一つは、これらの監視物体は本質的には移動物体であることを利用して、時間を隔てて所定の監視領域をビデオカメラ等により撮像し、それらの撮像結果間の差異であるフレーム間差分画像を求めることにより監視対象物体候補の領域を抽出した後、当該監視対象物体のテンプレート画像とのパターンマッチングにより、当該フレーム間差分画像における物体像をパターン認識して、監視対象物体の数を把握しようとするものである（以下、「従来例１」という）。

また、予め、撮像領域における背景画像を特定しておき、撮像結果画像と当該背景画像との差分画像において、当該物体のテンプレート画像とのパターンマッチングにより、当該フレーム間差分画像における物体像をパターン認識し、物体の数を把握しようとするものである（以下、「従来例２」という）。

上述した従来例１や従来例２の技術では、個々の物体をパターンマッチングによって撮像結果から抽出するので、非常に大規模な計算資源が必要となる。こうした、大規模な計算資源を有するシステムは、必然的に大規模かつ複雑な構成を有するものとなってしまう。

また、監視領域の撮像は、一般には斜め上方からとなるため、撮像結果においては必然的に監視対象物体同士、あるいは、監視対象物体と他の種類の物体との重なりが生じる。このため、監視対象物体のいくつかについては、その一部しか撮像結果には存在していない場合がしばしば発生する。

本発明は、かかる事情を鑑みてなされたものであり、監視対象の物体数を迅速にかつ精度良く計数することができる物体計数方法及び物体計数装置を提供することを目的とする。

本発明の物体計数方法は、監視対象物体の数を計数する物体計数方法であって、前記監視対象物体を監視する監視領域を撮像する撮像工程と；前記監視領域の撮像結果画像に基づいて、前記監視対象物体の像の候補を抽出した物体候補抽出画像を算出する物体候補抽出画像算出工程と；前記物体候補抽出画像における前記監視対象物体候補の領域及びその周辺の画素位置ごとに、その周辺における第１方向に関する画素濃度の平均的な勾配である第１方向平均濃度勾配の符号が変化する点である第１方向勾配符号変化点を抽出する第１方向勾配符号変化点抽出工程と；前記物体候補抽出画像における前記監視対象物体候補の領域及びその周辺の画素位置ごとに、その周辺における前記第１方向と直交する第２方向に関する画素濃度の平均的な勾配である第２方向平均濃度勾配の符号が変化する点である第２方向勾配符号変化点を抽出する第２方向勾配符号変化点抽出工程と；前記第１方向勾配符号変化点の軌跡と前記第２方向勾配符号変化点の軌跡との交点である両方向勾配符号変化点を抽出する両方向勾配符号変化点抽出工程と；前記両方向勾配符号変化点から、前記監視対象物体を代表すると推定される１つの代表点を抽出する代表点抽出工程と；前記代表点の数を計数して前記監視対象物体の数の推定値を求める物体数推定値取得工程と；を備える物体計数方法である。

この物体計数方法では、撮像工程における監視領域の撮像結果に基づいて、物体候補抽出画像算出工程において、監視対象物体の像の候補を抽出した物体候補抽出画像が算出される。ここで、物体候補抽出画像を、監視領域の撮像結果と、前記監視領域内に前記物体が存在しないときにおける監視領域の推定撮像結果である推定背景画像との差分画像を算出することととすることができる。また、監視対象物体が移動物体であるときには、物体候補抽出画像を、画像フレーム間の差分画像に基づいて求めることができる。

次に、第１方向勾配符号変化点抽出工程において、物体候補抽出画像における監視対象物体候補の領域及びその周辺の画素位置ごとに、その周辺における第１方向に関する画素濃度の平均的な勾配である第１方向平均濃度勾配の符号が変化する点である第１方向勾配符号変化点が抽出される。引き続き、第２方向勾配符号変化点抽出工程において、物体候補抽出画像における監視対象物体候補の領域及びその周辺の画素位置ごとに、その周辺における第２方向に関する画素濃度の平均的な勾配である第２方向平均濃度勾配の符号が変化する点である第２方向勾配符号変化点が抽出される。

次いで、両方向勾配符号変化点抽出工程において、第１方向勾配符号変化点の軌跡と第２方向勾配符号変化点の軌跡との交点である両方向勾配符号変化点が抽出される。引き続き、代表点抽出工程において、両方向勾配符号変化点から、前記監視対象物体を代表すると推定される１つの代表点が抽出される。この代表点の抽出は、予め予想される監視対象物体の像領域における両方向勾配符号変化点の分布に基づいて、監視対象物体候補の領域における実際の両方向勾配符号変化点の分布を分析することにより行われる。そして、物体数推定値取得工程において、代表点の数を計数して前記監視対象物体の数の推定値が求められる。

すなわち、本発明の物体計数方法では、画像解析に際しての各画素位置における演算として、従来におけるテンプレートマッチングのような２次元領域についてのマッチング演算を行うことなく、監視対象物体候補の像領域において１次元的な濃度勾配演算を第１方向及び第２方向について行うという、テンプレートマッチング演算と比べれば飛躍的に演算量の少ない演算のみですむ。また、本発明者が研究の結果として得た知見によれば、上述した両方向勾配符号変化点に基づいて監視対象物体の数を計数することにより、撮像結果において、監視対象物体同士、あるいは、監視対象物体と他の種類の物体との重なりが生じている場合にも、精度良く監視対象物体の計数を行うことができる。したがって、本発明の物体計数方法によれば、簡易な構成の装置で、監視対象の物体数を迅速にかつ精度良く計数することができる。

本発明の物体計数方法では、前記第１方向濃度勾配は、前記監視対象物体の像の典型的な形状に応じて定まる前記第１方向に沿った間隔を隔てた２点間における平均的な画素濃度の差に基づいて算出され、前記第２方向濃度勾配は、前記監視対象物体の像の典型的な形状に応じて定まる前記第２方向に沿った間隔を隔てた２点間における平均的な画素濃度の差に基づいて算出されることとすることができる。

ここで、前記監視対象物体の典型的な形状は前記第２方向に沿って延びた形状であるときには、前記監視対象物体の像の典型的な形状に応じて定まる前記第１方向に沿った間隔を、前記監視対象物体の特徴的な部分の前記第１方向に沿った長さ程度とし、前記監視対象物体の像の典型的な形状に応じて定まる前記第２方向に沿った間隔を、前記監視対象物体の前記第２方向に沿った長さの１／３〜１／５とすることができる。

この場合には、監視対象物体部分の領域における第１方向勾配符号変化点の軌跡が１つの連続的な軌跡となる。そして、典型的な監視対象物体の像においては、第１方向勾配符号変化点の連続的な軌跡と交差する第２方向勾配符号変化点の軌跡の数が複数となるとともに、監視対象物体が第２方向に沿って１／３〜１／５程度の部分が可視となっていれば、その領域内に少なくとも１つの両方向勾配符号変化点が存在することになる。このことを利用して、両方向勾配符号変化点から上述した代表点を抽出することにより、簡易に、かつ、迅速に監視対象物体を計数することができる。

本発明の物体計数方法では、前記両方向勾配符号変化点抽出工程に先立って、前記第１方向勾配符号変化点の軌跡の前記第２方向に沿った長さ及び分布、並びに前記第２方向勾配符号変化点の軌跡の前記第１方向に沿った長さ及び分布に基づいて、前記第１方向勾配符号変化点の軌跡及び前記第２方向勾配符号変化点の軌跡の少なくとも一方から前記監視対象物体の像の内部には無いと推定される軌跡を排除する勾配符号変化点軌跡選択工程を更に備えることとすることができる。

この場合には、勾配符号変化点軌跡選択工程において、第１方向勾配符号変化点の軌跡の第２方向に沿った長さ及び分布、並びに、第２方向勾配符号変化点の軌跡の第１方向に沿った長さ及び分布に基づいて、第１方向勾配符号変化点の軌跡及び第２方向勾配符号変化点の軌跡の少なくとも一方から前記監視対象物体の像の内部には無いと推定される軌跡を排除する。この結果、監視対象物体の像の内部には無いと推定される第１方向勾配符号変化点の軌跡や第２方向勾配符号変化点の軌跡を排除した上で、両方向勾配符号変化点抽出工程を実行することができる。したがって、監視対象物体の計数をより迅速化することができる。

本発明の物体計数装置は、監視対象物体の数を計数する物体計数装置であって、前記監視対象物体を監視する監視領域を撮像する撮像手段と；前記監視領域の撮像結果画像に基づいて、前記監視対象物体の像の候補を抽出した物体候補抽出画像を算出する物体候補抽出画像算出手段と；前記物体候補抽出画像における前記監視対象物体候補の領域の画素位置ごとに、その周辺における第１方向に関する画素濃度の平均的な勾配である第１方向平均濃度勾配の符号が変化する点である第１方向勾配符号変化点を抽出する第１方向勾配符号変化点抽出手段と；前記物体候補抽出画像における前記監視対象物体候補の領域の画素位置ごとに、その周辺における前記第１方向と直交する第２方向に関する画素濃度の平均的な勾配である第２方向平均濃度勾配の符号が変化する点である第２方向勾配符号変化点を抽出する第２方向勾配符号変化点抽出手段と；前記第１方向勾配符号変化点の軌跡と前記第２方向勾配符号変化点の軌跡との交点である両方向勾配符号変化点を抽出する両方向勾配符号変化点抽出手段と；前記両方向勾配符号変化点から、前記監視対象物体を代表すると推定される１つの代表点を抽出する代表点抽出手段と；前記代表点の数を計数して前記監視対象物体の数の推定値を求める物体数推定値取得手段と；を備える物体計数装置である。

この物体計数装置では、撮像手段による監視領域の撮像結果に基づいて、物体候補抽出画像算出手段が、監視対象物体の像の候補を抽出した物体候補抽出画像を算出する。次に、第１方向勾配符号変化点抽出手段が、物体候補抽出画像における監視対象物体候補の領域及びその周辺の画素位置ごとに、その周辺における第１方向に関する画素濃度の平均的な勾配である第１方向平均濃度勾配の符号が変化する点である第１方向勾配符号変化点を抽出する。引き続き、第２方向勾配符号変化点抽出手段が、物体候補抽出画像における監視対象物体候補の領域及びその周辺の画素位置ごとに、その周辺における第２方向に関する画素濃度の平均的な勾配である第２方向平均濃度勾配の符号が変化する点である第２方向勾配符号変化点を抽出する。

次いで、両方向勾配符号変化点抽出手段が、第１方向勾配符号変化点の軌跡と第２方向勾配符号変化点の軌跡との交点である両方向勾配符号変化点を抽出する。引き続き、代表点抽出手段が、両方向勾配符号変化点から、監視対象物体を代表すると推定される１つの代表点を抽出する。そして、物体数推定値取得手段が、代表点の数を計数して前記監視対象物体の数の推定値を求める。

すなわち、本発明の物体計数装置では、上述した本発明の物体計数方法を使用して、監視対象物体の数を計数することができる。したがって、本発明の物体計数装置によれば、簡易な構成で、監視対象の物体数を迅速にかつ精度良く計数することができる。

本発明の物体計数装置では、前記第１方向勾配符号変化点の軌跡の前記第２方向に沿った長さ及び分布、並びに前記第２方向勾配符号変化点の軌跡の前記第１方向に沿った長さ及び分布に基づいて、前記第１方向勾配符号変化点の軌跡及び前記第２方向勾配符号変化点の軌跡の少なくとも一方から前記監視対象物体の像の内部には無いと推定される軌跡を排除する勾配符号変化点軌跡選択手段を更に備える構成とすることができる。この場合には、監視対象物体の像の内部には無い第１方向勾配符号変化点の軌跡や第２方向勾配符号変化点の軌跡を排除した上で、両方向勾配符号変化点抽出手段による両方向勾配符号変化点の抽出を行うことができるので、監視対象物体の計数をより迅速化することができる。

以上説明したように、本発明の物体計数方法によれば、簡易な構成の装置で、監視対象の物体数を迅速にかつ精度良く計数することができるという効果を奏する。

また、本発明の物体計数装置によれば、簡易な構成で、監視対象の物体数を迅速にかつ精度良く計数することができるという効果を奏する。

以下、本発明の一実施形態を、図１〜図９を参照して説明する。

図１には、一実施形態に係る物体計数装置１００の構成が、ブロック図にて示されている。この物体計数装置１００は、広場における所定の監視領域における人の数を計数する装置である。

図１に示されるように、この物体計数装置１００は、広場における所定の監視領域を撮像するビデオカメラ１０と、ビデオカメラ１０による撮像結果を処理して、監視対象物体である人の数の計数処理を行う処理装置２０と、計数結果を表示する画面表示装置４３及び音声表示装置４５とを備えている。また、物体計数装置１００は、オペレータによる処理装置２０への指示入力用に、キーボード装置４１及びマウス４４を更に備えている。なお、画面表示装置４３は、キーボード装置４１やマウス４４からの入力情報を確認のために表示や、物体計数装置１００の動作状況を表示するためにも使用される。

前記ビデオカメラ１０は、広場の上方に設置され、斜め上方から監視領域を観察するようになっている。この結果、ビデオカメラ１０の視野内には、斜視像で監視領域内の人及びそれらの周辺の様子が捉えられるようになっている。

なお、以下の説明においては、鉛直上方向をＺ方向と、監視領域の横方向をＸ方向と、監視領域の奥行方向をＹ方向と記すものとする。また、撮像画像におけるマトリックス状に配置された各画素を（ｉ，ｊ）と記すものとする。ここで、値ｉは、画素マトリクスの行番号を表し、値ｉが変化する方向が撮像画像における縦方向となる。また、値ｊは、画素マトリクスの列番号を表し、値ｊが変化する方向が撮像画像における横方向となる。なお、画素マトリクスにおける横方向がＸ方向と一致するものとする。また、画素マトリクスにおいては、厳密には画素位置ごとにＹ方向と画素配列の縦方向との交差角度が異なるが、このＹ方向と画素配列の縦方向との相違に特に着目することが必要ない場合には、画素配列の縦方向が、監視領域の奥行方向すなわちＹ方向に一致するとものとして、以下の説明を行う。

図１に戻り、処理装置２０は、（ａ）物体計数装置１００全体を統括制御する制御装置２９と、（ｂ）ビデオカメラ１０による撮像結果データを収集する撮像データ収集装置２１と、（ｃ）監視領域内における背景画像を特定する背景画像特定装置２２とを備えている。また、処理装置２０は、（ｄ）監視領域内における物体領域（人領域）の候補領域を抽出する物体候補抽出画像算出装置２３と、（ｅ）物体候補抽出画像における監視対象物体候補の領域の画素位置ごとに、横方向（Ｘ軸方向）に関する画素濃度の平均的な勾配である横方向平均濃度勾配の符号が変化する点である横方向勾配符号変化点を抽出するとともに、物体候補抽出画像における監視対象物体候補の領域の画素位置ごとに、縦方向（Ｙ軸方向）に関する画素濃度の平均的な勾配である縦方向平均濃度勾配の符号が変化する点である縦方向勾配符号変化点を抽出する片方向勾配符号変化点抽出装置２４とを備えている。

また、処理装置２０は、（ｆ）横方向勾配符号変化点の軌跡の縦方向に沿った長さ及び分布、並びに、縦方向勾配符号変化点の軌跡の横方向に沿った長さ及び分布に基づいて、監視対象物体領域内の軌跡を選択する勾配符号変化点軌跡選択装置２５と、（ｇ）勾配符号変化点軌跡選択装置２５によって選択された横方向勾配符号変化点の軌跡と縦勾配符号変化点の軌跡との交点である両方向勾配符号変化点を抽出する両方向勾配符号変化点抽出装置２６とを備えている。また、処理装置２０は、（ｈ）両方向勾配符号変化点抽出装置２６により抽出された両方向勾配符号変化点から、前記監視対象物体を代表すると推定される１つの代表点を抽出する代表点抽出装置２７と、（ｊ）代表点抽出装置２７によって抽出された代表点の数を計数して監視対象物体の数の推定値を求める物体数推定値取得装置２８とを備えている。

更に、処理装置２０は、（ｋ）記憶装置３０を備えている。この記憶装置３０は、撮像データ格納領域３１、背景画像格納領域３２、物体候補抽出画像格納領域３３、片方向勾配符号変化点情報格納領域３４、選択軌跡格納領域３５、両方向勾配符号変化点情報格納領域３６、代表点情報格納領域３７及び計数結果格納領域３８を有している。

なお、図１においては、データの流れが実線矢印で示され、制御の流れが点線矢印で示されている。以上のように構成された処理装置２０の各装置の作用は後述する。

本実施形態では、処理装置２０を上記のように、各種の装置を組み合わせて構成したが、処理装置２０を計算機システムとして構成し、記憶装置３０を除く各装置の機能を処理装置２０に内蔵されたプログラムによって実現することも可能である。

以下、本実施形態の物体計数装置１００による監視対象物体（人）の計数動作を、図２に示されるフローチャートに沿って、適宜他の図面を参照しながら説明する。

まず、図２のステップ１１１において、物体（人）の計数用の撮像が行われる。この撮像では、撮像データ収集装置２１が、ビデオカメラ１０から送られてきた撮像データを一画面分だけ収集する。そして、撮像データ収集装置２１は、収集した撮像データを撮像データ格納領域３１に格納する。

次に、ステップ１１２において、監視領域内の背景画像が特定される。かかる背景画像の特定にあたっては、背景画像格納領域３２に格納されている前回の撮像までの背景画像を、今回の撮像結果を参照して更新することにより特定される。

背景画像格納領域３２に格納される初期画像は、図３に示されるように、監視対象物体が監視領域内にほぼ存在しないことが予想される時間帯における複数回の撮像結果から推定される。その後、撮像のたびに、時間の経過による日照領域の変化を反映した背景画像に更新される。

この背景画像の更新に際しては、まず、背景画像特定装置２２が、撮像データ格納領域３１から今回の撮像データを読み出す。そして、監視領域内において、本来動かない樹木等の参照物体を基準として、撮像結果画像における監視領域の位置を特定する。こうした監視領域の位置の特定により、ビデオカメラの揺れ等による撮像結果画像における監視領域の位置の不安定さが解消される。

引き続き、背景画像特定装置２２は、その位置が特定された監視領域内における背景画像を特定する。かかる背景画像の特定に際し、本実施形態では、背景画像特定装置２２が、監視領域を複数の小領域に分割する。引き続き、複数の小領域ごとに、今回の内部画素濃度分布が監視領域の背景画像における画素濃度分布として期待される基準画素濃度分布から許容誤差範囲にあるか否かを、分散値が許容分散値以下であり、かつ、変化幅が許容変化幅以下であるか否かにより判定する。

そして、背景画像特定装置２２は、肯定的な判定がされた小領域については、前回までの推定背景画像及び今回の内部画素濃度分布に基づいて新たな背景画像を特定する。また、背景画像特定装置２２は、否定的な判定がされた小領域については、前回までの推定背景画像に基づいて新たな背景画像を特定するか、近傍の小領域の新たな背景画像に基づいて新たな背景画像を特定する。

背景画像特定装置２２は、こうして特定された監視領域の位置情報及び背景画像を、背景画像格納領域３２に格納する。

次に、ステップ１１３において、物体候補抽出画像算出装置２３が、監視対象物体領域（人領域）の候補を抽出する。かかる監視対象物体領域の候補の抽出に際し、物体候補抽出画像算出装置２３は、まず、撮像データ格納領域３１から撮像結果画像を読み出すとともに、背景画像格納領域３３から監視領域の位置情報及び背景画像を読み出す。引き続き、物体領域抽出装置２３は、撮像画像と背景画像との差を算出した後、近傍数画素の濃度値を平均することにより差画像を算出する（図４参照）。

次いで、物体候補抽出画像算出装置２３は、差分の絶対値が所定の閾値以上となった画素からなる領域を監視対象物体領域の候補として特定する。そして、物体候補抽出画像算出装置２３は、背景画像領域と判定された領域の各画素値を「０」とした画像を、物体候補抽出画像として物体候補抽出画像格納領域３３に格納する。

次に、ステップ１１４において、監視対象物体領域の候補として特定された監視対象物体領域候補の各画素における平均的な横方向の濃度勾配である横方向平均濃度勾配ＧＸ（ｉ，ｊ）が算出される。この算出に際しては、まず、片方向勾配符号変化点抽出装置２４が、物体候補抽出画像格納領域３３から物体候補抽出画像を読み出す（図５（Ａ）参照）。そして、片方向勾配符号変化点抽出装置２４が、監視対象物体領域候補の各画素（ｉ，ｊ）における横方向平均濃度勾配ＧＸ（ｉ，ｊ）を、各画素の濃度値Ｇ（ｉ，ｊ）を用いて、次の（１）式により算出する。

ここで、値ｍ₀は、画素位置（ｉ，ｊ）における監視対象物体の典型的な大きさに応じて定まる値であり、値ｎ₀は、画素位置（ｉ，ｊ）における監視対象物体の横方向に関する典型的な長さの１／２程度の値である。

こうして、算出された横方向平均濃度勾配ＧＸ（ｉ，ｊ）の結果において横方向平均濃度勾配ＧＸ（ｉ，ｊ）の値の符号に着目して表した例が図５（Ｂ）に示されている。

引き続き、片方向勾配符号変化点抽出装置２４は、横方向平均濃度勾配ＧＸ（ｉ，ｊ）の符号の変化点を抽出する。こうして抽出された横方向平均濃度勾配ＧＸ（ｉ，ｊ）の符号の変化点は、例えば図５（Ｃ）に示されるように、縦方向に延びる１本の軌跡となる。片方向勾配符号変化点抽出装置２４は、抽出された横方向平均濃度勾配ＧＸ（ｉ，ｊ）の符号の変化点の情報を片方向勾配符号変化点情報格納領域３４に格納する。

次いで、ステップ１１５において、監視対象物体領域の候補として特定された監視対象物体領域候補の各画素における平均的な縦方向の濃度勾配である縦方向平均濃度勾配ＧＹ（ｉ，ｊ）が算出される。この算出に際しては、片方向勾配符号変化点抽出装置２４が、物体候補抽出画像格納領域３３から読み出された物体候補抽出画像（図６（Ａ）参照）を用いて、監視対象物体領域候補の各画素（ｉ，ｊ）における横方向平均濃度勾配ＧＹ（ｉ，ｊ）を、各画素の濃度値Ｇ（ｉ，ｊ）次の（２）式により算出する。

ここで、値ｐ₀は、画素位置（ｉ，ｊ）における監視対象物体の典型的な大きさに応じて定まる値であり、値ｑ₀は、画素位置（ｉ，ｊ）における監視対象物体の横方向に関する典型的な長さの１／３〜１／５程度の値である。

こうして、算出された縦方向平均濃度勾配ＧＹ（ｉ，ｊ）の結果において横方向平均濃度勾配ＧＹ（ｉ，ｊ）の値の符号に着目して表した例が図６（Ｂ）に示されている。

引き続き、片方向勾配符号変化点抽出装置２４は、縦方向平均濃度勾配ＧＹ（ｉ，ｊ）の符号の変化点を抽出する。こうして抽出された縦方向平均濃度勾配ＧＹ（ｉ，ｊ）の符号の変化点は、例えば図６（Ｃ）に示されるように、縦方向に延びる複数本の軌跡となる。片方向勾配符号変化点抽出装置２４は、抽出された縦方向平均濃度勾配ＧＹ（ｉ，ｊ）の符号の変化点の情報を片方向勾配符号変化点情報格納領域３４に格納する。

次に、ステップ１１６において、監視物体領域内にある片方向勾配符号変化点の軌跡の
選択が行われる。この選択に際しては、まず、勾配符号変化点軌跡選択手段２５が、片方向勾配符号変化点情報格納領域３４から、片方向勾配符号変化点情報を読み出す。引き続き、勾配符号変化点軌跡選択手段２５は、監視対象物体の典型的な縦方向の長さを基準として、横方向勾配符号変化点の軌跡それそれの縦方向長さ及び横方向勾配符号変化点の軌跡の相互位置関係をチェックし、監視対象物体の像の重なりがないと推定される軌跡であって、監視対象物体の典型的な縦方向の長さよりも明らかに大きい又は小さいものを排除する。こうした排除の例が図７に示されている。

なお、図７の例は、監視対象物体が人である場合に、人の像の場合におけると比べて縦方向の長さよりも明らかに小さいカバンの像における横方向勾配符号変化点の軌跡が排除される例が示されている。また、人の像の場合と比べて縦方向の長さよりも明らかに大きな横方向勾配符号変化点の軌跡も排除される。ここで、図７にも示されるように、人の像の重なりがあると推定される場合には、人の像の場合と比べて縦方向の長さよりも明らかに小さな横方向勾配符号変化点の軌跡であっても排除されない。なお、人の像の重なりがある場合であってもそれぞれの像における横方向勾配変化点の軌跡がつながってしまう確率は非常に低い。

また、縦勾配符号変化点の軌跡についても、上記の横勾配符号変化点の軌跡の場合と同様に選択が行われる。

勾配符号変化点軌跡選択装置２５は、こうして選択した片方向勾配符号変化点の軌跡の情報を、選択軌跡格納領域３５に格納する。

次いで、ステップ１１７において、横方向勾配符号変化点の軌跡と縦方向勾配符号変化点の軌跡との交点である両方向勾配符号変化点が抽出される。この両方向勾配符号変化点の抽出に際しては、両方向勾配符号変化点抽出装置２６が、選択軌跡格納領域３５から、勾配符号変化点軌跡選択装置２５によって選択された横方向勾配符号変化点の軌跡と縦方向勾配符号変化点の軌跡との情報を読み出す。そして、両方向勾配符号変化点抽出装置２６は、両方向勾配符号変化点を抽出する。こうして抽出された両方向勾配符号変化点の例が図８に黒点として示されている。両方向勾配符号変化点抽出装置２６は、抽出された両方向勾配符号変化点の情報を両方向勾配符号変化点情報格納領域３６に格納する。

次に、ステップ１１８において、両方向勾配符号変化点から、監視対象物体を代表すると推定される１つの代表点が抽出される。この代表点の抽出に際しては、まず、代表点抽出装置２７が、両方向勾配符号変化点情報格納領域３６から両方向勾配符号変化点の情報を読み出す。そして、監視対象物体を代表すると推定される１つの代表点を抽出する。この代表点の抽出は、本実施形態における監視対象物体（人）のように、監視対象物体領域において、横方向勾配符号変化点の軌跡が１本のみ抽出される場合には、図９に示されるように、（ｉ）横方向勾配符号変化点の軌跡上に１つのみ両方向勾配符号変化点があるときには、その両方向勾配符号変化点が代表点として抽出され、また、（ii）横方向勾配符号変化点の軌跡上に複数の両方向勾配符号変化点があるときには、それらの両方向勾配符号変化点の１つが代表点として抽出される。代表点抽出装置２７は、こうして抽出された代表点の情報を代表点情報格納領域３７に格納する。

次いで、ステップ１１９において、監視対象物体の数が計数される。この計数に際しては、物体数推定値取得装置２８が、代表点情報格納領域３７から代表点の情報の情報を読み出す。そして、代表点の数を計数することにより、監視対象物体の数の推定値を求める。物体数推定値取得装置２８は、こうして求められた監視対象物体の数の推定値を計数結果格納領域３８に格納する。

以上の計数結果を、制御装置２９が読み出し、計数結果を画面表示装置４３や音声表示装置４５に表示指示する。これにより、監視領域内における人の総数や存在密度分布が、視覚や聴覚を通じてオペレータに提供される。なお、計数結果の表示に際しては、時間的に近接する複数回の計数結果を平均し、その平均値を表示することが精度の観点から望ましい。

以上説明したように、本実施形態では、撮像装置１０による監視領域の撮像結果に基づいて、物体候補抽出画像算出装置２３が、監視対象物体の像の候補を抽出した物体候補抽出画像を算出する。次に、片方向勾配符号変化点抽出装置２４が、物体候補抽出画像における監視対象物体候補の領域及びその周辺の画素位置ごとに、その周辺における横方向に関する画素濃度の平均的な勾配である横方向平均濃度勾配の符号が変化する点である横方向勾配符号変化点、及び、縦方向に関する画素濃度の平均的な勾配である縦方向平均濃度勾配の符号が変化する点である縦方向勾配符号変化点を抽出する。次いで、両方向勾配符号変化点抽出装置２６が、横方向勾配符号変化点の軌跡と縦方向勾配符号変化点の軌跡との交点である両方向勾配符号変化点を抽出する。引き続き、代表点抽出装置２７が、両方向勾配符号変化点から、監視対象物体を代表すると推定される１つの代表点を抽出する。そして、物体数推定値取得装置２８が、代表点の数を計数して監視対象物体の数の推定値を求める。

したがって、本実施形態によれば、簡易な構成で、監視対象の物体数を迅速にかつ精度良く計数することができる。

また、本実施形態では、横方向勾配符号変化点の軌跡の縦方向に沿った長さ及び分布、並びに縦方向勾配符号変化点の軌跡の横方向に沿った長さ及び分布に基づいて、両方向勾配符号変化点の抽出に使用される横方向勾配符号変化点の軌跡及び縦方向勾配符号変化点が選択される。この結果、監視対象物体と大きさや形状が異なる物体に関する横方向勾配符号変化点の軌跡や縦方向勾配符号変化点の軌跡を排除した上で、両方向勾配符号変化点抽出手段による両方向勾配符号変化点の抽出を行うことができるので、監視対象物体の計数をより迅速化することができる。

なお、上記の実施形態では、監視領域において監視対象物体が存在しない場合の撮像結果である背景画像を推定し、撮像結果と推定された背景画像の差分画像を物体領域候補抽出画像とした。これに対し、監視対象物体が移動物体である場合には、図１０に示されるように、所定時間を隔てて撮像された３つの撮像結果であるフレーム１〜３の画像を用い、フレーム１とフレーム２との差分画像と、フレーム２とフレーム３との差分画像との積（ＡＮＤ）画像を算出することにより、物体領域候補抽出画像を算出することができる。

また、上記の実施形態では、ビデオカメラ１０によって斜め上方から監視領域を撮像したが、広角な撮像装置を使用すれば、監視領域の鉛直上方から、監視領域を撮像することもできる。かかる場合には、斜視像であることに由来する、座標変換の面倒さを解消することができる。

また、上記の実施形態では、ビデオカメラ１０による撮像で得られた各フレーム画像において、監視領域内における人の総数を検出することとしたが、更に、各フレーム画像における各人又は特定人の位置に基づいて、各人又は特定人の位置の時間変化を求めることにより、いわゆるトラッキング機能を実現することもできる。

また、本実施形態では、監視対象を広場における人としたが、道路上における車両や駐車場における車両等であっても、本発明を適用することができる。また、戸外であるか否かを問わず、本発明を適用することができる。

以上説明したように、本発明の計数方法及び計数装置は、監視領域内における監視対象物体の計数に適用することができる。

本発明の一実施形態に計数装置の構成を概略的に示すブロック図である。図１の物体計数装置による計数処理を説明するためのフローチャートである。初期背景画像の算出方法を説明するための図である。物体領域候補抽出画像の算出方法を説明するための図である。横勾配符号変化点の抽出を説明するための図である。縦勾配符号変化点の抽出を説明するための図である。横勾配符号変化点の軌跡及び縦勾配符号変化点の軌跡の選択を説明するための図である。両方向勾配符号変換点の抽出結果を説明するための図である。代表点の抽出を説明するための図である。変形例を説明するための図である。

符号の説明

１０…ビデオカメラ（撮像手段）、２２…背景画像特定装置、２３…物体候補抽出画像算出装置（物体候補抽出画像算出手段）、２４…片方向勾配符号変化点抽出装置（横方向勾配符号変化点抽出手段、縦横方向勾配符号変化点抽出手段）、２５…勾配符号変化点軌跡選択装置（勾配符号変化点軌跡選択手段）、２６…両方向勾配符号変化点抽出装置（両方向勾配符号変化点抽出装置手段）、２７…代表点抽出装置（代表点抽出手段）、２８…物体数推定値取得装置（物体数推定値取得手段）。

Claims

監視対象物体の数を計数する物体計数方法であって、
前記監視対象物体を監視する監視領域を撮像する撮像工程と；
前記監視領域の撮像結果画像に基づいて、前記監視対象物体の像の候補を抽出した物体候補抽出画像を算出する物体候補抽出画像算出工程と；
前記物体候補抽出画像における前記監視対象物体候補の領域の画素位置ごとに、その周辺における第１方向に関する画素濃度の平均的な勾配である第１方向平均濃度勾配の符号が変化する点である第１方向勾配符号変化点を抽出する第１方向勾配符号変化点抽出工程と；
前記物体候補抽出画像における前記監視対象物体候補の領域の画素位置ごとに、その周辺における前記第１方向と直交する第２方向に関する画素濃度の平均的な勾配である第２方向平均濃度勾配の符号が変化する点である第２方向勾配符号変化点を抽出する第２方向勾配符号変化点抽出工程と；
前記第１方向勾配符号変化点の軌跡と前記第２方向勾配符号変化点の軌跡との交点である両方向勾配符号変化点を抽出する両方向勾配符号変化点抽出工程と；
前記両方向勾配符号変化点から、前記監視対象物体を代表すると推定される１つの代表点を抽出する代表点抽出工程と；
前記代表点の数を計数して前記監視対象物体の数の推定値を求める物体数推定値取得工程と；を備える物体計数方法。
前記物体候補抽出画像は、前記監視領域の撮像結果と、前記監視領域内に前記監視対象物体が存在しないときにおける前記監視領域の推定撮像結果である推定背景画像との差分画像である、ことを特徴とする請求項１に記載の物体計数方法。
前記監視対象物体は移動物体であり、
前記物体候補抽出画像は、画像フレーム間の差分画像に基づいて求められる、ことを特徴とする請求項１に記載の物体計数方法。
前記第１方向濃度勾配は、前記監視対象物体の像の典型的な形状に応じて定まる前記第１方向に沿った間隔を隔てた２点間における平均的な画素濃度の差に基づいて算出され、
前記第２方向濃度勾配は、前記監視対象物体の像の典型的な形状に応じて定まる前記第２方向に沿った間隔を隔てた２点間における平均的な画素濃度の差に基づいて算出される、ことを特徴とする請求項１〜３のいずれか一項に記載の物体計数方法。
前記監視対象物体の典型的な形状は前記第２方向に沿って延びた形状であり、
前記監視対象物体の像の典型的な形状に応じて定まる前記第１方向に沿った間隔は、前記監視対象物体の特徴的な部分の前記第１方向に沿った長さ程度であり、
前記監視対象物体の像の典型的な形状に応じて定まる前記第２方向に沿った間隔は、前記監視対象物体の前記第２方向に沿った長さの１／３〜１／５である、ことを特徴とする請求項４に記載の物体計数方法。
前記両方向勾配符号変化点抽出工程に先立って、前記第１方向勾配符号変化点の軌跡の前記第２方向に沿った長さ及び分布、並びに前記第２方向勾配符号変化点の軌跡の前記第１方向に沿った長さ及び分布に基づいて、前記第１方向勾配符号変化点の軌跡及び前記第２方向勾配符号変化点の軌跡の少なくとも一方から前記監視対象物体の像の内部には無いと推定される軌跡を排除する勾配符号変化点軌跡選択工程を更に備える、ことを特徴とする請求項１〜５のいずか一項に記載の計数方法。
監視対象物体の数を計数する物体計数装置であって、
前記監視対象物体を監視する監視領域を撮像する撮像手段と；
前記監視領域の撮像結果画像に基づいて、前記監視対象物体の像の候補を抽出した物体候補抽出画像を算出する物体候補抽出画像算出手段と；
前記物体候補抽出画像における前記監視対象物体候補の領域の画素位置ごとに、その周辺における第１方向に関する画素濃度の平均的な勾配である第１方向平均濃度勾配の符号が変化する点である第１方向勾配符号変化点を抽出する第１方向勾配符号変化点抽出手段と；
前記物体候補抽出画像における前記監視対象物体候補の領域の画素位置ごとに、その周辺における前記第１方向と直交する第２方向に関する画素濃度の平均的な勾配である第２方向平均濃度勾配の符号が変化する点である第２方向勾配符号変化点を抽出する第２方向勾配符号変化点抽出手段と；
前記第１方向勾配符号変化点の軌跡と前記第２方向勾配符号変化点の軌跡との交点である両方向勾配符号変化点を抽出する両方向勾配符号変化点抽出手段と；
前記両方向勾配符号変化点から、前記監視対象物体を代表すると推定される１つの代表点を抽出する代表点抽出手段と；
前記代表点の数を計数して前記監視対象物体の数の推定値を求める物体数推定値取得手段と；を備える物体計数装置。
前記第１方向勾配符号変化点の軌跡の前記第２方向に沿った長さ及び分布、並びに前記第２方向勾配符号変化点の軌跡の前記第１方向に沿った長さ及び分布に基づいて、前記第１方向勾配符号変化点の軌跡及び前記第２方向勾配符号変化点の軌跡の少なくとも一方から前記監視対象物体の像の内部には無いと推定される軌跡を排除する勾配符号変化点軌跡選択手段を更に備える、ことを特徴とする請求項７に記載の物体計数装置。