JP3571628B2

JP3571628B2 - Image processing device

Info

Publication number: JP3571628B2
Application number: JP2000263317A
Authority: JP
Inventors: 健一新房; 修一磯部; 利雄松岡; 雅之川久保
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2000-08-31
Filing date: 2000-08-31
Publication date: 2004-09-29
Anticipated expiration: 2020-08-31
Also published as: JP2002074371A

Description

【０００１】
【発明の属する技術分野】
この発明は、人数カウント機能を備えた画像処理装置に関するものである。
【０００２】
【従来の技術】
ここでは、画像処理を使った従来の人数カウントの方法として、最もシンプルな輝度センサーを使用した場合の方式について述べるが、図２２〜２５で輝度センサーによる人数カウントシステムの例を示す。また、図２２は従来の輝度センサーを使用する画像処理システムの構成図であり、図２３は図２２に示す輝度センサーの構成図であり、図２４は図２２に示す輝度センサーの動作説明図であり、図２５は図２３に示す認識処理部の動作フローチャートである。
【０００３】
また、図２２、２３において、
（１）は人間が通行する通路を撮すカメラである。
（２）はその画像例である。
（３）は輝度センサーであり、画像中の変化領域の発生を知らせる。
（４）は輝度センサーの出力を受け人数をカウントするホストマシンである。
（５）は輝度センサーの内部構造であり、画像入力部である。
（６）は同じく背景画像蓄積部である。
（７）は同じく背景更新部である。
（８）は同じく現画像蓄積部である。
（９）は同じく背景差分部である。
（１０）は上記より出される変化領域である。
（１１）は変化領域の特徴量を演算する認識処理部である。
（１２）は人間である事を知らせる、認識結果信号である。
また、図２４において、シルエット状に染められている部分（２７）が、変化領域（１０）を実際に２値化して画面にスーパーインポーズしたもので実変化領域と称す。また、（２８）は実変化領域（２７）の外接矩形である。
また、図２５に関しては後述する。
【０００４】
次に動作について説明する。
図２２〜２５に於いて、通路を見渡す位置に取り付けられたカメラ（１）は、そこより映像（２）を輝度センサー（３）に送る。輝度センサー（３）では、画像処理を行い、映像（２）中の通行者を判別し、その人数をカウントする。また、画像処理は、以下のような内容で行われる。
【０００５】
輝度センサー（３）において、画像入力部（５）に取り込まれた映像（２）は、そこでＡＤ変換され１フレームのデジタルデータ（フレームデータ）に変換される。一般にフレームは５１２画素×４８０ラインの画素よりなり、各画素は８ｂｉｔである。背景画像蓄積部（６）では、背景更新部（７）と協力して背景画像を作成して内部に蓄積する。背景画像の作り方は、過去１０枚のフレームデータの平均値を背景画像とするような、過去データ平均法が一般的である。背景更新部（７）ではこの様な背景画像算出用演算を行う。
【０００６】
また、現画像蓄積部（８）では、フレームデータをそのまま蓄積する。背景差分部（９）では、現画像蓄積部（８）と背景更新部（７）のデータを比較し、その差分を算出する。差分とは画素の８ｂｉｔデータ値の差である。差分は、現画像蓄積部（８）と背景更新部（７）の「違う部分」を表している。違う部分とは、画像が変化した部分である。一般には、通行人や小動物、車輌のような、急に現れた移動物である事が多い。これが変化領域（１０）である。
【０００７】
また、認識処理部（１１）では、以下の手順で通行人数をカウントする。
図２５のフローチャートにおいて、先ずステップ（２１）において、画面中のいずれかの変化領域（１０）を選択する。選択順序は特にないが一般には発生順である。また、ステップ（２２）では、この変化領域の特徴量を計算する。具体的には、特に特徴量として実変化領域（２７）で示される変化領域の面積に注目する。面積値が予め定めておいた基準値の範囲内で有れば、この変化領域が通行人であると判断する。一般にこの面積値が小さい場合は、この変化領域は小動物やごみ等のノイズである。また、ステップ（２３）でも、この変化領域の特徴量を計算する。ここでは特に変化領域の外接矩形（２８）に注目する。縦横寸法や縦横比が予め定めておいた基準値の範囲内で有れば、この変化領域が通行人であると判断する。一般にこの縦横比が横長で有れば、この変化領域は車輌等のノイズである。
【０００８】
以上の判定で、両方が通行人と判断すれば、ステップ（２４）でこの変化領域は通行人であると判断する。どちらか一方がそうでないと判断していれば、ステップ（２５）において、この変化領域は通行人でないと判断する。また、ステップ（２６）では全ての変化領域に関し、以上の処理を繰り返させ、通行人を発見したら、内部の人数カウンターをインクリメントする。このカウンター値は、必要に応じて図２３に示す認識結果信号（１２）としてホストマシン（４）に通知される。また、ホストマシン（４）は、輝度センサー（３）からの認識結果信号（１２）を受けて、オペレーターに対し表示や統計処理をする物である。通行人数のカウントシステムでは一般には統計的な処理を必要とするため、その処理を行う為の装置となる。
【０００９】
【発明が解決しようとする課題】
従来の輝度センサーによる人数カウントシステムは以上のようなアルゴリズムになっている為、
・変化領域が人間に似た形状のノイズ（例：木々の影の揺れ）であった場合、誤ってカウントしてしまう。
・混雑状況で複数の人間が密着状況にある場合、各人間の変化領域が連結と分離を繰り返してしまい、その結果変化領域の形状が単独の人間の形状と異なる為、カウント漏れを起こしやすくなる。
等の課題があった。
【００１０】
この発明は上記の様な課題を解決する為なされたもので、このような
・ノイズによる誤カウント
・混雑状況でのカウント漏れ
の様な問題を解消する構造を有す人数カウントシステム、つまり人数カウント機能を備えた画像処理装置を提供するものである。
【００１１】
【課題を解決するための手段】
この発明に係わる人数カウント機能を備えた画像処理装置は、監視エリアを複数用意し、画像中のノイズの影響を排除する手段を有する。また、混雑状況か閑散状況かを独自に判断する機能を有し、混雑状況のカウント漏れの影響を軽減する手段を有する。
【００１２】
【発明の実施の形態】
実施の形態１．
図１〜図５で実施の形態１での人数カウントシステムを示す。図１はこの発明の実施の形態１で示す画像処理装置を使用する画像処理システムの構成図であり、図２は図１に示す画像処理装置の構成図であり、図３は図１に示す画像処理装置の動作説明図であり、図４は図１に示す画像処理装置の動作フローチャートであり、図５は図４に示す認識処理の動作フローチャートである。
【００１３】
図において、（１）〜（１２）、（２０）〜（２６）に関しては、図２２〜図２５と同様のため、説明を略す。
（３０）は、カメラから取り込まれた現画像である。
（３１）〜（３４）は、監視エリア
（３５）〜（３８）は、実変化領域である。ここでは判りやすくするため、変化領域を２値化してから現画像にスーパーインポーズしている。
（３６）〜（３８）は通行人による実変化領域である。
（３５）は、視野外にある植え込みの樹木が風で揺れ、その影が動いた結果出来た実変化領域であり、排除対象のノイズである。
（４０）〜（４５）に関しては後述する。
【００１４】
次に動作に付いて代表的な例を説明するが、（１）〜（１０）までは、従来例と同様のため、説明を略す。
認識処理部（１１）では、以下の手順で通行人数をカウントする。先ず、図３に有るように、予め監視エリア（３１）〜（３４）を用意する。監視エリアとは、変化領域がこのエリアを横切った際のみ画像処理を行うという、画像処理範囲を指定した物である。本装置では、監視エリアを通路を横切るように配備し、且つ個数を複数個用意する。ここでは例として監視エリア（３１）〜（３４）の４エリアを用意する。
【００１５】
次に、図５のフローチャートに有るように、各監視エリア（３１）〜（３４）において変化領域が通行人であるか否かの判断を行う。
図５のフローチャートにおいて、先ずステップ（２１）において、画面中のいずれかの変化領域（１０）を選択する。選択順序は特にないが一般には発生順である。また、ステップ（２２）では、この変化領域の特徴量を計算する。ここでは特に特徴量として変化領域の面積に注目する。面積値が予め定めておいた基準値の範囲内で有れば、この変化領域が通行人であると判断する。一般にこの面積値が小さい場合は、この変化領域は小動物やごみ等のノイズである。また、ステップ（２３）でも、この変化領域の特徴量を計算する。ここでは特に変化領域の外接矩形に注目する。縦横寸法や縦横比が予め定めておいた基準値の範囲内で有れば、この変化領域が通行人であると判断する。一般にこの縦横比が横長で有れば、この変化領域は車輌等のノイズである。
【００１６】
以上の判定で、両方が通行人と判断すれば、ステップ（２４）でこの変化領域は通行人であると判断する。どちらか一方がそうでないと判断していれば、ステップ（２５）において、この変化領域は通行人でないと判断する。また、ステップ（２６）では全ての変化領域に関し、以上の処理を繰り返させ、通行人を発見したら、内部の人数カウンターをインクリメントする。
【００１７】
次いで、図４のフローチャートを参照する。ステップ（４１）では、各監視エリア（３１）〜（３４）においてエリアを横切って通過する人数の、単位時間（例：１分間）当たりの人数累計を算出する。従って、図５のフローチャートの処理は、各監視エリア（３１）〜（３４）でそれぞれ独立に行われる。
【００１８】
次いで、図３の写真を参照する。ここでは単位時間内に、実変化領域（３５）〜（３８）が発生した。うち通行人は実変化領域（３６）〜（３８）である。これは４つの監視エリアを跨いで移動している。また、実変化領域（３５）は視野外の木々が風に揺れた為、一緒に揺れた影によってできた実変化領域であり、本来はカウントされるものではない、ノイズである。監視エリアを跨いでは移動していない。
【００１９】
本装置は、単位時間内に各エリアを通過した変化領域の特徴量を計算し、この実変化領域（３５）〜（３８）が通行人であるか否かを判断する。特徴量としては、例えば変化領域の面積や、外接矩形等が特徴量として一般的に用いられる物である。面積が小さいときや外接矩形が横長の場合、通常は通行人とは認められず排除される。しかしここでは、人物の影が影響し、通行人も横長の外接矩形をもつ。また、ノイズも瞬間的には大きな面積を取りうる場合がある。従って、特徴量上、ごくまれに通行人とノイズが区別できなくなる場合があり、その結果通行人としてノイズを誤カウントする場合がある。
【００２０】
誤カウントが発生すると、図４のフローチャートのステップ（４１）において、監視エリア（３１）だけ人数累計値が「４人」となる。また、監視エリア（３２）〜（３４）においては、人数累計値は「３人」である。ステップ（４２）において、この４つの人数累計値を元に、ノイズ判定を行う。判定は４つの人数累計値のばらつきを見て行う。ばらつきが大きい場合はノイズが発生したと判断する。
【００２１】
ばらつきを見る方法の例として、４つの人数累計値の平均を取り、４つの人数累計値がそれぞれ平均値の１０％範囲内にあるかどうかをみる方法がある。４つの人数累計値がそれぞれ「４人」「３人」「３人」「３人」であり、平均値は「３．２５人」である。「３．２５人」に対し「４人」は１２３％である。従って平均値の１０％範囲内に無い。「３．２５人」に対し「３人」は９２％である。従って平均値の１０％範囲内である。
【００２２】
この場合本装置は、ステップ（４３）において、監視エリア（３１）だけノイズが発生したと判断する。また、ステップ（４４）では、監視エリア（３１）を除いた、監視エリア（３２）〜（３４）の人数累計値の平均を取り、通行人数とする。これにより、結果（４５）はこの例では「３人」となる。この結果は、必要に応じて認識結果信号（１２）としてホストマシン（４）に通知される。
【００２３】
以上のように、この実施の形態によると、複数の監視エリアで算出された各人数累計値のばらつきを見て、ノイズ発生を監視する為、従来の方法では除外できなかったノイズが除外しやすくなる。それによりノイズに対する耐性が上がり、誤カウントが押さえられる。また、人数カウントも単位時間当たりの算出を行い、且つ複数監視エリアでの各人数累計値の平均を取るため、より精度の良いカウント結果を出力しうる。このように、従来装置にあった「ノイズによる誤カウント」と言う欠点を改善した装置を提供しうる。
【００２４】
実施の形態２．
図６〜図１０で実施の形態２での人数カウントシステムを示す。図６はこの発明の実施の形態２で示す画像処理装置を使用する画像処理システムの構成図であり、図７は図６に示す画像処理装置の構成図であり、図８は図６に示す画像処理装置の動作説明図であり、図９は図６に示す画像処理装置の動作フローチャートであり、図１０は図９に示す認識処理の動作フローチャートである。
【００２５】
図において、（１）〜（１２）、（２０）〜（２６）に関しては、図１〜図５と同様のため、説明を略す。
（３０）は、カメラから取り込まれた現画像である。
（３１）〜（３４）は、監視エリア
（３５）〜（３８）は、実変化領域である。ここでは判りやすくするため、変化領域を２値化してから現画像にスーパーインポーズしている。
（３６）〜（３８）は通行人による実変化領域である。
（３５）は、視野外にある植え込みの樹木が風で揺れ、その影が動いた結果出来た実変化領域であり、排除対象のノイズである。図８では図３より広範囲に発生している。
（４０）〜（４７）に関しては後述する。
【００２６】
次に動作に付いて代表的な例を説明するが、（１）〜（１０）までは、従来例と同様のため、説明を略す。
認識処理部（１１）では、以下の手順で通行人数をカウントする。先ず、図８に有るように、予め監視エリア（３１）〜（３４）を用意する。監視エリアとは、変化領域がこのエリアを横切った際のみ画像処理を行うという、画像処理範囲を指定した物である。本装置では、監視エリアを通路を横切るように配備し、且つ個数を複数個用意する。ここでは例として監視エリア（３１）〜（３４）の４エリアを用意する。
【００２７】
次に、図１０のフローチャートに有るように、各監視エリア（３１）〜（３４）において変化領域が通行人であるか否かの判断を行う。
図１０のフローチャートにおいて、先ずステップ（２１）において、画面中のいずれかの変化領域（１０）を選択する。選択順序は特にないが一般には発生順である。また、ステップ（２２）では、この変化領域の特徴量を計算する。ここでは特に特徴量として変化領域の面積に注目する。面積値が予め定めておいた基準値の範囲内で有れば、この変化領域が通行人であると判断する。一般にこの面積値が小さい場合は、この変化領域は小動物やごみ等のノイズである。また、ステップ（２３）でも、この変化領域の特徴量を計算する。ここでは特に変化領域の外接矩形に注目する。縦横寸法や縦横比が予め定めておいた基準値の範囲内で有れば、この変化領域が通行人であると判断する。一般にこの縦横比が横長で有れば、この変化領域は車輌等のノイズである。
【００２８】
以上の判定で、両方が通行人と判断すれば、ステップ（２４）でこの変化領域は通行人であると判断する。どちらか一方がそうでないと判断していれば、ステップ（２５）において、この変化領域は通行人でないと判断する。また、ステップ（２６）では全ての変化領域に関し、以上の処理を繰り返させ、通行人を発見したら、内部の人数カウンターをインクリメントする。
【００２９】
次いで、図９のフローチャートを参照する。ステップ（４１）では、各監視エリア（３１）〜（３４）においてエリアを横切って通過する人数の、単位時間（例：１分間）当たりの人数累計を算出する。従って、図１０のフローチャートの処理は、各監視エリア（３１）〜（３４）でそれぞれ独立に行われる。
【００３０】
次いで、図８の写真を参照する。ここでは単位時間内に、実変化領域（３５）〜（３８）が発生した。うち通行人は実変化領域（３６）〜（３８）である。これは４つの監視エリアを跨いで移動している。また、実変化領域（３５）は視野外の木々が風に揺れた為、一緒に揺れた影によってできた実変化領域であり、本来はカウントされるものではない、ノイズである。監視エリアを２つ跨いでいるが移動はしていない。
【００３１】
本装置は、単位時間内に各エリアを通過した実変化領域の特徴量を計算し、この実変化領域（３５）〜（３８）が通行人であるか否かを判断する。特徴量としては、例えば変化領域の面積や、外接矩形等が特徴量として一般的に用いられる物である。面積が小さいときや外接矩形が横長の場合、通常は通行人とは認められず排除される。しかしここでは、人物の影が影響し、通行人も横長の外接矩形をもつ。また、ノイズも瞬間的には大きな面積を取りうる場合がある。従って、特徴量上、ごくまれに通行人とノイズが区別できなくなる場合があり、その結果通行人としてノイズを誤カウントする場合がある。
【００３２】
ここではノイズが２つの監視エリア（３１）及び（３２）にまたがっているため、誤カウントも２カ所で発生する。誤カウントが発生すると、図９のフローチャートのステップ（４１）において、監視エリア（３１）及び（３２）の人数累計値が「４人」となる。また、監視エリア（３３）及び（３４）においては、人数累計値は「３人」である。ステップ（４２）において、この４つの人数累計値を元に、ノイズ判定を行う。判定は４つの人数累計値のばらつきを見て行う。ばらつきが大きい場合はノイズが発生したと判断する。
【００３３】
ばらつきを見る方法の例として、４つの人数累計値の平均を取り、４つの人数累計値がそれぞれ平均値の１０％範囲内にあるかどうかをみる方法がある。４つの人数累計値がそれぞれ「４人」「４人」「３人」「３人」であり、平均値は「３．５人」である。「３．５人」に対し「４人」は１１４％である。従って平均値の１０％範囲内に無い。「３．５人」に対し「３人」は８５％である。従ってこれも平均値の１０％範囲内に無い。（仮にばらつきを見るに、上記の１０％範囲ではなく、１５％範囲で判断した場合は、今度は全ての累計値が１５％の範囲内に入る。従って、この場合はノイズが発見できない。）
【００３４】
この場合本装置は、ステップ（４３）において、監視エリア（３１）〜（３４）全てにノイズが発生したと判断する。また、ステップ（４４）では、平均を取る為の監視エリアがなくなり、処理不能となってしまう。この問題を解決する為、ステップ（４６）では、複数の監視エリアのうちの所定数エリアでノイズを発見したら（例：全エリアの半数である２エリア）、ステップ（４７）へ分岐する。
【００３５】
ステップ（４７）では、所定数の監視エリアでノイズが発生したことより、画面中に何らかの大きな変動が発生したと判断する。（例：極端な日照の変動や、巨大な影の移動等）この場合、全ての監視エリアに、その大変動の影響が及んでいると判断する。従って、どの監視エリアも正確な人数をカウントしていないとの前提で、その中で最も大変動の影響を受けてないと思われる監視エリアを決定し、そのエリアの人数累計値により通行人数を判断する。最も大変動の影響を受けてないと思われる監視エリアとは、人数累計値が最小であった監視エリアである。従って結果（４５）はこの例では「３人」となる。この結果は、必要に応じて認識結果信号（１２）としてホストマシン（４）に通知される。
【００３６】
以上のように、この実施の形態によると、複数の監視エリアで算出された各人数累計値のばらつきを見て、ノイズ発生を監視する為、従来の方法では除外できなかったノイズが除外しやすくなる。それによりノイズに対する耐性が上がり、誤カウントが押さえられる。また、画面中に大変動が発生し、全ての監視エリアが正しい人数累計値を算出できなかったと判断される場合は、なかでも最も正解値に近いと想像されるエリアを類推し、誤差の最小であるカウント値を算出する。また、人数カウントも単位時間当たりの算出を行い、且つ複数監視エリアでの各人数累計値の平均を取るため、より精度の良いカウント結果を出力しうる。このように、従来装置にあった「ノイズによる誤カウント」と実施の形態１にあった「大変動による全体的なノイズ発生時の挙動」と言う欠点を改善した装置を提供しうる。
【００３７】
実施の形態３．
図１１〜図１５で実施の形態３での人数カウントシステムを示す。図１１はこの発明の実施の形態３で示す画像処理装置を使用する画像処理システムの構成図であり、図１２は図１１に示す画像処理装置の構成図であり、図１３は図１１に示す画像処理装置の動作説明図であり、図１４は図１１に示す画像処理装置の動作フローチャートであり、図１５は図１４に示す認識処理の動作フローチャートである。
【００３８】
図において、（１）〜（１２）、（３０）〜（４７）に関しては、図６〜図１０と同様のため、説明を略す。
（２０）〜（２５）に関しては後述する。
【００３９】
次に動作に付いて代表的な例を説明するが、（１）〜（１０）までは、従来例と同様のため、説明を略す。
認識処理部（１１）では、以下の手順で通行人数をカウントする。先ず、図１３に有るように、予め監視エリア（３１）〜（３４）を用意する。監視エリアとは、変化領域がこのエリアを横切った際のみ画像処理を行うという、画像処理範囲を指定した物である。本装置では、監視エリアを通路を横切るように配備し、且つ個数を複数個用意する。ここでは例として監視エリア（３１）〜（３４）の４エリア用意する。
【００４０】
次に、図１５のフローチャートに有るように、各監視エリア（３１）〜（３４）において変化領域が通行人であるか否かの判断を行う。
図１５のフローチャートにおいて、先ずステップ（２１）において、画面中のいずれかの変化領域（１０）を選択する。選択順序は特にないが一般には発生順である。また、ステップ（２２）では、この変化領域の特徴量を計算する。ここでは特に特徴量として変化領域の面積を算出する。また、ステップ（２３）では、ステップ（２２）で求めた面積値を予め定めておいた基準値（人間１人分の予想面積値）で除算する。端数が出た場合は、１捨２入（例）でまるめる。また、ステップ（２４）では、以上の結果より、本変化領域は何人分かを決定し、内部の人数カウンターをインクリメントする。ステップ（２５）では全ての変化領域に関し、以上の処理を繰り返させる。
【００４１】
次いで、図１４のフローチャートを参照する。ステップ（４１）では、各監視エリア（３１）〜（３４）においてエリアを横切って通過する人数の、単位時間（例：１分間）当たりの人数累計を算出する。従って、図１５のフローチャートの処理は、各監視エリア（３１）〜（３４）でそれぞれ独立に行われる。
【００４２】
次いで、図１３の写真を参照する。ここでは単位時間内に、実変化領域（３５）〜（３８）が発生した。うち通行人は実変化領域（３６）〜（３８）である。これは４つの監視エリアを跨いで移動している。ただし、実変化領域（３６）及び（３７）は、移動する課程で何回となく連結と分離を繰り返している。ここでは、仮に監視エリア（３１）と（３４）にいる際に連結していて、監視エリア（３２）と（３３）にいる際は分離していたと仮定する。また、実変化領域（３５）は視野外の木々が風に揺れた為、一緒に揺れた影によってできた実変化領域であり、本来はカウントされるものではない、ノイズである。監視エリアを２つ跨いでいるが移動はしていない。
【００４３】
本装置は、単位時間内に各エリアを通過した実変化領域の面積を計算し、この実変化領域（３５）〜（３８）の面積が通行人何人分であるかを判断する。この実施の形態にもとずく算出では、事前に決められた基準値（人間１人に当たる予想画素数）により変化領域の面積を除算するため、監視エリア（３１）と（３４）において、実変化領域（３６）と（３７）が連結していたがその影響を排除し、正しいカウント値を算出する。
【００４４】
しかし、ここでは実変化領域（３５）のノイズが２つの監視エリアにまたがっているため、誤カウントも２カ所で発生する。誤カウントが発生すると、図１４のフローチャートのステップ（４１）において、監視エリア（３１）及び（３２）での人数累計値が「４人」となる。また、監視エリア（３３）及び（３４）においては、人数累計値は「３人」である。また、ステップ（４２）〜（４７）の処理により、このノイズによる誤カウントは補正され、正常な数字である「３人」が算出されるが、本内容は実施の形態２と同様のため、省略する。
【００４５】
以上のように、この実施の形態によると、単位時間内に各エリアを通過した実変化領域の面積を計算し、各実変化領域が通行人何人分であるかを判断する。従来の方法では、頻繁に通行人の実変化領域が連結と分離を繰り返す状況では、見落としが多く発生する可能性があった。しかし、この実施の形態の方法によれば、同様の状況に於いても、正確な通行人の人数を算出しやすくなるため、見落としによる誤カウントが押さえられる。このように、従来装置にあった「通行人の変化領域が連結と分離を繰り返す状況下では、見落としによる誤カウントが発生しやすい」と言う欠点を改善した装置を提供しうる。
【００４６】
実施の形態４．
図１６〜２１で実施の形態４での人数カウントシステムを示す。図１６はこの発明の実施の形態４で示す画像処理装置を使用する画像処理システムの構成図であり、図１７は図１６に示す画像処理装置の構成図であり、図１８は図１６に示す画像処理装置の閑散時での動作説明図であり、図１９は図１６に示す画像処理装置の混雑時での動作説明図であり、図２０は図１６に示す画像処理装置の動作フローチャートであり、図２１は図２０に示す認識処理の動作フローチャートである。
【００４７】
図において（１）〜（４）に関しては、図１と同様のため、説明を略す。図１７において、
（５）は輝度センサーの内部構造であり、画像入力部である。
（６）は同じく背景画像蓄積部である。
（７）は同じく背景更新部である。
（８Ａ）は同じく現画像蓄積部である。
（８Ｂ）は同じく前画像蓄積部である。
（９）は同じく背景差分部である。
（１０）は上記より出される変化領域である。
（１１）は変化領域の特徴量を演算する認識処理部である。
（１２）は人間である事を知らせる、認識結果信号である。
【００４８】
また、図１８において、
（３０）は、カメラから取り込まれた現画像である。特に通行人が閑散な状況の画像である。
（３１）〜（３４）は、監視エリア
（３５）は、画面中の代表的な実変化領域である。背景差分により抽出された変化領域である。ここでは判りやすくするため、変化領域を２値化してから現画像にスーパーインポーズしている。通行人による実変化領域である。
【００４９】
また、図１９において、
（５０）は、カメラから取り込まれた現画像である。特に通行人が混雑状況の画像である。
（５１）〜（５４）は、監視エリア
（５５）は、画面中の代表的な実変化領域である。フレーム間差分により抽出された変化領域である。ここでは判りやすくするため、変化領域を２値化してから現画像にスーパーインポーズしている。通行人による変化領域である。
（４０）〜（４７）、（２０）〜（２９）に関しては後述する。
【００５０】
次に動作に付いて代表的な例を説明するが、（１）〜（４）までは、従来例と同様のため、説明を略す。画像入力部（５）に取り込まれた映像（２）は、そこでＡＤ変換され１フレームのデジタルデータ（フレームデータ）に変換される。一般にフレームは５１２画素×４８０ラインの画素よりなり、各画素は８ｂｉｔである。また、背景画像蓄積部（６）では、背景更新部（７）と協力して背景画像を作成して内部に蓄積する。背景画像の作り方は、過去１０枚のフレームデータの平均値を背景画像とするような、過去データ平均法が一般的である。背景更新部（７）ではこの様な背景画像算出用演算を行う。
【００５１】
また、現画像蓄積部（８Ａ）では、フレームデータをそのまま蓄積する。前画像蓄積部（８Ｂ）では、前フレームデータを蓄積する。背景差分部（９）では、２種類の差分データを作る。１つは背景差分データである。現画像蓄積部（８Ａ）と背景更新部（７）のデータを比較し、その差分を算出する。差分とは画素の８ｂｉｔデータ値の差である。また、１つはフレーム間差分データである。現画像蓄積部（８Ａ）と前画像蓄積部（８Ｂ）のデータを比較し、その差分を算出する。差分とは、２つの画像の「違う部分」を表している。違う部分とは、画像が変化した部分である。一般には、通行人や小動物、車輌のような、急に現れた移動物である事が多い。これを変化領域（１０）と呼ぶ。
【００５２】
背景差分は背景画像と現画像を比較するため、比較的移動物のシルエット形状に忠実な変化領域が得られる。反面、背景画像が逐次更新されていく過程で移動物を背景に取り込んでしまい、継続的に移動物が往来する場合は徐々に差分が出にくくなるという欠点もある。また、フレーム間差分は前画像と現画像を比較するため、あまりシルエット形状に忠実な変化領域は得られにくい。反面、背景画像を用いないため、継続的に移動物が往来する場合の影響はない。
【００５３】
また、認識処理部（１１）では、以下の手順で通行人数をカウントする。先ず、図１８に有るように、予め監視エリア（３１）〜（３４）（混雑時は図１９に示す監視エリア（５１）〜（５４）となる、以下同様）を用意する。監視エリアとは、変化領域がこのエリアを横切った際のみ画像処理を行うという、画像処理範囲を指定した物である。本装置では、監視エリアを通路を横切るように配備し、且つ個数を複数個用意する。ここでは例として監視エリア（３１）〜（３４）の４エリア用意する。次に、図２１のフローチャートに有るように、各監視エリア（３１）〜（３４）において変化領域が通行人であるか否かの判断を行う。ただしこの際、画面が「混雑」状況か「閑散」状況かを類推し、判断処理を分ける。ステップ（２１）において、「混雑」と「閑散」の分岐を行う。ただし状況判断はステップ（２９）にて行う。詳細は後述。
【００５４】
混雑状況では、ステップ（２２Ａ）で、差分としてフレーム間差分が選択される。フレーム間差分では実変化領域（５５）に示されるように、移動物の前後に薄い実変化領域が発生する。この厚みは移動物の移動速度に比例する。混雑状況では通行人の速度は均一なため、大きな厚みのばらつきは発生しない。背景差分では混雑状況下では背景画像が通行人を取り込んでしまい差分が出にくくなる傾向があるが、フレーム間差分の場合はその問題もない。ステップ（２３Ａ）にて、これらフレーム間差分により得られた変化領域の面積を集計する。ここでは全画面中の変化領域の面積を加算する。
【００５５】
また、ステップ（２４Ａ）では、ステップ（２３Ａ）にて求めた面積値を、事前に決められた基準値（フレーム間差分における人間１人に当たる予想画素数）で除算し、端数が出た場合は、１捨２入（例）でまるめる。ステップ（２５Ａ）では、以上の結果より、画面中の実変化領域は通行人何人分かを決定する。
【００５６】
閑散状況では、ステップ（２２Ｂ）で、差分として背景差分が選択される。背景差分では実変化領域（３５）に示されるように、移動物のシルエット形状に比較的忠実に実変化領域が発生する。この面積移動物の移動速度には関係しない。閑散状況では通行人の速度はまちまちなため、フレーム間差分では面積にばらつきが出るが、背景差分の場合はより正確な変化領域面積が得られる。ステップ（２３Ｂ）にて、これら背景差分により得られた変化領域の面積を算出する。
【００５７】
また、ステップ（２４Ｂ）では、ステップ（２３Ｂ）にて求めた面積値を、事前に決められた基準値（背景差分における人間１人に当たる予想画素数）で除算し、端数が出た場合は、１捨２入（例）でまるめる。ステップ（２５Ｂ）では、以上の結果より、この変化領域は通行人何人分かを決定する。ステップ（２６）では、以上の結果より、本変化領域は何人分かを決定し、内部の人数カウンターをインクリメントする。
【００５８】
また、ステップ（２７）では、次に行う「混雑」か「閑散」かの判断のため、画面中の差分値の面積合計を集計する。一般には背景差分の結果の変化領域の面積を使用する。ステップ（２８）で、ステップ（２７）で得られた面積を元に「混雑」か「閑散」かの判断を行う。事前に決められている既定値を超えたら混雑、そうでなければ閑散とする判断が最も簡単である。また、ステップ（２９Ａ）または（２９Ｂ）では、混雑か閑散かのフラグを立てて、次の処理の際使用する。
【００５９】
次いで図２０のフローチャートを参照する。ステップ（４１）では、各監視エリア（３１）〜（３４）においてエリアを横切って通過する人数の、単位時間（例：１分間）当たりの人数累計を算出する。従って、図２１のフローチャートの処理は、監視エリア（３１）〜（３４）でそれぞれ独立に行われる。
【００６０】
ここで、もしノイズが監視エリアに有れば、誤カウントが発生する。図２０のフローチャートのステップ（４２）において、この４つの人数累計値を元に、ノイズ判定を行う。判定は４つの人数累計値のばらつきを見て行う。ばらつきが大きい場合はノイズが発生したと判断する。ばらつきを見る方法の例として、４つの人数累計値の平均を取り、４つの人数累計値がそれぞれ平均値の１０％範囲内にあるかどうかをみる方法がある。ばらつきが１０％範囲内であれば、ノイズ発生はないと判断し、ステップ（４４）にて通行人数は４つの人数累計値の平均として計算される。
【００６１】
ばらつきが１０％を超える監視エリア有れば、その監視エリアのみノイズ発生が有ったと判断し、ステップ（４３）にて通行人数はその監視エリアを除外した残りのエリアの人数累計値の平均として計算される。ステップ（４６）では、複数の監視エリアのうちの所定数エリアでノイズを発見したら（例：全エリアの半数である２エリア）、ステップ（４７）へ分岐する。ステップ（４７）では、所定数の監視エリアでノイズが発生したことより、画面中に何らかの大きな変動が発生したと判断する。（例：極端な日照の変動や、巨大な影の移動等）この場合、全ての監視エリアに、その大変動の影響が及んでいると判断する。
【００６２】
従って、どの監視エリアも正確な人数をカウントしていないとの前提で、その中で最も大変動の影響を受けてないと思われる監視エリアを決定し、そのエリアの人数累計値により通行人数を判断する。最も大変動の影響を受けてないと思われる監視エリアとは、人数累計値が最小であった監視エリアである。以上にて結果（４５）が生成される。この結果は、必要に応じて認識結果信号（１２）としてホストマシン（４）に通知される。
【００６３】
以上のように、この実施の形態によると、通行人が混雑状況において背景差分を使用すると問題となる「通行人の背景取り込みによる差分の減少」を、フレーム間差分を使用することにより回避する。また、通行人が閑散状況においてフレーム間差分を使用すると問題となる「通行人の移動速度のばらつきによる変化領域の面積のばらつき」を、背景差分を使用することにより回避する。且つ、この「混雑」「閑散」状況の判断を、変化領域の面積値より独自に判断し独自に切り替える。従って、「混雑」「閑散」状況に偏らない、常時均一な精度による人数カウントが可能となる。このように、通行人の状況に左右されない均一の精度を持った装置を提供しうる。
【００６４】
【発明の効果】
この発明によれば、画像処理装置は、複数の監視エリアで算出された各人数累計値のばらつきを見て、ノイズ発生を監視する為、従来の方法では除外できなかったノイズが除外しやすくなることでノイズに対する耐性が上がり、誤カウントが押さえられる効果がある。また、人数カウントも単位時間当たりの算出を行い、且つ複数監視エリアでの各人数累計値の平均を取るため、より精度の良いカウント結果を出力しうる効果がある。
【００６５】
また、次の発明によれば、画像処理装置は、複数の監視エリアで算出された各人数累計値のばらつきを見て、ノイズ発生を監視する為、従来の方法では除外できなかったノイズが除外しやすくなるため、ノイズに対する耐性が上がり、誤カウントが押さえられる効果がある。また、画面中に大変動が発生し、全ての監視エリアが正しい人数累計値を算出できなかったと判断される場合は、なかでも最も正解値に近いと想像されるエリアを類推し、誤差の最小であるカウント値を算出できる効果がある。
【００６６】
また、次の発明によれば、画像処理装置は、単位時間内に各エリアを通過した変化領域の面積を計算し、各変化領域が通行人何人分であるかを判断する。このため、従来の方法では、頻繁に通行人の変化領域が連結と分離を繰り返す状況では、見落としが多く発生する可能性があったが、この方法によれば、同様の状況に於いても、正確な通行人の人数を算出しやすくなるため、見落としによる誤カウントが押さえられる効果がある。
【００６７】
また、次の発明によれば、画像処理装置は、通行人が混雑状況において背景差分を使用すると問題となる「通行人の背景取り込みによる差分の減少」を、フレーム間差分を使用することにより回避する。また、通行人が閑散状況においてフレーム間差分を使用すると問題となる「通行人の移動速度のばらつきによる変化領域の面積のばらつき」を、背景差分を使用することにより回避する。且つ、この「混雑」「閑散」状況の判断を、変化領域の面積値より独自に判断し独自に切り替える。従って、「混雑」「閑散」状況に偏らない、常時均一な精度による人数カウントが可能となる効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１で示す画像処理装置を使用する画像処理システムの構成図である。
【図２】図１に示す画像処理装置の構成図である。
【図３】図１に示す画像処理装置の動作説明図である。
【図４】図１に示す画像処理装置の動作フローチャートである。
【図５】図４に示す認識処理の動作フローチャートである。
【図６】この発明の実施の形態２で示す画像処理装置を使用する画像処理システムの構成図である。
【図７】図６に示す画像処理装置の構成図である。
【図８】図６に示す画像処理装置の動作説明図である。
【図９】図６に示す画像処理装置の動作フローチャートである。
【図１０】図９に示す認識処理の動作フローチャートである。
【図１１】この発明の実施の形態３で示す画像処理装置を使用する画像処理システムの構成図である。
【図１２】図１１に示す画像処理装置の構成図である。
【図１３】図１１に示す画像処理装置の動作説明図である。
【図１４】図１１に示す画像処理装置の動作フローチャートである。
【図１５】図１４に示す認識処理の動作フローチャートである。
【図１６】この発明の実施の形態４で示す画像処理装置を使用する画像処理システムの構成図である。
【図１７】図１６に示す画像処理装置の構成図である。
【図１８】図１６に示す画像処理装置の閑散時での動作説明図である。
【図１９】図１６に示す画像処理装置の混雑時での動作説明図である。
【図２０】図１６に示す画像処理装置の動作フローチャートである。
【図２１】図２０に示す認識処理の動作フローチャートである。
【図２２】従来の輝度センサーを使用する画像処理システムの構成図である。
【図２３】図２２に示す輝度センサーの構成図である。
【図２４】図２２に示す輝度センサーの動作説明図である。
【図２５】図２３に示す認識処理部の動作フローチャートである。
【符号の説明】
（１）カメラ
（３）画像処理装置
（５）画像入力部
（６）背景画像蓄積部
（７）背景更新部
（８）、（８Ａ）現画像蓄積部
（８Ｂ）前画像蓄積部
（９）背景差分部
（１１）認識処理部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing apparatus having a number counting function.
[0002]
[Prior art]
Here, as a conventional method of counting the number of people using image processing, a method using a simplest luminance sensor will be described. FIGS. 22 to 25 show examples of a number counting system using a luminance sensor. FIG. 22 is a configuration diagram of an image processing system using a conventional luminance sensor, FIG. 23 is a configuration diagram of the luminance sensor shown in FIG. 22, and FIG. 24 is an operation explanatory diagram of the luminance sensor shown in FIG. FIG. 25 is an operation flowchart of the recognition processing unit shown in FIG.
[0003]
Also, in FIGS.
(1) is a camera for photographing a passage through which a person passes.
(2) is an example of the image.
(3) is a luminance sensor, which notifies occurrence of a change area in an image.
(4) is a host machine that receives the output of the luminance sensor and counts the number of persons.
(5) is an internal structure of the luminance sensor, which is an image input unit.
(6) is a background image storage unit.
(7) is a background update unit.
(8) is a current image storage unit.
(9) is a background difference unit.
(10) is a change area obtained from the above.
(11) is a recognition processing unit that calculates the feature amount of the change area.
(12) is a recognition result signal for notifying that it is a human.
In FIG. 24, the part (27) dyed in a silhouette shape is obtained by actually binarizing the change area (10) and superimposing it on the screen, and is called an actual change area. (28) is a circumscribed rectangle of the actual change area (27).
FIG. 25 will be described later.
[0004]
Next, the operation will be described.
22 to 25, a camera (1) mounted at a position overlooking a passage sends an image (2) therefrom to a luminance sensor (3). The luminance sensor (3) performs image processing, determines a pedestrian in the video (2), and counts the number of persons. The image processing is performed as follows.
[0005]
In the luminance sensor (3), the video (2) captured by the image input unit (5) is AD-converted there and converted into one-frame digital data (frame data). Generally, a frame is composed of 512 pixels × 480 lines of pixels, and each pixel is 8 bits. The background image storage unit (6) creates a background image in cooperation with the background update unit (7) and stores it inside. The method of creating a background image is generally a past data averaging method in which the average value of the past 10 frame data is used as the background image. The background update unit (7) performs such a calculation for background image calculation.
[0006]
The current image storage unit (8) stores the frame data as it is. The background difference unit (9) compares the data of the current image storage unit (8) with the data of the background update unit (7) and calculates the difference. The difference is a difference between 8-bit data values of pixels. The difference represents a "different part" between the current image storage unit (8) and the background update unit (7). The different part is a part where the image has changed. Generally, it is often a suddenly appearing moving object such as a passerby, a small animal, or a vehicle. This is the change area (10).
[0007]
The recognition processing unit (11) counts the number of passers-by in the following procedure.
In the flowchart of FIG. 25, first, in step (21), any change area (10) on the screen is selected. There is no particular order of selection, but the order is generally chronological. In step (22), the feature amount of the change area is calculated. Specifically, the area of the change region indicated by the actual change region (27) is particularly noted as the feature amount. If the area value is within the range of the predetermined reference value, it is determined that the change area is a passerby. Generally, when the area value is small, the change area is noise such as small animals and dust. Also in step (23), the feature amount of the change area is calculated. Here, attention is paid particularly to the circumscribed rectangle (28) of the change area. If the vertical / horizontal dimension and the vertical / horizontal ratio are within the range of a predetermined reference value, it is determined that the change area is a passerby. Generally, if the aspect ratio is horizontally long, the change area is noise of a vehicle or the like.
[0008]
If both are determined to be passersby in the above determination, in step (24), it is determined that the change area is a passerby. If either one is not the case, then in step (25), it is determined that the change area is not a passerby. In step (26), the above process is repeated for all the change areas, and when a passerby is found, the internal number counter is incremented. This counter value is notified to the host machine (4) as a recognition result signal (12) shown in FIG. 23 as necessary. The host machine (4) receives the recognition result signal (12) from the luminance sensor (3) and performs display and statistical processing for the operator. In general, a system for counting the number of passers requires statistical processing, and therefore, it is a device for performing the processing.
[0009]
[Problems to be solved by the invention]
Because the conventional people counting system using the brightness sensor has the above algorithm,
-If the change area is noise having a shape similar to a human (eg, shaking of the shadow of trees), it is counted incorrectly.
・ When a plurality of people are in close contact with each other in a crowded situation, the change area of each person repeats connection and separation, and as a result, the shape of the change area is different from the shape of a single person, so that count omission is likely to occur. .
There were issues such as.
[0010]
The present invention has been made in order to solve the above-mentioned problems.
・ Incorrect count due to noise
・ Count omission due to congestion
It is an object of the present invention to provide a people counting system having a structure for solving the above problem, that is, an image processing apparatus having a people counting function.
[0011]
[Means for Solving the Problems]
The image processing apparatus having the number of people counting function according to the present invention has a means for preparing a plurality of monitoring areas and eliminating the influence of noise in the image. In addition, it has a function of independently judging whether it is a congestion state or a low-light state, and has means for reducing the influence of the omission of counting of the congestion state.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Embodiment 1 FIG.
1 to 5 show a people counting system according to the first embodiment. FIG. 1 is a configuration diagram of an image processing system using the image processing device shown in the first embodiment of the present invention, FIG. 2 is a configuration diagram of the image processing device shown in FIG. 1, and FIG. FIG. 4 is an operation explanatory diagram of the image processing apparatus, FIG. 4 is an operation flowchart of the image processing apparatus shown in FIG. 1, and FIG. 5 is an operation flowchart of the recognition processing shown in FIG.
[0013]
In the figure, (1) to (12) and (20) to (26) are the same as in FIGS.
(30) is the current image captured from the camera.
(31) to (34) are monitoring areas
(35) to (38) are actual change regions. Here, in order to make it easy to understand, the change area is binarized and then superimposed on the current image.
(36) to (38) are actual change areas by passers-by.
(35) is an actual change area formed as a result of the movement of the shadow of the planted tree that is out of the field of view and shakes by the wind, and is noise to be excluded.
(40) to (45) will be described later.
[0014]
Next, a typical example of the operation will be described. However, since (1) to (10) are the same as the conventional example, the description is omitted.
The recognition processing unit (11) counts the number of passers-by in the following procedure. First, as shown in FIG. 3, monitoring areas (31) to (34) are prepared in advance. The monitoring area designates an image processing range in which image processing is performed only when the change area crosses this area. In the present apparatus, a plurality of monitoring areas are provided so as to cross the passage. Here, four areas of the monitoring areas (31) to (34) are prepared as examples.
[0015]
Next, as shown in the flowchart of FIG. 5, it is determined whether or not the change area is a passer-by in each of the monitoring areas (31) to (34).
In the flowchart of FIG. 5, first, in step (21), any change area (10) on the screen is selected. There is no particular order of selection, but the order is generally chronological. In step (22), the feature amount of the change area is calculated. Here, attention is paid particularly to the area of the change region as the feature amount. If the area value is within the range of the predetermined reference value, it is determined that the change area is a passerby. Generally, when the area value is small, the change area is noise such as small animals and dust. Also in step (23), the feature amount of the change area is calculated. Here, attention is paid particularly to the circumscribed rectangle of the change area. If the vertical / horizontal dimension and the vertical / horizontal ratio are within the range of a predetermined reference value, it is determined that the change area is a passerby. Generally, if the aspect ratio is horizontally long, the change area is noise of a vehicle or the like.
[0016]
If both are determined to be passersby in the above determination, in step (24), it is determined that the change area is a passerby. If either one is not the case, then in step (25), it is determined that the change area is not a passerby. In step (26), the above process is repeated for all the change areas, and when a passerby is found, the internal number counter is incremented.
[0017]
Next, refer to the flowchart of FIG. In step (41), the total number of persons per unit time (eg, one minute) of the number of persons passing across the monitoring areas (31) to (34) is calculated. Therefore, the processing of the flowchart of FIG. 5 is performed independently in each of the monitoring areas (31) to (34).
[0018]
Next, refer to the photograph of FIG. Here, the actual change areas (35) to (38) occur within a unit time. The passers-by are the actual change areas (36) to (38). It moves across four monitoring areas. The actual change area (35) is an actual change area formed by shadows shaken together with trees outside the field of view due to the wind, and is a noise that is not originally counted. It has not moved across the monitoring area.
[0019]
The present apparatus calculates the feature amount of the change area that has passed through each area within a unit time, and determines whether or not the actual change areas (35) to (38) are passers-by. As the characteristic amount, for example, the area of the change region, a circumscribed rectangle, or the like is a commonly used characteristic amount. When the area is small or the circumscribed rectangle is horizontally long, it is usually not recognized as a pedestrian and is excluded. However, here, the shadow of the person affects, and the passerby also has a horizontally long circumscribed rectangle. Also, noise may take a large area momentarily. Therefore, in rare cases, it may not be possible to distinguish between a passerby and noise in terms of the feature amount, and as a result, noise may be erroneously counted as a passerby.
[0020]
When an erroneous count occurs, in step (41) of the flowchart in FIG. 4, the total number of persons becomes "4" only in the monitoring area (31). In the monitoring areas (32) to (34), the total number of persons is "3 persons". In step (42), noise determination is performed based on the four cumulative number of persons. The judgment is made by looking at the dispersion of the four cumulative number of persons. If the variation is large, it is determined that noise has occurred.
[0021]
As an example of a method of checking the variation, there is a method of taking an average of four cumulative values of persons and checking whether each of the cumulative values of four persons is within 10% of the average value. The cumulative numbers of the four persons are "4 persons", "3 persons", "3 persons", and "3 persons", respectively, and the average value is "3.25 persons". "4" is 123% of "3.25". Therefore, it is not within the range of 10% of the average value. "3 people" is 92% of "3.25 people". Therefore, it is within the range of 10% of the average value.
[0022]
In this case, the apparatus determines in Step (43) that noise has occurred only in the monitoring area (31). In step (44), the average of the total number of persons in the monitoring areas (32) to (34) excluding the monitoring area (31) is taken as the number of passing persons. As a result, the result (45) is “three” in this example. This result is notified to the host machine (4) as a recognition result signal (12) as necessary.
[0023]
As described above, according to this embodiment, since the occurrence of noise is monitored by monitoring the variation in the total number of persons calculated in a plurality of monitoring areas, noise that cannot be excluded by the conventional method can be easily excluded. Become. As a result, resistance to noise increases, and erroneous counting is suppressed. In addition, since the number of persons is calculated per unit time and the average of the total number of persons in the plurality of monitoring areas is averaged, a more accurate count result can be output. As described above, it is possible to provide a device in which the disadvantage of the conventional device, that is, "erroneous counting due to noise" is improved.
[0024]
Embodiment 2 FIG.
6 to 10 show a people counting system according to the second embodiment. 6 is a configuration diagram of an image processing system using the image processing device shown in Embodiment 2 of the present invention, FIG. 7 is a configuration diagram of the image processing device shown in FIG. 6, and FIG. 9 is an operation flowchart of the image processing apparatus shown in FIG. 6, and FIG. 10 is an operation flowchart of the recognition processing shown in FIG.
[0025]
In the figure, (1) to (12) and (20) to (26) are the same as in FIGS.
(30) is the current image captured from the camera.
(31) to (34) are monitoring areas
(35) to (38) are actual change regions. Here, in order to make it easy to understand, the change area is binarized and then superimposed on the current image.
(36) to (38) are actual change areas by passers-by.
(35) is an actual change area formed as a result of the movement of the shadow of the planted tree that is out of the field of view and shakes by the wind, and is noise to be excluded. In FIG. 8, it occurs more widely than in FIG.
(40) to (47) will be described later.
[0026]
Next, a typical example of the operation will be described. However, since (1) to (10) are the same as the conventional example, the description is omitted.
The recognition processing unit (11) counts the number of passers-by in the following procedure. First, as shown in FIG. 8, monitoring areas (31) to (34) are prepared in advance. The monitoring area designates an image processing range in which image processing is performed only when the change area crosses this area. In the present apparatus, a plurality of monitoring areas are provided so as to cross the passage. Here, four areas of the monitoring areas (31) to (34) are prepared as examples.
[0027]
Next, as shown in the flowchart of FIG. 10, it is determined whether or not the change area is a passer-by in each of the monitoring areas (31) to (34).
In the flowchart of FIG. 10, first, in step (21), any change area (10) in the screen is selected. There is no particular order of selection, but the order is generally chronological. In step (22), the feature amount of the change area is calculated. Here, attention is paid particularly to the area of the change region as the feature amount. If the area value is within the range of the predetermined reference value, it is determined that the change area is a passerby. Generally, when the area value is small, the change area is noise such as small animals and dust. Also in step (23), the feature amount of the change area is calculated. Here, attention is paid particularly to the circumscribed rectangle of the change area. If the vertical / horizontal dimension and the vertical / horizontal ratio are within the range of a predetermined reference value, it is determined that the change area is a passerby. Generally, if the aspect ratio is horizontally long, the change area is noise of a vehicle or the like.
[0028]
If both are determined to be passersby in the above determination, in step (24), it is determined that the change area is a passerby. If either one is not the case, then in step (25), it is determined that the change area is not a passerby. In step (26), the above process is repeated for all the change areas, and when a passerby is found, the internal number counter is incremented.
[0029]
Next, reference is made to the flowchart of FIG. In step (41), the total number of persons per unit time (eg, one minute) of the number of persons passing across the monitoring areas (31) to (34) is calculated. Therefore, the processing of the flowchart of FIG. 10 is performed independently in each of the monitoring areas (31) to (34).
[0030]
Next, refer to the photograph of FIG. Here, the actual change areas (35) to (38) occur within a unit time. The passers-by are the actual change areas (36) to (38). It moves across four monitoring areas. The actual change area (35) is an actual change area formed by shadows shaken together with trees outside the field of view due to the wind, and is a noise that is not originally counted. It straddles two monitoring areas but does not move.
[0031]
The present apparatus calculates the feature amount of the actual change area that has passed through each area within a unit time, and determines whether or not the actual change areas (35) to (38) are passers-by. As the characteristic amount, for example, the area of the change region, a circumscribed rectangle, or the like is a commonly used characteristic amount. When the area is small or the circumscribed rectangle is horizontally long, it is usually not recognized as a pedestrian and is excluded. However, here, the shadow of the person affects, and the passerby also has a horizontally long circumscribed rectangle. Also, noise may take a large area momentarily. Therefore, in rare cases, it may not be possible to distinguish between a passerby and noise in terms of the feature amount, and as a result, noise may be erroneously counted as a passerby.
[0032]
In this case, since the noise extends over the two monitoring areas (31) and (32), erroneous counting also occurs at two places. When an erroneous count occurs, in step (41) of the flowchart in FIG. 9, the total number of persons in the monitoring areas (31) and (32) becomes “4”. In the monitoring areas (33) and (34), the total number of persons is “3 persons”. In step (42), noise determination is performed based on the four cumulative number of persons. The judgment is made by looking at the dispersion of the four cumulative number of persons. If the variation is large, it is determined that noise has occurred.
[0033]
As an example of a method of checking the variation, there is a method of taking an average of four cumulative values of persons and checking whether each of the cumulative values of four persons is within 10% of the average value. The cumulative numbers of the four persons are "4 persons", "4 persons", "3 persons", and "3 persons", respectively, and the average value is "3.5 persons". "4" is 114% of "3.5". Therefore, it is not within the range of 10% of the average value. "3 people" is 85% of "3.5 people". Therefore, this is not within the range of 10% of the average value. (Assuming that the variation is not in the above 10% range but in the 15% range, all the accumulated values fall within the 15% range. Therefore, in this case, noise cannot be found.)
[0034]
In this case, the apparatus determines in step (43) that noise has occurred in all of the monitoring areas (31) to (34). Further, in step (44), there is no monitoring area for taking the average, and the processing becomes impossible. In order to solve this problem, in step (46), if noise is found in a predetermined number of areas among the plurality of monitoring areas (for example, two areas which are half of all areas), the flow branches to step (47).
[0035]
In step (47), it is determined that some large fluctuation has occurred in the screen because noise has occurred in a predetermined number of monitoring areas. (Example: extreme fluctuation of sunshine, movement of a huge shadow, etc.) In this case, it is determined that all the monitoring areas are affected by the large fluctuation. Therefore, assuming that no surveillance area counts the exact number of people, determine the surveillance area that is not likely to be affected by the most significant fluctuations, and use the cumulative number of people in that area to determine the number of people passing by. to decide. The monitoring area that is not likely to be affected by the largest fluctuation is the monitoring area with the smallest cumulative number of people. Therefore, the result (45) is “three” in this example. This result is notified to the host machine (4) as a recognition result signal (12) as necessary.
[0036]
As described above, according to this embodiment, since the occurrence of noise is monitored by monitoring the variation in the total number of persons calculated in a plurality of monitoring areas, noise that cannot be excluded by the conventional method can be easily excluded. Become. As a result, resistance to noise increases, and erroneous counting is suppressed. If a large fluctuation occurs on the screen and it is determined that the correct total number of people cannot be calculated for all the monitoring areas, the area that is supposed to be closest to the correct answer is estimated by analogy, and the error is minimized. Is calculated. In addition, since the number of persons is calculated per unit time and the average of the total number of persons in the plurality of monitoring areas is averaged, a more accurate count result can be output. As described above, it is possible to provide a device in which the disadvantages of the conventional device such as “erroneous counting due to noise” and “the behavior at the time of overall noise occurrence due to large fluctuation” in the first embodiment are improved.
[0037]
Embodiment 3 FIG.
11 to 15 show a people counting system according to the third embodiment. FIG. 11 is a configuration diagram of an image processing system using the image processing device shown in the third embodiment of the present invention. FIG. 12 is a configuration diagram of the image processing device shown in FIG. 11, and FIG. FIG. 14 is an operation flowchart of the image processing apparatus, FIG. 14 is an operation flowchart of the image processing apparatus shown in FIG. 11, and FIG. 15 is an operation flowchart of the recognition processing shown in FIG.
[0038]
In the figures, (1) to (12) and (30) to (47) are the same as in FIGS.
(20) to (25) will be described later.
[0039]
Next, a typical example of the operation will be described. However, since (1) to (10) are the same as the conventional example, the description is omitted.
The recognition processing unit (11) counts the number of passers-by in the following procedure. First, as shown in FIG. 13, monitoring areas (31) to (34) are prepared in advance. The monitoring area designates an image processing range in which image processing is performed only when the change area crosses this area. In the present apparatus, a plurality of monitoring areas are provided so as to cross the passage. Here, as an example, four areas of the monitoring areas (31) to (34) are prepared.
[0040]
Next, as shown in the flowchart of FIG. 15, it is determined whether or not the change area is a passerby in each of the monitoring areas (31) to (34).
In the flowchart of FIG. 15, first, in step (21), any change area (10) on the screen is selected. There is no particular order of selection, but the order is generally chronological. In step (22), the feature amount of the change area is calculated. Here, the area of the change region is calculated as the characteristic amount. In step (23), the area value obtained in step (22) is divided by a predetermined reference value (expected area value for one person). If a fraction appears, round it off to the nearest whole number (example). In step (24), the number of persons in the present change area is determined based on the above result, and the number of persons inside the counter is incremented. In step (25), the above processing is repeated for all the change areas.
[0041]
Next, reference is made to the flowchart of FIG. In step (41), the total number of persons per unit time (eg, one minute) of the number of persons passing across the monitoring areas (31) to (34) is calculated. Therefore, the processing of the flowchart of FIG. 15 is performed independently in each of the monitoring areas (31) to (34).
[0042]
Next, refer to the photograph of FIG. Here, the actual change areas (35) to (38) occur within a unit time. The passers-by are the actual change areas (36) to (38). It moves across four monitoring areas. However, the actual change areas (36) and (37) are repeatedly connected and separated several times in the process of moving. Here, it is assumed that they are connected when they are in the monitoring areas (31) and (34) and are separated when they are in the monitoring areas (32) and (33). The actual change area (35) is an actual change area formed by shadows shaken together with trees outside the field of view due to the wind, and is a noise that is not originally counted. It straddles two monitoring areas but does not move.
[0043]
The present apparatus calculates the area of the actual change area that has passed through each area within a unit time, and determines how many people pass by the actual change areas (35) to (38). In the calculation based on this embodiment, since the area of the change area is divided by a predetermined reference value (the expected number of pixels corresponding to one person), the actual change in the monitoring areas (31) and (34) is performed. Although the regions (36) and (37) are connected, the influence is eliminated and a correct count value is calculated.
[0044]
However, since the noise in the actual change area (35) extends over the two monitoring areas, erroneous counting also occurs at two places. When an erroneous count occurs, the total number of persons in the monitoring areas (31) and (32) becomes “4” in step (41) of the flowchart in FIG. In the monitoring areas (33) and (34), the total number of persons is “3 persons”. In addition, the erroneous count due to the noise is corrected by the processing of steps (42) to (47), and the normal number “3” is calculated. However, since the content is the same as in the second embodiment, Omitted.
[0045]
As described above, according to this embodiment, the area of the actual change area that has passed through each area within a unit time is calculated, and it is determined how many passers-by each actual change area. In the conventional method, in a situation where the real change area of the passerby frequently repeats connection and separation, there is a possibility that many oversights may occur. However, according to the method of this embodiment, even in a similar situation, it is easy to accurately calculate the number of passers-by, so that erroneous counting due to oversight is suppressed. As described above, it is possible to provide a device which has improved the drawback of the conventional device that "in a situation where the changing area of a pedestrian repeats connection and separation, erroneous counting due to oversight is likely to occur".
[0046]
Embodiment 4 FIG.
16 to 21 show a people counting system according to the fourth embodiment. FIG. 16 is a configuration diagram of an image processing system using the image processing device shown in Embodiment 4 of the present invention, FIG. 17 is a configuration diagram of the image processing device shown in FIG. 16, and FIG. FIG. 19 is a diagram illustrating the operation of the image processing device when the image processing device is idle, FIG. 19 is a diagram illustrating the operation of the image processing device illustrated in FIG. 16 during congestion, and FIG. 20 is a flowchart illustrating the operation of the image processing device illustrated in FIG. FIG. 21 is an operation flowchart of the recognition processing shown in FIG.
[0047]
In the figure, (1) to (4) are the same as in FIG. In FIG.
(5) is an internal structure of the luminance sensor, which is an image input unit.
(6) is a background image storage unit.
(7) is a background update unit.
(8A) is a current image storage unit.
(8B) is a previous image storage unit.
(9) is a background difference unit.
(10) is a change area obtained from the above.
(11) is a recognition processing unit that calculates the feature amount of the change area.
(12) is a recognition result signal for notifying that it is a human.
[0048]
Also, in FIG.
(30) is the current image captured from the camera. In particular, it is an image of a situation where the pedestrian is quiet.
(31) to (34) are monitoring areas
(35) is a typical actual change area on the screen. This is a change area extracted by the background difference. Here, in order to make it easy to understand, the change area is binarized and then superimposed on the current image. It is a real change area by a pedestrian.
[0049]
Also, in FIG.
(50) is the current image captured from the camera. In particular, it is an image of a pedestrian being crowded.
(51)-(54) are monitoring areas
(55) is a representative actual change area on the screen. This is the change area extracted by the inter-frame difference. Here, in order to make it easy to understand, the change area is binarized and then superimposed on the current image. It is the area of change by passers-by.
(40) to (47) and (20) to (29) will be described later.
[0050]
Next, a typical example of the operation will be described. However, since (1) to (4) are the same as the conventional example, the description is omitted. The video (2) captured by the image input unit (5) is AD-converted there and converted into one-frame digital data (frame data). Generally, a frame is composed of 512 pixels × 480 lines of pixels, and each pixel is 8 bits. The background image storage unit (6) creates a background image in cooperation with the background update unit (7) and stores it inside. The method of creating a background image is generally a past data averaging method in which the average value of the past 10 frame data is used as the background image. The background update unit (7) performs such a calculation for background image calculation.
[0051]
The current image storage section (8A) stores the frame data as it is. The previous image storage unit (8B) stores previous frame data. The background difference unit (9) creates two types of difference data. One is background difference data. The data of the current image storage unit (8A) and the data of the background update unit (7) are compared, and the difference is calculated. The difference is a difference between 8-bit data values of pixels. One is inter-frame difference data. The data of the current image storage unit (8A) and the data of the previous image storage unit (8B) are compared, and the difference is calculated. The difference represents a "different part" between the two images. The different part is a part where the image has changed. Generally, it is often a suddenly appearing moving object such as a passerby, a small animal, or a vehicle. This is called a change area (10).
[0052]
Since the background difference compares the background image with the current image, a change region relatively faithful to the silhouette shape of the moving object can be obtained. On the other hand, there is a disadvantage that when the background image is sequentially updated, the moving object is captured in the background, and when the moving object continuously comes and goes, it becomes difficult to gradually obtain the difference. In addition, since the inter-frame difference compares the previous image with the current image, it is difficult to obtain a change area that is faithful to the silhouette shape. On the other hand, since the background image is not used, there is no influence when a moving object continuously comes and goes.
[0053]
The recognition processing unit (11) counts the number of passers-by in the following procedure. First, as shown in FIG. 18, monitoring areas (31) to (34) (the monitoring areas (51) to (54) shown in FIG. 19 during congestion, the same applies hereinafter) are prepared in advance. The monitoring area designates an image processing range in which image processing is performed only when the change area crosses this area. In the present apparatus, a plurality of monitoring areas are provided so as to cross the passage. Here, as an example, four areas of the monitoring areas (31) to (34) are prepared. Next, as shown in the flowchart of FIG. 21, it is determined whether or not the change area is a passer-by in each of the monitoring areas (31) to (34). However, at this time, it is assumed whether the screen is in a “congested” state or a “quiet” state, and the judgment process is divided. In step (21), branching of "congestion" and "quiet" is performed. However, the situation is determined in step (29). See below for details.
[0054]
In the congested state, an inter-frame difference is selected as a difference in step (22A). In the inter-frame difference, as shown in the real change area (55), a thin real change area occurs before and after the moving object. This thickness is proportional to the moving speed of the moving object. In a crowded situation, the speed of the pedestrian is uniform, so that there is no large thickness variation. In the background difference, in a congested state, the background image tends to capture a passerby and the difference tends to be hard to appear, but in the case of an inter-frame difference, there is no problem. In step (23A), the areas of the change regions obtained by these inter-frame differences are totaled. Here, the area of the change area in the entire screen is added.
[0055]
In step (24A), the area value obtained in step (23A) is divided by a predetermined reference value (the expected number of pixels corresponding to one person in the inter-frame difference). Round to the nearest whole number (example). In step (25A), the actual change area on the screen is determined by the number of passers-by from the above results.
[0056]
In the off-peak situation, the background difference is selected as the difference in step (22B). In the background difference, as shown in the real change area (35), the real change area is generated relatively faithfully to the silhouette shape of the moving object. It has nothing to do with the moving speed of this area moving object. Since the speed of the pedestrian varies in a low-light situation, the area varies in the inter-frame difference, but in the case of the background difference, a more accurate change area area can be obtained. In step (23B), the area of the change region obtained by these background differences is calculated.
[0057]
In step (24B), the area value obtained in step (23B) is divided by a predetermined reference value (the expected number of pixels corresponding to one person in the background difference). Round to the nearest whole number (example). In step (25B), based on the above result, the number of passers-by in this change area is determined. In step (26), the number of persons in the change area is determined based on the above result, and the internal number counter is incremented.
[0058]
Also, in step (27), the total area of the difference values on the screen is totaled in order to determine whether it is "congested" or "quiet" to be performed next. In general, the area of the change area resulting from the background subtraction is used. In step (28), it is determined whether the area is "congested" or "quiet" based on the area obtained in step (27). It is easiest to judge that it is congested if it exceeds a predetermined value, and that it is quiet otherwise. In step (29A) or (29B), a flag is set for congestion or idleness, and the flag is used for the next processing.
[0059]
Next, reference is made to the flowchart of FIG. In step (41), the total number of persons per unit time (eg, one minute) of the number of persons passing across the monitoring areas (31) to (34) is calculated. Therefore, the processing of the flowchart of FIG. 21 is performed independently in the monitoring areas (31) to (34).
[0060]
Here, if noise exists in the monitoring area, an erroneous count occurs. In step (42) of the flowchart in FIG. 20, noise determination is performed based on these four cumulative number of persons. The judgment is made by looking at the dispersion of the four cumulative number of persons. If the variation is large, it is determined that noise has occurred. As an example of a method of checking the variation, there is a method of taking an average of four cumulative values of persons and checking whether each of the cumulative values of four persons is within 10% of the average value. If the variation is within the 10% range, it is determined that there is no noise, and in step (44), the number of passing passengers is calculated as the average of the total number of four people.
[0061]
If there is a monitoring area where the variation exceeds 10%, it is determined that noise has occurred only in that monitoring area, and in step (43), the number of people passing is calculated as the average of the total number of people in the remaining area excluding the monitoring area. Is calculated. In step (46), if noise is found in a predetermined number of the plurality of monitoring areas (eg, two areas which are half of all areas), the process branches to step (47). In step (47), it is determined that some large fluctuation has occurred in the screen because noise has occurred in a predetermined number of monitoring areas. (Example: extreme fluctuation of sunshine, movement of a huge shadow, etc.) In this case, it is determined that all the monitoring areas are affected by the large fluctuation.
[0062]
Therefore, assuming that no surveillance area counts the exact number of people, determine the surveillance area that is not likely to be affected by the most significant fluctuations, and use the cumulative number of people in that area to determine the number of people passing by. to decide. The monitoring area that is not likely to be affected by the largest fluctuation is the monitoring area with the smallest cumulative number of people. As described above, the result (45) is generated. This result is notified to the host machine (4) as a recognition result signal (12) as necessary.
[0063]
As described above, according to the present embodiment, the use of the background difference in a congested situation to avoid the "reduction of the difference due to the background of the passerby" can be avoided by using the inter-frame difference. In addition, the background difference is used to avoid the “variation in the area of the change area due to the variation in the moving speed of the pedestrian”, which is a problem when the pedestrian uses the inter-frame difference in the off-state. In addition, the judgment of the “congestion” or “quiet” state is independently determined based on the area value of the change area and is independently switched. Therefore, the number of people can be counted with uniform accuracy at all times without being biased to the "congestion" and "quiet" situations. In this way, it is possible to provide a device with uniform accuracy that is not affected by the situation of passers-by.
[0064]
【The invention's effect】
According to the present invention, since the image processing apparatus monitors the occurrence of noise by checking the variation of the total number of persons calculated in the plurality of monitoring areas, noise that cannot be eliminated by the conventional method can be easily eliminated. This has the effect of increasing the resistance to noise and suppressing erroneous counting. In addition, since the number of persons is calculated per unit time and the average of the total number of persons in the plurality of monitoring areas is averaged, a more accurate count result can be output.
[0065]
Further, according to the next invention, the image processing apparatus monitors the occurrence of noise by checking the variation of the total number of persons calculated in the plurality of monitoring areas, so that noise that cannot be excluded by the conventional method is excluded. This makes it easier to perform the operation, thereby increasing the resistance to noise and suppressing erroneous counting. If a large fluctuation occurs on the screen and it is determined that the correct total number of people cannot be calculated for all the monitoring areas, the area that is supposed to be closest to the correct answer is estimated by analogy, and the error is minimized. There is an effect that a count value can be calculated.
[0066]
Further, according to the next invention, the image processing apparatus calculates the area of the change area that has passed through each area within the unit time, and determines how many passers-by each change area. For this reason, in the conventional method, in the situation where the changing area of the pedestrian frequently repeats connection and separation, there is a possibility that many oversights may occur, but according to this method, even in the same situation, Since it is easy to accurately calculate the number of passers-by, there is an effect that erroneous counting due to oversight is suppressed.
[0067]
Also, according to the next invention, the image processing apparatus avoids the "reduction in difference due to passing-by background capture", which is a problem when a passerby uses a background difference in a crowded situation, by using an inter-frame difference. I do. In addition, the background difference is used to avoid the “variation in the area of the change area due to the variation in the moving speed of the pedestrian”, which is a problem when the pedestrian uses the inter-frame difference in the off-state. In addition, the judgment of the “congestion” or “quiet” state is independently determined based on the area value of the change area and is independently switched. Therefore, there is an effect that the number of people can be counted with uniform accuracy at all times without being biased to the "congestion" and "quiet" situations.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of an image processing system that uses an image processing apparatus described in Embodiment 1 of the present invention.
FIG. 2 is a configuration diagram of the image processing apparatus shown in FIG.
FIG. 3 is an operation explanatory diagram of the image processing apparatus shown in FIG. 1;
FIG. 4 is an operation flowchart of the image processing apparatus shown in FIG. 1;
FIG. 5 is an operation flowchart of a recognition process shown in FIG. 4;
FIG. 6 is a configuration diagram of an image processing system that uses the image processing device according to the second embodiment of the present invention.
FIG. 7 is a configuration diagram of the image processing apparatus shown in FIG. 6;
FIG. 8 is an operation explanatory diagram of the image processing apparatus shown in FIG. 6;
9 is an operation flowchart of the image processing apparatus shown in FIG. 6;
FIG. 10 is an operation flowchart of a recognition process shown in FIG. 9;
FIG. 11 is a configuration diagram of an image processing system that uses the image processing device according to the third embodiment of the present invention.
FIG. 12 is a configuration diagram of the image processing apparatus shown in FIG. 11;
FIG. 13 is an explanatory diagram of the operation of the image processing apparatus shown in FIG. 11;
14 is an operation flowchart of the image processing apparatus shown in FIG.
FIG. 15 is an operation flowchart of a recognition process shown in FIG. 14;
FIG. 16 is a configuration diagram of an image processing system that uses the image processing device according to the fourth embodiment of the present invention.
17 is a configuration diagram of the image processing apparatus shown in FIG.
18 is an explanatory diagram of the operation of the image processing apparatus shown in FIG. 16 when the image processing apparatus is off-peak.
19 is an explanatory diagram of the operation of the image processing apparatus shown in FIG. 16 at the time of congestion;
20 is an operation flowchart of the image processing apparatus shown in FIG.
FIG. 21 is an operation flowchart of a recognition process shown in FIG. 20;
FIG. 22 is a configuration diagram of an image processing system using a conventional luminance sensor.
FIG. 23 is a configuration diagram of the luminance sensor shown in FIG. 22;
FIG. 24 is a diagram illustrating the operation of the luminance sensor shown in FIG. 22.
FIG. 25 is an operation flowchart of the recognition processing unit shown in FIG. 23;
[Explanation of symbols]
(1) Camera
(3) Image processing device
(5) Image input section
(6) Background image storage
(7) Background update unit
(8), (8A) Current image storage unit
(8B) Previous image storage unit
(9) Background subtraction section
(11) Recognition processing unit

Claims

An image input unit, means for digitizing image data taken from the input unit, means for obtaining background image data serving as comparison image data from the image data, and background updating means for updating the background image data. A change area extracting means for comparing the current image data with the background image data and extracting a change area in the image data as a background difference therefrom; a means for calculating a feature amount of the change area; In an image processing apparatus having a recognition processing unit for recognizing that it matches the feature amount of the object, a plurality of monitoring areas having a shape orthogonal to the path of the person are prepared along the path, and each monitoring area is individually Recognize a person by the recognition process, count the number of people crossing the area within a unit time in each monitoring area, calculate the total number of people for each monitoring area, and calculate for each monitoring area The variation of the total number of people in each monitoring area is compared with the average value of the total number of people, and if the variation is within a certain range from the above average value, the average value is regarded as the true total number of people and the variation is constant. A person counting function that determines that the surveillance area outside the range is the surveillance area where disturbance has occurred, and uses the average value of the total number of people calculated in the remaining surveillance areas excluding the surveillance area where the disturbance occurred as the true total number of people An image processing apparatus comprising:

If there is a predetermined number of monitoring areas in which the variation exceeds a certain range, it is determined that a disturbance has occurred in the monitoring area beyond the certain range, and the monitoring area with the smallest cumulative number of people is not affected by the disturbance. 2. The image processing apparatus according to claim 1, wherein the image processing apparatus has a function of counting the number of persons who is determined to be an area and sets a total value of the monitoring area having the smallest total number of persons as a true total number of persons.

In each monitoring area, instead of individually recognizing a person by the recognition process, in each monitoring area, the change area area that crosses the area within a unit time is accumulated, and the accumulated change area area value is divided by the unit area to calculate the area. 3. The image processing apparatus according to claim 1, further comprising a number counting function for setting a total number of people.

An image input unit, means for digitizing image data taken from the input unit, means for obtaining background image data serving as comparison image data from the image data, and background updating means for updating the background image data. A background difference region extracting means for subtracting the current image data from the background image data and extracting a changed region in the image data; and a frame difference extracting the current image data from the previous image data and extracting a changed region in the image data. In an image processing apparatus comprising: a difference region extracting unit; a unit for calculating a feature amount of the change region; and a recognition processing unit for recognizing that the feature amount matches a feature amount to be processed. A plurality of monitoring areas having a shape orthogonal to the area are prepared along the path, and the change extracted by each of the background difference area extracting means and the inter-frame difference area extracting means in each monitoring area within a unit time. The area of the area is accumulated, and the area of each of the change areas is individually compared with a predetermined reference value to determine whether the current passage is congested or quiet, and the result is used to calculate the total number of people. An image processing apparatus having a people counting function for selecting either a background difference area extracting means or an inter-frame difference area extracting means as a method and performing a cumulative number of people calculation.